JP7330970B2 - コンピュータ生成された参照物体を有するマシンビジョンシステム - Google Patents

コンピュータ生成された参照物体を有するマシンビジョンシステム Download PDF

Info

Publication number
JP7330970B2
JP7330970B2 JP2020530982A JP2020530982A JP7330970B2 JP 7330970 B2 JP7330970 B2 JP 7330970B2 JP 2020530982 A JP2020530982 A JP 2020530982A JP 2020530982 A JP2020530982 A JP 2020530982A JP 7330970 B2 JP7330970 B2 JP 7330970B2
Authority
JP
Japan
Prior art keywords
computer
virtual reference
reference object
image
generated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020530982A
Other languages
English (en)
Other versions
JP2021507209A (ja
Inventor
エサ レイカス
Original Assignee
オイ・マップヴィジョン・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オイ・マップヴィジョン・リミテッド filed Critical オイ・マップヴィジョン・リミテッド
Publication of JP2021507209A publication Critical patent/JP2021507209A/ja
Application granted granted Critical
Publication of JP7330970B2 publication Critical patent/JP7330970B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0006Industrial image inspection using a design-rule based approach
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G01C11/025Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures by scanning the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Description

以下の開示はマシンビジョンシステムに関する。特に、この開示は、品質制御またはオブジェクトを測定するのに必要な、他の類似のタスクに使用される、マシンビジョンシステムを測定することに関する。特に、この開示は、参照物体を用いたマシンビジョンシステムに関する。コンピュータ制御されたマシンビジョンシステムは、種々のアプリケーションに用いられる。1つの典型的なアプリケーションは、製造業において製造されたオブジェクトの品質制御である。1つまたは複数のカメラを使って製造された物体を撮像することにより、物体の種々の特性を測定することが可能である。この測定は、物体全体、または物体が選択されたいくつかの特徴を測定することを含むことができる。従って、この測定は、1次元、2次元、または3次元であり得、あるいは選択された特徴に依存して、複数の次元の組み合わせで行うこともできる。サイズおよび形状に加えて、他の特性、例えば、色、粗さ、または他のそのような特徴を測定することも可能である。マシンビジョンシステムの測定は、典型的に、製造された物体をモデル物体と比較することにより行われる。得られた結果は、典型的に測定された物体と、使用されたモデル物体の相対的な差分を与える。
3次元座標を測定するためには、撮像された画像が両方の画像において可視であるなら、2次元画像から3次元座標を計算することができるので、2つのカメラしか必要としない。しかしながら、典型的には、カメラの数は多くなる。これは、カメラの数が多ければ測定の範囲および精度が増すからである。カメラは、測定される物体のすべてが見えるように、または、少なくとも、出来るだけ多くの特徴が見えるように典型的に配置される。それに対応して、測定された特徴は、すべてのカメラにより見えないことは、よくあることである。カメラの数を増やすことに加えて、複数の他のカメラ、例えば、精度校正および画像処理アルゴリズムは、測定精度を改善することが知られている。さらに、特定の物体のカメラ位置を計画したり、より精度の高いカメラを使用したり、あるいは、特定の照明を用いて、所望の特徴から獲得された画像の品質を改善することが可能である。
マシンビジョンシステムを測定することは特に、それは、異なる環境下で測定された特徴を同様に認識するという点で特にすぐれている。従って、物体が測定されると、エッジおよびホールのような特徴は、例え、条件が変化しても、同様に検出される。このため、物体の位置または形状の極小さな変化でも正確に測定することが可能である。獲得された画像から派生された測定結果は、正確であるけれども、それらは、座標測定マシンのような、他の測定ツールで測定した測定結果と、比較することができない。これは、例えば、一般的なマシンビジョンシステムおよび方法を用いてエッジの絶対位置を測定することが困難だからである。測定された物体のサイズ、位置、または他の変化の相対変化を正確に測定することは、可能であるけれども、相対的な差分の代わりに、絶対スケール上で同じ変化を測定することは困難である。
一般的な解法では、これらの測定は、時々、測定された物体のロケーションを正確に測定することにより、または正確なロケーションがわかるように、測定された物体を、測定ジグに載置することにより、補足される。ロケーションが正確にわかると、測定される物体の絶対測定値の、少なくともいくつかを測定することが可能である。1つの方法は、物体の公称寸法に適合するように、できるだけ正確に測定される、参照物体(「黄金物体(golden object)」)を作ることである。別の方法として、絶対基準システムを用いて、基準部分を正確に測定し、測定された差分を、基準部の値に追加して、絶対スケールに比較可能な、結果を得ることである。
しかしながら、これらのアプローチは、異なるタイプの物体、またはより大きな数の物体を測定する必要がある場合、問題がある。測定を行うことができる前に、測定される物体を、正確に位置決めする必要がある場合、測定は遅くなるであろう。対応して、異なるタイプの物体を測定する必要がある場合、異なるタイプのジグの必要性、あるいは、測定間で変化させる必要があるかもしれない、他の位置決め手段の必要性も、あるかもしれない。これらの機械的方法はすべて、高価であり、摩耗する。例え、機械的ジグの使用が、数学的、または光学的位置決め方法により避けられたとしても、購入して使用するために、安価な絶対基準測定システムの必要性が、依然としてあるであろう。
コンピュータ生成された仮想基準オブジェクトを用いたマシンビジョンシステムが開示される。仮想参照物体の正確な測定値が知られているとき、マシンビジョンシステムは、絶対スケール上での差分を測定することができる。マシンビジョンシステムにおいて、仮想参照物体は、コンピュータ図面に基づいて生成される。コンピュータ生成された仮想参照物体は、さらに高い写実的精度を達成するために、さらに処理される。この処理は、製造された実際の物体の画像、または実際に測定した物体に似た画像を計算上生成した画像からの部分に結合することを含むことができる。コンピュータ生成された仮想参照物体がモデル図面に基づくとき、製造許容誤差により生じた不正確さを含まないが、それらが設計された物体のすべての特徴と特性を含む。
一態様において、物体を測定するための方法が開示される。この方法は、3次元コンピュータ生成仮想参照物体を受信するステップであって、受信した仮想参照物体は、物体のモデル図面に基づいて生成され、仮想参照物体は、物体の正確な座標を備え、正確な座標は、少なくとも1つの離散点の座標を備えるステップと、前記物体の少なくとも2つの画像を獲得し、前記獲得した少なくとも2つの画像は、少なくとも2つの異なる視認センサ(viewing sensors)で獲得される、ステップと、獲得した画像に基づいて、物体上の少なくとも1つの離散点の3次元位置を決定するステップであって、前記決定された3次元位置は、3次元コンピュータ生成された仮想参照物体と同じ座標システムにある、ステップと、前記仮想参照物体上の対応する離散点座標を決定するステップと、前記獲得された画像上の少なくとも1つの離散点の決定された位置および前記仮想参照物体上の対応する正確な座標に基づいて、前記物体上の少なくとも1つの離散点の絶対スケール位置を計算するステップと、を備える。
上述した方法は、正確に製造された参照物体を有さずに、絶対スケールで物体を測定することを容易にする。上述した方法は、参照物体の摩耗(wearing)に関するすべての問題を除去する。それは、さらに測定許容誤差により生じる不正確さを除去するのに役立つ。これらは、低減されたコストで改善された測定品質を提供する。
一実施形態において、この方法はさらに、物体のモデル製図に基づいてコンピュータ生成された、仮想参照物体を生成することを備える。一実施形態において生成は、さららに、以下の少なくとも1つを備えた、さらなる情報を受信することを備える。照明設定情報、物体材料情報、物体カラー情報または視認センサパラメータ。視認センサパラメータは、カメラ座標と配向を備える。他の実施形態において、生成することは、さらに、製造された物体の少なくとも1つの画像を獲得することと、モデル製図に基づいて投影図を生成することであって、前記投影図は、前記製造された物体の少なくとも1つの画像の方向に対応する、投影図を生成することと、前記生成された投影図上の少なくとも1つの獲得された画像の一部を位置合わせすることと、を備える。
他の実施形態において、生成することはさらに、モデル製図と、受信したさらなる情報に基づいて、物体の写実的画像を生成することを備える。
一実施形態において、上述した方法は、コンピュータプログラムがコンピューティングデバイスにおいて実行されると、上述した方法を実行するように構成されたコンピュータプログラムコードを備えたコンピュータプログラムとしてインプリメントされる。
一実施形態において、少なくとも1つのプロセッサと、少なくとも1つのメモリを備えたコントローラが開示される。少なくとも1つのプロセッサは、上述した方法を実行するように構成される。さらなる実施形態において、マシンビジョンシステムが開示される。マシンビジョンシステムは、ハウジングと、ハウジング内に複数のカメラを備えたカメラシステムと、ハウジング内に複数の照明デバイスを備えた照明システムと、上述したコントローラと、を備え、コントローラは、マシンビジョンシステムに接続され、上述した方法を実行するように構成される。
コンピュータ生成仮想参照物体を用いることは、いくつかの利点を提供する。コンピュータ生成は、製造許容誤差を伴わずに、実行することができる。従って、コンピュータ生成仮想参照物体は、物体の設計図と正確に一致する。これは、コストの高い参照物体を製造し、製造した参照物体を正確に測定することなしに、達成される。従って、コンピュータ生成仮想参照物体の使用は、測定精度を増大させる。
コンピュータ生成仮想参照物体のさらなる利点は、絶対スケール上での正確な測定値が知られている時、測定において視認された差分を絶対スケール上で容易に計算することができる。このさらなる利点は、参照物体を測定する必要がないとき、測定許容誤差により生じた不正確さを回避することができる。
従来の実際の参照物体は、また機械的摩耗や、製造現場の環境に晒されることにより生じるその他の問題にもなりがちである。例えば、測定を行っている人が、参照物体を落とし、傷やその他の機械的欠陥を生じる可能性がある。さらに、時として、汚れやその他の不純物により、物体が異なって見えるかもしれない。いくつかのケースにおいて、太陽光にさらすことでさえも、参照物体における視覚的変化の原因になり得る。これらの露出に関連した欠陥は、すべてコンピュータ生成された参照物体を用いることにより回避することができる。マシンビジョンシステムのさらなる理解を提供するために含まれ、本明細書の一部を構成する添付の図面は、実施形態を示し、記述とともにマシンビジョンシステムの原理を説明するのに役立つ。
マシンビジョンシステムの一例である。 マシンビジョンシステムの方法の一例である。 コンピュータ生成仮想参照オブジェクトを生成する方法の一例である。 コンピュータ生成仮想参照オブジェクトを生成するための方法の一例である。
実施形態を詳細に参照する。実施形態の一例は、添付図面に図示される。以下において、コンピュータ生成された仮想参照物体を含む、最初の測定について説明する。
次に、コンピュータ生成仮想参照物体を準備するための、2つのオプションの方法について説明する。コンピュータ生成仮想参照オブジェクトは、仮想参照物体のコンピュータ生成ビューである、参照ビューとも呼ばれる、1つまたは複数の参照画像として理解されるべきである。したがって、コンピュータで生成された仮想参照物体は、1つの参照ビューではなく、さまざまな角度から、場合によっては異なるパラメータで、物体を表示する1つ以上の参照ビューを含むセットとして理解する必要がある。さらに、コンピュータ生成参照モデルは、また、異なる照明、または他の設定で、同じアングルからの、いくつかの参照ビューを有することもできる。さらに、当業者は、コンピュータ生成仮想参照物体が、完全な物体である必要はないことを理解する。測定される特徴がカバーされていれば十分である(関心領域)。
以下の記述において、複数のカメラを含むマシンビジョンシステムが記載される。しかしながら、従来のデジタルカメラは、一般的にこの目的に適しているため、表現カメラ(expression camera)は、理解を得るためにのみ使用される。一般的なカメラの代わりに、比較するのに適した画像を生成することができる、他のタイプの視認センサを使用することもできる。これらは、異なるタイプの特殊目的のカメラ、例えば、ヒートカメラ(heat camera)、スキャナ装置、デジタルX線撮像装置、曲げ可能な画像ユニット、3次元カメラ等を含む。
図1において、マシンビジョンシステムの一例を図示するブロック図が開示される。図1において、測定ステーション102が開示される。測定ステーション102は、4台のカメラ100a-100dと3台の照明装置101a-101cを含む。カメラの台数と照明装置の台数は、それぞれ4台と3台に限定されず、自由に選択することができる。典型的には、カメラと照明装置の台数はもっと多い。カメラと照明装置は、1つまたは複数のフレームに取り付けられ、フレームはさらに、測定ステーション102に取り付けられる。フレームの代わりに、カメラと照明装置は、直接測定ステーション102の壁に取り付けることもできる。カメラ、および必要であれば、照明装置は、一般的な校正方法を用いて、選択された座標システムに校正される。
測定ステーション102はさらに、測定される物体103を測定ステーション内に運び込むために使用されるコンベア104を含む。コンベアは一例に過ぎない。測定された物体は、また他の手段、例えば、産業ロボットを用いて持ち込むこともできるし、あるいは、測定を行う人が載置することもできる。
この記述では、周囲の光は、測定ステーションが配置されている、ホールまたは施設の照明条件であると想定されている。周囲光は、窓からの自然光であってもよいし、あるいは、敷地内の照明装置であり得る。周囲光が測定を邪魔しないように測定ステーション102を閉じることは利点があるが、しかしながら、これは必ずしも必要ない。例えば、測定が正確に定義された照明配置の恩恵を受ける場合、周囲光を補償することができる。強力な照明の構成を用いると、たとえ多少の周囲光により測定条件に多少の変化を生じたとしても、測定ステーション102を使用することができる。測定ステーション102の閉鎖は、例えば、コンベアが使用されている場合、コンペア開口部に、ドアまたはカーテンを用いることにより得ることができる。測定される物体が人間の手により測定プラットフォームに載置される場合、周囲光を完全に取り除いた、隙間の無い(tight)測定ステーションを製造することは、容易である。周囲光を完全に除去できない場合、周囲光を補償するために使用される、さらなる照明装置を使用することができる。
測定ステーション102は、ネットワーク接続108を用いてコントローラ105に接続される。ネットワーク接続は、有線または無線であり得る。コントローラは、測定ステーションに設置することもできるし、あるいは離れた場所に設置してもよい。コントローラ105が測定ステーション102に位置する場合、例えば、製造現場のいくつかのシステムを制御するための制御ルームから、遠隔で操作することができる。コントローラ105は、少なくとも1つのプロセッサ106と、少なくとも1つのメモリ107を備える。プロセッサは、測定を行うためにコンピュータプログラムコードを実行するように構成される。少なくとも1つのメモリ107は、コンピュータプログラムコードと、関連データ、例えば、獲得した測定画像および参照ビューを記憶するように構成される。コントローラ105は、例えば、測定画像および測定条件の長期間の保存を可能にするために、典型的にさらなるコンピューティングデバイスに接続される。
測定ステーション102は、図2乃至4を参照して、以下の例に記載するように使用することができる。図2は、コンピュータ生成仮想参照物体を用いた方法の一例を開示する。図3および4は、参照ビューを生成する方法の2つの例を開示する。コンピュータ生成仮想参照物体を用いる利点は、参照のサイズが正確に意図したサイズであることである。これは、仮想参照物体は作られておらず、従って、製造許容誤差により生ずる不正確さが無いからである。当業者は、提示された例は、例に過ぎず、他の同様の原理を、コンピュータ生成仮想参照物体を用いた測定に、使用することができることを理解する。
図2において、方法の一例が開示される。この方法において、図1の測定ステーション、あるいは類似のもののような測定ステ-ションを使用することができる。測定では、最初に、ステップ200において、少なくとも1つのコンピュータ生成仮想参照物体が受信される。コンピュータ生成仮想参照物体は、一般的なカメラを用いて撮像された画像と容易に比較することができる、2次元投影ビューの形態で受信することができる。しかしながら、モデルは、2次元投影ビューが、3次元モデルから作られるように、あるいは、比較される離散的特徴の3次元ロケーションが最初に計算され、次にコンピュータ生成参照物体を比較されるように、3次元であってもよい。同様の原理は、2以上のレンズを含むカメラにも使用することができる。これらのカメラは、しばしば3次元カメラ、あるいはステレオカメラと呼ばれる。この方法では、コンピュータ生成仮想参照物体の必要なビューのみしか受信する必要がない。例えば、1つの特徴のみが測定されるとき、1つの参照のみで十分である。しかしながら、典型的には、異なるカメラビュー、および可能な物体配向に対応する、複数の参照ビューがある。
コンピュータ生成仮想参照物体は、ステップ201においても受信される、関連するオプションの設定に関連づけることができる。例えば、コンピュータ生成仮想参照物体が、例えば、オプションの設定を受信すると、利用可能な照明装置のサブセットを用いた、特定の照明設定をアクティブにすることができる。コンピュータ生成仮想参照物体は、特定の照明装置を用いて生成された可能性があり、測定するときに同じ照明装置を使用することは、比較される画像間に、より良い対応を提供するので、利点がある。
参照ビューと可能なオプションの設定が受信された後で、測定ステーションは、ステップ202で測定される、最初の物体を受信する準備をする。これは、例えば、コンベアベルト、測定する人、ロボットデバイス、あるいは物体を測定ステーションの測定プラットフォームに配置するための、他の手段を用いて行うことができる。
物体は、ステップ203において、複数の画像を獲得することにより測定される。画像は次にステップ204において、それぞれの参照ビューと比較される。比較は、一般的な比較と同様であり得、得られた結果が、相対的な差分である。しかしながら、コンピュータ生成参照物体の正確な測定は、知られているので、測定された物体の絶対測定値を計算することも可能である。
このアプリケーションでは、絶対スケール、あるいは絶対測定は、配列(arrangement)であることを意味し、測定は、正確な単位、例えば、メートル法のナノメータあるいはメータで表すことができる。
測定するとき、物体上の離散点の物***置が決定され、コンピュータ生成仮想参照物体と比較される。このアプリケーションにおいて、離散点は、物体上の点または特徴を意味する。これは、例えば、物体上に正確なロケーションを有し、正確なロケーションが設計者により決定された穴、溝、エッジ、コーナーあるいは類似の点を含む。従来、マシンビジョンシステムは、物体上に投影された点群を使用していた。これらの点群は、オブジェクトとの関係で位置が不明であり、オブジェクトの一部ではないため、オブジェクト上の離散点ではない。
離散点が、コンピュータ生成仮想参照物体から派生されるとき、それらは、製造許容誤差による、いかなる偏差もあり得ないので、理想的に正しい位置にあることがわかる。
以下では、コンピュータ生成仮想参照物体を提供するための2つの異なる方法が開示される。しかしながら、以下の方法は、方法の例示としてみなされるべきであり、コンピュータ生成参照物体を生成する他の方法を使用することもできる。
図3において、コンピュータ生成仮想参照物体を提供する方法。コンピュータ生成仮想参照物体を生成するための開始点は、測定される物体のモデル図を受け取ることである(ステップ300)。典型的には、この図は、CAD図面または類似のコンピュータ支援設計ツール図面である。測定される物体は、コンピュータ制御ビジョンシステムを用いて測定することができる任意の物体であり得る。典型的には、これらの機械部品は、車、モバイルフォン、家庭用機器、および機械部品を含む任意の他のデバイスのための部品として使用される。モデル図面は、物体の座標を含む。図面の座標は、2次元または3次元であり得る。座標は、測定に使用される座標系に対応する座標系でのサイズを正確に定義する。
ステップ301において、次に、モデル図面に従って製造された物体が受信される。物体は、いわゆる黄金の物体である必要はないが、製造プロセスの不正確さを有する通常の物体であり得る。従って、物体は、理想的ではなく、図面に示される理想的な測定からの偏差を有する。
物体の受信した図面は、投影モデルを生成するのに使用される(ステップ302)。この投影は、典型的には、物体の2次元ビューである。投影ビューを生成するためには、視認方向および他の視認センサに関連したパラメータを知る必要がある。これらは、例えば、視認センサロケーション、回転角、焦点距離、レンズ誤差およびカメラ画像に対応するビューを生成するために必要かもしれない他のパラメータを含む。同一のパラメータが、画像を取得してビューを生成するためのものである場合、最終結果は、同じ座標系にあり、さらに処理することなく互いに比較可能である。しかしながら、いくつかのアプリケーションでは、さらなる画像処理を使用することができる。
この処理はさらに、生成された投影モードに対応する画像、または複数の画像を取得することを含む(ステップ303)。取得した画像は、望ましくは、実際の測定条件に対応する条件下の物体を備える。
最終的に取得した画像と投影モデルは結合されるので、画像の少なくとも一部が選択され、投影モデル上に正確に位置合わせされる。この位置合わせは、完全に自動的であるが、しかしながら、必要な部分を手動で位置合わせすることも可能である。十分に正確であるため、取得した画像と投影モデルをズームして、位置合わせプロセスを非常に正確に行うことができる。組合せの結果は、コンピュータ生成仮想参照物体として使用することができる。
上述の記載では、測定設定は述べなかったが、それらはコンピュータ生成仮想参照物体とともに記憶することができる。したがって、コンピュータ生成仮想参照物体を生成するための画像を取得するのに使用されたのと同じ照明を、使用することができる。
図4において、コンピュータ生成仮想参照物体を生成する他の方法が開示される。この方法は、測定される物体のモデル図面を受信することにより開始される(ステップ400)。これは、少なくとも部分的には、図3のステップ300と部分的に同様である。受信したモデル図面は、物体を作成するために、互いに相互接続される座標により示される点のセットであり得る。
コンピュータ生成仮想参照物体を提供するために、さらなる物体特性が受信される(ステップ401)。これらのさらなる特性は、例えば、製造材料または材料、物体の色および類似のものを含む。したがって、どのように物体が光を反射し、カメラに映るかを決定することができる。
上述したように、一般的な測定ステーションは、一般的に、複数の、独立して制御可能な照明装置を備える。光の強度、波長および他の特性も制御可能である。カメラにより撮像された画像と比較することができるコンピュータ生成参照モデルを生成するために、どの照明設定を使用したかを知ることは、有益である。したがって、使用する照明設定を受信することは、有益である(ステップ402)。
コンピュータ生成仮想参照物体を生成するとき、視野角を知る必要がある。従って、図3の方法と同様に、測定した物体を撮像するのに使用した、カメラの情報を知る必要がある。これは、例えば、カメラロケーション、または配向を検索するのに使用することが出来る、カメラ識別情報を受信することにより達成することができる(ステップ403)。
モデル図面およびさらなる特性が分かると、コンピュータ生成仮想参照物体を生成することが可能である(ステップ404)。コンピュータ生成仮想参照物体は、視覚的に、できるだけ写実的でなければならない。これは、レンダリング技術、たとえば、視表面を決定する方法であるスキャンラインレンダリングは、レイトレーシング(raytracing)を用いて達成することができる。レイトレーシングは、画像を生成する技術であり、画像平面のピクセルを介した光の経路をトレースし、仮想物体との遭遇の効果をシミュレートすることにより、コンピュータ生成仮想参照物体として使用することができる。レイトレーシングは、非常に高度の視覚的リアリズムを生成することができ、この目的に適している。レイトレーシング技術は、計算上望まれるが、コンピュータ生成仮想参照物体と、コンピュータ生成仮想参照物体を表す画像は、前もって計算することができるので、コストの高い計算は、コンピューティングセンタ、または類似の場所で行うことができ、測定ステーションで行う必要はない。したがって、非常に高精度のモデル物体は、一般的な解法を用いて比較するとき、計算力を高める必要なく、達成することができる。
上述した例では、カメラと照明装置は、一般的なカメラと照明装置であるが、これはそうである必要なない。したがって、特定の波長に設計された、特定のカメラと特定の照明装置を使用することができる。したがって、光は人間の目に見える必要はない。従って、当業者は、コンピュータ生成仮想参照物体は、カメラで見えるように提供されることを理解する。例えば、いくつかのパラメータにおいて、人間の眼には見えない、紫外線または赤外線を使用することは有効である。類似の原理を、コンピュータ生成仮想参照物体に対して比較することができる画像または測定を生成するスキャナ、または他の測定デバイスのような、他の視認センサタイプに適用する。従って、表現画像は、物体を異なって見ることができる、種々の画像生成装置で生成された画像をカバーするように、広く理解されるべきでる。
上の例では、コンピュータ生成仮想参照物体の使用が開示された。測定において、コンピュータ生成仮想参照物体は、従来の参照物体と同じように使用される。
k×3次元マトリクスVの場合のコンピュータ生成仮想参照物体の3次元離散点を測定するとき、kは測定ポイントの数を表す。測定された実際の物体は、類似のマトリクスRを有するが、これらの行列は、同じ場所にあるわけではなく、同じ座標系に配置されていない。従って、差分は、R-Vを計算することにより、直接計算することはできない。しかしながら、利用可能な測定許容範囲内で、当然のことながら行列Rの形で絶対スケールの結果を達成することを意図しているので、たとえば次の方法、または他の適切な同様のアプローチを使用して、Rを達成することで十分である。
位置決めの問題は、一般的な位置決め方法を用いて解決することができる。1つの方法は、一般的な3-2-1方法である。他の共通に使用されるオプションは、最適な方法(best fit method)を使用することである。これらの位置決め方法は、例に過ぎず、他の方法も利用可能である。利用可能な方法は、異なる精度である可能性があり、方法を選択するとき、このことを考慮する必要がある。
座標を計算する1つの方法をより良く理解するために、以下のパラグラフが開示される。取得された2次元画像上の個々の測定点、または特徴の座標が、次の通りであると仮定する。
={X1vk、Y1vk、X2vk、Y2vk、・・・、Xnvk、Ynvk
但し、nは、カメラの数であり、kは測定点の数である。従って、k×2n次元のマトリクスVを形成することが可能であり、kは、測定点の数であり、nはカメラの数である。相応に、同じ次元のマトリクスDを生成することが可能である。ここで各行は次の形式である。
{X1dk、Y1dk、X2dk、Y2dk、・・・Xndk、Yndk
但し、nは、カメラの数であり、値の各々は、2次元平面上における実際の測定点と、仮想測定点との間の差分を描画する。相応して、測定された2次元座標の座標は、M=V+Dのマトリクスの形式で図に示され、ここでは、Mは、VおよびDと同じ次元であり、各行は、同じ形式{X1mk、Y1mk、X2mk、Y2mk、・・・Xnmk、Ynmk}であり、絶対スケール3次元マトリクスは、Rであり、k×3である。但し、各行Xk、YkおよびZkは、マトリクスM行の関数である。
={X}=f(x1mk、Y1mk、X2mk、Y2mk、・・・Xnmk、Ynmk
従って、R=f(M)である。
上で示した方法は、外部デバイスと通信することができる、コンピューティングデバイスで実行される、コンピュータプログラムコードを備えたコンピュータソフトウェアとしてインプリメントすることができる。ソフトウェアがコンピューティングデバイスで実行されると、上述した新規な方法を実行するように構成される。ソフトウェアは、コンピュータ可読媒体に埋め込まれるので、図1のコントローラ105のようなコンピューティングデバイスに提供することができる。
上述したように、例示実施形態のコンポーネントは、この発明の教示に従ってプログラムされた命令を保持し、データ構造、テーブル、レコードおよび/またはここに、記載した、他のデータを保持するためのコンピュータ可読媒体、またはメモリを含むことができる。コンピュータ可読媒体は、命令を、実行のためのプロセッサに提供することに関与する、任意の適切な媒体を含むことができる。一般的な形態のコンピュータ可読媒体は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の適切な磁気媒体、CD-ROM、CD±R、CD±RW、DVD、DVD-RAM、DVD±RW、DVD±R、HD DVD、HD DVD-R、HD DVD-RW、HD DVD-RAM、ブルーレイディスク、任意の他の適切なメモリチップまたはカートリッジ、搬送波またはコンピュータが読み取ることができる、任意の他の適切な媒体を含むことができる。
当業者には、技術の進歩に伴い、マシンビジョンシステムの基本的アイデアが、種々の方法でインプリメントすることができることは、明白である。従って、マシンビジョンシステムおよびその実施形態は、上述した例に限定されない。代わりに、それらは、特許請求の範囲内で変更することができる。

Claims (7)

  1. 物体を測定する方法であって、
    3次元コンピュータ生成仮想参照物体を受信するステップであって、前記受信した仮想参照物体は、前記物体のモデル図に基づいて生成され、前記仮想参照物体は、前記物体の正確な座標を備え、前記正確な座標は、少なくとも1つの離散点の座標を備える、ステップと、
    前記物体の少なくとも2つの画像を取得するステップであって、前記取得した少なくとも2つの画像は、少なくとも2つの異なるカメラを用いて取得される、ステップと、
    前記取得した画像に基づいて、前記物体上の少なくとも1つの離散点の3次元ロケーションを決定するステップであって、前記決定された3次元ロケーションは、前記3次元コンピュータ生成仮想参照物体と同じ座標系内にある、ステップと、
    前記実際の物体上の離散点に対応する、前記仮想参照物体上の離散点の座標を決定するステップと、
    前記取得した画像上の、少なくとも1つの離散点の、前記決定されたロケーション、および前記仮想参照物体上の、対応する正確な座標に基づいて、前記物体上の、少なくとも1つの離散点の、絶対スケールロケーションを計算するステップと、
    を備え、
    前記物体の、前記モデル図に基づいて、前記コンピュータ生成された仮想参照物体を生成することを備え、
    前記生成はさらに、照明設定情報、物体材料情報、または物体色情報の少なくとも1つを備える付加情報を受信することを備えた、
    物体を測定する方法。
  2. 前記生成はさらに、カメラパラメータの付加情報を受信することを備え、
    前記カメラパラメータは、カメラ座標とカメラ配向を備えた、請求項に記載の方法。
  3. 前記生成はさらに、
    製造された物体の少なくとも1つの画像を取得するステップと、
    前記モデル図に基づいて投影ビューを生成するステップであって、前記投影ビューは、製造された物体の少なくとも1つの画像の方向に対応する、ステップと、
    前記生成された投影ビュー上の少なくとも1つの画像の、少なくとも一部を位置合わせするステップと、
    を備えた、請求項1又は請求項2に記載の方法。
  4. 前記生成は、さらに、前記モデル図および受信した付加情報に基づいて、前記物体の写実的画像を生成することを備えた、請求項乃至のいずれか一項に記載の方法。
  5. コンピュータプログラムが、コンピューティングデバイスにおいて実行されると、請求項1乃至のいずれか一項に記載の方法を実行するように構成されたコンピュータプログラムコードを備えたコンピュータプログラム。
  6. 少なくとも1つのプロセッサ(06)と、少なくとも1つのメモリ(107)を備え、前記少なくとも1つのプロセッサは、請求項1乃至のいずれか一項に記載の方法を実行するように構成されたコントローラ。
  7. ハウジング(102)と、
    前記ハウジング(102)内に複数のカメラ(100a-100d)を備えたカメラシステムと、
    前記ハウジング(102)内に複数の照明装置(10a-101c)を備えた照明システムと、
    コントローラ(105)と、
    を備え、前記コントローラは、請求項1乃至のいずれか一項に記載の方法を実行するように構成された、マシンビジョンシステム。
JP2020530982A 2017-12-15 2018-12-14 コンピュータ生成された参照物体を有するマシンビジョンシステム Active JP7330970B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FI20176126A FI129042B (en) 2017-12-15 2017-12-15 Computer vision system with a computer-generated virtual reference object
FI20176126 2017-12-15
PCT/FI2018/050915 WO2019115881A1 (en) 2017-12-15 2018-12-14 Machine vision system with a computer generated virtual reference object

Publications (2)

Publication Number Publication Date
JP2021507209A JP2021507209A (ja) 2021-02-22
JP7330970B2 true JP7330970B2 (ja) 2023-08-22

Family

ID=65010798

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020530982A Active JP7330970B2 (ja) 2017-12-15 2018-12-14 コンピュータ生成された参照物体を有するマシンビジョンシステム

Country Status (8)

Country Link
US (1) US11443418B2 (ja)
EP (1) EP3724599A1 (ja)
JP (1) JP7330970B2 (ja)
KR (2) KR20200097778A (ja)
CN (1) CN111480050A (ja)
CA (1) CA3083414A1 (ja)
FI (1) FI129042B (ja)
WO (1) WO2019115881A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7294927B2 (ja) * 2019-07-23 2023-06-20 ファナック株式会社 相違点抽出装置
CN111283664B (zh) * 2020-03-24 2023-03-28 青岛理工大学 一种面向机器人增强现实示教的注册***和方法
DE102020129792B4 (de) * 2020-11-11 2023-03-09 Volume Graphics Gmbh Computerimplementiertes Verfahren zum Ermitteln eines Werts eines geometrischen Parameters
CN114623781B (zh) * 2022-04-28 2024-05-10 农业农村部南京农业机械化研究所 基于图像的绿肥等农作物种子外形尺寸测量方法及测量***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19757773A1 (de) 1997-12-24 1999-07-01 Bernward Maehner Verfahren zur dreidimensionalen, detaillierten Simulation plastischer Veränderungen an menschlichen Körperpartien
JP2005031045A (ja) 2003-07-11 2005-02-03 Olympus Corp 情報呈示装置及び情報呈示システム
JP2011179908A (ja) 2010-02-26 2011-09-15 Canon Inc 3次元計測装置、その処理方法及びプログラム
US20120194665A1 (en) 2011-01-27 2012-08-02 Lynxrail Corporation Camera assembly for the extraction of image depth discontinuity and method of use
JP2013149042A (ja) 2012-01-18 2013-08-01 Hitachi Plant Technologies Ltd 設備保守管理システム
US20150139535A1 (en) 2013-11-18 2015-05-21 Nant Holdings Ip, Llc Silhouette-based object and texture alignment, systems and methods
JP2017004170A (ja) 2015-06-08 2017-01-05 矢崎総業株式会社 組み立て設備検査方法
JP2017204222A (ja) 2016-05-13 2017-11-16 株式会社トプコン 管理装置、管理方法および管理用プログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL82569A (en) * 1987-05-18 1991-11-21 Israel Aircraft Ind Ltd Apparatus for automatic tracking and contour measurement
US5488479A (en) 1992-12-17 1996-01-30 The United States Of America As Represented By The Secretary Of Agriculture Machine vision system for inspection of agricultural commodities
US6064759A (en) 1996-11-08 2000-05-16 Buckley; B. Shawn Computer aided inspection machine
US6173070B1 (en) * 1997-12-30 2001-01-09 Cognex Corporation Machine vision method using search models to find features in three dimensional images
US7327857B2 (en) 2004-03-09 2008-02-05 General Electric Company Non-contact measurement method and apparatus
WO2005091220A1 (en) * 2004-03-12 2005-09-29 Bracco Imaging S.P.A Accuracy evaluation of video-based augmented reality enhanced surgical navigation systems
ATE452379T1 (de) 2007-10-11 2010-01-15 Mvtec Software Gmbh System und verfahren zur 3d-objekterkennung
JP5158007B2 (ja) 2009-04-28 2013-03-06 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US8849620B2 (en) 2011-11-18 2014-09-30 Nike, Inc. Automated 3-D modeling of shoe parts
US20130201210A1 (en) 2012-01-13 2013-08-08 Qualcomm Incorporated Virtual ruler
JP5899951B2 (ja) 2012-01-18 2016-04-06 セイコーエプソン株式会社 ロボット装置および位置姿勢検出方法
JP2014020969A (ja) 2012-07-19 2014-02-03 Keihin Corp 平面度および異物検査装置
US9508146B2 (en) * 2012-10-31 2016-11-29 The Boeing Company Automated frame of reference calibration for augmented reality
JP5818857B2 (ja) * 2013-10-24 2015-11-18 キヤノン株式会社 情報処理装置およびその制御方法
US9747680B2 (en) 2013-11-27 2017-08-29 Industrial Technology Research Institute Inspection apparatus, method, and computer program product for machine vision inspection
EP3040941B1 (en) 2014-12-29 2017-08-02 Dassault Systèmes Method for calibrating a depth camera
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
CN105180817B (zh) 2015-08-06 2018-08-10 联想(北京)有限公司 一种数据处理方法及电子设备
CN106127758B (zh) 2016-06-21 2019-08-23 四川大学 一种基于虚拟现实技术的视觉检测方法及装置
EP3336801A1 (en) * 2016-12-19 2018-06-20 Thomson Licensing Method and apparatus for constructing lighting environment representations of 3d scenes

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19757773A1 (de) 1997-12-24 1999-07-01 Bernward Maehner Verfahren zur dreidimensionalen, detaillierten Simulation plastischer Veränderungen an menschlichen Körperpartien
JP2005031045A (ja) 2003-07-11 2005-02-03 Olympus Corp 情報呈示装置及び情報呈示システム
JP2011179908A (ja) 2010-02-26 2011-09-15 Canon Inc 3次元計測装置、その処理方法及びプログラム
US20120194665A1 (en) 2011-01-27 2012-08-02 Lynxrail Corporation Camera assembly for the extraction of image depth discontinuity and method of use
JP2013149042A (ja) 2012-01-18 2013-08-01 Hitachi Plant Technologies Ltd 設備保守管理システム
US20150139535A1 (en) 2013-11-18 2015-05-21 Nant Holdings Ip, Llc Silhouette-based object and texture alignment, systems and methods
JP2017004170A (ja) 2015-06-08 2017-01-05 矢崎総業株式会社 組み立て設備検査方法
JP2017204222A (ja) 2016-05-13 2017-11-16 株式会社トプコン 管理装置、管理方法および管理用プログラム

Also Published As

Publication number Publication date
KR20240023209A (ko) 2024-02-20
US20200311909A1 (en) 2020-10-01
EP3724599A1 (en) 2020-10-21
WO2019115881A1 (en) 2019-06-20
JP2021507209A (ja) 2021-02-22
FI129042B (en) 2021-05-31
CN111480050A (zh) 2020-07-31
US11443418B2 (en) 2022-09-13
FI20176126A1 (en) 2019-06-16
CA3083414A1 (en) 2019-06-20
KR20200097778A (ko) 2020-08-19

Similar Documents

Publication Publication Date Title
JP7330970B2 (ja) コンピュータ生成された参照物体を有するマシンビジョンシステム
CN110336987B (zh) 一种投影仪畸变校正方法、装置和投影仪
EP3006893B1 (en) Methods for improving the accuracy of dimensioning-system measurements
JP6465789B2 (ja) デプスカメラの内部パラメータを算出するプログラム、装置及び方法
JP5943547B2 (ja) 非接触測定を行う装置および方法
US9025857B2 (en) Three-dimensional measurement apparatus, measurement method therefor, and computer-readable storage medium
Jung et al. Time-of-flight sensor calibration for a color and depth camera pair
US5832106A (en) Method for camera calibration of range imaging system by use of neural network
EP3049756B1 (en) Modeling arrangement and method and system for modeling the topography of a three-dimensional surface
CN115345822A (zh) 一种面向航空复杂零件的面结构光自动化三维检测方法
US20210158552A1 (en) Systems and methods for enhanced depth determination using projection spots
JP2015090298A (ja) 情報処理装置、情報処理方法
CN110490967A (zh) 图像处理和对象建模方法与设备、图像处理装置及介质
CN111028341A (zh) 一种三维模型生成方法
US11259000B2 (en) Spatiotemporal calibration of RGB-D and displacement sensors
CN112509127A (zh) 一种高精度仿真点云模型的生成方法
Karaszewski et al. Automated full-3D digitization system for documentation of paintings
KR20190050819A (ko) 가정된 캘리브레이션 모델 없이 측정된 데이터를 이용하여 캘리브레이션을 수행하는 방법 및 상기 방법을 수행하는 3차원 스캐너 캘리브레이션 시스템
Bergström et al. Automatic in-line inspection of shape based on photogrammetry
JP2015059849A (ja) 色と三次元形状の計測方法及び装置
JP7099052B2 (ja) シミュレーション装置、シミュレーション方法およびプログラム
KR102080506B1 (ko) 광학 3d 스캐너
Gräter et al. Photometric laser scanner to camera calibration for low resolution sensors
WO2005073669A1 (en) Semi and fully-automatic camera calibration tools using laser-based measurement devices
Uyanik et al. A method for determining 3D surface points of objects by a single camera and rotary stage

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20200717

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211013

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221222

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230621

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230809

R150 Certificate of patent or registration of utility model

Ref document number: 7330970

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150