JP7448655B2 - 検査データ作成方法、検査データ作成装置および検査装置 - Google Patents

検査データ作成方法、検査データ作成装置および検査装置 Download PDF

Info

Publication number
JP7448655B2
JP7448655B2 JP2022532968A JP2022532968A JP7448655B2 JP 7448655 B2 JP7448655 B2 JP 7448655B2 JP 2022532968 A JP2022532968 A JP 2022532968A JP 2022532968 A JP2022532968 A JP 2022532968A JP 7448655 B2 JP7448655 B2 JP 7448655B2
Authority
JP
Japan
Prior art keywords
component
similarity
image
registered
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022532968A
Other languages
English (en)
Other versions
JPWO2022003919A5 (ja
JPWO2022003919A1 (ja
Inventor
孝智 水嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Motor Co Ltd
Original Assignee
Yamaha Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Motor Co Ltd filed Critical Yamaha Motor Co Ltd
Publication of JPWO2022003919A1 publication Critical patent/JPWO2022003919A1/ja
Publication of JPWO2022003919A5 publication Critical patent/JPWO2022003919A5/ja
Application granted granted Critical
Publication of JP7448655B2 publication Critical patent/JP7448655B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P70/00—Climate change mitigation technologies in the production process for final industrial or consumer products
    • Y02P70/50—Manufacturing or production processes characterised by the final manufactured product

Landscapes

  • Engineering & Computer Science (AREA)
  • Operations Research (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Description

この発明は、検査データ作成方法、検査データ作成装置および検査装置に関し、特に、部品データとしての検査データを設定する検査データ作成方法、検査データ作成装置および検査装置に関する。
従来、部品データとしての検査データを設定する検査データ作成方法が知られている。このような方法は、たとえば、再公表２０１８／１０５１００号公報に開示されている。
上記再公表２０１８／１０５１００号公報には、部品データとしての検査ジョブデータを設定する検査ジョブデータ作成方法（検査データ作成方法）が開示されている。この検査ジョブデータ作成方法では、まず、完成品基板の完成品画像データから、電子部品の寸法が抽出される。そして、この検査ジョブデータ作成方法では、抽出した電子部品の寸法と、多種類の電子部品の部品データが予め登録されている部品ライブラリの電子部品の寸法とが一致するか否かが照会される。そして、この検査ジョブデータ作成方法では、電子部品の寸法が一致したことに基づいて部品データとしての検査データが設定される。
再公表２０１８／１０５１００号公報
しかしながら、上記再公表２０１８／１０５１００号公報に記載された検査ジョブデータ作成方法では、単に抽出した電子部品の寸法と、多種類の電子部品の部品データが予め登録されている部品ライブラリの電子部品の寸法とが一致したことのみに基づいて部品データとしての検査ジョブデータ（検査データ）を設定するだけであるため、適用範囲が狭く、部品データとしての検査ジョブデータ（検査データ）を容易に設定することが困難であるという問題点がある。
この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、単に寸法が一致したことに基づいて部品データとしての検査データを設定する場合に比べて、部品データとしての検査データを容易に設定することが可能な検査データ作成方法、検査データ作成装置および検査装置を提供することである。
この発明の第１の局面による検査データ作成方法は、部品が実装済の基板の実装済基板画像を取得するステップと、実装済基板画像中の部品の部品画像を抽出するステップと、部品画像に基づいて、部品情報が予め登録された部品登録情報に対して、部品登録情報に登録された登録部品ごとの部品の類似度を取得するステップと、登録部品ごとの部品の類似度に基づいて、基板を検査する検査装置において用いられる部品データとしての検査データを設定するステップと、を備え、登録部品ごとの部品の類似度を取得するステップは、登録部品の全てに対して登録部品種類ごとの部品の種類の類似度および登録部品形状ごとの部品の形状の類似度を取得し、取得した登録部品種類ごとの部品の種類の類似度および登録部品形状ごとの部品の形状の類似度に基づいて、登録部品の全てに対して登録部品ごとの部品の総合的な類似度を取得するステップを含み、検査データを設定するステップは、部品登録情報の登録部品データから、部品データとしての検査データを設定するステップを含む。
この発明の第１の局面による検査データ作成方法では、上記のように、部品画像に基づいて、部品ごとの部品の類似度を取得するステップと、部品ごとの部品の類似度に基づいて、基板を検査する検査装置において用いられる部品データとしての検査データを設定するステップと、を設ける。これにより、単に寸法が一致したことのみに基づいて部品データとしての検査データを設定する場合と異なり、寸法が完全には一致していなくても、部品ごとの部品の類似度に基づいて、部品データとしての検査データを設定することができる。その結果、適用範囲を広くすることができるので、単に寸法が一致したことに基づいて部品データとしての検査データを設定する場合に比べて、部品データとしての検査データを容易に設定することが可能な検査データ作成方法を提供することができる。
上記第１の局面による検査データ作成方法において、好ましくは、登録部品ごとの部品の類似度は、数値を含み、検査データを設定するステップは、部品の類似度の数値が最も高い部品を部品データとしての検査データとして設定するステップを含む。このように構成すれば、部品の類似度の数値が最も高い部品を部品データとしての検査データとして設定することができる。その結果、部品データとしての検査データをより容易に設定することができる。
上記第１の局面による検査データ作成方法において、好ましくは、登録部品ごとの部品の類似度を取得するステップは、予め学習された機械学習モデルによる画像処理と、画像中の濃淡および画像中の高さのうちの少なくとも１つを利用した画像処理と、のうちの少なくとも１つを用いて、部品ごとの部品の類似度を取得するステップを含む。このように構成すれば、予め学習された機械学習モデルによる画像処理、または、画像中の濃淡および画像中の高さのうちの少なくとも１つを利用した画像処理、を用いて、部品ごとの部品の類似度を容易に取得することができる。また、予め学習された機械学習モデルによる画像処理を用いた場合、熟練者の判断に近い高精度な判断（類似度の取得）を容易に行うことができる。
上記第１の局面による検査データ作成方法では、部品種類ごとの部品の種類の類似度に基づいて、部品ごとの部品の類似度を取得することができる。その結果、部品の種類を考慮した部品の類似度に基づいて、種類が異なる部品を識別しつつ、部品データとしての検査データを設定することができる。
上記第１の局面による検査データ作成方法では、部品種類ごとの部品の種類の類似度だけでなく、部品形状ごとの部品の形状の類似度にも基づいて、部品ごとの部品の類似度を取得することができる。その結果、部品の種類および形状を考慮した部品の類似度に基づいて、種類および形状が異なる部品を識別しつつ、部品データとしての検査データを設定することができる。また、部品の種類および形状の両方を考慮するので、部品の形状のみを考慮する場合と異なり、同一形状であるが、種類が異なる部品を識別しつつ、部品データとしての検査データを設定することができる。
上記第１の局面による検査データ作成方法では、部品登録情報の登録部品データを用いて、部品データとしての検査データを容易に設定することができる。
上記第１の局面による検査データ作成方法において、好ましくは、部品の形状の類似度は、部品の外形の類似度と、部品の本体の類似度と、部品の端子の類似度とのうちの少なくとも１つを含む。このように構成すれば、部品の外形の類似度、部品の本体の類似度、または、部品の端子の類似度に基づいて、部品の形状の類似度を適切に取得することができる。
上記第１の局面による検査データ作成方法において、好ましくは、登録部品ごとの部品の類似度を取得するステップは、部品画像に基づいて、部品の外形の幅と、部品の外形の長さと、部品の外形の厚みと、部品の本体の幅と、部品の本体の長さと、部品の本体の厚みと、部品の端子の数と、部品の端子のピッチと、部品の端子の幅と、部品の端子の長さと、のうちの少なくとも１つを取得するステップを含む。このように構成すれば、部品の外形の幅、部品の外形の長さ、部品の外形の厚み、部品の本体の幅、部品の本体の長さ、部品の本体の厚み、部品の端子の数、部品の端子のピッチ、部品の端子の幅、または、部品の端子の長さに基づいて、部品の形状の類似度を適切に取得することができる。
上記第１の局面による検査データ作成方法において、好ましくは、部品ごとの部品の類似度を取得するステップは、予め学習された機械学習モデルによる画像処理を用いて、登録部品種類ごとの部品の種類の類似度を取得するとともに、画像中の濃淡および画像中の高さのうちの少なくとも１つを利用した画像処理を用いて、登録部品形状ごとの部品の形状の類似度を取得するステップを含む。このように構成すれば、予め学習された機械学習モデルによる画像処理を用いて、部品種類ごとの部品の種類の類似度を適切に取得しつつ、画像中の濃淡および画像中の高さのうちの少なくとも１つを利用した画像処理を用いて、部品形状ごとの部品の形状の類似度を適切に取得することができる。
上記第１の局面による検査データ作成方法において、好ましくは、部品ごとの部品の類似度を取得するステップは、画像中の濃淡および画像中の高さのうちの少なくとも１つを利用した画像処理を用いて、登録部品種類ごとの部品の種類の類似度および登録部品形状ごとの部品の形状の類似度のうちの少なくとも１つを取得する場合に、基板の色に関する情報、および、基板のはんだの厚みに関する情報のうちの少なくとも１つを考慮するステップを含む。このように構成すれば、基板の色に関する情報を考慮する場合、基板の色と部品の色（部品の本体の色、および、部品の端子の色など）とが近い色である場合にも、基板と部品とを容易に識別することができる。その結果、部品種類ごとの部品の種類の類似度、または、部品形状ごとの部品の形状の類似度を、正確に取得することができる。また、基板のはんだの厚みに関する情報を考慮する場合、基板のはんだと部品の端子とを識別する高さの基準が分かるので、基板のはんだと部品の端子とを容易に識別することができる。その結果、部品種類ごとの部品の種類の類似度、または、部品形状ごとの部品の形状の類似度を、正確に取得することができる。
上記第１の局面による検査データ作成方法において、好ましくは、実装済基板画像中の部品画像を抽出するステップは、基板に部品を実装する部品実装装置において用いられるとともに、部品の形状および部品の実装位置を含む基板データ、および、基板の画像データとしての基板ＣＡＤデータのうちの少なくとも１つに基づいて、実装済基板画像中の部品画像を抽出するステップを含む。このように構成すれば、基板データ、または、基板ＣＡＤデータに基づいて、実装済基板画像中の部品の位置を容易に指定することができる。その結果、基板データ、または、基板ＣＡＤデータを用いない場合に比べて、実装済基板画像中の部品画像を容易に抽出することができる。
上記第１の局面による検査データ作成方法において、好ましくは、検査データを設定するステップは、検査データとして設定した部品の端子の情報が、部品画像に基づいて取得した部品の端子の情報と異なる場合、検査データとして設定した部品の端子の情報を、部品画像に基づいて取得した部品の端子の情報により上書きすることにより、新たな検査データを作成するステップを含む。このように構成すれば、誤った部品の端子の情報を検査データとして設定することを抑制することができる。
この発明の第２の局面による検査データ作成装置は、部品が実装済の基板の実装済基板画像を取得する取得部と、実装済基板画像中の部品の部品画像を抽出し、部品画像に基づいて、部品情報が予め登録された部品登録情報に対して、部品登録情報に登録された登録部品ごとの部品の類似度を取得し、登録部品ごとの部品の類似度に基づいて、基板を検査する検査装置において用いられる部品データとしての検査データを設定する制御部と、を備え、制御部は、登録部品の全てに対して登録部品種類ごとの部品の種類の類似度および登録部品形状ごとの部品の形状の類似度を取得し、取得した登録部品種類ごとの部品の種類の類似度および登録部品形状ごとの部品の形状の類似度に基づいて、登録部品の全てに対して登録部品ごとの部品の総合的な類似度を取得するとともに、部品登録情報の登録部品データから、部品データとしての検査データを設定するように構成されている。
この発明の第２の局面による検査データ作成装置では、上記のように、部品画像に基づいて、部品ごとの部品の類似度を取得し、部品ごとの部品の類似度に基づいて、基板を検査する検査装置において用いられる部品データとしての検査データを設定する制御部を設ける。これにより、上記第１の局面による検査データ作成方法と同様に、単に寸法が一致したことに基づいて部品データとしての検査データを設定する場合に比べて、部品データとしての検査データを容易に設定することが可能な検査データ作成装置を提供することができる。
この発明の第３の局面による検査装置は、部品が実装済の基板を撮影して実装済基板画像を取得する撮影部と、実装済基板画像中の部品の部品画像を抽出し、部品画像に基づいて、部品情報が予め登録された部品登録情報に対して、部品登録情報に登録された登録部品ごとの部品の類似度を取得し、登録部品ごとの部品の類似度に基づいて、部品データとしての検査データを設定する制御部と、を備え、制御部は、登録部品の全てに対して登録部品種類ごとの部品の種類の類似度および登録部品形状ごとの部品の形状の類似度を取得し、取得した登録部品種類ごとの部品の種類の類似度および登録部品形状ごとの部品の形状の類似度に基づいて、登録部品の全てに対して登録部品ごとの部品の総合的な類似度を取得するとともに、部品登録情報の登録部品データから、部品データとしての検査データを設定するように構成されている。
この発明の第３の局面による検査装置では、上記のように、部品画像に基づいて、部品ごとの部品の類似度を取得し、部品ごとの部品の類似度に基づいて、部品データとしての検査データを設定する制御部を設ける。これにより、上記第１の局面による検査データ作成方法と同様に、単に寸法が一致したことに基づいて部品データとしての検査データを設定する場合に比べて、部品データとしての検査データを容易に設定することが可能な検査装置を提供することができる。
本発明によれば、上記のように、単に寸法が一致したことに基づいて部品データとしての検査データを設定する場合に比べて、部品データとしての検査データを容易に設定することが可能な検査データ作成方法、検査データ作成装置および検査装置を提供することができる。
一実施形態による部品実装システムを示すブロック図である。 一実施形態による検査装置を示すブロック図である。 一実施形態による検査データ作成装置による検査データ作成処理を説明するためのフローチャートである。 一実施形態による検査データ作成装置による部品の類似度の取得を説明するためのフローチャートである。 一実施形態による検査データ作成装置による検査データ作成処理を説明するための図である。 一実施形態による検査データ作成装置による部品の種類の類似度の取得を説明するための図である。 一実施形態による検査データ作成装置の機械学習モデルの作成を説明するための図である。 一実施形態による検査データ作成装置による部品の形状の取得を説明するための図である。 一実施形態による検査データ作成装置による部品の形状の類似度の取得を説明するための図である。 一実施形態による検査データ作成装置による部品の類似度の取得を説明するための第１図である。 一実施形態による検査データ作成装置による部品の類似度の取得を説明するための第２図である。
以下、本発明を具体化した実施形態を図面に基づいて説明する。
まず、図１を参照して、一実施形態による部品実装システム１００の構成について説明する。
（部品実装システムの構成）
図１に示すように、部品実装システム１００は、検査データ作成装置１０と、データベース２０と、検査装置３０とを備えている。
検査データ作成装置１０は、検査装置３０において用いられる検査データを作成するための装置である。検査データ作成装置１０は、たとえば、各種の演算を行うことが可能に構成されたパーソナルコンピュータである。検査データ作成装置１０は、制御部１１と、記憶部１２と、入力部１３と、表示部１４と、通信部１５とを備えている。制御部１１は、検査データ作成装置１０の動作を制御する制御回路である。制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサを含んでいる。記憶部１２は、各種の情報（データ）の記憶と、記憶した情報（データ）の読み出しとが可能な不揮発性の記憶媒体を含んでいる。記憶部１２には、たとえば、検査装置３０から取得する実装済基板画像４０、および、検査装置３０に送信する検査データ５０などが記憶されている。なお、通信部１５は、請求の範囲の「取得部」の一例である。
入力部１３は、マウス、および、キーボードなどを含み、ユーザによる入力操作を受け付けるように構成されている。表示部１４は、たとえば液晶モニタを含み、検査データ５０などの情報を表示する。通信部１５は、外部の機器と通信可能に構成されている。通信部１５は、データベース２０、および、検査装置３０と通信可能に構成されている。通信部１５は、検査装置３０から、実装済基板画像４０を取得するように構成されている。
データベース２０は、基板Ｂ（図２参照）に実装される部品Ｃごとの部品データが登録された部品ライブラリ２１を備えている。部品ライブラリ２１は、部品Ｃごとの部品データとして、部品Ｃの種類の情報、部品Ｃの形状の情報、部品Ｃの検査の情報を含んでいる。部品Ｃの種類の情報は、たとえば、チップコンデンサ、チップ抵抗器、チップインダクタ、チップトランジスタ、ＬＥＤ、ＳＯＰ、ＢＧＡ、ＱＦＰ、および、コネクタなどの部品Ｃの種類の情報を含んでいる。また、部品Ｃの形状の情報は、たとえば、部品Ｃの外形の幅、部品Ｃの外形の長さ、部品Ｃの外形の厚み、部品Ｃの本体の幅、部品Ｃの本体の長さ、部品Ｃの本体の厚み、部品Ｃの端子（リード）の数、部品Ｃの端子（リード）のピッチ、部品Ｃの端子（リード）の幅、および、部品Ｃの端子（リード）の長さなどの部品Ｃの形状の情報を含んでいる。また、部品Ｃの検査の情報は、たとえば、検査枠の位置、検査部位、および、検査パラメータなどの部品Ｃの検査の情報を含んでいる。なお、部品ライブラリ２１は、請求の範囲の「部品登録情報」の一例である。
検査装置３０は、基板Ｂを検査対象として撮影し、基板Ｂおよび基板Ｂ上の部品Ｃに対する各種検査を行う装置である。検査装置３０は、部品Ｃを基板Ｂに実装して回路基板を製造するための基板製造ラインの一部を構成している。
基板製造プロセスの概要としては、まず、配線パターンが形成された基板Ｂ上に、はんだ印刷装置（図示せず）によって所定のパターンではんだ（はんだペースト）の印刷（塗布）が行われる（はんだ印刷工程）。続いて、はんだ印刷後の基板Ｂに、部品実装装置（図示せず）によって部品Ｃが搭載（実装）される（実装工程）ことにより、部品Ｃの端子がはんだ上に配置される。その後、部品Ｃを実装済みの基板Ｂがリフロー炉（図示せず）に搬送されてはんだの溶融および硬化（冷却）が行われる（リフロー工程）ことにより、部品Ｃの端子が基板Ｂの配線に対して半田接合される。これにより、部品Ｃが配線に対して電気的に接続された状態で基板Ｂ上に固定され、基板製造が完了する。
検査装置３０は、たとえば、はんだ印刷工程後の基板Ｂ上のはんだの印刷状態の検査や、実装工程後における部品Ｃの実装状態の検査、または、リフロー工程後における部品Ｃの実装状態の検査などに用いられる。したがって、検査装置３０は、基板製造ラインにおいて１または複数設けられる。はんだの印刷状態としては、設計上の印刷位置に対する印刷位置ずれ、はんだの形状、体積および高さ（塗布量）、ブリッジ（短絡）の有無などの検査が行われる。部品Ｃの実装状態としては、部品Ｃの種類および向き（極性）が適正か否か、部品Ｃの設計上の実装位置に対する位置ずれの量が許容範囲内か、端子のはんだ接合状態が正常か否かなどの検査が行われる。また、各工程間での共通の検査内容として、ゴミやその他の付着物などの異物の検出も行われる。
図２に示すように、検査装置３０は、基板Ｂを搬送するための基板搬送コンベア３１と、基板搬送コンベア３１の上方をＸＹ方向（水平方向）およびＺ方向（上下方向）に移動可能なヘッド移動機構３２と、ヘッド移動機構３２によって保持された測定部３３と、検査装置３０の制御を行う制御装置３４とを備えている。
基板搬送コンベア３１は、基板Ｂを水平方向に搬送するとともに、所定の検査位置で基板Ｂを停止させて保持することが可能なように構成されている。また、基板搬送コンベア３１は、検査が終了した基板Ｂを所定の検査位置から水平方向に搬送して、検査装置３０から基板Ｂを搬出することが可能なように構成されている。
ヘッド移動機構３２は、基板搬送コンベア３１の上方に設けられ、たとえばボールねじ軸とサーボモータとを用いた直交３軸（ＸＹＺ軸）ロボットにより構成されている。ヘッド移動機構３２は、これらのＸ軸、Ｙ軸およびＺ軸の駆動を行うためのＸ軸モータ、Ｙ軸モータおよびＺ軸モータを備えている。これらのＸ軸モータ、Ｙ軸モータおよびＺ軸モータにより、ヘッド移動機構３２は、測定部３３を、基板搬送コンベア３１（基板Ｂ）の上方でＸＹ方向（水平方向）およびＺ方向（上下方向）に移動させることが可能なように構成されている。
測定部３３は、２次元情報（２次元画像）および３次元情報（３次元画像）を測定（撮影）するように構成されている。測定部３３は、撮影部３３ａと、投影部３３ｂとを備えている。この測定部３３がヘッド移動機構３２によって基板Ｂの上方の所定位置に移動されるとともに、撮影部３３ａや投影部３３ｂなどを用いることによって、測定部３３が基板Ｂおよび基板Ｂ上の部品Ｃなどの外観検査のための撮影を行うように構成されている。
撮影部３３ａは、投影部３３ｂにより縞パターン光が照射された基板Ｂを撮影するように構成されている。撮影部３３ａは、ＣＣＤイメージセンサ、および、ＣＭＯＳイメージセンサなどの撮像素子を有している。撮影部３３ａは、略矩形形状の撮影領域において基板Ｂを撮影可能なように構成されている。また、撮影部３３ａは、水平方向の基準面に対して垂直方向に光軸３３ｃが配置されている。つまり、撮影部３３ａは、基板Ｂの上面の２次元画像を略垂直上方の位置から撮影するように構成されている。この撮影部３３ａにより、投影部３３ｂによる照明光の下では、２次元画像が得られる。
投影部３３ｂは、複数設けられている。また、複数の投影部３３ｂは、それぞれ、撮影部３３ａの光軸３３ｃ方向に対して傾斜した方向から撮影部３３ａにより撮影する測定パターンを投影するように構成されている。つまり、測定部３３は、複数の方向から測定パターンを投影して３次元情報を測定するように構成されている。投影部３３ｂは、上方からみて、撮影部３３ａの周囲を取り囲むように複数個（たとえば、４個）配置されている。また、複数個の投影部３３ｂは、撮影中心（撮影部３３ａ）から等距離の位置に、略等角度（略９０度）間隔で配列されている。また、投影部３３ｂは、測定パターンとして、正弦波状の光強度分布を有する等間隔の格子状の明暗パターン（縞パターン光）を投影するように構成されている。また、投影部３３ｂは、この明暗パターンの位置（位相）をシフトさせて投影するように構成されている。
制御装置３４は、検査装置３０の各部を制御するように構成されている。制御装置３４は、制御部３４ａと、記憶部３４ｂと、画像処理部３４ｃと、撮影制御部３４ｄと、投影制御部３４ｅと、モータ制御部３４ｆとを含んでいる。
制御部３４ａは、論理演算を実行するＣＰＵなどのプロセッサ、ＣＰＵを制御するプログラムなどを記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）および装置の動作中に種々のデータを一時的に記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などから構成されている。制御部３４ａは、ＲＯＭに記憶されているプログラムや、記憶部３４ｂに格納されたソフトウェア（プログラム）に従って、画像処理部３４ｃ、撮影制御部３４ｄ、投影制御部３４ｅおよびモータ制御部３４ｆを介して、検査装置３０の各部を制御するように構成されている。そして、制御部３４ａは、測定部３３を制御して、基板Ｂに対する各種の外観検査を行う。
記憶部３４ｂは、各種の情報（データ）の記憶と、記憶した情報（データ）の読み出しとが可能な不揮発性の記憶媒体を含んでいる。記憶部３４ｂには、たとえば、撮影部３３ａによって撮影された撮影画像データ（実装済基板画像４０）、および、検査データ作成装置１０から取得する検査データ５０などが記憶されている。検査データ５０に基づいて、検査装置３０による基板Ｂおよび基板Ｂ上の部品Ｃに対する各種検査が行われる。
画像処理部３４ｃは、撮影部３３ａによって撮影された撮影画像（撮影信号）を画像処理して、基板Ｂ、基板Ｂ上の部品Ｃ、および、はんだ接合部（はんだ）を認識（画像認識）するのに適した画像データを生成するように構成されている。
撮影制御部３４ｄは、制御部３４ａから出力される制御信号に基づいて、撮影部３３ａから所定のタイミングで撮影信号の読み出しを行うとともに、読み出した撮影信号を画像処理部３４ｃに出力するように構成されている。投影制御部３４ｅは、制御部３４ａから出力される制御信号に基づいて、投影部３３ｂによる投影の制御を行うように構成されている。
モータ制御部３４ｆは、制御部３４ａから出力される制御信号に基づいて、検査装置３０の各サーボモータ（ヘッド移動機構３２のＸ軸モータ、Ｙ軸モータおよびＺ軸モータ、基板搬送コンベア３１を駆動するためのモータ（図示せず）など）の駆動を制御するように構成されている。また、モータ制御部３４ｆは、各サーボモータのエンコーダ（図示せず）からの信号に基づいて、測定部３３、および、基板Ｂなどの位置を取得するように構成されている。
（検査データ作成処理）
次に、図３のフローチャート、図４のフローチャート、および、図５～図１１を参照して、本実施形態の検査データ作成装置１０による検査データ作成処理について説明する。なお、図３のフローチャートおよび図４のフローチャートの各処理は、検査データ作成装置１０の制御部１１により行われる。
図３および図５に示すように、まず、ステップＳ１０１では、部品Ｃが実装済の基板Ｂの実装済基板画像（完成基板画像）４０が取得される。具体的には、まず、検査装置３０において部品Ｃが実装済の基板Ｂが撮影されることにより実装済基板画像４０が取得される。そして、ステップＳ１０１において、検査装置３０において取得された実装済基板画像４０が、通信部１５を介して、検査データ作成装置１０において取得される。なお、実装済基板画像４０は、部品Ｃが実装済の基板Ｂの３次元形状の情報を有する３次元画像と、部品Ｃが実装済の基板Ｂの２次元形状の情報を有する２次元画像とを含んでいる。
そして、ステップＳ１０２では、実装済基板画像４０中の部品画像４１が抽出される。具体的には、ステップＳ１０２では、基板データ、および、基板ＣＡＤデータのうちの少なくとも１つに基づいて、実装済基板画像４０中の部品画像４１が抽出される。基板データは、基板Ｂに部品Ｃを実装する部品実装装置（図示せず）において用いられるとともに、部品Ｃの形状および部品Ｃの実装位置を含むデータである。また、基板ＣＡＤデータは、部品Ｃの実装位置を含む基板Ｂの画像データである。ステップＳ１０２では、基板データが含む部品Ｃの実装位置の情報、および、基板ＣＡＤデータが含む部品Ｃの実装位置の情報のうちの少なくとも１つを利用して、実装済基板画像４０中の部品画像４１が抽出される。なお、部品画像４１は、部品Ｃの３次元形状の情報を有する３次元画像と、部品Ｃの２次元形状の情報を有する２次元画像とを含んでいる。
そして、ステップＳ１０３では、部品画像４１に基づいて、部品Ｃごとの部品Ｃの類似度６０の取得が行われる。具体的には、ステップＳ１０３では、図４のステップＳ２０１～Ｓ２０３の処理が行われる。
図４および図５に示すように、まず、ステップＳ２０１では、部品画像４１に基づいて、部品種類ごとの部品Ｃの種類の類似度６１が取得される。具体的には、ステップＳ２０１では、図６に示すように、予め学習された機械学習モデル（判別器）７０による画像処理を用いて、部品種類ごとの部品Ｃの種類の類似度６１が取得される。より具体的には、ステップＳ２０１では、機械学習モデル７０に、２次元画像および３次元画像としての部品画像４１を入力し、出力結果として部品種類ごとの部品Ｃの種類の類似度６１が取得される。また、ステップＳ２０１では、部品種類ごとの部品Ｃの種類の類似度６１が、部品種類ごとの確信度（確率）として取得される。部品種類ごとの部品Ｃの種類の類似度６１は、数値を含んでいる。
機械学習モデル７０は、たとえば、図７に示すように学習させることにより、作成することができる。すなわち、図７に示すように、まず、視野画像７１が準備される。視野画像７１としては、部品Ｃを含む画像であれば、特に限られないが、たとえば、検査装置３０において取得された画像を用いることができる。また、視野画像７１は、２次元画像および３次元画像を含んでいる。そして、視野画像７１から、部品Ｃの領域を切り出す（抽出する）ことにより、視野画像７１中の部品画像７２が取得される。この際、２次元画像および３次元画像としての視野画像７１から、２次元画像および３次元画像としての部品画像７２が取得される。なお、部品Ｃの領域を切り出す工程では、部品Ｃの種類およびサイズにより、切り出した画像のサイズが異なる。
このため、部品画像７２に対して画像サイズの変更（リサイズ）が行われることにより、決められたサイズの部品画像７３が学習画像として取得される。この際、２次元画像および３次元画像としての部品画像７２から、２次元画像および３次元画像としての部品画像７３が取得される。そして、部品画像７３に、部品Ｃの種類がラベル付けされる。そして、部品Ｃの種類がラベル付けされた、２次元画像および３次元画像としての部品画像７３に基づいて、機械学習を行うことにより、学習済みの機械学習モデル７０が作成される。機械学習モデル７０は、畳み込みニューラルネットワークを利用して、作成（構築）することができる。また、機械学習モデル７０は、チップコンデンサ、チップ抵抗器、チップインダクタ、チップトランジスタ、ＬＥＤ，ＳＯＰ、ＢＧＡ、ＱＦＰ、および、コネクタなどの様々な種類の部品画像７３を用いて、学習される。
そして、図４および図５に示すように、ステップＳ２０２では、部品画像４１に基づいて、部品Ｃの形状の類似度６２が取得される。すなわち、部品画像４１に基づいて、部品種類ごとの部品Ｃの種類の類似度６１を取得するステップＳ２０１に加えて、部品Ｃの種類の類似度６１を取得するステップＳ２０１とは別個に、部品画像４１に基づいて、部品形状ごとの部品Ｃの形状の類似度６２を取得するステップＳ２０２が行われる。
図８に示すように、ステップＳ２０２では、まず、部品画像４１に基づいて、部品Ｃの形状が取得される。具体的には、部品画像４１に基づいて、部品Ｃの外形の幅Ｗ１と、部品Ｃの外形の長さＬ１と、部品Ｃの外形の厚みＴ１と、部品Ｃの本体の幅Ｗ２と、部品Ｃの本体の長さＬ２と、部品Ｃの本体の厚みＴ２と、部品Ｃの端子の数と、部品Ｃの端子のピッチＰ３と、部品Ｃの端子の幅Ｗ３と、部品Ｃの端子の長さＬ３と、が取得される。なお、部品Ｃの外形とは、部品Ｃの本体および端子の両方を含む部品Ｃの全体を意味している。また、部品Ｃの本体とは、部品Ｃの端子を含まないチップ部分を意味している。また、部品Ｃの端子とは、部品Ｃの本体を含まない電極（リード）部分を意味している。
この際、画像中の濃淡および画像中の高さを利用した画像処理を用いて、部品Ｃの外形の幅Ｗ１と、部品Ｃの外形の長さＬ１と、部品Ｃの外形の厚みＴ１と、部品Ｃの本体の幅Ｗ２と、部品Ｃの本体の長さＬ２と、部品Ｃの本体の厚みＴ２と、部品Ｃの端子の数と、部品Ｃの端子のピッチＰ３と、部品Ｃの端子の幅Ｗ３と、部品Ｃの端子の長さＬ３と、が取得される。画像中の濃淡および画像中の高さを利用した画像処理としては、特に限られないが、２値化処理、エッジ抽出処理、および、輪郭追跡処理などを用いることができる。
たとえば、２次元画像としての部品画像４１から、部品Ｃの本体および端子と、基板Ｂとの濃淡（輝度値）の相違を利用して、部品Ｃの本体および端子を識別することができる。その結果、２次元画像としての部品画像４１から、部品Ｃの外形の幅Ｗ１と、部品Ｃの外形の長さＬ１と、部品Ｃの本体の幅Ｗ２と、部品Ｃの本体の長さＬ２と、部品Ｃの端子の数と、部品Ｃの端子のピッチＰ３と、部品Ｃの端子の幅Ｗ３と、部品Ｃの端子の長さＬ３と、を取得することができる。
また、３次元画像としての部品画像４１から、部品Ｃの本体および端子と、基板Ｂとの高さの相違を利用して、部品Ｃの本体および端子を識別することができる。その結果、３次元画像としての部品画像４１から、部品Ｃの外形の幅Ｗ１と、部品Ｃの外形の長さＬ１と、部品Ｃの外形の厚みＴ１と、部品Ｃの本体の幅Ｗ２と、部品Ｃの本体の長さＬ２と、部品Ｃの本体の厚みＴ２と、部品Ｃの端子の数と、部品Ｃの端子のピッチＰ３と、部品Ｃの端子の幅Ｗ３と、部品Ｃの端子の長さＬ３と、を取得することができる。
また、２次元画像および３次元画像としての部品画像４１を互いに独立して利用するのではなく、２次元画像および３次元画像としての部品画像４１を複合して利用してもよい。たとえば、３次元画像としての部品画像４１の高さ情報に基づいて、２次元画像としての部品画像４１に対して不要部分（部品Ｃ以外の部分）を隠すマスク処理を行った状態で、２次元画像としての部品画像４１から、部品Ｃの形状を取得することができる。これにより、より精度よく、部品Ｃの形状を取得することができる。
また、画像中の濃淡および画像中の高さを利用した画像処理を用いて、部品Ｃの形状を取得する場合に、基板Ｂの色に関する情報、および、基板Ｂのはんだの厚みに関する情報が考慮される。基板Ｂの色に関する情報は、基板Ｂの表面の色、および、基板Ｂのシルクプリントの色などを含んでいる。また、基板Ｂのはんだの厚みに関する情報は、基板Ｂのはんだの厚み、または、はんだの印刷に用いられたスクリーンマスクの厚みを含んでいる。基板Ｂの色に関する情報は、たとえば、画像中の濃淡を利用した画像処理時に、部品Ｃと基板Ｂとを識別するための補助情報として用いられる。また、基板Ｂのはんだの厚みに関する情報は、画像中の高さを利用した画像処理時に、部品Ｃの端子と基板Ｂのはんだとを識別するための補助情報として用いられる。
ステップＳ２０２では、画像中の濃淡および画像中の高さを利用した画像処理を用いて、部品形状ごとの部品Ｃの形状の類似度６２が取得される。また、ステップＳ２０２では、画像中の濃淡および画像中の高さを利用した画像処理を用いて、部品形状ごとの部品Ｃの形状の類似度６２を取得する場合に、基板Ｂの色に関する情報、および、基板Ｂのはんだの厚みに関する情報が考慮される。
そして、ステップＳ２０２では、図９に示すように、部品Ｃの形状に基づいて、部品形状ごとの部品Ｃの形状の類似度６２が取得される。具体的には、複数の部品Ｃの種類および形状が予め登録された部品ライブラリ２１に対して、部品形状ごとの部品Ｃの形状の類似度６２が取得される。部品Ｃの形状の類似度６２は、部品Ｃの外形の類似度と、部品Ｃの本体の類似度と、部品Ｃの端子の類似度とを含んでいる。具体的には、部品Ｃの形状の類似度６２は、部品Ｃの外形の幅Ｗ１の類似度と、部品Ｃの外形の長さＬ１の類似度と、部品Ｃの外形の厚みＴ１の類似度と、部品Ｃの本体の幅Ｗ２の類似度と、部品Ｃの本体の長さＬ２の類似度と、部品Ｃの本体の厚みＴ２の類似度と、部品Ｃの端子の数の類似度と、部品Ｃの端子のピッチＰ３の類似度と、部品Ｃの端子の幅Ｗ３の類似度と、部品Ｃの端子の長さＬ３の類似度と、を含んでいる。これらの部品Ｃの形状の類似度６２は、以下の式（１）により、計測部品（部品画像４１の部品Ｃ）と部品ライブラリ２１の登録部品との乖離度として求めることができる。部品形状ごとの部品Ｃの形状の類似度６２は、数値を含んでいる。
Ｓｓ＝１．０－｜Ｘ１－Ｘ２｜／Ｘ１ ・・・（１）
ここで、
Ｓｓ：部品の形状の類似度（乖離度）
Ｘ１：計測部品の形状の値
Ｘ２：登録部品の形状の値
である。
たとえば、部品Ｃの外形の長さＬ１の類似度を求める場合、図９に示す例では、計測部品の外形の長さＬ１が６．４０（Ｘ１）であり、登録部品の外形の長さＬ１が６．５０（Ｘ２）であるため、部品Ｃの外形の長さＬ１の類似度（Ｓｓ）は、１．０－｜６．４０－６．５０｜／６．４０＝０．９８４３となる。また、たとえば、部品Ｃの本体の幅Ｗ２の類似度を求める場合、図９に示す例では、計測部品の本体の幅Ｗ２が４．３７（Ｘ１）であり、登録部品の本体の幅Ｗ２が４．４０（Ｘ２）であるため、部品Ｃの本体の幅Ｗ２の類似度（Ｓｓ）は、１．０－｜４．３７－４．４０｜／４．３７＝０．９９３１となる。また、たとえば、部品Ｃの端子の数の類似度を求める場合、図９に示す例では、計測部品の右辺の端子の数が６（Ｘ１）であり、登録部品の右辺の端子の数が７（Ｘ２）であるため、部品Ｃの端子の数の類似度（Ｓｓ）は、１．０－｜６－７｜／６＝０．８３３３となる。
そして、図４および図５に示すように、ステップＳ２０３では、部品種類ごとの部品Ｃの種類の類似度６１および部品形状ごとの部品Ｃの形状の類似度６２に基づいて、部品種類および部品形状の両方の評価指標を含む総合的な評価指標としての部品Ｃごとの部品Ｃの類似度６０が取得される。具体的には、図１０に示すように、部品種類ごとの部品Ｃの種類の類似度６１および部品形状ごとの部品Ｃの形状の類似度６２に基づいて、複数の部品Ｃの種類および形状が予め登録された部品ライブラリ２１に対して、部品Ｃごとの部品Ｃの類似度６０が取得される。より具体的には、部品ライブラリ２１の全ての登録部品に対して、部品Ｃの類似度６０が取得されることにより、種類および形状の両方が特定された部品Ｃごとの部品Ｃの類似度６０が取得される。部品Ｃの類似度６０は、以下の式（２）により、部品種類および部品形状の両方の評価指標（類似度）を含む総合的な評価指標として求めることができる。部品Ｃごとの部品Ｃの類似度６０は、数値を含んでいる。
Ｓｐ＝ａ×Ｓｔ＋ｂ×（Ｓｓｏｗ×Ｓｓｏｌ×Ｓｓｏｔ）＋ｃ×（Ｓｓｂｗ×Ｓｓｂｌ×Ｓｓｂｔ）＋ｄ×（Ｓｓｒｎ×Ｓｓｒｐ×Ｓｓｒｗ×Ｓｓｒｌ） ・・・（２）
ここで、
Ｓｐ：部品の類似度
ａ：部品の種類の類似度の重み係数
Ｓｔ：部品の種類の類似度（確信度）
ｂ：部品の外形の類似度の重み係数
Ｓｓｏｗ：部品の外形の幅の類似度（乖離度）
Ｓｓｏｌ：部品の外形の長さの類似度（乖離度）
Ｓｓｏｔ：部品の外形の厚みの類似度（乖離度）
ｃ：部品の本体の類似度の重み係数
Ｓｓｂｗ：部品の本体の幅の類似度（乖離度）
Ｓｓｂｌ：部品の本体の長さの類似度（乖離度）
Ｓｓｂｔ：部品の本体の厚みの類似度（乖離度）
ｄ：部品の端子の類似度の重み係数
Ｓｓｒｎ：部品の端子の数の類似度（乖離度）
Ｓｓｒｐ：部品の端子のピッチの類似度（乖離度）
Ｓｓｒｗ：部品の端子の幅の類似度（乖離度）
Ｓｓｒｌ：部品の端子の長さの類似度（乖離度）
である。
なお、上記式（２）のＳｐ、Ｓｔ、Ｓｓｏｗ、Ｓｓｏｌ、Ｓｓｏｔ、Ｓｓｂｗ、Ｓｓｂｌ、Ｓｓｂｔ、Ｓｓｒｎ、Ｓｓｒｐ、Ｓｓｒｗ、Ｓｓｒｌは、０以上１以下の値である。また、重み係数ａ、ｂ、ｃ、ｄは、予め実験などにより求めておくことができる。また、部品Ｃの類似度６０の最大値（Ｓｐの最大値）を１００とする場合、重み係数ａ、ｂ、ｃ、ｄの合計は、１００となる。
上記式（２）に示すように、部品Ｃの類似度６０は、部品Ｃの種類の類似度６１と、部品Ｃの形状の類似度６２とにそれぞれ重みづけをして加算することにより、取得される。具体的には、部品Ｃの類似度６０は、部品Ｃの種類の類似度６１のグループと、部品Ｃの外形の類似度のグループと、部品Ｃの本体の類似度のグループと、部品Ｃの端子の類似度のグループとにそれぞれ重みづけをして加算することにより、取得される。
このように、ステップＳ２０１～Ｓ２０３では、予め学習された機械学習モデル７０による画像処理と、画像中の濃淡および画像中の高さのうちの少なくとも１つを利用した画像処理とを用いて、部品Ｃごとの部品Ｃの類似度６０が取得される。
そして、図３および図１０に示すように、ステップＳ１０４では、部品Ｃごとの部品Ｃの類似度６０に基づいて、基板Ｂを検査する検査装置３０において用いられる部品データとしての検査データ５０が設定される。具体的には、ステップＳ１０４では、部品ライブラリ２１の登録部品データから、部品Ｃの類似度６０の数値が最も高い部品Ｃが、部品データとしての検査データ５０として設定される。図１０に示す例では、「ＳＯＰ１４ｐｉｎ－ｐ１．２７－Ｌ６．５×Ｗ４．４」の部品（登録部品）Ｃが、部品データとしての検査データ５０として設定されている。
ここで、部品ライブラリ２１の登録部品の数によっては、部品画像４１より取得した部品形状に近い登録部品データが無く、部品形状が異なる登録部品データを部品データとしての検査データ５０として設定してしまう事象が発生するおそれがある。このような事象は、ＳＯＰおよびＱＦＰなどのリード部品において発生しやすい。リード部品では、部品Ｃの外形および本体の形状が略同じで、端子の形状が異なる部品Ｃが多く存在するためである。
そこで、ステップＳ１０４では、検査データ５０として設定した部品Ｃの端子の情報（登録部品データの部品Ｃの端子の情報）が、部品画像４１に基づいて取得した部品Ｃの端子の情報と異なる場合、検査データ５０として設定した部品Ｃの端子の情報を、部品画像４１に基づいて取得した部品Ｃの端子の情報により上書きすることにより、新たな検査データが作成される。部品Ｃの端子の情報は、部品Ｃの端子の数と、部品Ｃの端子のピッチＰ３と、部品Ｃの端子の幅Ｗ３と、部品Ｃの端子の長さＬ３を含んでいる。ステップＳ１０４では、検査データ５０として設定した部品Ｃの端子の情報と、部品画像４１に基づいて取得した部品Ｃの端子の情報とを比較し、比較結果に基づいて２つの情報がしきい値を超えて大きく異なると判断される場合、検査データ５０として設定した部品Ｃの端子の情報が、部品画像４１に基づいて取得した部品Ｃの端子の情報により上書きされる。
そして、ステップＳ１０３およびＳ１０４の処理が、実装済基板画像４０中の全ての部品Ｃ（全ての部品画像４１）に対して行われることにより、部品Ｃが実装済の基板Ｂを検査するための検査データ５０の自動設定が完了する。
なお、図１１に示すように、ステップＳ１０４では、部品Ｃの類似度６０が小さくても、部品Ｃの類似度６０の数値が最も高い部品Ｃが、部品データとしての検査データ５０として設定される。すなわち、部品Ｃの類似度６０の数値の大小にかかわらず、部品Ｃの類似度６０の数値が最も高い部品Ｃが、部品データとしての検査データ５０として設定される。
（本実施形態の効果）
本実施形態では、以下のような効果を得ることができる。
本実施形態では、上記のように、部品画像４１に基づいて、部品Ｃごとの部品Ｃの類似度６０を取得するステップと、部品Ｃごとの部品Ｃの類似度６０に基づいて、基板Ｂを検査する検査装置３０において用いられる部品データとしての検査データ５０を設定するステップと、を設ける。これにより、単に寸法が一致したことのみに基づいて部品データとしての検査データ５０を設定する場合と異なり、寸法が完全には一致していなくても、部品Ｃごとの部品Ｃの類似度６０に基づいて、部品データとしての検査データ５０を設定することができる。その結果、適用範囲を広くすることができるので、単に寸法が一致したことに基づいて部品データとしての検査データ５０を設定する場合に比べて、部品データとしての検査データ５０を容易に設定することができる。
また、本実施形態では、上記のように、部品Ｃごとの部品Ｃの類似度６０は、数値を含む。また、検査データ５０を設定するステップは、部品Ｃの類似度６０の数値が最も高い部品Ｃを部品データとしての検査データ５０として設定するステップを含む。これにより、部品Ｃの類似度６０の数値が最も高い部品Ｃを部品データとしての検査データ５０として設定することができる。その結果、部品データとしての検査データ５０をより容易に設定することができる。
また、本実施形態では、上記のように、部品Ｃごとの部品Ｃの類似度６０を取得するステップは、予め学習された機械学習モデル７０による画像処理と、画像中の濃淡および画像中の高さを利用した画像処理とを用いて、部品Ｃごとの部品Ｃの類似度６０を取得するステップを含む。これにより、予め学習された機械学習モデル７０による画像処理、または、画像中の濃淡および画像中の高さのうちを利用した画像処理、を用いて、部品Ｃごとの部品Ｃの類似度６０を容易に取得することができる。また、予め学習された機械学習モデル７０による画像処理を用いた場合、熟練者の判断に近い高精度な判断（類似度の取得）を容易に行うことができる。
また、本実施形態では、上記のように、部品Ｃごとの部品Ｃの類似度６０を取得するステップは、部品画像４１に基づいて、部品種類ごとの部品Ｃの種類の類似度６１を取得するステップを含む。これにより、部品種類ごとの部品Ｃの種類の類似度６１に基づいて、部品Ｃごとの部品Ｃの類似度６０を取得することができる。その結果、部品Ｃの種類を考慮した部品Ｃの類似度６０に基づいて、種類が異なる部品Ｃを識別しつつ、部品データとしての検査データ５０を設定することができる。
また、本実施形態では、上記のように、部品Ｃごとの部品Ｃの類似度６０を取得するステップは、部品画像４１に基づいて、部品種類ごとの部品Ｃの種類の類似度６１を取得するステップに加えて、部品Ｃの種類の類似度６１を取得するステップとは別個に、部品画像４１に基づいて、部品形状ごとの部品Ｃの形状の類似度６２を取得するステップをさらに含む。これにより、部品種類ごとの部品Ｃの種類の類似度６１だけでなく、部品形状ごとの部品Ｃの形状の類似度６２にも基づいて、部品Ｃごとの部品Ｃの類似度６０を取得することができる。その結果、部品Ｃの種類および形状を考慮した部品Ｃの類似度６０に基づいて、種類および形状が異なる部品Ｃを識別しつつ、部品データとしての検査データ５０を設定することができる。また、部品Ｃの種類および形状の両方を考慮するので、部品Ｃの形状のみを考慮する場合と異なり、同一形状であるが、種類が異なる部品Ｃを識別しつつ、部品データとしての検査データ５０を設定することができる。
また、本実施形態では、上記のように、部品Ｃごとの部品Ｃの類似度６０を取得するステップは、部品種類ごとの部品Ｃの種類の類似度６１および部品形状ごとの部品Ｃの形状の類似度６２に基づいて、複数の部品Ｃの種類および形状が予め登録された部品ライブラリ２１に対して、部品Ｃごとの部品Ｃの類似度６０を取得するステップを含む。また、検査データ５０を設定するステップは、部品ライブラリ２１の登録部品データから、部品データとしての検査データ５０を設定するステップを含む。これにより、部品ライブラリ２１の登録部品データを用いて、部品データとしての検査データ５０を容易に設定することができる。
また、本実施形態では、上記のように、部品Ｃの形状の類似度６２は、部品Ｃの外形の類似度と、部品Ｃの本体の類似度と、部品Ｃの端子の類似度とを含む。これにより、部品Ｃの外形の類似度、部品Ｃの本体の類似度、または、部品Ｃの端子の類似度に基づいて、部品Ｃの形状の類似度６２を適切に取得することができる。
また、本実施形態では、上記のように、部品Ｃごとの部品Ｃの類似度６０を取得するステップは、部品画像４１に基づいて、部品Ｃの外形の幅Ｗ１と、部品Ｃの外形の長さＬ１と、部品Ｃの外形の厚みＴ１と、部品Ｃの本体の幅Ｗ２と、部品Ｃの本体の長さＬ２と、部品Ｃの本体の厚みＴ２と、部品Ｃの端子の数と、部品Ｃの端子のピッチＰ３と、部品Ｃの端子の幅Ｗ３と、部品Ｃの端子の長さＬ３と、を取得するステップを含む。これにより、部品Ｃの外形の幅Ｗ１、部品Ｃの外形の長さＬ１、部品Ｃの外形の厚みＴ１、部品Ｃの本体の幅Ｗ２、部品Ｃの本体の長さＬ２、部品Ｃの本体の厚みＴ２、部品Ｃの端子の数、部品Ｃの端子のピッチＰ３、部品Ｃの端子の幅Ｗ３、または、部品Ｃの端子の長さＬ３に基づいて、部品Ｃの形状の類似度６２を適切に取得することができる。
また、本実施形態では、上記のように、部品Ｃごとの部品Ｃの類似度６０を取得するステップは、予め学習された機械学習モデル７０による画像処理を用いて、部品種類ごとの部品Ｃの種類の類似度６１を取得するとともに、画像中の濃淡および画像中の高さを利用した画像処理を用いて、部品形状ごとの部品Ｃの形状の類似度６２を取得するステップを含む。これにより、予め学習された機械学習モデル７０による画像処理を用いて、部品種類ごとの部品Ｃの種類の類似度６１を適切に取得しつつ、画像中の濃淡および画像中の高さを利用した画像処理を用いて、部品形状ごとの部品Ｃの形状の類似度６２を適切に取得することができる。
また、本実施形態では、上記のように、部品Ｃごとの部品Ｃの類似度６０を取得するステップは、画像中の濃淡および画像中の高さを利用した画像処理を用いて、部品形状ごとの部品Ｃの形状の類似度６２を取得する場合に、基板Ｂの色に関する情報、および、基板Ｂのはんだの厚みに関する情報を考慮するステップを含む。これにより、基板Ｂの色に関する情報を考慮する場合、基板Ｂの色と部品Ｃの色（部品Ｃの本体の色、および、部品Ｃの端子の色など）とが近い色である場合にも、基板Ｂと部品Ｃとを容易に識別することができる。その結果、部品形状ごとの部品Ｃの形状の類似度６２を、正確に取得することができる。また、基板Ｂのはんだの厚みに関する情報を考慮する場合、基板Ｂのはんだと部品Ｃの端子とを識別する高さの基準が分かるので、基板Ｂのはんだと部品Ｃの端子とを容易に識別することができる。その結果、部品形状ごとの部品Ｃの形状の類似度６２を、正確に取得することができる。
また、本実施形態では、上記のように、実装済基板画像４０中の部品画像４１を抽出するステップは、基板Ｂに部品Ｃを実装する部品実装装置において用いられるとともに、部品Ｃの形状および部品Ｃの実装位置を含む基板データ、および、基板Ｂの画像データとしての基板ＣＡＤデータのうちの少なくとも１つに基づいて、実装済基板画像４０中の部品画像４１を抽出するステップを含む。これにより、基板データ、または、基板ＣＡＤデータに基づいて、実装済基板画像４０中の部品Ｃの位置を容易に指定することができる。その結果、基板データ、または、基板ＣＡＤデータを用いない場合に比べて、実装済基板画像４０中の部品画像４１を容易に抽出することができる。
また、本実施形態では、上記のように、検査データ５０を作成するステップは、検査データ５０として設定した部品Ｃの端子の情報が、部品画像４１に基づいて取得した部品Ｃの端子の情報と異なる場合、検査データ５０として設定した部品Ｃの端子の情報を、部品画像４１に基づいて取得した部品Ｃの端子の情報により上書きすることにより、新たな検査データ５０を作成するステップを含む。これにより、誤った部品Ｃの端子の情報を検査データ５０として設定することを抑制することができる。
［変形例］
なお、今回開示された実施形態は、全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく請求の範囲によって示され、さらに請求の範囲と均等の意味および範囲内での全ての変更（変形例）が含まれる。
たとえば、上記実施形態では、検査データ作成装置が、本発明の検査データの作成を行う例を示したが、本発明はこれに限られない。本発明では、検査装置が、本発明の検査データの作成を行ってもよい。この場合、上記実施形態の検査装置３０の制御部３４ａが、上記実施形態の検査データ作成装置１０の制御部１１と同様に機能する。
また、上記実施形態では、部品ごとの部品の類似度に基づいて、検査データが自動設定される例を示したが、本発明はこれに限られない。本発明では、部品ごとの部品の類似度に基づいて、検査データが手動設定されてもよい。この場合、たとえば、表示部に表示することにより、部品ごとの部品の類似度を作業者に提示し、作業者により検査データが手動設定されてもよい。
また、上記実施形態では、部品の類似度の数値の大小にかかわらず、部品の類似度の数値が最も高い部品が、部品データとしての検査データとして設定される例を示したが、本発明はこれに限られない。本発明では、部品の類似度の数値がしきい値以下である場合、部品の類似度の数値がしきい値以下であることが作業者に通知されてもよい。
また、上記実施形態では、機械学習モデルによる画像処理と、画像中の濃淡および画像中の高さを利用した画像処理とを用いて、部品ごとの部品の類似度が取得される例を示したが、本発明はこれに限られない。本発明では、機械学習モデルによる画像処理と、画像中の濃淡および画像中の高さを利用した画像処理とのうちのいずれか一方のみを用いて、部品ごとの部品の類似度が取得されてもよい。たとえば、機械学習モデルによる画像処理により、部品の種類の類似度および部品の形状の類似度の両方が取得されてもよい。また、たとえば、画像中の濃淡および画像中の高さを利用した画像処理により、部品の種類の類似度および部品の形状の類似度の両方が取得されてもよい。この場合、画像中の濃淡および画像中の高さを利用した画像処理により、部品の端子の配置状態を取得するとともに、部品の端子の配置状態と部品の端子形状のルールに基づいて、部品の種類の類似度が取得されてもよい。端子形状のルールとしては、たとえば、ＳＯＰの場合、部品の本体の互いに対向する２辺にガルウィング状の端子が存在することをルールとすることができる。また、たとえば、ＱＦＰの場合、部品の本体の４辺にガルウィング状の端子が存在することをルールとすることができる。
また、上記実施形態では、画像中の濃淡および画像中の高さを利用した画像処理が行われる例を示したが、本発明はこれに限られない。本発明では、画像中の濃淡および画像中の高さのうちの一方のみを利用した画像処理が行われてもよい。
また、上記実施形態では、実装済基板画像および部品画像が、２次元画像および３次元画像を含んでいる例を示したが、本発明はこれに限られない。本発明では、実装済基板画像および部品画像が、２次元画像および３次元画像のうちのいずれか一方のみを含んでいてもよい。
また、上記実施形態では、部品ライブラリ（部品登録情報）の全ての登録部品に対して、部品の類似度が取得されることにより、部品ごとの部品の類似度が取得される例を示したが、本発明はこれに限られない。本発明では、部品登録情報の一部の登録部品に対して、部品の類似度が取得されることにより、部品ごとの部品の類似度が取得されてもよい。
また、上記実施形態では、部品の形状の類似度が、部品の外形の類似度と、部品の本体の類似度と、部品の端子の類似度と、を含んでいる例を示したが、本発明はこれに限られない。本発明では、部品の形状の類似度が、部品の外形の類似度と、部品の本体の類似度と、部品の端子の類似度とのうちのいずれか１つまたは２つのみを含んでいてもよい。
また、上記実施形態では、部品画像に基づいて、部品の外形の幅と、部品の外形の長さと、部品の外形の厚みと、部品の本体の幅と、部品の本体の長さと、部品の本体の厚みと、部品の端子の数と、部品の端子のピッチと、部品の端子の幅と、部品の端子の長さと、が取得される例を示したが、本発明はこれに限られない。本発明では、部品画像に基づいて、部品の外形の幅と、部品の外形の長さと、部品の外形の厚みと、部品の本体の幅と、部品の本体の長さと、部品の本体の厚みと、部品の端子の数と、部品の端子のピッチと、部品の端子の幅と、部品の端子の長さと、の全てが取得される必要はない。
また、上記実施形態では、機械学習モデルによる画像処理を用いて、部品種類ごとの部品の種類の類似度が取得されるとともに、画像中の濃淡および画像中の高さを利用した画像処理を用いて、部品形状ごとの部品の形状の類似度が取得される例を示したが、本発明はこれに限られない。本発明では、画像中の濃淡および画像中の高さのうちの少なくとも１つを利用した画像処理を用いて、部品種類ごとの部品の種類の類似度が取得されるとともに、機械学習モデルによる画像処理を用いて、部品形状ごとの部品の形状の類似度が取得されてもよい。
また、上記実施形態では、画像中の濃淡および画像中の高さを利用した画像処理を用いて、部品形状ごとの部品の形状の類似度を取得する場合に、基板の色に関する情報、および、基板のはんだの厚みに関する情報が考慮される例を示したが、本発明はこれに限られない。本発明では、画像中の濃淡および画像中の高さのうちの少なくとも１つを利用した画像処理を用いて、部品形状ごとの部品の形状の類似度を取得する場合に、基板の色に関する情報、および、基板のはんだの厚みに関する情報のうちの一方のみが考慮されてもよい。また、画像中の濃淡および画像中の高さのうちの少なくとも１つを利用した画像処理を用いて、部品種類ごとの部品の種類の類似度を取得する場合に、基板の色に関する情報、および、基板のはんだの厚みに関する情報のうちの少なくとも１つが考慮されてもよい。
また、上記実施形態では、説明の便宜上、制御部の処理動作を処理フローに沿って順番に処理を行うフロー駆動型のフローチャートを用いて説明したが、本発明はこれに限られない。本発明では、制御部の処理動作を、イベント単位で処理を実行するイベント駆動型（イベントドリブン型）の処理により行ってもよい。この場合、完全なイベント駆動型で行ってもよいし、イベント駆動およびフロー駆動を組み合わせて行ってもよい。
１０ 検査データ作成装置
１１、３４ａ 制御部
１５ 通信部
２１ 部品ライブラリ（部品登録情報）
３０ 検査装置
３３ａ 撮影部
４０ 実装済基板画像
４１ 部品画像
５０ 検査データ
６０ 部品の類似度
６１ 部品の種類の類似度
６２ 部品の形状の類似度
７０ 機械学習モデル
Ｂ 基板
Ｃ 部品
Ｌ１ 部品の外形の長さ
Ｌ２ 部品の本体の長さ
Ｌ３ 部品の端子の長さ
Ｐ３ 部品の端子のピッチ
Ｔ１ 部品の外形の厚み
Ｔ２ 部品の本体の厚み
Ｗ１ 部品の外形の幅
Ｗ２ 部品の本体の幅
Ｗ３ 部品の端子の幅

Claims (11)

  1. 部品が実装済の基板の実装済基板画像を取得するステップと、
    前記実装済基板画像中の前記部品の部品画像を抽出するステップと、
    前記部品画像に基づいて、部品情報が予め登録された部品登録情報に対して、前記部品登録情報に登録された登録部品ごとの前記部品の類似度を取得するステップと、
    前記登録部品ごとの前記部品の類似度に基づいて、前記基板を検査する検査装置において用いられる部品データとしての検査データを設定するステップと、を備え、
    前記登録部品ごとの前記部品の類似度を取得するステップは、前記登録部品の全てに対して登録部品種類ごとの前記部品の種類の類似度および登録部品形状ごとの前記部品の形状の類似度を取得し、取得した登録部品種類ごとの前記部品の種類の類似度および登録部品形状ごとの前記部品の形状の類似度に基づいて、前記登録部品の全てに対して前記登録部品ごとの前記部品の総合的な類似度を取得するステップを含み、
    前記検査データを設定するステップは、前記部品登録情報の登録部品データから、前記部品データとしての前記検査データを設定するステップを含む、検査データ作成方法。
  2. 前記登録部品ごとの前記部品の類似度は、数値を含み、
    前記検査データを設定するステップは、前記部品の類似度の数値が最も高い前記部品を前記部品データとしての前記検査データとして設定するステップを含む、請求項１に記載の検査データ作成方法。
  3. 前記登録部品ごとの前記部品の類似度を取得するステップは、予め学習された機械学習モデルによる画像処理と、画像中の濃淡および画像中の高さのうちの少なくとも１つを利用した画像処理と、のうちの少なくとも１つを用いて、前記登録部品ごとの前記部品の類似度を取得するステップを含む、請求項１または２に記載の検査データ作成方法。
  4. 前記部品の形状の類似度は、前記部品の外形の類似度と、前記部品の本体の類似度と、前記部品の端子の類似度とのうちの少なくとも１つを含む、請求項１～３のいずれか１項に記載の検査データ作成方法。
  5. 前記登録部品ごとの前記部品の類似度を取得するステップは、前記部品画像に基づいて、前記部品の外形の幅と、前記部品の外形の長さと、前記部品の外形の厚みと、前記部品の本体の幅と、前記部品の本体の長さと、前記部品の本体の厚みと、前記部品の端子の数と、前記部品の端子のピッチと、前記部品の端子の幅と、前記部品の端子の長さと、のうちの少なくとも１つを取得するステップを含む、請求項１～４のいずれか１項に記載の検査データ作成方法。
  6. 前記登録部品ごとの前記部品の類似度を取得するステップは、予め学習された機械学習モデルによる画像処理を用いて、前記登録部品種類ごとの前記部品の種類の類似度を取得するとともに、画像中の濃淡および画像中の高さのうちの少なくとも１つを利用した画像処理を用いて、前記登録部品形状ごとの前記部品の形状の類似度を取得するステップを含む、請求項１～５のいずれか１項に記載の検査データ作成方法。
  7. 前記登録部品ごとの前記部品の類似度を取得するステップは、画像中の濃淡および画像中の高さのうちの少なくとも１つを利用した画像処理を用いて、前記登録部品種類ごとの前記部品の種類の類似度および前記登録部品形状ごとの前記部品の形状の類似度のうちの少なくとも１つを取得する場合に、前記基板の色に関する情報、および、前記基板のはんだの厚みに関する情報のうちの少なくとも１つを考慮するステップを含む、請求項１～５のいずれか１項に記載の検査データ作成方法。
  8. 前記実装済基板画像中の前記部品画像を抽出するステップは、前記基板に前記部品を実装する部品実装装置において用いられるとともに、前記部品の形状および前記部品の実装位置を含む基板データ、および、前記基板の画像データとしての基板ＣＡＤデータのうちの少なくとも１つに基づいて、前記実装済基板画像中の前記部品画像を抽出するステップを含む、請求項１～７のいずれか１項に記載の検査データ作成方法。
  9. 前記検査データを設定するステップは、前記検査データとして設定した前記部品の端子の情報が、前記部品画像に基づいて取得した前記部品の端子の情報と異なる場合、前記検査データとして設定した前記部品の端子の情報を、前記部品画像に基づいて取得した前記部品の端子の情報により上書きすることにより、新たな前記検査データを作成するステップを含む、請求項１～８のいずれか１項に記載の検査データ作成方法。
  10. 部品が実装済の基板の実装済基板画像を取得する取得部と、
    前記実装済基板画像中の前記部品の部品画像を抽出し、前記部品画像に基づいて、部品情報が予め登録された部品登録情報に対して、前記部品登録情報に登録された登録部品ごとの前記部品の類似度を取得し、前記登録部品ごとの前記部品の類似度に基づいて、前記基板を検査する検査装置において用いられる部品データとしての検査データを設定する制御部と、を備え、
    前記制御部は、前記登録部品の全てに対して登録部品種類ごとの前記部品の種類の類似度および登録部品形状ごとの前記部品の形状の類似度を取得し、取得した登録部品種類ごとの前記部品の種類の類似度および登録部品形状ごとの前記部品の形状の類似度に基づいて、前記登録部品の全てに対して前記登録部品ごとの前記部品の総合的な類似度を取得するとともに、前記部品登録情報の登録部品データから、前記部品データとしての前記検査データを設定するように構成されている、検査データ作成装置。
  11. 部品が実装済の基板を撮影して実装済基板画像を取得する撮影部と、
    前記実装済基板画像中の前記部品の部品画像を抽出し、前記部品画像に基づいて、部品情報が予め登録された部品登録情報に対して、前記部品登録情報に登録された登録部品ごとの前記部品の類似度を取得し、前記登録部品ごとの前記部品の類似度に基づいて、部品データとしての検査データを設定する制御部と、を備え、
    前記制御部は、前記登録部品の全てに対して登録部品種類ごとの前記部品の種類の類似度および登録部品形状ごとの前記部品の形状の類似度を取得し、取得した登録部品種類ごとの前記部品の種類の類似度および登録部品形状ごとの前記部品の形状の類似度に基づいて、前記登録部品の全てに対して前記登録部品ごとの前記部品の総合的な類似度を取得するとともに、前記部品登録情報の登録部品データから、前記部品データとしての前記検査データを設定するように構成されている、検査装置。
JP2022532968A 2020-07-02 2020-07-02 検査データ作成方法、検査データ作成装置および検査装置 Active JP7448655B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/026087 WO2022003919A1 (ja) 2020-07-02 2020-07-02 検査データ作成方法、検査データ作成装置および検査装置

Publications (3)

Publication Number Publication Date
JPWO2022003919A1 JPWO2022003919A1 (ja) 2022-01-06
JPWO2022003919A5 JPWO2022003919A5 (ja) 2023-01-04
JP7448655B2 true JP7448655B2 (ja) 2024-03-12

Family

ID=79315842

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022532968A Active JP7448655B2 (ja) 2020-07-02 2020-07-02 検査データ作成方法、検査データ作成装置および検査装置

Country Status (2)

Country Link
JP (1) JP7448655B2 (ja)
WO (1) WO2022003919A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023171412A1 (ja) * 2022-03-08 2023-09-14 三菱電機株式会社 設計支援装置、および学習装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004340832A (ja) 2003-05-16 2004-12-02 Matsushita Electric Ind Co Ltd 回路基板の外観検査方法及び回路基板の外観検査装置
JP2006250609A (ja) 2005-03-09 2006-09-21 Matsushita Electric Ind Co Ltd 回路実装基板の外観検査方法
JP2019100917A (ja) 2017-12-05 2019-06-24 パナソニックＩｐマネジメント株式会社 検査プログラム生成システム、検査プログラムの生成方法、及び検査プログラムの生成用プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3906780B2 (ja) * 2002-11-01 2007-04-18 オムロン株式会社 部品コード変換テーブルに対するデータ登録方法、基板検査データの作成装置、登録処理用のプログラムおよびその記憶媒体
JP4788517B2 (ja) * 2006-07-28 2011-10-05 オムロン株式会社 基板外観検査用の検査基準データの設定方法およびこの方法を用いた基板外観検査装置
JP2015143951A (ja) * 2014-01-31 2015-08-06 オムロン株式会社 物体判別装置、画像センサ、物体判別方法
WO2018105100A1 (ja) * 2016-12-09 2018-06-14 株式会社Ｆｕｊｉ 装着ジョブデータの作成方法および作成装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004340832A (ja) 2003-05-16 2004-12-02 Matsushita Electric Ind Co Ltd 回路基板の外観検査方法及び回路基板の外観検査装置
JP2006250609A (ja) 2005-03-09 2006-09-21 Matsushita Electric Ind Co Ltd 回路実装基板の外観検査方法
JP2019100917A (ja) 2017-12-05 2019-06-24 パナソニックＩｐマネジメント株式会社 検査プログラム生成システム、検査プログラムの生成方法、及び検査プログラムの生成用プログラム

Also Published As

Publication number Publication date
WO2022003919A1 (ja) 2022-01-06
TW202220542A (zh) 2022-05-16
JPWO2022003919A1 (ja) 2022-01-06

Similar Documents

Publication Publication Date Title
US5134575A (en) Method of producing numerical control data for inspecting assembled printed circuit board
US20120327215A1 (en) High speed optical sensor inspection system
US6496270B1 (en) Method and system for automatically generating reference height data for use in a three-dimensional inspection system
CN1318839C (zh) 印刷电路板上瑕疵组件的自动光学检测方法
Moganti et al. Automatic PCB inspection systems
CN107945184A (zh) 一种基于彩色图像分割和梯度投影定位的贴装元件检测方法
JP4493421B2 (ja) プリント回路基板検査装置とプリント回路基板組み立て検査ラインシステムおよびプログラム
JP2019100917A (ja) 検査プログラム生成システム、検査プログラムの生成方法、及び検査プログラムの生成用プログラム
Janóczki et al. Automatic optical inspection of soldering
KR20210016612A (ko) 3차원 측정 장치
JP5045591B2 (ja) 検査領域の領域設定データの作成方法および基板外観検査装置
JP7448655B2 (ja) 検査データ作成方法、検査データ作成装置および検査装置
JP4228773B2 (ja) 基板検査装置
KR20160105082A (ko) 기판 검사 장치 및 그 검사 방법
EP3104169B1 (en) Quality management system
JP4333349B2 (ja) 実装外観検査方法及び実装外観検査装置
KR100526035B1 (ko) 메탈 마스크 검사 장치 및 그의 검사 방법
TWI841850B (zh) 檢查資料製作方法、檢查資料製作裝置及檢查裝置
JP2952671B2 (ja) プリント基板実装用数値制御データ作成方法並びに装置及びこの装置を備えた実装装置
JP4423130B2 (ja) プリント回路基板外観検査方法、プリント回路基板外観検査プログラム及びプリント回路基板外観検査装置
JP4502760B2 (ja) 実装基板の検査用データ作成方法、実装基板の検査方法および同装置
JPS62233746A (ja) チツプ搭載基板チエツカ
JPH038400A (ja) プリント基板の位置補正方法
Mahon Automatic 3-D inspection of solder paste on surface mount printed circuit boards
JP2012252003A (ja) 高速光学センサ検査システム

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20220916

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220916

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230901

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240129

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240229

R150 Certificate of patent or registration of utility model

Ref document number: 7448655

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150