JP2020051762A - 三次元形状検査装置、三次元形状検査方法、三次元形状検査プログラム、コンピュータ - Google Patents

三次元形状検査装置、三次元形状検査方法、三次元形状検査プログラム、コンピュータ Download PDF

Info

Publication number
JP2020051762A
JP2020051762A JP2018178276A JP2018178276A JP2020051762A JP 2020051762 A JP2020051762 A JP 2020051762A JP 2018178276 A JP2018178276 A JP 2018178276A JP 2018178276 A JP2018178276 A JP 2018178276A JP 2020051762 A JP2020051762 A JP 2020051762A
Authority
JP
Japan
Prior art keywords
dimensional shape
region
difference
target
defective product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018178276A
Other languages
English (en)
Other versions
JP7153514B2 (ja
Inventor
和隆 谷口
Kazutaka Taniguchi
和隆 谷口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Screen Holdings Co Ltd
Original Assignee
Screen Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Screen Holdings Co Ltd filed Critical Screen Holdings Co Ltd
Priority to JP2018178276A priority Critical patent/JP7153514B2/ja
Priority to PCT/JP2019/033279 priority patent/WO2020066415A1/ja
Publication of JP2020051762A publication Critical patent/JP2020051762A/ja
Application granted granted Critical
Publication of JP7153514B2 publication Critical patent/JP7153514B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/30Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

【課題】計測データと良品データとの間に生じる差分に基づき形状欠陥の有無を判定するにあたり、対象物に本来存在する壁面と区別して、形状欠陥の有無を的確に判定する。【解決手段】良品データDrが示す良品の表面のうち、Z軸方向に対して成す鋭角θaが所定鋭角θbより小さいあるいはZ軸方向に平行な壁面領域Rwを除いた平坦領域Rfにおける差分に基づき、対象物Jにおける形状欠陥の有無が判定される(ステップS202、S203、S210)。したがって、対象物Jに本来存在する壁面と区別して、形状欠陥の有無を的確に判定することが可能となっている。【選択図】図5

Description

この発明は、対象物における形状欠陥の有無を判定する技術に関する。
従来、対象物を撮像した画像に基づき、対象物における形状欠陥の有無を判定する検査装置が知られている。例えば特許文献1に記載の検査装置は、形状欠陥を有しない対象物である良品を示す基準画像と、対象物を撮像することで得られた検査画像との比較に基づき、形状欠陥の有無を判定する。
特開2015−068668号公報
ところで、二次元的な画像に基づく上記の検査では、形状欠陥の有無を的確に判定できない場合があった。例えば、鍛造品等の対象物が有する比較的平坦な領域に対する検査には、打撃によって生じた凹凸、すなわち打痕を形状欠陥として検出するものがある。この際、打痕が対象物の品質にとって問題となるかを判定するには、撮像した画像に表れる打痕の面積よりも、画像の奥行方向における打痕の深さが重要となる場合がある。これに対して、上記の二次元的な画像からは、打痕の深さを的確に把握することができない。
つまり、二次元的な画像では、形状欠陥の有無を判定するのに重要となる方向における情報が無いために、かかる判定を的確にできない場合があった。そこで、対象物の表面の三次元形状を計測した結果である計測データと、形状欠陥を有さない良品の表面の三次元形状を示す良品データとの差分により、形状欠陥の有無を判定する方法が考えられる。
なお、計測データと良品データとの差分の算出は、各データが示す三次元形状それぞれの位置を合わせて、これらの差を抽出することで実行される。この際、各データが示す三次元形状の位置合わせが正確でないと、差分が本来存在しない部分に、差分が存在すると誤判定する可能性がある。つまり、上記の鍛造品の例では、奥行き方向に急峻に傾いたあるいは平行な壁面が良品の鍛造品の端や段差に存在しうる。これに対して、奥行き方向に直交する方向において、各データが示す三次元形状の位置合わせにずれがあると、この壁面の近傍で大きな差分が生じる。そのため、差分が良品に本来存在する壁面を示すのか、形状欠陥を示すのかを判別できず、形状欠陥の有無を的確に判定できない場合があった。
この発明は上記課題に鑑みなされたものであり、計測データと良品データとの間に生じる所定方向への差分に基づき形状欠陥の有無を判定するにあたり、対象物に本来存在する壁面と区別して、形状欠陥の有無を的確に判定することを可能とする技術の提供を目的とする。
本発明に係る三次元形状検査装置は、対象物を撮像する撮像ユニットと、撮像ユニットに対象物を撮像させた結果に基づき対象物の表面の三次元形状を計測して計測データを取得するデータ取得部と、計測データと、形状欠陥を有さない良品の表面の三次元形状を示す良品データとを比較することで、計測データが示す対象物の表面の位置と、良品データが示す良品の表面の位置との所定方向への差分を求める差分算出部と、良品データが示す良品の表面のうち、所定方向に対して成す鋭角が所定角より小さいあるいは所定方向に平行な壁面領域を除いた対象領域における差分に基づき、対象物における形状欠陥の有無を判定する良否判定部とを備える。
本発明に係る三次元形状検査方法は、対象物の表面の三次元形状を計測した結果である計測データと、形状欠陥を有さない良品の表面の三次元形状を示す良品データとを比較することで、計測データが示す対象物の表面の位置と、良品データが示す良品の表面の位置との所定方向への差分を求める工程と、良品データが示す良品の表面のうち、所定方向に対して成す鋭角が所定角より小さいあるいは所定方向に平行な壁面領域を除いた対象領域における差分に基づき、対象物における形状欠陥の有無を判定する工程とを備える。
本発明に係る三次元形状検査プログラムは、対象物の表面の三次元形状を計測した結果である計測データと、形状欠陥を有さない良品の表面の三次元形状を示す良品データとを比較することで、計測データが示す対象物の表面の位置と、良品データが示す良品の表面の位置との所定方向への差分を求める工程と、良品データが示す良品の表面のうち、所定方向に対して成す鋭角が所定角より小さいあるいは所定方向に平行な壁面領域における差分に基づき、対象物における形状欠陥の有無を判定する工程とをコンピュータに実行させる。
本発明に係るコンピュータは、上記の三次元形状検査プログラムを実行する。
このように構成された本発明(三次元形状検査装置、三次元形状検査方法、三次元形状検査プログラム、コンピュータ)は、対象物の表面の三次元形状を計測した結果である計測データと、形状欠陥を有さない良品の表面の三次元形状を示す良品データとを比較する。これによって、計測データが示す対象物の表面の位置と、良品データが示す良品の表面の位置との所定方向への差分が求められ、かかる差分に基づき、対象物における形状欠陥の有無が判定される。つまり、計測データと良品データとの間に生じる所定方向への差分に基づき形状欠陥の有無が判定される。この際、良品データが示す良品の表面のうち、所定方向に対して成す鋭角が所定角より小さいあるいは所定方向に平行な壁面領域を除いた対象領域における差分に基づき、対象物における形状欠陥の有無が判定される。したがって、対象物に本来存在する壁面と区別して、形状欠陥の有無を的確に判定することが可能となっている。
また、差分算出部は、壁面領域については差分を算出せず、対象領域について差分を算出するように、三次元形状検査装置を構成しても良い。これによって、演算量を抑制しつつ、形状欠陥の有無を判定するのに要する差分を算出することができる。
また、良否判定部は、対象領域のうち、所定方向における差分の大きさが所定値未満である領域を形状欠陥の有無の判定対象から除外するように、三次元形状検査装置を構成しても良い。かかる構成では、形状欠陥の有無の判定対象を比較的大きな差分が表れる領域に絞り込んで、形状欠陥の有無を的確に判定することができる。
また、良否判定部は、対象領域において判定対象として残った領域のうち、所定方向に直交する平面における面積が所定面積未満である領域を判定対象からさらに除外するように、三次元形状検査装置を構成しても良い。かかる構成では、形状欠陥の有無の判定対象を比較的大きな面積を有する領域に絞り込んで、形状欠陥の有無を的確に判定することができる。
また、良否判定部は、対象領域のうち、判定対象として残った領域を候補領域として抽出し、候補領域の周縁の領域を所定方向に直交する平面で近似して基準平面を設定し、所定方向において候補領域が基準平面から最も離れる位置での基準平面からの距離が閾値以上である場合に、候補領域に形状欠陥が存在すると判定するように、三次元形状検査装置を構成しても良い。かかる構成では、候補領域の周縁の領域を近似する基準平面に基づき、候補領域における形状欠陥の有無を的確に判定することができる。
また、良否判定部は、対象領域に含まれる複数の範囲のそれぞれに対して異なる閾値を設定するように、三次元形状検査装置を構成しても良い。かかる構成では、対象物の場所に応じた適切な閾値に基づき、形状欠陥の存在を的確に判定することができる。
以上のように、本発明によれば、計測データと良品データとの間に生じる所定方向への差分に基づき形状欠陥の有無を判定するにあたり、対象物に本来存在する壁面と区別して、形状欠陥の有無を的確に判定することが可能となっている。
本発明に係る三次元形状検査装置の一例を模式的に示す図。 図1に示す三次元形状検査装置が備える電気的構成の一例を示すブロック図。 対象物の三次元形状を計測する計測処理の一例を示すフローチャート。 良品データおよび計測データそれぞれの一例を模式的に示す図。 対象物における形状欠陥の有無を検査する検査処理の一例を示すフローチャート。 図5に示す検査処理での演算内容を模式的に示す図。 図5に示す検査処理での演算内容を模式的に示す図。 図5に示す検査処理での演算内容を模式的に示す図。 図5に示す検査処理での演算内容を模式的に示す図。 図5に示す検査処理での演算内容を模式的に示す図。 検査処理の適用対象の異なる例としてスパナを示す図。
図1は本発明に係る三次元形状検査装置の一例を模式的に示す図である。同図および以下の図では、Z軸方向を鉛直方向とし、X軸方向およびY軸方向をそれぞれ水平方向とするXYZ直交座標系を適宜示す。三次元形状検査装置1は、対象物Jを支持する支持テーブル2と、支持テーブル2上の対象物Jの三次元形状を計測して点群データを取得するための撮像ユニット4とを備える。
対象物Jが鉄等を含んで磁力により保持できる場合には、支持テーブル2として電磁石テーブルを用いることができる。また、対象物Jが樹脂等の磁力により保持できないものである場合には、エアー吸着あるいはチャック機構によって対象物Jを支持するテーブルを支持テーブル2として用いることができる。
撮像ユニット4は、カメラ41とプロジェクタ42とを有する。カメラ41は、撮像範囲F(換言すれば、視野)内からそのレンズ411に入射した光を固体撮像素子に結像することで、撮像範囲Fの画像を撮像する。プロジェクタ42は、光源からの光をDMD(Digital Mirror Device)等で変調することで、撮像範囲Fに対して光のパターンを射出する。
図2は図1に示す三次元形状検査装置が備える電気的構成の一例を示すブロック図である。図2に示すように、三次元形状検査装置1は、演算部91、記憶部92、通信部93および撮像制御部94を有するコントローラ9を備える。演算部91はCPU(Central Processing Unit)やRAM(Random Access Memory)等で構成されたプロセッサであり、装置全体の制御を統括する。記憶部12は、HDD(Hard Disk Drive)で構成され、計測プログラムPm、検査プログラムPi、良品データDrおよび計測データDm等を記憶する。これら各種のプログラムPm、PiおよびデータDr、Dmの内容は後述する。通信部93は、外部装置との通信機能を担当する。
撮像制御部94は、撮像ユニット4を用いて、対象物Jの表面の三次元形状を計測する。具体的には、撮像制御部94は、プロジェクタ42から支持テーブル2上の対象物Jへ向けてパターンを照射しつつ撮像範囲F内の対象物Jをカメラ41により撮像することで、パターンが照射された対象物Jを撮像して画像Mを取得する。かかる画像Mには、対象物Jの表面の三次元形状に応じて変形したパターンが含まれる。また、演算部91は、上記の計測プログラムPmを実行することで、その内部にデータ生成部911を展開する。そして、データ生成部911は、撮像制御部94により取得された画像Mに基づき、対象物Jの三次元形状を示す点群データを生成する。なお、パターンを照射しつつ対象物Jを撮像した画像に基づき対象物Jの三次元形状を計測する具体的手法は、位相シフト法および空間コード化法等の種々の方法を用いることができる。
図3は対象物の三次元形状を計測する計測処理の一例を示すフローチャートである。同図のフローチャートのうち、ステップS101〜S103は撮像制御部94の制御により実行され、ステップS104はデータ生成部911の演算により実行される。計測処理では、カメラ41の光軸Aの方向から見て、撮像ユニット4の撮像範囲Fに支持テーブル2上の対象物Jを収めた状態で、プロジェクタ42から支持テーブル2上の対象物Jにパターンが投影され(ステップS101)、パターンが投影された対象物Jがカメラ41により撮像される(ステップS102)。そして、互いに異なる複数のパターンの全てについて撮像が完了したかが確認される(ステップS103)。全パターンの撮像が完了していない場合(ステップS103で「NO」の場合)には、対象物Jに投影するパターンを変更しつつ、ステップS101、S102が再実行される。一方、全パターンの撮像が完了している場合(ステップS103で「YES」の場合)には、これらのパターンのそれぞれを含む複数の画像Mに基づき、対象物Jの表面の三次元形状を示す点群データが作成され(ステップS104)、計測データDmとして記憶部92に記憶される。つまり、計測データDmは、計測処理で計測された対象物Jの表面の三次元形状を示す点群データである。
また、図2に示すコントローラ9は、この計測データDmに基づき、対象物Jの表面に打痕等の形状欠陥が存在するか否かを判定する検査処理を実行する。具体的には、上記の検査プログラムPiは検査処理の内容を規定しており、演算部91は検査プログラムPiを実行することで、検査処理に要する演算を担う差分算出部912および良否判定部913をその内部に展開する。また、記憶部92には、検査処理で使用される良品データDrが予め保存されている。この良品データDrは、形状欠陥を有さない対象物Jである良品の表面の三次元形状を示す点群データである。かかる良品データDrは、良品に対して計測処理を実行することで得られた点群データでも良いし、対象物JのCAD(Computer-Aided Design)データに基づき生成されたものでも良い。
図4は良品データおよび計測データそれぞれの一例を模式的に示す図である。良品データDrが示す対象物Jの表面の三次元形状Sr(「良品三次元形状Sr」と適宜称する)は、Y軸方向に延設された長方形状の平板の上部をY軸方向に平行に切り欠いた外形を有する。この良品データDrは、各XY座標における良品三次元形状SrのZ軸方向への位置を示す。一方、計測データDmが示す計測された対象物Jの表面の三次元形状Sm(「計測三次元形状Sm」と適宜称する)は、良品データDrが示す三次元形状Srの上面で凹部Cが上方へ開口する外形を有する。この計測データDmは、各XY座標における計測三次元形状SmのZ軸方向への位置を示す。なお、同図に示す対象物Jは一例に過ぎず、以下に説明する検査処理の適用対象が同図の例に限られないことは言うまでもない。
図5は対象物における形状欠陥の有無を検査する検査処理の一例を示すフローチャートであり、図6および図7A〜図7Dは図5に示す検査処理での演算内容を模式的に示す図である。この検査処理は、カメラ41に対向する対象物Jの比較的平坦な上面における打痕の有無を検査する。
ステップS201では、差分算出部912は、良品データDrと計測データDmとのデータマッチングを実行する。このデータマッチングは、図7Aに示すように、良品三次元形状Srおよび計測三次元形状Smそれぞれの対応点(すなわち、同一の位置を表す点)を一致させることで、これら三次元形状Sr、Smの位置合わせを実行する演算処理である。
ステップS202では、差分算出部912は、位置合わせされた三次元形状Sr、Smの壁面領域Rwに対してマスクを設定する。かかるマスクの設定は、良品三次元形状Srにおける壁面領域Rwの存在範囲の特定と、当該壁面領域Rwへのマスクの設定との二段階で実行される。図6に示すように、壁面領域Rwは、それとZ軸方向との間の鋭角θaが所定鋭角θb(所定角)より小さい領域、あるいはZ軸方向に平行な領域である。良品三次元形状Srの各点での傾きは、例えば当該各点での勾配を算出することで求められる。また、所定鋭角θbは、検査プログラムPiに規定されていても良いし、ユーザにより設定されても良い。
差分算出部912は、かかる壁面領域Rwを良品三次元形状Srから探索することで、壁面領域Rwの存在範囲を特定する。そして、差分算出部912は、位置合わせされた三次元形状Sr、Smにおける壁面領域Rwの存在範囲にマスクを設定する。その結果、図7Bに示すように、斜線のハッチングが付された壁面領域Rwにマスクが設定され、以後の演算の対象から、壁面領域Rwが除外される。その結果、位置合わせされた三次元形状Sr、Smのうち、比較的平坦な(換言すれば、XY平面に平行な)平坦領域Rfが抽出される。
ステップS203では、差分算出部912は、位置合わせされた良品三次元形状Srの平坦領域Rfと計測三次元形状Smの平坦領域RfとのZ軸方向における位置の差を各XY座標について算出する。こうして、計測データDmが示す対象物Jの表面の位置と、良品データDrが示す良品の表面の位置とのZ軸方向の差分が求められる。かかる差分は、Z軸方向に直交するXY平面に比較的平行な範囲で概ねゼロとなる一方、良品データDrが示す良品に存在せずに計測データDmが示す対象物Jに存在する凹部Cにおいて大きくなる。その結果、図7Cに示すように、3個の凹部Cを顕在化した差分画像Mcが得られる。
ステップS204では、良否判定部913は、差分の大きさが所定値以上である画素を抽出する。このステップS204は、差分画像Mcのうちから平坦な領域を除外して、凹部Cに係る画素を抽出する目的で実行される。
ステップS205では、良否判定部913は、ステップS204で抽出された画素を連結して連結領域Rcを設定する。これはXY座標において隣接する画素を関連付けることで、同一の凹部Cに属する画素を関連付ける一方、異なる凹部Cに属する画素を区別する目的で実行される。したがって、図7Cの例では、3個の凹部Cのそれぞれに連結領域Rcが設定されることとなる。
ステップS206では、良否判定部913は、XY平面において所定面積以上の面積を有する連結領域Rcを候補領域Rpとして抽出する。図7Cの例では、3個の連結領域Rcのうち、2個の連結領域Rcが候補領域Rp1、Rp2として抽出される。
続いて、良否判定部913は、候補領域Rp1、Rp2を識別する識別番号Iをゼロにリセットし(ステップS207)、識別番号Iをインクリメントする(ステップS208)。これによって、候補領域Rp1が以後のステップの実行対象に設定される。
ステップS209では、良否判定部913は、図7Dの「Rp1」の欄に示すように、差分画像Mcにおける候補領域Rp1の周縁領域をZ軸方向に直交する平面で近似した基準平面Lを候補領域Rp1に設定する。かかる平面近似は、例えば最小自乗法により実行できる。そして、ステップS210では、良否判定部913は、Z軸方向において候補領域Rp1が基準平面Lから最も離れる位置V1(換言すればピーク)での基準平面Lからの距離Z1が、閾値Zt以上であるかを判定する。ここでは、距離Z1が閾値Zt未満であるため、良否判定部913は、ステップS210で「NO」と判定し、ステップS211に進む。
ステップS211では、識別番号Iが候補領域Rpの個数Ix(=2)に等しいかが判定される。ここでは、識別番号Iが「1」であるため、ステップS211で「NO」と判定される。その結果、ステップS208に戻って識別番号Iがインクリメントされる。これによって、候補領域Rp2が以後のステップの実行対象に設定される。
ステップS209では、良否判定部913は、図7Dの「Rp2」の欄に示すように、差分画像Mcにおける候補領域Rp2の周縁領域をZ軸方向に直交する平面で近似した基準平面Lを候補領域Rp2に設定する。そして、ステップS210では、良否判定部913は、Z軸方向において候補領域Rp2が基準平面Lから最も離れる位置V2(換言すればピーク)での基準平面Lからの距離Z2が、閾値Zt以上であるかを判定する。ここでは、距離Z2が閾値Zt以上であるため、良否判定部913は、ステップS210で「YES」と判定し、候補領域Rp1に不良形状(打痕)が存在するとして不良判定を行う(ステップS212)。
ちなみに、ステップS206で抽出された全ての候補領域Rpについて、ステップS210で「NO」と判定された場合には、良否判定部913は、対象物Jに不良形状は存在しないとして、良品判定を行う(ステップS213)。
以上に説明した実施形態では、対象物Jの表面の三次元形状Smを計測した結果である計測データDmと、形状欠陥を有さない良品の表面の三次元形状Srを示す良品データDrとを比較する(ステップS201、S203)。これによって、計測データDmが示す対象物Jの表面の位置と、良品データDrが示す良品の表面の位置とのZ軸方向への差分が求められ(ステップS203)、かかる差分に基づき、対象物Jにおける形状欠陥の有無が判定される(ステップS210)。つまり、計測データDmと良品データDrとの間に生じるZ軸方向への差分に基づき形状欠陥の有無が判定される。この際、良品データDrが示す良品の表面のうち、Z軸方向に対して成す鋭角θaが所定鋭角θbより小さいあるいはZ軸方向に平行な壁面領域Rwを除いた平坦領域Rfにおける差分に基づき、対象物Jにおける形状欠陥の有無が判定される(ステップS202、S203、S210)。したがって、対象物Jに本来存在する壁面と区別して、形状欠陥の有無を的確に判定することが可能となっている。
また、差分算出部912は、壁面領域Rwについては差分を算出せず、平坦領域Rfについて差分を算出する(ステップS202、S203)。これによって、差分算出部912の演算量を抑制しつつ、形状欠陥の有無を判定するのに要する差分(すなわち、平坦領域Rfでの差分)を算出することができる。
また、良否判定部913は、平坦領域Rfのうち、Z軸方向における差分の大きさが所定値未満である領域を形状欠陥の有無の判定対象から除外する(ステップS204)。かかる構成では、形状欠陥の有無の判定対象を比較的大きな差分が表れる領域に絞り込んで、形状欠陥の有無を的確に判定することができる。
また、良否判定部913は、平坦領域Rfにおいて判定対象として残った連結領域Rcのうち、Z軸方向に直交するXY平面における面積が所定面積未満である連結領域Rcを判定対象からさらに除外する(ステップSS206)。かかる構成では、形状欠陥の有無の判定対象を比較的大きな面積を有する連結領域Rcに絞り込んで、形状欠陥の有無を的確に判定することができる。
また、良否判定部は、平坦領域Rfのうち、判定対象として残った連結領域Rcを候補領域Rp1、Rp2として抽出し(ステップS206)、候補領域Rp1、Rp2の周縁領域をZ軸方向に直交するXY平面で近似して基準平面Lを設定する。そして、Z軸方向において候補領域Rp1、Rp2が基準平面Lから最も離れる位置V1、V2での基準平面Lからの距離Z1、Z2が閾値Zt以上である場合に、候補領域Rp1に形状欠陥が存在すると判定する。かかる構成では、候補領域Rp1、Rp2の周縁領域を近似する基準平面Lに基づき、候補領域Rp1、Rp2における形状欠陥の有無を的確に判定することができる。
以上に説明した実施形態では、三次元形状検査装置1が本発明の「三次元形状検査装置」の一例に相当し、コントローラ9が本発明の「コンピュータ」の一例に相当し、検査プログラムPiが本発明の「三次元形状検査プログラム」の一例に相当し、撮像ユニット4が本発明の「撮像ユニット」の一例に相当し、撮像制御部94が本発明の「データ取得部」の一例に相当し、差分算出部912が本発明の「差分算出部」の一例に相当し、良否判定部913が本発明の「良否判定部」の一例に相当し、計測データDmが本発明の「計測データ」の一例に相当し、良品データDrが本発明の「良品データ」の一例に相当し、三次元形状Sm、Srが本発明の「三次元形状」の一例に相当し、Z軸方向が本発明の「所定方向」の一例に相当し、壁面領域Rwが本発明の「壁面領域」の一例に相当し、平坦領域Rfが本発明の「対象領域」の一例に相当し、候補領域Rp1、Rp2が本発明の「候補領域」の一例に相当し、基準平面Lが本発明の「基準平面」の一例に相当する。
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上述したとおり、図5の検査処理の適用対象は、上記の対象物Jに限られない。そこで、次に示すスパナを対象物Jとして検査処理を実行しても良い。
図8は検査処理の適用対象の異なる例としてスパナを示す図である。特に図8では、スパナに対して図5のステップS201〜S203を実行することで求められた差分画像が示されている。この差分画像では、壁面領域Rwが暗い灰色で示され、平坦領域Rfがこれより明るい灰色で示されている。さらに、ステップS204〜S212を実行することで検出された形状欠陥(打痕)に対して、白色の丸印が併せて示されている。なお、図5のフローチャートは、1個の形状欠陥が検出された時点で(ステップS210で「YES」)、不良判定を行って(ステップS212)、終了していたが、図8の例は、ステップS212の次にステップS211に進んで、全ての候補領域Rpに対して良否判定を実行した結果に相当する。
ちなみに、図8のスパナのような対象物Jでは、例えば首の段差より左側の口の部分と、右側の柄の部分とでは、形状欠陥に対する許容度が異なる場合がある。そこで、段差左側の平坦領域Rf1と、段差右側の平坦領域Rf2とで、ステップS210で用いる閾値Ztを異ならせても良い。この場合、良否判定部913は、平坦領域Rfに含まれる複数の範囲Rf1、Rf2のそれぞれに対して異なる閾値Ztを設定する。かかる構成では、ステップS209において、対象物Jの場所に応じた適切な閾値Ztに基づき、形状欠陥の存在を的確に判定することができる。
また、図5のフローチャートのステップを適宜省略することもできる。例えば、ステップS204〜S209を省略して、ステップS203で算出した差分画像に所定の閾値Zt以上の差分が存在する場合には、不良判定を行うように構成しても良い。
また、上記の例では、凹形状を有する形状欠陥について良否判定を行うが、凸形状を有する形状欠陥に対して良否判定を行うにあたって、図5の検査処理を同様に用いることができる。
また、検査処理を行う機能を、三次元形状検査装置1から独立させても良い。具体的には、撮像制御部94および計測プログラムPmをコントローラ9から三次元形状検査装置1の別の演算装置に移設して、このコントローラ9を三次元形状検査装置1から独立させれば良い。あるいは、パーソナルコンピュータに検査プログラムPiをインストールすることで、三次元形状検査装置1から独立して検査処理を実行するコンピュータを実現できる。
また、撮像ユニット4の具体的構成、すなわちカメラ41あるいはプロジェクタ42の個数や配置には種々の態様がありうる。
また、撮像ユニット4は、パターンが投影された対象物Jを撮像するものに限られない。したがって、レーザ光を対象物Jに照射しつつ、対象物Jで反射されたレーザ光を固体撮像素子で検出した結果に基づき対象物Jの距離画像を撮像するように、撮像ユニット4を構成しても良い。
本発明は、対象物の三次元形状を計測する技術の全般に適用可能である。
1…三次元形状検査装置
4…撮像ユニット
9…コントローラ(コンピュータ)
912…差分算出部
913…良否判定部
94…撮像制御部(データ取得部)
Dm…計測データ
Dr…良品データ
L…基準平面
Pi…検査プログラム(三次元形状検査プログラム)
Rf…平坦領域(対象領域)
Rp1、Rp2…候補領域
Rw…壁面領域
Sm、Sr…三次元形状
Z…Z軸方向(所定方向)

Claims (9)

  1. 対象物を撮像する撮像ユニットと、
    前記撮像ユニットに前記対象物を撮像させた結果に基づき前記対象物の表面の三次元形状を計測して計測データを取得するデータ取得部と、
    前記計測データと、形状欠陥を有さない良品の表面の三次元形状を示す良品データとを比較することで、前記計測データが示す前記対象物の表面の位置と、前記良品データが示す前記良品の表面の位置との所定方向への差分を求める差分算出部と、
    前記良品データが示す前記良品の表面のうち、前記所定方向に対して成す鋭角が所定角より小さいあるいは所定方向に平行な壁面領域を除いた対象領域における前記差分に基づき、前記対象物における前記形状欠陥の有無を判定する良否判定部と
    を備える三次元形状検査装置。
  2. 前記差分算出部は、前記壁面領域については前記差分を算出せず、前記対象領域について前記差分を算出する請求項1に記載の三次元形状検査装置。
  3. 前記良否判定部は、前記対象領域のうち、前記所定方向における前記差分の大きさが所定値未満である領域を前記形状欠陥の有無の判定対象から除外する請求項1または2に記載の三次元形状検査装置。
  4. 前記良否判定部は、前記対象領域において前記判定対象として残った領域のうち、前記所定方向に直交する平面における面積が所定面積未満である領域を前記判定対象からさらに除外する請求項3に記載の三次元形状検査装置。
  5. 前記良否判定部は、前記対象領域のうち、前記判定対象として残った領域を候補領域として抽出し、前記候補領域の周縁の領域を前記所定方向に直交する平面で近似して基準平面を設定し、前記所定方向において前記候補領域が前記基準平面から最も離れる位置での前記基準平面からの距離が閾値以上である場合に、前記候補領域に前記形状欠陥が存在すると判定する請求項3または4に記載の三次元形状検査装置。
  6. 前記良否判定部は、前記対象領域に含まれる複数の範囲のそれぞれに対して異なる前記閾値を設定する請求項5に記載の三次元形状検査装置。
  7. 対象物の表面の三次元形状を計測した結果である計測データと、形状欠陥を有さない良品の表面の三次元形状を示す良品データとを比較することで、前記計測データが示す前記対象物の表面の位置と、前記良品データが示す前記良品の表面の位置との所定方向への差分を求める工程と、
    前記良品データが示す前記良品の表面のうち、前記所定方向に対して成す鋭角が所定角より小さいあるいは所定方向に平行な壁面領域を除いた対象領域における前記差分に基づき、前記対象物における前記形状欠陥の有無を判定する工程と
    を備える三次元形状検査方法。
  8. 対象物の表面の三次元形状を計測した結果である計測データと、形状欠陥を有さない良品の表面の三次元形状を示す良品データとを比較することで、前記計測データが示す前記対象物の表面の位置と、前記良品データが示す前記良品の表面の位置との所定方向への差分を求める工程と、
    前記良品データが示す前記良品の表面のうち、前記所定方向に対して成す鋭角が所定角より小さいあるいは所定方向に平行な壁面領域における前記差分に基づき、前記対象物における前記形状欠陥の有無を判定する工程と
    をコンピュータに実行させる三次元形状検査プログラム。
  9. 請求項8に記載の三次元形状検査プログラムを実行するコンピュータ。
JP2018178276A 2018-09-25 2018-09-25 三次元形状検査装置、三次元形状検査方法、三次元形状検査プログラム、コンピュータ Active JP7153514B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018178276A JP7153514B2 (ja) 2018-09-25 2018-09-25 三次元形状検査装置、三次元形状検査方法、三次元形状検査プログラム、コンピュータ
PCT/JP2019/033279 WO2020066415A1 (ja) 2018-09-25 2019-08-26 三次元形状検査装置、三次元形状検査方法、三次元形状検査プログラム、コンピュータ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018178276A JP7153514B2 (ja) 2018-09-25 2018-09-25 三次元形状検査装置、三次元形状検査方法、三次元形状検査プログラム、コンピュータ

Publications (2)

Publication Number Publication Date
JP2020051762A true JP2020051762A (ja) 2020-04-02
JP7153514B2 JP7153514B2 (ja) 2022-10-14

Family

ID=69950415

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018178276A Active JP7153514B2 (ja) 2018-09-25 2018-09-25 三次元形状検査装置、三次元形状検査方法、三次元形状検査プログラム、コンピュータ

Country Status (2)

Country Link
JP (1) JP7153514B2 (ja)
WO (1) WO2020066415A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230298193A1 (en) * 2020-08-14 2023-09-21 Nec Corporation Photographing apparatus, photographing unit, image analysis apparatus, and three-dimensional shape measuring system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0674904A (ja) * 1992-08-26 1994-03-18 Sumitomo Metal Ind Ltd 被検出材の微小欠陥検出方法及び装置
JP2000346813A (ja) * 1999-06-07 2000-12-15 Kanebo Ltd 物品の表面検査装置
JP2012021909A (ja) * 2010-07-15 2012-02-02 Keyence Corp 画像処理装置及び外観検査方法
JP2015068668A (ja) * 2013-09-27 2015-04-13 株式会社Screenホールディングス 外観検査装置
JP2016024104A (ja) * 2014-07-23 2016-02-08 アイシン精機株式会社 欠陥抽出装置及び欠陥抽出方法
JP2018144153A (ja) * 2017-03-03 2018-09-20 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0674904A (ja) * 1992-08-26 1994-03-18 Sumitomo Metal Ind Ltd 被検出材の微小欠陥検出方法及び装置
JP2000346813A (ja) * 1999-06-07 2000-12-15 Kanebo Ltd 物品の表面検査装置
JP2012021909A (ja) * 2010-07-15 2012-02-02 Keyence Corp 画像処理装置及び外観検査方法
JP2015068668A (ja) * 2013-09-27 2015-04-13 株式会社Screenホールディングス 外観検査装置
JP2016024104A (ja) * 2014-07-23 2016-02-08 アイシン精機株式会社 欠陥抽出装置及び欠陥抽出方法
JP2018144153A (ja) * 2017-03-03 2018-09-20 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器

Also Published As

Publication number Publication date
JP7153514B2 (ja) 2022-10-14
WO2020066415A1 (ja) 2020-04-02

Similar Documents

Publication Publication Date Title
US9182221B2 (en) Information processing apparatus and information processing method
JP6465682B2 (ja) 情報処理装置、情報処理方法及びプログラム
US11667036B2 (en) Workpiece picking device and workpiece picking method
JPWO2010024254A1 (ja) 被検体の凹凸検出方法とその装置
JP2015147256A (ja) ロボット、ロボットシステム、制御装置、及び制御方法
KR20150128300A (ko) 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법
JP2013186100A (ja) 形状検査方法およびその装置
WO2013061976A1 (ja) 形状検査方法およびその装置
US20060165275A1 (en) Three-dimensional measurement system, inspection method, three-dimensional measurement method and program
JP5913903B2 (ja) 形状検査方法およびその装置
JP2006010375A (ja) Semによる立体形状計測方法およびその装置
JP5385703B2 (ja) 検査装置、検査方法および検査プログラム
JP2009115512A (ja) 物品検査方法
JP5063551B2 (ja) パターンマッチング方法、及び画像処理装置
JP6116710B2 (ja) 外観検査装置および外観検査方法
JP5094033B2 (ja) パターンマッチング方法、及びパターンマッチングを行うためのコンピュータープログラム
WO2020066415A1 (ja) 三次元形状検査装置、三次元形状検査方法、三次元形状検査プログラム、コンピュータ
JP2017198470A (ja) 計測装置、計測方法、システム及び物品の製造方法
US9230337B2 (en) Analysis of the digital image of the internal surface of a tyre and processing of false measurement points
JP5403367B2 (ja) 物体形状評価装置
JP4784396B2 (ja) 3次元形状計測方法及びこれを用いた3次元形状計測装置
US11717970B2 (en) Controller, control method using controller, and control system
JP5445848B2 (ja) 物体形状評価装置
JP2010107301A (ja) 表面欠陥評価装置
JP2006269710A (ja) パターン評価方法および半導体装置の製造方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221003

R150 Certificate of patent or registration of utility model

Ref document number: 7153514

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150