JP2015045587A - 三次元画像処理装置、三次元画像処理装置の状態変化判定方法、三次元画像処理装置の状態変化判定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 - Google Patents
三次元画像処理装置、三次元画像処理装置の状態変化判定方法、三次元画像処理装置の状態変化判定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 Download PDFInfo
- Publication number
- JP2015045587A JP2015045587A JP2013177233A JP2013177233A JP2015045587A JP 2015045587 A JP2015045587 A JP 2015045587A JP 2013177233 A JP2013177233 A JP 2013177233A JP 2013177233 A JP2013177233 A JP 2013177233A JP 2015045587 A JP2015045587 A JP 2015045587A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- processing apparatus
- dimensional image
- unit
- state change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【課題】装置自体の状態変化を検出して、キャリブレーションの実行などを促すことを可能とする。【解決手段】検査対象物の高さ情報を含む距離画像を取得すると共に、該距離画像に基づいて画像処理を行うことが可能な三次元画像処理装置であって、少なくとも検査対象物の画像を撮像する一以上の撮像手段、及び/又は検査対象物に対して光を投光するための一以上の投光手段を計3台以上備え、撮像手段及び投光手段が正常な状態において、各計測系で略同一の計測結果が得られるようにしてなる複数の計測系と、撮像手段で撮像された複数の画像に基づいて、各計測系の距離画像を複数生成可能な距離画像生成手段32と、距離画像生成手段32で生成された複数の距離画像を比較するための比較演算手段33と、比較演算手段33で演算された比較結果に基づいて、三次元画像処理装置の正常な状態からの状態変化の度合いを判定するための状態変化判定手段35とを備える。【選択図】図8
Description
本発明は、三次元画像処理装置、三次元画像処理装置の状態変化判定方法、三次元画像処理装置の状態変化判定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器に関する。
工場等数多くの生産現場では、人の目視に頼っていた検査を自動化・高速化する画像処理装置が導入されている。画像処理装置は、ベルトコンベア等の生産ラインを流れてくるワークをカメラによって撮像し、得られた画像データを用いて所定領域のエッジ検出や面積計算等の計測処理を実行する。そして、計測処理の処理結果に基づいて、ワークの欠け検出やアライメントマークの位置検出等の検査を行い、ワークの欠けや位置ずれの有無を判定する判定信号を出力する。このように、画像処理装置は、FAセンサの一つとして利用されることがある。
FAセンサとして用いられる画像処理装置が計測処理の対象とする画像は、主に、高さ情報を含まない輝度画像である。そのため、上述したワークの欠け検出についていえば、欠けた部分の二次元形状を安定的に検出することは得意であるが、傷の凹み具合等、輝度画像としては現れ難い三次元形状を安定的に検出することは困難である。例えば、検査時にワークを照らす照明の種類や照明方向を工夫して、傷の凹みに起因する陰影を検出して、間接的に三次元形状を検出することも考えられるが、輝度画像の中で常に明瞭な陰影が検出されるとは限らない。不明瞭な陰影が検出されたときに不良品を良品と誤って判定する誤判定を防ぐために、例えば判定閾値を安全側に偏らせると、良品を大量に不良品として判定し、歩留まりの悪化を招く虞がある。
そこで、カメラの受光光量に応じた濃淡値を画素値とする濃淡画像だけでなく、カメラとワークまでの距離に応じた濃淡値を画素値とすることで、高さを二次元的に表現した距離画像(例えば特許文献1参照)を用いた外観検査が考えられる。
三次元画像処理装置の一例を、図19の模式図に示す。この三次元画像処理装置190は、受光素子等の撮像手段を備えたヘッド部191と、ヘッド部191と接続され、ヘッド部191で撮像した画像データを送られて、取得した画像データから距離画像を生成するコントローラ部192で構成される。
ここで三角測距の原理を、図19に基づいて説明する。ヘッド部191は、投光部110から出射される入射光の光軸と、受光部120に入射する反射光の光軸(受光部120の光軸)との間の角度αが予め設定されている。ここでステージ140上にワークWKが載置されない場合には、投光部110から出射される入射光は、ワークWKの載置面の点Oにより反射され、受光部120に入射される。一方、ステージ140上にワークWKが載置される場合、投光部110から出射される入射光は、ワークWKの表面の点Aにより反射され、反射光となって受光部120に入射される。そして点Oと点Aとの間のX方向における距離dを測定し、この距離dに基づいてワークWKの表面の点Aの高さhを算出する。
上述した三角測距の計測原理を応用して、ワークWKの表面のすべての点の高さを算出することにより、ワークWKの三次元的な形状が測定される。パターン投影法はワークWKの表面のすべての点に入射光を照射するために、投光部110からは所定の構造化パターンに従って入射光が出射され、ワーク表面で反射した反射光を受光し、受光した複数のパターン画像に基づいてワークWKの三次元形状を効率よく測定する。
このようなパターン投影法には、位相シフト法や空間コード化法、マルチスリット法等が知られている。パターン投影法を用いた三次元計測処理によって、投影パターンを変化させて複数回の撮像をヘッド部で繰り返し、コントローラ部に送出する。コントローラ部では、ヘッド部から送られるパターン投影画像に基づいて演算を行い、ワークの高さ情報を有する距離画像を得ることができる。
このような距離画像を生成して、三次元画像処理装置は画像処理などの高精度な検査処理を行うことができる。一方で三次元画像処理装置は、使用の結果、劣化による衝撃などの外力の影響や温度、湿度変化サイクルを経た変形などによって、寸法の狂いや変形などによって劣化を生じることが避けられない。このような劣化が生じると、三次元画像処理装置の測定精度が低下する原因となるが、従来はこのような経年劣化を検出することはできなかった。
本発明は、従来のこのような問題点を解決するためになされたものである。本発明の主な目的は、装置自体の状態変化を検出して、キャリブレーションの実行などを促すことが可能な三次元画像処理装置、三次元画像処理装置の状態変化判定方法、三次元画像処理装置の状態変化判定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器を提供することにある。
上記の目的を達成するために、本発明の第1の側面に係る三次元画像処理装置によれば、検査対象物の高さ情報を含む距離画像を取得すると共に、該距離画像に基づいて画像処理を行うことが可能な三次元画像処理装置であって、少なくとも検査対象物の画像を撮像する一以上の撮像手段、及び/又は検査対象物に対して光を投光するための一以上の投光手段を計3台以上備え、前記撮像手段及び投光手段が正常な状態において、各計測系で略同一の計測結果が得られるようにしてなる複数の計測系と、前記撮像手段で撮像された複数の画像に基づいて、各計測系の距離画像を複数生成可能な距離画像生成手段と、前記距離画像生成手段で生成された複数の距離画像を比較するための比較演算手段と、前記比較演算手段で演算された比較結果に基づいて、三次元画像処理装置の正常な状態からの状態変化の度合いを判定するための状態変化判定手段とを備えることができる。上記構成により、本来同一の計測結果が得られるはずの2方向からの計測結果に基づいて、三次元画像処理装置内部の構造変化を検出して、ユーザに報知することができる。
また、第2の側面に係る三次元画像処理装置によれば、前記状態変化判定手段は、状態変化の度合いが所定の閾値を超えた場合に、三次元画像処理装置のキャリブレーションの実行を促すよう構成できる。上記構成により、状態変化が進んだことを状態変化判定手段でユーザに報知し、較正を行うことで正確な測定を維持することができる。
さらに、第3の側面に係る三次元画像処理装置によれば、前記比較演算手段が、すべての計測系において計測できている点における差分の平均値に基づいて状態変化の度合いを演算できる。
さらにまた、第4の側面に係る三次元画像処理装置によれば、前記比較演算手段が、すべての計測系において計測できている点における差分の最大値に基づいて状態変化の度合いを演算することができる。
さらにまた、第5の側面に係る三次元画像処理装置によれば、前記比較演算手段が、すべての計測系において計測できている点における差分の標準偏差又は分散に基づいて状態変化の度合いを演算できる。
さらにまた、第6の側面に係る三次元画像処理装置によれば、前記比較演算手段が、すべての計測系において計測できている点における差分が基準値を超えている点の数に基づいて状態変化の度合いを演算することができる。
さらにまた、第7の側面に係る三次元画像処理装置によれば、さらに検査対象物を計測するための基準となる基準面を、三次元画像処理装置に設定するための基準面指定手段を備えており、前記状態変化判定手段が、三次元画像処理装置の状態変化の度合いを判定するタイミングは、前記基準面指定手段で基準面を設定する時点とできる。上記構成により、計測に先立つ基準面の設定の段階で自動的に状態変化を判定して、一定以上の状態変化が生じている場合は状態変化を告知することで、必要な較正作業等を行わせることができる。
さらにまた、第8の側面に係る三次元画像処理装置によれば、前記投光手段が、撮像手段の光軸に対して斜め方向から入射光を所定の投影パターンの構造化照明として投光可能であり、前記撮像手段が、前記投光手段で投光され、検査対象物で反射された反射光を取得して複数のパターン投影画像を撮像し、前記距離画像生成手段が、前記前記撮像手段で撮像された複数のパターン投影画像に基づいて、距離画像を生成可能に構成できる。
さらにまた、第9の側面に係る三次元画像処理装置によれば、前記距離画像を、ステレオ画像とすることができる。
さらにまた、第10の側面に係る三次元画像処理装置によれば、さらに前記距離画像生成手段で生成された距離画像を、該距離画像の階調数よりも低い階調数の、該距離画像が有する高さ情報を画像の濃淡値に置き換えた低階調距離画像に階調変換するための階調変換手段と、前記階調変換手段で階調変換された低階調距離画像を表示させるための表示手段と、前記表示手段上で表示された、検査対象物を表示する画像中で、検査対象となる検査対象領域を設定するための検査対象領域設定手段と、前記距離画像中の、前記検査対象領域設定手段で設定された検査対象領域に対して、所定の検査処理を実行するための検査実行手段とを備えることができる。
さらにまた、第11の側面に係る三次元画像処理装置によれば、前記状態変化判定手段が、各計測系で取得した、検査対象領域の四隅又は中央の高さ情報を対比して、三次元画像処理装置の状態変化の度合いを判定することができる。上記構成により、状態変化判定に際してすべての画素に対して演算を行うのでなく、所定の位置のみを比較することで状態変化判定を実行することで、処理の簡素化、高速化を測ることができる。
さらにまた、第12の側面に係る三次元画像処理装置によれば、1台の撮像手段を中心として、2台の投光手段を、該撮像手段の左右にそれぞれ配置することができる。
さらにまた、第13の側面に係る三次元画像処理装置によれば、三次元画像処理装置のキャリブレーションが、形状及び寸法が既知の検査対象物を撮像し、該検査対象物の測定値を既知の値と比較するよう構成できる。上記構成により、既知の検査対象物と測定値とを比較して、測定値が既知の値となるように較正でき、容易に較正を行える利点が得られる。
さらにまた、第14の側面に係る三次元画像処理装置によれば、少なくとも検査対象物の画像を撮像する一以上の撮像手段、及び/又は検査対象物に対して投光するための一以上の投光手段を、計3台以上備え、検査対象物の高さ情報を含む距離画像を取得すると共に、該距離画像に基づいて画像処理を行うことが可能な三次元画像処理装置の状態変化を判定する方法であって、前記一以上の撮像手段で、同じ部位の画像を異なる方向から撮像し、前記撮像手段で撮像された複数の画像に基づいて、距離画像生成手段で距離画像をそれぞれ生成する工程と、前記生成された複数の距離画像を比較して、状態変化を判定する工程とを含むことができる。これにより、本来同一の計測結果が得られるはずの2方向からの計測結果に基づいて、三次元画像処理装置内部の構造変化を検出して、ユーザに報知することができる。
さらにまた、第15の側面に係る三次元画像処理装置によれば、少なくとも検査対象物の画像を撮像する一以上の撮像手段、及び/又は検査対象物に対して投光するための一以上の投光手段を、計3台以上備え、検査対象物の高さ情報を含む距離画像を取得すると共に、該距離画像に基づいて画像処理を行うことが可能な三次元画像処理装置の状態変化を判定するプログラムであって、コンピュータに前記一以上の撮像手段で、同じ部位の画像を異なる方向から撮像し、前記撮像手段で撮像された複数の画像に基づいて、距離画像生成手段で距離画像をそれぞれ生成する機能と、前記生成された複数の距離画像を比較する比較演算機能と、前記比較演算機能での比較結果に基づいて、三次元画像処理装置の状態変化の度合いを判定する状態変化判定機能とを実現させることができる。上記構成により、本来同一の計測結果が得られるはずの2方向からの計測結果に基づいて、三次元画像処理装置内部の構造変化を検出して、ユーザに報知することができる。
さらにまた、第16の側面に係るコンピュータで読み取り可能な記録媒体又は記憶した機器は、上記三次元画像処理プログラムを格納するものである。記録媒体には、CD−ROM、CD−R、CD−RWやフレキシブルディスク、磁気テープ、MO、DVD−ROM、DVD−RAM、DVD−R、DVD+R、DVD−RW、DVD+RW、Blu−ray(登録商標)、HD DVD(AOD)等の磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。またプログラムには、上記記録媒体に格納されて配布されるものの他、インターネット等のネットワーク回線を通じてダウンロードによって配布される形態のものも含まれる。さらに記憶した機器には、上記プログラムがソフトウェアやファームウェア等の形態で実行可能な状態に実装された汎用もしくは専用機器を含む。さらにまたプログラムに含まれる各処理や機能は、コンピュータで実行可能なプログラムソフトウエアにより実行してもよいし、各部の処理を所定のゲートアレイ(FPGA、ASIC)等のハードウエア、又はプログラムソフトウエアとハードウェアの一部の要素を実現する部分的ハードウエアモジュールとが混在する形式で実現してもよい。
以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための三次元画像処理装置、三次元画像処理装置の状態変化判定方法、三次元画像処理装置の状態変化判定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器を例示するものであって、本発明は三次元画像処理装置、三次元画像処理装置の状態変化判定方法、三次元画像処理装置の状態変化判定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器を以下のものに特定しない。また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。
また本明細書において「距離画像(高さ画像)」という場合には、高さ情報を含む画像の意味で使用し、例えば距離画像に光学的な輝度画像をテクスチャ情報として貼り付けた三次元の合成画像も、距離画像に含む意味で使用する。また、本明細書において距離画像の表示形態は二次元状に表示されるものに限られず、三次元状に表示されるものも含む。
(実施の形態1)
(実施の形態1)
本発明の実施の形態1に係る三次元画像処理装置の構成を図1に示す。この三次元画像処理装置100は、ヘッド部1と、コントローラ部2とを備える。ヘッド部1は、検査対象物(ワーク)WKを照らす2つの投光手段20と、ワークWKの画像を撮像する撮像手段10と、コントローラ部2と接続するためのヘッド側通信手段36を備える。なお投光手段20と撮像手段10の組で、計測系を構成する。ここでは、一の撮像手段10を共通として、左右の投光手段でそれぞれ計測系を構成し、計2つの計測系を備えている。
一方コントローラ部2は、撮像された画像に基づいて、エッジ検出や面積計算等の計測処理を実行する。またコントローラ部2には、液晶パネル等の表示手段4、ユーザが表示手段4上で各種操作するためのコンソール等の入力手段3、PLC(Programmable Logic Controller)等を着脱自在に接続できる。
以上の三次元画像処理装置100は、ヘッド部1の投光手段20でワークWKに測定光を投光し、測定光がワークWKに入射されて反射された反射光を、撮像手段10でパターン投影画像として撮像する。またパターン投影画像に基づいて距離画像を生成し、さらにこの距離画像を、各画素が有する高さ情報を輝度に置き換えた低階調距離画像に変換する。コントローラ部2は、変換された低階調距離画像に基づいて、エッジ検出や面積計算等の計測処理を実行する。
なお検査対象物であるワークWKは、例えばライン上を順次搬送される物品であり、移動又は静止している。また移動するワークは、コンベア等による平行移動の他、回転するものも含まれる。
(投光手段20)
(投光手段20)
投光手段20は、距離画像を生成するためにワークWKを照らす照明として用いられる。したがって投光手段20は、距離画像を取得するための光切断法やパターン投影法に応じて、例えばワークに対してライン状のレーザ光を投光する光投影器、ワークに正弦波縞模様パターンを投影するためのパターン投影器等とすることができる。また投光手段以外に、明視野照明や暗視野照明を行うための一般的な照明装置を別途設けてもよい。あるいは投光手段20に、一般的な照明装置としての機能を持たせることも可能である。
コントローラ部2は、ヘッド部1から取得した距離画像データを用いて画像処理を実行し、外部接続されたPLC70等の制御機器に対し、ワークの良否等の判定結果を示す信号として判定信号を出力する。
撮像手段10は、PLC70から入力される制御信号、例えば撮像手段10から画像データを取り込むタイミングを規定する撮像トリガ信号に基づいて、ワークの撮像を行う。
表示手段4は、ワークを撮像して得られた画像データや、その画像データを用いた計測処理の結果を表示するための表示装置である。一般に、ユーザは、表示手段4を視認することによって、コントローラ部2の動作状態を確認することができる。入力手段3は、表示手段4上でフォーカス位置を移動させたり、メニュー項目を選択したりするための入力装置である。なお、表示手段4にタッチパネルを使用する場合は、表示手段と入力手段を兼用できる。
またコントローラ部2は、コントローラ部2の制御プログラムを生成するためのパーソナルコンピュータPCを接続することもできる。またパーソナルコンピュータPCには、三次元画像処理に関する設定を行う三次元画像処理プログラムをインストールして、コントローラ部2で行う処理の各種設定を行うこともできる。あるいは、このパーソナルコンピュータPC上で動作するソフトウェアによって、画像処理の処理順序を規定する処理順序プログラムを生成することができる。コントローラ部2では、その処理順序に沿って各画像処理が順次実行される。パーソナルコンピュータPCとコントローラ部2とは、通信ネットワークを介して接続されており、パーソナルコンピュータPC上で生成された処理順序プログラムは、例えば表示手段4の表示態様を規定するレイアウト情報等と共に、コントローラ部2に転送される。また逆に、コントローラ部2から処理順序プログラムやレイアウト情報等を取り込んで、パーソナルコンピュータPC上で編集することもできる。なお、この処理順序プログラムは、パーソナルコンピュータPCだけでなく、コントローラ部2においても生成できるようにしてもよい。
(変形例)
(変形例)
なお、以上の例ではコントローラ部2として専用のハードウェアを構築しているが、本発明はこの構成に限定されるものでない。例えば図2に示す変形例に係る三次元画像処理装置100’のように、汎用のパーソナルコンピュータやワークステーション等に専用の検査プログラムや三次元画像処理プログラムをインストールしたものをコントローラ部2’として機能させ、ヘッド部1に接続して利用することもできる。この三次元画像処理装置は、三次元画像処理プログラムで画像処理等、必要な設定を行った上で、ヘッド部1で撮像されたパターン投影画像に従って低階調距離画像を画像処理して、必要な検査を行う。
(ヘッド側通信手段36)
(ヘッド側通信手段36)
また、これに応じてヘッド部1側に、ヘッド側通信手段36として、専用のコントローラ部2や、コントローラ部2として機能するパーソナルコンピュータのいずれにも接続できるようなインターフェースを設けることもできる。例えばヘッド部1に、ヘッド側通信手段36として、図1に示すようにコントローラ部2と接続するためのコントローラ接続用インターフェース36Aを設けたり、あるいは図2に示すように、パーソナルコンピュータと接続するためのPC接続用インターフェース36Bを設ける。またこのようなインターフェースをユニット式に交換可能とすることで、ヘッド部の他の構成をある程度共通化して、共通のヘッド部でコントローラ部やパーソナルコンピュータのいずれにも接続可能とできる。あるいは、専用のコントローラ部2と、パーソナルコンピュータのいずれにも接続可能なインターフェースを備えた一のヘッド側通信手段を設けてもよい。またこのようなインターフェースは、既存の通信規格、例えばイーサーネット(商品名)やUSB、RS−232C等が利用できる。また、必ずしも規格化された、あるいは汎用の通信方式によらず、専用の通信方式としてもよい。
(PC接続モード)
(PC接続モード)
さらに三次元画像処理プログラムに、ヘッド部1に接続するコントローラ部2’としてパーソナルコンピュータを使用する場合の設定を行うPC接続モードを備えることもできる。すなわちコントローラ部が専用ハードウェアであるか、パーソナルコンピュータであるかに応じて、設定可能な項目や設定内容を変化させることで、いずれの場合にも三次元画像処理に関する設定を適切に行うことが可能となる。さらに、コントローラ部2’として機能するパーソナルコンピュータに、ヘッド部1の動作確認用途、及び簡易的な計測機能を持たせたビューワプログラムをインストールして、接続されたヘッド部の動作や機能を確認できるようにしてもよい。
なお図1に示す撮像手段10と投光手段20を利用することで得られる「距離画像」とは、ワークWKを撮像する撮像手段10から、ワークWKまでの距離に応じて各画素の濃淡値が変化する画像をいう。換言すれば、撮像手段10からワークWKまでの距離に基づいて濃淡値が決定される画像ともいえるし、ワークWKまでの距離に応じた濃淡値を有する多値画像ともいえるし、或いはワークWKの高さに応じた濃淡値を有する多値画像ともいえる。さらに、輝度画像の画素ごとに、撮像手段10からの距離を濃淡値に変換した多値画像ともいえる。
距離画像を生成する手法としては、大きく分けて2つの方式があり、一つは、通常の画像を得るための照明条件で撮像した画像を用いて距離画像を生成するパッシブ方式(受動計測方式)、もう一つは、高さ方向の計測をするための光を能動的に照射して距離画像を生成するアクティブ方式(能動計測方式)である。パッシブ方式の代表的な手法は、ステレオ計測法である。これは、撮像手段10を2台以上用意し、これら2台以上のカメラを所定の位置関係で配置するだけで距離画像を生成できることから、輝度画像を生成するための一般的な画像処理システムを利用して距離画像を生成でき、システム構築コストを抑制することができる。
一方で、アクティブ方式の代表的な手法は、光切断法とパターン投影法である。光切断法は、上述したステレオ計測法において、一方のカメラを光投影器等の投光手段に置き換えて、ワークに対してライン状のレーザ光を投光し、物体表面の形状に応じたライン光の像の歪み具合からワークの三次元形状を復元する。光切断法は、対応点の決定が不要であるので安定した計測が可能である。しかし、1回の計測で1ライン分しか計測できないため、全画素の計測値を得ようとすると、対象物又はカメラを走査しなければならない。これに対し、パターン投影法は、ワークに投影された所定パターンの形状や位相等をずらして複数枚の画像を撮像し、撮像した複数枚の画像を解析することでワークの三次元形状を復元するものである。パターン投影法には幾つか種類があり、正弦波縞模様パターンの位相をずらして複数枚(最低3枚以上)の画像を撮像し、複数枚の画像から画素ごとに正弦波の位相を求め、求めた位相を利用してワーク表面上の三次元座標を求める位相シフト法や、2つの規則的なパターンが合成されるときに生じる一種の空間周波数のうねり現象を利用して三次元形状を復元するモアレポトグラフィ法、ワークに投影するパターン自体を撮影毎に異ならせ、例えば白黒デューティ比50%で縞幅が画面半分、4分の1、8分の1、、、と細くなっていく縞パターンを順次投影し、それぞれのパターンにてパターン投影画像の撮影を行い、ワークの高さの絶対位相を求める空間コード化法、ワークに複数の細線状のパターン照明(マルチスリット)を投影し、スリット周期より狭いピッチでパターンを移動させ、複数回撮影を行うマルチスリット法等が代表的である。
本実施形態に係る三次元画像処理装置100では、上述した位相シフト法と空間コード化法を組み合わせて距離画像を生成する。これにより、ワーク又はヘッドを相対的に動かすことなく、距離画像を生成することができる。本発明は、位相シフト法及び空間コード化法によって距離画像を生成することに限られず、他の方法によって距離画像を生成しても構わない。また、上述した方法以外の方法、例えば光レーダ法(タイムオブフライト)、合焦点法、共焦点法、白色光干渉法等、距離画像を生成するために考え得る如何なる手法を採用しても構わない。
なお図1に示す撮像手段10と投光手段20の配置レイアウトは、ワークWKに対して斜め方向から投光し、ワークWKからの反射光をほぼ垂直な方向で受光できるよう、投光手段20を斜めに、撮像手段10を鉛直姿勢に保持するように配置している。このように投光方向と撮像方向とを一致させず、傾斜させることで、ワークWKの表面形状の凹凸に起因する陰影を捉えたパターン投影画像を撮像できる。
(実施の形態2)
(実施の形態2)
ただ本発明は、この配置例に限定されるものでなく、例えば図3に示す実施の形態2に係る三次元画像処理装置200のように、撮像手段10側をワークWKに対して傾斜姿勢に、投光手段20側を鉛直姿勢に保持する配置例としてもよい。このような配置のヘッド部1Bによっても、同様に投光方向と撮像方向とを傾斜させて、ワークWKの陰影を捉えたパターン投影画像を撮像できる。
(実施の形態3)
(実施の形態3)
さらに、投光手段や撮像手段の一方又は両方を複数配置することもできる。例えば、実施の形態3として図4Aに示す三次元画像処理装置300のように、撮像手段10をワークWKに対して鉛直姿勢に保持する一方、撮像手段10を中心に2つの投光手段20を両側に配置して、左右からそれぞれ投光するヘッド部1Cとして構成することもできる。このように投光の方向が異なるパターン投影画像をそれぞれ撮像することで、一方向からの投光ではワークWK自体で陰影パターンが隠れてしまう等、パターン投影画像を部分的に撮像できない状態が生じて高さ計測が不正確又は不可能となる事態を低減できる。特に、ワークに対して相対する方向(例えば左右や前後)から投光するように投光手段20を配置すれば、ワーク自体で遮られて撮像できない可能性を大幅に低減できる。
(実施の形態4)
(実施の形態4)
また、以上の例では撮像手段を一台、投光手段を二台とする構成について説明したが、逆に撮像手段を二台、投光手段を一台とする構成とすることもできる。このような例を実施の形態4に係る三次元画像処理装置400として図4Bに示す。この例に示すヘッド部1Dでは、投光手段20をワークWKに対して鉛直姿勢に保持し、図においてその左右に撮像手段10をそれぞれ、ワークWKに対して傾斜姿勢に配置させている。この構成でも、ワークWKを異なる傾斜角度から撮像できるので、実施の形態3と同様にパターン投影画像が部分的に撮像困難となる事態を抑制できる。またこの方法であれば、一回の投光で2枚のパターン投影画像を同時に撮像できるため、処理時間を短縮化できる利点も得られる。
その反面、2つの撮像手段で異なる角度から同じワークを撮像しても、撮像している部位や視野等が異なるため、各画素の位置を一致させる作業が必要となり、誤差も発生する可能性がある。これに対し、上述した実施の形態3によれば、撮像手段を共通化したことで、いずれの投光手段から測定光を投光しても、同一の視野の画像を撮像できるため、このような統合作業を不要とでき、また統合作業に伴う誤差の発生も回避して、処理を簡素化できる利点が得られる。
また、距離画像を生成する方法としては、パターン投影法等のアクティブ方式に限られず、ステレオ計測法等のパッシブ方式を利用することもできる。例えばステレオ計測法においては、撮像手段を3台以上用いることで、2つ以上の計測系を構築することができる。さらにステレオ計測法では、光を投影するプロジェクタ等の投光手段を省略できる。例えば、図4Cに示す実施例5に係る三次元画像処理装置500では、投光手段を省略して、撮像手段10A、10B、10Cを3台配置して、ステレオ画像を距離画像として生成するヘッド部1Eを接続している。
なお以上の例では、各ヘッド部において撮像手段10と投光手段20とを一体的に構成した例を説明したが、本発明はこの構成に限られない。例えば、撮像手段10と投光手段20とを別個の部材で構成したヘッド部とすること可能である。また上述の通り、撮像手段や投光手段を3以上設けることも可能である。
(ブロック図)
(ブロック図)
次に、本発明の実施の形態3に係る三次元画像処理装置300の構成を示すブロック図を図5に示す。三次元画像処理装置300は、図5に示すように、ヘッド部1と、コントローラ部2とを備える。
(ヘッド部1)
(ヘッド部1)
このヘッド部1は、投光手段20と、撮像手段10と、ヘッド側制御部30と、ヘッド側演算部31と、記憶手段38と、ヘッド側通信手段36等を備えている。投光手段20は、測定光源21、パターン生成部22及び複数のレンズ23、24、25を含む。撮像手段10は、図示しないがカメラ及び複数のレンズを含む。
(投光手段20)
(投光手段20)
投光手段20は、撮像手段の光軸に対して斜め方向から入射光を所定の投影パターンの構造化照明として投光するための部材である。この投光手段20には、プロジェクタが利用でき、光学部材であるレンズやパターン生成部22等が含まれる。投光手段20は、静止若しくは移動するワークの位置の斜め上方に配置される。なおヘッド部1は、複数の投光手段20を含むこともできる。図5の例においては、ヘッド部1は2つの投光手段20を含む。ここでは、第一の方向からワークに対して測定用照明光を照射可能な第一プロジェクタ20A(図5において右側)と、第一の方向とは異なる第二の方向からワークに対して測定用照明光を照射可能な第二プロジェクタ20B(図5において左側)を、それぞれ配置している。第一プロジェクタ20A、第二プロジェクタ20Bは撮像手段10の光軸を挟んで対称に配置される。第一プロジェクタ20A、第二プロジェクタ20Bからワークに対し、交互に測定光を投光して、それぞれの反射光のパターンを撮像手段10で撮像する。
各第一プロジェクタ20A、第二プロジェクタ20Bの測定光源21は、例えば白色光を出射するハロゲンランプや白色光を出射する白色LED(発光ダイオード)等が利用できる。測定光源21から出射された測定光は、レンズにより適切に集光された後、パターン生成部22に入射する。
さらに、距離画像を生成するためのパターン投影画像を取得する測定光を出射するための投光手段に加え、通常の光学画像(輝度画像)を撮像するための観察用照明光源を設けることもできる。観察用照明光源には、LEDの他、半導体レーザ(LD)やハロゲンライト、HID等を利用できる。特に撮像素子としてカラーで撮像可能な素子を用いた場合は、観察用照明光源に白色光源を利用できる。
測定光源21から出射された測定光は、レンズ113により適切に集光された後、パターン生成部112に入射する。パターン生成部22は、任意のパターンの照明を実現できる。例えば、白字に黒字、黒字に白字等、ワークや背景の色に応じてパターンを反転させ、見易い、あるいは測定し易い適切なパターンを表現できる。このようなパターン生成部22は、例えばDMD(デジタルマイクロミラーデバイス)が利用できる。DMDは、画素毎に微小なミラーをON/OFFさせて任意のパターンを表現できる。これにより、白と黒を反転させたパターンを容易に照射できる。パターン生成部22にDMDを用いることで、任意のパターンを容易に生成でき、機械的なパターンマスクの準備やその入れ替え作業を不要とできるので、装置の小型化と迅速な計測ができる利点がある。また、DMDを用いたパターン生成部112は、すべての画素をONとする全照明パターンの照射によって、通常の照明と同様に利用できるので、輝度画像の撮像にも利用できる。またパターン生成部22は、LCD(液晶ディスプレイ)、LCOS(Liquid Crystal on Silicon:反射型液晶素子)又はマスクとすることもできる。パターン生成部22に入射した測定光は、予め設定されたパターン及び予め設定された強度(明るさ)に変換されて出射される。パターン生成部22により出射された測定光は、複数のレンズにより撮像手段10の観察・測定可能な視野よりも大きい径を有する光に変換された後、ワークに照射される。
(撮像手段10)
(撮像手段10)
撮像手段10は、投光手段20で投光され、ワークWKで反射された反射光を取得して複数のパターン投影画像を撮像するためのカメラを備える。このようなカメラには、CCDやCMOS等が利用できる。この例では高解像度の得られるモノクロCCDカメラを利用している。なお、カラーで撮像可能なカメラを使用することも可能であることはいうまでも無い。また撮像手段は、パターン投影画像以外に、通常の輝度画像を撮像することも可能である。
ヘッド側制御部30は、撮像手段10及び投光手段20である第一プロジェクタ20A、第二プロジェクタ20Bを制御するための部材である。例えば、投光手段20がワークに対して測定光を投光してパターン投影画像を得るための投光パターンの作成を、ヘッド部側制御部30で行う。これによって撮像手段10で、投光手段20から位相シフト用の投影パターンを投影させて位相シフト画像を撮像させ、また投光手段20から空間コード化用の投影パターンを投影させて空間コード画像を撮像させる。このようにヘッド側制御部30は、撮像手段10で位相シフト画像と空間コード画像を撮像するよう、投光手段を制御するための投光制御手段として機能する。
ヘッド側演算部31は、フィルタ処理部34と距離画像生成手段32を含む。距離画像生成手段32は、撮像手段10で撮像された複数のパターン投影画像に基づいて、距離画像を生成する。
ヘッド側記憶手段38は、各種設定や画像等を保持するための部材であり、半導体メモリやハードディスク等の記憶素子が利用できる。例えば、撮像手段10で撮像されたパターン投影画像を保持するための輝度画像記憶部38b、及び距離画像生成手段32で生成された距離画像を保持するための距離画像記憶部38aを含む。
ヘッド側通信手段36は、コントローラ部2と通信を行うための部材である。ここではコントローラ部2のコントローラ側通信手段42と接続されて、データ通信を行う。例えば、距離画像生成手段32で生成された距離画像を、コントローラ部2に対して送出する。
(距離画像生成手段32)
(距離画像生成手段32)
距離画像生成手段32は、ワークWKを撮像する撮像手段10からワークWKまでの距離に応じて各画素の濃淡値が変化する距離画像を生成する手段である。例えば、位相シフト法で距離画像を生成する場合は、ワークに対して正弦波縞模様パターンを位相ずらして投影するように、ヘッド側制御部30が投光手段20を制御し、それに応じて正弦波縞模様パターンの位相がずれた画像を複数枚撮像するように、ヘッド側制御部30が撮像手段10を制御する。そしてヘッド側制御部30は、複数枚の画像から画素毎に正弦波の位相を求め、求めた位相を利用して距離画像を生成する。
また空間コード化法を用いて距離画像を生成する場合は、光が照射される空間を、多数の断面略扇状の小空間に分け、この小空間には一連の空間コード番号を付す。このため、ワークの高さが高くても、言い換えると高低差が大きくても、光が照射される空間内にあれば、空間コード番号から高さが演算できる。したがって、高さの高いワークについても全体にわたって形状を計測できる。
このようにしてヘッド部側で距離画像を生成し、コントローラ部側に送出することで、ヘッド部からコントローラ部側に送出すべきデータ量を低減でき、大量のデータ転送によって生じ得る処理の遅れを回避できる。
なお、本実施形態ではヘッド部1側で距離画像の生成処理を行うようにしているが、例えばコントローラ部2側で距離画像の生成処理を担うこともできる。また、距離画像から低階調距離画像への階調変換は、コントローラ部で行う他、ヘッド部側で行わせることもできる。この場合は、ヘッド側演算部31が階調変換手段の機能を実現する。
(コントローラ部2)
(コントローラ部2)
またコントローラ部2は、コントローラ側通信手段42と、コントローラ側制御部と、コントローラ側演算部と、コントローラ側記憶手段と、検査実行手段50と、コントローラ側設定手段41とを備えている。コントローラ側通信手段42は、ヘッド部1のヘッド側通信手段36と接続されてデータ通信を行う。コントローラ側制御部は、各部材の制御を行うための部材である。コントローラ側演算部は、画像処理部60の機能を実現する。画像処理部60は、画像サーチ手段64や階調変換手段46等の機能を実現する。
(階調変換手段)
(階調変換手段)
階調変換手段46は、距離画像に基づいて、高階調の距離画像を、低階調の低階調距離画像に階調変換する(詳細な手順については後述する)。これによって、ヘッド部で生成された高さ情報を有する距離画像を、既存の画像処理でも扱える低階調の濃淡画像として表現することで、計測処理や検査処理に資することができる。また、距離画像の生成処理と、階調変換処理とを、ヘッド部とコントローラ部とで分担して、負荷を分散できる利点も得られる。なお、ヘッド部側で距離画像の生成に加え、低階調距離画像の生成も行わせてもよい。このような処理はヘッド側演算部で行うことができる。これによって、コントローラ部側の負荷を一層軽減して、効率のよい運用が可能となる。
さらに階調変換手段は、距離画像のすべてを階調変換するのでなく、好ましくは、必要な部分のみを選択して、階調変換する。具体的には、予め検査対象領域設定手段(詳細は後述)で設定された検査対象領域と対応する部分のみを階調変換する。このようにすることで、多階調の距離画像を低階調の距離画像に変換する処理を、検査対象領域のみに限ることで階調変換に要する負荷を軽減できる。またこのことは処理時間の短縮化にも寄与する。すなわち、処理時間の短縮化を図ることで、FA用途の検査のような処理時間の限られた用途においても好適に利用でき、リアルタイム処理が実現される。
コントローラ側記憶手段は、各種設定や画像を保持するための部材であり、半導体記憶素子やハードディスク等が利用できる。
コントローラ側設定手段41は、コントローラ部に対する各種設定を行うための部材であり、コントローラ部に接続されたコンソール等の入力手段3を介してユーザからの操作を受け付け、必要な条件等をコントローラ側に指示する。例えば、階調変換条件設定手段43や基準面指定手段44、空間コード化切替手段45、間隔均等化処理設定手段47、投光切替手段48、シャッタースピード設定手段49等の機能を実現する。
基準面指定手段44は、計測に先立ち、ユーザの検査対象基準面(例えばワークの載置面)と、三次元画像処理装置の基準面(Z=0の平面)を一致させるための手段である。例えば、検査対象基準面がある方向に傾いていた場合、それに合わせて三次元画像処理装置のXYZ軸を調整し、基準面を一致させる必要がある。このように基準面指定手段44は、計測の基準となる基準面を設定する。
検査実行手段50は、階調変換手段46で階調変換された低階調距離画像に対して、所定の検査処理を実行する。
(ハードウェア構成)
(ハードウェア構成)
次にコントローラ部2のハードウェア構成例を、図6のブロック図に示す。この図に示すコントローラ部2は、各種プログラムに基づき数値計算や情報処理を行うと共に、ハードウェア各部の制御を行う主制御部51を有している。主制御部51は、例えば、中央演算処理装置としてのCPUと、主制御部51が各種プログラムを実行する際のワークエリアとして機能するRAM等のワークメモリと、起動プログラムや初期化プログラム等が格納されたROM,フラッシュROM,又はEEPROM等のプログラムメモリとを有している。
またコントローラ部2は、撮像手段10や投光手段20等を含むヘッド部1と接続して、ワークに対して正弦波縞模様パターンを、位相をずらして投影するよう投光手段20を制御し、撮像手段10での撮像により得られた画像データを取り込むためのコントローラ側接続部52と、入力手段3からの操作信号が入力される操作入力部53と、液晶パネル等の表示手段4に対して画像を表示させる表示用DSP等から構成される表示制御部54と、外部のPLC70やパーソナルコンピュータPC等と通信可能に接続される通信部55と、一時的なデータを保持するRAM56と、設定内容を保存するコントローラ側記憶手段57と、パーソナルコンピュータPCにインストールされた三次元画像処理プログラムで設定されたデータを保持するための補助記憶手段58と、エッジ検出や面積計算等の計測処理を実行する演算用DSP等から構成される画像処理部60と、画像処理部60での処理結果等に基づいて所定の検査を行った結果を出力するための出力部59等を備えている。これらの各ハードウェアは、バス等の電気的な通信路(配線)を介し、通信可能に接続されている。
主制御部51内のプログラムメモリには、コントローラ側接続部52、操作入力部53、表示制御部54、通信部55、及び画像処理部60の各部を、CPUのコマンド等により制御するための制御プログラムが格納されている。また、上述した処理順序プログラム、すなわちパーソナルコンピュータPCにおいて生成され、パーソナルコンピュータPCから転送された処理順序プログラムは、プログラムメモリに格納される。
通信部55は、外部のPLC70に接続されたセンサ(光電センサ等)でトリガ入力があったときに、PLC70から撮像トリガ信号を受信するインターフェース(I/F)として機能する。また、パーソナルコンピュータPCから転送されてくる三次元画像処理プログラムや表示手段4の表示態様を規定するレイアウト情報等を受信するインターフェース(I/F)としても機能する。
主制御部51のCPUは、通信部55を介してPLC70から撮像トリガ信号を受信すると、コントローラ側接続部52に対して撮像指令(コマンド)を送る。また、処理順序プログラムに基づいて、画像処理部60に対して、実行すべき画像処理を指示するコマンドを送信する。なお、撮像トリガ信号を生成する装置として、PLC70ではなく、光電センサ等のトリガ入力用のセンサを、通信部55に直接接続するように構成してもよい。
操作入力部53は、ユーザの操作に基づき入力手段3からの操作信号を受信するインターフェース(I/F)として機能する。表示手段4には、入力手段3を用いたユーザの操作内容が表示される。例えば入力手段3にコンソールを用いる場合は、表示手段4上に表示されるカーソルを上下左右に移動させる十字キー、決定ボタン、又はキャンセルボタン等の各部品を配置できる。これらの各部品を操作することによって、ユーザは表示手段4上で、画像処理の処理順序を規定するフローチャートを作成したり、各画像処理のパラメータ値を編集したり、基準領域の設定をしたり、基準登録画像を編集したりすることができる。
コントローラ側接続部52は、画像データの取り込みを行う。具体的には、例えばCPUから撮像手段10の撮像指令を受信すると、撮像手段10に対して画像データ取り込み信号を送信する。そして、撮像手段10で撮像が行われた後、撮像して得られた画像データを取り込む。取り込んだ画像データは、一旦バッファリング(キャッシュ)され、予め用意しておいた画像変数に代入される。なお、「画像変数」とは、数値を扱う通常の変数と異なり、対応する画像処理ユニットの入力画像として割り付けることで、計測処理や画像表示の参照先となる変数をいう。
画像処理部60は、画像データに対する計測処理を実行する。具体的には、まずコントローラ側接続部52が上述した画像変数を参照しつつ、フレームバッファから画像データを読み出して、画像処理部60内のメモリへ内部転送を行う。そして、画像処理部60は、そのメモリに記憶された画像データを読み出して、計測処理を実行する。また画像処理部60には、階調変換手段46、異常点ハイライト手段62、画像サーチ手段64等が含まれる。
表示制御部54は、CPUから送られてきた表示指令(表示コマンド)に基づいて、表示手段4に対して所定画像(映像)を表示させるための制御信号を送信する。例えば、計測処理前又は計測処理後の画像データを表示するために、表示手段4に対して制御信号を送信する。また、表示制御部54は、入力手段3を用いたユーザの操作内容を表示手段4に表示させるための制御信号も送信する。
以上のようなハードウェアで構成されたヘッド部1やコントローラ部2は、各種プログラム等によって、図5の各手段や機能をソフトウェア的に実現可能な構成としている。この例では、図1のコンピュータに、三次元画像処理プログラムをインストールして、三次元画像処理に必要な設定を行う態様を採用している。
(階調変換)
(階調変換)
以上の三次元画像処理装置は、ワークの距離画像を取得し、この距離画像に対して画像処理を行い、この結果に対して検査を行う。本実施の形態における三次元画像処理装置は、距離画像の画素値である高さ情報をそのまま用いて演算を行う高さ検査処理に加えて、既存のハードウェアを用いて面積やエッジ等の情報を用いた演算を行う画像検査処理の、2種類の検査を実施することができる。ここで、高さ検査処理の精度を維持するためには、多階調な距離画像を生成する必要がある。一方、既存のハードウェアではこのような多階調な距離画像に画像検査処理を実施することはできない。そのため、既存のハードウェアを用いて画像検査処理を行うために、多階調な距離画像に階調変換を施し、低階調距離画像を生成する。
しかしながら、多階調の距離画像の高さ情報を、そのまま低階調の距離画像に変換したのでは、高さ情報の精度が損なわれるという問題がある。FA用途等で利用される一般的な画像は、モノクロで各画素の濃淡値を8階調で表現した画像が多い。これに対して距離画像は、16階調画像のような高階調の画像が用いられている。このため、多階調の距離画像を低階調距離画像に階調変換する際に、高さ情報が相当量損なわれることとなり、検査の精度に影響を与える。かといって、精度を高めるために既存の画像処理で扱う画像の階調数を上げるには導入コストが高騰するとともに、処理負荷が高くなり、利用に対するハードルが高くなる。
そこで、このような階調変換に際して、必要な高さ情報が維持されるような階調変換の条件を設定することが必要となる。以下、その方法及び手順について詳述する。
(高さ検査又は画像検査)
(高さ検査又は画像検査)
まず、三次元画像処理装置を用いて高さ検査処理を行う処理動作を、図7のフローチャートに基づいて説明する。この三次元画像処理装置は、計算処理を行うためのツールとして、距離画像に対して高さ検査を行う高さ検査処理ツールと、既存の輝度画像に対して画像検査を行う各種の画像検査処理ツールとを備えている。ここでは、高さ検査処理について説明する。
最初に、距離画像を生成する(ステップS71)。具体的には、距離画像生成手段32が、撮像手段10と投光手段20とを用いて距離画像を生成する。次いで、所望の計算処理を選択する(ステップS72)。ここでは、計算処理に必要なツールを選択する。
画像検査処理ツールを選択する場合は、ステップS73に進み、上記ステップS71で得られた高階調の距離画像に対して、階調変換処理を行い、低階調の距離画像に変換する。これによって、既存の画像処理装置が備えている検査処理ツールでも、低階調距離画像を扱えるようになる。なお、階調変換処理は、高階調の距離画像の全域に対して行うのでなく、好ましくは画像検査処理のために設定された検査対象領域内でのみ行う。
一方、高さ検査ツールを選択する場合は、多階調距離画像が有する高さ情報をそのまま利用するため、階調変換を行うことなく、ステップS74に進む。
さらに、検査実行手段50が、各種計算処理を行い(ステップS74)、次いでこの計算結果に基づいて、ワークが良品であるか否かを判定する(ステップS75)。判定信号出力手段160は、検査実行手段50によってワークが良品であると判定された場合には(ステップS75:YES)、判定信号としてOK信号をPLC70に出力し(ステップS76)、検査実行手段50によってワークが良品でない、すなわち不良品であると判定された場合には(ステップS75:NO)、判定信号としてNG信号をPLC70に出力する(ステップS77)。
(状態変化判定機能)
(状態変化判定機能)
また三次元画像処理装置は、三次元画像処理装置の状態変化を検出する状態変化判定機能を備えている。具体的には図8のブロック図に示すように、ワークの画像を撮像する撮像手段と、ワークに対して投光するための2つの投光手段と、撮像手段で撮像された複数の画像に基づいて、距離画像を生成可能な距離画像生成手段と、撮像手段で撮像された複数の画像に対して、比較を検出する比較演算手段33と、比較演算手段33で演算された比較に基づいて、三次元画像処理装置の状態変化の度合いを判定する状態変化判定手段35とを備える。
各投光手段は、上述した図4Aと同様、ワークWKに対して斜め方向から投光し、ワークWKからの反射光をほぼ垂直な方向で撮像手段が受光できるよう、投光手段20を斜めに、撮像手段10を鉛直姿勢に保持するように配置している。図において右側の投光手段が計測系1を、左側の投光手段が計測系2を、それぞれ構成する。
状態変化判定手段35は、三次元画像処理装置で同一のワークや部位を異なる方向(計測系)で撮像して、本来同一の計測結果が得られるはずの計測結果を対比することで、三次元画像処理装置内部の構造変化を検出する状態変化判定機能を実現する。これによって三次元画像処理装置の経時劣化や、落下等の衝撃による内部寸法の狂い等に起因する測定誤差の発生を把握できる。
なお本明細書において「状態変化判定」とは、経年劣化や経時劣化の他、三次元画像処理装置を落下させたり、他の部材が衝突するといった衝撃その他の外力によって、装置内部の位置関係や寸法等に狂いが生じた場合も含む。
(状態変化告知機能)
(状態変化告知機能)
また状態変化判定手段35は、状態変化の度合いが所定の閾値を超えた場合に、状態変化が発生していることをユーザに告知する状態変化告知機能を備えることもできる。例えば図8の例において、表示手段4上に「劣化が発生します」等の警告メッセージを表示させたり、音声や警告音等を発したりすることで、ユーザの注意を喚起する。あるいは、ネットワーク回線を通じて、サービスマンにメール等でサービスコールの必要性を報知するなどの機能を備えてもよい。
(キャリブレーション促進機能)
(キャリブレーション促進機能)
さらにこのような状態変化判定手段35の告知機能として、三次元画像処理装置のキャリブレーションの実行を促すこともできる。状態変化判定手段35が三次元画像処理装置の状態変化、例えば劣化をユーザに報知することで、これを受けたユーザは必要な対策を講じることができる。例えば、測定誤差が所定値以上である場合に、ユーザに報知して、較正(キャリブレーション)を促したり、メンテナンスコールを行うなどして、正確な測定の維持が図られる。
(キャリブレーション)
(キャリブレーション)
キャリブレーションは、例えば寸法が既知のワーク(キャリブレーションプレート)に対して、各計測系で三次元情報を取得し、その計測結果を既知の値と対比する。そして、計測結果が既知の値となるような補正を行うことで、状態変化の影響を内部演算によって修正できる。
(差分データ)
(差分データ)
次に、2つの距離画像の比較結果、ここでは差分データに基づく状態変化判定の原理について、説明する。三角測距を基本原理とする三次元画像処理装置では、上述の通り複数の計測系の計測結果を合成したものを最終的な計測結果とする。これによって、ランダムノイズの低減や直線性の改善、影による計測不能領域の削減等が得られる。例えば、製造時における計測系1の計測結果を図9に、同じワークを計測した計測系2の計測結果を図10に、それぞれ示す。これら図9と図10を合成した結果、図11のような測定結果が得られる。
ここで、各計測系で得られる測定結果は、一致していることが前提となる。しかしながら、三次元画像処理装置の内部で経年劣化や、落下等の外部からの衝撃を受ける等により狂いが生じると、各計測系の測定結果が一致しなくなる。またこのような誤差は、温度、湿度変化サイクルによる変形等によって、経時的に大きくなる場合がある。例えば図9、図10のような製造時の計測結果の差分は、図12のようになる。このように誤差が小さいレベルであれば、測定精度への影響は少ない。一方、経時変化後の計測系1の計測結果が図13、同じく経時変化後の計測系2の計測結果が図14のような場合は、これらの差分は図15のようになって、測定の精度に与える影響が大きくなる。
そこで、差分の発生を逆手にとって、劣化の判定に利用することを考える。すなわち、各計測系の差分を演算し、得られた差分が所定の閾値を超えている場合に、劣化が生じていると判定する。この方法であれば、状態変化判定用の特別な部材を追加することなく、三次元画像処理装置が備える測定機能を利用して、演算のみで劣化を検出できる。ここでは、状態変化判定手段35でもって、それぞれの計測系で得られる測定結果間の差異に基づいて、計測器が経時変化等の何らかの異常を起こしていることを検知する。
(差分の演算例)
(差分の演算例)
差分の具体的な計算方法の例としては、例えばすべての計測系で計測可能な点における差分の平均値とする。いいかえると、いずれかの計測系で計測できない点については、差分を演算しない。図8の例では、計測系1と計測系2で、計測可能な点における差分の平均値を、比較演算手段33で演算している。
あるいは、すべての計測系で計測できている点における差分の最大値を、比較演算手段33で演算してもよい。あるいはまた、すべての計測系で計測できている点における差分の平均値や最大値の、標準偏差や分散でもって、所定の閾値と比較することもできる。
さらに、すべての計測系で計測できている点における差分が、基準値を超えている点の数を、所定の閾値(数)と比較することもできる。
(差分演算の流れ)
さらに、すべての計測系で計測できている点における差分が、基準値を超えている点の数を、所定の閾値(数)と比較することもできる。
(差分演算の流れ)
ここで、比較演算手段33が差分を演算する手順の一例を、図16のフローチャートに基づいて説明する。ここでは、計測系1におけるX,Y座標(xn,yn)における距離データ(高さ情報)をz1(xn,yn)、計測系2におけるX,Y座標(xn,yn)における距離データをz2(xn,yn)、距離画像の画素数(計測値数)をN、個々の差分データをdk、個々の差分データに基づいて算出される計測系間の差分データをdとする。まずステップS1601において、初期化を行う。ここでは、画素の位置を示す指標i,kについて、それぞれをリセット(i=0,k=0)する。次にステップS1602において、任意の点について、すべての計測系で計測できているか否かを判定する。ここでは、計測系1におけるz1(xi,yi)と、計測系2におけるz2(xi,yi)が、共に有効な計測値であるかどうかを判定する。有効な計測値である場合、すなわち計測系1、計測系2共、距離データを計測できている場合はステップS1604に進み、計測できていない場合はステップS1603に進む。ステップS1603においては、位置を変えた上で(ここではiをインクリメント(i=i+1)する。)、ステップS1602に戻って処理を繰り返す。一方、ステップS1604においては、該位置における距離データの差分を求める。ここでは、dk=|z1(xi,yi)−z2(xi,yi)|を演算し、さらに差分データの指標をインクリメントする(k=k+1)。そしてステップS1605に進み、距離画像のすべての画素に対して処理が終わったか否かを判定し(ここではi<Nか否かを判定)、終了した場合はステップS1606に進み、未だの場合はステップS1603において、位置を変えた上でステップS1602以降の処理を繰り返す。そしてすべての画素に対して処理を終えると、ステップS1606に進み、差分データdを決定する。差分データdの決定方法は、上述の通り、dkの平均値、dkの最大値、dkの分散等を選択できる。以上のようにして、差分データを比較演算手段33で演算することで、この差分データに基づいて状態変化判定手段35が状態変化判定、例えば劣化判定を行うことができる。
さらにこのような状態変化判定は、いずれか一の計算結果に対して、基準となる閾値を超えるかどうかで行っても良いし、それぞれの計算結果に対して各々の基準値を設け、それぞれの結果に基づいて最終的な判定を行っても良い。
ここで、計測可能な点は、画素単位とする他、複数の画素の纏まりでもって点とすることもできる。あるいはまた、すべての点でなく、所定の領域の内、特定の部位の点でもって判定することもできる。例えば、検査対象領域の四隅や、中央の点を用いることもできる。本実施の形態では、四隅と中央の5箇所で高さ情報を、左右の計測系1、2でそれぞれ計測し、比較演算手段33で演算した各差分値が、共通の閾値を超えるかどうかでもって状態変化判定手段35が状態変化の有無を判定している。この方法であれば、限られた点のみについて演算すれば足り、状態変化判定を低負荷で処理できる。
(状態変化判定の流れ)
(状態変化判定の流れ)
次に、状態変化判定機能で状態変化判定を行う手順の一例を、図17のフローチャートに基づいて説明する。まずステップS1701において、計測系1で距離画像を計測する。次にステップS1702において、距離画像を計測する。さらにステップS1703において、計測系1と計測系2でそれぞれ得られた計測値すなわち高さ情報の差分を、比較演算手段33で演算する。そしてステップS1704において、演算された差分の値と所定の閾値とを状態変化判定手段35で比較し、閾値を超える場合はステップS1705に進んで、状態変化の発生を告知して、ステップS1706に進む。一方、差分値が閾値を超えない場合は、ステップS1706に進んで、各計測系で得られた距離画像の合成を行う。このようにして、各計測系の距離画像の差分に基づき、効果的な状態変化判定を実行できる。
なお、状態変化が検出された場合は、距離画像の合成を一旦中止する構成としてもよい。例えば図18のフローチャートに示すように、ステップS1801〜ステップS1805までは図17と同様の手順として、ステップS1805において劣化と判定され所定の通知を行った後、処理を中止することで、劣化のある不正確なままで距離画像の合成を行う事態を回避できる。
(タイミング)
(タイミング)
また、状態変化判定手段35が状態変化判定を行うタイミングは、任意とできるが、測定前に行うことが望ましい。例えば高さ検査や画像検査の処理実行に先立ち、三次元画像処理装置に対して各種の設定を行う設定モードにおける所定のタイミングで、状態変化判定手段35が自動的に状態変化判定を実行する。このように、測定前の準備や設定の段階で自動的に状態変化判定を行うことにより、ユーザが劣化判定作業を意識することなく、予め劣化の発生の有無を確認した上で測定作業を行え、測定作業が無駄になる事態を回避できる。また、所定のタイミングで自動的に劣化判定を行うことで、ユーザは劣化の発生の有無を気にすることなく、三次元画像処理装置を利用できる。ただ、必要に応じてユーザが望むタイミングで劣化判定を実行するように構成することも可能であることはいうまでもない。
この例では、基準面指定手段で基準面を設定する際に、状態変化判定手段35が状態変化判定を行う。ここで基準面設定とは、計測に先立ち、ユーザの検査対象基準面(例えばワークの載置面)と、装置の基準面(Z=0の平面)を一致させる処理を行うものであり、例えば、検査対象基準面がある方向に傾いていた場合、それに合わせて装置のXYZ軸を調整し、基準面を一致させる処理を云う。これにより、計測に先立つ基準面の設定の段階で自動的に劣化を判定して、一定以上の劣化が生じている場合は劣化を告知することで、必要な較正作業等を行わせることができる。
基準面設定に際して行う状態変化判定動作は、例えばワークを載置するためのステージを、ワークを載置していない状態で測定する。この状態であれば、陰影がないので、同じ画像を撮像しやすい。これに対して、実際のワークを撮像する場合は、投光手段の投光や照明の方向によって、影が異なる結果、各計測系で同じ画像が撮像できないことがあり、同じ画像に対して差分を演算するという前提が得られないことがある。そこで、ワークの無い状態で距離画像を撮像することで、このような問題を回避して正確な差分を演算し、状態変化判定を行える。あるいは、ワーク内に存在する平面をユーザに領域指定してもらい、その領域内について差分を演算するという方法も考えられる。その場合、ユーザによる領域指定が必須となるが、任意のワークに対して実施することが可能となる。
以上のように、本実施の形態に係る三次元画像処理装置によれば、本来同一の計測結果が得られるはずの2方向からの計測結果に基づいて、三次元画像処理装置内部の構造変化を検出でき、さらに必要に応じてユーザに報知することもできる。
本発明の三次元画像処理装置、三次元画像処理装置の状態変化判定方法、三次元画像処理装置の状態変化判定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器は、三角測距の原理を利用した検査装置等に利用できる。
100、100’、200、300、400、500…三次元画像処理装置
1、1B、1C、1D、1E…ヘッド部
2、2’…コントローラ部
3…入力手段
4…表示手段
10、10A、10B、10C…撮像手段
20…投光手段;20A…第一プロジェクタ;20B…第二プロジェクタ
21…測定光源
22…パターン生成部
23、24、25…レンズ
30…ヘッド側制御部
31…ヘッド側演算部
32…距離画像生成手段
33…比較演算手段
34…フィルタ処理部
35…状態変化判定手段
36…ヘッド側通信手段;36A…コントローラ接続用インターフェース;36B…PC接続用インターフェース
38…記憶手段;38a…距離画像記憶部;38b…輝度画像記憶部
41…コントローラ側設定手段
42…コントローラ側通信手段
43…階調変換条件設定手段
44…基準面指定手段
45…空間コード化切替手段
46…階調変換手段
47…間隔均等化処理設定手段
48…投光切替手段
49…シャッタースピード設定手段
50…検査実行手段
51…主制御部
52…コントローラ側接続部
53…操作入力部
54…表示制御部
55…通信部
56…RAM
57…コントローラ側記憶手段
58…補助記憶手段
59…出力部
60…画像処理部
62…異常点ハイライト手段
64…画像サーチ手段
66…リアルタイム更新手段
70…PLC
110…投光部
120…受光部
140…ステージ
190…三次元画像処理装置
191…ヘッド部
192…コントローラ部
WK…ワーク
1、1B、1C、1D、1E…ヘッド部
2、2’…コントローラ部
3…入力手段
4…表示手段
10、10A、10B、10C…撮像手段
20…投光手段;20A…第一プロジェクタ;20B…第二プロジェクタ
21…測定光源
22…パターン生成部
23、24、25…レンズ
30…ヘッド側制御部
31…ヘッド側演算部
32…距離画像生成手段
33…比較演算手段
34…フィルタ処理部
35…状態変化判定手段
36…ヘッド側通信手段;36A…コントローラ接続用インターフェース;36B…PC接続用インターフェース
38…記憶手段;38a…距離画像記憶部;38b…輝度画像記憶部
41…コントローラ側設定手段
42…コントローラ側通信手段
43…階調変換条件設定手段
44…基準面指定手段
45…空間コード化切替手段
46…階調変換手段
47…間隔均等化処理設定手段
48…投光切替手段
49…シャッタースピード設定手段
50…検査実行手段
51…主制御部
52…コントローラ側接続部
53…操作入力部
54…表示制御部
55…通信部
56…RAM
57…コントローラ側記憶手段
58…補助記憶手段
59…出力部
60…画像処理部
62…異常点ハイライト手段
64…画像サーチ手段
66…リアルタイム更新手段
70…PLC
110…投光部
120…受光部
140…ステージ
190…三次元画像処理装置
191…ヘッド部
192…コントローラ部
WK…ワーク
Claims (16)
- 検査対象物の高さ情報を含む距離画像を取得すると共に、該距離画像に基づいて画像処理を行うことが可能な三次元画像処理装置であって、
少なくとも検査対象物の画像を撮像する一以上の撮像手段、及び/又は
検査対象物に対して光を投光するための一以上の投光手段
を計3台以上備え、前記撮像手段及び投光手段が正常な状態において、各計測系で略同一の計測結果が得られるようにしてなる複数の計測系と、
前記撮像手段で撮像された複数の画像に基づいて、各計測系の距離画像を複数生成可能な距離画像生成手段と、
前記距離画像生成手段で生成された複数の距離画像を比較するための比較演算手段と、
前記比較演算手段で演算された比較結果に基づいて、三次元画像処理装置の正常な状態からの状態変化の度合いを判定するための状態変化判定手段と
を備えることを特徴とする三次元画像処理装置。 - 請求項1に記載の三次元画像処理装置であって、
前記状態変化判定手段は、状態変化の度合いが所定の閾値を超えた場合に、三次元画像処理装置のキャリブレーションの実行を促すよう構成してなることを特徴とする三次元画像処理装置。 - 請求項1又は2に記載の三次元画像処理装置であって、
前記比較演算手段が、すべての計測系において計測できている点における差分の平均値に基づいて、状態変化の度合いを演算してなることを特徴とする三次元画像処理装置。 - 請求項1又は2に記載の三次元画像処理装置であって、
前記比較演算手段が、すべての計測系において計測できている点における差分の最大値に基づいて、状態変化の度合いを演算してなることを特徴とする三次元画像処理装置。 - 請求項1又は2に記載の三次元画像処理装置であって、
前記比較演算手段が、すべての計測系において計測できている点における差分の標準偏差又は分散に基づいて、状態変化の度合いを演算してなることを特徴とする三次元画像処理装置。 - 請求項1又は2に記載の三次元画像処理装置であって、
前記比較演算手段が、すべての計測系において計測できている点における差分が基準値を超えている点の数に基づいて、状態変化の度合いを演算してなることを特徴とする三次元画像処理装置。 - 請求項1〜6のいずれか一に記載の三次元画像処理装置であって、さらに
検査対象物を計測するための基準となる基準面を、三次元画像処理装置に設定するための基準面指定手段を備えており、
前記状態変化判定手段が、三次元画像処理装置の状態変化の度合いを判定するタイミングは、前記基準面指定手段で基準面を設定する時点であることを特徴とする三次元画像処理装置。 - 請求項1〜7のいずれか一に記載の三次元画像処理装置であって、
前記投光手段が、撮像手段の光軸に対して斜め方向から入射光を所定の投影パターンの構造化照明として投光可能であり、
前記撮像手段が、前記投光手段で投光され、検査対象物で反射された反射光を取得して複数のパターン投影画像を撮像し、
前記距離画像生成手段が、前記前記撮像手段で撮像された複数のパターン投影画像に基づいて、距離画像を生成可能に構成されてなることを特徴とする三次元画像処理装置。 - 請求項1〜7のいずれか一に記載の三次元画像処理装置であって、
前記距離画像が、ステレオ画像であることを特徴とする三次元画像処理装置。 - 請求項1〜9のいずれか一に記載の三次元画像処理装置であって、さらに、
前記距離画像生成手段で生成された距離画像を、該距離画像の階調数よりも低い階調数の、該距離画像が有する高さ情報を画像の濃淡値に置き換えた低階調距離画像に階調変換するための階調変換手段と、
前記階調変換手段で階調変換された低階調距離画像を表示させるための表示手段と、
前記表示手段上で表示された、検査対象物を表示する画像中で、検査対象となる検査対象領域を設定するための検査対象領域設定手段と、
前記距離画像中の、前記検査対象領域設定手段で設定された検査対象領域に対して、所定の検査処理を実行するための検査実行手段と
を備えることを特徴とする三次元画像処理装置。 - 請求項10に記載の三次元画像処理装置であって、
前記状態変化判定手段が、各計測系で取得した、検査対象領域の四隅又は中央の高さ情報を対比して、三次元画像処理装置の状態変化の度合いを判定することを特徴とする三次元画像処理装置。 - 請求項1〜11のいずれか一に記載の三次元画像処理装置であって、
1台の撮像手段を中心として、2台の投光手段を、該撮像手段の左右にそれぞれ配置してなることを特徴とする三次元画像処理装置。 - 請求項2に記載の三次元画像処理装置であって、
三次元画像処理装置のキャリブレーションが、形状及び寸法が既知の検査対象物を撮像し、該検査対象物の測定値を既知の値と比較することであることを特徴とする三次元画像処理装置。 - 少なくとも検査対象物の画像を撮像する一以上の撮像手段、及び/又は検査対象物に対して投光するための一以上の投光手段を、計3台以上備え、検査対象物の高さ情報を含む距離画像を取得すると共に、該距離画像に基づいて画像処理を行うことが可能な三次元画像処理装置の状態変化を判定する方法であって、
前記一以上の撮像手段で、同じ部位の画像を異なる方向から撮像し、前記撮像手段で撮像された複数の画像に基づいて、距離画像生成手段で距離画像をそれぞれ生成する工程と、
前記生成された複数の距離画像を比較して、状態変化を判定する工程と
を含むことを特徴とする三次元画像処理装置の状態変化判定方法。 - 少なくとも検査対象物の画像を撮像する一以上の撮像手段、及び/又は検査対象物に対して投光するための一以上の投光手段を、計3台以上備え、検査対象物の高さ情報を含む距離画像を取得すると共に、該距離画像に基づいて画像処理を行うことが可能な三次元画像処理装置の状態変化を判定するプログラムであって、コンピュータに
前記一以上の撮像手段で、同じ部位の画像を異なる方向から撮像し、前記撮像手段で撮像された複数の画像に基づいて、距離画像生成手段で距離画像をそれぞれ生成する機能と、
前記生成された複数の距離画像を比較する比較演算機能と、
前記比較演算機能での比較結果に基づいて、三次元画像処理装置の状態変化の度合いを判定する状態変化判定機能と
を実現させることを特徴とする三次元画像処理装置の状態変化判定プログラム。 - 請求項15に記載の三次元画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体又は記録した機器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013177233A JP2015045587A (ja) | 2013-08-28 | 2013-08-28 | 三次元画像処理装置、三次元画像処理装置の状態変化判定方法、三次元画像処理装置の状態変化判定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013177233A JP2015045587A (ja) | 2013-08-28 | 2013-08-28 | 三次元画像処理装置、三次元画像処理装置の状態変化判定方法、三次元画像処理装置の状態変化判定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015045587A true JP2015045587A (ja) | 2015-03-12 |
Family
ID=52671196
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013177233A Pending JP2015045587A (ja) | 2013-08-28 | 2013-08-28 | 三次元画像処理装置、三次元画像処理装置の状態変化判定方法、三次元画像処理装置の状態変化判定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015045587A (ja) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017191023A (ja) * | 2016-04-14 | 2017-10-19 | 日鉄住金テックスエンジ株式会社 | 高炉内装入物のプロフィル測定装置 |
KR20170135914A (ko) * | 2015-09-10 | 2017-12-08 | 테년 3디 (톈진) 테크놀로지 코.,엘티디 | 멀티 라인 레이저 어레이 3차원 스캐닝 시스템 및 멀티 라인 레이저 어레이 3차원 스캐닝 방법 |
CN108627512A (zh) * | 2017-03-24 | 2018-10-09 | 德律科技股份有限公司 | 三维检测装置以及用于三维检测的方法 |
CN110186802A (zh) * | 2018-02-21 | 2019-08-30 | 世联株式会社 | 测定装置 |
JP2019168285A (ja) * | 2018-03-22 | 2019-10-03 | 株式会社キーエンス | 画像処理装置 |
JP2019168286A (ja) * | 2018-03-22 | 2019-10-03 | 株式会社キーエンス | 画像処理装置 |
JP2020128929A (ja) * | 2019-02-08 | 2020-08-27 | 株式会社キーエンス | 検査装置 |
JP2020128928A (ja) * | 2019-02-08 | 2020-08-27 | 株式会社キーエンス | 検査装置 |
JP2020197459A (ja) * | 2019-06-03 | 2020-12-10 | 三菱電機株式会社 | トンネル変位計測装置、トンネル変位計測プログラム、およびトンネル変位計測方法 |
CN112424566A (zh) * | 2018-07-18 | 2021-02-26 | 三美电机株式会社 | 测距摄像机 |
CN112639395A (zh) * | 2018-09-27 | 2021-04-09 | 雅马哈发动机株式会社 | 三维测定装置 |
US11017543B2 (en) | 2019-02-08 | 2021-05-25 | Keyence Corporation | Inspection device |
JPWO2021177236A1 (ja) * | 2020-03-05 | 2021-09-10 | ||
KR20210144227A (ko) * | 2020-05-22 | 2021-11-30 | 김인택 | 앰플 비전 검사기 |
CN114128245A (zh) * | 2019-07-12 | 2022-03-01 | 株式会社小糸制作所 | 成像装置及其照明装置、车辆、车辆用灯具 |
-
2013
- 2013-08-28 JP JP2013177233A patent/JP2015045587A/ja active Pending
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170135914A (ko) * | 2015-09-10 | 2017-12-08 | 테년 3디 (톈진) 테크놀로지 코.,엘티디 | 멀티 라인 레이저 어레이 3차원 스캐닝 시스템 및 멀티 라인 레이저 어레이 3차원 스캐닝 방법 |
KR102015606B1 (ko) | 2015-09-10 | 2019-08-28 | 테년 3디 (톈진) 테크놀로지 코.,엘티디 | 멀티 라인 레이저 어레이 3차원 스캐닝 시스템 및 멀티 라인 레이저 어레이 3차원 스캐닝 방법 |
JP2017191023A (ja) * | 2016-04-14 | 2017-10-19 | 日鉄住金テックスエンジ株式会社 | 高炉内装入物のプロフィル測定装置 |
CN108627512A (zh) * | 2017-03-24 | 2018-10-09 | 德律科技股份有限公司 | 三维检测装置以及用于三维检测的方法 |
JP2018163136A (ja) * | 2017-03-24 | 2018-10-18 | テスト リサーチ, インク. | 三次元検出装置及び三次元検出方法 |
CN108627512B (zh) * | 2017-03-24 | 2021-09-24 | 德律科技股份有限公司 | 三维检测装置以及用于三维检测的方法 |
US10841561B2 (en) | 2017-03-24 | 2020-11-17 | Test Research, Inc. | Apparatus and method for three-dimensional inspection |
CN110186802B (zh) * | 2018-02-21 | 2022-07-19 | 世联株式会社 | 测定装置 |
CN110186802A (zh) * | 2018-02-21 | 2019-08-30 | 世联株式会社 | 测定装置 |
JP7090447B2 (ja) | 2018-03-22 | 2022-06-24 | 株式会社キーエンス | 画像処理装置 |
JP2019168286A (ja) * | 2018-03-22 | 2019-10-03 | 株式会社キーエンス | 画像処理装置 |
JP2019168285A (ja) * | 2018-03-22 | 2019-10-03 | 株式会社キーエンス | 画像処理装置 |
JP7090446B2 (ja) | 2018-03-22 | 2022-06-24 | 株式会社キーエンス | 画像処理装置 |
CN112424566A (zh) * | 2018-07-18 | 2021-02-26 | 三美电机株式会社 | 测距摄像机 |
CN112639395A (zh) * | 2018-09-27 | 2021-04-09 | 雅马哈发动机株式会社 | 三维测定装置 |
US11982522B2 (en) | 2018-09-27 | 2024-05-14 | Yamaha Hatsudoki Kabushiki Kaisha | Three-dimensional measuring device |
US11017543B2 (en) | 2019-02-08 | 2021-05-25 | Keyence Corporation | Inspection device |
US11170518B2 (en) | 2019-02-08 | 2021-11-09 | Keyence Corporation | Inspection device for generating height data of a measurement target |
JP2020128928A (ja) * | 2019-02-08 | 2020-08-27 | 株式会社キーエンス | 検査装置 |
JP2020128929A (ja) * | 2019-02-08 | 2020-08-27 | 株式会社キーエンス | 検査装置 |
JP2020197459A (ja) * | 2019-06-03 | 2020-12-10 | 三菱電機株式会社 | トンネル変位計測装置、トンネル変位計測プログラム、およびトンネル変位計測方法 |
JP7253982B2 (ja) | 2019-06-03 | 2023-04-07 | 三菱電機株式会社 | トンネル変位計測装置およびトンネル変位計測方法 |
CN114128245A (zh) * | 2019-07-12 | 2022-03-01 | 株式会社小糸制作所 | 成像装置及其照明装置、车辆、车辆用灯具 |
WO2021177236A1 (ja) * | 2020-03-05 | 2021-09-10 | ファナック株式会社 | 3次元測定装置、及び3次元測定方法 |
JPWO2021177236A1 (ja) * | 2020-03-05 | 2021-09-10 | ||
JP7401648B2 (ja) | 2020-03-05 | 2023-12-19 | ファナック株式会社 | 3次元測定装置、及び3次元測定方法 |
KR20210144227A (ko) * | 2020-05-22 | 2021-11-30 | 김인택 | 앰플 비전 검사기 |
KR102377118B1 (ko) | 2020-05-22 | 2022-03-21 | 김인택 | 앰플 비전 검사기 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2015045587A (ja) | 三次元画像処理装置、三次元画像処理装置の状態変化判定方法、三次元画像処理装置の状態変化判定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 | |
JP6184289B2 (ja) | 三次元画像処理装置、三次元画像処理方法、三次元画像処理プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 | |
JP6913705B2 (ja) | 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体及び記録した機器 | |
US9536295B2 (en) | Three-dimensional image processing apparatus, three-dimensional image processing method, three-dimensional image processing program, computer-readable recording medium, and recording device | |
JP6242098B2 (ja) | 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体及び記録した機器 | |
US10796428B2 (en) | Inspection system and inspection method | |
JP6532325B2 (ja) | 被計測物の形状を計測する計測装置 | |
JP6462823B2 (ja) | 画像検査装置 | |
JP6230434B2 (ja) | 画像検査装置、画像検査方法及び画像検査プログラム並びにコンピュータで読み取り可能な記録媒体 | |
US9131219B2 (en) | Method and apparatus for triangulation-based 3D optical profilometry | |
US11493331B2 (en) | Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, three-dimensional shape measuring computer-readable storage medium, and three-dimensional shape measuring computer-readable storage device | |
WO2012057284A1 (ja) | 三次元形状測定装置、三次元形状測定方法、構造物の製造方法および構造物製造システム | |
JP6246513B2 (ja) | 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体及び記録した機器 | |
JP2009180689A (ja) | 三次元形状測定装置 | |
JP2015021763A (ja) | 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体 | |
JP2015108582A (ja) | 3次元計測方法と装置 | |
JP2015145796A (ja) | 画像検査装置、画像検査方法及び画像検査プログラム並びにコンピュータで読み取り可能な記録媒体 | |
JPH09175457A (ja) | 歪検査方法及び歪検査装置 | |
JPWO2020039575A1 (ja) | 三次元計測装置、三次元計測方法 | |
KR20170124509A (ko) | 검사 시스템 및 검사 방법 | |
JP2015021762A (ja) | 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体 | |
JP6266244B2 (ja) | 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体及び記録した機器 | |
JP6266243B2 (ja) | 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体及び記録した機器 | |
JP6207270B2 (ja) | 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体及び記録した機器 | |
JP2009069063A (ja) | 計測方法、形状計測方法、計測装置及び形状計測装置 |