JP7327984B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP7327984B2 JP7327984B2 JP2019084070A JP2019084070A JP7327984B2 JP 7327984 B2 JP7327984 B2 JP 7327984B2 JP 2019084070 A JP2019084070 A JP 2019084070A JP 2019084070 A JP2019084070 A JP 2019084070A JP 7327984 B2 JP7327984 B2 JP 7327984B2
- Authority
- JP
- Japan
- Prior art keywords
- specific state
- conditions
- surface reflection
- reflection characteristics
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
図1(A)は本実施形態の情報処理装置の機能ブロック図である。図1(A)に示すように、本実施形態の情報処理装置は、特性計測装置101、モデル取得部102、条件取得部103、条件探索部104、条件提示部105を有して構成されている。
図1(B)に示すように、本実施形態の情報処理装置は、CPU122、RAM123、ROM124、通信I/F(インタフェース)121、記録I/F125、表示I/F126、入力I/F127等を有しており、パーソナルコンピュータ等であるとする。また、情報処理装置は、記録I/F125を介してハードディスクや半導体メモリ等の記録媒体131と接続され、表示I/F126を介して液晶ディスプレイ等の表示装置132に接続されている。また情報処理装置は、入力I/F127を介してキーボードやマウス、タッチパネル等の入力装置133に接続されている。さらに、情報処理装置は、通信I/F121を介して、例えば測定装置111や各種のNW(ネットワーク)112にも接続可能となされている。本実施形態の場合、測定装置111は、例えば画像を撮像する撮像装置、前述した特性計測装置101もしくは特性・モデル計測装置106などを挙げることができる。また、NW112により接続される装置としては、データベース等を挙げることができる。なお、データベースは記録I/F125を介して接続されていてもよい。
ここでは、正常品と異常品の検査対象に係るサンプルがいくつか予め用意されており、さらに異常品における異常領域の位置・範囲等をユーザが知っているものとする。また、本実施形態では説明を簡単にするために、サンプルは単純平面で構成された直方体形状であるとし、そのサンプルの検査対象となる表面の全領域が同一材質でできているとして説明する。
まず計測対象領域を点とみなし、その点を中心に任意のサイズの半球状のドームを仮定する。この場合、全ドーム上の任意の点について、その点の持つ面法線方向の直線が全て計測対象点を通過する直線となるため、計測対象点への入射光及び反射光の方向をこのドーム状の球座標によって一意に定義することができる。よってここでは、各々をθとφの2変数で表す。そして、入射光と反射光の各々球座標パラメータは添字のiとoで区別して表す。
また式(1)の2項目の角度θ及びφについては、鏡面反射成分であるため1項目の拡散反射とは異なり反射方向の角度によって大きく放射輝度が変わる。よってここでは、入射光の方向に依存して決定される鏡面反射方向は角度θS及びφSで表している。
以上のようにして、特性計測装置101は、ステップS201で検査対象の表面の表面反射特性を取得する。
図3のフローチャートの説明では、ユーザが求めたい照明及び撮影条件数がN個であるとする。基本的には異なる位置であっても照明撮影パラメータ空間内での挙動が類似していれば、取得された画像上では同様に識別器により識別することができる。このため、図3の場合、条件探索部104は、照明撮影パラメータ空間内でのコントラストスコアの挙動が類似する物同士が同じクラスになるように、N個にクラスタリングすることで、クラスごとに最適な照明撮影パラメータを求める。このようなクラス化には様々な手法が有るが、ここでは照明撮影パラメータ空間内で各点ではコントラストスコアが一意に求まるため、以下で説明するようなクラスタリングが実施されるとする。
図5(A)は、検査対象物の簡単なイメージを示した図である。図5(A)には、検査対象物の表面からサンプリングした3領域(サンプリング点A,B,Cとする。)の位置関係を示している。図5(B)は、サンプリング点A,B,Cに対して、ある一組の正常と異常の表面反射特性を適用させて算出した場合のコントラストスコアによって照明撮影パラメータを変動させたことでスコアが変異している様子を表した事例を示した図である。図5(B)の場合、通常、照明撮影パラメータが多次元であるため高次空間となるが、ここでは紙面に簡易に表現する都合上、横軸を照明条件及び撮影条件のパラメータ、縦軸をコントラストスコアとしている。ここで簡易に例示したサンプリング点A,Bのように、条件の近い領域同士は、照明撮影パラメータの変動と共にスコアの変遷も類似する。一方、サンプリング点Cのように、他のサンプリング点A,Bから遠く条件が異なる点は、スコアの変遷も全く異なる。これらの性質を考慮し、コントラストスコアの絶対値による差を照明撮影パラメータ空間内で積分した値は、サンプリングされた領域間の距離である類似距離として利用することができる。図5(A)と図5(B)の例では、サンプリング点が3点のみを事例として説明したが、実際の処理フローではサンプル点に対し正常と異常の組合せが存在するためp×q×s個のデータについて考慮することになる。
図4の場合、条件探索部104は、事前に設定されたコントラストスコアの基準となる閾値T以上の点ができるだけ多くなるか又はそれら点の返す放射輝度値累積スコアを最大にする照明条件及び撮影条件を探索する。ここで、該閾値Tは、適当な照明撮影パラメータにおける正常データと異常データの画像をユーザが見て設定しても良いし、過去の履歴から自動的にセットされても良い。
次にステップS402として、条件探索部104は、撮影条件探索対象データセット内のデータ数が0になっているか、探索済の照明・撮影条件数nがユーザの指定した条件数N以上になっていないかチェックする。このとき、条件探索部104は、未だ探索は行っていないため否と判定してステップS403へ処理を進める。
その後、ステップS404において、条件探索部104は、探索済照明・撮影条件数nに1を加算し、そして、ステップS403にて撮影条件探索対象データセット内でコントラストスコアが閾値Tを超えた数をデータ数Dから減ずる。さらに条件探索部104は、該探索された条件においてp×q×s個の点の中で閾値T以上となった点を次の探索処理対象点候補から除外することによって、以降、継続する撮影条件探索に用いない様にする。
前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
Claims (10)
- 対象物における特定状態の領域の表面反射特性と、前記特定状態とは異なる非特定状態の領域の表面反射特性とを取得する特性取得手段と、
前記対象物の形状を取得する形状取得手段と、
前記表面反射特性と前記形状とに基づいて、検査対象物を撮像した画像から当該検査対象物の前記特定状態を検出する際の、照明条件および撮影条件を最適化する最適化手段と、
を有し、
前記最適化手段は、前記照明条件および前記撮影条件の変動に対して前記表面反射特性が類似した挙動をする領域をクラス化し、前記クラス化したクラスごとに前記照明条件および前記撮影条件を最適化することを特徴とする情報処理装置。 - 前記照明条件および前記撮影条件に対する制約条件を取得する条件取得手段を有することを特徴とする請求項1に記載の情報処理装置。
- 前記条件取得手段は、前記照明条件の数と、前記撮影条件の数と、前記対象物を撮像するセンサの数と、前記最適化に要する時間の上限との、少なくともいずれかを、前記制約条件として取得することを特徴とする請求項2に記載の情報処理装置。
- 前記最適化手段は、前記特定状態および前記非特定状態の局所領域の前記表面反射特性の絶対値差分を示すスコアに基づいて、前記クラス化を行うことを特徴とする請求項1から3のいずれか1項に記載の情報処理装置。
- 前記最適化手段は、前記スコアを積分した値を、前記類似した挙動をする領域間の距離である類似距離として求め、前記類似距離を基に前記クラス化を行うことを特徴とする請求項4に記載の情報処理装置。
- 対象物における特定状態の領域の表面反射特性と、前記特定状態とは異なる非特定状態の領域の表面反射特性とを取得する特性取得手段と、
前記対象物の形状を取得する形状取得手段と、
前記表面反射特性と前記形状とに基づいて、検査対象物を撮像した画像から当該検査対象物の前記特定状態を検出する際の、照明条件および撮影条件を、前記特定状態および前記非特定状態の局所領域の前記表面反射特性の絶対値差分を示すスコアに対して設定された基準値を基に最適化する最適化手段と、
を有し、
前記最適化手段は、前記特定状態の領域と前記非特定状態の領域とランダムにサンプリングした領域と照明条件および撮影条件との組合せによる複数のセットの中で、前記スコアが前記基準値を超える数が最大となるセットの照明条件および撮影条件を、前記最適化した前記照明条件および前記撮影条件とすることを特徴とする情報処理装置。 - 前記特定状態は前記対象物の異常状態であり、
前記特性取得手段は、前記対象物における前記異常状態のサンプルの領域および前記対象物の正常状態のサンプルの領域の、表面反射特性を取得することを特徴とする請求項1から6のいずれか1項に記載の情報処理装置。 - 情報処理装置が実行する情報処理方法であって、
対象物における特定状態の領域の表面反射特性と、前記特定状態とは異なる非特定状態の領域の表面反射特性とを取得する特性取得工程と、
前記対象物の形状を取得する形状取得工程と、
前記表面反射特性と前記形状とに基づいて、検査対象物を撮像した画像から当該検査対象物の前記特定状態を検出する際の、照明条件および撮影条件を最適化する最適化工程と、
を有し、
前記最適化工程では、前記照明条件および前記撮影条件の変動に対して前記表面反射特性が類似した挙動をする領域をクラス化し、前記クラス化したクラスごとに前記照明条件および前記撮影条件を最適化することを特徴とする情報処理方法。 - 対象物における特定状態の領域の表面反射特性と、前記特定状態とは異なる非特定状態の領域の表面反射特性とを取得する特性取得工程と、
前記対象物の形状を取得する形状取得工程と、
前記表面反射特性と前記形状とに基づいて、検査対象物を撮像した画像から当該検査対象物の前記特定状態を検出する際の、照明条件および撮影条件を、前記特定状態および前記非特定状態の局所領域の前記表面反射特性の絶対値差分を示すスコアに対して設定された基準値を基に最適化する最適化工程と、
を有し、
前記最適化工程では、前記特定状態の領域と前記非特定状態の領域とランダムにサンプリングした領域と照明条件および撮影条件との組合せによる複数のセットの中で、前記スコアが前記基準値を超える数が最大となるセットの照明条件および撮影条件を、前記最適化した前記照明条件および前記撮影条件とすることを特徴とする情報処理方法。 - コンピュータを、請求項1から7のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019084070A JP7327984B2 (ja) | 2019-04-25 | 2019-04-25 | 情報処理装置、情報処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019084070A JP7327984B2 (ja) | 2019-04-25 | 2019-04-25 | 情報処理装置、情報処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020181374A JP2020181374A (ja) | 2020-11-05 |
JP7327984B2 true JP7327984B2 (ja) | 2023-08-16 |
Family
ID=73024710
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019084070A Active JP7327984B2 (ja) | 2019-04-25 | 2019-04-25 | 情報処理装置、情報処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7327984B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW202228080A (zh) * | 2021-01-06 | 2022-07-16 | 日商發那科股份有限公司 | 圖像處理裝置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018072260A (ja) | 2016-11-02 | 2018-05-10 | ファナック株式会社 | 検査条件決定装置、検査条件決定方法及び検査条件決定プログラム |
-
2019
- 2019-04-25 JP JP2019084070A patent/JP7327984B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018072260A (ja) | 2016-11-02 | 2018-05-10 | ファナック株式会社 | 検査条件決定装置、検査条件決定方法及び検査条件決定プログラム |
Non-Patent Citations (1)
Title |
---|
片渕 典史,光学モデルに基づく部品表面検査の一手法,電子情報通信学会論文誌 情報・システムII-情報処理,日本,社団法人電子情報通信学会,1997年,第J80-D-II巻 第7号,1802~1809 |
Also Published As
Publication number | Publication date |
---|---|
JP2020181374A (ja) | 2020-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10497111B2 (en) | Information processing apparatus and method of selecting viewpoint for measuring object, and measuring system | |
JP5448923B2 (ja) | マルチチャネルデータのグラフィック表現を用いて基板の表面において生じる欠陥を分類するための方法 | |
US9773304B2 (en) | Inspection apparatus, inspection method, and program | |
KR102083706B1 (ko) | 반도체 검사 레시피 생성, 결함 리뷰 및 계측을 위한 적응적 샘플링 | |
CA2843892C (en) | System and method for remote full field three-dimensional displacement and strain measurements | |
JP6821326B2 (ja) | 情報処理装置、計測システム、情報処理方法およびプログラム | |
JP5718781B2 (ja) | 画像分類装置および画像分類方法 | |
JP2007114843A (ja) | 良否判定装置 | |
JP4925120B2 (ja) | 物体認識装置および物体認識方法 | |
JP7027978B2 (ja) | 検査装置、検査方法、及び検査プログラム | |
CN113792725B (zh) | 元器件检测装置和方法 | |
JP7327984B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN112052730A (zh) | 一种3d动态人像识别监控设备及方法 | |
JP2006292615A (ja) | 外観検査装置、外観検査方法、コンピュータを外観検査装置として機能させるためのプログラムおよび記録媒体 | |
JP5104291B2 (ja) | 画像解析プログラム、画像解析装置、および画像解析方法 | |
JP2004185259A (ja) | 蓄積画像管理装置及びプログラム | |
Hitchcox et al. | Random walks for unorganized point cloud segmentation with application to aerospace repair | |
CN110728222B (zh) | 一种用于机械臂抓取***中目标物体的位姿估计方法 | |
WO2015136716A1 (ja) | 画像処理装置、画像センサ、画像処理方法 | |
CN112596063A (zh) | 点云描述子构建方法及装置,闭环检测方法及装置 | |
JP2020071716A (ja) | 異常判定方法、特徴量算出方法、外観検査装置 | |
JP7309134B2 (ja) | 可視化方法、これに用いるプログラム、および、可視化装置、並びに、これを備える判別装置 | |
JP7113296B2 (ja) | 画像解析方法、プログラム、及び画像解析システム | |
Fan | Evaluation of Machine Learning Methods for Image Classification: A Case Study of Facility Surface Damage | |
Tang et al. | Defect detection system based on deep learning optimization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220415 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230324 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230502 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230626 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230704 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230803 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7327984 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |