JP2004185259A - 蓄積画像管理装置及びプログラム - Google Patents
蓄積画像管理装置及びプログラム Download PDFInfo
- Publication number
- JP2004185259A JP2004185259A JP2002350629A JP2002350629A JP2004185259A JP 2004185259 A JP2004185259 A JP 2004185259A JP 2002350629 A JP2002350629 A JP 2002350629A JP 2002350629 A JP2002350629 A JP 2002350629A JP 2004185259 A JP2004185259 A JP 2004185259A
- Authority
- JP
- Japan
- Prior art keywords
- image
- value
- data
- abnormal value
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】検査画像を逐次的に登録する際に、画像中の画素ごとの平均および分散を逐次的に更新する。一方、検査履歴中の各画像について、各画素値をその時点での平均および標準偏差で正規化したものを各画素の異常性の統計的推定値とし、これを画素値とする異常値画像を構成する。本異常値画像から画像特徴量を抽出することによって、検査履歴データを対象とする、異常データの検索、分類・仕分け機能を実現する。また、異常値画像を擬似色画像に変換したものをユーザに対して提示する。
【選択図】図3
Description
【発明の属する技術分野】
本発明は、計算機上での蓄積された画像データの管理、特徴量の評価、検索、表示装置及びその実現のためのプログラムに関する。
【0002】
【従来の技術】
半導体外観検査を始めとする各種検査システムでは、各種測定装置によって多様な画像が測定データとして取得される。近年、大規模容量の外部記憶装置が一般的となり、これら取得された画像を、外部記憶装置上に検査履歴情報として大量に蓄積することが可能である。
【0003】
一方、従来の検査システムでは、実際の検査前に、正常パターンの登録、異常値検出のための閾値設定等の事前処理が必要である。また、異常パターンを分類するためには、各分類カテゴリの典型例の事前登録が必要となる。
【0004】
特許文献1では、良品の画像の集合を事前に準備し、本集合中の各画素値の平均、および、標準偏差を求め、平均画像と標準偏差画像を構成する。検査時には、検体の各画素値と平均画像の画素値との差を標準偏差画像の画素値で割ったものの絶対値の大小に基づき良品との差異を評価し、各検体の良否を判定する。
【0005】
一方、蓄積画像の管理は、リレーショナルデータベースシステムで行われるのが一般的である。リレーショナルデータベースシステムでは、検査対象の製品の種類、検査日時等の書誌的属性により検索が行われる。異常値を含むデータを検索しようとする場合は、登録時に良否の判定を行い、その判定結果を書誌的属性として登録する。
【特許文献1】特開平10−123064号公報
【発明が解決しようとする課題】
大量に蓄積された検査装置の出力画像を有効に使うためには、保存画像を効率的に検索する機能、効率的に閲覧する機能が必要である。特に重要なのは、異常値を含むデータの検索である。リレーショナルデータベースシステムによる検索では、異常か否かを登録時に判定する。そのためには、事前処理において、正常パターンを十分に学習する必要があり、十分な学習のためには、正常と考えられるデータを多数個用意する必要がある。新規の製品を検査対象として投入する時点で、正常データを十分な数用意することは困難であり、本作業は、検査装置担当者に対して多大な負担となる。特に、寿命が短い多品種の製品を扱う場合、新規製品に対する検査を迅速に立ち上げる必要がある。従って、事前処理の作業量を最小化することが必要である。
【0006】
異常値を含むデータを収集した後は、さらにそれらのデータを分類し検討することが必要である。データを分類するためには、事前に分類用の各カテゴリの典型例をシステムに学習させる必要がある。新規製品投入時には、如何なる種類の異常データが出現するか未知な場合が多く、この作業は、正常パターンの学習以上に困難である。
【0007】
次に、検査履歴データの閲覧時の課題を述べる。閲覧時には、各データを分かりやすく表示する必要がある。ところが、検査出力画像は、基本的には、異常データを含め互いに類似性が高い。類似性が高いデータ中から異常なデータを発見することは困難である。さらに、目視による区別が困難なデータを順番に眺めていくことは、人間にとって非常に苦痛な作業である。従って、異常なデータが存在した場合、それを分かりやすく提示する必要がある。
【0008】
次に、検査履歴データ間の検索における課題を述べる。リレーショナルデータベースによる検索では、書誌的属性による検索は可能であるが、画像自体が持つパターン情報による検索は行えない。従って、任意のデータを選択し、それと類似したデータを検索する、といった機能は実現できない。
【0009】
【課題を解決するための手段】
本願の開示する発明の代表的なものの概要は以下の通りである。
検査対象の撮像画像を逐次入力する入力手段と、入力された撮像画像を記録する第1の記録手段と、上記第1の記録手段に記憶されている全撮像画像に基づいた平均画像及び2次の統計量画像を繰り返し算出する第1の算出手段と、上記算出された平均画像及び2次の統計量画像の情報を更新記録する第2の記録手段と、上記入力手段を介して入力される撮像画像の特徴量を、上記第2の更新記録されている情報を用いて算出する第2の算出手段とを有することを特徴とする蓄積画像管理装置。
【0010】
【発明の実施の形態】
検査装置出力画像を登録する際に、入力画像中の画素ごとの統計量を逐次的に更新する。画素ごとの統計量は、画素の平均を画像状に配置した平均画像、画素の2次の統計量を画像状に配置した2次統計量画像で構成される。ここで、平均画像とは、白黒濃淡画像の場合は、画素値の平均より構成され、カラー画像の場合は、画素の色ベクトルの平均ベクトルより構成される。また、2次統計量画像とは、白黒濃淡画像の場合は、画素値の分散値、あるいは、分散値に標本数をかけた偏差平方和、あるいは、分散値の平方根である標準偏差より構成され、カラー画像の場合は、色ベクトルの分散共分散行列、あるいは、分散共分散行列に標本数をかけた偏差平方和行列、あるいは、分散共分散行列の固有値の平方根の逆数を要素とする対角要素とする対角行列に、固有ベクトルを列ベクトルとする固有ベクトル行列を右から掛け、固有値ベクトル行列の転置行列を左から掛けることによって算出される色変換行列より構成される。
【0011】
一方、検査履歴中の各画像について、各画素値をその時点での平均および標準偏差で正規化したものを各画素の異常性の統計的推定値とし、これを画素値とする画像を構成する。以下、本画像を異常値画像と呼ぶ。異常値画像より各種画像特徴量を抽出することによって、類似性検索機能を実現する。
【0012】
本手法では、その時点での平均画像を正常パターンの推定値として採用する。従って、正常パターンの異常値画像は、統計量の具体的な値とは無関係に全画素値が0の画像となる。正常パターンとの類似性が低い画像を検索することによって、異常性が高いデータを検索することが実現できる。
【0013】
また、データ閲覧時に、異常値画像を画面表示可能な通常の画像に変換する際には、画像中の異常値を際立たせた画像をユーザに対して提示する。これによって、ユーザにとってデータの異常性の理解が容易なデータ閲覧を実現する。
(実施例1)
本実施例は、半導体検査において、検体全体を光学的に測定する装置が出力するデータを処理するためのシステムである。本測定装置は、一つの検体に対して、干渉光、回折光の2系統の光についての撮像系を持つ。従って、出力される画像データは、各検体につき2種類である。なお、装置自体の仕様については、特開平9−61365に詳しい。
【0014】
なお、本実施例は、1検体に対して2種類の画像を用いた場合について記述するが、1検体に対して1種類、あるいは、2種類以上の画像が対応する場合にも、同様の処理を行うことができる。本実施例は、2種類の画像を用いることによって、より精度の高い検査を可能とするものである。
【0015】
図1は、本実施例の装置構成である。光学的測定装置110による測定結果は、装置制御用計算機120を経由して、電子的データとしてサーバ用計算機130に送信される。サーバ用計算機130の持つ大規模容量の外部記憶装置135には、測定結果の画像をはじめとする種々のデータが格納される。データ解析用計算機150は、LAN140によってサーバ用計算機130に接続される。
【0016】
図2は、本実施例のソフトウェア構成である。210は、サーバプログラムで、データ管理、検索処理、データ配信等の処理を行う。サーバプログラムは、大規模容量の外部記憶装置221上で、各種データの管理を行う。220は、制御用クライアントプログラムで、光学的測定装置221との入出力を行うインタフェースモジュール222を持ち、測定装置221の制御、221からの画像データの取得を行う。取得されたデータは、制御用クライアントプログラム220によってサーバプログラム210に送信され、新規データとして登録が行われる。なお、登録データの製品および工程に関する情報は、制御用クライアントプログラム220に対する設定情報として、ユーザによって付与される。制御用クライアントプログラム220は、各測定装置に対して1つずつ用意される。一方、230は、解析用クライアントプログラムである。解析用クライアントプログラム230は、サーバプログラム210に対して検索要求等を発行し、ユーザに対して検索結果の閲覧等の機能を提供する。なお、これらのプログラム210、220、230は、同一の計算機上に存在しても、ネットワーク経由で接続される相異なる計算機上に存在していてもよい。
【0017】
図3に、光学的測定装置からの出力されたデータの処理フローを示す。本処理は、制御用クライアントプログラム220からの要求をトリガーとして、サーバプログラム230内で行われる。
【0018】
先ず、新規データ登録時の処理について説明する。
【0019】
装置からは、干渉光測定結果に対応する白黒濃淡値画像、および、回折光測定結果に対応する白黒濃淡値画像が出力される。システムは、出力された2画像3010を検査履歴データ3030としてハードディスク上に保存する3020。次に、2画像3010に対して、輝度値の正規化処理3040を行う。本処理によって、両画像は、それぞれの画像内の輝度分布が平均0、分散が1である正規化画像3050に変換される。
【0020】
本正規化画像を用いて、検査対象画像集合の統計量が更新される3060。図14に、処理3060のフローチャートを示す。検査画像集合の統計量3070は、画素ごとの平均を格納する平均画像、画素ごとの偏差平方和を格納する偏差平方和画像から構成される1401。新規データの全画素について、平均および偏差平方和を求め1402、その後、データ数を更新し1403、本処理を終了する1404。ただし、本実施例の装置の場合、干渉光画像、回折光画像それぞれについて平均画像と偏差平方和画像が算出される。
【0021】
一方、画像3050は、統計量3090を用いることによって、異常値画像3110に変換される3100。統計量3090は、平均画像と標準偏差画像から構成される。統計量3070と統計量3090の関係については後述する。本処理3100では、干渉光画像、回折光画像それぞれについて、次式のような画素値の変換を行う。
【0022】
【数1】
ここで、f(x,y)は画像3050の画素値、g(x,y)は異常値画像3110の画素値、μ(x,y)は平均画像の画素値、σ(x,y)は標準偏差画像の画素値である。本処理によって生成された異常値画像3110は、ブラウジング用データ3130としてハードディスク上に保存される3120。一方、異常値画像3110に対して、各種特徴量抽出アルゴリズムを適用することによって、類似性検索を行うための画像特徴量3150を構成する3140。構成された画像特徴量3150は、画像特徴量データベース3170に登録される3160。
【0023】
図15は、新規データ登録時の処理のフローチャートである。ただし、簡単のために、1つの画像に関する処理のみを記述した。本処理は、新規登録画像を入力として開始する1501。まず、新規登録画像を検査履歴データとして保存する1502。次に、当該画像内の画素値の平均と標準偏差を求め1503、これを用いて正規化処理を行う1504。続いて、統計量3070の更新1506、異常値画像の構成1507の順序で処理を行い、異常値画像を外部記憶装置に保存する1507。続いて、異常値画像より画像特徴量を抽出し1508、画像特徴量を外部記憶装置に保存し1509、本処理を終了する1510。
【0024】
次に、検索画像集合に関する2種類の統計量3070と3090について説明する。上述したように、統計量3070は、蓄積画像の統計量を逐次更新可能な形式で保持するための統計量である。一方、統計量3090は、異常値画像を導出するのに必要な平均と標準偏差を算出するために必要な情報を保持するための統計量であって、2次の統計量については、標準偏差そのもの、あるいは、分散値でもよい。基準となる値が毎回の処理において異なるのは望ましくないため、3090の更新は所定のタイミング若しくはユーザからの指示に基づいて行うのが望ましい。又、3070に記憶する値は、最終的に異常値画像を算出するのみ用いる値の途中結果であっても良い。以下に、3070と3090との関係について記述する。
【0025】
上記のデータ登録の処理とは独立に、制御用クライアントプログラム220の要求によって、統計量3090は更新される3080。更新の際は、統計量3070の平均画像を統計量3090の平均画像へと複製し、統計量3070の偏差平方和画像の各画素値をデータ数で割り、さらに平方根を取ることによって、統計量3090の標準偏差画像を算出する。
【0026】
統計量3090更新前に蓄積された検査データについては、更新された統計量に基づいた特徴量等の更新を行う。本処理も、制御用クライアントプログラム220の要求によって実行される。以下、この場合の処理の流れを説明する。
【0027】
検査履歴データ3030よりデータ3010を逐次的に取り出し3180、新規データ登録の場合と同一の処理3040を経て、データ3050を導出する。データ3050および統計量3090によって、異常値画像3110を構成する。この際、新規データ登録の場合とは異なり、統計量3070の更新3060は行わない。異常値画像3110を構成した後の処理は、新規データ登録の場合と同一である。図16に本処理のフローチャートを示す。ただし、簡単のために、1つの画像に関する処理のみを記述した。本処理は、更新の対象となる蓄積済み画像を指定されて開始する1601。まず、蓄積済み画像を外部記憶装置から読み出す1602。次に、当該画像内の画素値の平均と標準偏差を求め1603、これを用いて正規化処理を行う1604。続いて、異常値画像を構成し1605、本異常値画像を外部記憶装置に保存する1606。続いて、異常値画像より画像特徴量を抽出し1607、画像特徴量を外部記憶装置に保存し1608、本処理を終了する1609。
【0028】
次に、統計量の管理について説明する。
【0029】
各データは、製品および工程の違いを表現するカテゴリという属性を持つ。本属性に基づいて、カテゴリごとの統計量を算出し、その統計量から異常値画像を導出することによって、製品、あるいは、工程の差異によるデータの平均的な変動の異常値画像に対する効果を低減することができる。また、異なる製品、工程での検査データ間での比較も可能となり、より多様視点から不良品の解析を行うことがでいる。本属性は、データ登録時に、制御用クライアント220によって、画像データの付加情報として、サーバプログラムに対して送付される。サーバプログラムは、本属性を画像データ一組一組が持つ属性として保存する。
【0030】
統計量3070および3090は、本カテゴリごとに定義される。また、各データは、統計量3070用のカテゴリ属性と、統計量3090用のカテゴリ属性を持つ。通常のデータでは、両カテゴリは同一である。統計量3070の更新3060では、統計量3070用のカテゴリ属性が定義されていたなら、対応するカテゴリの統計量を更新する。一方、異常値画像3110の構成3100では、統計量3090用のカテゴリ属性が定義されていたなら、対応するカテゴリの統計量を用いて異常値画像3110を構成する。統計量3090用のカテゴリ属性が未定義の場合は、異常値画像3110には、画像3050の内容が複製される。
【0031】
あるデータが統計量算出に用いられるべきでないと判断された場合は、そのデータの統計量3070用のカテゴリ属性を未定義の状態に設定する。本設定によって、当該データは、その後、統計量算出に寄与することがなくなる。これは、極端な例外データを統計量算出から除外し、異常性の推定精度を高めるために行われる。その上で、対応するカテゴリの統計量3070の再計算し、その再計算の結果を統計量3090に反映させ、その後、統計量3090用のカテゴリ属性が当該カテゴリ一致する全履歴データについて画像特徴量等の更新処理を実行する。
【0032】
なお、データが十分多く蓄積された状態では、データの新規登録、あるいは、上記の特定データの統計量計算からの除外による、統計量の値に対して大きな影響を与えない。従って、統計量3090の更新、および、それに続く履歴データの画像特徴量等の更新の頻度は、履歴データの増大に伴って、少なくしていくことができる。本更新頻度の調整は、定常的には自動的にスケジュール管理されるが、必要な場合には、管理者が、統計量3090の更新、および、履歴データの画像特徴量等の更新を、強制的に実行することができる。
【0033】
次に、本実施例のシステムにおける検索機能について説明する。
【0034】
本実施例のシステムは、画像特徴量のベクトル空間上での距離に基づきデータ間の類似性を定義し、その類似性に基づいて検索を行う機能を持つ。本機能は、解析用クライアントプログラム230からの要求に応じて、サーバプログラム210が検索を実行することによって実現される。
【0035】
本システムにおいて用いる画像特徴量について図4に沿って説明する。本願ではこの特徴量を用いて入力された画像の評価・検索等を行う。
【0036】
本システムでは、以下の2種類の画像特徴量を用いる。第1の特徴量は、輝度分布のヒストグラムに基づく特徴量425である。図3の3110に対応する異常値画像410を4×4の矩形領域に分割し420、各矩形領域ごとに410の輝度値分布のヒストグラム421を算出する。これらの矩形領域ごとのヒストグラムを全矩形領域について合わせた集合を特徴量とする425。第2の特徴量は、輝度変化方向分布に基づく特徴量435である。まず、異常値画像410を多重解像度化する。各解像度の画像430について、輝度値に関する2次元の空間微分を行うことによって、各画素に対して輝度勾配ベクトルが定義された輝度勾配ベクトル画像431を構成する。次に、輝度勾配ベクトル画像431を4×4の矩形領域に分割し、各矩形領域における輝度勾配ベクトルの方向の分布から特徴量を構成する432。本特徴量の構成は、輝度勾配ベクトルの方向を離散化し、各画素上の輝度勾配ベクトルのノルムを対応する離散化されたベクトル方向に対応するビンに加算することによって求める。全解像度の全矩形領域について本計算の結果を合わせた集合を特徴量とする435。
【0037】
なお、干渉光測定画像、回折光測定画像、それぞれについて、これら2種類の特徴量が算出される。また、画像特徴量抽出方法の詳細については、Hiroike, A., Musha, Y., et.al., ”Visualization of information spaces to retrieve and browse image data,” Third International Conference on Visual Information Systems, Springer−Verlag, 155−162, 1999を参照されたい。また、画像の特徴量抽出方法としては、上述の方法以外にも多様な方法を用いることができる。
【0038】
上記の各種特徴量は数値ベクトルとして表現される。与えられた2データ間の類似性は、これらの数値ベクトル間の2乗距離を重み付きで合算したものに基づき定義する。次式は、合算された2乗距離の定義式である。式中のMは、特徴量の種類数、N_iはi番目の種類の特徴量の次元数、w_iはi番目の種類の特徴量の重み、f_ij、g_ijは、それぞれ、2つのデータのi番目の種類の特徴量のj番目の要素の値である。
【0039】
【数2】
類似性に基づく検索では、サーバプログラムが、指定されたデータ集合中より、検索キーとして選択されたデータと類似したデータを、指定された件数分、又は設定値に基づき類似性が高い順序でクライアントに通知する。一方、検索キーは、非類似性に基づく検索では、サーバプログラムが、指定されたデータ集合中より、検索キーとして選択されたデータと類似していないデータを、指定された件数分、若しくは設定数に基づいて類似性が低い順序でクライアントに通知する。一般には、検索キーは複数個選択することが可能である。複数個の検索キーが選択された場合には、類似性の値、あるいは、非類似性の値が最も大きい検索キーとの類似性、あるいは、非類似性の値を検索結果の順位付けのための基準値として採用する。次式は、L個の検索キーが選択された場合の基準値の定義式である。α_iは、i番目の検索キーに付与された重みで、α_iが大な程、i番目の検索キーとの2乗距離が大きく評価される。すなわち、α_iが大な程、i番目の検索キーとの類似性、ないしは、非類似性が大きく評価される。等号右辺の上段が、i番目の検索キーが類似性に基づく検索を行うためのものとして定義された場合の基準値、等号右辺の下段が、i番目の検索キーが非類似性に基づく検索を行うためのものとして定義された場合の基準値の定義式である。
【0040】
【数3】
以下、本式で定義される値を検索基準値と呼ぶ。
【0041】
本システムでは、検査履歴中のデータ以外に、正常事例の典型パターンを検索キーとして用いることができる。本システムでは、異常値画像3110より画像特徴量が抽出される。正常事例の典型パターンは、入力データ3010が平均画像と完全に一致し、異常値画像3110の全ての画素値が0であるデータとして定義される。正常事例の典型パターンは、実際の検査履歴から構成されるものではなく、数学的な定義によって得られるデータである。
【0042】
次に、解析用クライアントプログラム上で提供される機能について説明する。
【0043】
図5は、画面上に表示されるパネルである。以下、パネル上のグラフィカルユーザインタフェース部品について説明する。501は、検索対象となる製品を選択するための部品、502は、検索対象となる製造工程を選択するための部品である。503は、類似画像検索において選択したキー画像を表示するための部品である。504は、正常事例の典型パターンを検索キーとして登録するためのボタンである。505は、正常事例の典型パターンが検索キーとして登録されている場合に、その検索キーに対応する検索基準値数3中のα_iの値を調整するためのスライダである。スライダを右に動かすと、α_iの値が小さくなり2乗距離が小さく評価され、左に動かすと、α_iの値が大きくなり2乗距離が大きく評価される。506は、その検索キーに基づく検索が、類似性に基づく検索か、非類似性に基づく検索かを指定するためのチェックボックスである。506がチェックされている場合、非類似性に基づく検索、そうでない場合は、類似性に基づく検索となる。
【0044】
検索結果は、サムネール画像の集合として表示領域514に表示される。509は514に表示するデータの件数を指定する部品、507の数値入力用フィールド、508のスライダは、検索結果中の何件目から表示するかを指定する部品である。510、511、512、513は、同じく検索結果中の何件目から表示するかを指定する部品である。ボタン510をクリックすると、1件目のデータから表示される。ボタン511をクリックすると、現在表示されている先頭データより、509で指定された表示件数分だけ遡ったデータから表示される。ボタン512をクリックすると、現在表示されている先頭データより、509で指定された表示件数分だけ先のデータが表示される。ボタン513をクリックすると、末尾のデータから509で指定された表示件数分だけ遡ったデータから表示される。510、511、512、513を操作した結果は、507、508に反映される。
【0045】
検索結果の表示領域514では、リスト方式、2次元散布図方式の2種類の表示方式が提供される。518と519は、表示方式を切り替えるためのボタンである。リスト方式では、検索結果が左上から順番に配列される。図5の表示例は、リスト方式が選択された状態である。ここで、516は、表示される画像のサイズを指定する部品、517は、表示する際の列の数を指定するための部品である。2次元散布図方式については後述する。
【0046】
図6は、正常事例の典型パターンを検索キーとして選択し、非類似性検索を行った結果の表示例である。選択された検索キーは、610に示されている。対応する検索結果は、620に表示されている。本検索結果は、全件データ中から異常性が高いと推定されるデータを順番に取り出したものである。ユーザは、必要に応じて、表示画像を選択することによって、統計量算出から除外するデータとして指定することができる。指定されたデータは、以降統計量の再算出が行われる際には、対象データから除外される。
【0047】
図7は、異常値画像3110を実際に表示する画像に変換するためのパネルである。異常値画像3110は、干渉光画像の異常値画像と回折光画像の異常値画像の2つから構成される。710、720、730の3つのチェックボックスは、何れか1つがチェック可能なように排他的に動作する。710をチェックすると、干渉光画像の異常値画像が、720をチェックすると、回折光画像の異常値画像が、730をチェックすると、両者を混合した画像が表示される。
【0048】
異常値画像を表示可能な通常の画像に変換する処理を以下説明する。
【0049】
異常値画像の画素値は、基準値0を中心に正負に分布する。本画素値を通常のRGB値に変換する処理は、基準値0に対応するRGB値、正に振れた場合の基準値に対応するRGB値からの色空間中での変異方向を定義するベクトル、負に振れた場合の基準値に対応するRGB値からの色空間中での変異方向を定義するベクトル、および、異常値画像の画素値の差を色空間中での画素値の距離に変換するためのスケーリングファクタをパラメータとして持つ。なお、変換後のRGB値が色空間の定義域を超えた場合は、基準値に対応するRGB値と変換後のRGB値が作る線分と、色空間の境界面との交点をRGB値として用いる。また、干渉光画像、回折光画像両者の異常値画像を混合して表示する場合は、両者の変異方向ベクトルの和ベクトルを基準値に対応するRGB値からの変異方向ベクトルとする。
【0050】
上記パラメータは、以下に述べるようにユーザによって自由に設定可能であるが、通常は、システム側で見易さを重視した設定を予め用意している。
【0051】
図7の711と712は、それぞれ、干渉光画像の異常値画像の画素値が正、あるいは、負に振れた場合の変異方向を指定するためのスライダである。一方、721と722は、それぞれ、回折光画像の異常値画像の画素値が正、あるいは、負に振れた場合の変異方向を指定するためのスライダである。本実施例では、色空間境界面上の色を指定することによって、変異方向を指定する。750には、上部のスライダに対応する色が帯状に表示されている。761、762、763は、基準値に対応する色のRGB値を指定するスライダで、指定された色は、760に表示される。その右のチェックボックス764がチェックされている場合、基準値に対応する色は常にRGB値が等しい灰色となり、その明度のみが調整可能となる。764のチェックが外れている場合、RGB値を独立に指定することができる。770は、異常値画像の画素値の差を色空間中での画素値の距離に変換するためのスケーリングファクタを指定するためのスライダである。本スライダは、対数尺度で表示されている。スライダ下部についた目盛は、標準偏差を単位として表示となっている。スライダ770を右に動かすと、より大きな値で異常値画像の画素値の差が除算された上で、色空間上の値として変換される。従って、より微妙な値の差異を見ることができる。逆に、左に動かすと、より小さな値で異常値画像の画素値の差が除算された上で、色空間上の値として変換される。従って、大きな値は飽和して色空間境界面上の色になる。
【0052】
710、720、730、および、770による設定は、即座に表示に反映される。それ以外設定は、ボタン740をクリックすることによって、表示に反映される。
【0053】
図8は、検索結果を2次元散布図方式で表示した例である。検索結果画像が表示される2次元散布図上のx座標、y座標は、画像特徴量空間から構成される。本2次元散布図おける表示用座標系の構成方法について以下説明する。
【0054】
今、L個の検索キーが選択されているものとし、表示対象となる検索結果の集合をL個の部分集合に分類する。本分類は、数3の検索基準値が最も大きい検索キーを選択することによって行う。分類されたデータ集合に対して以下の統計量を算出する。
【0055】
【数4】
【数5】
ここで、簡単のため特徴量ベクトルの種類は1つとし、f_ijは、i番目の部分集合のj番目の要素の特徴量ベクトル、n_iは、i番目の部分集合の要素数、Nは、検索結果全体の要素数、μ_iは、i番目の部分集合の特徴量ベクトルの平均、μは、検索結果全体での特徴量ベクトルの平均である。一方、Wは、各部分集合ごとの分散共分散行列を合算したもので、統計学において、群内分散共分散行列と呼ばれるものである。また、Bは、部分集合平均間の分散共分散行列で、統計学において、群間分散共分散行列と呼ばれるものである。ここで、次式数6の分散比φを最大化するベクトルは、判別主成分と呼ばれ、部分集合間の差異を効率よく表現する座標軸を与えるものである。
【0056】
【数6】
また、上記分散比φを最大化するベクトルの算出は、次式の固有値問題に帰着することが知られている。
【0057】
【数7】
データ数が特徴量の次元数より大きい場合、上式の0でない固有値は、L−1個存在する。図8の表示例では、810に示されているように3つの検索キーが選択されている。従って、2個の判別主成分が存在し、図8の表示例は、x軸に第1主成分、y軸に第2主成分を用いて、データを配置している。なお、表示されているサムネール画像の大きさに大小が存在するのは、数3の検索基準値の大小に応じて、画像サイズが変えて表示しているためのである。
【0058】
図8の831、832は、表示用の座標系を変更するための部品である。本実施例では、表示用座標軸を構成する元データとして、全特徴量を合わせたものを用いる方式、干渉光画像から抽出された特徴量のみを用いる方式、干渉光画像から抽出された特徴量のみを用いる方式の3つの方式を用意しており、ユーザは、x軸、y軸それぞれについて、何れかの方式を独立に選択可能である。さらに、ユーザは、判別主成分、群内分散共分散行列Wの主成分、表示データ全体の分散共分散行列の主成分の中から、データの分布を解析する際に適切と考えられる軸を選択することができる。
【0059】
833は、表示画像の大きさを調整するための部品で、中にある矩形の小ボタンを左右にドラッグすると、数3の検索基準値の表示の大きさに及ぼす効果を調整することができる。小ボタンを右に動かすと、検索基準値の効果が大きくなり、検索基準値の値が小さいデータは表示されなくなる。逆に、小ボタンを左端まで動かすと、全てのデータが同一の大きさで表示される。一方、小ボタンを上下に動かすと、画像全体の大きさが一様に調整される。小ボタンを上に動かすと、画像が一様に大きく、小ボタンを下に動かすと、画像が一様に小さく表示される。
【0060】
834の3つのボタンは、分布の大きさを調整するための部品、835の9つのボタンは、表示位置を調整するための部品である。834中の上矢印のボタンを押すと、画像の大きさは変わらないまま、分布が大きく表示されるようになる。一方、834中の下矢印のボタンを押すと、分布が小さく表示されるようになる。分布表示の大きさを初期状態に戻したい場合は、834中央のボタンを押す。835の8つの矢印の付いたボタンを押すと、分布表示の位置がその方向に移動する。表示位置を初期状態に戻したい場合は、835の中央のボタンを押す。
【0061】
836は、表示の際に、数3の検索基準値が大きい順序で検索結果に対応するサムネール画像を描画するか、大きい順序で描画するかを切り替えるためのボタンである。
【0062】
次に、本システムを用いて、異常データをユーザが仕分けしていく過程を説明する。図9は、正常事例の典型パターンを検索キーとする非類似性検索の結果を画像特徴量から構成された3次元的可視化空間中に表示した表示例である。多数の未分類の異常データが3次元空間中に島910を形成している。島は、板状の3次元オブジェクトで構成されており、各オブジェクトには、データに対応した画像が貼り付けられている。また、異常性が高いと推定されるデータほど、3次元オブジェクトとして大きく表示されている。なお、3次元的可視化空間中での表示方法、および、各種操作方法については、特願平10−193838、特願2000−010141を参照されたい。
【0063】
本表示例の設定では、検索結果の上限を1000件に指定しており、未分類異常データの島910は1000件のデータから構成されている。島910中から着目するデータを検索キーとして選択すると、新たな類似検索処理が実行され、表示が、図10のように更新される。図10では、島910が、未分類異常データの島1010と、選択された検索キーと類似性が高いデータが形成する島1020の2つ分かれている。図9の状態から図10の状態への移行では、まず、島910中のデータで、選択されて検索キー、および、それと類似性が高いデータが、島910から分離していく。次に、島910中のデータの内、新規の検索結果1000件に含まれないデータは、可視化空間中から消滅し、一方、新規の検索結果の内、島910中に含まれないデータは、選択された検索キーの周辺に出現する。さらに、島1010中の他のデータを検索キーとして選択すると、同様に再検索が実行され、選択したデータと類似したデータが新たな島を形成し、図11に示すような状態になる。図10の島1010は、図11では、2つの島1110と1130とに分離している。また、島1120は、島1020の島と対応している。図10の状態から図11の状態への移行では、まず、選択されて検索キー、および、それと類似性が高いデータが、島1010の中から、分離していく。また、島1020中のデータで、新規の検索キーとの類似性が、島1020を形成する検索キーの類似性よりも大きいデータは、島1020から離れ、新たな島の方に移動する。島1010および1020中のデータで、新規の検索結果1000に含まれないデータは、可視化空間から消滅する。また、新規の検索結果の内、島1010および1020の中に含まれないデータは、新たに選択された検索キーの周辺に出現する。
【0064】
以上のような手順で、ユーザは、異常データの集合を仕分け、分類していく。分類された結果のデータ集合について、各種履歴情報と対応付けることによって、例えば、製造した装置による不良パターンの出方に差の有無等を検討することによって、異常データを生み出した原因を解明していく。
(実施例2)
本実施例は、複数の監視カメラから取得される映像を処理するためのシステムである。
【0065】
図12に、本実施例の機器構成図を示す。サーバ用計算機1220内のプログラム1221は、複数個設置された監視カメラ1210からの映像入力を常時取得する。プログラム1221は、取得した映像から一定時間ごとにフレーム画像を取り出し、サーバプログラム1222に送信し、新規データとして登録する。サーバプログラム1222は、大規模容量の外部記憶装置1223上に本画像を格納する。サーバプログラム1221用のブラウジング用クライアントがインストールされた端末計算機1240は、LANによってサーバ用計算機1230に接続される。
【0066】
図13は、本実施例の処理の流れである。基本的な流れは、図3と同様である。
【0067】
新規登録時、フレーム画像1300は、監視履歴データ1303としてハードディスク上に保存される1301。次に、本フレーム画像1300を用いて、統計量1305の更新を行う1304。一方、本フレーム画像は、統計量1307を用いて異常値画像1309に変換される1308。本処理によって生成された異常値画像1309は、ブラウジング用データ1311としてハードディスク上に保存される1310。次に、異常値画像3110に対して、各種特徴量抽出アルゴリズムを適用することによって、類似性検索を行うための画像特徴量1313を構成する1312。構成された画像特徴量1313は、画像特徴量データベース1315に登録される1314。
【0068】
本実施例は、入力データがカラー画像のため統計量1305と1307は、図3の3070と3090とは内容が異なる。まず、統計量1305は、各画素ごとのRGB値の平均を求めた平均ベクトル画像、および、各画素ごとのRGB値の分散共分散行列にデータ数を掛けた行列を画素とする偏差平方和行列画像で構成される。図17に、統計量1305の更新処理1304のフローチャートを示す。本処理は、入力データが指定されることによって開始する1701。入力データの全画素について、平均ベクトル、および、偏差平方和行列を更新し1702、その後、データ数を更新し1703、処理を終了する1704。
【0069】
一方、フレーム画像1300から異常値画像1309への変換1308は次式のように行われる。
【0070】
【数8】
ここで、f(x,y) は、フレーム画像1300の画素(x,y)の色ベクトル、g(x,y)は、異常値画像1309の画素(x,y)の色ベクトル、画素値μ(x,y)は、画素(x,y)の平均ベクトル、A(x,y)は、画素(x,y)の分散共分散行列の固有値の平方根を要素とする対角行列、V(x,y)は、画素(x,y)の分散共分散行列の固有ベクトルを列ベクトルとする固有ベクトル行列である。統計量1307は、平均ベクトルμ(x,y)、および、数8右辺の、A(x,y)の左右からV(x,y)を掛けた色変換行列で構成される。統計量1307を用いた統計量1309の更新1308では、各画素の偏差平方和行列をデータ数で割った分散共分散行列より固有値、固有ベクトルを算出した後、各画素に対して上記の色変換行列を算出する。
【0071】
また、本実施例では、統計量は、カメラごと、および、時間帯ごとにカテゴリに分けて算出される。これによって、カメラごとのフレーム画像の差異、および、時間帯ごとのフレーム画像の差異の効果を低減した、異常値画像1309の構成を実現している。
【0072】
統計量1307更新に伴う、蓄積フレーム画像1303に関する、異常値画像1309および画像特徴量1313の更新は、図3の処理と同様である。蓄積フレーム画像1303より各フレーム画像1300を逐次的に取り出し1302、統計量1307を用いて、異常値画像1309を構成する。この際、統計量1305の更新処理1304は行わない。異常値画像1309を構成した後の処理は、新規データ登録の場合と同一である。
【0073】
画像特徴量1313は、図4に示した半導体検査における特徴量とほぼ同様であるが、輝度分布のヒストグラムの代りに、色分布のヒストグラムを算出し、画像特徴量として用いている点が異なる。すなわち、第1に、異常値画像1309を複数の矩形領域に分割する。次に、色空間を立方体上の領域に離散化することによって、各矩形領域ごとの色分布ヒストグラムを算出する。これらのヒストグラムを合わせた集合を特徴量とする。一方、輝度変化方向分布に基づく特徴量の算出では、事前に異常値画像1309を白黒濃淡画像に変換した後、図3と全く同一の計算方法で特徴が算出される。
【0074】
蓄積フレーム画像の検索処理は、前記の半導体検査装置用システムと同様である。また、ユーザインタフェースは、図5、図6、図8、図9、図10、図11に図示した半導体検査装置用システムのユーザインタフェースと同様である。
以上本願をまとめる。
逐次的に蓄積される画像集合の管理において、画像中の各位置の画素値の蓄積画像集合における統計量AとBを保持し、新規に蓄積される画像を用いて該統計量Aを更新する機能と、該統計量Aを用いて該統計量Bを更新する機能と、
該統計量Bを用いて蓄積済み画像、あるいは、新規に蓄積される画像中の各位置の画素値の異常性を定量的に推定する機能を持つことを特徴とする蓄積画像管理装置。
上記蓄積画像管理装置の機能に加え、上記画像の画素値の異常性の推定値とする機能によって取得される異常値の推定値を画像状に配列することによって異常値画像を構成する機能と、異常値の推定値が全て0である擬似的な異常値画像を正常値画像として登録する機能と、前記の異常値画像および正常値画像より画像特徴量を抽出する機能と、該正常値画像との画像特徴量の差異が小さい順序でユーザに対して画像を提示する機能を持つことを特徴とする正常データ検索装置。
又、上記画像の画素値の異常性の推定値とする機能によって取得される異常値の推定値を画像状に配列することによって異常値画像を構成する機能と、異常値の推定値が全て0である擬似的な異常値画像を正常値画像として登録する機能と、前記の異常値画像および正常値画像より画像特徴量を抽出する機能と、検索のキーとして、0個あるいは1個の正常値画像、および、0個あるいは1個あるいは複数個の異常値画像あるいは異常値画像の集合の平均を選択することによって、検索キーの集合を構成し、検索対象である異常値画像について、検索キーである正常値画像との画像特徴量の差異の大きさと検索キーである異常値画像あるいは異常値画像の集合の平均との画像特徴量の差異の小ささとに、検索結果に含めることの妥当性を測る同一の基準値を与え、検索対象である異常値画像と、最も高い該基準値を与える該検索キー集合中の検索キーとの該基準値を該検索対象である異常値画像の検索結果としての適合度と定義し、画像集合中から該適合度が大きい画像を検索結果として取得する機能と、前記検索結果を、前記基準値が最も高い検索キーごとに分類してユーザに対して提示する機能を持つことを特徴とする異常データ検索分類装置。
【0075】
【発明の効果】
本発明により、逐次的に蓄積される大量の検査データを管理するにあたって、導入時の事前設定作業における負荷を低減し、頻繁な変動する検査対象に対して、効率的、かつ、有効に運用できるシステムが実現された。
【図面の簡単な説明】
【図1】半導体外観検査システムの機器構成図。
【図2】半導体外観検査システムのシステム構成図。
【図3】半導体外観検査システムのデータ処理の流れ。
【図4】半導体外観検査システムでの画像特徴量の抽出。
【図5】ユーザインタフェース部品の説明。
【図6】異常データの検索例。
【図7】擬似カラー画像のパラメータ設定画面。
【図8】2次元散布図の表示例。
【図9】3次元可視化表現の表示例(1)。
【図10】3次元可視化表現の表示例(2)。
【図11】3次元可視化表現の表示例(3)。
【図12】監視カメラシステムの構成図。
【図13】監視カメラシステムのデータ処理の流れ。
【図14】白黒濃淡画像の場合の統計量の逐次更新処理。
【図15】新規画像の登録処理。
【図16】蓄積済み画像の更新処理。
【図17】カラー画像の場合の統計量の逐次更新処理。
【符号の説明】
110:撮像装置。
120:制御用コンピュータ。
130:サーバ用コンピュータ。
135:大容量外部記憶装置。
140:LAN。
150:解析用コンピュータ。
210:サーバプログラム。
211: 大容量外部記憶装置。
220:制御用クライアントプログラム。
221:撮像装置コントローラ。
222:撮像装置。
230:解析用クライアント。
3010:元データ。
3020:検査履歴データの保存。
3030:検査履歴データ。
3040:画像内の統計的な輝度の正規化処理。
3050:輝度値正規化画像。
3060:統計量の更新。
3070:統計量A。
3080:統計量Aを用いた統計量Bの更新。
3090:統計量B
3100:異常値画像構成処理。
3110:異常値画像。
3120:ブラウジング用データの保存。
3130:ブラウジングデータ。
3140:特徴量抽出。
3150:画像特徴量。
3160:画像特徴量データベース。
3170:画像特徴量の保存。
410:異常値画像。
420:矩形領域分割。
421:輝度ヒストグラム。
425:輝度分布に基づく特徴量。
430:画像の多重解像度化。
431: 多重解像度化された画像の矩形領域分割。
432: 輝度変化方向分布のヒストグラム。
435: 輝度変化方向分布に基づく特徴量。
501:製品を選択するための部品。
502:工程を選択するための部品。
503:検索キーの表示領域。
504:正常事例を検索キーとして登録するためのボタン。
505:正常事例の検索キーとしての重みを調整するスライダ。
506:正常事例の類似・非類似検索を切り替えるチェックボックス。
507:先頭表示データの検索結果内順位を表示・指定する部品。
508:先頭表示データの検索結果内順位を表示・指定するスライダ。
509:表示データ数を表示・指定する部品。
510:先頭データからの表示を指定するボタン。
511:順位を1画面分前に戻した表示を指定するボタン。
512:順位を1画面分先に進めた表示を指定するボタン。
513:末尾データまでの表示を指定するボタン。
514:検索結果表示用の領域。
515:リスト表示用の領域。
516:画像サイズを指定する部品。
517:リストの桁数を指定する部品。
518:リスト方式の表示を選択するボタン。
519: 2次元散布図方式の表示を選択するボタン。
610:検索キー。
620:検索された異常データ。
710:干渉光画像の異常値画像を表示する部品。
711:干渉光画像の異常値画像の正に振れた値の色を指定するスライダ。
712:干渉光画像の異常値画像の負に振れた値の色を指定するスライダ。
720:回折光画像の異常値画像を表示する部品。
721:回折光画像の異常値画像の正に振れた値の色を指定するスライダ。
723:回折光画像の異常値画像の負に振れた値の色を指定するスライダ。
730:干渉光画像と回折光画像とを混合した画像を表示する部品。
740:色指定を有効化するためのボタン。
750:指定される色が表示されている帯。
760:基準値の色を表示する部品。
761:基準値の色のR成分を指定するスライダ。
762:基準値の色のG成分を指定するスライダ。
763:基準値の色のB成分を指定するスライダ。
764:基準値を白黒濃淡値のみに制約するためのチェックボックス。
770:異常値の差と色空間中の距離を対応付けるスケールを指定するスライダ。
810:検索キー表示領域。
820:2次元散布図表示領域。
831:x軸選択用部品。
832:y軸選択用部品。
833:画像の表示サイズを調整するための部品。
834:表示領域の拡大・縮小用のボタン。
835:表示領域の移動用のボタン。
836:表示順序を反転させるボタン。
910:未分類の異常データ。
1010:未分類の異常データ。
1020:分類された異常データ。
1110:未分類の異常データ。
1120:分類された異常データ。
1130:もう一つの分類された異常データ。
1210:監視カメラ。
1220:サーバ用計算機。
1221:フレーム画像を取得するプログラム。
1222:サーバプログラム。
1223:大容量外部記憶装置。
1230:LAN。
1240:端末用計算機。
1300:フレーム画像。
1301:フレーム画像の蓄積。
1302:蓄積データからのフレーム画像の取り出し。
1303:蓄積データ。
1304:統計量の更新。
1305:統計量A。
1306:統計量Aを用いた統計量Bの更新。
1307:統計量B。
1308:異常値画像の算出処理。
1309:異常値画像。
1310:異常値画像の保存。
1311:ブラウジング用データ。
1312:画像特徴量の抽出。
1313:画像特徴量。
1314:画像特徴量の保存。
1315:画像特徴量データベース。
1401:白黒濃淡画像における統計量の定義。
1402:統計量の更新処理。
1403:データ数の更新。
1404:処理の終了。
1501:新規登録画像に対する処理の開始。
1502:新規登録画像の保存。
1503:新規登録画像の統計量の算出。
1504:正規化画像の構成。
1505:統計量3070の更新。
1506:異常値画像の構成。
1507:異常値画像の保存。
1508:異常値画像からの画像特徴量抽出。
1509:画像特徴量の保存。
1510:処理の終了。
1601:蓄積済み画像に対する処理の開始。
1602:蓄積済み画像の読み出し。
1603:蓄積済み画像の統計量の算出。
1604:正規化画像の構成。
1605:異常値画像の構成。
1606:異常値画像の保存。
1607:異常値画像からの画像特徴量抽出。
1608:画像特徴量の保存。
1609:処理の終了。
1701:色画像における統計量の定義。
1702:統計量の更新処理。
1703:データ数の更新。
1704:処理の終了。
Claims (11)
- 検査対象の撮像画像を逐次入力する入力手段と、
上記入力された撮像画像を記録する第1の記録手段と、
上記第1の記録手段に記憶されている全撮像画像に基づいた平均画像及び2次の統計量画像を算出する第1の算出手段と、
上記算出された平均画像及び2次の統計量画像の情報を記録する第2の記録手段と、
上記入力手段を介して入力される撮像画像の特徴量を、上記第2の記録されている情報を用いて算出する第2の算出手段とを有し、
上記第1の算出手段は繰り返し実行され、上記第2の記録手段に記録される情報を更新することを特徴とする蓄積画像管理装置。 - さらに第3の記憶手段を有し、
上記第1の算出手段は、上記入力手段を介して新たな撮像画像が入力される度に外撮像画像の算出した上記平均画像及び上記2次の統計量画像を算出するために求める情報を上記第3の記録手段に記録し、所定のタイミングで上記第3の記録手段に記録される値から算出した情報上記第2の記録手段に記録することを特徴とする請求項1記載の蓄積画像管理装置。 - 上記第2の算出手段は、上記第1の記憶手段に記憶される撮像画像を読み出して前記特徴量を算出することを特徴とする請求項1又は2に記載の蓄積画像管理装置。
- 上記第2の算出手段は、上記第2の記憶手段記憶される情報を用いて作成した上記入力手段を介して入力される撮像画像の異常値画像を算出し、表示手段に表示させることを特徴とする請求項1乃至3の何れかに記載の蓄積画像管理装置。
- 上記第2の算出手段は、上記異常値画像のデータから上記撮像画像の特徴量を算出し、前記特徴量を用いた上記入力画像の評価を行うことを特徴とする請求項1乃至4の何れかに記載の蓄積画像管理装置。
- 指示手段をさらに有し、
上記指示手段を介して、上記異常値画像の画素データと基準値との差が正及び負である各々場合の、表示色、該色空間中での変位方向、上記画素値と基準値との差と色空間中の距離を対応付ける係数を指定を受け、
表示手段に、上記画素データを上記指定に基づいて変換して表示する個とを特徴とする請求項4又は5に記載の蓄積画像管理装置。 - 上記異常値画像が複数ある場合に、
上記複数の異常値画像各々の対応する画素値を加算して表示手段に表示させることを特徴とする請求項6記載の蓄積画像管理装置。 - 上記入力手段は、上記撮像画像とともに、該撮像対象のカテゴリを示す識別子の入力を受け、
上記識別子ごとに上記撮像画像を分類して上記分類毎に上記処理を行うことを特徴とする請求項1乃至7何れかに記載の蓄積画像管理装置。 - 前記異常値画像の全画素値が0である正常値画像と前記複数の撮像画像の特徴量各々とを比較する手段をさらに有し、表示手段に前記正常値画像との差異が大きい順若しくは小さい順に、又は、上記差異に応じて上記異常値画像を表示することを特徴とする請求項5記載の蓄積画像管理装置。
- 前記入力手段を介して表示手段に表示される複数の異常値画像の指定を受け、
前記表示される異常値画像の前記特徴量を各々、前記異常値画像の全画素値が0である正常値画像及び前記指定された異常値画像の特徴量と比較する手段をさらに有し、
前記指定された異常値画像又は上記正常値画像の何れか類似する方にグループ化して前記異常値画像を表示することを特徴とする請求項5記載の蓄積画像管理装置。 - 指示手段と、表示手段と、異常値画像を記憶した記憶手段とを有するコンピュータに、
上記指示手段を介して、上記異常値画像の画素データと基準値との差が正及び負である各々場合の、表示色、該色空間中での変位方向、上記画素値と基準値との差と色空間中の距離を対応付ける係数を指定を受けるステップと、
上記記憶手段に記憶される異常値画像の画素データを上記指定に基づいて変換するステップと、
上記変換された異常値画像を上記表示手段に表示するステップと、を有することを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002350629A JP2004185259A (ja) | 2002-12-03 | 2002-12-03 | 蓄積画像管理装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002350629A JP2004185259A (ja) | 2002-12-03 | 2002-12-03 | 蓄積画像管理装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004185259A true JP2004185259A (ja) | 2004-07-02 |
JP2004185259A5 JP2004185259A5 (ja) | 2006-01-26 |
Family
ID=32752788
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002350629A Pending JP2004185259A (ja) | 2002-12-03 | 2002-12-03 | 蓄積画像管理装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004185259A (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007164300A (ja) * | 2005-12-09 | 2007-06-28 | Sony Computer Entertainment Inc | 画像表示装置、画像表示方法、プログラム及び情報記憶媒体 |
JP2007334402A (ja) * | 2006-06-12 | 2007-12-27 | Hitachi Ltd | クラスタリングされたベクトルデータを検索するサーバ、システム及び方法 |
US7835579B2 (en) | 2005-12-09 | 2010-11-16 | Sony Computer Entertainment Inc. | Image displaying apparatus that retrieves a desired image from a number of accessible images using image feature quantities |
WO2011092793A1 (ja) * | 2010-01-29 | 2011-08-04 | パナソニック株式会社 | データ処理装置 |
JP2012098191A (ja) * | 2010-11-03 | 2012-05-24 | Waseda Univ | 画像識別装置及びプログラム |
JP2013113612A (ja) * | 2011-11-25 | 2013-06-10 | Anritsu Sanki System Co Ltd | 物品検査装置 |
CN109191449A (zh) * | 2018-09-10 | 2019-01-11 | 广东智媒云图科技股份有限公司 | 一种图片质量评价方法及装置 |
KR20220073640A (ko) | 2020-11-26 | 2022-06-03 | 주식회사 히타치하이테크 | 하전 입자 빔 장치 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0583712A (ja) * | 1991-09-20 | 1993-04-02 | Hitachi Ltd | 画像処理システム及び監視システム |
JPH08244746A (ja) * | 1995-03-08 | 1996-09-24 | Frontier:Kk | 二軸延伸ブロー成形された容器 |
JPH0961365A (ja) * | 1995-08-22 | 1997-03-07 | Olympus Optical Co Ltd | 表面欠陥検査装置 |
JPH09186988A (ja) * | 1995-12-28 | 1997-07-15 | Sony Corp | 動き検出装置および動き検出方法 |
JPH10123064A (ja) * | 1996-10-24 | 1998-05-15 | Hitachi Metals Ltd | 外観検査方法 |
JP2000029885A (ja) * | 1998-07-09 | 2000-01-28 | Hitachi Ltd | 類似画像検索方法および装置 |
JP2000513466A (ja) * | 1996-04-26 | 2000-10-10 | ソーンズ,リチャード.エー. | 無作為に向けられた製品用のカラー・パターン評価システム |
JP2000322573A (ja) * | 1999-05-06 | 2000-11-24 | Canon Inc | 画像処理方法及びその装置 |
JP2001108639A (ja) * | 1999-10-05 | 2001-04-20 | Ricoh Co Ltd | 欠陥検出方法及び欠陥検出装置 |
JP2001156135A (ja) * | 1999-11-29 | 2001-06-08 | Hitachi Ltd | 欠陥画像の分類方法及びその装置並びにそれを用いた半導体デバイスの製造方法 |
JP2001188906A (ja) * | 1999-12-28 | 2001-07-10 | Hitachi Ltd | 画像自動分類方法及び画像自動分類装置 |
JP2001195611A (ja) * | 2000-01-14 | 2001-07-19 | Hitachi Ltd | 仮想3次元的空間におけるオブジェクト表示方法および表示プログラムを記録した媒体 |
JP2002109546A (ja) * | 2000-09-29 | 2002-04-12 | Toshiba Corp | 背景画像の取得方法および装置 |
JP2002145072A (ja) * | 2000-11-10 | 2002-05-22 | East Japan Railway Co | 踏切障害物検知装置 |
-
2002
- 2002-12-03 JP JP2002350629A patent/JP2004185259A/ja active Pending
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0583712A (ja) * | 1991-09-20 | 1993-04-02 | Hitachi Ltd | 画像処理システム及び監視システム |
JPH08244746A (ja) * | 1995-03-08 | 1996-09-24 | Frontier:Kk | 二軸延伸ブロー成形された容器 |
JPH0961365A (ja) * | 1995-08-22 | 1997-03-07 | Olympus Optical Co Ltd | 表面欠陥検査装置 |
JPH09186988A (ja) * | 1995-12-28 | 1997-07-15 | Sony Corp | 動き検出装置および動き検出方法 |
JP2000513466A (ja) * | 1996-04-26 | 2000-10-10 | ソーンズ,リチャード.エー. | 無作為に向けられた製品用のカラー・パターン評価システム |
JPH10123064A (ja) * | 1996-10-24 | 1998-05-15 | Hitachi Metals Ltd | 外観検査方法 |
JP2000029885A (ja) * | 1998-07-09 | 2000-01-28 | Hitachi Ltd | 類似画像検索方法および装置 |
JP2000322573A (ja) * | 1999-05-06 | 2000-11-24 | Canon Inc | 画像処理方法及びその装置 |
JP2001108639A (ja) * | 1999-10-05 | 2001-04-20 | Ricoh Co Ltd | 欠陥検出方法及び欠陥検出装置 |
JP2001156135A (ja) * | 1999-11-29 | 2001-06-08 | Hitachi Ltd | 欠陥画像の分類方法及びその装置並びにそれを用いた半導体デバイスの製造方法 |
JP2001188906A (ja) * | 1999-12-28 | 2001-07-10 | Hitachi Ltd | 画像自動分類方法及び画像自動分類装置 |
JP2001195611A (ja) * | 2000-01-14 | 2001-07-19 | Hitachi Ltd | 仮想3次元的空間におけるオブジェクト表示方法および表示プログラムを記録した媒体 |
JP2002109546A (ja) * | 2000-09-29 | 2002-04-12 | Toshiba Corp | 背景画像の取得方法および装置 |
JP2002145072A (ja) * | 2000-11-10 | 2002-05-22 | East Japan Railway Co | 踏切障害物検知装置 |
Non-Patent Citations (1)
Title |
---|
森 靖英, 廣池 敦, 櫻井 彰人: "ランダムテンプレートを用いた積分特徴量による画像分類手法", 電子情報通信学会論文誌, vol. 80, no. 6, JPN6009006192, 25 June 1997 (1997-06-25), JP, pages 1370 - 1378, ISSN: 0001247796 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007164300A (ja) * | 2005-12-09 | 2007-06-28 | Sony Computer Entertainment Inc | 画像表示装置、画像表示方法、プログラム及び情報記憶媒体 |
US7835579B2 (en) | 2005-12-09 | 2010-11-16 | Sony Computer Entertainment Inc. | Image displaying apparatus that retrieves a desired image from a number of accessible images using image feature quantities |
JP4731303B2 (ja) * | 2005-12-09 | 2011-07-20 | 株式会社ソニー・コンピュータエンタテインメント | 画像表示装置、画像表示方法、プログラム及び情報記憶媒体 |
JP2007334402A (ja) * | 2006-06-12 | 2007-12-27 | Hitachi Ltd | クラスタリングされたベクトルデータを検索するサーバ、システム及び方法 |
WO2011092793A1 (ja) * | 2010-01-29 | 2011-08-04 | パナソニック株式会社 | データ処理装置 |
US8583647B2 (en) | 2010-01-29 | 2013-11-12 | Panasonic Corporation | Data processing device for automatically classifying a plurality of images into predetermined categories |
JP5576384B2 (ja) * | 2010-01-29 | 2014-08-20 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | データ処理装置 |
JP2012098191A (ja) * | 2010-11-03 | 2012-05-24 | Waseda Univ | 画像識別装置及びプログラム |
JP2013113612A (ja) * | 2011-11-25 | 2013-06-10 | Anritsu Sanki System Co Ltd | 物品検査装置 |
CN109191449A (zh) * | 2018-09-10 | 2019-01-11 | 广东智媒云图科技股份有限公司 | 一种图片质量评价方法及装置 |
KR20220073640A (ko) | 2020-11-26 | 2022-06-03 | 주식회사 히타치하이테크 | 하전 입자 빔 장치 |
US11670481B2 (en) | 2020-11-26 | 2023-06-06 | Hitachi High-Tech Corporation | Charged particle beam device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8180161B2 (en) | Image classification device and image classification program | |
US9002072B2 (en) | System for detection of non-uniformities in web-based materials | |
JP5289503B2 (ja) | 医薬及びその他のキャピタルインテンシブ製造プロセスの分析、改善のためのシステム | |
JP6632288B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
Khokher et al. | Content-based image retrieval: Feature extraction techniques and applications | |
CN105518668A (zh) | 基于内容的图像检索 | |
JP2010507139A (ja) | 顔に基づく画像クラスタリング | |
JP2006507558A (ja) | 階層的視覚化を介しての多次元データのビューイング | |
JP4266930B2 (ja) | 製造工程解析支援方法、その方法をコンピュータに実行させるプログラム、プログラムプロダクトおよび記録媒体 | |
US20080089553A1 (en) | Content search method and apparatus | |
JP4948607B2 (ja) | 画像検索装置、画像分類装置及び方法並びにプログラム | |
Tam et al. | Visualization of time‐series data in parameter space for understanding facial dynamics | |
JP2009068946A (ja) | 欠陥分類装置および方法並びにプログラム | |
Zhou et al. | Indexed-points parallel coordinates visualization of multivariate correlations | |
JP5337673B2 (ja) | 画像検索システム | |
JP2004185259A (ja) | 蓄積画像管理装置及びプログラム | |
JP6684777B2 (ja) | 製造物良・不良判定システムおよび製造物良・不良判定方法 | |
US20040057618A1 (en) | Interactive computer aided analysis of images from sensor combinations | |
US20090169117A1 (en) | Image analyzing method | |
JP2006221446A (ja) | 画像検索装置 | |
CN117015812A (zh) | 用于对数据点进行聚类的*** | |
WO1999017250A1 (en) | Image comparing system | |
JP7327984B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
Okhrin et al. | Monitoring image processes: Overview and comparison study | |
Rövid et al. | Thermal image processing approaches for security monitoring applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051201 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051201 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20051201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090413 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090512 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090915 |