JP6310814B2 - 画像処理方法並びにそれを用いた超音波検査方法及びその装置 - Google Patents

Description

本発明は、超音波、若しくはX線等を用いて得られた被検査対象の画像から欠陥を検査する装置に係わり、特に多層構造を有する被検査体の非破壊検査に適した画像処理方法並びにそれを用いた超音波検査方法及びその装置に関する。

被検査対象の画像から欠陥を検査する非破壊検査方法として、被検査対象に超音波を照射してその反射波を検出して作成した超音波画像を用いる方法や、被検査対象にＸ線を照射し試料を透過したＸ線を検出して得られるＸ線画像を用いる方法がある。

一般的に、超音波画像を用いる方法として、多層構造を有する被検査体の欠陥を超音波で検出するには、各層を構成する材料や欠陥の音響インピーダンスの違いによる反射特性を利用する。超音波は液体や固体物質中を伝搬し、音響インピーダンスの異なる物質の境界面や空隙のところで、反射波が生じる。ここで、多層構造を構成するある層の境界面において、この境界面に存在する欠陥からの反射波とこの境界面の欠陥のないところからの反射波ではその強度に違いが生じるため、境界面での反射強度を映像化することで、被検査体内に存在する欠陥が顕在化された画像を得ることができる。

得られた反射強度の画像における欠陥有無の判定は、従来検査員による目視で行われることが多く、検査員の経験の違いなどから評価結果にばらつきが生じる可能性がある。また、検査対象となる半導体、電子部品などは、微細化が進み、欠陥と正常パターンの目視による識別が困難になっていきている。更に、多層構造化も進み、検査すべき境界面、すなわち画像の数も増加し、検査時間も増大している。以上のようなことから、定量的、かつ高速に超音波画像を処理して欠陥を検出することが可能な欠陥検査方法が求められている。

超音波検査画像から自動で欠陥検出を行う従来の技術としては、特開２００７−１０１３２０号公報（特許文献１）に記載の方法がある。これは、超音波検査画像を連続的に生成・表示する機能を有し、各画像において被検査体の表面からの反射波を検出した信号の輝度分布の広がりから欠陥候補を抽出する。そして、欠陥候補の連続出現性の長短から欠陥とノイズを識別する。

更に、特許第５０７５８５０号公報（特許文献２）に記載された方法がある。これは、多層構造を含む被検査体について、超音波の反射エコーに対し、各層での特定周波数を抽出し、欠陥が顕在化された画像を各層について生成・表示する。

特開２００７−１０１３２０号公報 特許第５０７５８５０号公報

被検査体が半導体、電子部品など、複雑パターン、かつ多層構造を有する場合、特許文献１に記載された方法では、ある程度の長さのある欠陥とノイズを識別することは可能であるが、微小な欠陥と正常パターンの区別はつかない。また、連続して表示される画像内で欠陥が認識されたとしても、個々の欠陥に対し、その深さ情報を得ることはできない。

また、特許文献２に記載された方法は、欠陥が顕在化された各層の画像を生成するためには、被検査体について、各層の厚み、音速といった縦構造情報を必要とするが、様々な被検査体に対し、常に縦構造情報が得られるとは限らない。

本発明は、上記した従来技術の課題を解決して、微細、かつ多層構造を含む被検査体に対する超音波検査において、各層に存在する微細な欠陥を認識し、欠陥有無の判別と深さ情報を含む欠陥の位置情報が容易に抽出可能な画像処理方法並びにそれを用いた超音波検査方法及びその装置を提供するものである。

上記した課題を解決するために、本発明では、画像処理方法において、被検査体の内部の深さの異なる複数の位置に対応した複数の断面画像を生成し、この生成した複数の断面画像をそれぞれの断面画像の深さに応じた基準画像と比較して複数の断面画像のそれぞれにおいて欠陥を抽出し、この欠陥を抽出した複数の断面画像を合成して合成画像を作成し、この作成した合成画像に抽出した欠陥の深さ情報を付与して出力するようにした。

また、上記した課題を解決するために、本発明では、超音波検査方法において、被検査体の表面に平行な平面方向に超音波探触子を走査させながら超音波を送信し、被検査体から戻ってくる反射エコー波を超音波探触子で受信し、この受信した反射エコー波から被検査体の内部の断面画像を生成し、この生成した内部断面画像を処理して被検査体の内部欠陥を検査するようにし、断面画像を生成する工程においては、受信した反射エコー波から被検査体の内部の深さの異なる複数の位置に対応した複数の断面画像を生成し、被検査体の内部欠陥を検査する工程においては、生成した複数の断面画像をそれぞれの断面画像の深さに応じた基準画像と比較して複数の断面画像のそれぞれにおいて欠陥を抽出し、この欠陥を抽出した複数の断面画像を合成して合成画像を作成し、この作成した合成画像に抽出した欠陥の深さ情報を付与して出力するようにした。

さらに、上記した課題を解決するために、本発明では、超音波検査装置を、超音波を発信する超音波プローブとこの超音波プローブから発信された超音波により被検査体から発生する反射エコーを検出する探傷器を備えた検出部と、この検出部の反射エコーを検出した探傷器から出力される信号をＡ/Ｄ変換するＡ/Ｄ変換部と、このＡ/Ｄ変換部でデジタル信号に変換された探傷器から反射エコーを検出して出力された信号を処理して被検査体の内部の断面画像を生成してこの生成した内部断面画像を処理して被検査体の内部欠陥を検査する画像処理部とを備えて構成し、画像処理部は、探傷器から反射エコーを検出して出力された信号を処理して被検査体の内部の深さの異なる複数の位置に対応した複数の断面画像を生成する断面画像生成部と、この断面画像生成部で生成した複数の断面画像をそれぞれの断面画像の深さに応じた基準画像と比較して複数の断面画像のそれぞれにおいて欠陥を抽出する欠陥抽出部と、この欠陥抽出部で欠陥を抽出した複数の断面画像を合成して合成画像を作成する合成画像作成部と、この合成画像作成部で作成した合成画像に抽出した欠陥の深さ情報を付与して出力する出力部とを備えて構成した。

本発明によれば、入手困難なことが多い多層構造の被検査体の縦構造情報を不要として、各層ごとの欠陥を検出することを可能にするとともに、検出された深さが異なる位置に存在する欠陥を一括して観察することが可能な画像を出力することができるようになった。

本発明の実施例において検査対象とする多層構造体の正面の断面図である。 本発明の実施例において検査対象とする多層構造体の境界面の複数の観察像の斜視図である。 本発明の実施例において検査対象とする多層構造体の境界面４０４の観察像である。 本発明の実施例において検査対象とする多層構造体の境界面４０３の観察像である。 本発明の実施例において検査対象とする多層構造体のバンプ層４１の観察像である。 本発明の実施例における検査結果を表示する画面の正面図である。 本発明の実施例に係る超音波検査装置の概念を示すブロック図である。 本発明の実施例に係る超音波検査装置の概略の構成を示すブロック図である。 本発明の実施例において検査対象とする多層構造体と超音波プローブとの関係を示す多層構造体の正面の断面図である。 本発明の実施例における超音波検査装置で検出される反射エコーのグラフである。 本発明の実施例において検査対象とする多層構造体の境界面４０２の検査画像及び領域５０１の明るさ調整後の画像と二値化画像である。 本発明の実施例において検査対象とする多層構造体のバンプ層４１の検査画像である。 本発明の実施例に係る超音波検査装置の欠陥候補検出部の構成を示すブロック図である。 本発明の実施例に係る超音波検査装置の欠陥候補検出部の基準画像生成部における処理の流れを示すフロー図である。 本発明の実施例に係る超音波検査装置の欠陥候補検出部の基準画像生成部において複数の検査画像から基準画像を生成する手順を示す図である。 本発明の実施例に係る超音波検査装置の欠陥候補検出部の欠陥確度算出部における処理の流れを示すフロー図である。 本発明の実施例に係る超音波検査装置の欠陥候補検出部の観察像生成部における処理の流れを示すフロー図である。 本発明の実施例の変形例１に係る超音波検査装置で検出される反射エコーのグラフである。 本発明の実施例の変形例１に係る超音波検査装置で検出される複数の観察画像を三次元表示した図である。 本発明の実施例の変形例１に係る超音波検査装置で複数の観察像から検出した欠陥を三次元表示した図である。 本発明の実施例の変形例２に係る超音波検査装置で検出した複数の観察画像と、そのうちの１枚の検査画像について短時間周期のゲートを多数設定して生成した三次元データをＸＺ断面をＹ方向に合成して作成した断面画像である。 本発明の実施例の変形例２に係る超音波検査装置で検出した複数の観察画像をＸＺ断面をＹ方向に合成して作成した断面画像である。 本発明の実施例の変形例２に係る超音波検査装置で検出した複数の観察画像をＹＺ断面をＸ方向に合成して作成した断面画像である。

本発明は、微細、かつ多層構造を含む被検査体を非破壊検査する場合に、各層に存在する微細な欠陥を認識し、欠陥有無の判別と深さ情報を含む欠陥の位置情報を容易に抽出することを可能にしたものである。すなわち、本発明では、非破壊検査装置を、事前キャリブレーションにより各層の基準画像を生成して保持し、被検査体の各層の画像を、対応する基準画像と比較して欠陥候補を検出し、基準画像との比較結果に基づき、各層の画像を重み付け合成し、存在する深さ、欠陥確度に応じて欠陥候補を合成画像上にカラー表示するように構成したものである。

以下に、本発明による非破壊検査を超音波検査装置に適用した場合について説明する。

本発明に係わる非破壊検査における画像処理方法並びに非破壊検査方法及び装置の実施の形態について、図１乃至図９を用いて説明する。まず、被検査対象物として半導体などの多層構造物を対象とした超音波検査装置の実施の形態について説明する。

図２は、本発明に係る超音波検査装置の実施の形態を示す概念図である。本発明に係る超音波検査装置は、検出部１とＡ／Ｄ変換機６、画像処理部７及び全体制御部８を備えている。

検出部１は、超音波プローブ２及び探傷器３を備えて構成される。探傷器３は超音波プローブ２にパルス信号を与えることで、超音波プローブ２を駆動する。探傷器３で駆動された超音波プローブ２は超音波を発生させて被検査対象物（試料５）に出射する。出射された超音波が多層構造を有する試料５に入射すると、試料５の表面、あるいは内部の多層構造における複数の界面から反射エコー４が発生し、反射エコー４は超音波プローブ２で受信され、探傷器３にて必要な処理が施され、反射強度信号に変換される。次に、この反射強度信号はＡ／Ｄ変換器６にてデジタル波形データに変換され、画像処理部７に入力される。

画像処理部７は、画像生成部７−１、欠陥候補検出部７−２、データ出力部７−３を適宜有して構成される。Ａ／Ｄ変換器６から画像処理部７に入力された波形データに対し、画像生成部７−１において、後述する信号変換を行い、デジタル波形データから試料５の特定の層の界面の断面画像を生成する。欠陥候補検出部７−２は画像生成部７−１で生成された特定の層の界面の画像から、後述する処理を行い、この特定の層の界面に存在する欠陥候補を検出する。データ出力部７−３では、欠陥候補検出部７−２で検出された欠陥候補個々の情報や観察画像など検査結果として出力するデータを生成し、全体制御部８に出力する。

次に、図２に示す構成を実現する具体的な超音波検査装置１００の一構成例の模式図を図３に示す。図３において、１０はＸ,Ｙ,Ｚの直交３軸の座標系を示している。

図３の１は、図２で説明した検出部１に相当する。検出部１に含まれる１１はスキャナ台、１２はスキャナ台１１の上に設けられた水槽、１３はスキャナ台１１上で水槽１２を跨ぐように設けられたＸ、Ｙ、Ｚ方向の移動が可能なスキャナである。スキャナ台１１はほぼ水平に設置された基台である。水槽１２には水１４が点線で示す高さまで注入されており、水槽１２の底部（水中）に試料５が置かれている。試料５は、例えば多層構造、または積層構造等を含む半導体パッケージである。水１４は、超音波プローブ２の下端の開口面２１から出射された超音波を、試料５の内部に効率的に伝搬せるために必要な媒体である。１６はメカニカルコントローラであり、スキャナ１３をＸ、Ｙ、Ｚ方向に駆動する。

試料５に対して、超音波プローブ２は、下端の開口面２１である超音波出射部から超音波を送出し、試料５から戻ってきた反射エコーを開口面２１で受信する。超音波プローブ２は、ホルダ１５に取り付けられており、メカニカルコントローラ１６で駆動されるスキャナ１３によってＸ、Ｙ、Ｚ方向に自在に移動可能となっている。これにより、超音波プローブ２はＸ、Ｙ方向に移動しながら試料５の事前に設定された複数の測定点で反射エコーを受信し、測定範囲（ＸＹ平面）内の各層ごとの界面の映像を二次元画像として得て、欠陥を検査することができる。超音波プローブ２はケーブル２２を介し、反射エコーを反射強度信号に変換する探傷器３と接続されている。

超音波検査装置１００は、更に、検出部１の探傷器３から出力された反射強度信号をデジタル波形に変換するＡ／Ｄ変換器６と、このＡ／Ｄ変換機６でＡ／Ｄ変換された画像信号を処理する画像処理部７と、検出部１とＡ／Ｄ変換器６と画像処理部７とを制御する全体制御部８と、メカニカルコントローラ１６を備えて構成される。

画像処理部７は、Ａ／Ｄ変換機６でＡ／Ｄ変換された画像信号を処理して試料５の内部欠陥を検出するものである。画像処理部７は、画像生成部７−１、欠陥候補検出部７−２、データ出力部７−３、パラメータ設定部７−４を備えている。

画像生成部７−１は、予め設定された試料５の測定範囲において表面、及び、各境界面等から戻ってきて超音波プローブ２で受信された反射エコーをＡ／Ｄ変換機６でＡ/Ｄ変換して得られるデジタルデータから画像を生成する。欠陥候補検出部７−２は、画像生成部７−１で生成した画像を処理して内部欠陥を顕在化、もしくは検出する。データ出力部７−３は、欠陥候補検出部７−２で内部欠陥を顕在化もしくは検出した検査結果を出力する。パラメータ設定部７−４は、外部から入力される測定条件などのパラメータを受け付け、欠陥候補検出部７−２およびデータ出力部７−３へセットする。そして、画像処理部７において例えばパラメータ設定部７−４はデータベース１７と接続されている。

全体制御部８は、各種制御を行うＣＰＵ（全体制御部８に内蔵）を備え、ユーザからのパラメータなどを受け付けると共に、画像処理部７で検出された欠陥候補の画像、欠陥数、欠陥個々の座標や寸法などの情報を表示する表示手段と入力手段を持つユーザインターフェース部（ＧＵＩ部）１７及び画像処理部７で検出された欠陥候補の特徴量や画像等を記憶する記憶装置１８を適宜接続している。メカニカルコントローラ１６は、全体制御部８からの制御指令に基づいてスキャナ１３を駆動する。尚、画像処理部７、探傷器３等も全体制御部８からの指令により駆動される。

図４Ａに試料５の一例として、被検査体４００の構成を示す。図４Ａの被検査体４００は、主な検査対象となる多層構造を含む半導体パッケージ（被検査体）の縦構造を模式的に示した例である。被検査体４００は最下層の基板４０の上にバンプ４１を介して、４つの層４２，４３，４４，４５が積層されて生成されている。

被検査体４００の表面４０５に超音波プローブ２から出射された超音波４６が入射すると、超音波４６は被検査体４６の内部で伝達されて、表面４０５と３つの界面４０２，４０３，４０４、及びバンプ層４１などから各層の材質が異なることに伴う音響インピーダンスの違いにより反射波が生じ、これらが１つの反射エコーとして超音波プローブ２で受信される。

図４Ｂのグラフ４７は超音波プローブ２で受信した被検査体４００からの反射エコーの一例であり、横軸は時間、縦軸は反射強度である。時間は被検査体４００の深さを示すものである。このグラフ４７において、観察したい層からの反射エコーが検出される時間が含まれるような時間領域に映像化ゲート４８（以下、単にゲート４８と記す）をかけることにより、所望の時間領域を切り出し、ゲート４８内のピーク値を検出する。

画像処理部７の画像生成部７−１は、メカニカルコントローラ１６でスキャナ１３を駆動することにより測定範囲（ＸＹ平面）内で超音波プローブ２を走査して得られる各波形から映像化ゲート４８内のピーク値を検出し、濃淡値に変換（例えば、２５６階調の画像を生成する場合、０〜２５５）することで、内部の検査画像を生成する。

ここで、検査対象が被検査体４００のような多層構造体であって、検査すべき界面が複数（４０２、４０３、４０４、４１など）ある場合、反射エコーのグラフ上で各界面に対応する位置にそれぞれゲート４８を設定して、それぞれの界面に対応する検査画像を各々生成する。

図５Ａ及び図５Ｂはその一例の概念図である。図５Ａの画像５０は界面４０２から得られた画像、図５Ｂの画像５１はバンプ層４１から得られた画像を模式的に示したものである。図５Ａの画像５０は図５Ｂの画像５１に比べて全体に暗い。このため、欠陥有無などを画面上に表示した画像を目視で観察して判定する場合、明るさの調整を行う必要がある。また、ユーザは図５Ａの画像５０と図５Ｂの画像５１といったように、複数の界面の画像を観察する必要がある。

画像５２は、明るさ調整後の観察画像５０の破線５０１で囲まれた領域に対応する画像である。白いパターンは剥離欠陥５３を示す。画像５２には、剥離欠陥５３と同程度の輝度値をもつ正常パターン５４が存在する。

画像５５は画像５０を特定のしきい値で二値化した場合の破線５０１で囲まれた領域に対応する画像である。画像５５の白で示す部分が欠陥として検出されたものであるが、剥離欠陥５３１と正常パター５４１が一緒に検出される。

このように、対象が多層構造をもつ場合、各層の境界面に対応する観察すべき画像（境界面）が複数になり、従来の方式ではユーザはそれを画面上に各々並べて、もしくは切り替えて表示して観察する必要があり、時間を要すことになる。また、各境界面の画像個々に対して、欠陥と正常パターンを経験によって識別する必要があるが、対象が微細、かつ複雑なパターンを有する場合、正常パターンと微小な欠陥の目視による識別が困難になってきている。

これに対し、本実施例による超音波検査装置１００では、複数の境界面について、欠陥の有無が一括で認識可能な観察像を生成し、表示する。その概念図を、図１Ａ乃至図１Ｆに示す。図１Ａの被検査体４００は、図４Ａで示した多層構造をもつ被検査体４００の断面図である。図１Ｂの１００は各境界面に対応する観察像を実際の境界面の表面４０５からの深さに応じて３次元的に示したものであり、１０１、１０３、１０４はそれぞれバンプ層４１、境界面４０３、４０４の断面画像である。各断面画像１０１，１０３，１０４はベースとなる明るさが大きく異なる。また、それぞれに欠陥１０２，１０５，１０６が存在する。本実施例では、まず、各断面画像に対し、自動で欠陥候補（欠陥確度が高い領域）を抽出する。

図１Ｃの画像１０７，図１Ｄの画像１０８、図１Ｅの画像１０９は、それぞれ図１Ｂの断面画像１０４、１０３，１０１に対して後述する欠陥確度を算出し、濃淡で表示した画像である。欠陥確度が高いほど明るくなっており、図１Ｃの領域１０２、図１Ｄの領域１０５、図１Ｅの領域１０６は、それぞれ欠陥候補として認識されていることを示す。これにより、断面個々の欠陥を顕在化する。

図１Ｆは、検査の結果を出力する画面１２０の例を示す図で、出力画面１２０上には、合成観察像１１０と欠陥情報１１１としての欠陥の座標データが表示される。合成観察像１１０は、各層で行う欠陥抽出結果を合成して出力される各層の境界面の画像を合成した観察像の一例である。図１Ｂのバンプ層観察像１０１に、各断面画像１０１，１０３，１０４から検出した欠陥候補（図１Ｃの領域１０２，図１Ｄの領域１０５，図１Ｅの領域１０６）を欠陥確度に応じて合成し、検出された層に応じて、色付け（ここでは色の違いを網掛けパターンの違いで示している）して出力、表示する。

図１Ｆの欠陥情報１１１は、合成観察像１１０とともに出力、表示される欠陥の位置情報(座標情報)である。各欠陥に対し、Ｘ，Ｙ，Ｚの三次元座標情報を出力する。欠陥情報１１１としては、三次元座標情報のほかに、後述する欠陥の確度情報や、欠陥の面積や寸法などの情報を表示してもよい。

次に、画像処理部７の欠陥候補検出部７−２で行われる処理の構成について説明する。図６は、図３に示した、多層構造の被検査体４００の欠陥観察像を生成する画像処理部７の欠陥候補検出部７−２の構成の例である。欠陥候補検出部７−２は、大きく分けて，基準画像生成部６０１，欠陥確度算出部６０２，観察像生成部６０３、欠陥情報出力部６０４を備えて構成される。

まず，図１Ｃ乃至図１Ｅのような断面像を生成する条件として、図４Ｂで説明したゲート４８の位置（断面の深さ）、ゲート４８の数（断面の枚数）などの画像生成レシピ６００が入力されると、基準画像生成部６０１において、設定されたゲート毎の基準画像６１、及びしきい値画像６２を生成する。これは、試料の検査、観察を行う際、事前に行っておく前処理である。基準画像は、欠陥を含まない断面画像のことである。

図７Ａ及び図７Ｂに、基準画像生成部６０１で実行する基準画像生成方法の一例を示す。入力は前述の画像生成レシピ６００である。

始めに、同品種の複数個の試料から、レシピで設定したゲート４８により、各試料の同じ境界面の複数毎の断面画像を生成する（Ｓ７００）。図１Ａに示した試料である被検査体４００に対し、図４Ｂで説明したような反射エコーのグラフ上で映像化ゲート４８の位置を、図１Ａ（図４Ａ）の界面４０３に相当する位置に設定されたとすると、同品種の複数個の試料から、図１Ｂの断面画像１０３に対応する画像として、図７Ｂに示すような断面画像１０３ａ、１０３ｂ、１０３ｃ、…、を生成する。この状態では、各断面画像に欠陥（白で表示）が含まれている。

また、各断面画像は、メカニカルコントローラ１６でスキャナ１３を駆動して走査時の画像の取得位置の微妙な違い（サンプリング誤差）による，パターンの位置のずれも生じている可能性がある（図７Ｂにおいて、黒い背景１０３１に対し、縦縞ハッチ１０３２の位置の違いで図示）。このため，各断面画像１０３ａ、１０３ｂ、１０３ｃ、…の位置の補正、すなわち黒い背景１０３１に対する縦縞ハッチ１０３２の位置を算出し、全断面画像で背景１０３１に対する縦縞ハッチ１０３２の領域の相対位置を統一する（Ｓ７０１）。

Ｓ７０１における位置補正量の算出は、断面画像を１つ特定し、特定した画像と、補正対象となる、それ以外の断面画像の間で、補正対象の断面画像をずらしながら、特定画像との間で輝度差の二乗和が最小になるずれ量を求める、もしくは、正規化相関係数が最大となるずれ量を求め、求めたずれ量だけ断面画像を補正する方法等が一般的である。図７Ｂの断面画像７０３ａ、７０３ｂ、７０３ｃ、…は、Ｓ７０１で位置補正後の断面画像である。

次に、位置補正後の断面画像７０３ａ、７０３ｂ、７０３ｃ…から統計量を画素毎に算出し、基準画像７０５を生成する（Ｓ７０２）。その一例としては，全画素を対象として，複数断面画像間の対応する座標の画素値（輝度値）を収集し，（数１）の通り，統計的に各画素の輝度値を決定する。これにより，欠陥の影響を排除した基準画像７０５を生成する。

S(x,y)＝Median｛fa(x,y),fb(x,y),fc(x,y),…｝ …（数１)
Median：断面画像の輝度値の中央値（メディアン）を出力する関数
S(x,ｙ)：基準画像７０５の輝度値
f_*(x,y)：位置補正後の断面画像７０３a、７０３ｂ、…、７０３*の輝度値
なお，統計的な処理として，（数２）の通り、複数断面画像間の対応する座標の画素値の平均値を基準画像の輝度値としてもよい。

S(x,y)＝Σ｛f_*(x,y)｝/N …（数２）
N：断面画像数
次に、欠陥候補となる画素を抽出するためのしきい値を画素毎に演算し、しきい値画像７０６を生成する（Ｓ７０３）。その例としては、（数３）の通り、複数断面画像間の対応する座標の画素値の分散値に係数αを乗算したものに、基準画像７０５の輝度値Ｓ(ｘ,ｙ)を加算した値をしきい値T(x,y)とする。
T(x,y)＝S(x,y)+α×（[Σ{ｆ_*(x,y)^２}−{Σｆ(x,y)}^２／N]／（N−１））
α：係数 …（数３）
本例では、しきい値を画素毎に算出する例について説明したが、当然、全画素について、同一のしきい値を設定してもよいし、領域毎に設定してもよい。また、（数３）のように実試料の画像から統計的にしきい値を算出する以外にも、ユーザが経験値をしきい値として設定してもよい。これは検査レシピとして事前に設定してもよいし、各検査対象となる断面画像から算出してもよい。

以上、欠陥が排除された基準画像７０５を、複数の試料の断面画像から生成する例を説明したが、欠陥がないことが保証された良品の試料の断面画像を生成し、基準画像としてもよい。また、設計データを用いて基準画像を生成してもよい。さらに、設計データと複数の試料の断面画像とを用いて生成してもよい。

基準画像７０５は、ゲート４８が複数設定された場合、同様にして、設定されたゲート４８の数だけ生成、保持する。図１Ｂの断面画像に示すように、図１Ａで示した被検査体４００では、界面４０４、バンプ層４１にもゲート４８が設定されている。この場合、それぞれに対応する基準画像を生成する。以上に説明した基準画像生成部６０１における処理は、被検査体４００の欠陥検査、観察を開始する前に、事前に一度、行っておく。

図６に示した欠陥候補検出部７−２の例では、上記の通り基準画像生成部６０１にて事前に生成して、保持された各断面の基準画像６１、及びしきい値画像６２を用いて、欠陥確度算出部６０２において、被検査体４００において基準画像６１に対応する断面の断面画像６０から欠陥確度を算出し、欠陥候補を抽出する。

図８に、欠陥確度算出部６０２の処理の一例を示す。入力は、基準画像生成部６０１において事前に生成された基準画像６１、しきい値画像６２と、欠陥有無の検査対象となる被検査体４００の基準画像６１に対応する断面の断面画像６０である。まず、検査対象となる被検査体４００の断面画像６０と、それに対応する基準画像６１で位置の照合を行う（Ｓ８００）。これは、前述の通り、スキャナ１３を走査時の画像取得位置の違いを基準画像６１と断面画像６０の間で合せるためで補正ある。

位置補正を行った基準画像６１と断面画像６０について、更に、必要に応じて明るさの照合を行う（Ｓ８０１）。試料である被検査体４００が多層膜でできている場合、試料間で各層の厚みの違いに起因して、画像間には大きな明るさの違いが生じる可能性があり、二枚の画像を比較して欠陥を検出する際にノイズとなる。そこで、明るさの違いによるノイズが発生しないように、明るさの照合（画像間の明るさが一致するように一方の明るさを他方の明るさに合わせて補正）を行う。その方法の一例として、ここでは、最小二乗近似により、断面画像６０の明るさを基準画像６１の明るさに補正して合せる場合を示す。

断面画像６０と基準画像６１の対応する画素f(x,y)、g(x,y)について、（数４）に示す線形関係があると仮定し、（数５）が最小となるようにａ、ｂを算出し、これを補正係数ｇａｉｎ、ｏｆｆｓｅｔとするものである。そして、明るさ補正対象となる断面画像６０の全画素値f (x,y)に対して、（数６）の通りに明るさの補正を行う。

g(x,y)＝a＋b・f(x,y) …（数４）

f’(x,y))＝gain・f(x,y)＋offset …（数６）
次に、断面画像６０の各画素について、欠陥確度を算出する（Ｓ８０２）。欠陥確度の例としては、正常時の見え方、すなわち基準画像６１の輝度値からの乖離の程度を示す値d(x,y)で定義し、（数７）の通りに算出する。

d(x,y)＝f’(x,y)−g(x,y) …(数７)
そして、各画素について、しきい値画像と（数７）で算出した欠陥確度d(x,y)を比較して、欠陥候補の画素を抽出するしきい値判定を行う（Ｓ８０３）。しきい値判定は以下の通り、欠陥確度d(x,y)がしきい値T(x,y)以上の場合、しきい値T(x,y)からの乖離をしきい値判定後の欠陥確度p(x,y)とする。しきい値判定前の欠陥確度ｄ(x,y)がしきい値より小さい場合は、非欠陥と判断し、しきい値判定後の欠陥確度＝０とする。

p(x,y)＝d(x、y)−T(x,y)（if d(x、y)≧T(x,y)）
p(x,y)＝0 （if d(x、y)＜T(x,y)） …(数８)
なお、上記は基準値より明るい画素を欠陥候補として抽出する例を示したが、基準値より暗い画素を欠陥候補として抽出する場合も同様の考え方でしきい値判定後の欠陥確度を定義することができる。そして、（数８）による欠陥候補抽出結果を欠陥候補画像８０として保持する。

最後に、欠陥候補の画素について、最終的に欠陥か否かを判断するための欠陥特徴を算出する（Ｓ８０４）。欠陥の特徴は、一つ又は複数種であって、その画素の特徴を表すものであればいずれでもよい。その一実施例としては、コントラスト（数９）、基準値との濃淡差（数１０）、近傍画素の明るさ分散値（数１１）、相関係数、近傍画素との明るさの増減、２次微分値等、がある。そして、何れかの特徴量について、予め設定した基準値を超えるものを、欠陥として抽出する。

コントラスト；max{ｆ(x,y)、ｆ(x+1,y)、ｆ(x,y+1)、ｆ(x+1,y+1)}
- min{ｆ(x,y)、ｆ(x+1,y)、ｆ(x,y+1)、ｆ(x+1,y+1) …（数９）
濃淡差； ｆ(x,y)−ｇ(x,y) …（数１０）
分散； [Σ{ｆ(x+i,y+j)^２}−{Σｆ(x+i,y+j)}^２／Ｍ]／（Ｍ−１）
i,j＝-1、0、1 Ｍ＝９ …（数１１）
以上に説明した欠陥確度算出部６０２における処理は、ゲート４８が複数設定され、検査すべき境界面が複数ある場合、それぞれの境界面毎に実施される。

次に、観察像生成部６０３において、抽出された各断面の欠陥を合成した一枚の観察像を生成し、インターフェース部１７の画面上に表示する。

図９に観察像生成部６０３における観察像生成方法の一例を示す。観察像生成部６０３への入力は、欠陥確度算出部６０２で抽出された各界面断面画像の欠陥候補画像９０ａ，９０ｂ、…、及びベース画像９１である。

欠陥候補画像９０a,９０ｂ、…は、図８の欠陥確度算出部６０２における処理で説明したＳ８０３のしきい値判定のステップで抽出された欠陥候補画像８０の中に含まれる画像である。

ベース画像９１は、複数の境界面のうちの一つの境界面の断面画像であり、事前に画像生成レシピ６００に設定する。例えば、図１Ａの被検査体４００において、境界面４０２，４０３，４０４は欠陥の有無がわかればよいが、バンプ層４１はバンプの個々の状態を観察したいといった場合に、図１Ｂに示すバンプ層４１の断面画像１０１をベース画像とし、そこに、境界面４０２、４０３、４０４の断面画像から抽出した欠陥を統合する。つまり、ベース画像９１にはその境界面の正常パターンも含まれ、表示されることになる。当然、ベース画像９１は設定されていなくてもよい。

観察像生成の手順としては、観察像生成部６０３において、まず、各欠陥候補画像９０ａ、９０ｂ、…の欠陥確度を（数１２）の通り、ベース画像に加算し（Ｓ９０１）、合成観察像９２を生成する。同時に、層毎の重みα、β、…は事前に画像生成レシピ６００に設定する。

Ｉ(x,y)＝B(x,y)+α×p1(x,y)+ β×p2(x,y)＋… …（数１２）
I(x,y)：合成観察像
B(x,y)：ベース画像
p1(x,y)、p2(x,y)、・・：欠陥候補画像
α、β、・・：重み
更にα、β、…に色設定を行うことで、欠陥候補が抽出された境界面によって（表面４０５からの深さに応じて）カラー表示設定を行う（Ｓ９０２）。これにより、ベース画像（ここではバンプ層の断面像）に、各境界面から抽出された欠陥を欠陥確度に応じて合成し、更に検出された境界面の表面４０５からの深さに応じて色づけした、図１Ｆに示したような合成観察像１１０を生成する。更に、欠陥情報として、各欠陥の確度、面積、寸法（横×高さ）など欠陥を表すと特徴とともに、欠陥座標１１１を抽出し、出力する。欠陥座標１１１は、スキャナ１３の走査範囲内でのＸ,Ｙ座標に加え、検出されたゲートを深さに換算したＺ座標を含む。

そして、これらの合成観察像１１０、欠陥座標１１１を含む欠陥特徴を欠陥情報出力部６０４において、ユーザインターフェース部１７へ出力し、ディスプレイなどに表示される。

上記の超音波検査装置１００の例では、複数の測定点で得られた反射エコーに基づき、内部構造を映像化して高さ（深さ）が異なる複数の位置での内部平面画像を作成し、当該内部平面画像を合成した合成観察像１１０が作成されるので、一つの画面上で高さ（深さ）が異なる複数の位置での欠陥等の不具合部位を検査（または計測）することができる。

［変形例１］
更に、本実施例は内部平面画像から欠陥を検査するだけに限らず、内部の構造を三次元表示して検査、解析をする際にも効果的である。その一例を、図１０Ａ乃至図１０Ｃを用いて説明する。

図１０Ａの１００２は、図１で示した多層構造の被検査体４００の反射エコーのグラフ１００１に対し、短時間周期のゲート４８を多数設定した例を示している。図１０Ｂの１００３は、図１０Ａの多数のゲート１００２の各ゲート４８のピーク値を、強度に応じて色付けし、三次元座標内にプロットしたピーク値の集合体の例で、内部構造の三次元情報となる。楕円で囲んだ点群１００４、１００５は欠陥を示す。

対象が薄い多層構造で、かつ、複雑なパターン構造を三次元表示すると、欠陥がパターンと重なったり、パターンの影になったりするため、視点を変えながら観察する必要がある。これに対し、本実施例による三次元表示では、欠陥を顕在化して一目で観察することが可能である。これは、上記説明した欠陥候補検出部７−２において、各ゲートの断面画像から欠陥候補を抽出し、欠陥候補画像を生成し、その値のみを三次元座標内にプロットすることで内部欠陥の三次元観察像を生成、表示することで行う。

図１０Ｃの立体領域１００６は、その例である。正常パターンからの反射エコーは除外され、図１０Ｂに示した欠陥１００４及び１００５に対応する欠陥１００４と１００５のみが表示される。図１０Ｃで１００７は正常パターンの影に隠れていた欠陥を示す。このように三次元観察像においても正常パターンの影響を排除し、内部欠陥の位置（深さを含む）や形状の観察を容易にする。

[変形例２]
本実施例の第２の変形例としては、各界面の断面像の合成、すなわち、上記した実施例において説明した欠陥情報のＺ方向の合成に加え、欠陥情報をＸ方向、Ｙ方向に合成して一枚の観察像として表示することも可能である。

図１１Ａ乃至図１１Ｃに本変形例を示す。図１１Ａにおいて１１００は、多層構造をもつ被検査体４００の各境界面に対応する観察像を実際の界面の深さに応じて３次元的に示したものであり（図１Ｂの１００に対応）、１１０１、１１０２、１１０３はそれぞれ断面画像、１１０４〜１１０８はそれぞれ欠陥である。

図１１Ａの観察像１１１０は、断面１１０１の深さの近辺で短時間周期のゲート４８を多数設定し、上記の通りに三次元データを生成し、視点をＸＺ断面に合せた像である。この観察像１１１０では、断面画像１１０１内の欠陥１１０７と同じＹ座標上にある欠陥１１０６は欠陥１１０７に隠れて観察できないため、全欠陥を観察するには、視点を動かしながら正常パターンや他の欠陥の影に隠れた欠陥を観察する必要がある。

これに対し、本変形例では、まずゲート４８の断面画像１１０１，１１０２，１１０３から欠陥のみを抽出し、その欠陥確度のみを三次元座標内にプロットし、それをＸ軸方向、Ｙ軸方向にも合成可能である。図１１Ｂの１１１１はＸＺ断面をＹ方向に合成した断面画像、図１１Ｃの１１１２はＹＺ断面をＸ方向に合成した断面画像である。各欠陥を一枚の画像の中で観察が可能となり、そのＸ，Ｙ、Ｚ方向の寸法や欠陥同士の位置関係も容易に認識可能となる。

以上、本発明による非破壊検査の一実施例を、半導体などの多層構造物を対象とした超音波検査装置における欠陥検査を例にとって説明したが、Ｘ線式欠陥検査装置など内部欠陥を対象とした欠陥検査にも適用可能である。また、検査の手法として、目視検査のための観察像生成にとどまらず、自動検査にも適用が可能である。

１…検出部 ２…超音波プローブ ３…探傷器 ４…反射エコー ５…試料 ６…Ａ／Ｄ変換器 ７…画像処理部 ７−１…画像生成部 ７−２…欠陥候補検出部 ７−３…データ出力部 ８…全体制御部 １１…スキャナ台 １２…水槽 １３…スキャナ １５…ホルダ １６…メカニカルコントローラ １７…データベース １００…超音波検査装置。

Claims (11)

1. 被検査体の内部の深さの異なる複数の位置に対応した複数の断面画像を生成し、
   該生成した複数の断面画像をそれぞれの断面画像の深さに応じた基準画像と比較して前記複数の断面画像のそれぞれにおいて欠陥を抽出し、
   該欠陥を抽出した複数の断面画像を合成して合成画像を作成し、
   該作成した合成画像に前記抽出した欠陥の深さ情報を付与して出力し、
   前記欠陥を抽出することを、前記生成した複数の断面画像とそれぞれの断面画像の深さに応じた基準画像との位置を合わせ、該位置を合せた断面画像と基準画像との明るさを合せ込み、該明るさを合せ込んだ断面画像と基準画像とを比較して欠陥候補を抽出し、該抽出した欠陥候補について特徴量を求め、該求めた特徴量に基づいて欠陥を抽出することを特徴とする画像処理方法。
2. 請求項１記載の画像処理方法であって、前記抽出した欠陥の深さ情報として、該深さに応じて前記欠陥の色を変えて画面上に出力することを特徴とする画像処理方法。
3. 請求項１記載の画像処理方法であって、前記抽出した欠陥の深さ情報として、該欠陥の３次元の座標情報を前記作成した合成画像とともに出力することを特徴とする画像処理方法。
4. 被検査体の表面に平行な平面方向に超音波探触子を走査させながら超音波を送信し、前記被検査体から戻ってくる反射エコー波を前記超音波探触子で受信し、該受信した反射エコー波から前記被検査体の内部の断面画像を生成し、該生成した内部の断面画像を処理して前記被検査体の内部欠陥を検査する超音波検査方法であって、
   前記断面画像を生成する工程において、前記受信した反射エコー波から前記被検査体の内部の深さの異なる複数の位置に対応した複数の断面画像を生成し、
   前記被検査体の内部欠陥を検査する工程において、
   前記生成した複数の断面画像をそれぞれの断面画像の深さに応じた基準画像と比較して前記複数の断面画像のそれぞれにおいて欠陥を抽出し、
   該欠陥を抽出した複数の断面画像を合成して合成画像を作成し、
   該作成した合成画像に前記抽出した欠陥の深さ情報を付与して出力し、
   前記欠陥を抽出することを、前記生成した複数の断面画像とそれぞれの断面画像の深さに応じた基準画像との位置を合わせ、該位置を合せた断面画像と基準画像との明るさを合せ込み、該明るさを合せ込んだ断面画像と基準画像とを比較して欠陥候補を抽出し、該抽出した欠陥候補について特徴量を求め、該求めた特徴量に基づいて欠陥を抽出することを特徴とする超音波検査方法。
5. 請求項４記載の超音波検査方法であって、前記抽出した欠陥の深さ情報として、該深さに応じて前記欠陥の色を変えて画面上に出力することを特徴とする超音波検査方法。
6. 請求項４記載の超音波検査方法であって、前記抽出した欠陥の深さ情報として、該欠陥の３次元の座標情報を前記作成した合成画像とともに出力することを特徴とする超音波検査方法。
7. 請求項４乃至６の何れかに記載の超音波検査方法であって、前記受信した反射エコー波から前記被検査体の深さの異なる複数の位置に対応した複数の断面画像を生成することを、前記受信した反射エコー波に対して複数の領域に映像化ゲートをかけ、該映像化ゲートをかけたそれぞれの領域の反射エコー波を処理して得られる複数の画像を前記映像化ゲートをかけたそれぞれの領域の反射エコー波に対応する深さの前記被検査体の複数の断面画像として生成することを特徴とする超音波検査方法。
8. 超音波を発信する超音波プローブと該超音波プローブから発信された超音波により被検査体から発生する反射エコー波を検出する探傷器を備えた検出部と、
   該検出部の前記反射エコー波を検出した探傷器から出力される信号をＡ/Ｄ変換するＡ/Ｄ変換部と、
   該Ａ/Ｄ変換部でデジタル信号に変換された前記探傷器から前記反射エコー波を検出して出力された信号を処理して前記被検査体の内部の断面画像を生成して該生成した内部断面画像を処理して前記被検査体の内部欠陥を検査する画像処理部とを備えた超音波検査装置であって、
   前記画像処理部は、前記探傷器から前記反射エコー波を検出して出力された信号を処理して前記被検査体の内部の深さの異なる複数の位置に対応した複数の断面画像を生成する断面画像生成部と、
   該断面画像生成部で生成した前記複数の断面画像をそれぞれの断面画像の深さに応じた基準画像と比較して前記複数の断面画像のそれぞれにおいて欠陥を抽出する欠陥抽出部と、
   該欠陥抽出部で欠陥を抽出した前記複数の断面画像を合成して合成画像を作成する合成画像作成部と、
   該合成画像作成部で作成した合成画像に前記抽出した欠陥の深さ情報を付与して出力する出力部とを備え、
   前記欠陥抽出部は、前記欠陥を抽出することを、前記検出した複数の断面画像とそれぞれの断面画像の深さに応じた基準画像との位置を合わせ、該位置を合せた断面画像と基準画像との明るさを合せ込み、該明るさを合せ込んだ断面画像と基準画像とを比較して欠陥候補を抽出し、該抽出した欠陥候補について特徴量を求め、該求めた特徴量に基づいて欠陥を抽出することを特徴とする超音波検査装置。
9. 請求項８記載の超音波検査装置であって、前記出力部は、前記抽出した欠陥の深さ情報として、該深さに応じて欠陥の色を変えて画面上に出力することを特徴とする超音波検査装置。
10. 請求項８記載の超音波検査装置であって、前記出力部は、前記抽出した欠陥の深さ情報として、該欠陥の３次元の座標情報を前記作成した合成画像とともに出力することを特徴とする超音波検査装置。
11. 請求項８乃至１０の何れかに記載の超音波検査装置であって、前記断面画像生成部は、前記探傷器から前記反射エコー波を検出して出力された信号から前記被検査体の深さの異なる複数の位置に対応した複数の断面画像を生成することを、前記探傷器から前記反射エコー波を検出して出力された信号に対して複数の領域に映像化ゲートをかけ、該映像化ゲートをかけたそれぞれの領域の反射エコー波を処理して得られる複数の画像を前記映像化ゲートをかけたそれぞれの領域の反射エコー波に対応する深さの前記被検査体の複数の断面画像として生成することを特徴とする超音波検査装置。

Images