JP2009162596A - Method of supporting image confirmation work and substrate inspection apparatus utilizing x ray using the same - Google Patents
Method of supporting image confirmation work and substrate inspection apparatus utilizing x ray using the same Download PDFInfo
- Publication number
- JP2009162596A JP2009162596A JP2007341522A JP2007341522A JP2009162596A JP 2009162596 A JP2009162596 A JP 2009162596A JP 2007341522 A JP2007341522 A JP 2007341522A JP 2007341522 A JP2007341522 A JP 2007341522A JP 2009162596 A JP2009162596 A JP 2009162596A
- Authority
- JP
- Japan
- Prior art keywords
- image
- ray
- generated
- image data
- plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
この発明は、部品実装基板を対象にしたＸ線断層撮影により生成された断層画像を確認する作業をコンピュータにより支援する方法、およびこの方法が用いられたＸ線利用の基板検査装置に関する。 The present invention relates to a method for assisting a computer to confirm a tomographic image generated by X-ray tomography for a component mounting board, and an X-ray-based board inspection apparatus using the method.
Ｘ線断層撮影は、部品本体と基板との間のはんだ電極や、ＩＣのリードの裏側に形成されるフィレット（バックフィレット）など、外観検査が困難な箇所を検査する用途に適している。この種の検査のための断層撮影の具体的な手法として、Ｘ線ＣＴを用いた方法（特許文献１参照。）、およびトモシンセシスの原理を用いた方法（特許文献２参照。）が知られている。 X-ray tomography is suitable for use in inspecting places where appearance inspection is difficult, such as a solder electrode between a component main body and a substrate and a fillet (back fillet) formed on the back side of an IC lead. As a specific method of tomography for this type of inspection, a method using X-ray CT (see Patent Document 1) and a method using the principle of tomosynthesis (see Patent Document 2) are known. Yes.
トモシンセシスによる断層画像の生成処理では、Ｘ線源およびＸ線検出器を対象物を挟むように配置し、両者間の関係を変更しながら複数回の投影処理を実行し、生成された画像をディジタル処理により平均化する。この場合の投影処理は、断層画像の生成対象とする複数の平面の中の１つを基準にして、この基準平面内の任意の点が常にＸ線検出器の同一座標に投影されるように、毎時の投影におけるＸ線源およびＸ線検出器の位置を調整して行われるので、基準平面内の点は画像の平均化によって強調されるが、その他の平面の点は種々の位置にばらついて投影され、平均化された画像ではボケた状態になる。また基準平面以外の各平面についても、その平面内の各点の座標が同一になるように基準平面につき生成された画像を補正して平均化処理を行うので、同様に、処理対象の平面内の各点が強調され、その他の点がぼけた状態の画像を得ることができる。よって、いずれの平面についても、多少のノイズは残るが、平面が明瞭化された画像を得ることができる。 In tomographic image generation processing by tomosynthesis, an X-ray source and an X-ray detector are arranged so as to sandwich an object, and a plurality of projection processes are executed while changing the relationship between the two, and the generated image is digitally converted. Averaging by processing. The projection processing in this case is based on one of a plurality of planes to be generated as tomographic images, so that any point in the reference plane is always projected on the same coordinate of the X-ray detector. Since this is done by adjusting the position of the X-ray source and X-ray detector in the hourly projection, the points in the reference plane are emphasized by image averaging, while the points in the other planes vary in various positions. The image projected and averaged is out of focus. In addition, for each plane other than the reference plane, the image generated for the reference plane is corrected and averaged so that the coordinates of each point in the plane are the same. It is possible to obtain an image in which each point is emphasized and other points are blurred. Therefore, although some noise remains in any plane, an image with a clear plane can be obtained.
またトモシンセシスによる画像再構成として、処理対象の断面を基準に画像間における画素の対応関係を調整した後に、対応する画素の組毎に、最も低いＸ線吸収率を示す画素の画像データを選択することにより、ノイズ成分を最小にする方法が実施される場合もある。 Further, as image reconstruction by tomosynthesis, after adjusting the correspondence relationship of pixels between images based on the cross section to be processed, image data of a pixel showing the lowest X-ray absorption rate is selected for each corresponding pixel group. Thus, a method for minimizing the noise component may be implemented.
一方、Ｘ線ＣＴを実施する場合には、断面毎に、対向配備されたＸ線源およびＸ線検出器の間に、両者を結ぶ軸線が目標断面の法線に直交する関係になるようにして対象物を配備し、この対象物に対するＸ線源およびＸ線検出器の方位を微小角度単位で変更しながら投影を繰り返す。そして、生成された多数のＸ線透視画像を用いて、断面の各点のＸ線吸収係数を求める演算を実行する。 On the other hand, when X-ray CT is performed, for each cross section, the axis connecting the X-ray source and the X-ray detector arranged opposite to each other is orthogonal to the normal of the target cross section. The object is deployed, and the projection is repeated while changing the orientation of the X-ray source and the X-ray detector with respect to the object in units of minute angles. And the calculation which calculates | requires the X-ray absorption coefficient of each point of a cross section is performed using many produced | generated X-ray fluoroscopic images.
また特許文献１に開示された方法では、厚みの薄い基板を対象に、その厚み方向に直交する断面を生成する点や、一部領域の拡大断面を生成する点などを考慮して、上記の一般的手法とは若干異なる処理を行っている。簡単に説明すると、基板を回転テーブルにより回転させるとともに、この回転軸に対して斜めに交わる方向に、Ｘ線源およびＸ線検出器を対向配備して撮影を行い、生成された各Ｘ線透視画像を、回転軸に対して垂直になる方向から透過を行った画像に変換し、変換後の画像を用いて吸収係数の算出のための演算を実行する。
Further, in the method disclosed in
トモシンセシスによる画像再構成は、Ｘ線ＣＴに比べると投影処理の回数をはるかに少なくでき、演算も簡単にできるので、部品実装基板など、検査対象が多数あるために検査効率の向上が要求される工業製品の検査に適している。しかし、この方法では、目的とする平面の上下にある構成物の投影像が重畳された画像を用いて断層画像を生成するため、実際の平面の構成とは異なる状態の断層画像が生成される可能性がある。 Image reconstruction by tomosynthesis requires much less projection processing than X-ray CT and simplifies calculations. Therefore, because there are many inspection targets such as component mounting boards, improvement in inspection efficiency is required. Suitable for inspection of industrial products. However, in this method, since a tomographic image is generated using an image in which projected images of components above and below the target plane are superimposed, a tomographic image in a state different from the actual plane configuration is generated. there is a possibility.
上記の事情により、トモシンセシスを用いた検査の実施を検討するユーザは、どのような状態の断層画像が生成されるかを確認したり、断層画像中にどのような部位の画像が現れているかを確認できるようにしてほしい、と要望している。
この点に鑑み、この発明では、トモシンセシスにより生成された断層画像を対象に、上記の要望に沿った確認作業を容易に行うことができるように、コンピュータを用いて作業を支援することを目的とする。
Due to the above circumstances, a user who considers performing an examination using tomosynthesis checks what kind of tomographic image is generated and what part of the image appears in the tomographic image. We want you to be able to confirm.
In view of this point, it is an object of the present invention to support work using a computer so that confirmation work in accordance with the above-mentioned request can be easily performed on a tomographic image generated by tomosynthesis. To do.
この発明による画像確認作業用の支援方法では、撮像対象物に対するＸ線管およびＸ線検出器の位置関係を変更しながら同一の撮像対象部位に対するＸ線透視撮影を複数回実行し、各撮影により生成された画像を撮像対象部位内の所定の平面が投影される範囲を基準に対応づけて、対応する画素の組毎にその組で最も低いＸ線吸収率を示す画素の画像データを選択し、選択された各画像データを用いて前記平面の構成を表す断層画像を生成する画像生成装置を用いて部品実装基板の断層画像を作成することを前提とする。この方法では、処理対象の断層画像に対し、以下のステップＡ，Ｂ，Ｃを実行することを特徴とする。 In the support method for image confirmation work according to the present invention, X-ray fluoroscopic imaging of the same imaging target region is performed a plurality of times while changing the positional relationship between the X-ray tube and the X-ray detector with respect to the imaging object, Associating the generated image with reference to a range in which a predetermined plane within the imaging target region is projected, and selecting image data of a pixel that exhibits the lowest X-ray absorption rate for each corresponding pixel group It is assumed that a tomographic image of a component mounting board is created using an image generation device that generates a tomographic image representing the configuration of the plane using each selected image data. This method is characterized in that the following steps A, B, and C are executed on the tomographic image to be processed.
ステップＡでは、画像生成装置により生成された断層画像を表示して、表示された画像内の確認対象部位を指定する操作を受け付ける。ステップＢでは、確認対象部位に含まれる画素のうちの所定数の画素を対象に、それぞれその画素に対して選択された画像データが生成されたときのＸ線透視撮影におけるＸ線管と前記平面との位置関係に基づき、選択された画像データを生成したＸ線の経路を特定する。 In step A, an operation for displaying a tomographic image generated by the image generation apparatus and designating a confirmation target region in the displayed image is accepted. In step B, the X-ray tube and the plane in X-ray fluoroscopy when a predetermined number of pixels among the pixels included in the confirmation target region are generated and image data selected for each pixel is generated Based on the positional relationship, the path of the X-ray that generated the selected image data is specified.
ステップＣでは、基板の撮像対象部位の立体形状を表す３次元画像データを取得して、その３次元画像データを用いて断層画像に対応する平面を含む範囲の画像を表示するとともに、ステップＢで特定されたＸ線の経路に基づき、確認対象部位の画像の生成に関与した部位が表示されている箇所を識別表示する。 In step C, three-dimensional image data representing the three-dimensional shape of the imaging target portion of the substrate is acquired, and an image in a range including a plane corresponding to the tomographic image is displayed using the three-dimensional image data. Based on the specified X-ray path, the part where the part related to the generation of the image of the confirmation target part is displayed is displayed.
上記の方法によれば、トモシンセシスにより生成された断層画像の表示に対し、確認対象部位を指定する操作が行われると、確認対象部位の画像の生成に関与した部位が表示されている箇所を識別表示した画像が表示される。したがって、ユーザは、断層画像中で確認が必要と感じた部位を指定することによって、その部位の画像データがどのような構成物の投影によって生成されたかを確認することができる。 According to the above method, when an operation for specifying a confirmation target part is performed on the display of the tomographic image generated by tomosynthesis, the part where the part related to the generation of the image of the confirmation target part is displayed is identified. The displayed image is displayed. Therefore, the user can confirm what kind of composition the image data of the part is generated by designating the part that needs to be confirmed in the tomographic image.
上記方法の好ましい態様では、前記ステップＢでは、前記処理対象の画素毎に、当該画素に対して選択された画像データが生成されたときのＸ線透視画像中の前記選択された画像データに対応する画素の座標に基づき、この座標に対応する空間座標を特定した後、その空間座標を通過するＸ線の経路を特定する。
トモシンセシスによる断層画像中の画素も、Ｘ線ＣＴによる断層画像と同様に、その画素の座標や当該画像の平面の高さに基づいて空間座標を特定することができるから、選択された画像データが生成されたときのＸ線透視撮影でこの空間座標を通過してＸ線検出器に達したＸ線の経路を、選択された画像データを生成したＸ線の経路として特定することができる。
In a preferred aspect of the above method, the step B corresponds to the selected image data in the fluoroscopic image when the image data selected for the pixel is generated for each pixel to be processed. Based on the coordinates of the pixels to be identified, the spatial coordinates corresponding to the coordinates are identified, and then the X-ray path passing through the spatial coordinates is identified.
Similarly to the tomographic image by X-ray CT, the pixels in the tomographic image by tomosynthesis can specify spatial coordinates based on the coordinates of the pixel and the height of the plane of the image. The X-ray path that passes through the spatial coordinates and reaches the X-ray detector in the X-ray fluoroscopic imaging at the time of generation can be specified as the X-ray path that generated the selected image data.
他の好ましい態様では、ステップＣよりも前に、基板の撮像対象部位に対するＸ線ＣＴを実行して、撮像対象部位内の複数の構成点の空間座標と各点におけるＸ線吸収率を示す数値とを対応づけた３次元画像データを生成するステップを、画像生成装置において実行し、生成された３次元画像データを用いてステップＣを実行する。この態様によれば、撮像対象部位の立体形状を詳細に示す３次元画像データを得ることができるから、確認対象部位の画像の生成に関与した部位の構成を詳細に確認することが可能になる。 In another preferred embodiment, before step C, X-ray CT is performed on the imaging target region of the substrate, and numerical values indicating the spatial coordinates of a plurality of component points in the imaging target region and the X-ray absorption rate at each point. The step of generating the three-dimensional image data in association with is executed in the image generation device, and step C is executed using the generated three-dimensional image data. According to this aspect, since it is possible to obtain three-dimensional image data that shows the three-dimensional shape of the imaging target part in detail, it is possible to check in detail the configuration of the part involved in the generation of the confirmation target part image. .
つぎに、上記の方法が適用される基板検査装置は、それぞれ異なる高さ位置に配置されたＸ線管およびＸ線検出器と、これらの間で検査対象の基板を支持する基板支持部と、基板支持部に支持された基板に対するＸ線管およびＸ線検出器の位置関係を変更しながら同一の撮像対象部位に対するＸ線透視撮影を複数回実行し、各撮影により生成された画像を用いて撮像対象部位内の所定の平面の断層画像を生成する画像生成手段と、生成された断層画像を用いて処理対象部位の構成の適否を検査する検査実行手段と、表示部および操作部とを具備する。 Next, a substrate inspection apparatus to which the above method is applied includes an X-ray tube and an X-ray detector arranged at different height positions, a substrate support unit that supports a substrate to be inspected therebetween, While changing the positional relationship between the X-ray tube and the X-ray detector with respect to the substrate supported by the substrate support unit, X-ray fluoroscopic imaging of the same imaging target region is executed a plurality of times, and images generated by the imaging are used. An image generation unit that generates a tomographic image of a predetermined plane in the imaging target region, an examination execution unit that checks the suitability of the configuration of the processing target region using the generated tomographic image, a display unit, and an operation unit To do.
画像生成手段は、複数回のＸ線透視撮影により生成された画像を断層画像の生成対象となる平面が投影される範囲を基準に対応づけて、対応する画素の組毎にその組で最も低いＸ線吸収率を示す画素の画像データを選択し、選択された各画像データを用いて前記平面の構成を表す断層画像を生成する第１画像生成手段と、Ｘ線ＣＴの画像再構成処理によって撮像対象部位内の複数の構成点の空間座標と各点におけるＸ線吸収率を示す数値とを対応づけた３次元画像データを生成する第２画像生成手段とを含む。 The image generation means associates an image generated by a plurality of X-ray fluoroscopic imaging with a range in which a plane as a generation target of a tomographic image is projected as a reference, and is the lowest in each set of corresponding pixels. First image generating means for selecting image data of a pixel indicating the X-ray absorption rate, generating a tomographic image representing the configuration of the plane using each selected image data, and X-ray CT image reconstruction processing Second image generation means for generating three-dimensional image data in which spatial coordinates of a plurality of component points in the imaging target region are associated with numerical values indicating the X-ray absorption rate at each point.
さらに、この検査装置には、第１画像生成手段により生成された断層画像を表示部に表示して、表示された画像内の確認対象部位を指定する操作を受け付ける指定受付手段と、指定受付手段が受け付けた確認対象部位に含まれる画素のうちの所定数の画素を対象に、それぞれその画素に対して選択された画像データが生成されたときのＸ線透視撮影におけるＸ線管と前記平面との位置関係に基づき、選択された画像データを生成したＸ線の経路を特定する経路特定手段と、第２画像生成手段により生成された３次元画像データを用いて、断層画像に対応する平面を含む画像を表示部に表示するとともに、経路特定手段が特定したＸ線の経路に基づき、確認対象部位の画像の生成に関与した部位が表示されている箇所を識別表示する確認用画像表示手段とを、具備する。 Furthermore, the inspection apparatus displays a tomographic image generated by the first image generation unit on the display unit, and receives a designation receiving unit for receiving an operation for designating a confirmation target region in the displayed image, and a designation receiving unit. X-ray tube and the plane in X-ray fluoroscopic radiography when image data selected for each of a predetermined number of pixels included in the confirmation target portion received is generated. A plane corresponding to the tomographic image is obtained using the path specifying means for specifying the X-ray path that generated the selected image data based on the positional relationship of the three-dimensional image data generated by the second image generating means. An image for confirmation that displays an image including the image on the display unit, and that identifies and displays a position where a part related to generation of an image of the confirmation target part is displayed based on the X-ray path specified by the path specifying unit And shows means comprises.
上記構成によれば、検査に先立ち、モデルの基板を用いて、第１画像生成手段により生成される断層画像に生じたノイズの原因を特定することが可能になる。よって、トモシンセシスによる断層画像を用いた検査が可能かどうかを正しく確認することが可能になる。また、検査が可能な場合には、ノイズを考慮した判定基準を設定することによって、検査の精度を確保することができる。また、検査前に限らず、検査が実行された後にも、適宜、同様の確認作業を行うことが可能である。 According to the above configuration, it is possible to specify the cause of noise generated in the tomographic image generated by the first image generation unit using the model substrate prior to the inspection. Therefore, it is possible to correctly confirm whether or not inspection using a tomographic image by tomosynthesis is possible. In addition, when inspection is possible, the accuracy of inspection can be ensured by setting a determination criterion in consideration of noise. Further, not only before the inspection but also after the inspection is executed, the same confirmation work can be appropriately performed.
上記の画像確認作業の支援方法によれば、トモシンセシスに基づく画像再構成により生成された断層画像から確認対象部位を指定することにより、その確認対象部位の画像の生成に関与した部位を表す画像が表示されるので、断層画像の精度をチェックしたり、ノイズの原因を特定する処理を容易に行うことが可能になる。さらに、上記方法を用いたＸ線利用の基板検査装置によれば、トモシンセシスによる検査が可能であるかどうかを検討したり、検査に適した判定基準を設定する処理を、容易に行うことが可能になり、利便性を高めることができる。 According to the above-described image confirmation work support method, by designating a confirmation target region from a tomographic image generated by image reconstruction based on tomosynthesis, an image representing a region involved in generating an image of the confirmation target region is obtained. Since it is displayed, it is possible to easily perform processing for checking the accuracy of the tomographic image and identifying the cause of noise. Furthermore, according to the X-ray-based board inspection apparatus using the above method, it is possible to easily examine whether tomosynthesis inspection is possible or to set a determination criterion suitable for the inspection. It is possible to improve convenience.
図１は、Ｘ線利用の基板検査装置の撮影に関する構成を示す。
この基板検査装置は、ＩＣのリードに形成されたバックフィレットや、ＢＧＡを構成するはんだ電極など、部品と基板側の電極（図示せず。）とを接続するはんだのうち外観検査が困難なものを対象に、Ｘ線による断層画像を生成し、生成された画像を用いて検査を行うものである。具体的には、検査対象の基板１を支持する基板支持テーブル２、Ｘ線管３、フラットパネルディテクタ４（以下、「ＦＰＤ４」と略す。）、および図２に示すＸＹステージ８，９、ならびにコントローラ２０などにより構成される。
なお、図１では、具体的な検査対象部品の例としてのＩＣを符号５で示し、そのリードを符号６で示す。
FIG. 1 shows a configuration related to imaging of a substrate inspection apparatus using X-rays.
This board inspection apparatus is difficult to be visually inspected among solders that connect components and board-side electrodes (not shown), such as back fillets formed on IC leads and solder electrodes constituting BGA. A tomographic image using X-rays is generated for the target, and an inspection is performed using the generated image. Specifically, a substrate support table 2 that supports a
In FIG. 1, an IC as a specific example of a component to be inspected is denoted by reference numeral 5, and a lead thereof is denoted by
Ｘ線管３は、円錐状のＸ線ビーム（コーンビーム）を出射するタイプのもので、所定高さ位置に、Ｘ線の出射面を真下に向けて固定配備される。基板支持テーブル２は、Ｘ線管３より低い位置で、基板１を水平な姿勢で支持する。
The
ＦＰＤ４は、基板１を透過したＸ線を受けて２次元のＸ線透視画像を生成するもので、図示しない支持ホルダにより、通常は、検出面４Ａが真上を向くように、水平な姿勢で支持されている。ただし、Ｘ線ＣＴ用の撮影を行う場合には、図１中に一点鎖線で示すように、ＦＰＤ４は、検出面４ＡがＸ線管３の方を向くように傾いた姿勢で支持される。
The
上記の基板支持テーブル２およびＦＰＤ４を支持する支持ホルダは、それぞれＸＹステージ８，９により、Ｘ軸方向（図１の左右方向とする。）およびＹ軸方向（図１の紙面に直交する方向とする。）に移動可能に支持される。これらＸＹステージ８，９の移動量を制御することによって、基板１に対するＸ線管３およびＦＰＤ４の位置関係が調整される。
The support holders for supporting the substrate support table 2 and the
図２は、上記基板検査装置のブロック図である。この装置のコントローラ２０にはＣＰＵを含む制御部２１、メモリ２２、演算処理装置２３、モニタ２４、操作部２５などが設けられる。
メモリ２２は、ハードディスク等の大容量メモリであって、制御および検査用のプログラム、ならびに後記する画像確認支援モード用のプログラムが格納される。さらに、検査対象の基板のＣＡＤデータ、および検査の実行に必要な各種設定データ、検査に用いられた断層画像を保存するための画像データベースなども、メモリ２２内に保存される。
FIG. 2 is a block diagram of the substrate inspection apparatus. The
The
演算処理装置２３は、Ｘ線ＣＴによる断層画像の再構成に係る演算を実行するためのもので、高性能のＣＰＵを含む演算回路が搭載された基板として構成される。
The
モニタ２４や操作部２５は、主として、検査の前の各種設定を行うために使用される。また操作部２５は、後記する断層画像中の確認対象部位を指定する際に使用され、モニタ２４には、その操作のための画面や確認用画像の表示画面が設定される。
The
上記構成において、検査対象の基板１は、図示しない上流の搬送機構から基板支持テーブル２に搬入される。各基板１に対する検査では、被検査部位の内部を精度良く観察できるように、あらかじめ登録された検査領域毎に、当該領域とＸ線管３およびＦＰＤ４の三者の位置関係を変更しながら複数回の透視撮影を実行し、生成された各Ｘ線透視画像を用いて被検査部位の断層画像を再構成するようにしている。なお、透視撮影では、ＦＰＤ４に達したＸ線の量が多いほど（Ｘ線の透過率が高いほど）輝度の高い画像が生成されるが、この実施例では、断層画像や３次元画像を再構成する際に、この明暗の関係を反転させて、Ｘ線の吸収率が高い部位ほど輝度が高い（白みが強められた）画像にする。また、検査領域は、被検査部位（バックフィレット、はんだボールなど）の大きさや間隔などに基づき、１つの部品に対して１または複数設定される。
In the above configuration, the
この実施例の基板検査装置には、Ｘ線ＣＴの手法を用いて撮影および断層画像の再構成を行う機能と、トモシンセシスの手法を用いて撮影および断層画像の再構成を行う機能とが設定され、被検査部位毎に、いずれかの機能を選択することが可能である。以下では、前者の機能が選択された状態を「Ｘ線ＣＴモード」と呼び、後者の機能が選択された状態を「トモシンセシスモード」と呼ぶ。 In the substrate inspection apparatus of this embodiment, a function for performing imaging and tomographic image reconstruction using the X-ray CT method and a function for performing imaging and tomographic image reconstruction using the tomosynthesis method are set. Any function can be selected for each site to be examined. Hereinafter, the state in which the former function is selected is referred to as “X-ray CT mode”, and the state in which the latter function is selected is referred to as “tomosynthesis mode”.
まず図３〜５を用いて、双方のモードで実行される処理について簡単に説明する。なお、図３〜５では、図示や説明の便宜上、はんだ電極を検査対象とし、また、基板１を両面実装基板であるものとする。
First, processing executed in both modes will be briefly described with reference to FIGS. 3 to 5, for convenience of illustration and description, it is assumed that the solder electrode is an inspection target, and the
図３は、基板１の一部を拡大して、トモシンセシスによる断層撮影の原理を示したものである。図中、１０がはんだ電極であり、このはんだ電極１０により基板１に接続される部品を符号１１で示す。Ｔは、被検査部位であるはんだ電極１０を水平方向に沿って横切る平面であり、透視撮影の際の基準として使用される。点Ｏはこの平面Ｔの所定位置に設定された基準点（この例では平面Ｔの中心点とする。）である。以下、この点Ｏを「基準点Ｏ」という。
さらに、図中の１２は、基板１を挟んではんだ電極１０に対向する位置に実装されている部品である（以下、「裏面部品１２」という。）。
FIG. 3 shows the principle of tomography by tomosynthesis by enlarging a part of the
Furthermore, 12 in the figure is a component mounted at a position facing the
この実施例では、基準点Ｏが、Ｘ線管３の光軸Ｌを基準に点対称の関係にある２点Ｐ１，Ｐ２にそれぞれ位置合わせされるように、基板１を移動させる。また、この基板１の移動に合わせて、位置決めされた基準点ＯがＦＰＤ４の検出面４Ａの中心点Ｒに投影される位置（点Ｑ１，Ｑ２で示す。）にＦＰＤ４を移動し、撮影を行うようにしている。Ｘ線管３からは、円錐状のビームが出射されているので、各位置での基準点Ｏに対するＸ線の照射角度はほぼ同一になる。また光軸Ｌに対する点Ｐ１，Ｐ２の距離が等しいので、ＦＰＤ４の中心点Ｒが位置合わせされる点Ｑ１，Ｑ２の光軸Ｌに対する距離も等しくなる。したがって、基板１が移動して基準点Ｏの位置が変わっても、この基準点Ｏを含む平面Ｔ内の各点は、検出面４Ａの同一座標に投影される。これに対し、裏面部品１２など、平面Ｔとは異なる高さにある点は、毎回異なる高さに投影される。
In this embodiment, the
したがって、図示の２とおりの位置関係において生成されたＸ線透視画像Ａ１，Ａ２では、平面Ｔ内にあるはんだ電極１０の構成点の投影範囲（図中Ｓ１，Ｓ２で示す。）は一致するが、裏面部品１２の構成点の投影範囲（この図および図４とも、基板１に接する面の投影範囲Ｕ１，Ｕ２に限定して示す。）は、撮影毎に位置が変化する。
Accordingly, in the X-ray fluoroscopic images A1 and A2 generated in the two positional relationships shown in the figure, the projection ranges (indicated by S1 and S2 in the figure) of the constituent points of the
なお、上記図３では、部品１１やはんだ電極１０を誇張して、Ｘ線管３やＦＰＤ４との関係を示しているため、平面Ｔに対するＸ線の照射方向の変化量が大きくなっているが、実際のはんだ電極１０は微小であるため、平面Ｔのはんだ電極１０に対応する範囲に照射されるＸ線は、ほぼ平行なビーム（図８参照。）となる。
3 exaggerates the
この実施例では、Ｘ軸方向およびＹ軸方向において、それぞれ図３に示した２通りの撮影を行うことによって、図４に示すような４枚のＸ線透視画像Ａ１〜Ａ４を生成する。そして、これらの画像Ａ１〜Ａ４の構成画素を座標が対応する関係にあるもの毎に組み合わせ、これらの組み合わせ毎に、それぞれその組に属する画素の中で、最も低いＸ線吸収率を示す画素（明暗を反転させた後のＸ線透過画像では最も輝度が低くなる画素）の画像データを選択する。そして、各組に共通する座標に選択された画像データをあてはめることによって、平面Ｔにおける構成を表す断層画像を生成する。 In this embodiment, four X-ray fluoroscopic images A1 to A4 as shown in FIG. 4 are generated by performing the two types of imaging shown in FIG. 3 in the X-axis direction and the Y-axis direction, respectively. Then, the constituent pixels of these images A1 to A4 are combined for each of the coordinates corresponding to each other, and for each of these combinations, a pixel that exhibits the lowest X-ray absorption rate among the pixels belonging to the set ( The image data of the pixel having the lowest luminance in the X-ray transmission image after the contrast is inverted is selected. Then, the tomographic image representing the configuration in the plane T is generated by fitting the selected image data to the coordinates common to each set.
図４は、各Ｘ線透視画像Ａ１，Ａ２，Ａ３，Ａ４を、毎時の撮影における平面Ｔの位置に対応づけて配置するとともに、これらの画像の中央に、各画像により再構成された断層画像Ｂを配置している。なお、図示の便宜上、各画像とも、Ｘ線吸収率の高い部位を斜線パターンで示す。 FIG. 4 shows the X-ray fluoroscopic images A1, A2, A3, and A4 arranged in correspondence with the position of the plane T in every hour imaging, and the tomographic image reconstructed by each image at the center of these images. B is arranged. For convenience of illustration, a portion having a high X-ray absorption rate is indicated by a hatched pattern in each image.
各画像Ａ１〜Ａ４中のＳ１〜Ｓ４は、はんだ電極１０の投影範囲であり、Ｕ１〜Ｕ４は裏面部品１２の投影範囲である。図３を用いて説明したように、平面Ｔにおけるはんだ電極１０の構成点は、いずれのＸ線透視画像Ａ１〜Ａ４でもそれぞれ同一の座標に投影されるが、裏面部品１２の構成点が投影される座標は、画像によって変動する。
S1 to S4 in the images A1 to A4 are projection ranges of the
したがって、対応関係にある４画素の中の最も低いX線吸収率を示す画素のデータを選択する方法によれば、画像間で一致するはんだ電極１０の投影範囲Ｓ１〜Ｓ４については、いずれの画像のデータが選択されたとしても、はんだ電極１０を表すデータが選択される。これに対し、はんだ電極１０の投影範囲以外の場所については、いずれかの画像で裏面部品１２が投影されたとしても、他の画像における裏面部品１２が投影されていない画像データが選択されるため、裏面部品１２の投影状態を表すデータが選択されることがない。よって、断層画像Ｂには、はんだ電極１０の画像Ｓが明瞭に現れるが、点線枠で示す位置に裏面部品１２の画像が現れることはない。
Therefore, according to the method of selecting the data of the pixel showing the lowest X-ray absorption rate among the four pixels in the correspondence relationship, any image can be obtained for the projection ranges S1 to S4 of the
さらに、撮影の際の基準とされた平面Ｔとは異なる高さにある平面（後記する平面Ｔ１）についても、その平面Ｔ１と基準の平面Ｔとの距離に基づき、当該平面内の各点の投影点の座標が一致する関係になるように画像Ａ１〜Ａ４を補正し、補正後の４枚の画像を用いて、図４に示したのと同様の処理を行うことによって、同様の断層画像を生成することができる。 Further, for a plane at a height different from the reference plane T at the time of photographing (a plane T1 described later), each point in the plane is determined based on the distance between the plane T1 and the reference plane T. The same tomographic image is obtained by correcting the images A1 to A4 so that the coordinates of the projection points coincide with each other and performing the same processing as shown in FIG. 4 using the four corrected images. Can be generated.
つぎに、Ｘ線ＣＴモードでは、図５に示すように、ＦＰＤ４の検出面４Ａを傾けることによって、ＦＰＤ４の中心点ＲとＸ線管３とを結ぶ直線ｍが平面Ｔを基準点Ｏの位置で斜めに横切る状態にする。また、基板１、Ｘ線管３、およびＦＰＤ４の位置関係が、Ｘ線管３およびＦＰＤ４の位置を固定し、基板１を基準点Ｏを通る垂直軸Ｇを中心に所定の角度単位ずつ回転させた場合と同様に変化するように、基板１およびＦＰＤ４の位置を変更し、変更の都度、透視撮影を実行する。
Next, in the X-ray CT mode, as shown in FIG. 5, the straight line m connecting the center point R of the
毎時の撮影により生成されたＸ線透視画像は、演算処理装置２３に入力され、前出の特許文献１に開示されたのと同様の方法、すなわち各入力画像を、基板１の法線方向に直交する方向から透視を行った状態を表す画像に変換し、変換後の各画像を用いて、目標とする平面Ｔ内の複数点のＸ線吸収率を算出する方法により、平面Ｔの断層画像が生成される。なお、Ｘ線ＣＴでは、上記の手法による複数回の透視撮影および画像再構成を、平面Ｔの高さを変更しながら、平面毎に実行する必要がある。
An X-ray fluoroscopic image generated by photographing every hour is input to the
この実施例の検査装置では、被検査部位毎に、上記のトモシンセシスモード、またはＸ線ＣＴモードによる断層撮影を行うことによって、被検査部位のはんだの形状を認識し、その良・不良を判別するようにしている。たとえば、各断層画像に含まれるはんだを２値化により検出して、その面積、幅などを計測し、さらに計測値をあらかじめ登録された基準値と比較することにより、はんだの形状が良好であるか否かを判別する。 In the inspection apparatus of this embodiment, the tomography mode or X-ray CT mode tomography is performed for each part to be inspected to recognize the shape of the solder in the part to be inspected and to determine whether it is good or bad. I am doing so. For example, by detecting the solder contained in each tomographic image by binarization, measuring the area, width, etc., and comparing the measured value with a pre-registered reference value, the shape of the solder is good It is determined whether or not.
Ｘ線ＣＴモードでは処理に時間がかかるが、複雑な演算によって、１つ１つの平面毎に、その平面におけるＸ線吸収率の分布パターンを示す画像を生成するので、高精度の断層画像を得ることができる。また、各断層画像に基づき、各構成点の空間座標とＸ線吸収率とを対応づけた３次元画像データを生成することにより、構成物の立体形状を精度良く表すことができる。 Although processing takes time in the X-ray CT mode, an image showing the distribution pattern of the X-ray absorption rate in each plane is generated for each plane by complicated calculation, so that a high-accuracy tomographic image is obtained. be able to. Further, by generating three-dimensional image data in which the spatial coordinates of each component point are associated with the X-ray absorption rate based on each tomographic image, the three-dimensional shape of the component can be accurately represented.
これに対し、トモシンセシスモードでは、Ｘ線ＣＴモードに比べると、透視撮影の回数がはるかに少ないため、短時間で撮影を完了することができる。また画像再構成のための演算も簡単で、制御部２１のみで実行することができる。さらに、複数の面の断層画像が必要な場合でも、いずれか１つの面を対象に透視撮影を行えば、その撮影により得たＸ線透視画像を用いて、他の高さにおける断層画像を再構成することもできる。
In contrast, in the tomosynthesis mode, the number of fluoroscopic imaging is much smaller than in the X-ray CT mode, so that imaging can be completed in a short time. The calculation for image reconstruction is also simple and can be executed only by the
トモシンセシスモードを選択すれば、処理時間を大幅に短縮することができるので、検査に要する時間を短縮する目的に適している。
しかし、以下に説明するように、トモシンセシスによる断層画像には、処理対象の平面以外の場所に存在する構成物によるノイズ成分が重畳されるため、その点を認識して検査のための設定処理をすすめる必要がある。
If the tomosynthesis mode is selected, the processing time can be greatly reduced, which is suitable for the purpose of reducing the time required for the inspection.
However, as described below, the tomographic image by tomosynthesis is overlaid with noise components due to components existing in places other than the plane to be processed. It is necessary to recommend.
図６は、はんだ電極１０内の任意の平面Ｔ１上の一点Ｃを通過してＦＰＤ４に達するＸ線の経路を示している。なお、この例では、平面Ｔ１は、基準の平面Ｔより下にあるものとし、基板１および裏面部品１２の図示を省略している。
FIG. 6 shows an X-ray path that passes through a point C on an arbitrary plane T1 in the
点Ｃは、図中の直線ｆが示す方向からのＸ線によって、ＦＰＤ４の検出面４Ａ上の点Ｃ１に投影される。ただし、この点Ｃ１には、直線ｆ上に位置する点Ｃ以外の点（たとえば、平面Ｔ１より上にある点Ａ，平面Ｔ１より下にある点Ｂ）も投影される。したがって、点Ｃ１の画像データを点Ｃを表す画像データとして位置づけると、この画像データには、直線ｆ上の点Ｃ以外の各点のＸ線吸収率によるノイズ成分が重畳されることになる。
The point C is projected onto the point C1 on the
図４に示した断層画像の生成方法では、各Ｘ線透視画像間で対応関係にある画素の中から最も低いＸ線吸収率を示す画素の画像データを選択し、その画像データを断層画像にあてはめるので、断層画像のいずれの画素においても、重畳されるノイズ成分は最小になる。しかし、検査対象物の形状やノイズ部分のＸ線吸収率によっては、最小のノイズ成分でもかなり大きな数値になることがあり、このために、本来の断面形状とは異なる状態の断層画像が生成される可能性がある。 In the tomographic image generation method shown in FIG. 4, image data of a pixel exhibiting the lowest X-ray absorption rate is selected from pixels in a correspondence relationship between the respective X-ray fluoroscopic images, and the image data is converted into a tomographic image. Since this is applied, the noise component to be superimposed is minimized in any pixel of the tomographic image. However, depending on the shape of the object to be inspected and the X-ray absorption rate of the noise part, even the smallest noise component may become a considerably large value. For this reason, a tomographic image in a state different from the original cross-sectional shape is generated. There is a possibility.
図７は、ＩＣ５のリード６と基板１とを接続するバックフィレット７を例に、上記の問題を示したものである。
この図では、１本のリード６およびこのリード６に対応するバックフィレット７を側方から見た場合の形状を示し（図７の（１））、このバックフィレット７の水平方向に沿う平面Ｔ１について、正しい断面形状（図７の（２））とトモシンセシスの手法により生成された断層画像（図７の（３））とを対比して示している。なお、ここでは、対比の便宜のために、図７（１）中のリード６およびバックフィレット７を、それぞれ異なるパターンで表すとともに、（２）（３）のリード５に対応する箇所とバックフィレット７に対応する箇所にも、それぞれ側面図と同じパターンを付している。
FIG. 7 shows the above-mentioned problem by taking the
This figure shows the shape when one
この例の断層画像中のバックフィレット７の幅は、実際の断面形状が示すものより大きくなっている。また、断面画像中に、実際の断面には出現するはずのないリードの投影像が現れている。
The width of the
図８は、上記の平面Ｔ１に直交する平面Ｔ２（垂直起立する平面）の断面図を用いて、平面Ｔ１の画像生成に係るＸ線の経路を示したものである。なお、この図でも、リード６およびバックフィレット７を、図７と同じパターンで示す。
FIG. 8 shows an X-ray path related to image generation on the plane T1, using a cross-sectional view of the plane T2 (a vertically upstanding plane) orthogonal to the plane T1. In this figure, the
また、この例では、平面Ｔ１に対し、方位が相反する関係にある２方向からＸ線を照射して撮影を行い（図３に示した２とおりの撮影を意味する。）、生成された２つのＸ線透視画像を、平面Ｔ１の投影範囲を基準に対応づけ、対応する画素の組毎に、より低いＸ線吸収率を示す画素の画像データを選択する方法により平面Ｔ１の断層画像を生成するものとする。なお、この図では、実際のバックフィレット７に対するＸ線の照射状態に合わせて、平面Ｔ１に対するＸ線をほぼ平行なビームとして示す。
In this example, the plane T1 is imaged by irradiating X-rays from two directions having opposite directions (meaning the two types of imaging shown in FIG. 3) and generated 2 Generate a tomographic image of the plane T1 by associating two X-ray fluoroscopic images with the projection range of the plane T1 as a reference and selecting image data of a pixel exhibiting a lower X-ray absorption rate for each corresponding set of pixels. It shall be. In this figure, the X-ray with respect to the plane T1 is shown as a substantially parallel beam in accordance with the X-ray irradiation state with respect to the
図８では、平面Ｔ１上に位置する複数の構成点（図中・印で示す。）について、それぞれ各撮影時にその点を通過するＸ線の経路を点線で示している。さらに、この図では、各構成点につき、それぞれＸ線の経路を示す２つの直線のうち、断層画像中の当該構成点の対応画素で選択される画像データを生成するＸ線の経路を示すものを、太点線で表している。さらに、断面図中の平面Ｔ１を表す直線について、断層画像中の当該直線に対応する１次元の画像データを模式的に示す。 In FIG. 8, with respect to a plurality of constituent points (indicated by marks in the figure) located on the plane T1, the X-ray paths passing through the points at the time of each imaging are indicated by dotted lines. Further, in this figure, for each constituent point, an X-ray path for generating image data selected by a corresponding pixel of the constituent point in the tomographic image among two straight lines indicating the X-ray path is shown. Is represented by a thick dotted line. Further, one-dimensional image data corresponding to the straight line in the tomographic image is schematically shown for the straight line representing the plane T1 in the cross-sectional view.
平面Ｔ１上の点として図中に示された各点（図中、５つの点を代表点Ｃ１〜Ｃ５としている。）について、それぞれその点を通る２とおりのＸ線の経路に着目すると、いずれの点でも、はんだ等のＸ線吸収率が高い物体の構成点の割合が少ない方の経路、すなわちノイズ成分が小さい方の経路を通過したＸ線による画像データが選択されている。 For each point shown in the figure as a point on the plane T1 (in the figure, five points are designated as representative points C1 to C5), when attention is paid to two X-ray paths passing through each point, Also in this point, image data based on X-rays having passed through a path having a smaller proportion of constituent points of an object having a high X-ray absorption rate such as solder, that is, a path having a smaller noise component is selected.
たとえば、図中の点Ｃ１，Ｃ２，Ｃ４では、右上方向からのＸ線による画像データが選択され、点Ｃ３，Ｃ５では、左上方向からのＸ線による画像データが選択されている。 For example, X-ray image data from the upper right direction is selected at points C1, C2, and C4 in the figure, and X-ray image data from the upper left direction is selected at points C3 and C5.
これら選択された画像データを生成するＸ線のうち、平面Ｔ１の中央部（図中の点Ｃ１，Ｃ２，Ｃ３を含む部分）に照射されるＸ線は、バックフィレット７の上方のリード６内を通過してからバックフィレット７内に入射する。このため、断層画像の平面Ｔ１の中央部に対応する範囲には、リード６の画像データによるノイズが重畳される。
Among the X-rays that generate the selected image data, the X-rays irradiated to the central portion of the plane T1 (the portion including the points C1, C2, and C3 in the figure) are in the
また、図示例のバックフィレット７は、平面Ｔ１から下方に向かって徐々に幅広になっているため、平面Ｔ１のバックフィレット７より外側の空気層を通過したＸ線（たとえば、図中の点Ｃ４，Ｃ５に対するＸ線）が、平面Ｔ１より下方のはんだ部に入射している。この結果、平面Ｔ１のはんだが現れる範囲より外側の画素にも、はんだの画像データが重畳された断層画像が生成される。
Further, since the
上記のように、平面Ｔ１より上方のリード６や平面Ｔ１より下方のはんだの構成点が平面Ｔ１上の構成点と同じ位置に投影されるために、図７（３）に示したような、通常の外観から想定される断面形状とは異なる状態の断層画像が生成される。
As described above, since the constituent points of the
ただし、このような画像でも、画像処理の対象領域を限定したり、ノイズ成分の存在を考慮した判定基準値を設定するなどの対策をとることによって、検査の精度を確保することができる。ただし、適切な対策をとるには、断層画像の各部がいずれの構成物を反映したものであるかを認識する必要がある。 However, even in such an image, the accuracy of the inspection can be ensured by taking measures such as limiting the target area for image processing or setting a determination reference value in consideration of the presence of noise components. However, in order to take appropriate measures, it is necessary to recognize which component reflects each component of the tomographic image.
上記の点に鑑み、この実施例の検査装置には、ユーザによるトモシンセシスによる断層画像を確認する作業を支援するモード（以下、「画像確認支援モード」という。）が組み込まれている。この画像確認支援モードでは、検査対象の部品のモデルを用いてトモシンセシスによる断層画像を生成し、この断層画像を表示して、ユーザに確認したい部位を自由に指定させる。そして、確認対象部位が指定されると、その確認対象部位の画像の生成に関与した部位を確認できるような画像を表示するようにしている（以下、この画像を「確認用画像」という。）。 In view of the above points, the inspection apparatus according to the present embodiment incorporates a mode (hereinafter, referred to as “image confirmation support mode”) that assists a user to confirm a tomographic image by tomosynthesis. In this image check support mode, a tomographic image by tomosynthesis is generated using a model of a part to be inspected, and this tomographic image is displayed to allow the user to freely specify a site to be checked. When a confirmation target part is designated, an image is displayed so that a part involved in the generation of the image of the confirmation target part can be confirmed (hereinafter, this image is referred to as “confirmation image”). .
確認用画像は、断層画像の生成に用いたのと同一の部品にＸ線ＣＴを実施することにより得た３次元画像データを用いて生成される。具体的には、指定された確認対象部位を含む所定範囲内の立体形状または断面形状を示すとともに、確認対象部位の画像データを生成したＸ線の経路が明示された画像を生成する。 The confirmation image is generated by using three-dimensional image data obtained by performing X-ray CT on the same component used for generating the tomographic image. Specifically, an image showing a three-dimensional shape or a cross-sectional shape within a predetermined range including the designated confirmation target part and an X-ray path for generating the image data of the confirmation target part is generated.
図９は、画像確認支援モードにおける一連の処理手順を示す。
この処理は、検査や、その検査のためのティーチングに先立ち、検査対象となる部品の良品モデル（以下、「良品部品」という。）が実装された基板を用いて実行される。
FIG. 9 shows a series of processing procedures in the image confirmation support mode.
This processing is executed using a substrate on which a non-defective product model (hereinafter referred to as “non-defective product”) of a component to be inspected is mounted prior to inspection and teaching for the inspection.
まず最初のＳＴ１（ＳＴは「ステップ」の略である。以下も同じ。）では、ユーザにより、良品部品が実装された基板が基板支持テーブル２にセットされる。つぎに、ユーザが、良品部品の位置を指定して、処理の開始操作を行うと、この部品に対し、Ｘ線管３およびＦＰＤ４が図５に示した関係をもって配置されるように基板１およびＦＰＤ４の位置を調整して、Ｘ線ＣＴモードによる撮影を開始する。以下、三者の位置関係を変更しながら複数回の透視撮影を実行し、生成された各Ｘ線透視画像を用いて複数の断層画像を再構成する。さらにこれらの断層画像に基づき、良品部品の各構成点の空間座標とＸ線吸収率を表す数値とを対応づけることにより、良品部品の３次元画像データを生成する（ＳＴ２）。ここで生成された３次元画像データは、制御部２１内の図示しない作業用メモリに保存される。
First, in ST1 (ST is an abbreviation for “step”. The same applies to the following), the user sets a board on which non-defective components are mounted on the board support table 2. Next, when the user designates the position of a non-defective part and starts the process, the
つぎに、ＳＴ２で撮影された良品部品を再度撮影対象として、トモシンセシスモードによる撮影を実行し、１または複数の平面の断層画像を生成する（ＳＴ３）。さらに、つぎのＳＴ４では、生成された断層画像をモニタ２４に表示する。
Next, imaging in the tomosynthesis mode is executed with the non-defective part imaged in ST2 as the imaging object again, and one or a plurality of planar tomographic images are generated (ST3). Further, in the next ST4, the generated tomographic image is displayed on the
ここで、ユーザにより、断層画像中の所定の領域が確認対象部位として指定されると（ＳＴ５が「ＹＥＳ」）、その指定された部位に含まれる全ての画素または一部の画素を対象として、以下のＳＴ６〜９のループを実行する。 Here, when a predetermined region in the tomographic image is designated as a confirmation target part by the user (ST5 is “YES”), all or some of the pixels included in the designated part are targeted. The following loop of ST6-9 is executed.
このループでは、確認対象部位内の１画素に着目し（ＳＴ６）、その着目中の画素について、トモシンセシスモードで実施された複数の撮影のうちのいずれの撮影で生成された画像データが選択されたかを認識する（ＳＴ７）。さらに、この認識結果に基づいて着目中の画素に対応する点の空間座標を特定し（ＳＴ８）、また着目中の画素の画像データを生成したＸ線の経路を特定する（ＳＴ９）。 In this loop, attention is paid to one pixel in the confirmation target part (ST6), and the image data generated by the imaging among the plurality of imaging performed in the tomosynthesis mode is selected for the pixel under consideration. Is recognized (ST7). Further, based on the recognition result, the spatial coordinates of the point corresponding to the pixel under attention are specified (ST8), and the path of the X-ray that generated the image data of the pixel under attention is specified (ST9).
ここで図１０を用いて、上記ＳＴ７〜９の処理について、具体的に説明する。
この図１０でも、先の図８と同様に、平面Ｔ１に対し、方位が相反する関係にある２方向からの撮影（以下、それぞれの撮影を「第１撮影」「第２撮影」という。）を行うものとし、各撮影で平面Ｔ１上の一点Ｃの投影に関与するＸ線の方向を直線ｆ１，ｆ２により示す。
Here, the processes of ST7 to ST9 will be specifically described with reference to FIG.
In FIG. 10 as well, similar to FIG. 8, the image is taken from two directions whose directions are opposite to the plane T1 (hereinafter, the respective images are referred to as “first image capturing” and “second image capturing”). The directions of X-rays involved in the projection of one point C on the plane T1 in each photographing are indicated by straight lines f1 and f2.
点Ｃは、第１撮影では、直線ｆ１が示す方向からのＸ線によってＦＰＤ４上の画素Ｃ１に投影され、第２撮影では、直線ｆ２が示す方向からのＸ線によってＦＰＤ４上の画素Ｃ２に投影される。基準の平面Ｔ以外の平面では、点Ｃが投影される座標は撮影毎に異なるものになるため、断層画像を生成する際に各座標の対応づけが行われ、Ｘ線の吸収量が少ない方の画素（この実施例では画素Ｃ１とする。）の画像データが選択される。ＳＴ７では、この選択された画像データが、第１撮影、第２撮影のいずれで生成されたものかを確認し、さらに、その撮影時に当該選択された画像データが生じた画素（図１０の例では画素Ｃ１である。）の座標を認識する。 In the first imaging, the point C is projected onto the pixel C1 on the FPD4 by the X-ray from the direction indicated by the straight line f1, and in the second imaging, the point C is projected onto the pixel C2 on the FPD4 by the X-ray from the direction indicated by the straight line f2. Is done. In planes other than the reference plane T, the coordinates on which the point C is projected differ for each radiographing. Therefore, when the tomographic image is generated, the coordinates are associated with each other and the amount of X-ray absorption is small. Image data (pixel C1 in this embodiment) is selected. In ST7, it is confirmed whether the selected image data is generated by the first shooting or the second shooting, and further, the pixel in which the selected image data is generated at the time of the shooting (example in FIG. 10). The pixel C1) is recognized.
ＳＴ８では、上記の認識結果に基づき、平面Ｔ１上の点Ｃの空間座標を求めることになる。この空間座標のうち高さを表すＺ座標には、処理中の断層画像に対応する平面Ｔ１の高さを適用することができる。残りのＸ，Ｙ座標は、ＳＴ７で認識した画素Ｃ１の座標と、断層画像の１画素あたりの分解能（隣り合う２つの画素に対応する２点間の距離に相当する。）とを用いた演算により求めることができる。なお、断層画像の分解能は、基準の平面Ｔの断層画像における分解能に、平面Ｔに対する平面Ｔ１の高さ比を乗算することにより算出される。 In ST8, the spatial coordinates of the point C on the plane T1 are obtained based on the recognition result. Of the spatial coordinates, the height of the plane T1 corresponding to the tomographic image being processed can be applied to the Z coordinate representing the height. The remaining X and Y coordinates are calculated using the coordinates of the pixel C1 recognized in ST7 and the resolution per pixel of the tomographic image (corresponding to the distance between two points corresponding to two adjacent pixels). It can ask for. The resolution of the tomographic image is calculated by multiplying the resolution in the tomographic image of the reference plane T by the height ratio of the plane T1 to the plane T.
つぎに、この実施例では、あらかじめ、トモシンセシスモードで実施される各透視撮影（図１０の例では２回の撮影となる。）毎に、それぞれ撮影時のＸ線管３とＦＰＤ４との位置関係に基づき、ＦＰＤ４の各画素に対するＸ線の方向を示すデータを求め、そのデータをメモリ２２に登録している。ＳＴ９では、この登録データを用いてＸ線の経路を特定する。
Next, in this embodiment, the positional relationship between the
上記の登録データとして、たとえば、撮影時のＦＰＤ４上の各画素につき、それぞれ当該画素の画像データを生成したＸ線の経路上に位置する一点の空間座標を特定し、メモリ２２内に登録することができる。たとえば、図１０の例では、第１撮影時の座標Ｃ１に対しては直線ｆ１上の点Ｄ１の座標を、第２撮影時の座標Ｃ２に対しては直線ｆ２上の点Ｄ２の座標を、それぞれ登録することができる。
この場合、ＳＴ９では、着目中の画像データに対応すると認識した第１撮影に関する登録データの中から、着目中の画像データに対応する画素Ｃ１の登録データ（点Ｄ１の座標）を読み出す。そして、読み出された点Ｄ１の座標と、ＳＴ８で特定した点Ｃ１の座標とを用いて、これらの点を通る直線ｆ１の方程式を求め、当該直線をＸ線の経路として特定する。
As the registration data, for example, for each pixel on the
In this case, in ST9, the registration data (coordinates of the point D1) of the pixel C1 corresponding to the image data of interest is read out from the registration data related to the first imaging recognized as corresponding to the image data of interest. Then, using the coordinates of the read point D1 and the coordinates of the point C1 specified in ST8, an equation of a straight line f1 passing through these points is obtained, and the straight line is specified as an X-ray path.
図９に戻って、処理対象としたすべての画素について、それぞれＳＴ６〜９のステップによって当該画素の画像データを生成したＸ線の経路が特定されると（ＳＴ１０が「ＹＥＳ」）、ＳＴ２で生成された３次元画像データを用いて、確認用画像を生成する（ＳＴ１１）。さらに、この確認用画像を、上記の処理により特定されたＸ線の経路に対応する箇所が明示されたものに加工して、これをモニタ２４に表示する（ＳＴ１２）。 Returning to FIG. 9, for all the pixels to be processed, when the path of the X-ray that generated the image data of the pixel is specified in steps ST6 to ST9 (ST10 is “YES”), the process is generated in ST2. A confirmation image is generated using the obtained three-dimensional image data (ST11). Further, this confirmation image is processed into one in which a portion corresponding to the X-ray path specified by the above processing is specified, and this is displayed on the monitor 24 (ST12).
なお、つぎの図１１に示すように、この確認用画像の表示画面には、確認対象の断層画像や確認対象部位を示す表示が行われ、また表示の終了を指定するボタン（終了ボタン１０７）が設けられている。画面中の断層画像に対し、新たな確認対象部位が指定されると、その部位についても同様にＳＴ６〜１２の処理が実行され、確認用画像が表示される。 As shown in FIG. 11, the confirmation image display screen displays a tomographic image to be confirmed and a confirmation target region, and a button for specifying the end of the display (end button 107). Is provided. When a new confirmation target region is designated for the tomographic image in the screen, the processing of ST6 to 12 is similarly performed on the region, and a confirmation image is displayed.
また終了ボタン１０７が操作された場合には、ＳＴ１３が「ＹＥＳ」となって処理を終了する。さらに、図９には図示していないが、引き続き、別の部品について同様の確認作業を行う必要がある場合には、その新たな部品を指定する操作に応じて、ＳＴ２以後の各ステップを実行する。
If the
図１１は、図７（３）に示したバックフィレット７の断層画像に対して確認対象部位を指定したものとして、上記の画像確認支援モードで表示される画面の一例を示す。この画面中の左上のウィンドウ１００には、指定対象の断層画像が表示されるとともに、ユーザが指定した領域を表す矩形枠１０１が表示されている。下方の２つのウィンドウ１０２，１０３は、図９の手順で生成された確認用画像を表示するためのもので、ウィンドウ１０２には、はんだフィレット７およびリード６の側面図が、ウィンドウ１０３には、図８に示した平面Ｔ２に沿う断面図が、それぞれ示されている。いずれの図も、Ｘ線ＣＴにより生成された３次元画像データを用いて生成されたもので、図中の確認対象部位に対応する箇所が所定の色彩の線１０４，１０５（図示上、極太線として示す。）により明示されている。さらに、この確認対象部位に対応する画像データを生成したＸ線ビームが、所定の色彩による帯状パターンＸＭ１．ＸＭ２で表されている。
FIG. 11 shows an example of a screen displayed in the above-described image confirmation support mode, assuming that a confirmation target region is designated for the tomographic image of the
上記図１１の例では、トモシンセシスによる断層画像中のリード６の投影範囲の一部が確認対象部位として指定されている。図８に示したように、この部位には、バックフィレット７およびリード６の構成点が投影されで、他の部位より輝度が高い（白みが強い）部位となっているため、ユーザは容易に認識して、指定操作を行うことができる。その結果、各ウィンドウ１０２，１０３には、平面Ｔ１中の確認対象部位に照射されたＸ線のうち、断層画像に選択された画像データを生成したＸ線の経路に絞り込んだ表示が行われるので、確認対象部位の画像の生成に関与した部位を容易に確認することができる。
In the example of FIG. 11 described above, a part of the projection range of the
この例の表示画面には、表示変更ボタン１０６や終了ボタン１０７が設定されている。表示変更ボタン１０６は、ウィンドウ１０２，１０３内の表示態様を切り換えるためのもので、このボタンが操作されると、正面視画像、斜視画像など、対象物を別の視点から捉えた画像に表示が切り替えられる。一方、終了ボタン１０７が操作されると、画像確認支援モードが終了し、このモードで確認した部品の検査に関する設定画面に移行することができる。この設定画面において、ユーザは、上記の確認支援モードで確認した結果をふまえて、トモシンセシスモード、Ｘ線ＣＴモードのいずれを用いて検査を行うかや、検査に用いるパラメータなどを設定する。また、この設定後にも、必要に応じて、再度、画像確認支援モードを利用して、設定が妥当であるかどうかを確認することができる。
A
なお、図１１の例では、確認対象部位の画像データを生成したＸ線ビームを示すパターンＸＭ１，ＸＭ２を表示したが、これに代えて、Ｘ線ビームの通過範囲から所定値以上のＸ線吸収率を表す画素を抽出し、これらの画素を明示する（たとえば他の画素とは異なる色彩で表示する。）ようにしてもよい。このような表示態様によれば、ノイズ成分の原因となる構成物が表示されている範囲をより明瞭に示すことができる。 In the example of FIG. 11, the patterns XM1 and XM2 indicating the X-ray beam that generated the image data of the confirmation target region are displayed. Instead, X-ray absorption greater than a predetermined value from the X-ray beam passage range is displayed. Pixels representing the rate may be extracted, and these pixels may be clearly indicated (for example, displayed in a color different from other pixels). According to such a display mode, it is possible to more clearly show a range in which a component that causes a noise component is displayed.
上記の確認用表示を行うことにより、ユーザは、トモシンセシスによってどのような断層画像が生成されるかを、あらかじめ被検査部位毎に確認することができる。また、実際の断面形状と異なる箇所など疑問を感じた箇所を確認対象部位として指定することにより、その部位の画像データの生成に関与した部位が明示された確認用画像が表示されるから、その画像表示によって、疑問視した箇所がどのような投影処理により生成されたのかを確認することができ、大きなノイズ成分が重畳された箇所を見分けることができる。 By performing the display for confirmation described above, the user can confirm in advance for each site to be examined what kind of tomographic image is generated by tomosynthesis. In addition, by specifying the part that felt doubt, such as a part different from the actual cross-sectional shape, as a confirmation target part, a confirmation image in which the part involved in generating the image data of that part is displayed is displayed. Through the image display, it is possible to confirm what kind of projection processing has generated the questioned part, and it is possible to identify a part where a large noise component is superimposed.
よって、ティーチングの際には、大きなノイズ成分が重畳された箇所を処理対象から外したり、重畳されたノイズ成分を加味した判定基準値を設定するなどの対応をとることによって、実際の断面形状とは異なる断層画像が生成される部位に対しても、検査の精度を確保することができる。また、断層画像に重畳されるノイズ成分が非常に大きく、検査が困難であると判断した場合には、Ｘ線ＣＴモードによる検査を実行することにして、その検査に必要な設定を行うことができる。 Therefore, at the time of teaching, by taking measures such as removing a portion where a large noise component is superimposed from a processing target or setting a determination reference value that takes into account the superimposed noise component, the actual cross-sectional shape and The accuracy of the inspection can be ensured even for a site where different tomographic images are generated. Further, when it is determined that the noise component superimposed on the tomographic image is very large and the inspection is difficult, the inspection in the X-ray CT mode is executed, and the setting necessary for the inspection can be performed. it can.
また、上記の画像確認支援モードは、検査前に限らず、検査に移行した後も、適宜、その検査で生成された断層画像に対して実行することができる。よって、検査結果の適否を確認したり、判定基準値を修正する場合などに利用することができる。さらに、上記の実施例では、確認用画像の表示に用いる３次元画像データをＸ線ＣＴの実施により取得したが、これに限らず、検査対象の部位によっては、基板１のＣＡＤデータを用いて確認用画像を生成してもよい。
In addition, the above-described image confirmation support mode is not limited to before the examination, and can be appropriately executed on the tomographic image generated by the examination after the transition to the examination. Therefore, it can be used for checking the suitability of the inspection result or correcting the determination reference value. Furthermore, in the above embodiment, the three-dimensional image data used for displaying the confirmation image is acquired by performing X-ray CT. However, the present invention is not limited to this, and depending on the region to be inspected, the CAD data of the
１ 基板
２ 基板支持テーブル
３ Ｘ線管
４ フラットパネルディテクタ（ＦＰＤ４）
７ バックフィレット
１０ はんだ電極
２１ 制御部
２２ メモリ
２４ モニタ
２５ 操作部
1
7 Back Fillet 10
Claims (4)
を用いて生成された部品実装基板の断層画像を対象に、当該断層画像を確認する作業をコンピュータにより支援する方法であって、
前記画像生成装置により生成された断層画像を表示して、表示された画像内の確認対象部位を指定する操作を受け付けるステップＡ、
前記確認対象部位に含まれる画素のうちの所定数の画素を対象に、それぞれその画素に対して選択された画像データが生成されたときのＸ線透視撮影におけるＸ線管と前記平面との位置関係に基づき、前記選択された画像データを生成したＸ線の経路を特定するステップＢ、
前記基板の撮像対象部位の立体形状を表す３次元画像データを取得して、その３次元画像データを用いて前記断層画像に対応する平面を含む範囲の画像を表示するとともに、前記ステップＢで特定されたＸ線の経路に基づき、前記確認対象部位の画像の生成に関与した部位が表示されている箇所を識別表示するステップＣ、の各ステップを、前記コンピュータにおいて実行することを特徴とする、
画像確認作業の支援方法。 While changing the positional relationship between the X-ray tube and the X-ray detector with respect to the imaging target, X-ray fluoroscopic imaging is performed a plurality of times on the same imaging target region, and images generated by the imaging are predetermined in the imaging target region. The range in which the plane is projected is selected as a reference, and image data of a pixel having the lowest X-ray absorption rate is selected for each corresponding set of pixels, and each of the selected image data is used to select the image data. An image generation device for generating a tomographic image representing a plane configuration;
A method for supporting a tomographic image of a component mounting board generated by using a computer for confirming the tomographic image,
A step A for displaying a tomographic image generated by the image generation device and receiving an operation for designating a confirmation target region in the displayed image;
Positions of the X-ray tube and the plane in X-ray fluoroscopic imaging when image data selected for each of a predetermined number of pixels included in the confirmation target region is generated A step B of identifying the path of the X-ray that generated the selected image data based on the relationship;
Acquire three-dimensional image data representing the three-dimensional shape of the imaging target portion of the substrate, display an image of a range including a plane corresponding to the tomographic image using the three-dimensional image data, and specify in step B Each step of step C for identifying and displaying a part where a part related to generation of an image of the confirmation target part is displayed based on the X-ray path thus performed is executed in the computer.
Support method of image confirmation work.
前記画像生成手段は、複数回のＸ線透視撮影により生成された画像を断層画像の生成対象となる平面が投影される範囲を基準に対応づけて、対応する画素の組毎にその組で最も低いＸ線吸収率を示す画素の画像データを選択し、選択された各画像データを用いて前記平面の構成を表す断層画像を生成する第１画像生成手段と、Ｘ線ＣＴの画像再構成処理によって前記撮像対象部位内の複数の構成点の空間座標と各点におけるＸ線吸収率を示す数値とを対応づけた３次元画像データを生成する第２画像生成手段とを含み、
前記第１画像生成手段により生成された断層画像を表示部に表示して、表示された画像内の確認対象部位を指定する操作を受け付ける指定受付手段と、
前記指定受付手段が受け付けた確認対象部位に含まれる画素のうちの所定数の画素を対象に、それぞれその画素に対して選択された画像データが生成されたときのＸ線透視撮影におけるＸ線管と前記平面との位置関係に基づき、前記選択された画像データを生成したＸ線の経路を特定する経路特定手段と、
前記第２画像生成手段により生成された３次元画像データを用いて、前記断層画像に対応する平面を含む画像を前記表示部に表示するとともに、前記経路特定手段が特定したＸ線の経路に基づき、前記確認対象部位の画像の生成に関与した部位が表示されている箇所を識別表示する確認用画像表示手段とを、具備するＸ線利用の基板検査装置。 An X-ray tube and an X-ray detector arranged at different height positions, a substrate support part for supporting a substrate to be inspected therebetween, and an X-ray tube and an X-ray for the substrate supported by the substrate support part X-ray fluoroscopic imaging of the same imaging target region is executed a plurality of times while changing the positional relationship of the detectors, and a tomographic image of a predetermined plane in the imaging target region is generated using the images generated by each imaging A substrate inspection apparatus comprising: an image generation unit; an inspection execution unit that inspects the suitability of the configuration of the processing target site using the generated tomographic image; a display unit and an operation unit;
The image generation means associates an image generated by a plurality of X-ray fluoroscopic imaging with reference to a range in which a plane on which a tomographic image is to be generated is projected, and sets the most for each set of corresponding pixels. First image generation means for selecting image data of pixels exhibiting a low X-ray absorption rate and generating a tomographic image representing the configuration of the plane using each selected image data, and image reconstruction processing of X-ray CT Second image generation means for generating three-dimensional image data in which spatial coordinates of a plurality of component points in the imaging target region are associated with numerical values indicating the X-ray absorption rate at each point,
A designation receiving means for displaying a tomographic image generated by the first image generating means on a display unit and receiving an operation for specifying a confirmation target part in the displayed image;
X-ray tube in X-ray fluoroscopy when image data selected for each of a predetermined number of pixels included in the confirmation target portion received by the designation receiving unit is generated. Path specifying means for specifying the path of the X-ray that generated the selected image data based on the positional relationship between the plane and the plane;
Using the three-dimensional image data generated by the second image generation means, an image including a plane corresponding to the tomographic image is displayed on the display unit, and based on the X-ray path specified by the path specification means. An X-ray-based board inspection apparatus comprising: a confirmation image display means for identifying and displaying a place where a part related to generation of an image of the confirmation target part is displayed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007341522A JP2009162596A (en) | 2007-12-29 | 2007-12-29 | Method of supporting image confirmation work and substrate inspection apparatus utilizing x ray using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007341522A JP2009162596A (en) | 2007-12-29 | 2007-12-29 | Method of supporting image confirmation work and substrate inspection apparatus utilizing x ray using the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009162596A true JP2009162596A (en) | 2009-07-23 |
Family
ID=40965384
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007341522A Pending JP2009162596A (en) | 2007-12-29 | 2007-12-29 | Method of supporting image confirmation work and substrate inspection apparatus utilizing x ray using the same |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009162596A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2206465A1 (en) * | 2009-01-08 | 2010-07-14 | Omron Co., Ltd. | Examination method, examination apparatus and examination program |
| KR20110088139A (en) * | 2010-01-28 | 2011-08-03 | 주식회사 쎄크 | Inline computed tomography inspection system and method using the same |
| WO2013069057A1 (en) * | 2011-11-09 | 2013-05-16 | ヤマハ発動機株式会社 | X-ray inspection method and device |
| WO2021181792A1 (en) * | 2020-03-12 | 2021-09-16 | オムロン株式会社 | Inspection system, inspection method, and program |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06265487A (en) * | 1993-03-15 | 1994-09-22 | Hitachi Ltd | Tomographic image detecting method by transmission x-ray and device thereof |
| JP2000350721A (en) * | 1999-04-29 | 2000-12-19 | General Electric Co <Ge> | Method and apparatus to restructure image data obtained by tomo-synthesis x-ray imaging system |
| JP2002189002A (en) * | 2000-06-29 | 2002-07-05 | Matsushita Electric Ind Co Ltd | X-ray inspection apparatus and method therefor |
| JP2004180847A (en) * | 2002-12-02 | 2004-07-02 | Shimadzu Corp | Tomographic apparatus |
-
2007
- 2007-12-29 JP JP2007341522A patent/JP2009162596A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06265487A (en) * | 1993-03-15 | 1994-09-22 | Hitachi Ltd | Tomographic image detecting method by transmission x-ray and device thereof |
| JP2000350721A (en) * | 1999-04-29 | 2000-12-19 | General Electric Co <Ge> | Method and apparatus to restructure image data obtained by tomo-synthesis x-ray imaging system |
| JP2002189002A (en) * | 2000-06-29 | 2002-07-05 | Matsushita Electric Ind Co Ltd | X-ray inspection apparatus and method therefor |
| JP2004180847A (en) * | 2002-12-02 | 2004-07-02 | Shimadzu Corp | Tomographic apparatus |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2206465A1 (en) * | 2009-01-08 | 2010-07-14 | Omron Co., Ltd. | Examination method, examination apparatus and examination program |
| US8509512B2 (en) | 2009-01-08 | 2013-08-13 | Omron Corporation | Examination method, examination apparatus and examination program |
| KR20110088139A (en) * | 2010-01-28 | 2011-08-03 | 주식회사 쎄크 | Inline computed tomography inspection system and method using the same |
| KR101717678B1 (en) * | 2010-01-28 | 2017-03-20 | 주식회사 쎄크 | Inline computed tomography inspection system and method using the same |
| WO2013069057A1 (en) * | 2011-11-09 | 2013-05-16 | ヤマハ発動機株式会社 | X-ray inspection method and device |
| JPWO2013069057A1 (en) * | 2011-11-09 | 2015-04-02 | ヤマハ発動機株式会社 | X-ray inspection method and apparatus |
| US9256930B2 (en) | 2011-11-09 | 2016-02-09 | Yamaha Hatsudoki Kabushiki Kaisha | X-ray inspection method and device |
| WO2021181792A1 (en) * | 2020-03-12 | 2021-09-16 | オムロン株式会社 | Inspection system, inspection method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5125423B2 (en) | Method of inspecting solder electrode by X-ray tomographic image and board inspection apparatus using this method | |
| JP5444718B2 (en) | Inspection method, inspection device, and inspection program | |
| TWI592655B (en) | Method and apparatus for generating a three-dimensional model of a region of interest using an imaging system | |
| KR20050021936A (en) | X-ray inspection apparatus and x-ray inspection method | |
| JP5646769B2 (en) | X-ray inspection method and apparatus | |
| US20180080763A1 (en) | X-ray inspection apparatus and control method | |
| JP2008298762A (en) | Laminography inspection system and its method | |
| JP5830928B2 (en) | Inspection area setting method and X-ray inspection system | |
| JP2009162596A (en) | Method of supporting image confirmation work and substrate inspection apparatus utilizing x ray using the same | |
| JP2006322799A (en) | X-ray imaging system | |
| JP4591103B2 (en) | X-ray CT inspection apparatus and X-ray CT inspection method | |
| JP3694833B2 (en) | Eucentric tilted 3D X-ray CT and 3D image imaging method using the same | |
| JP5125500B2 (en) | X-ray tomography simulation method and simulation program | |
| WO2019065701A1 (en) | Inspection position specification method, three-dimensional image generation method, and inspection device | |
| JP4636258B2 (en) | X-ray equipment | |
| JP6676023B2 (en) | Inspection position specifying method and inspection device | |
| JP2007170926A (en) | X-ray inspection device, abnormality display device for tomographic image, x-ray inspection method, abnormality display method for tomographic image, program and recording medium | |
| JP4072420B2 (en) | Calibration method for fluoroscopic inspection apparatus | |
| JP2013047644A (en) | Radiographing apparatus and tomographic image correction method | |
| JP4449596B2 (en) | Mounting board inspection equipment | |
| JP2011191217A (en) | X-ray inspection method, x-ray inspection device, and x-ray inspection program | |
| JP2011080944A (en) | X-ray ct apparatus | |
| JP2713287B2 (en) | X-ray tomography method and apparatus | |
| JP2004340630A (en) | Computer tomography, and computer tomographic device | |
| JP4341473B2 (en) | X-ray equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101006 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120626 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120828 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130108 |