JPWO2006006525A1 - Image processing apparatus and method - Google Patents
Image processing apparatus and method Download PDFInfo
- Publication number
- JPWO2006006525A1 JPWO2006006525A1 JP2006529001A JP2006529001A JPWO2006006525A1 JP WO2006006525 A1 JPWO2006006525 A1 JP WO2006006525A1 JP 2006529001 A JP2006529001 A JP 2006529001A JP 2006529001 A JP2006529001 A JP 2006529001A JP WO2006006525 A1 JPWO2006006525 A1 JP WO2006006525A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- target
- partial
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims description 42
- 238000004364 calculation method Methods 0.000 claims abstract description 55
- 238000003384 imaging method Methods 0.000 claims abstract description 40
- 238000012937 correction Methods 0.000 claims description 13
- 238000003672 processing method Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 description 71
- 238000010586 diagram Methods 0.000 description 21
- 239000000758 substrate Substances 0.000 description 18
- 238000007689 inspection Methods 0.000 description 14
- 230000007547 defect Effects 0.000 description 13
- 125000000205 L-threonino group Chemical group [H]OC(=O)[C@@]([H])(N([H])[*])[C@](C([H])([H])[H])([H])O[H] 0.000 description 10
- 239000012536 storage buffer Substances 0.000 description 7
- 238000013500 data storage Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000003705 background correction Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000002950 deficient Effects 0.000 description 4
- 230000000737 periodic effect Effects 0.000 description 4
- 238000012821 model calculation Methods 0.000 description 2
- 239000000872 buffer Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000007261 regionalization Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 235000012431 wafers Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
Landscapes
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本発明の画像処理装置は、被対象物の部分画像を所定の重複領域を持たせて貼合せ、所定の大きさの被対象物の全体又は一部の対象画像を生成し、被対象物を第１の倍率で撮影して第１の画像情報を得る第１の撮影手段と、被対象物を第１の倍率より高い倍率である第２の倍率で撮影して、部分画像を得る第２の撮影手段と、対象画像の大きさと部分画像での重複領域の割合である重複率とから、部分画像を貼り合せて生成される対象画像のモデルを生成する画像モデル生成手段と、部分画像から生成する対象画像の、第１の画像情報での配置位置を、モデルにより探索する撮影位置算出手段と、配置位置により、前記部分画像を貼合せて前記対象画像を生成する高精細画像生成手段とを有する。The image processing apparatus of the present invention pastes partial images of a target object with a predetermined overlapping area, generates a target image of the entire target object of a predetermined size, or a part of the target object. First imaging means for obtaining first image information by photographing at a first magnification, and second for obtaining a partial image by photographing the object at a second magnification that is higher than the first magnification. An image model generation unit that generates a model of a target image generated by pasting partial images from the size of the target image and an overlap rate that is a ratio of an overlapping area in the partial image, and a partial image An imaging position calculation unit that searches for a position of the target image to be generated in the first image information by a model, and a high-definition image generation unit that generates the target image by pasting the partial images according to the layout position. Have
Description
本発明は、被写体を複数の部分画像に分割して撮影し、撮影された部分画像を貼り合わせて被写体の全体画像を構成する画像処理装置及び方法に関する。
本願は、２００４年７月９日に出願された特願２００４−２０３１０８号に基づき優先権を主張し、その内容をここに援用する。The present invention relates to an image processing apparatus and method for capturing an image of a subject divided into a plurality of partial images and combining the captured partial images to form an entire image of the subject.
This application claims priority based on Japanese Patent Application No. 2004-203108 for which it applied on July 9, 2004, and uses the content here.
ＦＰＤ（フラットパネルディスプレイ）基板やＰＤＰ（プラズマディスプレイ）基板、半導体ウエハ等を検査する工業用途の顕微鏡や検査装置において、基板の機能上問題となる欠陥を検査する方法として画像情報を利用した方法が一般的に行われている。
上記検査において、パターン形成等に影響する微細な欠陥を高い精度で検査する際には、検査対象のパターンを正常な基準パターンと比較して欠陥の検出を行う必要があるため、低倍率で被写体全体をカバーする画像だけではなく、より高倍率で被写体全体をカバーできる「高精細（高分解能）」な画像を必要とするケースが多くなってきている。In industrial microscopes and inspection apparatuses for inspecting FPD (flat panel display) substrates, PDP (plasma display) substrates, semiconductor wafers, etc., there is a method using image information as a method for inspecting defects that cause functional problems of the substrate. Generally done.
In the above inspection, when inspecting a fine defect that affects pattern formation or the like with high accuracy, it is necessary to detect the defect by comparing the pattern to be inspected with a normal reference pattern. In many cases, “high definition (high resolution)” images that can cover the entire subject at a higher magnification are required in addition to the entire image.
しかしながら、高精細画像においては、被写体の大きさによっては、一度にこの被写体全体、または必要な範囲を取得することができない。
このため、この高精細画像を得る方法の一つとしては、被写体全体を複数の領域に分割し、これらの領域を各々撮像し、撮像によって得られた部分画像を、互いに貼り合せる事により、被写体全体の高精細画像を得る方法が良く用いられている。
上記高精細画像を得る方法において、倍率の低い全体画像をもとにして、倍率の高い部分画像を撮像し、撮像した部分画像を貼り合せ処理を行う方法が多用されており、工業用途に限らず、様々なアプリケーションに利用されている。However, in a high-definition image, the entire subject or a necessary range cannot be acquired at a time depending on the size of the subject.
For this reason, as one of the methods for obtaining this high-definition image, the entire subject is divided into a plurality of regions, each of these regions is imaged, and the partial images obtained by the imaging are bonded to each other to obtain a subject. A method for obtaining an entire high-definition image is often used.
In the above-described method for obtaining a high-definition image, a method of capturing a partial image with a high magnification based on an entire image with a low magnification and performing a process of combining the captured partial images is limited to industrial applications. It is used for various applications.
先行技術として、全体画像と拡大した全体画像中の部分画像を撮像し、部分画像が全体画像のどこに対応するかを推定して貼り合せを行うことで高精細画像を得る方法がある（例えば、特許文献１参照）。
また、低倍率の顕微鏡画像から一部の領域を指定し、その指定した領域を複数の高倍率の顕微鏡画像で撮像して、貼り合せ処理を行うことで高精細画像を得る方法もある（例えば、特許文献２参照）。
There is also a method of obtaining a high-definition image by designating a part of a region from a low-magnification microscopic image, capturing the designated region with a plurality of high-magnification microscopic images, and performing a pasting process (for example, , See Patent Document 2).
しかしながら、特許文献１に示す高精細画像作成装置にあっては、風景を撮像した画像と異なり、工業用途の検査装置でＦＰＤ基板やＰＤＰ基板といった周期的なパターンの画像を対象とする場合において、全体画像に対して部分画像がどこに対応するのかを探し出すことが、すなわちパターン形状が周期的に同一であるため、部分画像同士の貼り合わせの際、位置あわせにおける位置の特定が困難となり、重ね合わせ部分の対応が取れないケースが発生する。
However, in the high-definition image creating apparatus shown in
また、特許文献２に示す顕微鏡画像表示装置は、工業用途の検査装置でパターン密度が疎である画像を対象とする場合において、指定領域の場所によっては、部分画像の貼り合せ処理の際、パターンが存在しないところを重複して貼り合せようとすることが発生するケースがあり、貼り合わせにおける重複領域のパターンがないために貼り合せ処理が行えない、または貼り合わせ領域が極端にずれた貼り合せ画像が生成される等の欠点を有している不具合を生じる。
In addition, the microscope image display device disclosed in
本発明は、このような事情に鑑みてなされたもので、ＦＰＤ基板やＰＤＰ基板等のように、パターン（回路パターン及び配線パターン）が周期的かつ／または疎な部分を含む画像に対しても、部分画像を貼り合わせて、高精細（高解像度）画像を生成する画像処理装置及び方法を提供するものである。 The present invention has been made in view of such circumstances, and also for an image including a periodic and / or sparse part of a pattern (circuit pattern and wiring pattern) such as an FPD board or a PDP board. An image processing apparatus and method for generating a high-definition (high-resolution) image by pasting partial images are provided.
本発明の画像処理装置は、所定の解像度で撮影した被対象物の部分画像を所定の重複領域を持たせて貼り合わせ、所定の大きさの該対象物の全体または一部の対象画像を生成する画像処理装置であり、被対象物を第１の倍率で撮影して第１の画像情報を得る第１の撮影手段と、前記被対象物を前記第１の倍率より高い倍率である第２の倍率で撮影して、前記部分画像として第２の画像情報を得る第２の撮影手段と、前記対象画像の大きさと部分画像における重複領域の度合を重複領域情報とから、前記部分画像を貼り合わせて生成される対象画像のモデルを生成する画像モデル生成手段と、前記部分画像を貼り合わせて生成する対象画像の、第１の画像情報における配置位置を、前記モデルを用いて探索する撮影位置算出手段（例えば、実施例におけるパターン密度評価値算出部１７及び撮影位置算出部１８）と、前記配置位置に基づいて、前記部分画像を貼り合わせて前記対象画像を生成する高精細画像生成手段とを有することを特徴とする。
本発明の画像処理方法は、所定の解像度で撮影した被対象物の部分画像を所定の重複領域を持たせて貼り合わせ、所定の大きさの該対象物の全体または一部の対象画像を生成する画像処理方法であり、被対象物を第１の倍率で撮影して第１の画像情報を得る第１の撮影過程と、前記被対象物を前記第１の倍率より高い倍率である第２の倍率で撮影して、前記部分画像として第２の画像情報を得る第２の撮影過程と、前記対象画像の大きさと部分画像における重複領域の度合を重複領域情報とから、前記部分画像を貼り合わせて生成される対象画像のモデルを生成する画像モデル生成過程と、前記部分画像を貼り合わせて生成する対象画像の、第１の画像情報における配置位置を、前記モデルを用いて探索する撮影位置算出過程と、前記配置位置に基づいて、前記部分画像を貼り合わせて前記対象画像を生成する高精細画像生成過程とを有することを特徴とする。
上述した構成により、本発明の画像処理装置は、部分画像を貼り合わせるとき、低解像度（低倍率）の第１の画像情報により、部分画像で貼り合わせて合成する対象画像のモデルを予め形成して、このモデルを用いて広範囲な第１の画像情報の所定の領域内において、重複領域を含めて高解像度の対象画像を生成する部分画像の撮影位置を調整するため、あらかじめ高解像度で撮影した部分画像を貼り合わせる従来の手法と比較すると、より広範囲な視野領域において、適切な部分画像の撮影位置を演算により求めることができ、所望の高解像度（高倍率）の高精細画像を容易に生成することが可能となる。The image processing apparatus according to the present invention combines partial images of an object photographed at a predetermined resolution with a predetermined overlapping area, and generates an entire or partial target image of the predetermined size. A first imaging unit that captures first object information by photographing the object at a first magnification, and a second magnification that is higher than the first magnification. The partial image is pasted from the second photographing means for obtaining the second image information as the partial image and the size of the target image and the degree of the overlapping region in the partial image from the overlapping region information. Image model generating means for generating a model of the target image generated together, and a shooting position for searching for the position of the target image generated by pasting the partial images in the first image information using the model Calculation means (for example, implementation A pattern density evaluation
In the image processing method of the present invention, partial images of an object photographed at a predetermined resolution are pasted together with a predetermined overlapping area to generate a target image of the entire object or a part of the object of a predetermined size. A first imaging process in which an object is photographed at a first magnification to obtain first image information, and a second magnification in which the object is magnified higher than the first magnification. The partial image is pasted from the second photographing process for obtaining the second image information as the partial image by photographing at a magnification of, and the overlapping area information indicating the size of the target image and the degree of the overlapping area in the partial image. An image model generation process for generating a model of a target image to be generated together, and a shooting position for searching for the arrangement position in the first image information of the target image generated by pasting the partial images using the model Calculation process and the placement position Based on, and having a high resolution image generation step of generating the target image by bonding the partial images.
With the configuration described above, the image processing apparatus according to the present invention forms in advance a model of a target image to be combined and combined with partial images based on the first image information with low resolution (low magnification) when the partial images are combined. In order to adjust the shooting position of the partial image for generating the high-resolution target image including the overlapping area within the predetermined area of the first image information in a wide range using this model, the high-resolution image was taken in advance. Compared with the conventional method of pasting partial images, it is possible to calculate the appropriate partial image shooting position by calculation in a wider field of view and easily generate high-definition images with the desired high resolution (high magnification). It becomes possible to do.
本発明の画像処理装置は、前記撮影位置算出手段が、前記第１の画像情報における、前記モデルの貼り合わせにおける重複領域の最適な配置位置を検出することにより、対象画像の配置位置を探索することを特徴とする。
上述した構成により、本発明の画像処理装置は、貼り合わせの際に、重なり合って合成される重複部分を積極的に、部分画像の撮影位置の探索に使用する（すなわち、貼り合わせ時に、重複領域の貼り合わせが容易となる画像パターンの部分を抽出できる）ため、対象画像を生成する際に、部分画像の貼り合わせ位置、すなわち重複部分の貼り合わせの精度を向上させ、従来に比較して容易に高い精度で所望の高解像度の高精細画像を生成することが可能となる。In the image processing apparatus of the present invention, the shooting position calculation unit searches for an arrangement position of the target image by detecting an optimum arrangement position of the overlapping region in the model combining in the first image information. It is characterized by that.
With the above-described configuration, the image processing apparatus of the present invention positively uses the overlapped portion that is overlapped and combined in searching for the photographing position of the partial image when combining (that is, the overlapping region at the time of combining). The image pattern part that makes it easy to combine images can be extracted), so when generating the target image, the position of combining the partial images, that is, the accuracy of pasting overlapping parts is improved, making it easier than before It is possible to generate a desired high-resolution high-definition image with high accuracy.
本発明の画像処理装置は、前記撮影位置算出手段が前記第１の画像情報の予め設定された探索領域内において、前記モデルを所定の移動距離により移動させつつ、重複領域の配置位置を探索することを特徴とする。
上述した構成により、本発明の画像処理装置は、繰り返しパターンにて構成される対象物の高精細画像を生成する場合など特に、予め所定の大きさの探索領域を設定して、この探索領域内において前記モデルを、所定の位置から定義された方向に各々所定の移動距離（例えば複数ピクセル単位）にて移動させつつ、重複領域の配置位置の探索を行うため、探索処理を高速化することが可能となる。In the image processing apparatus of the present invention, the shooting position calculation means searches for the arrangement position of the overlapping area while moving the model by a predetermined moving distance in the search area set in advance of the first image information. It is characterized by that.
With the configuration described above, the image processing apparatus of the present invention sets a search area of a predetermined size in advance, particularly when generating a high-definition image of an object composed of a repetitive pattern, In the above, the model is moved in a defined direction from a predetermined position by a predetermined moving distance (for example, in units of a plurality of pixels) while searching for the arrangement position of the overlapping region, so that the search process can be speeded up. It becomes possible.
本発明の画像処理装置は、前記撮影位置算出手段が前記重複領域のパターン情報に基づいて、前記探索領域内における重複領域の配置位置を探索することを特徴とする。
上述した構成により、本発明の画像処理装置は、重複領域のパターン情報（例えばパターンの密度を示すパターン密度評価値）により、重複領域の配置位置を設定しているため、重複する領域のパターンが密である位置を検出することが可能となるため、部分画像を貼り合わせる際、貼り合わせの位置あわせを容易に行える位置を重複領域として選択することができ、高い精度で所望の高解像度の高精細画像を生成することが可能となる。The image processing apparatus according to the present invention is characterized in that the shooting position calculation means searches for an arrangement position of the overlapping area in the search area based on the pattern information of the overlapping area.
With the configuration described above, the image processing apparatus according to the present invention sets the arrangement position of the overlapping area based on the pattern information of the overlapping area (for example, the pattern density evaluation value indicating the density of the pattern). Since it is possible to detect a dense position, when pasting partial images, it is possible to select a position where the pasting can be easily performed as an overlapping area, and a desired high resolution with high accuracy. A fine image can be generated.
本発明の画像処理装置は、前記撮影位置算出手段が前記重複領域のパターン情報に基づいて、前記探索領域内において、モデルにおける重複領域情報を変更させて、配置位置を探索することを特徴とする。
上述した構成により、本発明の画像処理装置は、画像のパターン情報（例えばパターンの粗密の情報）に応じて、部分画像の貼り合わせ処理の際に必要となる重複領域情報、例えば重複領域の重複率を変更するため、基板のパターンが粗であるか又は密であるかによらず、必要に応じてパターン情報をマッチングに適した数値に変更することが可能となり、最適な部分画像の位置、すなわち対象画像の生成位置を算出することができ、容易に高精細な画像を生成することができる。The image processing apparatus of the present invention is characterized in that the shooting position calculation means searches the arrangement position by changing the overlapping area information in the model in the search area based on the pattern information of the overlapping area. .
With the above-described configuration, the image processing apparatus according to the present invention can perform overlapping area information, for example, overlapping of overlapping areas, necessary for partial image combining processing according to image pattern information (for example, pattern density information). Since the rate is changed, it is possible to change the pattern information to a numerical value suitable for matching as necessary regardless of whether the pattern of the substrate is rough or dense, and the position of the optimum partial image, That is, the generation position of the target image can be calculated, and a high-definition image can be easily generated.
本発明の画像処理装置は、前記第１の撮影手段及び前記第２の撮影手段に対し、対象物をＸ−Ｙ方向に各々所定の距離単位で相対的に移動させる移動手段を有し、前記撮影位置算出手段が前記モデルにより検出した対象画像の配置位置に基づき、前記対象物における対象画像の撮影位置を設定することを特徴とする。
上述した構成により、本発明の画像処理装置は、相対的な移動手段を有するため、撮影位置が検出された時点において、その位置に移動させて撮影する処理が行えるため、撮影位置の算出及び撮影の処理をリアルタイムに行い、高解像度の高精細画像の生成速度を向上させることが可能となる。The image processing apparatus of the present invention has moving means for moving the object relative to the first photographing means and the second photographing means in a predetermined distance unit in the XY directions, The shooting position calculation means sets the shooting position of the target image on the object based on the arrangement position of the target image detected by the model.
With the above-described configuration, the image processing apparatus of the present invention has a relative moving unit, and therefore, when the shooting position is detected, it is possible to perform processing to move to that position and take a picture. This processing can be performed in real time, and the generation speed of a high-resolution high-definition image can be improved.
本発明の画像処理装置は、前記撮影位置と、前記モデルにより検出した対象画像の配置位置とに基づき、貼り合わせに用いる部分画像の撮影位置を算出することを特徴とする。
上述した構成により、本発明の画像処理装置は、モデルにより重複領域の配置位置を設定しているため、重複する領域のパターンが密である位置を検出することから、対象画像の撮影位置が算出され、これにより貼り合わせに用いる部分画像の撮影位置を容易に算出することができ、高い精度で所望の高解像度の高精細画像を生成することが可能となる。The image processing apparatus according to the present invention is characterized in that a photographing position of a partial image used for pasting is calculated based on the photographing position and an arrangement position of a target image detected by the model.
With the configuration described above, the image processing apparatus of the present invention sets the position of the overlapping area by the model, and therefore detects the position where the pattern of the overlapping area is dense, so that the shooting position of the target image is calculated. Thus, the shooting position of the partial image used for pasting can be easily calculated, and a high-definition image with a desired high resolution can be generated with high accuracy.
本発明の画像処理装置は、前記第１及び第２の撮影手段に得られる第１の画像情報及び第２の画像情報各々が、歪補正または／及びシェーディング補正されたものであることを特徴とする。
上述した構成により、本発明の画像処理装置は、歪みやシェーディングの影響のない高精細画像を生成することが可能となる。The image processing apparatus according to the present invention is characterized in that each of the first image information and the second image information obtained by the first and second photographing means has been subjected to distortion correction or / and shading correction. To do.
With the above-described configuration, the image processing apparatus of the present invention can generate a high-definition image that is not affected by distortion or shading.
以上説明したように、本発明によれば、部分画像を貼り合わせるとき、低解像度の第１の画像情報により、部分画像で貼り合わせて合成する対象画像のモデルを予め形成して、このモデルを用いて広範囲な第１の画像情報の所定の領域内において、重複領域を含めて高解像度の対象画像を生成する部分画像の撮影位置を調整するため、第１の画像情報による広範囲な視野領域において、適切な部分画像の撮影位置を演算により求めることができ、所望の高解像度の高精細画像を容易に生成することが可能となる。 As described above, according to the present invention, when the partial images are combined, a model of the target image to be combined and combined with the partial images is formed in advance based on the low-resolution first image information. In order to adjust the shooting position of the partial image for generating the high-resolution target image including the overlapping area within the predetermined area of the first image information over a wide range, Thus, it is possible to obtain an appropriate partial image capturing position by calculation, and it is possible to easily generate a desired high-resolution high-definition image.
１ 鏡筒
２ 対物レンズ
３ 撮像カメラ
４ ステージ
５ 画像処理部
６ ステージ移動制御部
７ システム制御部
８ 顕微鏡Ｚ軸移動制御部
１１ 撮像制御部
１２ シェーディング・歪補正処理部
１３ 撮像画像データ記憶バッファ部
１４ 第１撮影画像読込部
１５ 第２撮影画像読込部
１６ 画像モデル生成部
１７ パターン密度評価値算出部
１８ 撮影位置算出部
１９ 画像生成部
２０ 画像記憶部
Ｆ１，Ｆ２，Ｆ３，Ｆ４ 部分画像枠1 Tube
2 Objective lens
3 Imaging camera
4 stages
5 Image processing section
6 Stage movement controller
7 System controller
8 Microscope Z-axis
15 Second captured
17 pattern density evaluation
19
F1, F2, F3, F4 Partial image frame
＜第１の実施例＞
以下、本発明の第１の実施例による画像処理装置を図面を参照して説明する。図１は同実施例の構成例を示すブロック図である。
この図において、第１の実施例は顕微鏡に対し、本発明の画像処理機能を搭載したものであり、顕微鏡には対物レンズ２をつける鏡筒１をＺ軸方向（図から見て上下）に駆動することが可能な上下駆動機構が備わっている。
顕微鏡Ｚ軸移動制御部８は、上記上下駆動機構を制御して、鏡筒１を上下に移動させ、ステージ４上に置かれた被対象物に対するピントの調整を行う。<First embodiment>
An image processing apparatus according to a first embodiment of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing a configuration example of the embodiment.
In this figure, the first embodiment is provided with the image processing function of the present invention with respect to a microscope, and the microscope has a
The microscope Z-axis movement control unit 8 controls the vertical drive mechanism to move the
上記ステージ４は、顕微鏡の下部に設けられており、Ｘ方向及びＹ方向（図から見て左右方向及び奥行き方向）に駆動する機構（２軸移動駆動機構）を有しており、上部に観察用のサンプルである上記被対象物が載せられる。
ステージ移動制御部６は、ステージ４の２軸における移動制御を行い、対物レンズ２と被対象物との相対的な位置調整を行う。
また、鏡筒１の上部には撮像用カメラが３が設けられており、この撮像用カメラ３から出力される映像信号（画像信号）は画像処理部５に転送され各種画像処理が行われる。
撮像用カメラ３は、ＣＣＤカメラであり、例えば、ＲＧＢ対応画素毎の階調度（輝度）データを画像情報として出力する。
画像処理部５、ステージ移動制御部６、顕微鏡Ｚ軸移動制御部８はシステム制御部７により必要に応じて夫々の制御が行われる。The stage 4 is provided in the lower part of the microscope, and has a mechanism (biaxial movement drive mechanism) that drives in the X direction and the Y direction (left and right direction and depth direction as seen from the figure), and is observed in the upper part. The object, which is a sample for use, is placed.
The stage
Further, an
The
The
次に、本発明の第１の実施例による画像処理部５を図面を参照して説明する。図５は同実施例の画像処理部５の構成例を示すブロック図である。
波線で囲まれた部分が画像処理部５であり、撮像制御部１１、シェーディング・歪補正処理部１２、撮像画像データ記憶バッファ部１３、第１撮影画像読込部１４、第２撮影画像読込部１５、画像モデル生成部１６、パターン密度評価値算出部１７、撮影位置算出部１８、画像生成部１９及び画像記憶部２０から構成されている。Next, the
The portion surrounded by the wavy line is the
撮像制御部１１は、システム制御部７の制御により、対物レンズ２のレンズの交換による倍率変更及び顕微鏡Ｚ軸移動制御部８によるピント調整されて、撮像カメラ３により撮影された低倍率の画像情報（第１の画像情報、すなわち被対象物の全体を撮影した全体画像）または高倍率の画像情報（第２の画像情報、すなわち部分画像）を入力し、シェーディング・歪補正処理部１２へ出力する。
シェーディング・歪補正処理部１２は、上記第１の画像情報及び第２の画像情報各々に、対物レンズ２を含む撮像系から生じるシェーディングや歪に対するシェーディング補正及び歪補正を行った後、撮像画像データ記憶バッファ部１３に、各々倍率の情報を付加して記憶する。
この倍率の情報は、対物レンズ２のレンズの情報として、システム制御部７を介して、撮像制御部１１において、第１の画像情報及び第２の画像情報各々に付加される。The
The shading / distortion
This magnification information is added to the first image information and the second image information as lens information of the
第１撮影画像読込部１４は、撮像画像データ記憶バッファ部１３から、付加された倍率の情報が低倍率を示す第１の画像情報を読み出し、この第１の画像情報を一時的に格納する。
第２撮影画像読込部１５は、撮像画像データ記憶バッファ部１３から、付加された倍率の情報が高倍率の第２の画像情報（以下、部分画像）を読み出し、この部分画像を一時的に格納する。The first captured
The second captured
画像モデル生成部１６は、部分画像を貼り合わせて最終的に生成される対象画像のモデルを生成する。このモデルには、部分画像を貼り合わせる際に重ね合わせ部分となる重複領域が含まれている。
すなわち、画像モデル生成部１６は、システム制御部７から入力される、予めユーザが設定した低倍率としての第１の倍率と、高倍率としての第２の倍率と、部分画像を貼り合わせて生成する画像サイズと、貼り合わせる際に重ねる重複領域の寸法とから上記モデルを生成する。The image
In other words, the image
パターン密度評価値算出部１７は、上記画像モデル生成部１６からモデルを読み込み、また、第１撮影画像読込部１４から第１の画像情報を読み込み、対象画像を生成する部分を探索する探索領域がシステム制御部７により、第１画像情報において設定される（ユーザが画面を確認しつつ設定）。
また、パターン密度評価値算出部１７は、図３に示すように、上記探索領域内において、上記モデルを所定の位置、例えば探索領域の左上を開始位置として、所定の移動距離、例えば複数ピクセル単位にて、Ｘ軸方向及びＹ軸方向に移動させつつ、重複領域内におけるパターン密度評価値（パターン情報）を算出し、これらを順次、計算した位置に対応させて記憶する。The pattern density evaluation
Further, as shown in FIG. 3, the pattern density evaluation
ここで、探索領域内における移動距離は、１画素（ピクセル）単位で行っても良いが、対象となるパターンによっては移動させる前後において変化が見られず、得られるパターン密度評価値もほぼ同様な値となることから、本発明において無駄な計算時間を削減し、重複領域の探索効率を向上させるため、所定の画素数単位としている。
この移動距離としては、本実施例のように被対象物が周期的なパターンであれば、１周期をなす画素数の１／５，１／１０，１／５０，１／１００，…と言うように、パターン周期の画素数に合わせて設定される。Here, the movement distance in the search area may be performed in units of one pixel (pixel), but depending on the target pattern, there is no change before and after the movement, and the obtained pattern density evaluation value is almost the same. Therefore, in order to reduce useless calculation time and improve the search efficiency of the overlapping area, the unit is set to a predetermined number of pixels.
As the moving distance, if the object is a periodic pattern as in this embodiment, it is 1/5, 1/10, 1/50, 1/100,... Of the number of pixels forming one period. Thus, it is set according to the number of pixels of the pattern period.
また、重複領域に含まれた対象となるパターンの最小サイズ（例えば、電流が流れる信号線の幅など）が既知であれば、最小パターンの幅の画素数の１倍，２倍，３倍，…と言うように、パターンのサイズに対応させて移動距離を設定しても良い。
パターンのサイズに応じた移動距離は、移動する前後において、重複領域からパターン全体が現れる、または消えることによりパターン密度評価値が変化することを考慮している。Further, if the minimum size of the target pattern included in the overlapping region (for example, the width of the signal line through which the current flows) is known, the number of pixels of the minimum pattern width is 1, 2 or 3 times. As described above, the movement distance may be set according to the size of the pattern.
The moving distance according to the size of the pattern takes into consideration that the pattern density evaluation value changes due to the entire pattern appearing or disappearing from the overlapping area before and after moving.
パターン密度評価値は、部分画像のサイズのブロック毎（横方向及び縦方向毎）に、隣接するブロックの重ね合わせ単位、すなわち、１つの算出位置ごとに４つの計算値（後述する垂直方向及び水平方向のエッジ強度）として計算される。
ここで、パターン密度評価値は、以下に示すような流れにより、パターン密度評価値算出部１７において計算される。
本実施例においては、方向別のエッジ強度（パターンにおける輝度変化の大きさ）に着目して、パターン密度評価値を求める。The pattern density evaluation value is calculated for each block (horizontal direction and vertical direction) of the size of the partial image, with four overlapping calculation units (vertical direction and horizontal direction described later) for each overlapping position, that is, for each calculation position. Direction edge strength).
Here, the pattern density evaluation value is calculated in the pattern density evaluation
In the present embodiment, the pattern density evaluation value is obtained by paying attention to the edge strength for each direction (the magnitude of the luminance change in the pattern).
上記方向別のエッジ強度とは、垂直（画面の上下）方向，及び水平（画面の左右）方向それぞれに対してエッジ強度を表すものである。
エッジ強度を算出する方法として、Ｓｏｂｅｌフィルタを用いる。このＳｏｂｅｌフィルタは、ある注目画素を中心として、近傍、すなわち隣接する上下左右の９つの画素値に対して、図４に示すような係数（中央が注目画素）マスクをそれぞれ乗算して結果を合計し、垂直方向及び水平方向の二つの係数行列を用いてこの処理を行う。The edge strength for each direction represents the edge strength with respect to the vertical (up and down the screen) direction and the horizontal (left and right of the screen) direction.
A Sobel filter is used as a method for calculating the edge strength. This Sobel filter multiplies nine pixel values in the vicinity, that is, adjacent top, bottom, left, and right, centering on a certain target pixel, by multiplying each by a coefficient (center is the target pixel) mask as shown in FIG. Then, this processing is performed using two coefficient matrices in the vertical direction and the horizontal direction.
すなわち、マスクの中心の画素（Ｘ，Ｙ）（Ｘは水平方向に関する画面上の座標値であり、原点に対して右方向を正とし、左方向を負とし、Ｙは垂直方向に関する画面上の座標値であり、原点に対して下方向を正とし、上方向を負とする）に対する各方向のエッジ強度を、画素（Ｘ，Ｙ）の輝度値をＩ（Ｘ，Ｙ）と表し、また、数値Ｒの絶対値をAbs(Ｒ)として以下の式により、水平方向の強度ＥＨ（Ｘ，Ｙ）及び垂直方向の強度ＥＶ（Ｘ，Ｙ）として求める。 That is, the pixel (X, Y) (X is a coordinate value on the screen in the horizontal direction, where the right direction is positive, the left direction is negative, and Y is the vertical direction on the screen. The edge intensity in each direction with respect to the origin, with the downward direction being positive and the upward direction being negative), the luminance value of the pixel (X, Y) is expressed as I (X, Y), and The absolute value of the numerical value R is obtained as Abs (R) as the horizontal strength EH (X, Y) and the vertical strength EV (X, Y) by the following equations.
強度ＥＨ（Ｘ，Ｙ）＝Abs{Ｉ(X+1,Y-1)＋２×Ｉ(X+1,Y)＋Ｉ(X+1,Y+1)
−Ｉ(X-1,Y-1)−２×Ｉ(X-1,Y)−Ｉ(X-1,Y+1)}
強度ＥＶ（Ｘ，Ｙ）＝Abs{Ｉ(X-1,Y+1)＋２×Ｉ(X,Y+1)＋Ｉ(X+1,Y+1)
−Ｉ(X-1,Y-1)−２×Ｉ(X,Y-1)−Ｉ(X+1,Y-1)}Intensity EH (X, Y) = Abs {I (X + 1, Y-1) + 2 × I (X + 1, Y) + I (X + 1, Y + 1)
-I (X-1, Y-1) -2 * I (X-1, Y) -I (X-1, Y + 1)}
Intensity EV (X, Y) = Abs {I (X-1, Y + 1) + 2 × I (X, Y + 1) + I (X + 1, Y + 1)
−I (X−1, Y−1) −2 × I (X, Y−1) −I (X + 1, Y−1)}
上述した式を用いて、対象となる領域（重複領域）内の各画素各々に対して算出する（このとき、画像の端部はエッジ強度が算出できないので対象外とする）。
ここで、パターン密度評価値算出部１７は、対象となる領域において、算出された画素毎のエッジ強度を方向単位に加算し、水平方向のエッジ強度総和値ＡＥＨと、垂直方向のエッジ強度総和値ＡＥＶとを求める。
しかしながら、いずれかの方向のエッジ強度が極端に低い場合があり、例えば、図５に示すように、重複領域の内部が水平方向の線パターンのみで形成されていると、垂直方向においてはパターンのエッジが存在するために、ある数値のエッジ強度総和値ＡＥＶが求まるが、水平方向のエッジ強度総和値ＡＥＨは輝度の変化が横方向において存在しないためほぼ「０」となる。
この場合、片方向のパターンのみで貼り合わせ処理を行おうとすると、マッチング箇所を限定できないため、最適なマッチング処理を行えない。Using the above formula, calculation is performed for each pixel in the target region (overlapping region) (at this time, the edge portion of the image cannot be calculated because the edge intensity cannot be calculated).
Here, the pattern density evaluation
However, the edge strength in either direction may be extremely low. For example, as shown in FIG. 5, if the inside of the overlapping region is formed only with the horizontal line pattern, the pattern in the vertical direction Since there is an edge, a certain numerical value of the edge strength total value AEV is obtained, but the horizontal edge strength total value AHE is almost “0” because there is no change in luminance in the horizontal direction.
In this case, if an attempt is made to perform the pasting process using only a one-way pattern, the matching portion cannot be limited, and thus an optimal matching process cannot be performed.
このため、パターン密度評価値算出部１７は、エッジ強度総和値ＡＥＨとエッジ強度総和値ＡＥＶとに対し、所定の閾値Ｔhresを求め、各エッジ強度総和値が上記閾値Ｔhres以上の場合のみ、この閾値Ｔhres以上の値をパターン密度評価値として出力する。
この閾値Ｔhresはノイズの影響を考慮して、例えば１画素に関するＳｏｂｅｌフィルタのエッジとして検出する最小の輝度差をＱとして以下の式により表す。
Ｔhres ＝ ４・Ｑ×（重複領域におけるＳｏｂｅｌフィルタ演算対象の画素数）
上記閾値Ｔhresには所定の係数を乗じた値を実際の閾値として用いる。この乗じる係数としては、ノイズの影響を抑えるためであれば、１または２などの小さな値でよい。
また、エッジ強度が大きい、すなわちパターンの特徴がはっきりしている領域を取り出す場合、Ｑの値に応じて大きな値（輝度の階調が２５６であり、Ｑが１０であれば、１０〜１５の間の値等）とする。For this reason, the pattern density evaluation
This threshold value Thres is expressed by the following equation, taking into consideration the influence of noise, for example, where Q is the minimum luminance difference detected as the edge of the Sobel filter for one pixel.
Thres = 4 · Q × (number of pixels subject to Sobel filter operation in overlapping region)
A value obtained by multiplying the threshold Thres by a predetermined coefficient is used as the actual threshold. As a coefficient to be multiplied, a small value such as 1 or 2 may be used in order to suppress the influence of noise.
Further, when an area having a high edge strength, that is, a pattern having a clear feature is extracted, a large value corresponding to the value of Q (the luminance gradation is 256, and if Q is 10, 10 to 15 Value between).
また、パターン密度評価値算出部１７は、上記式を用いてパターン密度評価値ＰＤＥＶを以下のように算出する。
ＡＥＨ＜ＴhresまたはＡＥＶ＜Ｔhresの場合、ＰＤＥＶを０とし、
ＡＥＨ≧ＴhresかつＡＥＶ≧Ｔhresの場合、ＰＤＥＶ＝ＡＥＨ＋ＡＥＶとする。
これにより、算出されるパターン密度評価値は、いずれか一方のエッジ強度が閾値より低い場合（極端に小さい場合）、部分画像の貼り合わせの際に、パターンマッチングが失敗する可能性が高いことから後の評価の対象から外され、貼り合わせ処理の際、正確なパターンマッチングが可能となる配置位置の数値のみが残ることとなる。
ここで、エッジ強度が大きいほど、輝度差が大きいことを示し、貼り合わせにおける、重複領域における部分画像のマッチングの精度が向上する。
すなわち、パターンが比較的、疎である全体画像であっても、重複領域のパターンが密となるモデルの位置を探索できることとなる。Further, the pattern density evaluation
If AEH <Thres or AEV <Thres, set PDEV to 0,
When AEH ≧ Thres and AEV ≧ Thres, PDEV = AEH + AEV.
As a result, the calculated pattern density evaluation value is likely to fail in pattern matching when pasting partial images when either one of the edge strengths is lower than a threshold value (extremely small). Only the numerical values of the arrangement positions at which accurate pattern matching can be performed remain in the pasting process after being excluded from the target of later evaluation.
Here, the higher the edge strength is, the larger the luminance difference is, and the accuracy of matching the partial images in the overlapping area in the pasting is improved.
In other words, even in the case of an entire image having a relatively sparse pattern, it is possible to search for the position of the model where the overlapping area pattern is dense.
次に、図２に戻り、撮影位置算出部１８は、パターン密度評価値算出部１７が選択した、最もパターン密度評価値の大きい位置、すなわち第１の画像情報（全体画像）における対象画像の撮影位置に基づき、各部分画像の撮影場所を求めて、この撮影場所の撮影位置情報をシステム制御部７へ出力する。
画像生成部１９は、上記撮影位置算出部１８が出力した撮影位置に基づいて、システム制御部７が顕微鏡Ｚ軸移動制御部８，ステージ移動制御部６，撮像制御部１１及び撮影用カメラ３を制御し、モデルのブロック分の複数枚撮影された部分画像を貼り合わせる。
画像記憶部２０は、画像生成部１９において部分画像が貼り合わされて生成された対象画像（高精細画像）を記憶する。
システム制御部７は、ユーザからのアクセスにより、画像記憶部２０から対象画像を読み出し、図示しない表示装置に表示させる。Next, returning to FIG. 2, the imaging
In the
The
The
また、パターン情報としては、上述した第１の実施例においては、画像の輝度値の変化を示すエッジ強度を用いたが、この画像の輝度値をベースに方向という「空間特性」を利用したものでなく、純粋に輝度値だけから構成される評価値、例えば、画像の輝度値から形成されるヒストグラムに関する輝度平均値、最小値と最大値との差（ダイナミックレンジ）、最頻値、中央値、分散（標準偏差）をそれぞれパターン情報とすることも可能である。 As the pattern information, in the first embodiment described above, the edge strength indicating the change in the luminance value of the image is used. However, the “spatial characteristic” of the direction based on the luminance value of the image is used. Rather than an evaluation value consisting solely of luminance values, for example, a luminance average value, a difference between the minimum and maximum values (dynamic range), a mode value, and a median value for a histogram formed from the luminance values of the image The variance (standard deviation) can be used as pattern information.
ここで、パターン情報として、重複領域に関する最頻値の輝度値に関するヒストグラムの度数ＦＲ、及びこのヒストグラムの標準偏差ＳＤを用い、この度数ＦＲ及び標準偏差ＳＤからパターン密度評価値ＰＤＥＶを形成し、２のべき乗を２^ｘとして表す。
ＰＤＥＶ＝ＦＲ＋（２^ｘ）×ＳＤ
このパターン密度評価値ＰＤＥＶは０〜２^ｘ−1までを度数ＦＲにより、また２^ｘ以上を標準偏差ＳＤで表している。ただし、上記式において、「ＦＲ＜２^ｘ」である。
これにより、まずパターン密度評価値算出部１７は、度数ＦＲのみに注目して、所定の閾値以上であるか否かを判定し、この閾値以上である場合、標準偏差に対しても評価する。
ＦＲは最大値が(２^ｘ)になることにより、上述した探索方法が可能となる。
また、上述した演算は、ビット演算（論理演算）により実現され、特性が異なるパターン情報も一つのパターン密度評価値として用いることが可能である。Here, the pattern frequency evaluation value PDEV is formed from the frequency FR and the standard deviation SD using the frequency FR of the histogram relating to the luminance value of the mode value regarding the overlapping region and the standard deviation SD of the histogram as the pattern information. Express the power of as 2 ^ x.
PDEV = FR + (2 ^ x) × SD
The pattern density evaluation value PDEV represents 0 to 2 ^ x-1 with a frequency FR and 2 ^ x or more with a standard deviation SD. However, in the above formula, “FR <2 ^ x”.
Thus, first, the pattern density evaluation
Since the maximum value of FR is (2 ^ x), the above-described search method is possible.
Further, the above-described operation is realized by bit operation (logical operation), and pattern information having different characteristics can be used as one pattern density evaluation value.
次に、図１，図２及び図６を参照して、上述した画像処理装置の動作を説明する。図６は、図１の第１の実施例による画像処理装置の一動作例を具体的に示すフローチャートである。
ここで被対象物としては、図７に示すＦＰＤ基板を例にとして説明する。ＦＰＤ基板は、画素部分とこの画素を駆動するトランジスタが周期的に配列されている。
ユーザがシステム制御部７に対して、図示しない入力装置により、処理のパラメータとして、全体画像の倍率（第１の倍率），部分画像の倍率（第２の倍率），貼り合わせ画像（対象画像）のサイズ，及び各部分画像の重複率を設定する（ステップＳ１）。Next, the operation of the above-described image processing apparatus will be described with reference to FIGS. FIG. 6 is a flowchart specifically showing an operation example of the image processing apparatus according to the first embodiment of FIG.
Here, the FPD board shown in FIG. 7 will be described as an example of the object. In the FPD substrate, pixel portions and transistors for driving the pixels are periodically arranged.
The user uses an input device (not shown) as a processing parameter to the
次に、対象画像の取得の処理が開始されると、システム制御部７は、ステージ移動制御部６によりステージ４を駆動し、対物レンズ２と被対象物との相対位置の調整を行い、上記第１の倍率となるよう対物レンズ２を切り替える。
そして、システム制御部７は、顕微鏡Ｚ軸移動制御部８を介して、鏡筒１を上下させてピントの調整を行い、被対象物の図７に示す全体画像を撮像し、撮像制御部１１を介してシェーディング・歪補正処理部１２へ、この全体画像を転送する。
また、図７の上記全体画像に対して、部分画像としての視野枠（第２の倍率で撮像した場合の撮影可能範囲：部分画像枠）としては図８に示す破線内の領域となる。Next, when the process of acquiring the target image is started, the
Then, the
Further, with respect to the entire image shown in FIG. 7, a field frame as a partial image (shootable range when captured at a second magnification: partial image frame) is an area within a broken line shown in FIG.
そして、シェーディング・歪補正処理部１２は、入力される全体画像に対して、歪補正及びシェーディング補正を行い、撮像画像データ記憶バッファ部１３に一旦記憶させる（ステップＳ２）。
次に、画像モデル生成部１６は、対象画像の大きさ（縦の画素数×横の画素数）と、この対象画像を生成する際に貼り合わせたときの部分画像の重複率とから、図３に示すような重複領域を有する対象画像のモデルを生成する（ステップＳ３）。Then, the shading / distortion
Next, the image
そして、画像モデル生成部１６は、重複領域が部分画像に対して上記重複率となるよう、部分画像の数及びこの重複領域のサイズを演算して求める（ステップＳ４）。
例えば、図９において、図８に示した部分画像枠から部分画像の枠は４となり、重複領域は４つの部分画像枠のいずれか２つ以上が相互に重なり合う斜線部分（画面中央に＋の形で示されている部分）として定義される。
この結果、本実施例においては、対象画像が４つの部分画像により形成され、対象画像のサイズのモデルは４つの部分画像枠により構成される。
次に、ユーザは表示装置に表示されている全体画像において、上記モデルから対象画像の撮影位置を探索する探索領域の設定を行う（ステップＳ５）。
この探索領域は、全体画像全体でも、モデルの大きさよりも大きければ、全体画像の任意の一部分としても良い。Then, the image
For example, in FIG. 9, the frame of the partial image from the partial image frame shown in FIG. 8 is 4, and the overlapping area is a hatched portion where any two or more of the four partial image frames overlap each other (the shape of + in the center of the screen). Defined as).
As a result, in this embodiment, the target image is formed by four partial images, and the model of the size of the target image is configured by four partial image frames.
Next, in the entire image displayed on the display device, the user sets a search area for searching for the shooting position of the target image from the model (step S5).
This search area may be an entire part of the entire image as long as it is larger than the size of the model.
そして、パターン密度評価値算出部１７は、所定の移動距離にて、Ｘ軸方向及びＹ軸方向に移動させ（ずらし）つつ、パターン密度評価値の算出を各移動位置にて行い、探索範囲全体が探索されるまで上記処理が繰り返され、順次、計算されたパターン密度評価値を全体画像における座標値（計算した位置）に対応付けて、内部の記憶部に記憶し、探索領域全体におけるパターン密度評価値の計算を終了すると処理をステップＳ７へ進める（ステップＳ６）。
Then, the pattern density evaluation
次に、パターン密度評価値算出部１７は、内部の記憶部に記憶されているパターン密度評価値のなかから最も大きな値を探索し、探索されたパターン密度評価値に対応する座標値を貼り合わせの際の対象画像の最適位置として出力する（ステップＳ７）。
このとき、パターン密度評価値算出部１７は、図１０に示すように、評価した座標値（Ｘ−Ｙ平面上）毎にＺ軸方向にパターン密度評価値の大きさを示す３次元グラフにおいて、各座標値におけるパターン密度評価値を順次比較し、最大のパターン密度評価値を探索する。
例えば、図１０においては、左側のパターン密度評価値が最大であることから、このモデルの位置、すなわち座標値が最適な対象画像の生成位置として出力される。Next, the pattern density evaluation
At this time, as shown in FIG. 10, the pattern density evaluation
For example, in FIG. 10, since the pattern density evaluation value on the left side is the maximum, the position of this model, that is, the coordinate value is output as the generation position of the optimum target image.
次に、撮影位置算出部１８は、パターン密度評価値算出部１７が出力する対象画像の生成位置から、部分画像の撮影位置の演算を行う（ステップＳ８）。
このとき、撮影位置算出部１８は、上記生成位置におけるモデルの部分画像枠の配置位置を、第２の倍率（高倍率）で撮影する部分画像の撮影位置として、対象画像を構成する複数の部分画像各々に対応する部分画像枠の座標値を、部分画像位置として出力する。
また、撮影位置算出部１８は、本実施例の場合、対象画像が４つの部分画像から構成されているため、この４つの部分画像に対応する部分画像枠の座標値をシステム制御部７に出力する。Next, the shooting
At this time, the shooting
In the present embodiment, since the target image is composed of four partial images, the photographing
次に、システム制御部７は、顕微鏡Ｚ軸移動制御部８を介して対物レンズ２を第２の倍率に対応するレンズに変更し、撮影位置算出部１８より入力される上記部分画像位置に対応させ、ステージ移動制御部６を介してステージ４を撮像用カメラ３で撮影する座標位置に移動させ、顕微鏡Ｚ軸移動制御部８にてピントを合わせて、撮像用カメラ３により各部分画像の撮影を行う。
ここで、システム制御部７は、対象画像を構成する複数の部分画像全てを、上述した処理により撮影する。
そして、撮像用制御部１１は、撮像用カメラ３から入力される部分画像各々をシェーディング・歪補正処理部１２へ出力する。
これにより、シェーディング・歪補正処理部１２は、順次入力される部分画像に対して、歪補正及びシェーディング補正の処理を行い、撮像画像データ記憶バッファ部１３に格納する（ステップＳ９）。Next, the
Here, the
The
Accordingly, the shading / distortion
次に、画像処理部５は、撮像画像データバッファ部１３から対象画像を構成する部分画像を読み出し、第２撮影画像読込部１５に一旦格納する。
そして、画像生成部１９は、第２撮影画像読込部１５から順次部分画像を読み出し、図９に示すモデルに基づいて、すなわち、モデルの部分画像枠毎に、この部分画像枠の部分画像位置に対応して撮影した部分画像を配置し、部分画像を貼り合わせて対象画像の生成の処理を行い、生成した高精細画像である対象画像を画像記憶部２０に格納する（ステップＳ１０）。Next, the
Then, the
このとき、画像生成部１９は、重複領域に配置されたパターンを重ね合わせて、パターンマッチングを行い、貼り合わせの位置あわせを行っている。このため、重複領域としては、パターン密度評価値が所定の密度を超える領域、すなわち所定の閾値を超える領域を用いることが必要となる。
したがって、本実施例においては、貼り合わせる重複領域の配置位置を、パターン密度評価値等のパターン情報により決定しているため、図７に示すＦＰＤ基板のパターンのように、基板上に形成されるパターンが疎の部分が多く、貼り合わせ処理に適さない周期性を有する被対象物でも、高い精度で貼り合わせ画像を生成することができる。
システム制御部７は、必要に応じて画像記憶部２０から上記対象画像を読み出して、この対象画像を表示部に表示する。At this time, the
Therefore, in the present embodiment, since the arrangement position of the overlapping region to be bonded is determined by the pattern information such as the pattern density evaluation value, it is formed on the substrate like the FPD substrate pattern shown in FIG. A bonded image can be generated with high accuracy even for an object having many periodic patterns and having a periodicity that is not suitable for the bonding process.
The
＜第２の実施例＞
第２の実施例は、第１の実施例と同様の構成であり、第１の実施例と異なる点のみを、以下に説明する。
図１１は第２の実施例における一動作例を具体的に示すフローチャートである。
異なる点は第１の実施例のステップＳ８がステップＳ１５に変更された点であり、このステップについて説明する。
第１の実施例においては、部分画像を貼り合せるモデルの最適位置からモデル内における部分画像枠の位置に基づいて、高精細な部分画像を取得する部分画像位置、すなわち撮影位置を決定しており、モデルにおける部分画像枠間の重複領域を固定として探索領域内での探索を行っている。
一方、第２の実施例においては、貼り合せモデルの最適位置が決定したところで、低倍率の全体画像（第１の画像情報）を用いて、貼り合せモデルを構成する部分画像枠の位置を決定している。<Second embodiment>
The second embodiment has the same configuration as that of the first embodiment, and only differences from the first embodiment will be described below.
FIG. 11 is a flowchart specifically showing an operation example in the second embodiment.
The difference is that step S8 of the first embodiment is changed to step S15, and this step will be described.
In the first embodiment, the partial image position for acquiring a high-definition partial image, that is, the photographing position is determined based on the position of the partial image frame in the model from the optimal position of the model to which the partial images are pasted. The search in the search area is performed with the overlapping area between the partial image frames in the model fixed.
On the other hand, in the second embodiment, when the optimum position of the stitching model is determined, the position of the partial image frame constituting the stitching model is determined using the low-magnification whole image (first image information). is doing.
ステップＳ６において、固定した重複領域のモデルにより、所定の移動距離により、探索領域を移動させつつ、各位置におけるパターン密度評価値を算出する。
このとき、以下に示す式として最低パターン密度閾値ＰＤＥＶ＿Ｍｉｎを設定する。
ＰＤＥＶ＿Ｍｉｎ＝ＡＥＨ＿Ｍｉｎ ＋ ＡＥＶ＿Ｍｉｎ
＝４・Ｑ×ＰｉｘＮｕｍ ＋ ４・Ｑ×ＰｉｘＮｕｍ
＝８・Ｑ×ＰｉｘＮｕｍ
ここで、ＰｉｘＮｕｍ＝「重複領域におけるＳｏｂｅｌフィルタ演算対象の画素数」
そして、パターン密度評価値算出部１７は、パターン密度評価値の算出を各移動位置にて行い、探索範囲全体が探索されるまで上記処理が繰り返し、上記閾値ＰＤＥＶ＿Ｍｉｎを超えるものを、順次、計算されたパターン密度評価値を全体画像における座標値（計算した位置）に対応付け、内部の記憶部に記憶し、探索領域全体におけるパターン密度評価値の計算を終了すると処理をステップＳ７へ進む。In step S6, a pattern density evaluation value at each position is calculated while moving the search area by a predetermined movement distance using a fixed overlapping area model.
At this time, the minimum pattern density threshold PDEV_Min is set as an expression shown below.
PDEV_Min = AEH_Min + AEV_Min
= 4 · Q × PixNum + 4 · Q × PixNum
= 8 ・ Q × PixNum
Here, PixNum = “the number of pixels subject to Sobel filter calculation in the overlapping region”
Then, the pattern density evaluation
ステップＳ７において、パターン密度評価値算出部１７は、第１の実施例と同様に、内部記憶部の中から最も大きなパターン密度評価値を選択して出力する。
次に、ステップＳ１５において、この選択したパターン密度評価値に対応する座標値のモデルにおける重複領域のパターン密度評価値の再計算を行う。
このとき、モデルにおける部分画像枠の重複領域は、図１２の部分画像枠Ｆ１及びＦ２による領域Ａ，図１３の部分画像枠Ｆ３及びＦ４による領域Ｂ，図１４の部分画像枠Ｆ１及びＦ３による領域Ｃ，図１５の部分画像枠Ｆ２及びＦ４による領域Ｄとなる。
これらについて、領域Ａ〜Ｄ各々のパターン密度評価値を、各部分画像枠に対して、低倍率の全体画像の対応する位置の画像から算出する。In step S7, the pattern density evaluation
Next, in step S15, the pattern density evaluation value of the overlapping region in the model of coordinate values corresponding to the selected pattern density evaluation value is recalculated.
At this time, the overlapping regions of the partial image frames in the model are the region A by the partial image frames F1 and F2 in FIG. 12, the region B by the partial image frames F3 and F4 in FIG. 13, and the region by the partial image frames F1 and F3 in FIG. C, a region D is formed by the partial image frames F2 and F4 in FIG.
About these, the pattern density evaluation value of each area | region A-D is calculated from the image of the position corresponding to the whole image of a low magnification with respect to each partial image frame.
ここで、パターン密度評価値算出部１７は、各領域Ａ〜Ｄ各々が所定の閾値を超えているか否かの判定を行う。
この閾値は、第１の実施例においては横方向と縦方向とのパターン密度評価値として求めていたが、第２の実施例においては、横方向及び縦方向で隣接した２つの部分画像枠の重複領域単位となるため、以下の式で定義される値とする。
Ｔhres2 ＝ ２・Ｑ×（重複領域におけるＳｏｂｅｌフィルタ演算対象の画素数）
そして、パターン密度評価値算出部１７は、領域Ａ〜Ｄ全てのパターン密度が上記閾値を超えていることを検出すると、処理をステップＳ９へ進め、以降、第１の実施例と同様の処理を行う。
上記閾値Ｔhres2には所定の係数を乗じた値を実際の閾値として用いる。この乗じる係数としては、ノイズの影響を抑えるためであれば、１または２などの小さな値でよい。
また、エッジ強度が大きい、すなわちパターンの特徴がはっきりしている領域を取り出す場合、Ｑの値に応じて大きな値（輝度の階調が２５６であり、Ｑが１０であれば、１０〜１５の間の値等）とする。Here, the pattern density evaluation
This threshold value is obtained as a pattern density evaluation value in the horizontal direction and the vertical direction in the first embodiment, but in the second embodiment, the threshold values of two partial image frames adjacent in the horizontal direction and the vertical direction are obtained. Since this is an overlapping area unit, the value is defined by the following formula.
Thres2 = 2 · Q × (the number of pixels subject to Sobel filter calculation in the overlapping region)
Then, when the pattern density evaluation
A value obtained by multiplying the threshold Thres2 by a predetermined coefficient is used as the actual threshold. As a coefficient to be multiplied, a small value such as 1 or 2 may be used in order to suppress the influence of noise.
Further, when an area having a high edge strength, that is, a pattern having a clear feature is extracted, a large value corresponding to the value of Q (the luminance gradation is 256, and if Q is 10, 10 to 15 Value between).
一方、パターン密度評価値算出部１７は、上記閾値Ｔhres2を超えない領域に対して、例えば、図１６の斜線で示す領域Ａのパターン密度評価値が閾値Ｔhres2を超えないことを検出すると、図１７に示すように、所定の移動距離により部分画像枠Ｆ１を右方向に移動させて、部分画像枠Ｆ１及び部分画像枠Ｆ２との重複領域である領域Ａの面積を広げる。
そして、パターン密度評価値算出部１７は、再度、上記領域Ａのパターン密度評価値を算出して、このパターン密度評価値が閾値Ｔhres2を超えたか否かの検出を行い、超えていることを検出すると処理をステップＳ９へ進め、また、超えていなければ再度、部分画像枠Ｆ１を右方向に移動させて、領域Ａのパターン密度評価値の判定を行う。On the other hand, when the pattern density evaluation
Then, the pattern density evaluation
ここで、部分画像枠を移動させた場合における重複領域の重複率の制限について、図を参照して説明する。図１８は重複領域の重複率を説明するための概念図である。
重複率の最大値としては、同一パターンが２つの部分画像に含まれるようにすると、５０％が適当である。
すなわち、重複率を５０％以上とすると、同一のパターンが３枚の部分画像に含まれることとなる。
そして、パターン密度評価値算出部１７は、重複領域の重複率が最大値を超えた場合、重複領域全体のパターン密度評価値が２番目に大きい数値のモデルの座標において再度上述した処理を行う。Here, the limitation on the overlapping rate of the overlapping area when the partial image frame is moved will be described with reference to the drawings. FIG. 18 is a conceptual diagram for explaining the overlapping rate of overlapping regions.
As the maximum value of the overlapping rate, 50% is appropriate if the same pattern is included in the two partial images.
That is, if the overlapping rate is 50% or more, the same pattern is included in the three partial images.
Then, when the overlapping rate of the overlapping area exceeds the maximum value, the pattern density evaluation
一方、重複率の最低値としては、基板に形成されるパターンにおいて最小パターンの画素数に対し、１倍以上の実数倍の画素数の規定値を設け、この規定値の部分画像全体における割合から求める。
例えば、部分画像のサイズが６４０（水平方向）×４８０（垂直方向）画素に対して、最小パターンが４（水平方向）×４（垂直方向）画素とすると、この最小パターンの２倍の画素数を規定値とする。
これにより、水平方向の最小の重複率としては（４×２／６４０）＝１．２５％であり、垂直方向の最小の重複率としては（４×２／４８０）＝１．６７％となる。On the other hand, as the minimum value of the overlapping rate, a prescribed value of the number of pixels that is a real number multiple of 1 or more is provided for the number of pixels of the minimum pattern in the pattern formed on the substrate, and the ratio of the prescribed value in the entire partial image Ask.
For example, if the size of the partial image is 640 (horizontal direction) × 480 (vertical direction) pixels and the minimum pattern is 4 (horizontal direction) × 4 (vertical direction) pixels, the number of pixels is twice that of the minimum pattern. Is the specified value.
Accordingly, the minimum overlap ratio in the horizontal direction is (4 × 2/640) = 1.25%, and the minimum overlap ratio in the vertical direction is (4 × 2/480) = 1.67%. .
上述したように、第２の実施例においては、貼り合せのモデルの最適位置を決定する際に、探索領域全体でモデルにおける領域Ａ〜Ｄの全てのパターン密度評価値が閾値を超えない場合、最初は全体として評価値が最大である位置を全体画像において決定し、この座標値において個々の部分画像枠の重複部分について、パターン密度評価値が閾値を超えるように部分画像枠の位置を調整して、重複領域の重複率を変化させ、撮影する部分画像の撮影位置を決定する。 As described above, in the second embodiment, when determining the optimum position of the model for pasting, when all the pattern density evaluation values of the regions A to D in the model do not exceed the threshold in the entire search region, Initially, the position where the evaluation value is the maximum as a whole is determined in the entire image, and the position of the partial image frame is adjusted so that the pattern density evaluation value exceeds the threshold value for the overlapping portion of each partial image frame at this coordinate value Thus, the overlapping position of the overlapping area is changed, and the shooting position of the partial image to be shot is determined.
また、重複領域の重複率を変化させて、パターン密度評価値を適時調整するため、探索の自由度が実施例１に対して増加し、適当に設定した撮影位置をスタートとしても（探索領域全体を探索しなくても）、パターン密度評価値を用いて自動的に貼り合せに最適な撮影位置を決定することができる。
したがって、本実施例においては、貼り合わせる重複領域の配置位置を、パターン密度評価値等のパターン情報により決定しているため、図７に示すＦＰＤ基板のパターンのように、基板上に形成されるパターンが疎の部分が多く、貼り合わせ処理に適さない周期性を有する被対象物でも、また、適当に設定した重複部分では貼り合せ処理が失敗するような場合であっても、高い精度で貼り合わせ画像を生成することができる。Further, in order to adjust the pattern density evaluation value in a timely manner by changing the overlapping rate of the overlapping area, the degree of freedom of search is increased compared to the first embodiment, and even when an appropriately set shooting position is started (the entire search area) Without searching for the image), it is possible to automatically determine the optimum photographing position for the pasting using the pattern density evaluation value.
Therefore, in the present embodiment, since the arrangement position of the overlapping region to be bonded is determined by the pattern information such as the pattern density evaluation value, it is formed on the substrate like the FPD substrate pattern shown in FIG. Even with objects that have many patterns that are sparse and have periodicity that is not suitable for the bonding process, or when the bonding process fails at an appropriately set overlapping part, the pattern is pasted with high accuracy. A combined image can be generated.
＜第３の実施例＞
図１９に示す第３の実施例は顕微鏡を搭載した大型の基板検査装置である。図１９に示す基板検査装置は、顕微鏡や対物レンズ２、撮像カメラ３等の観察系等の構成が第１及び第２の実施例と同様である。
異なる点は、被対象物のＦＰＤ基板を対物レンズ２に対して移動させる駆動機構であり、ステージ移動制御部６は被対象物が配置されているステージ４を１軸方向（図１９では右上−左下方向：矢印Ｏ）にのみ駆動させる。
一方において、システム制御部７は顕微鏡Ｔ自身をステージ４とは垂直の方向（図１９では左上−右下方向：矢印Ｐ）の１軸方向に駆動する。
これにより、対物レンズ２と被対象物との相対位置を、Ｘ−Ｙ方向に移動させることができる。<Third embodiment>
The third embodiment shown in FIG. 19 is a large substrate inspection apparatus equipped with a microscope. The substrate inspection apparatus shown in FIG. 19 is the same as the first and second embodiments in the configuration of an observation system such as a microscope,
The difference is a drive mechanism for moving the FPD substrate of the object relative to the
On the other hand, the
Thereby, the relative position of the
＜第４の実施例＞
第１〜第３の実施例において生成された高精細画像である対象画像は、基板の欠陥を検出するときに、検査されている基板の画像と比較する基準画像（比較するため正常な基板から生成された画像）として検査装置において用いられる。
例えば、ＦＰＤ基板の検査において、図２０に示す検査装置は、撮像手段としてラインセンサが設けられており、校正用サンプルにより、撮像手段の調整がなされた後、保持移動手段によりステージが矢印Ｇ方向に移動し、所定の移動距離毎にラインセンサにより、照明手段から放射される光の反射光を検出する。
そして、統合制御手段が、検出された反射光の強度と、直前にサンプリングした反射光の検出値とを比較し、所定の範囲を超えて異なっていると、不良候補として検出し、この基板上における座標値を記憶する。<Fourth embodiment>
The target image, which is a high-definition image generated in the first to third embodiments, is a reference image (from a normal substrate for comparison) that is compared with the image of the substrate being inspected when detecting a defect in the substrate. The generated image) is used in the inspection apparatus.
For example, in the inspection of the FPD substrate, the inspection apparatus shown in FIG. 20 is provided with a line sensor as an imaging unit. After the imaging unit is adjusted with a calibration sample, the stage is moved in the direction of arrow G by the holding and moving unit. The reflected light of the light radiated from the illumination means is detected by the line sensor at every predetermined moving distance.
Then, the integrated control means compares the detected intensity of the reflected light with the detected value of the reflected light sampled immediately before, and if the difference exceeds a predetermined range, it is detected as a defective candidate, The coordinate value at is stored.
そして、第１〜第３の実施例における画像処理装置のステージ４に、上記ＦＰＤ基板を載せて、システム制御部７に対し不良候補の座標値を入力する。
これにより、システム制御部７は、ステージ移動制御部６を介してステージ４を移動させ、不良候補の位置が対物レンズ２の位置、すなわち撮像カメラ３により不良候補の基板部分が撮像できる位置に移動する。
このとき、システム制御部７は、高精細な画像として、すなわち第２の倍率により不良候補の位置を含んだ状態で、かつ、第１〜第３の実施例において対象画像を生成した、すなわち最適なモデルの位置と対応する場所に移動させる。Then, the FPD board is placed on the stage 4 of the image processing apparatus in the first to third embodiments, and the coordinate value of the defect candidate is input to the
As a result, the
At this time, the
そして、システム制御部７は、撮影した不良候補を含む画像情報と、第１〜第２の実施例にて生成した対象画像とを、パターンマッチングにより比較し、不良候補のパターン形状と、基準画像である対象画像の対応する部分のパターン形状とを比較し、異なっているか否かの判定を行う。
このとき、システム制御部７は、異なっていないことを検出すると、この不良候補を良品と判定し、一方、異なっていることを検出すると、この不良候補を不良と判定し、たとえば、判定結果を表示装置に表示する。
上述した本発明の検査方法により、ラインセンサによる高速な検査において不良候補と判定したものを、実際の正常な基板パターンと比較することにより正確に判定することで、検査速度を向上させ、かつ検査の精度をも向上させることが可能となる。Then, the
At this time, if the
By the above-described inspection method of the present invention, what is determined as a defective candidate in the high-speed inspection by the line sensor is accurately determined by comparing it with an actual normal substrate pattern, thereby improving the inspection speed and inspecting. It is possible to improve the accuracy.
なお、図１及び図２における画像処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。 A program for realizing the functions of the image processing unit in FIGS. 1 and 2 is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed. Image processing may be performed. Here, the “computer system” includes an OS and hardware such as peripheral devices. The “computer system” includes a WWW system having a homepage providing environment (or display environment). The “computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, and a CD-ROM, and a storage device such as a hard disk built in the computer system. Further, the “computer-readable recording medium” refers to a volatile memory (RAM) in a computer system that becomes a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. In addition, those holding programs for a certain period of time are also included.
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。 The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
本発明の画像処理装置および画像処理方法によれば、部分画像を貼り合わせるとき、低解像度の第１の画像情報により、部分画像で貼り合わせて合成する対象画像のモデルを予め形成して、このモデルを用いて広範囲な第１の画像情報の所定の領域内において、重複領域を含めて高解像度の対象画像を生成する部分画像の撮影位置を調整するため、第１の画像情報による広範囲な視野領域において、適切な部分画像の撮影位置を演算により求めることができ、所望の高解像度の高精細画像を容易に生成することが可能となる。 According to the image processing apparatus and the image processing method of the present invention, when combining partial images, a model of a target image to be combined and combined with the partial images is formed in advance based on the low-resolution first image information. A wide field of view based on the first image information is used to adjust the shooting position of the partial image for generating the high-resolution target image including the overlapping region within the predetermined region of the wide range of the first image information using the model. In the region, an appropriate photographing position of the partial image can be obtained by calculation, and a desired high-resolution high-definition image can be easily generated.
Claims (11)
被対象物を第１の倍率で撮影して第１の画像情報を得る第１の撮影手段と、
前記被対象物を前記第１の倍率より高い倍率である第２の倍率で撮影して、前記部分画像として第２の画像情報を得る第２の撮影手段と、
前記対象画像の大きさと部分画像における重複領域の度合を示す画像領域情報とから、前記部分画像を貼り合わせて生成される対象画像のモデルを生成する画像モデル生成手段と、
前記部分画像を貼り合わせて生成する対象画像の、第１の画像情報における配置位置を、前記モデルを用いて探索する撮影位置算出手段と、
前記配置位置に基づいて、前記部分画像を貼り合わせて前記対象画像を生成する高精細画像生成手段と
を有する画像処理装置。An image processing apparatus that generates a target image of a whole or a part of the target with a predetermined size by pasting partial images of the target captured at a predetermined resolution with a predetermined overlap area.
First imaging means for imaging a subject at a first magnification to obtain first image information;
Second imaging means for imaging the object at a second magnification that is higher than the first magnification, and obtaining second image information as the partial image;
Image model generation means for generating a model of the target image generated by pasting the partial images from the size of the target image and the image region information indicating the degree of the overlapping region in the partial image;
Shooting position calculation means for searching for an arrangement position in the first image information of the target image generated by pasting the partial images using the model;
An image processing apparatus comprising: a high-definition image generation unit that generates the target image by combining the partial images based on the arrangement position.
前記撮影位置算出手段が前記モデルにより検出した対象画像の配置位置に基づき、前記対象物における対象画像の撮影位置を設定する画像処理装置。6. The image processing apparatus according to claim 1, wherein the object is relative to the first imaging unit and the second imaging unit in a predetermined distance unit in the XY direction. Moving means to move to
An image processing apparatus that sets a shooting position of a target image on the object based on an arrangement position of the target image detected by the shooting model by the shooting position calculation unit.
被対象物を第１の倍率で撮影して第１の画像情報を得る第１の撮影過程と、
前記被対象物を前記第１の倍率より高い倍率である第２の倍率で撮影して、前記部分画像として第２の画像情報を得る第２の撮影過程と、
前記対象画像の大きさと部分画像における重複領域の度合を示す重複領域情報とから、前記部分画像を貼り合わせて生成される対象画像のモデルを生成する画像モデル生成過程と、
前記部分画像を貼り合わせて生成する対象画像の、第１の画像情報における配置位置を、前記モデルを用いて探索する撮影位置算出過程と、
前記配置位置に基づいて、前記部分画像を貼り合わせて前記対象画像を生成する高精細画像生成過程と
を有する画像処理方法。An image processing method for generating a target image of a whole or a part of the target object having a predetermined size by pasting partial images of the target object photographed at a predetermined resolution with a predetermined overlap area,
A first imaging process in which an object is photographed at a first magnification to obtain first image information;
A second imaging process in which the object is imaged at a second magnification that is higher than the first magnification to obtain second image information as the partial image;
An image model generation process for generating a model of the target image generated by pasting the partial images from the size of the target image and the overlapping region information indicating the degree of the overlapping region in the partial image;
A shooting position calculation process for searching for an arrangement position in the first image information of the target image generated by pasting the partial images using the model;
And a high-definition image generation step of generating the target image by combining the partial images based on the arrangement position.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006529001A JP4709762B2 (en) | 2004-07-09 | 2005-07-08 | Image processing apparatus and method |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004203108 | 2004-07-09 | ||
| JP2004203108 | 2004-07-09 | ||
| JP2006529001A JP4709762B2 (en) | 2004-07-09 | 2005-07-08 | Image processing apparatus and method |
| PCT/JP2005/012661 WO2006006525A1 (en) | 2004-07-09 | 2005-07-08 | Image processing device and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2006006525A1 true JPWO2006006525A1 (en) | 2008-04-24 |
| JP4709762B2 JP4709762B2 (en) | 2011-06-22 |
Family
ID=35783868
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006529001A Expired - Fee Related JP4709762B2 (en) | 2004-07-09 | 2005-07-08 | Image processing apparatus and method |
Country Status (5)
| Country | Link |
|---|---|
| JP (1) | JP4709762B2 (en) |
| KR (1) | KR100888235B1 (en) |
| CN (1) | CN1981302B (en) |
| TW (1) | TWI366150B (en) |
| WO (1) | WO2006006525A1 (en) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101029460B1 (en) * | 2009-04-10 | 2011-04-15 | 에스엔유 프리시젼 주식회사 | image centering method |
| KR20120068014A (en) * | 2009-09-03 | 2012-06-26 | 씨씨에스 가부시키가이샤 | Illumination/image-pickup system for surface inspection and data structure |
| JP2011087183A (en) * | 2009-10-16 | 2011-04-28 | Olympus Imaging Corp | Imaging apparatus, image processing apparatus, and program |
| JP5784718B2 (en) * | 2010-06-15 | 2015-09-24 | コーニンクレッカ フィリップス エヌ ヴェ | Image processing method for microscopy |
| JP6212314B2 (en) * | 2013-07-22 | 2017-10-11 | 株式会社ミツトヨ | Image measuring apparatus and program |
| US11336831B2 (en) | 2018-07-06 | 2022-05-17 | Canon Kabushiki Kaisha | Image processing device, control method, and program storage medium |
| JP7277283B2 (en) * | 2019-06-25 | 2023-05-18 | 株式会社Fuji | tolerance setting system, circuit board inspection machine, tolerance setting method, circuit board inspection method |
| CN110441234B (en) * | 2019-08-08 | 2020-07-10 | 上海御微半导体技术有限公司 | Zoom lens, defect detection device and defect detection method |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0510722A (en) * | 1991-07-05 | 1993-01-19 | Dainippon Screen Mfg Co Ltd | Length measurement apparatus |
| JPH0560533A (en) * | 1991-09-04 | 1993-03-09 | Nikon Corp | Pattern inspection device |
| JPH07306007A (en) * | 1994-05-11 | 1995-11-21 | Casio Comput Co Ltd | Method for matching position of transparent substrate |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69403581T2 (en) * | 1993-08-13 | 1998-02-05 | Agfa Gevaert Nv | Method for generating frequency-modulated halftone images |
| JP3333012B2 (en) * | 1993-09-10 | 2002-10-07 | オリンパス光学工業株式会社 | Image synthesis device |
| CN1204101A (en) * | 1997-06-26 | 1999-01-06 | 伊斯曼柯达公司 | Integral images with transitions |
| JPH11271645A (en) * | 1998-03-25 | 1999-10-08 | Nikon Corp | Microscopic image display device |
| JP2000059606A (en) * | 1998-08-12 | 2000-02-25 | Minolta Co Ltd | High definition image preparation system |
| US6470094B1 (en) * | 2000-03-14 | 2002-10-22 | Intel Corporation | Generalized text localization in images |
-
2005
- 2005-07-08 KR KR1020077000543A patent/KR100888235B1/en not_active IP Right Cessation
- 2005-07-08 TW TW094123201A patent/TWI366150B/en not_active IP Right Cessation
- 2005-07-08 WO PCT/JP2005/012661 patent/WO2006006525A1/en active Application Filing
- 2005-07-08 CN CN2005800228587A patent/CN1981302B/en not_active Expired - Fee Related
- 2005-07-08 JP JP2006529001A patent/JP4709762B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0510722A (en) * | 1991-07-05 | 1993-01-19 | Dainippon Screen Mfg Co Ltd | Length measurement apparatus |
| JPH0560533A (en) * | 1991-09-04 | 1993-03-09 | Nikon Corp | Pattern inspection device |
| JPH07306007A (en) * | 1994-05-11 | 1995-11-21 | Casio Comput Co Ltd | Method for matching position of transparent substrate |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20070026792A (en) | 2007-03-08 |
| CN1981302B (en) | 2010-12-29 |
| JP4709762B2 (en) | 2011-06-22 |
| WO2006006525A1 (en) | 2006-01-19 |
| TW200606753A (en) | 2006-02-16 |
| KR100888235B1 (en) | 2009-03-12 |
| CN1981302A (en) | 2007-06-13 |
| TWI366150B (en) | 2012-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4709762B2 (en) | Image processing apparatus and method | |
| JP4951496B2 (en) | Image generation method and image generation apparatus | |
| JP2008064629A (en) | Irregularity inspection method, manufacturing method of display panel and irregularity inspection device | |
| JP2010139890A (en) | Imaging apparatus | |
| JPWO2008069191A1 (en) | Wafer storage cassette inspection apparatus and method | |
| KR20110030275A (en) | Method and apparatus for image generation | |
| TW200908017A (en) | Structure visual inspection apparatus and inspection method therefor | |
| JP2010141700A (en) | Imaging apparatus | |
| JP4477863B2 (en) | Cell measurement support system and cell observation apparatus | |
| JP2005293334A (en) | Template matching device | |
| JP2009294027A (en) | Pattern inspection device and method of inspecting pattern | |
| JP2005352543A (en) | Template matching device | |
| JP2007181184A (en) | Imaging apparatus and method, and method for designing imaging apparatus | |
| JPH10320558A (en) | Calibration method, corresponding point search method and device therefor, focus distance detection method and device therefor, three-dimensional position information detection method and device therefor, and recording medium | |
| JP5209100B2 (en) | Imaging device | |
| JPH11287618A (en) | Image processing device | |
| JP6184746B2 (en) | Defect detection apparatus, defect correction apparatus, and defect detection method | |
| JP4851972B2 (en) | Relative position calculation device, relative position adjustment device, relative position adjustment method, and relative position adjustment program | |
| JP2008014857A (en) | Device, method, and program for acquiring coordinate for inspection of printed board | |
| JP4389568B2 (en) | Defect inspection equipment | |
| JP2011182084A (en) | Image processor and image processing program | |
| JP2003346165A (en) | Detection method of work boundary | |
| JPH0877353A (en) | Method and device for processing information | |
| JP2007151034A (en) | Imaging apparatus and image reproducing device | |
| JP2009175338A (en) | Image pickup apparatus, optical axis center calculation program, and optical axis center calculation method for image pickup apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080707 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100914 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101110 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20101111 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110315 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110318 |
|
| LAPS | Cancellation because of no payment of annual fees |