JP5369563B2 - Shape measuring device - Google Patents

Shape measuring device Download PDF

Info

Publication number
JP5369563B2
JP5369563B2 JP2008233494A JP2008233494A JP5369563B2 JP 5369563 B2 JP5369563 B2 JP 5369563B2 JP 2008233494 A JP2008233494 A JP 2008233494A JP 2008233494 A JP2008233494 A JP 2008233494A JP 5369563 B2 JP5369563 B2 JP 5369563B2
Authority
JP
Japan
Prior art keywords
image
objective lens
measurement
lens
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008233494A
Other languages
Japanese (ja)
Other versions
JP2010066155A (en
Inventor
宗樹 浜島
篤 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2008233494A priority Critical patent/JP5369563B2/en
Publication of JP2010066155A publication Critical patent/JP2010066155A/en
Application granted granted Critical
Publication of JP5369563B2 publication Critical patent/JP5369563B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To measure the profile of a testing object without moving the object along the light axis of an objective lens. <P>SOLUTION: An MLA 12 is placed in a pupil plane or an imaging plane of the objective lens 11, and an imaging element 13 is placed behind the MLA 12 and images the testing object formed by the objective lens 11. An lens driving apparatus 42 moves the objective lens 11 to the direction of the light axis by the amount in accordance with the distance information to respective measuring points of the object so that the testing object is in focus. A calculation process circuit 34 generates a plurality of measuring images from the output of the imaging element 13 and measures the 3-dimensional profile of the object by using the reference image obtained from the pixels in the position crossing the principal ray of the objective lens 11, among the pixels composing the imaging area of the imaging element 13 corresponding to each of a plurality of ML arranged 2-dimensionally of the MLA 12, as the correction information for the measuring image. The present invention can be applied to the profile measuring apparatus for measuring the 3-dimensional profile of the testing object. <P>COPYRIGHT: (C)2010,JPO&amp;INPIT

Description

本発明は、形状測定装置に関する。   The present invention relates to a shape measuring apparatus.

対物レンズの光軸に沿って被検物を移動させながら焦点位置の異なる複数の画像を得て、被検物上の点各々について、それら複数の画像より合焦測度が最大となる画像を選択し、その画像での焦点位置をその点についての高さとし、これらの情報から被検物の形状測定を行うものが知られている。   While moving the test object along the optical axis of the objective lens, obtain multiple images with different focal positions, and select the image with the maximum focus measure for each point on the test object from the multiple images. It is known that the focus position in the image is the height of the point and the shape of the test object is measured from these pieces of information.

これは、一般的に、SFF（Shape From Focus）といった手法である。
特許第２９６０６８４号公報 This is generally a technique such as SFF (Shape From Focus).
Japanese Patent No. 2960684

しかしながら、このような従来の技術では、対物レンズの光軸に沿って被検物を移動させながら画像を取得する必要があり、測定に時間がかかっていた。   However, in such a conventional technique, it is necessary to acquire an image while moving the test object along the optical axis of the objective lens, and the measurement takes time.

本発明はこのような状況に鑑みてなされたものであり、対物レンズの光軸に沿って、被検物を移動することなく、被検物の形状を測定できるようにするものである。   The present invention has been made in view of such a situation, and makes it possible to measure the shape of a test object without moving the test object along the optical axis of the objective lens.

本発明の一側面の形状測定装置は、対物レンズと、前記対物レンズの背後に２次元に配列された複数のレンズを有する光学素子と、前記光学素子の背後に配置された２次元の撮像素子と、前記対物レンズを光軸方向へ移動させるレンズ移動手段と、前記撮像素子の出力から焦点面の異なる複数の測定画像を生成する画像形成手段と、前記複数のレンズの各々に対応する前記撮像素子の撮像領域を構成する画素のうち前記対物レンズと前記光学素子との光学配置に応じた所定画素から得られる、全ての画素が合焦した基準画像と、前記複数の測定画像との相関から求められる被検物の前記対物レンズの光軸方向の位置を用いて、前記被検物の３次元の形状を測定する３次元形状測定手段とを備えることを特徴とする。 The shape measuring apparatus according to one aspect of the present invention includes an objective lens, an optical element having a plurality of lenses arrayed two-dimensionally behind the objective lens, and a two-dimensional imaging element disposed behind the optical element. Lens moving means for moving the objective lens in the optical axis direction, image forming means for generating a plurality of measurement images having different focal planes from the output of the image sensor, and the imaging corresponding to each of the plurality of lenses obtained from a given pixel in accordance with the optical arrangement of the objective lens among the pixels constituting the imaging area of the element and the optical element, and the reference image in which all pixels are in focus, the correlation between the plurality of measurement images using the position of the optical axis of the objective lens of the object sought, characterized in that it comprises a three-dimensional shape measurement means for measuring the three-dimensional shape of the test object.

前記３次元形状測定手段は、前記形状の測定の前提として、前記被検物の各測定点までの距離情報を求め、前記３次元形状測定手段により測定された距離情報に基づいて、前記被検物に焦点が合うように前記レンズ移動手段を制御する制御手段をさらに備えることを特徴とする。 The three-dimensional shape measuring means obtains distance information to each measurement point of the test object as a premise of the shape measurement, and based on the distance information measured by the three-dimensional shape measuring means, the test object The apparatus further includes control means for controlling the lens moving means so that the object is in focus.

前記距離情報は、前記基準画像と、前記複数の測定画像との相関から求められる前記被検物の前記光軸方向の位置に応じた、前記対物レンズから前記被検物までの距離に関する情報であることを特徴とする。 The distance information is information on the distance from the objective lens to the test object according to the position of the test object in the optical axis direction, which is obtained from the correlation between the reference image and the plurality of measurement images. It is characterized by being.

前記レンズ移動手段によって前記対物レンズを所定の間隔ごとにステップ移動させ、前記対物レンズが停止するごとに、前記画像形成手段に前記複数の測定画像の生成を指示する制御手段をさらに備えることを特徴とする。 The objective lens is further moved stepwise at predetermined intervals by the lens moving means, and further provided with control means for instructing the image forming means to generate the plurality of measurement images each time the objective lens stops. And

前記ステップ移動の間隔は、前記被検物までの距離に応じて変化する測定感度が所定の範囲となるように定められることを特徴とする。   The interval of the step movement is determined such that the measurement sensitivity that changes according to the distance to the test object falls within a predetermined range.

本発明の一側面によれば、対物レンズが光軸方向へ移動され、撮像素子の出力から焦点面の異なる複数の測定画像が生成され、複数のレンズの各々に対応する撮像素子の撮像領域を構成する画素のうち対物レンズと光学素子との光学配置に応じた所定画素から得られる、全ての画素が合焦した基準画像と、複数の測定画像との相関から求められる被検物の対物レンズの光軸方向の位置を用いて、被検物の３次元の形状が測定される。 According to an aspect of the present invention, the objective lens is moved in the optical axis direction, a plurality of measurement images having different focal planes are generated from the output of the imaging device, and the imaging region of the imaging device corresponding to each of the plurality of lenses is defined. The objective lens of the test object obtained from the correlation between a reference image obtained by focusing on all the pixels and a plurality of measurement images obtained from a predetermined pixel corresponding to the optical arrangement of the objective lens and the optical element among the constituent pixels The three-dimensional shape of the test object is measured using the position in the optical axis direction .

本発明によれば、対物レンズの光軸に沿って、被検物を移動することなく、被検物の形状を測定できる。   According to the present invention, the shape of the test object can be measured without moving the test object along the optical axis of the objective lens.

以下、図面を参照しながら本発明の実施の形態について説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

本発明では、レンズを動かすことなく、複数の仮想的な物体面（Ｚ1，Ｚ2，・・・）からの（方向性を含む）ボケ量（以下、フォーカス情報ともいう）を算出し、さらに、ボケのない全焦点の画像も同時に得られるようにしている。これにより、本発明においては、それらの情報を用いた距離計測を行うことが可能となる。 In the present invention, the amount of blur (including directionality) (hereinafter also referred to as focus information) from a plurality of virtual object planes (Z 1 , Z 2 ,...) Is calculated without moving the lens. In addition, an omnifocal image without blur can be obtained at the same time. Thereby, in this invention, it becomes possible to perform the distance measurement using those information.

具体的には、レンズと撮像面の間隔ａ（以下、レンズ位置ａともいう）と、レンズの焦点距離ｆから、下記の式（１）のガウスの公式により、被検物の測定点までの距離ｂを知ることができる。   Specifically, from the distance a between the lens and the imaging surface (hereinafter also referred to as the lens position a) and the focal length f of the lens, the measurement point of the object to be measured is calculated according to the Gauss formula of the following equation (1). The distance b can be known.

１／ｂ＝１／ｆ−１／ａ・・・（１）   1 / b = 1 / f−1 / a (1)

本発明による測定では、上記の機構的に決まるレンズ位置ａとは別に、マイクロレンズアレイ（以下、MLAという）を通した撮像素子上の画素信号を組み換え、加算することにより、仮想的にレンズと撮像面の間隔ａ1，ａ2，ａ3，・・・，ａnを構築する。これらの値を、式（１）の値ａに代入して得られる値ｂの値列が、複数の物体面（Ｚ1，Ｚ2，Ｚ3，・・・Ｚn）の位置となる。すなわち、かかる測定においては、このような再構成により、異なる物体面から発せられた光線が撮像面に到達したとして、そのときの画像を再構成し、フォーカス情報を得ることができる。 In the measurement according to the present invention, in addition to the lens position a determined mechanically, the pixel signal on the image sensor that has passed through a microlens array (hereinafter referred to as MLA) is recombined and added to virtually add the lens. The imaging plane intervals a 1 , a 2 , a 3 ,..., An are constructed. A value string of values b obtained by substituting these values into the value a in the equation (1) is the position of a plurality of object planes (Z 1 , Z 2 , Z 3 ,... Z n ). That is, in such measurement, it is possible to reconstruct an image at that time and obtain focus information on the assumption that light beams emitted from different object surfaces have reached the imaging surface by such reconstruction.

このようにして、レンズの光軸に沿って被検物を移動することなく、従来のSFF法と同様の情報を得ることができる。   In this way, the same information as in the conventional SFF method can be obtained without moving the test object along the optical axis of the lens.

なお、このような焦点検出での位置は、MLAの数だけ実行できるので、被検物をどのくらい細かく測定できるか（空間分解能）は、MLAの配列構成によって決まる。つまり、MLAの数が多いほど、測定の空間分解能が高くなることになる。   In addition, since the position in such focus detection can be executed by the number of MLAs, how finely the test object can be measured (spatial resolution) is determined by the arrangement of the MLA. In other words, the larger the number of MLA, the higher the spatial resolution of the measurement.

次に、上記の原理を用いて、被検物の形状測定を行う形状測定装置の詳細について、各構成要素ごとに説明する。   Next, details of the shape measuring apparatus for measuring the shape of the test object using the above principle will be described for each component.

［１．光学系］
まず、図１を参照して、本発明を適用した形状測定装置の光学系の概要について説明する。 [1. Optical system]
First, an outline of an optical system of a shape measuring apparatus to which the present invention is applied will be described with reference to FIG.

図１に示すように、光学系は、対物レンズ１１、MLA１２、及び撮像素子１３を含むようにして構成される。   As shown in FIG. 1, the optical system is configured to include an objective lens 11, an MLA 12, and an image sensor 13.

図１には、図１ａと図１ｂの２つの光学系の構成が図示されているが、図１ａの構成では、被検物（物体面（Ｐ面））の像を捕らえる対物レンズ１１の焦点距離だけ離れた位置にMLA１２を置き、MLA１２の焦点距離だけ離れた位置に撮像素子１３が置かれている。図１ａでは、この撮像素子１３の撮像面が、物体面（Ｐ面）と共役になっており、被検物の像が結像している。   FIG. 1 shows the configuration of the two optical systems shown in FIGS. 1a and 1b. In the configuration shown in FIG. 1a, the focal point of the objective lens 11 that captures an image of the test object (object plane (P plane)) is shown. The MLA 12 is placed at a position separated by a distance, and the image sensor 13 is placed at a position separated by the focal length of the MLA 12. In FIG. 1a, the imaging surface of the imaging device 13 is conjugate with the object plane (P plane), and an image of the test object is formed.

MLA１２は、先述したMLAと同様に、例えば７×７個などの、複数のマイクロレンズ（以下、ＭＬという）を２次元状に並べてなる光学素子である（図１では、縦方向の７個を図示している）。各ＭＬで結像した像のできる領域、すなわち、ＭＬ領域１３ＭＬから得られる画像信号は、それぞれのＭＬ領域の位置に応じて被検物の異なる視点の画像、つまり、視差のある像となっている。   The MLA 12 is an optical element in which a plurality of microlenses (hereinafter referred to as ML), such as 7 × 7, are arranged in a two-dimensional manner, similar to the above-described MLA (in FIG. 1, seven in the vertical direction are arranged). Shown). A region where an image formed by each ML can be formed, that is, an image signal obtained from the ML region 13ML is an image of a different viewpoint of the test object, that is, an image having a parallax according to the position of each ML region. Yes.

一方、図１ｂの構成では、所定の位置にある物体面Ｐが対物レンズ１１で結像する面にMLA１２を置き、ＭＬの焦点距離だけ離れた位置に撮像素子１３が置かれている。この場合、撮像素子１３の面が、対物レンズ１１の瞳面と共役になっており、各ＭＬ領域の画像信号は、瞳を分割した像となっている。言い換えると、図１ｂでは、結像された光線が、レンズ瞳から見て違う角度ごとの光線に振り分けられている。   On the other hand, in the configuration of FIG. 1b, the MLA 12 is placed on the surface where the object plane P at a predetermined position forms an image with the objective lens 11, and the image sensor 13 is placed at a position separated by the focal length of ML. In this case, the surface of the image sensor 13 is conjugate with the pupil plane of the objective lens 11, and the image signal in each ML region is an image obtained by dividing the pupil. In other words, in FIG. 1b, the imaged rays are distributed into rays at different angles as seen from the lens pupil.

本発明では、上記の図１ａ又は図１ｂのいずれの構成からも、違う角度からの光線を再構成することによって、焦点面の異なる複数の画像を得ることができ、それを利用して、被検物の形状の測定を行う。したがって、以下の説明では、図１ａの構成を中心に述べるが、図１ｂの構成を採用しても同様である。   In the present invention, it is possible to obtain a plurality of images with different focal planes by reconstructing light rays from different angles from either of the above-described configurations of FIG. 1a or FIG. 1b. Measure the shape of the specimen. Therefore, in the following description, the description will focus on the configuration of FIG. 1a, but the same applies to the configuration of FIG. 1b.

そこで、次に、図２及び図３を参照して、図１ａの光学系のさらに詳細な構成について説明する。なお、図２においては、複数のＭＬからなるMLA１２の一部としての、マイクロレンズＭＬa，マイクロレンズＭＬb，マイクロレンズＭＬcの３つのＭＬ（以下、それぞれ、ＭＬa，ＭＬb，ＭＬcという）が説明のために図示されている。 Then, with reference to FIG.2 and FIG.3, the further detailed structure of the optical system of FIG. 1a is demonstrated next. In FIG. 2, three MLs of microlens ML a , microlens ML b , and microlens ML c (hereinafter referred to as ML a , ML b , and ML c , respectively) as a part of MLA 12 composed of a plurality of MLs. For illustrative purposes).

図２において、物体面（Ｐ面）上の点Ｐ１からの光線には、光軸と平行方向の光（図中の実線）として対物レンズ１１を通過後屈折して、ＭＬbによって撮像素子１３の撮像面上のＭＬ領域の点Ｐ１bに結像される光線群（図中の実線）や、対物レンズ１１の中心を通過後、ＭＬcによって、撮像素子１３の撮像面上のＭＬ領域の点Ｐ１cに結像される光線群（図中の点線）などがある。 In Figure 2, the light from point P1 on the object plane (P-plane), is refracted after passing through the objective lens 11 as a parallel to the optical axis direction of the light (solid line in the drawing), captured by ML b element 13 light ray group is focused on a point P1 b of the ML area on the imaging surface of the (solid line in the figure) and, after passing through the center of the objective lens 11, the ML c, the ML area on the imaging surface of the imaging device 13 and the like light ray group is focused on the point P1 c (dotted line in the figure).

こうして、対物レンズ１１の瞳面に置いた各ＭＬが、撮像面にそれぞれ独立に物体の像を結ぶ。また、このとき、撮像面上のＭＬ領域の点Ｐ１bと、ＭＬ領域の点Ｐ１cとは、物体面（Ｐ面）上の同じ点Ｐ１からの、異なる角度で出てきた光線を受光する。 In this way, each ML placed on the pupil plane of the objective lens 11 forms an object image independently on the imaging plane. At this time, the ML region point P1 b and the ML region point P1 c on the imaging surface receive light rays emitted from the same point P1 on the object surface (P surface) at different angles. .

同様に、物体面（Ｐ面）上の点Ｐ２からの光線には、図中の一点鎖線で示される方向に射出して対物レンズ１１を通過屈折し、ＭＬaによって撮像素子１３の撮像面上のＭＬ領域の点Ｐ２aに結像される光線、図中の実線で示されるように、対物レンズ１１の光軸と平行方向に射出して対物レンズ１１を通過後、ＭＬbによって撮像素子１３の撮像面上のＭＬ領域の点Ｐ２bに結像される光線、及び図中の点線で示されるように、下方向に射出して対物レンズ１１を通過後屈折して、ＭＬcによって撮像素子１３の撮像面上のＭＬ領域の点Ｐ２cに結像される光線が示されている。また、物体面（Ｐ面）上の点Ｐ３からの光線には、図中の一点鎖線で示されるように上方向に射出して対物レンズ１１を通過後屈折して、ＭＬaによって撮像素子１３の撮像面上のＭＬ領域の点Ｐ３aに結像される光線、図中の実線で示されるように対物レンズ１１の光軸と平行方向に射出して、ＭＬbによって撮像素子１３の撮像面上のＭＬ領域の点Ｐ３bに結像される光線が示されている。 Similarly, the light beam from point P2 on the object plane (P-plane), passes through the refractive objective lens 11 by injection in the direction indicated by the dashed line in the figure, on the imaging surface of the image sensor 13 by the ML a as shown in rays that are imaged on a point P2 a ML-region, with a solid line in the figure, after passing through the objective lens 11 is injected in a direction parallel to the optical axis of the objective lens 11, imaging by ML b element 13 rays imaged at the point P2 b of ML areas on the imaging surface, and as shown by a dotted line in FIG refracted after passing through the objective lens 11 is injected in downward direction, the image pickup device by ML c rays imaged is shown at point P2 c of ML areas on the imaging surface 13. Further, the light rays from point P3 on the object plane (P-plane), is refracted after passing through the objective lens 11 is injected upward, as shown by a chain line in the figure imaged by ML a device 13 light is imaged on a point P3 a ML-region on the imaging surface of, and exit in the direction parallel to the optical axis of the objective lens 11 as shown by the solid line in the figure, the imaging surface of the imaging device 13 by the ML b The rays that are imaged at point P3 b in the upper ML region are shown.

ここで、仮に、対物レンズ１１だけの結像系であったとすると、例えば、点Ｐ２から射出された光は対物レンズ１１で一点に集光される。すなわち、図２の光学系でいうと、点Ｐ２a，Ｐ２b，Ｐ２cなどの点Ｐ２から射出したあらゆる方向からの光線強度が加算されたものとなり、これが画素信号となる。このことは、図２に示すような、本発明の光学系では、MLA１２の各ＭＬによって、被検物上の一点から出た光を方向別に選別して捕えることができる、ということを意味している。 Here, if it is assumed that the imaging system includes only the objective lens 11, for example, light emitted from the point P <b> 2 is condensed at one point by the objective lens 11. That is, in the optical system of FIG. 2, the light intensity from all directions emitted from the point P2 such as the points P2 a , P2 b , and P2 c is added, and this becomes a pixel signal. This means that in the optical system of the present invention as shown in FIG. 2, the light emitted from one point on the test object can be sorted and captured by each ML by the ML of the MLA 12. ing.

図３は、ある１つのＭＬから見た像が、Ｐ面から射出した同じ方向からの光線で構成されたＰ面の像であることを示しており、そのことはＰ面を各ＭＬによって各ＭＬの数だけ異なる方向から見た像が得られることを示すものである。すなわち、ＭＬの数だけできるが、それらはＰ面から射出した光のうち、同じ方向へ射出した光が対応するＭＬに入射してＰ面の像を形成することを意味する。換言すれば、ＭＬの数だけ異なる視差の像が得られる。   FIG. 3 shows that an image viewed from one ML is an image of the P plane composed of light rays emitted from the same direction and emitted from the P plane. This shows that images viewed from different directions by the number of MLs can be obtained. That is, as many as the number of MLs can be used, but this means that light emitted from the P plane enters the corresponding ML and forms an image of the P plane. In other words, parallax images that differ by the number of MLs are obtained.

図３ａないし図３ｃで示す光線のうち、図３ｂにおいて、対物レンズ１１に対して垂直に入ってくる光を集めた中央部のＭＬによる像は、Ｐ面を正面から捕らえた像となる。また、図３ａ及び図３ｃは、対物レンズ１１に斜めに入射する光を集めた端の方に位置するＭＬによる像は、Ｐ面から射出する光の角度の方向からＰ面を見た像となる。   Among the light rays shown in FIGS. 3a to 3c, in FIG. 3b, the image by ML in the central portion that collects the light entering perpendicularly to the objective lens 11 is an image obtained by capturing the P plane from the front. 3a and 3c show that the image by ML located toward the end where the light incident obliquely on the objective lens 11 is collected is an image obtained by viewing the P surface from the angle direction of the light emitted from the P surface. Become.

対物レンズ１１の瞳面は、MLA１２の各ＭＬの口径の大きさに分割され、それぞれのＭＬが同じ物体像を結ぶ。このとき、端の方のＭＬでの像は、周辺でけられ（物体の見えない所）が発生し、端の方の視野の一部は遮られるが、基本的には、各ＭＬによる像は、物体面（Ｐ面）と共役の位置で物体面（Ｐ面）を異なる角度から見た像となる。   The pupil plane of the objective lens 11 is divided into the size of each ML of the MLA 12, and each ML forms the same object image. At this time, the image in the ML near the edge is blurred in the vicinity (where the object cannot be seen) and a part of the visual field near the edge is blocked, but basically, the image by each ML is blocked. Is an image obtained by viewing the object plane (P plane) from a different angle at a position conjugate with the object plane (P plane).

そして、Ｎ個の各MLA像のＮＡ（開き角）は、各ＭＬの口径で決まる開口で１／Ｎに縮小される。ここで注目すべきことは、各ＭＬの像は、結像側からの見込み角度が小さく、光量は少なくなるが、被写界深度（焦点深度）は非常に深くなる。従って、物体側の奥行きに関係なく、ほとんど焦点の合った像、いわゆる全焦点画像となっている。   The NA (open angle) of each of the N MLA images is reduced to 1 / N by an opening determined by the aperture of each ML. What should be noted here is that each ML image has a small angle of view from the image forming side and a small amount of light, but the depth of field (depth of focus) becomes very deep. Therefore, regardless of the depth on the object side, the image is almost in focus, that is, a so-called omnifocal image.

さらに、図３ｂの対物レンズ１１の光軸上（図２のMLA１２の中心に相当する）のＭＬ（図２のＭＬbに相当する）によって結像される像は、物***置が光軸方向に移動しても、焦点もほぼ合ったまま像はずれない。すなわち、物体の光軸方向の位置が変わっても像はほとんど変化しない。 Further, an image formed by ML (corresponding to ML b in FIG. 2) on the optical axis of the objective lens 11 in FIG. 3B (corresponding to the center of the MLA 12 in FIG. 2) has an object position in the optical axis direction. Even if it moves, the image stays in focus and does not move. That is, the image hardly changes even if the position of the object in the optical axis direction changes.

一方、図３ａと図３ｃでの中心から外れたＭＬ（図２のＭＬa，ＭＬcに相当する）を見ると、図中の左方向の矢印で示すように、物***置が対物レンズ１１から遠ざかる場合、結像される像は、図３ａでは図中の上方向の矢印の方向にずれ、図３ｃでは図中の下方向の矢印の方向にずれる。つまり、光線のあたる画素位置は、光軸から遠ざかる方向にずれていく。逆に、物***置が近づけば、これらの画像の画素位置は、光軸へ近づく方向にずれていく。 On the other hand, when the ML deviated from the center in FIGS. 3a and 3c (corresponding to ML a and ML c in FIG. 2) is viewed, the object position is away from the objective lens 11 as shown by the left arrow in the figure. When moving away, the image to be imaged is shifted in the direction of the upward arrow in FIG. 3a and shifted in the direction of the downward arrow in FIG. 3c. In other words, the pixel position where the light beam strikes shifts in a direction away from the optical axis. Conversely, when the object position is close, the pixel positions of these images are shifted in the direction approaching the optical axis.

以上のようにして、本発明の光学系は構成される。   The optical system of the present invention is configured as described above.

［２．焦点画像生成の手順］
（２−１）MLA１２を対物レンズ１１の瞳面とした場合
次に、図４及び図５を参照しつつ、上記の本発明の光学系を採用した場合において、複数の異なる位置での物体面の画像又は信号を形成して、物体各点でのフォーカス情報を検出する方法について説明する。なお、本実施の形態においては、図１で説明したように、図１ａ又は図１ｂのいずれの構成を採用しても、異なる角度から入射される光線を再構成して、焦点面の異なる複数の画像を生成することが可能である。したがって、はじめに、（１）MLA１２を対物レンズ１１の瞳面に置いた場合について説明し、その後、（２）MLA１２を対物レンズ１１の結像面に置いた場合についても説明する。 [2. Focused image generation procedure]
(2-1) When the MLA 12 is used as the pupil plane of the objective lens 11 Next, referring to FIGS. 4 and 5, the object plane at a plurality of different positions when the optical system of the present invention is employed. A method for detecting the focus information at each point of the object by forming the image or signal will be described. In the present embodiment, as described with reference to FIG. 1, regardless of the configuration of FIG. 1a or FIG. 1b, a plurality of beams having different focal planes are reconstructed by reconstructing rays incident from different angles. It is possible to generate images. Therefore, first, (1) the case where the MLA 12 is placed on the pupil plane of the objective lens 11 will be described, and then (2) the case where the MLA 12 is placed on the imaging plane of the objective lens 11 will also be explained.

図４は、対物レンズ１１とMLA１２での光線追跡図を示し、図５は、MLA１２で結像された撮像素子１３の面での画素配列の一部と、MLA領域ごとに信号処理される選択画素を示している。   FIG. 4 shows a ray tracing diagram of the objective lens 11 and the MLA 12, and FIG. 5 shows a part of the pixel array on the surface of the image sensor 13 imaged by the MLA 12 and a selection for signal processing for each MLA region. A pixel is shown.

ところで、MLA１２の後側に配置される撮像素子１３は、例えば、CCD（Charge Coupled Device）センサやCMOS（Complementary Metal Oxide Semiconductor）センサなどであり、MLA１２の各ＭＬを通過した光を受光する所定の画素配列を、ＭＬに対応した配置パターンで配置してなる。この画素配列の縦方向と横方向の画素数は、例えば７×７個などの個々のＭＬを個別に透過した部分光束を個別に受けられるように、適宜設定される。なお、ここでは、撮像素子１３として、CCDを用いた例について説明する。   By the way, the image pickup device 13 disposed on the rear side of the MLA 12 is, for example, a CCD (Charge Coupled Device) sensor, a CMOS (Complementary Metal Oxide Semiconductor) sensor, or the like, and receives a predetermined light that passes through each ML of the MLA 12. The pixel array is arranged in an arrangement pattern corresponding to ML. The number of pixels in the vertical direction and the horizontal direction of this pixel array is appropriately set so that, for example, partial light beams individually transmitted through MLs such as 7 × 7 can be individually received. Here, an example in which a CCD is used as the image sensor 13 will be described.

図５において、２１×２１個の四角は、撮像素子１３を対物レンズ１１の光軸方向から見た場合に撮像面上に配列された画素を示しており、そのうちの太線で囲まれた７×７個の四角からなる領域がそれぞれ１つのＭＬ領域を示している。図５では、７×７個のＭＬ領域のうち、３×３個のＭＬ領域を代表させて示している。したがって、図中の太線で囲まれたＭＬ領域のうちの中央の領域が、対物レンズ１１の中心のＭＬ（図２のＭＬbに相当する）で結像されるＭＬ領域となる。 In FIG. 5, 21 × 21 squares indicate pixels arranged on the imaging surface when the imaging device 13 is viewed from the optical axis direction of the objective lens 11, and 7 × surrounded by a thick line among them. Each of the seven square areas represents one ML area. In FIG. 5, 3 × 3 ML regions are representatively shown in the 7 × 7 ML regions. Therefore, the center area among the ML areas surrounded by the thick line in the figure is the ML area formed by the ML at the center of the objective lens 11 (corresponding to ML b in FIG. 2).

図４ａは、物体面Ｐ０（焦点の合っている焦点面Ｚ0と同じ）がフォーカス位置にある場合の光線図である。ここで、物体面Ｐ０は、光学系の焦点距離ｆ、及び対物レンズ１１と撮像素子１３の撮像面との間隔ａで一義的に決定され、具体的には、上記の光学系のガウスの式（１）で決まる距離ｂの位置である。 Figure 4a is a ray diagram in the case where the object plane P0 (the same as the focal plane Z 0 are focused) is in the focus position. Here, the object plane P0 is uniquely determined by the focal length f of the optical system and the distance a between the objective lens 11 and the imaging surface of the imaging element 13, and specifically, the Gaussian equation of the optical system described above. This is the position of the distance b determined by (1).

物体面Ｐ０の対物レンズ１１の光軸と一致する位置から射出した光は、MLA１２の各ＭＬで、CCD（撮像素子１３）面上の各ＭＬ領域の中央部（各ＭＬの光軸と一致）に集光する。従って、図５（既に述べたように、対物レンズ１１の光軸に一致する位置のＭＬを中心にその周囲１つずつのＭＬ領域に対応する画素エリアのみを示している）に示すように、物体面Ｐ０の中央（対物レンズ１１の光軸に一致する）の点Ｐ０２から射出した光は、各ＭＬ領域内の中央の画素（図５では黒色の四角）に集光するので、各画素エリアの中央の画素の出力を選択し、加算することで物体面Ｐ０の点Ｐ０２の全輝度が得られる。   The light emitted from the position that coincides with the optical axis of the objective lens 11 on the object plane P0 is the ML of each MLA 12, and the center of each ML area on the CCD (imaging device 13) surface (coincides with the optical axis of each ML). Condensed to Therefore, as shown in FIG. 5 (as already described, only the pixel area corresponding to each ML region around the ML at the position corresponding to the optical axis of the objective lens 11 is shown), Since the light emitted from the point P02 at the center of the object plane P0 (which coincides with the optical axis of the objective lens 11) is focused on the central pixel (black square in FIG. 5) in each ML region, each pixel area The total luminance of the point P02 on the object plane P0 can be obtained by selecting and adding the outputs of the center pixel.

物体面Ｐ０の点Ｐ０２から外れた位置からの光は、点Ｐ０２からのずれ量に応じた角度で平行にMLA１２に入射するので、これらの光は各ＭＬ領域で中央から同量、同方向へずれることになる。よって、各ＭＬ領域で同じ位置の画素を選択し、加算することで、焦点面Ｚ0にある物体面Ｐ０の画像を再現することができる。 Light from a position deviating from the point P02 on the object plane P0 is incident on the MLA 12 in parallel at an angle corresponding to the amount of deviation from the point P02, so that these lights have the same amount from the center and in the same direction in each ML region. It will shift. Therefore, selecting the pixel of the same position in each ML regions, by adding, it is possible to reproduce an image of the object plane P0 in the focal plane Z 0.

図４ｂは、物体面Ｐ０より対物レンズ１１に近い物体面Ｐ１（実際には、図４ｂの点線の物体面Ｐ０で示すように、図４ａと同様に、物体面Ｐ０と撮像素子１３の撮像面とが共役のままとなっている）からの光線図である。物体面Ｐ１の対物レンズ１１の光軸と一致する位置から射出した光は、各ＭＬの光軸上からレンズの端側へ、少しずつ外側にずれる角度でMLA１２の各ＭＬに入射し、集光される。この場合、物体面Ｐ１の中央（対物レンズ１１の光軸に一致する）の点Ｐ１２から射出した光は、図５に示すように、中心のＭＬ領域（図２のＭＬbによって結像される領域に相当する）内での画素はそのままで、それ以外のＭＬ領域では、図４ａに示した物体面Ｐ０での画素の位置から１画素ずつ外側の画素（図５では間隔の狭い左下がり斜線の四角）に集光するので、それらの画素を選択し、加算することで物体面Ｐ１の点Ｐ１２の全輝度が得られる。 4b shows an object plane P1 closer to the objective lens 11 than the object plane P0 (actually, as indicated by the dotted object plane P0 in FIG. 4b, the object plane P0 and the imaging plane of the image sensor 13 as in FIG. 4a). Is a light ray diagram from Light emitted from a position that coincides with the optical axis of the objective lens 11 on the object plane P1 is incident on each ML of the MLA 12 at an angle slightly shifted outward from the optical axis of each ML toward the end of the lens. Is done. In this case, the light emitted from the point P12 at the center of the object plane P1 (which coincides with the optical axis of the objective lens 11) is imaged by the center ML region (ML b in FIG. 2) as shown in FIG. In the other ML region, the pixels in the other ML regions are left as they are, and the pixels on the object plane P0 shown in FIG. The total luminance of the point P12 on the object plane P1 can be obtained by selecting and adding the pixels.

物体面Ｐ１の点Ｐ１２から外れた位置からの光は、点Ｐ１２からのずれ量に応じた角度で平行にMLA１２に入射するので、これらの光は各ＭＬ領域で中央から同量、同方向へずれることになる。よって、各ＭＬ領域で同じ位置の画素を選択し、加算することで、物体面Ｐ１の画像を再現することができる。   Since light from a position deviating from the point P12 on the object plane P1 enters the MLA 12 in parallel at an angle corresponding to the amount of deviation from the point P12, these lights are the same amount from the center and in the same direction in each ML region. It will shift. Therefore, by selecting and adding pixels at the same position in each ML region, the image of the object plane P1 can be reproduced.

図４ｃは、物体面Ｐ０より対物レンズ１１から遠い物体面Ｐ２（実際には、図４ｃの点線の物体面Ｐ０で示すように、図４ａと同様に、物体面Ｐ０と撮像素子１３の撮像面とが共役のままとなっている）からの光線図である。物体面Ｐ２の対物レンズ１１の光軸と一致する位置から射出した光は、各ＭＬの光軸上からレンズの端側へ、少しずつ内側にずれる角度でMLA１２の各ＭＬに入射し、集光される。この場合、物体面Ｐ２の中央（対物レンズ１１の光軸に一致する）の点Ｐ２２から射出した光は、図５に示すように、中央のＭＬ領域（図２のＭＬbによって結像される領域に相当する）での画素はそのままで、それ以外のＭＬ領域では、図４ａに示した物体面Ｐ０での画素の位置から１画素ずつ内側の画素（図５では間隔の広い左下がり斜線の四角）に集光するので、それらの画素を選択し、加算することで物体面Ｐ２の点Ｐ２２の全輝度が得られる。 4c shows an object plane P2 that is farther from the objective lens 11 than the object plane P0 (actually, as indicated by the dotted object plane P0 in FIG. 4c, the object plane P0 and the imaging plane of the image sensor 13 are similar to FIG. 4a. Is a light ray diagram from Light emitted from a position that coincides with the optical axis of the objective lens 11 on the object plane P2 is incident on each ML of the MLA 12 at an angle that slightly shifts inward from the optical axis of each ML toward the end of the lens. Is done. In this case, the light emitted from the point P22 at the center of the object plane P2 (which coincides with the optical axis of the objective lens 11) is imaged by the center ML region (ML b in FIG. 2) as shown in FIG. The pixels in the other ML regions are left as they are, and in the other ML regions, the pixels on the inner side of the pixel position on the object plane P0 shown in FIG. Since the light is condensed into a square, the total luminance of the point P22 on the object plane P2 can be obtained by selecting and adding the pixels.

物体面Ｐ２の点Ｐ２２から外れた位置からの光は、点Ｐ２２からのずれ量に応じた角度で平行にMLA１２に入射するので、これらの光は各ＭＬ領域で中央から同量、同方向へずれることになる。よって、各ＭＬ領域で同じ位置の画素を選択し、加算することで、物体面Ｐ２の画像を再現することができる。   Since light from a position deviating from the point P22 on the object plane P2 enters the MLA 12 in parallel at an angle corresponding to the amount of deviation from the point P22, these lights are the same amount from the center and in the same direction in each ML region. It will shift. Therefore, by selecting and adding pixels at the same position in each ML region, an image of the object plane P2 can be reproduced.

なお、図４では、撮像素子１３の右側の長方形４０は、ＭＬ領域の一部である１３ＭＬ1ないし１３ＭＬ7を模式的に表しており、各ＭＬ領域での光の集光する位置を黒色で塗り潰すことによって、図５で上述した説明を補足して概念的に説明するためのものである。すなわち、本実施の形態では、７×７個のＭＬ領域の例を取り上げているので、縦方向に７個ある各ＭＬ領域１３ＭＬ1ないし１３ＭＬ7を模式的に示し、それぞれのＭＬ領域に集光（結像）した光の様子が示されている。図４ａにおいては、物体面Ｐ０２からの線は、CCD（撮像素子１３）上の各ＭＬ領域の中央に集光（結像）する。また、図４ｂに示したように、物体面Ｐ０よりも対物レンズ１１に近い物体面Ｐ１からの光は、中央のＭＬ領域では中央に集光し（完全には結像しないが、ＭＬの開口が小さいので、焦点深度の深い状態が実現されている）、それ以外のＭＬ領域では図４ａの場合と比べて外側へ集光する。さらに、図４ｃに示したように、物体面Ｐ０よりも対物レンズ１１から遠い物体面Ｐ２からの光は、中央のＭＬ領域では中央に集光し（完全には結像しないが、ＭＬの開口が小さいので、焦点深度の深い状態が実現されている）、それ以外の領域では図４ａの場合と比べて内側へ集光する。 In FIG. 4, the rectangle 40 on the right side of the image sensor 13 schematically represents 13ML 1 to 13ML 7 that are part of the ML region, and the light condensing position in each ML region is black. By filling in, the above description in FIG. 5 is supplemented and conceptually described. That is, in the present embodiment, since an example of 7 × 7 ML areas is taken up, each of the ML areas 13ML 1 to 13ML 7 in the vertical direction is schematically shown, and the light is condensed in each ML area. The state of the (imaged) light is shown. In FIG. 4a, the line from the object plane P02 is focused (imaged) at the center of each ML region on the CCD (image sensor 13). Also, as shown in FIG. 4b, the light from the object plane P1 closer to the objective lens 11 than the object plane P0 is collected in the center in the central ML region (although not completely imaged, the ML aperture) In other ML regions, the light is condensed outward as compared with the case of FIG. 4a. Furthermore, as shown in FIG. 4c, the light from the object plane P2 farther from the objective lens 11 than the object plane P0 is collected in the center in the central ML region (although it is not completely imaged, the ML aperture) In other regions, the light is condensed inward compared to the case of FIG. 4a.

さらに捕捉すれば、本実施の形態においては、前側物体面Ｐ１や後側物体面Ｐ２は、実際には、対物レンズ１１の位置で決まる物体面Ｐ０（図４では物体面Ｐ０が撮像素子１３の受光面と共役となる）以外の、対物レンズ１１を動かすことなく得られるいわば仮想的な合焦面である。   If further captured, in the present embodiment, the front object plane P1 and the rear object plane P2 are actually the object plane P0 determined by the position of the objective lens 11 (the object plane P0 in FIG. In other words, it is a virtual focusing surface that can be obtained without moving the objective lens 11 other than the light receiving surface.

以上のように、物体面Ｐ０，Ｐ１，Ｐ２のように、物体の光軸方向の位置を物体面Ｐ０から変えた場合でも、対物レンズ１１の中心のＭＬ（図２のＭＬbに相当する）によって結像される像は、焦点もほぼ合ったまま像の位置がずれないことになる。 As described above, as in the object plane P0, P1, P2, even when changing the position of the optical axis direction of the object from the object plane P0, (corresponding to the Figure 2 ML b) the center of the ML of the objective lens 11 As a result, the position of the image does not shift while the image is focused.

すなわち、図３ｂに示した光学系の構成のレンズ中心のＭＬ（図２のＭＬbに相当する）によって結像される画像（図２のＰ２bに相当する）は、対物レンズ１１に対して垂直に入ってくる光線からなり、被検物を正面から捉えた像となる。したがって、物***置が光軸方向に移動しても、像はずれない。そして、分割された小さな瞳からの像なのでＦ値が大きく、被写界深度（焦点深度）は非常に深くなる。つまり、被検物の光軸方向の位置が変わっても、像はほとんど変化しない。したがって、物体側の奥行きに関係なく、ほとんど焦点の合った像、いわゆる全焦点画像となっている。 That is, (corresponding to P2 b in FIG. 2) image formed by the ML of lens center of the optical system configuration (corresponding to ML b in FIG. 2) shown in Figure 3b, the objective lens 11 It consists of light rays that enter vertically, and it is an image that captures the object from the front. Therefore, even if the object position moves in the optical axis direction, the image does not shift. And since it is the image from the divided | segmented small pupil, F value is large and the depth of field (depth of focus) becomes very deep. That is, even if the position of the test object in the optical axis direction changes, the image hardly changes. Therefore, regardless of the depth on the object side, the image is almost in focus, that is, a so-called omnifocal image.

（２−２）MLA１２を対物レンズ１１の結像面に配置した場合
ところで、上記の（２−１）においては、光学系として、図１ａの構成を採用した場合の例、つまり、MLA１２が対物レンズ１１の瞳面に設定された場合について説明した。常に焦点の合った全焦点画像を取得する方法としては、（２−１）の方法に限らず、図１ｂに示したように、MLA１２を対物レンズ１１の焦点（結像）面、すなわち、物体面と共役の位置に設定した場合でも同等の効果を得ることができる。そこで、次に、全焦点画像を取得する方法の第２の例として、（２−２）MLA１２が対物レンズ１１の結像面に設定された場合について説明する。この場合、（２−１）の方法と比べて、異なる物体面での画像の作成手順が異なるため、ここでは、図６ないし図８を参照して、その作成手順を中心に説明する。 (2-2) When the MLA 12 is placed on the imaging surface of the objective lens 11 By the way, in the above (2-1), an example in which the configuration of FIG. The case where it is set on the pupil plane of the lens 11 has been described. The method of acquiring the omnifocal image always in focus is not limited to the method (2-1), and as shown in FIG. 1B, the MLA 12 is placed on the focal (imaging) plane of the objective lens 11, ie, the object The same effect can be obtained even when the position is conjugate to the surface. Therefore, next, as a second example of a method for acquiring an omnifocal image, (2-2) a case where the MLA 12 is set on the image plane of the objective lens 11 will be described. In this case, since the procedure for creating an image on a different object plane is different from that of the method (2-1), here, the procedure for creating the image will be mainly described with reference to FIGS.

図６ないし図８においては説明を分かり易くするために、撮像素子１３において直線上に並んだ５つの画素ａ，ｂ，ｃ，ｄ，ｅに入射する各光線（対応するマイクロレンズＭＬの中心を通る主光線のみ）を示している。また、各図中の各要素には、光軸と垂直な面内における座標を示すための添字（１，２，３，・・・）を付している。   6 to 8, in order to make the explanation easy to understand, each light ray (the center of the corresponding microlens ML is incident on each of the five pixels a, b, c, d, and e aligned on the straight line in the image sensor 13. Only the chief ray passing through). Further, each element in each drawing is given a suffix (1, 2, 3,...) For indicating coordinates in a plane perpendicular to the optical axis.

すなわち、図６に示すように、不図示の対物レンズ１１による被検物の像がMLA１２上（Ｚ＝０）で結像（各ＭＬへ入射する領域を破線で示し、その中心の座標をＸ1ないしＸ7で示している）する場合、不図示の対物レンズ１１からの光線ｒ1，ｒ2，ｒ3，ｒ4，ｒ5は、結像面（Ｚ＝０面上）、すなわちＭＬの表面の１点に集まる。中心座標をＸ1ないしＸ7で示した各領域は、同じ作用を受けるから、以下、中央の領域について説明する。中央の領域の中心Ｘ4を出た光は、マイクロレンズＭＬ4のレンズ作用によって、撮像素子１３の面上ではそれぞれの画素に対応して、ａ4，ｂ4，ｃ4，ｄ4，ｅ4の画素信号となる。したがって、結像面（Ｚ＝０）での各画像信号は、これらの和となる。すなわち、画像信号をＬとすれば、Ｌは下記の式（２）で求めることができる。 That is, as shown in FIG. 6, an image of a test object by an objective lens 11 (not shown) is imaged on the MLA 12 (Z = 0) (regions incident on each ML are indicated by broken lines, and the coordinates of the center are X 1 to X 7 ), rays r 1 , r 2 , r 3 , r 4 , and r 5 from an objective lens 11 (not shown) are image planes (on the Z = 0 plane), that is, ML. Gather at one point on the surface. Each region indicates the center coordinates in X 1 to X X 7, since subject to the same action, will be described below the central region. The light exiting from the center X 4 in the central region corresponds to each pixel on the surface of the image sensor 13 by the lens action of the microlens ML 4 , and a 4 , b 4 , c 4 , d 4 , e 4 pixel signals. Therefore, each image signal on the imaging plane (Z = 0) is the sum of these. That is, if the image signal is L, L can be obtained by the following equation (2).

Ｌ（ｉ）＝（ａi＋ｂi＋ｃi＋ｄi＋ｅi） ・・・（２） L (i) = (a i + b i + c i + d i + e i ) (2)

ただし、上記の通り、ｉは光軸と垂直な面内におけるＸ方向の座標（ｉ＝１〜７）を示しており、例えば、座標Ｘ4の場合には、Ｌ（４）＝（ａ4＋ｂ4＋ｃ4＋ｄ4＋ｅ4）となる。なお、実際には、２次元的に考える必要があるので、Ｘ方向以外にＹ方向についても考えなければならないが、ここでは、説明を簡略化するためにＸ方向についてのみ述べる。 However, as described above, i represents the coordinate in the X direction (i = 1 to 7) in the plane perpendicular to the optical axis. For example, in the case of the coordinate X 4 , L (4) = (a 4 + B 4 + c 4 + d 4 + e 4 ). Actually, since it is necessary to think two-dimensionally, it is necessary to consider the Y direction in addition to the X direction, but only the X direction will be described here in order to simplify the description.

一方、図７に示すように、結像面が各ＭＬの表面からずれたＺ＝ｈ1の位置での中央の領域の中心座標Ｘ4の画像信号は、下記の式（３）から求めることができる。ただし、ｉ＝１〜７であり、座標の添数字が１〜７から外れた値は使用されない値である。 On the other hand, as shown in FIG. 7, the image signal of the center coordinate X 4 of the central region at the position of Z = h 1 where the imaging plane is displaced from the surface of each ML is obtained from the following equation (3). Can do. However, i = 1 to 7 and a value in which the coordinate suffix is outside 1 to 7 is a value that is not used.

Ｌ（ｉ）＝（ａi-2＋ｂi-1＋ｃi＋ｄi+1＋ｅi+2） ・・・（３） L (i) = (a i−2 + b i−1 + c i + d i + 1 + e i + 2 ) (3)

座標Ｘ4の場合にはｉ＝４となるので、Ｌ（４）＝（ａ2＋ｂ3＋ｃ4＋ｄ5＋ｅ6）となる。このことからも明らかなように、撮像素子１３の撮像面のそれぞれの領域での中央の画素信号ｃi（この例の場合にはｃ4）は、焦点位置によらず常に存在する。つまり、この信号だけを集めた画像は、物体側の位置にかかわらず一定で、焦点ボケのない像となる。 In the case of the coordinate X 4 , since i = 4, L (4) = (a 2 + b 3 + c 4 + d 5 + e 6 ). As is clear from this, the central pixel signal c i (c 4 in this example) in each region of the imaging surface of the imaging device 13 always exists regardless of the focal position. That is, an image obtained by collecting only these signals is a constant image regardless of the position on the object side, and is an image without defocusing.

したがって、図８に示すように、下記の式（４）の関係を有する信号で構成される画像は、結像面がどこにあっても（逆の言い方をすれば、結像面が一定で被検物がどこにあっても）常に焦点の合った全焦点画像となる。ただし、図８ではより実際的な応用を説明するために、図６，７に対して、フィールドレンズ（以下、ＦＬという）を付加した図面としている。このＦＬを配置することで、像高の高い位置に配置されたＭＬに入射する光束の角度を抑えられるため、先述した例では述べていないが、ＦＬを設けたほうが好ましい。   Therefore, as shown in FIG. 8, an image composed of signals having the relationship expressed by the following equation (4) has a constant image plane regardless of the image plane (in other words, the image plane is constant). It will always be an all-in-focus image (wherever the inspection is). However, FIG. 8 is a diagram in which a field lens (hereinafter referred to as FL) is added to FIGS. By disposing the FL, the angle of the light beam incident on the ML disposed at a high image height can be suppressed. Therefore, although not described in the above-described example, it is preferable to provide the FL.

Ｌ（ｉ）＝ｃi ・・・（４） L (i) = c i (4)

すなわち、例えば、図８において、撮像素子１３の撮像面のそれぞれの領域での中央の画素信号ｃ1，ｃ2，ｃ3，ｃ4，ｃ5，ｃ6，ｃ7を集めた画像は、焦点の合った全焦点画像となる。 That is, for example, in FIG. 8, an image obtained by collecting central pixel signals c 1 , c 2 , c 3 , c 4 , c 5 , c 6 , and c 7 in each area of the imaging surface of the image sensor 13 is This results in a focused omnifocal image.

以上のようにして、図１ａ又は図１ｂの構成を採用することで、焦点画像生成の手順は異なるが、異なる角度からの光線を再構成して、焦点面の異なる複数の画像が生成される。   As described above, by adopting the configuration of FIG. 1a or 1b, the procedure for generating a focus image is different, but a plurality of images having different focal planes are generated by reconstructing rays from different angles. .

［３．測定の信号処理手順］
次に、上記の手順で生成される仮想的な焦点位置での画像群から、測定のための画像データを得るために実行される信号処理について説明する。かかる信号処理では、常に焦点の合った全焦点画像を用いる点に特徴があり、焦点面を光軸方向へ少しずつずらしながら取得した各画像データに対してエッジ処理を施すことにより、焦点の合った画像を選択する。 [3. Measurement signal processing procedure]
Next, signal processing executed to obtain image data for measurement from the image group at the virtual focal position generated by the above procedure will be described. Such signal processing is characterized in that an omnifocal image that is always in focus is used, and by performing edge processing on each acquired image data while shifting the focal plane little by little in the optical axis direction, focusing is achieved. Select an image.

（３−１）多焦点逐次処理法
上記のエッジ処理としては、いくつかの方法が考えられるが、ここではまず、画像のエッジを検出する方法として、多焦点逐次処理法を用いた場合について説明する。また、この多焦点逐次処理におけるエッジ処理として、フーリエ変換（ウェーブレット変換）法を用いた場合を一例にして説明する。 (3-1) Multi-Focus Sequential Processing Method Although several methods can be considered as the above-described edge processing, first, a case where a multi-focal sequential processing method is used as a method for detecting an edge of an image will be described. To do. Further, a case where a Fourier transform (wavelet transform) method is used as an edge process in the multifocal sequential process will be described as an example.

上記の［２．焦点画像生成の手順］により、複数の異なる物体面での画像群が形成された後、先述したSFFと同様の処理によって、各々の画像の同じ画素エリアの位置において、下記の方法でフォーカス情報を検出することができる。   Above [2. After a group of images on a plurality of different object planes is formed by the procedure for generating a focus image, the focus information is obtained by the following method at the same pixel area position of each image by the same process as SFF described above. Can be detected.

すなわち、かかる信号処理では、図９に示すように、距離の異なる複数の物体面（・・・，Ｚ-1，Ｚ0，Ｚ1，・・・）の画像群について、それぞれFFT（Fast Fourier Transform）により画像信号をフーリエ変換（又はウェーブレット変換）し、空間周波数空間内（フーリエ面上）で高周波成分のみをハイパスフィルタ（High Pass Filter）にて抽出した後、逆フーリエ変換（又は逆ウェーブレット変換）する。この処理によって、ほぼエッジ（輪郭）部分のみの画像となる。次に、これらの画像でエッジのある各点の位置（Ｘi，Ｙi）に着目して、複数の物体面（・・・，Ｚ-1，Ｚ0，Ｚ1，・・・）の画像群の中から、最もエッジの鋭い（傾き成分の最も高い）画像をベストフォーカス（Best Focus）として、選択する。 That is, in such signal processing, as shown in FIG. 9, FFT (Fast Fourier) is performed on image groups of a plurality of object planes (..., Z −1 , Z 0 , Z 1 ,. The image signal is subjected to Fourier transform (or wavelet transform) by Transform, and only high-frequency components are extracted in the spatial frequency space (on the Fourier plane) with a high pass filter, and then inverse Fourier transform (or inverse wavelet transform). ) By this processing, an image of only the edge (contour) portion is obtained. Next, paying attention to the position (X i , Y i ) of each point having an edge in these images, a plurality of object planes (..., Z −1 , Z 0 , Z 1 ,...) An image having the sharpest edge (the highest inclination component) is selected from the image group as the best focus.

図１０は、各焦点面の画像群におけるサンプリング点のエッジの傾き成分をグラフ化したものである。図１０において、横軸Ｚは物体面の位置（被検物からの距離）を表し、縦軸αはエッジの傾き成分を表し、図中上方向にいくほど、その値が大きくなる（焦点の合っている程度（フォーカスの程度）が高い）ことを意味する。   FIG. 10 is a graph of the slope component of the edge of the sampling point in the image group of each focal plane. In FIG. 10, the horizontal axis Z represents the position of the object plane (distance from the test object), and the vertical axis α represents the inclination component of the edge, and the value increases in the upward direction in the figure (the focal point). (The degree of focus is high).

図１０に示すように、Ｚ方向のサンプリング点は、各物体面毎の値となっているために離散的なものとなっているが、図中の曲線で表しているように、関数近似によってピーク（図中の点線）を求めることで、補間処理による小数点以下の値を持つ位置Ｚが求められ、その精度は向上する。   As shown in FIG. 10, the sampling points in the Z direction are discrete because they are values for each object plane. However, as shown by the curve in the figure, the function approximation is used. By obtaining the peak (dotted line in the figure), a position Z having a value after the decimal point is obtained by interpolation processing, and the accuracy is improved.

しかしながら、この手順ではＺの位置を求めることができるものの、次に示すような問題が残る。   However, although the position of Z can be obtained by this procedure, the following problems remain.

すなわち、焦点の違う画像からエッジを検出する場合、物体の距離に応じて、ピント（焦点）の合っている所と、合っていない所とが存在する。このとき、明るさ（信号強度）が極端に違うエッジが隣接している場合、焦点の合っていない明るいエッジが、隣接する焦点の合った暗いエッジを覆ってしまい、エッジの位置を誤認識する恐れがある。   That is, when an edge is detected from an image with a different focus, there are places where the focus (focus) is in focus and places where it is not in accordance with the distance of the object. At this time, if edges with extremely different brightness (signal intensity) are adjacent to each other, the bright edge that is not in focus covers the adjacent dark edge that is in focus, and the position of the edge is erroneously recognized. There is a fear.

かかる問題を解決するためには、全てのエッジで焦点の合った画像を用いて、画素単位での微分値を求め、正しいエッジ位置を先に検出しておけばよい。   In order to solve such a problem, it is only necessary to obtain a differential value for each pixel using an image in which all edges are in focus, and to detect a correct edge position first.

そこで、本実施の形態においては、MLA１２の中央のＭＬ（図２のＭＬbに相当する）で結像される、対物レンズ１１の中心（軸上）の画像が物体面の位置が変わっても（Ｚの方向が変わっても）変化のない画像であって、かつ、被写界深度が深く、物体側の距離によらず常にほぼ完全にピントの合った、像ずれがなく、かつボケのない画像（全焦点画像）となることに着目し、この画像を用いる。 Therefore, in the present embodiment, even when the image of the center (on the axis) of the objective lens 11 formed in the ML at the center of the MLA 12 (corresponding to ML b in FIG. 2) changes the position of the object plane. It is an image that does not change (even if the direction of Z changes), has a deep depth of field, is almost completely in focus regardless of the distance on the object side, no image shift, and no blur Focusing on the fact that there is no image (omnifocal image), this image is used.

本発明の信号処理においては、この全焦点画像を用いて、上記のように、フーリエ変換及びハイパスフィルタ処理をすることによって、正しいエッジ位置（Ｘi，Ｙi）を得て、同時にその近傍画像のコントラスト信号（画像の濃度値）を登録する。次に、それらのエッジについて、多数物体面（・・・，Ｚ-1，Ｚ0，Ｚ1，・・・）の画像群の中から、着目するエッジ位置（Ｘi，Ｙi）とその近傍の画像信号が、登録したコントラスト信号と最も相関の高い画像におけるＺを求める。 In the signal processing of the present invention, using this omnifocal image, the Fourier transform and high-pass filter processing are performed as described above to obtain the correct edge position (X i , Y i ), and at the same time the neighboring image The contrast signal (image density value) is registered. Next, with respect to those edges, the edge position (X i , Y i ) of interest and its edge are selected from among a group of images of a large number of object planes (..., Z −1 , Z 0 , Z 1 ,. The Z in the image in which the neighboring image signal has the highest correlation with the registered contrast signal is obtained.

すなわち、全焦点画像から得られた各エッジ位置（Ｘi，Ｙi）について、物***置（Ｚ）の異なる複数の（ボケを含む）画像から、同じ座標（Ｘi，Ｙi）のエッジ位置の画素信号における、ボケのない全焦点画像のエッジ信号と最も類似性（相関）の高い物***置（Ｚ）を求める。これにより、エッジ各点（Ｘi，Ｙi）でのＺを検出することができる。 That is, for each edge position (X i , Y i ) obtained from the omnifocal image, the edge position of the same coordinate (X i , Y i ) is obtained from a plurality of (including blurred) images having different object positions (Z). The object position (Z) having the highest similarity (correlation) with the edge signal of the unfocused omnifocal image is obtained. Thereby, Z at each edge point (X i , Y i ) can be detected.

具体的には、まず、注目しているエッジ位置である注目エッジ位置（Ｘi，Ｙi）と、その近傍画素の信号強度ｆi,jを検出する。次に、それらのエッジについて、多数の物体面（・・・，Ｚ-1，Ｚ0，Ｚ1，・・・）の画像群の中から、同じエッジ位置（Ｘi，Ｙi）と、その近傍信号ｇi,j（Ｚ）が、ｆi,jと最も相関の高くなるときのＺを求める。 Specifically, first, the target edge position (X i , Y i ) that is the target edge position and the signal intensity f i, j of the neighboring pixels are detected. Next, with respect to those edges, the same edge position (X i , Y i ) from the image group of a large number of object planes (..., Z −1 , Z 0 , Z 1 ,. Z is obtained when the neighborhood signal g i, j (Z) has the highest correlation with f i, j .

この相関の求め方は、各点の明るさやコントラストの違いを吸収するよく知られた正規化相関法を用いると好適であるが、例えば、計算時間を短縮できる差分絶対値の和、又は差分の二乗和を求める方法など、かかる相関を求めることができる方法であれば他の方法であってもよい。 As a method of obtaining this correlation, it is preferable to use a well-known normalized correlation method that absorbs the difference in brightness and contrast at each point. Other methods may be used as long as the correlation can be obtained, such as a method of obtaining the sum of squares .

そして、例えば、下記の式（５）又は式（６）の値が最も小さくなるときのＺを求める。   Then, for example, Z is obtained when the value of the following formula (5) or formula (6) is the smallest.

Figure 0005369563
Figure 0005369563

Figure 0005369563
Figure 0005369563

これにより、物体の各エッジ座標（Ｘi，Ｙi）位置でのＺが求められる。 Thus, the edge coordinates of the object (X i, Y i) is Z at position sought.

なお、ここでは、撮像素子１３から出力される画像信号に対し、直接画像処理を施す例について説明したが、エッジ信号を際立たせ、検出誤差を低減する目的で、画像の前処理を施してもよい。例えば、各画像を、フーリエ変換とハイパスフィルタを組み合わせた処理や、ソーベルフィルタ、あるいはラプラシアンフィルタと呼ばれるデジタル微分フィルタなどの画像処理をすることにより、輪郭部だけを強調した、いわゆるエッジ画像を得ることができるので、その後、上記の相関処理を行えばよい。   Although an example in which image processing is directly performed on the image signal output from the image sensor 13 has been described here, image preprocessing may be performed for the purpose of highlighting edge signals and reducing detection errors. Good. For example, each image is processed by combining a Fourier transform and a high-pass filter, or by image processing such as a digital differential filter called a Sobel filter or a Laplacian filter, thereby obtaining a so-called edge image in which only the contour portion is emphasized. After that, the above correlation process may be performed.

また、相関を計算する際には、先述した場合と同様に、図１０に示したような補間処理を用いて求めることも可能である。   Further, when calculating the correlation, it is also possible to obtain the correlation using the interpolation processing as shown in FIG.

以上のように、多焦点逐次処理法では、画像信号の強度のみでエッジ位置を特定（光軸方向でピントの合った画像を特定）しようとすると、本来の特定すべきエッジが強いボケ光によって検出できない場合が生じるので、これを避けるために、全焦点画像を用いた相関処理を行っている。   As described above, in the multifocal sequential processing method, when an edge position is specified only by the intensity of an image signal (an image that is in focus in the optical axis direction) is to be specified, the original edge to be specified is caused by strong blur light. Since there are cases where it cannot be detected, in order to avoid this, correlation processing using an omnifocal image is performed.

（３−２）全焦点エッジ抽出法
次に、画像のエッジを検出する方法として、全焦点エッジ抽出法を用いた場合について説明する。 (3-2) Omnifocal Edge Extraction Method Next, a case where the omnifocal edge extraction method is used as a method for detecting an edge of an image will be described.

上記の（３−１）の多焦点逐次処理法では、一旦、多数の焦点画像群を形成した後に、フーリエ変換などの処理を行うため、どうしても処理時間がかかってしまう。また、エッジを検出する画像として、先の物体面（・・・，Ｚ-1，Ｚ0，Ｚ1，・・・）の画像群では、いずれもどこかに焦点面があり、その焦点からはずれた箇所はボケが生じ、全てのエッジを検出することは困難になる。そこで、全焦点エッジ抽出法では、MLA１２の中央のＭＬで結像される全焦点画像によって予め２次元画像上でエッジ位置が特定できることに着目し、特定したエッジ位置のみで光軸方向へエッジ位置の探索を行なう。つまり、全焦点画像の中の特徴（エッジ）を先に検出しておき、その検出されたエッジ位置に対応する位置の物体面の画像だけを生成し、その位置でのベストフォーカスとなるＺを検出すれば、処理する点が少なくて済み、演算の負担が少ないばかりでなく、演算時間が短くて済み、迅速な測定に寄与することができる。 In the multi-focal sequential processing method (3-1) described above, processing such as Fourier transform is performed after a large number of focused image groups are formed once, so processing time is inevitably required. Also, as an image for detecting an edge, in the image group of the previous object plane (..., Z −1 , Z 0 , Z 1 ,...), There is a focal plane somewhere, and from that focal point. The deviated portion is blurred and it becomes difficult to detect all edges. Therefore, in the all-focus edge extraction method, focusing on the fact that the edge position can be specified on the two-dimensional image in advance by the all-focus image formed by the ML at the center of the MLA 12, the edge position in the optical axis direction is determined only by the specified edge position. Search for. That is, the feature (edge) in the omnifocal image is detected first, only the image of the object plane at the position corresponding to the detected edge position is generated, and Z that is the best focus at that position is determined. If detected, the number of processing points can be reduced, and not only the calculation burden is reduced, but also the calculation time can be shortened, contributing to rapid measurement.

具体的には、MLA１２の中央のＭＬで結像される全焦点画像を用いて、画像処理でよく知られている輪郭抽出のための３×３行列（一般的に微分オペレータと呼ばれる）を使ったエッジ抽出の演算処理を行う。例えば、ソーベルフィルタ（Sobel Filter）などを使って、Ｘ方向又はＹ方向で、画像中のエッジを検出する。なお、この方法は、特に、線のエッジ検出に有効である。また、スポットや交点などの点の検出には、二次微分に相当するラプラシアンフィルタ（Laplace Filter）を使ってもよい。これらは、被検物の段差など、何らかの構造や色、反射率の差などによるものである。全焦点エッジ抽出法では、検出されたエッジや点の位置（Ｘi，Ｙi）における、これらのフィルタで処理された値を、デフォーカス量として算出する。 Specifically, using an omnifocal image formed in the center ML of the MLA 12, a 3 × 3 matrix (generally called a differential operator) for contour extraction, which is well known in image processing, is used. The edge extraction calculation process is performed. For example, an edge in an image is detected in the X direction or the Y direction using a Sobel filter or the like. This method is particularly effective for line edge detection. Further, a Laplacian filter corresponding to a second derivative may be used for detection of points such as spots and intersections. These are due to a difference in some structure, color, reflectance, etc., such as a step of the test object. In the all-focus edge extraction method, the values processed by these filters at the detected edge and point positions (X i , Y i ) are calculated as defocus amounts.

そして、全焦点エッジ抽出法においては、画像のエッジのある各点（位置）に着目して、（３−１）と同様に、上記の多数の物体面（・・・，Ｚ-1，Ｚ0，Ｚ1，・・・）に対応する、このデフォーカス量の変化を算出する。これにより得られる値は、上記の図１０と同様のデータとなるため、これから信号のピーク、すなわち、ベストフォーカスとなるＺを求める。 In the omnifocal edge extraction method, paying attention to each point (position) having an edge of the image, as in (3-1), the above-described many object planes (..., Z −1 , Z (0 , Z 1 ,...) Corresponding to this defocus amount change is calculated. Since the value obtained by this is the same data as in FIG. 10, the peak of the signal, that is, Z that is the best focus is obtained from this.

以上のように、上記の（３−１）の多焦点逐次処理法や、（３−２）の全焦点エッジ抽出法などのエッジ処理によって、物体の各エッジ座標（Ｘi，Ｙi）位置でのＺが検出される。なお、その後、検出された値を用いての距離測定処理が行われるが、その処理については、次の［４．距離測定手順］で説明する。 As described above, each edge coordinate (X i , Y i ) position of the object is obtained by edge processing such as the above-described multifocal sequential processing method (3-1) or the all-focus edge extraction method (3-2). Z at is detected. Thereafter, a distance measurement process using the detected value is performed. The process is described in [4. Distance measurement procedure].

［４．距離測定手順］
（４−１）多数のフォーカス画像から物***置を求める方法
上記の手順によって求められた、物体の各エッジ座標（Ｘi，Ｙi）位置でのＺを用いた距離測定が行われるが、その手順にはいくつかの方法があるが、ここではまず、多数のフォーカス画像（焦点面の位置が異なる多数の画像、すなわち、多数の仮想焦点面の画像）を生成し、その中からベストの焦点位置を求める方法について説明する。 [4. Distance measurement procedure]
(4-1) Method for obtaining object position from multiple focus images Distance measurement using Z at each edge coordinate (X i , Y i ) position of the object obtained by the above procedure is performed. There are several methods for the procedure, but here we first generate a number of focus images (a number of images with different focal plane positions, that is, a number of virtual focal plane images), and the best focus among them is generated. A method for obtaining the position will be described.

ここで、仮想焦点面と共役な被検物像側の物体面の位置（・・・，Ｚ-1，Ｚ0，Ｚ1，・・・）の値は、式（１）に基づき、対物レンズ１１と撮像素子１３の撮像面との間隔ａ、若しくは対物レンズ１１と仮想的な焦点面との間隔（ａ1，ａ2，ａ3，・・・，ａn）によって一義的に決まる。 Here, the value of the position (..., Z −1 , Z 0 , Z 1 ,...) Of the object plane on the object image side conjugate with the virtual focal plane is based on the expression (1). It is uniquely determined by the distance a between the lens 11 and the imaging surface of the imaging device 13 or the distance (a 1 , a 2 , a 3 ,..., An ) between the objective lens 11 and the virtual focal plane.

したがって、焦点面の位置（撮像面上にある場合も含む（すなわち、ａ1，ａ2，ａ3，・・・，ａn））を定めれば、その位置に焦点が合うべき被検物の部位の位置がわかり、その部位までの距離ｂが式（１）を用いて求めることができる。その結果、求めた距離ｂの値と撮像素子１３から出力される２次元画像の座標（Ｘ，Ｙ）情報と合わせて、被検物の上記部分の座標（Ｘ，Ｙ，Ｚ）、すなわち、３次元の空間座標を決定することができる。 Therefore, if the position of the focal plane (including the case where it is on the imaging plane (that is, a 1 , a 2 , a 3 ,..., An )) is determined, the test object to be focused on that position. And the distance b to that part can be obtained using the equation (1). As a result, the coordinate (X, Y, Z) of the portion of the test object, ie, the coordinate (X, Y) information of the two-dimensional image output from the image sensor 13 together with the obtained distance b, that is, Three-dimensional spatial coordinates can be determined.

（４−２）２つの異なる焦点面の画像情報から物***置を求める方法
上記の（４−１）の方法では、多数のフォーカス画像（多数の異なる焦点面を仮定した場合に得られる画像）を生成して、それぞれのフォーカス画像の中からベストの焦点位置の部分を検出するといった方法で、被検物の各部分までの距離を正確に測定することができる。そのためには、例えば、図１０のような多点情報からピークを検出する、というような手順が必要となる。図１０において、横軸Ｚは被検物までの距離、縦軸αは焦点の合っている程度（フォーカスの程度）を示している。この図から２次元画像のある座標（Ｘ，Ｙ）における焦点の合っている被検物の部位までの距離がαの最大値となるＺの値として求めることができる、ということがわかる。しかしながら、処理の手順が多く、処理に時間がかかる可能性が高い。 (4-2) Method for Obtaining Object Position from Image Information of Two Different Focal Planes In the above method (4-1), a large number of focus images (images obtained when a number of different focal planes are assumed) are obtained. The distance to each part of the test object can be accurately measured by generating and detecting the best focal position from each focus image. For that purpose, for example, a procedure of detecting peaks from multipoint information as shown in FIG. 10 is required. In FIG. 10, the horizontal axis Z indicates the distance to the test object, and the vertical axis α indicates the degree of focus (degree of focus). From this figure, it can be seen that the distance to the in-focus portion of the test object at a certain coordinate (X, Y) of the two-dimensional image can be obtained as the value of Z that is the maximum value of α. However, there are many processing procedures, and there is a high possibility that processing will take time.

そこで、ここでは、別の方法として、少ない処理量で、高速化を図る測定手順について説明する。この方法においては、多数の画像を生成し、そこから得られる図１０のような多点情報からピークを検出するのではなく、最低２つの異なる焦点面の画像情報を用いて、両者の差分信号、すなわち、２つの位置でのデフォーカス量の差から、Ｚの位置を求める。そして、このＺは、対物レンズ１１から被検物までの距離ｂに対応するので、この値と撮像素子１３の２次元画像の座標（Ｘ，Ｙ）情報と合わせて、被検物の座標（Ｘ，Ｙ，Ｚ）、すなわち、３次元形状を測定することができる。   Therefore, here, as another method, a measurement procedure for speeding up with a small amount of processing will be described. In this method, a large number of images are generated and peaks are not detected from the multipoint information as shown in FIG. 10, but the difference signal between the two is obtained using image information of at least two different focal planes. That is, the position of Z is obtained from the difference in the defocus amount at the two positions. Since this Z corresponds to the distance b from the objective lens 11 to the test object, the coordinate (X, Y) information of the two-dimensional image of the image sensor 13 is combined with this value and the coordinate (X, Y) of the test object. X, Y, Z), that is, a three-dimensional shape can be measured.

しかしながら、この方法で演算した値そのものだけでは、被検物の局所的な反射強度の差が影響する可能性が高い。すなわち、元の照明光の明るさ分布や、被検物の位置による反射率の違いによって信号強度は変化する。特に隣接した領域に明暗の差が著しい箇所があると、デフォーカス状態では両者の信号が混ざり合うため、エッジのピークを誤検出する可能性がある。   However, there is a high possibility that the difference in local reflection intensity of the test object is affected only by the value calculated by this method. That is, the signal intensity varies depending on the brightness distribution of the original illumination light and the difference in reflectance depending on the position of the test object. In particular, if there is a portion where the difference in brightness is significant in the adjacent region, both signals are mixed in the defocused state, so that there is a possibility that an edge peak is erroneously detected.

そこで、かかる演算処理で求められた演算値を、MLA１２の中央のＭＬにより結像された画像の各画素値で除算して規格化しておくことにより、局所エリア毎に、明るさ（光強度）によらない、規格化されたデフォーカスによるボケ量を得ることができる。 Therefore , the calculation value obtained by such calculation processing is divided by each pixel value of the image formed by the ML at the center of the MLA 12 and normalized so that brightness (light intensity) is obtained for each local area. Therefore, it is possible to obtain a standardized defocus blur amount.

以上のようにして、本実施の形態においては、例えば、（４−１）又は（４−２）の方法によって、距離測定の処理が行われることで、被検物の表面の座標（Ｘ，Ｙ，Ｚ）が求められ、３次元形状が測定される。   As described above, in the present embodiment, for example, the distance measurement process is performed by the method (4-1) or (4-2), so that the coordinates (X, Y, Z) is determined and the three-dimensional shape is measured.

このように、本実施の形態においては、１回の撮像により得られる画像信号を用いて、被検物の３次元形状を計測できるので、従来のSFFのように、複数回の撮像が必要な場合と比べて、高速で計測を行うことが可能である。   Thus, in the present embodiment, since the three-dimensional shape of the test object can be measured using the image signal obtained by one imaging, a plurality of imaging operations are required as in the conventional SFF. Compared to the case, measurement can be performed at high speed.

［５．形状測定装置］
次に、上述した距離測定の処理を行って、被検物の３次元形状を測定する、本実施の形態に係る形状測定装置の構成について、図１１を参照して説明する。 [5. Shape measuring device]
Next, the configuration of the shape measuring apparatus according to the present embodiment that performs the above-described distance measurement process and measures the three-dimensional shape of the test object will be described with reference to FIG.

図１１に示すように、形状測定装置は、対物レンズ１１、MLA１２、撮像素子１３、制御回路３１、ユーザインターフェース３２、駆動回路３３、演算処理回路３４、及び、メモリ３５を含むようにして構成される。なお、図１１において、対物レンズ１１ないし撮像素子１３は、先述した図１等の対物レンズ１１ないし撮像素子１３に対応している。   As shown in FIG. 11, the shape measuring apparatus includes an objective lens 11, an MLA 12, an image sensor 13, a control circuit 31, a user interface 32, a drive circuit 33, an arithmetic processing circuit 34, and a memory 35. In FIG. 11, the objective lens 11 to the imaging element 13 correspond to the objective lens 11 to the imaging element 13 of FIG.

制御回路３１は、ユーザインターフェース３２を介してユーザから入力された指示にしたがって、駆動回路３３、演算処理回路３４、及びメモリ３５の制御を行う。また、制御回路３１は、図１１の形状測定装置の各部の動作を制御する。   The control circuit 31 controls the drive circuit 33, the arithmetic processing circuit 34, and the memory 35 in accordance with instructions input from the user via the user interface 32. Further, the control circuit 31 controls the operation of each part of the shape measuring apparatus of FIG.

駆動回路３３は、撮像素子１３を駆動する。また、駆動回路３３は、撮像素子１３からの画像信号を、演算処理回路３４に出力する。   The drive circuit 33 drives the image sensor 13. Further, the drive circuit 33 outputs the image signal from the image sensor 13 to the arithmetic processing circuit 34.

演算処理回路３４は、駆動回路３３からの画像信号に基づいて、所定の演算処理を行う。そして、演算処理回路３４は、演算結果をメモリ３５に格納する。   The arithmetic processing circuit 34 performs predetermined arithmetic processing based on the image signal from the drive circuit 33. Then, the arithmetic processing circuit 34 stores the calculation result in the memory 35.

演算処理回路３４は、MLA１２のＭＬの各々により結像された像を、撮像素子１３により撮像することで得られる画像データから、被検物の３次元形状を測定する。かかる処理の詳細については、後述する図１２の演算処理回路３４の動作の説明の際に併せて説明する。   The arithmetic processing circuit 34 measures the three-dimensional shape of the test object from image data obtained by imaging the image formed by each ML of the MLA 12 by the imaging device 13. Details of this processing will be described together with the description of the operation of the arithmetic processing circuit 34 of FIG.

以上のようにして、形状測定装置は構成される。   The shape measuring apparatus is configured as described above.

次に、図１２のフローチャートを参照して、図１１の演算処理回路３４により行われる３次元形状測定処理について説明する。   Next, the three-dimensional shape measurement process performed by the arithmetic processing circuit 34 of FIG. 11 will be described with reference to the flowchart of FIG.

演算処理回路３４は、ステップＳ１１において、駆動回路３３からの画像信号を取得し、ステップＳ１２において、焦点画像を生成する。具体的には、上記の［２．焦点画像生成の手順］で述べたように、演算処理回路３４は、図１ａの構成の場合には、（２−１）の方法によって、図１ｂの構成の場合には、（２−２）の方法によって、異なる角度からの光線を再構成して、焦点面の異なる複数の画像を生成する。   The arithmetic processing circuit 34 acquires the image signal from the drive circuit 33 in step S11, and generates a focus image in step S12. Specifically, the above-mentioned [2. As described in [Procedure for generating a focus image], the arithmetic processing circuit 34 uses the method (2-1) in the case of the configuration of FIG. 1a and (2-2) in the case of the configuration of FIG. 1b. By this method, light rays from different angles are reconstructed to generate a plurality of images having different focal planes.

ステップＳ１３において、演算処理回路３４は、測定の信号処理を行う。具体的には、上記の［３．測定の信号処理手順］で述べたように、演算処理回路３４は、（３−１）の「多焦点逐次処理法」又は（３−２）の「全焦点エッジ抽出法」などのエッジ処理によって、常に焦点の合った全焦点画像を用いて、物体の各エッジ座標（Ｘi，Ｙi）位置でのＺを求める。 In step S13, the arithmetic processing circuit 34 performs measurement signal processing. Specifically, the above [3. As described in the “Signal processing procedure of measurement”, the arithmetic processing circuit 34 performs the edge processing such as the “multifocal sequential processing method” in (3-1) or the “all-focus edge extraction method” in (3-2). The Z at each edge coordinate (X i , Y i ) position of the object is obtained using an omnifocal image that is always in focus.

そして、演算処理回路３４は、ステップＳ１４において、距離測定の処理を行い、ステップＳ１５において、物体の３次元形状を測定し、処理は終了する。具体的には、上記の［４．距離測定手順］で述べたように、演算処理回路３４は、（４−１）の「多数のフォーカス画像から物***置を求める方法」又は（４−２）の「２つの異なる焦点面の画像情報から物***置を求める方法」によって、被検物の表面の座標（Ｘ，Ｙ，Ｚ）が求められ、３次元形状が測定される。   Then, the arithmetic processing circuit 34 performs a distance measurement process in step S14, measures the three-dimensional shape of the object in step S15, and the process ends. Specifically, the above-mentioned [4. As described in the “distance measurement procedure”, the arithmetic processing circuit 34 selects the “image information of two different focal planes” in (4-1) “Method for obtaining an object position from a large number of focus images” or (4-2). The method of determining the object position from the “coordinates (X, Y, Z) of the surface of the test object is determined, and the three-dimensional shape is measured.

以上のように、図１１の形状測定装置においては、演算処理回路３４によって、先述した、［２．焦点画像生成の手順］、［３．測定の信号処理手順］、［４．距離測定手順］が順に実行されることで、MLA１２の中央のＭＬによって結像された像から得られる全焦点画像を用いた信号処理が行われ、それにより得られる物体の各エッジ座標（Ｘi，Ｙi）位置でのＺから、被検物の表面の座標（Ｘ，Ｙ，Ｚ）、すなわち、３次元形状が測定される。 As described above, in the shape measuring apparatus in FIG. 11, the arithmetic processing circuit 34 [2. Procedure for generating focus image], [3. Measurement signal processing procedure], [4. The distance measurement procedure] is sequentially executed, thereby performing signal processing using an omnifocal image obtained from the image formed by the ML at the center of the MLA 12, and each edge coordinate (X i) of the object obtained thereby. , Y i ), the coordinates (X, Y, Z) of the surface of the test object, that is, the three-dimensional shape is measured from Z at the position.

すなわち、図１ａに示したように、MLA１２が対物レンズ１１の射出瞳と共役となるように配置されている場合、演算処理回路３４は、複数のＭＬのうちの対物レンズ１１の光軸の位置にあるMLA１２の中央のＭＬにより撮像素子１３の撮像面上に形成された像から得られる全焦点画像（基準画像）と、撮像素子１３の出力から得られる焦点面の異なる複数の画像（測定画像）との相関から求められる被検物のＺ位置を用いて、その被検物の３次元の形状を測定する。 That is, as shown in FIG. 1a, when the MLA 12 is arranged so as to be conjugate with the exit pupil of the objective lens 11, the arithmetic processing circuit 34 determines the position of the optical axis of the objective lens 11 among the plurality of MLs. The multifocal image (reference image) obtained from the image formed on the imaging surface of the imaging device 13 by the ML at the center of the MLA 12 and a plurality of images (measurement images) having different focal planes obtained from the output of the imaging device 13 The three-dimensional shape of the test object is measured using the Z position of the test object obtained from the correlation with ( ).

なお、本実施の形態では、図１ａの構成を中心に述べたが、図１ｂに示したように、撮像素子１３の撮像面が対物レンズ１１の射出瞳と共役となるように配置されている場合には、演算処理回路３４は、対物レンズ１１の主光線が交わる撮像素子１３の撮像領域を構成する画素から得られる全焦点画像（基準画像）と、撮像素子１３の出力から得られる焦点面の異なる複数の画像（測定画像）との相関から求められる被検物のＺ位置を用いて、その被検物の３次元形状を測定することになる。 In the present embodiment, the configuration shown in FIG. 1a is mainly described. However, as shown in FIG. 1b, the imaging surface of the imaging device 13 is arranged so as to be conjugate with the exit pupil of the objective lens 11. In this case, the arithmetic processing circuit 34 includes an omnifocal image (reference image) obtained from the pixels constituting the imaging region of the imaging element 13 where the principal rays of the objective lens 11 intersect, and a focal plane obtained from the output of the imaging element 13. The three-dimensional shape of the test object is measured using the Z position of the test object obtained from the correlation with a plurality of different images (measurement images).

［６．レンズ駆動］
次に、被検物が遠くにある場合や近くにある場合についての測定方法について説明する。この場合、レンズ位置ａを固定したままでは、測定可能な範囲を超える領域が発生することがある。そこで、本発明の形状測定装置では、測定目的に合わせて必要なときに、対物レンズ１１を動かし、レンズ位置ａの値を変えて測定を行うようにする。 [6. Lens drive]
Next, a measurement method when the test object is in the distance or in the vicinity will be described. In this case, if the lens position a is fixed, an area exceeding the measurable range may occur. Therefore, in the shape measuring apparatus of the present invention, the objective lens 11 is moved to change the value of the lens position “a” when necessary according to the measurement purpose.

その具体例として、以下、実際に被検物の３次元形状を計測するときに、測定範囲を考慮した場合の処理の流れについて説明する。   As a specific example, the flow of processing when the measurement range is taken into account when actually measuring the three-dimensional shape of the test object will be described below.

被検物までの距離ｂは、対物レンズ１１と光学系の撮像面（基準焦点面）との距離（レンズ位置ａ）と焦点距離ｆの値がわかっていると、上記の光学系のガウスの式（１）の関係から計算することができる。   If the distance b between the objective lens 11 and the imaging surface (reference focal plane) of the optical system (lens position a) and the value of the focal distance f are known, the distance b to the object to be inspected is the Gaussian of the optical system described above. It can be calculated from the relationship of equation (1).

図１３には、横軸をａ（レンズ位置）、縦軸をｂ（物体距離）とした場合において、焦点距離ｆ＝25mmとして、レンズ位置ａの値を27mmから45mmまで変えたときの物体距離（距離）ｂの値をグラフ化したものと、焦点距離ｆ＝30mmとして、レンズ位置ａの値を31mmから45mmまで変えたときの物体距離ｂの値をグラフ化したものが示されている。図１３において、横軸のレンズ位置ａは、図中右方向にいくほど、レンズ位置ａが大きくなり、縦軸の物体距離ｂは、図中上方向にいくほど、物体距離ｂが大きくなる。   FIG. 13 shows the object distance when the horizontal axis is a (lens position) and the vertical axis is b (object distance), and the value of the lens position a is changed from 27 mm to 45 mm with the focal length f = 25 mm. A graph of the value of (distance) b and a graph of the value of object distance b when the lens position a is changed from 31 mm to 45 mm with the focal length f = 30 mm are shown. In FIG. 13, the lens position a on the horizontal axis increases toward the right in the figure, and the lens position a increases. The object distance b on the vertical axis increases toward the upper side in the figure.

この２つのカーブからも明らかなように、焦点の合う被検物までの物体距離ｂの値は、レンズ位置ａの値によって大きく異なる。   As is clear from these two curves, the value of the object distance b to the in-focus object is greatly different depending on the value of the lens position a.

具体的には、図１３の２つのカーブで示すように、レンズ位置ａの値が小さくなると、物体側の焦点の合う位置（物体距離）ｂは急激に遠ざかる（距離が広がる）とともに、いわゆる被写界深度が深くなり、物体距離ｂの変化に対するフォーカス情報の感度が低下する。すなわち、物体距離ｂが遠距離になるにしたがって、物体側の測定範囲は広がるが、精度が劣化することになる。   Specifically, as shown by the two curves in FIG. 13, when the value of the lens position a becomes smaller, the in-focus position (object distance) b on the object side suddenly moves away (the distance increases), and the so-called coverage is increased. The depth of field increases, and the sensitivity of focus information to changes in the object distance b decreases. That is, as the object distance b increases, the measurement range on the object side increases, but the accuracy deteriorates.

従って、例えば、精度を考慮して測定する場合には、物体距離ｂが適当な値になるようにして、測定する必要がある。   Therefore, for example, when measuring in consideration of accuracy, it is necessary to measure the object distance b so as to be an appropriate value.

一方、測定範囲を広げたいときは、物体距離ｂが大きくなるようにして測定するのがよいが、物体距離ｂが遠距離になると、対物レンズ１１を移動させて間隔（レンズ位置）ａを変化させても、その変化量に対してボケの変化が小さくなるので、測定精度が劣化し、測定には限度がある。そのため、通常は、適当な値、例えば、図１３では、焦点距離ｆ＝25mmの場合にはａ＝30mmを中心に27mm〜35mmあたりにレンズ位置ａを設定するのが適当であり、焦点距離ｆ＝30mmの場合にはａ＝37mmを中心に33mm〜38mmあたりにレンズ位置ａを設定するのが適当である。すなわち、焦点を合わせる距離に応じて感度特性が変化するので、測定を開始する前に作動距離を適切に設定するのがよい。   On the other hand, when it is desired to widen the measurement range, it is better to make the measurement so that the object distance b is increased. However, when the object distance b is a long distance, the objective lens 11 is moved to change the interval (lens position) a. Even if it is made, since the change of blur becomes small with respect to the amount of change, the measurement accuracy deteriorates, and there is a limit to the measurement. Therefore, normally, in FIG. 13, for example, when the focal length f = 25 mm, it is appropriate to set the lens position a around 27 mm to 35 mm with a = 30 mm as the center, and the focal length f. When = 30 mm, it is appropriate to set the lens position a around 33 mm to 38 mm with a = 37 mm as the center. That is, since the sensitivity characteristic changes according to the focusing distance, it is preferable to set the working distance appropriately before starting the measurement.

ところで、先述した、図１１の形状測定装置では、被検物への焦点合わせについては述べていないが、焦点合わせ機能があると測定範囲が広がる。本発明の別の実施の形態においては、これまで述べてきた、対物レンズ１１から被検物までの距離ｂに関する距離情報を、焦点合わせを行う場合の距離情報（以下、フォーカス信号という）として使用し、自動合焦を行う。   By the way, in the shape measuring apparatus of FIG. 11 described above, focusing on the test object is not described, but if there is a focusing function, the measurement range is widened. In another embodiment of the present invention, the distance information related to the distance b from the objective lens 11 to the test object, which has been described so far, is used as distance information (hereinafter referred to as a focus signal) when focusing. And autofocus.

そこで、次に、図１４を参照して、自動合焦機能を備えた形状測定装置について説明する。   Then, next, with reference to FIG. 14, the shape measuring apparatus provided with the automatic focusing function is demonstrated.

図１４において、図１１と対応する箇所には同一の符号が付してあり、処理が同じ部分に関しては、その説明は省略する。図１４の形状測定装置には、対物レンズ１１ないし撮像素子１３、及び、制御回路３１ないしメモリ３５の他に、制御回路３１からの指示にしたがって対物レンズ１１を動かすレンズ駆動装置４２が設けられている。また、図１４において、対物レンズ１１ないし撮像素子１３は、測定センサ系４１であるとして説明するが、測定センサ系４１は、例えば、制御回路３１ないしメモリ３５の一部をさらに含めた構成などであってもよい。さらに、図１４の構成では、CPU４３によって、制御回路３１と演算処理回路３４が構成されているものとする。   14, portions corresponding to those in FIG. 11 are denoted by the same reference numerals, and description of portions that are the same in processing is omitted. In addition to the objective lens 11 to the imaging device 13 and the control circuit 31 to the memory 35, the shape measuring apparatus in FIG. 14 is provided with a lens driving device 42 that moves the objective lens 11 in accordance with an instruction from the control circuit 31. Yes. In FIG. 14, the objective lens 11 or the imaging device 13 is described as the measurement sensor system 41. However, the measurement sensor system 41 has a configuration that further includes a part of the control circuit 31 or the memory 35, for example. There may be. Further, in the configuration of FIG. 14, the control circuit 31 and the arithmetic processing circuit 34 are configured by the CPU 43.

CPU４３は、ユーザインターフェース３２から供給される測定開始命令により、駆動回路３３を制御して、撮像素子１３から画像信号を取り込み、取り込んだ画像信号から被検物Ｈまでの距離を測定する。ここでは、最初に、対物レンズ１１の光軸と一致する被検物Ｈの合焦ポイントＰ１までの距離が測定される。   The CPU 43 controls the drive circuit 33 according to a measurement start command supplied from the user interface 32, takes in an image signal from the image sensor 13, and measures the distance from the taken image signal to the test object H. Here, first, the distance to the focusing point P1 of the test object H that coincides with the optical axis of the objective lens 11 is measured.

図１３を参照して説明したように、測定センサ系４１と被検物Ｈとの距離（作動距離）には最適な値があるので、CPU４３によって演算された合焦ポイントＰ１までの距離が、この最適な値からずれている場合がある。この場合、CPU４３は、そのずれ量をモニタ３６に表示し、操作者に対して作動距離が適切でないことを通知する。そうすることで、操作者は、測定センサ系４１と被検物Ｈとを相対的に移動させ、作動距離を適切に設定することが可能となる。   As described with reference to FIG. 13, since there is an optimum value for the distance (working distance) between the measurement sensor system 41 and the test object H, the distance to the in-focus point P <b> 1 calculated by the CPU 43 is There may be deviations from this optimum value. In this case, the CPU 43 displays the deviation amount on the monitor 36 and notifies the operator that the working distance is not appropriate. By doing so, the operator can relatively move the measurement sensor system 41 and the test object H and set the working distance appropriately.

すなわち、測定センサ系４１は、例えば、３次元空間内で自由に動作する図不示のロボットハンドに設けられており、このロボットハンドが、操作者によるユーザインターフェース３２の操作に応じて、測定センサ系４１と被検物Ｈとの作動距離を最適な値にする。つまり、CPU４３において、制御回路３１は演算処理回路３４の演算結果である測定センサ系４１と被検物Ｈまでの作動距離が最適になるように図不示のロボットハンドの制御回路に制御信号をフィードバックする。   That is, the measurement sensor system 41 is provided, for example, in a robot hand (not shown) that freely moves in a three-dimensional space, and this robot hand is operated according to the operation of the user interface 32 by the operator. The working distance between the system 41 and the test object H is set to an optimum value. In other words, in the CPU 43, the control circuit 31 sends a control signal to the control circuit of the robot hand (not shown) so that the working distance between the measurement sensor system 41 and the test object H, which is the calculation result of the calculation processing circuit 34, is optimized. give feedback.

なお、ロボットハンドの代わりに、被検物Ｈを測定センサ系４１の光軸方向へ移動させる図不示の移動テーブルに載置し、この移動テーブルの位置を制御するテーブル移動装置をCPU４３が制御するようにしてもよい。   In place of the robot hand, the CPU 43 controls a table moving device that controls the position of the moving table by placing the test object H on a moving table (not shown) that moves the measuring sensor system 41 in the optical axis direction. You may make it do.

CPU４３は、被検物Ｈが最適な作動距離の位置に置かれると、その基準（通常初めは視野の中心）点でのフォーカス信号を用いて、レンズ駆動装置４２によって対物レンズ１１を動かして、レンズ位置ａを変えながら焦点を合わせる（撮像面が基準焦点面である場合）。これにより、例えば、ある距離に焦点が合っている状態の感度は、その距離が離れるにしたがって低下するものであるが、レンズ位置ａを変えながら焦点を合わせ直すことで、低下するはずの感度を上げることが可能となる。   When the test object H is placed at the optimum working distance, the CPU 43 moves the objective lens 11 by the lens driving device 42 using the focus signal at the reference point (usually the center of the visual field at first), Focus is adjusted while changing the lens position a (when the imaging surface is the reference focal surface). As a result, for example, the sensitivity in a state where the focus is on a certain distance decreases as the distance increases, but the sensitivity that should be decreased can be reduced by refocusing while changing the lens position a. It is possible to raise.

そして、焦点合わせが完了した後、レンズ位置ａを測定し、レンズ位置ａと焦点距離ｆとを、上記の式（１）の関係に基づき、被検物Ｈまでの距離ｂを求めることができる。なお、通常、レンズ位置ａの値は、レンズ駆動装置４２に設けられた光学式ロータリエンコーダ等の位置読み取りセンサによって検出することができる。   After the focusing is completed, the lens position a is measured, and the distance b to the test object H can be obtained from the lens position a and the focal length f based on the relationship of the above formula (1). . In general, the value of the lens position a can be detected by a position reading sensor such as an optical rotary encoder provided in the lens driving device 42.

その後、CPU４３では、演算処理回路３４によって、被検物Ｈ全面の多数点について、先述した仮想焦点面と共役な被検物Ｈ側の面の位置（・・・，Ｚ-1，Ｚ0，Ｚ1，・・・）での画像群からのフォーカス情報が取り込まれ、さらに、レンズ位置ａから、それぞれの物点距離が求められ、被検物Ｈの３次元の立体形状が測定される。 Thereafter, in the CPU 43, the arithmetic processing circuit 34 makes the position (..., Z −1 , Z 0 ,..., Z 1 , Z 0 ,. Focus information from the image group at Z 1 ,... Is taken in, the object point distances are obtained from the lens position a, and the three-dimensional shape of the test object H is measured.

この結果、形状測定装置から離れている被検物Ｈや、近くにある被検物Ｈに対しても最適な感度で測定することができる。   As a result, it is possible to perform the measurement with the optimum sensitivity even for the test object H that is away from the shape measuring apparatus or the test object H that is nearby.

以上の説明では被検物Ｈの奥行きがそれほど大きくないものの場合（測定光軸方向での測定範囲が狭い場合）はよいが、測定光軸方向の測定範囲が大きい場合には、同一の被検物Ｈに対しても焦点を変えながら測定する必要が生ずる場合がある。   In the above description, the depth of the test object H is not so large (when the measurement range in the measurement optical axis direction is narrow), but when the measurement range in the measurement optical axis direction is large, the same test is performed. It may be necessary to measure the object H while changing the focus.

このような場合に備えて、例えば、図３ｂの対物レンズ１１の光軸上のＭＬによって結像される像のような被検物Ｈが測定光軸方向へ移動しても焦点が合ったまま像のずれない像の画像（全焦点画像）をモニタ３６に表示し、モニタ３６上で焦点を合わせたい位置を、任意に選択できるようにする。そうすると、操作者がモニタ３６を見ながら、被検物Ｈ上で焦点を合わせたい位置を選択し、選択された位置に合焦するように演算処理回路３４からの信号で制御回路３１がレンズ駆動装置４２を制御するように構成することができる。   In preparation for such a case, for example, the object H such as an image formed by the ML on the optical axis of the objective lens 11 in FIG. An image of an image (omnifocal image) with no image deviation is displayed on the monitor 36, and a position on the monitor 36 where the focus is desired can be arbitrarily selected. Then, the operator selects a position to be focused on the object H while looking at the monitor 36, and the control circuit 31 drives the lens with a signal from the arithmetic processing circuit 34 so as to focus on the selected position. The device 42 can be configured to be controlled.

モニタ３６上で焦点を合わせたい位置を選択する技術は、一眼レフカメラで用いられている技術を用いることができる。そして、焦点を合わせたい位置が選択された後は、選択した位置を基準点として、先に説明した視野の中心点を基準点とした場合と同様に、この点（位置）に焦点を合わせることができる。   As a technique for selecting a position to be focused on the monitor 36, a technique used in a single-lens reflex camera can be used. After the position to be focused is selected, the selected position is used as a reference point, and the focus is set to this point (position) as in the case where the center point of the field of view described above is used as the reference point. Can do.

このようにして、被検物Ｈが測定光軸方向に大きい場合、操作者が全焦点画像を見ながら焦点を合わせたい位置を順次選択しながら測定したり、操作者が全焦点画像を見ながら予め焦点を合わせたいポイントを指示し、CPU４３がこれらのポイントに順次焦点を合わせながら測定するように構成したりすることができる。   In this way, when the test object H is large in the measurement optical axis direction, the operator can measure while sequentially selecting the position to be focused while viewing the omnifocal image, or the operator can view the omnifocal image. A point to be focused can be designated in advance, and the CPU 43 can be configured to perform measurement while sequentially focusing on these points.

また、ユーザインターフェース３２から予め測定範囲を指示し、演算処理回路３４がこの測定範囲を維持しつつ、焦点の合う位置を予め定めた距離ごとにステップ的に焦点の合う範囲を変えつつ、上記測定範囲での測定を実行するようにすることもできる。それによって、予め定めた測定範囲を光軸方向へステップ的に移動させながら、所定の範囲の距離測定、ひいては被検物Ｈの各測定点での空間座標を求めることができる。   Further, the measurement range is instructed in advance from the user interface 32, and the calculation processing circuit 34 maintains the measurement range, and changes the focus range step by step for each predetermined distance while changing the focus range. Range measurements can also be performed. As a result, distance measurement within a predetermined range, and consequently, spatial coordinates at each measurement point of the test object H can be obtained while moving a predetermined measurement range stepwise in the optical axis direction.

なお、以上の説明は、対物レンズ１１の移動を制御回路３１からの信号によって自動的に行うことを前提にしたが、対物レンズ１１の移動を手動で行ってもよいことは勿論である。この場合は、上記ステップ移動範囲を示すメモリと指標とを対物レンズ１１の鏡筒のピントリング（回転側）と本体（固定側）に形成することで、操作者は、指標にメモリをステップ的に合わせながら測定を行えばよい。   The above description is based on the premise that the objective lens 11 is automatically moved by a signal from the control circuit 31, but it is needless to say that the objective lens 11 may be manually moved. In this case, the memory indicating the step movement range and the index are formed on the focus ring (rotation side) and the main body (fixed side) of the lens barrel of the objective lens 11, so that the operator can use the step memory as the index. The measurement may be performed while adjusting to the above.

なお、本実施の形態においては、レンズ位置ａの値を正確に求める手段として、レンズ駆動装置４２に付けられる光学式ロータリエンコーダについて説明したが、これに限らず、同等の手段であれば他の手段であってもよい。   In the present embodiment, the optical rotary encoder attached to the lens driving device 42 has been described as means for accurately obtaining the value of the lens position a. However, the present invention is not limited to this, and any other equivalent means can be used. It may be a means.

また、図１４においては、CPU４３は、制御回路３１と演算処理回路３４から構成されるとして説明したが、図１４の構成の一部について、CPU４３、ユーザインターフェース３２、メモリ３５、及びモニタ３６から構成されるパーソナルコンピュータであると捉えることもできる。その場合、パーソナルコンピュータは、モニタ３６に表示された画像を見ながら操作を行う操作者の指示にしたがって、レンズ駆動装置４２等を制御することになる。   In FIG. 14, the CPU 43 has been described as including the control circuit 31 and the arithmetic processing circuit 34, but a part of the configuration illustrated in FIG. 14 includes the CPU 43, the user interface 32, the memory 35, and the monitor 36. It can also be seen as a personal computer. In that case, the personal computer controls the lens driving device 42 and the like in accordance with an instruction from the operator who performs the operation while viewing the image displayed on the monitor 36.

以上のように、本発明によれば、対物レンズの光軸に沿って、被検物を移動することなく、測定光軸方向での広い範囲の測定を高精度に行うことができる。   As described above, according to the present invention, a wide range of measurements in the measurement optical axis direction can be performed with high accuracy without moving the test object along the optical axis of the objective lens.

なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、記録媒体からインストールされる。   The series of processes described above can be executed by hardware, or can be executed by software. When a series of processing is executed by software, a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a recording medium in a general-purpose personal computer or the like.

この記録媒体は、コンピュータとは別に、利用者にプログラムを提供するために配布される、プログラムが記録されている磁気ディスク、光ディスク、光磁気ディスク、若しくは半導体メモリ等により構成されるだけでなく、コンピュータに予め組み込まれた状態で利用者に提供される、プログラムが記録されているハードディスクドライブやROM（Read Only Memory）等で構成される。   This recording medium is not only composed of a computer, but also a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory or the like on which the program is recorded, which is distributed to provide a program to users. It is configured by a hard disk drive or a ROM (Read Only Memory) in which a program is recorded, which is provided to the user in a state of being preinstalled in the computer.

また、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデム等のインターフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。   The program for executing the series of processes described above is installed in a computer via a wired or wireless communication medium such as a local area network, the Internet, or digital satellite broadcasting via an interface such as a router or a modem as necessary. You may be made to do.

なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。   In the present specification, the step of describing the program stored in the recording medium is not limited to the processing performed in chronological order according to the described order, but is not necessarily performed in chronological order. It also includes processes that are executed individually.

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。   The embodiments of the present invention are not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the present invention.

本発明を適用した光学系の概要を説明する図である。It is a figure explaining the outline | summary of the optical system to which this invention is applied. 光学系のさらに詳細な構成について説明する図である。It is a figure explaining the further detailed structure of an optical system. ある１つのＭＬから見た像が、同じ方向からの光線で構成された、方向別に見た像であることを示す図である。It is a figure which shows that the image seen from a certain ML is the image seen for every direction comprised with the light ray from the same direction. 対物レンズとMLAでの光線の追跡結果を示す図である。It is a figure which shows the tracking result of the light ray by an objective lens and MLA. MLAで結像された撮像素子面における画素配列を示す図である。It is a figure which shows the pixel arrangement | sequence in the image pick-up element surface imaged by MLA. MLAを対物レンズの結像面とした場合（Ｚ＝０）の構成の例を示す図である。It is a figure which shows the example of a structure when MLA is made into the image plane of an objective lens (Z = 0). MLAを対物レンズの結像面とした場合（Ｚ＝ｈ1）の構成の例を示す図である。The MLA is a diagram illustrating an example of a configuration when the image plane of the objective lens (Z = h 1). 全焦点画像の例を示す図である。It is a figure which shows the example of an omnifocal image. 画像群のフーリエ変換法を用いた信号処理の流れを示す図である。It is a figure which shows the flow of the signal processing using the Fourier-transform method of an image group. サンプリング点のエッジの傾き成分をグラフ化した図である。It is the figure which graphed the inclination component of the edge of a sampling point. 本発明を適用した形状測定装置の一実施の形態の構成を示す図である。It is a figure which shows the structure of one Embodiment of the shape measuring apparatus to which this invention is applied. ３次元形状測定処理について説明するフローチャートである。It is a flowchart explaining a three-dimensional shape measurement process. レンズ位置と物***置との関係を示す図である。It is a figure which shows the relationship between a lens position and an object position. 本発明を適用した形状測定装置の一実施の形態の他の構成を示す図である。It is a figure which shows the other structure of one Embodiment of the shape measuring apparatus to which this invention is applied.

符号の説明Explanation of symbols

１１ 対物レンズ， １２ MLA， １３ 撮像素子， ３１ 制御回路， ３２ ユーザインターフェース， ３３ 駆動回路， ３４ 演算処理回路， ３５ メモリ， ４１ 測定センサ系， ４２ レンズ駆動装置， ４３ CPU， ＭＬ マイクロレンズ， ＦＬ フィールドレンズ   DESCRIPTION OF SYMBOLS 11 Objective lens, 12 MLA, 13 Imaging device, 31 Control circuit, 32 User interface, 33 Drive circuit, 34 Arithmetic processing circuit, 35 Memory, 41 Measurement sensor system, 42 Lens drive device, 43 CPU, ML micro lens, FL field lens

Claims (5)

対物レンズと、
前記対物レンズの背後に２次元に配列された複数のレンズを有する光学素子と、
前記光学素子の背後に配置された２次元の撮像素子と、
前記対物レンズを光軸方向へ移動させるレンズ移動手段と、
前記撮像素子の出力から焦点面の異なる複数の測定画像を生成する画像形成手段と、
前記複数のレンズの各々に対応する前記撮像素子の撮像領域を構成する画素のうち前記対物レンズと前記光学素子との光学配置に応じた所定画素から得られる、全ての画素が合焦した基準画像と、前記複数の測定画像との相関から求められる被検物の前記対物レンズの光軸方向の位置を用いて、前記被検物の３次元の形状を測定する３次元形状測定手段と
を備えることを特徴とする形状測定装置。 An objective lens;
An optical element having a plurality of lenses arranged two-dimensionally behind the objective lens;
A two-dimensional image sensor disposed behind the optical element;
Lens moving means for moving the objective lens in the optical axis direction;
Image forming means for generating a plurality of measurement images having different focal planes from the output of the image sensor;
A reference image in which all the pixels are focused, obtained from predetermined pixels corresponding to the optical arrangement of the objective lens and the optical element among the pixels constituting the imaging region of the imaging element corresponding to each of the plurality of lenses. comprising the, using the position of the optical axis of the objective lens of the object obtained from the correlation between the plurality of measurement images, and a three-dimensional shape measurement means for measuring the three-dimensional shape of the test object A shape measuring apparatus characterized by that. 前記３次元形状測定手段は、前記形状の測定の前提として、前記被検物の各測定点までの距離情報を求め、
前記３次元形状測定手段により測定された距離情報に基づいて、前記被検物に焦点が合うように前記レンズ移動手段を制御する制御手段をさらに備える
ことを特徴とする請求項１に記載の形状測定装置。 The three-dimensional shape measuring means obtains distance information to each measurement point of the test object as a premise of measuring the shape,
2. The shape according to claim 1, further comprising a control unit that controls the lens moving unit so that the object is focused based on distance information measured by the three-dimensional shape measuring unit. measuring device. 前記距離情報は、前記基準画像と、前記複数の測定画像との相関から求められる前記被検物の前記光軸方向の位置に応じた、前記対物レンズから前記被検物までの距離に関する情報である
ことを特徴とする請求項２に記載の形状測定装置。 The distance information is information on the distance from the objective lens to the test object according to the position of the test object in the optical axis direction, which is obtained from the correlation between the reference image and the plurality of measurement images. The shape measuring apparatus according to claim 2, wherein: 前記レンズ移動手段によって前記対物レンズを所定の間隔ごとにステップ移動させ、前記対物レンズが停止するごとに、前記画像形成手段に前記複数の測定画像の生成を指示する制御手段をさらに備える
ことを特徴とする請求項１に記載の形状測定装置。 Control means for instructing generation of the plurality of measurement images to the image forming means each time the objective lens is moved stepwise by the lens moving means at predetermined intervals and the objective lens is stopped. The shape measuring apparatus according to claim 1. 前記ステップ移動の間隔は、前記被検物までの距離に応じて変化する測定感度が所定の範囲となるように定められる
ことを特徴とする請求項４に記載の形状測定装置。 The shape measuring apparatus according to claim 4, wherein the interval of the step movement is determined so that a measurement sensitivity that changes according to a distance to the test object falls within a predetermined range.
JP2008233494A 2008-09-11 2008-09-11 Shape measuring device Active JP5369563B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008233494A JP5369563B2 (en) 2008-09-11 2008-09-11 Shape measuring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008233494A JP5369563B2 (en) 2008-09-11 2008-09-11 Shape measuring device

Publications (2)

Publication Number Publication Date
JP2010066155A JP2010066155A (en) 2010-03-25
JP5369563B2 true JP5369563B2 (en) 2013-12-18

Family

ID=42191862

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008233494A Active JP5369563B2 (en) 2008-09-11 2008-09-11 Shape measuring device

Country Status (1)

Country Link
JP (1) JP5369563B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9906771B2 (en) 2015-02-17 2018-02-27 Samsung Electronics Co., Ltd. Light-field camera

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5942847B2 (en) * 2010-05-07 2016-06-29 株式会社ニコン Height measuring method and height measuring apparatus
JP2013016555A (en) * 2011-06-30 2013-01-24 Panasonic Industrial Devices Sunx Co Ltd Measuring device
JP5893412B2 (en) * 2012-01-13 2016-03-23 キヤノン株式会社 Imaging apparatus and control method thereof
JP6188290B2 (en) * 2012-08-03 2017-08-30 キヤノン株式会社 Ranging device, imaging device, focus evaluation method, program, and storage medium
EA028418B1 (en) * 2015-07-14 2017-11-30 Белорусский Государственный Университет (Бгу) Method of measuring the profile of microobjects for criminalistic examination
EP3535578A4 (en) 2016-11-04 2020-06-17 Rosemount Inc. A method of monitoring the components of gas analyser

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2539778B2 (en) * 1984-11-22 1996-10-02 株式会社日立製作所 Inspection method and inspection device
JPH04309804A (en) * 1991-04-05 1992-11-02 Hitachi Ltd Device and method for measuring three dimensional contour
JPH07280518A (en) * 1994-04-14 1995-10-27 Nippon Telegr & Teleph Corp <Ntt> Object measurement device
JP2960684B2 (en) * 1996-08-02 1999-10-12 株式会社日立製作所 Three-dimensional shape detection method and device
JP2004102032A (en) * 2002-09-11 2004-04-02 Olympus Corp Scanning type confocal microscope system
JP4205533B2 (en) * 2003-08-26 2009-01-07 独立行政法人科学技術振興機構 3D image construction method, 3D object distance derivation method
JP4752031B2 (en) * 2004-10-01 2011-08-17 ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティ Imaging apparatus and method
JP2006322795A (en) * 2005-05-18 2006-11-30 Olympus Corp Image processing device, image processing method and image processing program
JP4650107B2 (en) * 2005-05-31 2011-03-16 株式会社ニコン Measuring device with confocal optical system
JP4826152B2 (en) * 2005-06-23 2011-11-30 株式会社ニコン Image composition method and imaging apparatus
JP5040493B2 (en) * 2006-12-04 2012-10-03 ソニー株式会社 Imaging apparatus and imaging method
JP4905326B2 (en) * 2007-11-12 2012-03-28 ソニー株式会社 Imaging device
JP5354254B2 (en) * 2008-08-28 2013-11-27 株式会社ニコン Shape measuring apparatus and method, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9906771B2 (en) 2015-02-17 2018-02-27 Samsung Electronics Co., Ltd. Light-field camera

Also Published As

Publication number Publication date
JP2010066155A (en) 2010-03-25

Similar Documents

Publication Publication Date Title
JP5354254B2 (en) Shape measuring apparatus and method, and program
JP5369564B2 (en) Shape measuring device
JP5369563B2 (en) Shape measuring device
JP7043085B2 (en) Devices and methods for acquiring distance information from a viewpoint
JP4915859B2 (en) Object distance deriving device
CN102687056B (en) Sensor for microscopy
US7702229B2 (en) Lens array assisted focus detection
JP5914055B2 (en) Imaging device
JP5229541B2 (en) Distance measuring device, distance measuring method, and program
KR101725045B1 (en) Image processing apparatus and control method thereof
CN104282703B (en) Solid state image pickup device and electronic device
JP2014011526A (en) Image processing apparatus, imaging apparatus, and image processing method
US9456155B2 (en) Image processing apparatus, method, and program, and image pickup apparatus having image processing apparatus
US9438887B2 (en) Depth measurement apparatus and controlling method thereof
CN103038692A (en) Autofocus based on differential measurements
KR20150107571A (en) Image pickup apparatus and image pickup method of generating image having depth information
WO2014011182A1 (en) Convergence/divergence based depth determination techniques and uses with defocusing imaging
JP2009115541A (en) Distance measuring instrument and distance measuring method
CN106233125A (en) Copolymerization focal line detection optical system
JP2017158018A (en) Image processing apparatus, control method of the same, and imaging apparatus
JP2023115356A (en) Measurement device, imaging device, control method, and program
JP2009229125A (en) Distance measuring device and distance measuring method
JP2009109682A (en) Automatic focus adjusting device and automatic focus adjusting method
JP6563517B2 (en) Microscope observation system, microscope observation method, and microscope observation program
JP6774279B2 (en) Imaging device and its control method, information processing device, and information processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120322

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130820

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130902

R150 Certificate of patent or registration of utility model

Ref document number: 5369563

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250