JPH0812315B2 - Auto focus method - Google Patents

Description

【発明の詳細な説明】 発明の技術分野 本発明は、顕微鏡などの光学系の焦点合わせを画像処
理の分野で自動的に行う方法に関する。Description: TECHNICAL FIELD OF THE INVENTION The present invention relates to a method for automatically focusing an optical system such as a microscope in the field of image processing.

発明の背景 各種の部品、例えば磁気ヘッドのコアの製造過程で、
品質管理の観点から、そのギャップの測定が行われる。
通常、磁気ヘッドのギャップの寸法になどは、投影拡大
鏡などによって、光学的に拡大し、スクリーン上の目盛
を視覚的に読み込むことによって測定される。しかし、
このような測定手段によると、試料の測定位置への位置
決めが必要とされ、またスクリーン上の微細な目盛の読
み取りが不可欠となるため、測定作業が繁雑であり、製
品の生産スピードとの関連で、時間的な処理能力に限界
がある。BACKGROUND OF THE INVENTION In the process of manufacturing various parts, such as the core of a magnetic head,
The gap is measured from the viewpoint of quality control.
Normally, the size of the gap of the magnetic head is measured by optically enlarging it with a projection magnifying glass and visually reading the scale on the screen. But,
According to such a measuring means, it is necessary to position the sample at the measuring position, and it is indispensable to read the fine scale on the screen. However, there is a limit in processing capacity in terms of time.

従来技術 一方、画像処理技術の普及にともない、微小寸法の測
定に画像処理装置が利用されている。この画像処理に際
しても、観測対象の試料ごとに、光学系の焦点合わせが
必要となる。2. Description of the Related Art On the other hand, with the spread of image processing technology, image processing apparatuses have been used for measuring minute dimensions. Also in this image processing, it is necessary to focus the optical system for each sample to be observed.

このような焦点調節の自動化は、画像処理の分野であ
れば、例えば尾崎・谷口・小川著、共立出版会社刊「画
像処理」の2.1.5「焦点調節の自動化」に各種の方式と
して、紹介されている。しかし、これらのいずれの方式
でも、複雑なサンプリングプログラムが必要となるた
め、画像処理のプログラムが複雑になるほか、処理能力
の時間も長くなっている。In the field of image processing, such automation of focus adjustment is introduced as various methods in, for example, Ozaki / Taniguchi / Ogawa, 2.1.5 “Automation of focus adjustment” in “Image processing” published by Kyoritsu Publishing Company. Has been done. However, in any of these methods, a complicated sampling program is required, so that the image processing program is complicated and the processing time is long.

発明の目的 したがって、本発明の目的は、画像処理技術を利用し
て、観測対象の試料を一度観測することによって、顕微
鏡などの光学系と観測対象の試料との距離、つまり合焦
に必要な補正量を高速かつ高精度に決定できるようにす
ることである。Therefore, the object of the present invention is to use the image processing technology to observe the sample to be observed once, and thus to obtain the distance between the optical system such as a microscope and the sample to be observed, that is, the focus required for focusing. It is to be able to determine the correction amount at high speed and with high accuracy.

発明の解決手段 前記文献にも、記載されているように、焦点合わせが
不充分なとき、観測対象の試料の輪郭線な、画像信号の
観点から見ると、ゆるやかな輝度変化となっている。そ
して、その輝度変化の傾きは、合焦状態と相関関係にあ
る。As described in the above document, when focusing is insufficient, there is a gradual change in brightness from the viewpoint of the image signal, which is the contour line of the sample to be observed. Then, the inclination of the brightness change is correlated with the in-focus state.

本発明は、上記の点に着目し、観測対象の試料の輪郭
の輝度変化と距離との相関値を観測し、この相関値をも
とに、予め設定された補正量−相関値の特性から、合焦
に必要な補正量を割り出すようにしている。ここ相関値
は、輝度の信号レベル幅に対する走査方向の距離そのも
の、または輝度変化と距離との比つまり輝度変化曲線の
傾きとして与えられる。したがって、このような焦点合
わせ方法によると、ほとんど１回の観測で、必要な補正
量が直接に推測できるため、従来の合焦方式に比べて、
１回ないし数回の焦点合わせ操作によって、速やかに合
焦状態が得られることになる。The present invention focuses on the above points, observes the correlation value between the luminance change of the contour of the sample to be observed and the distance, and based on this correlation value, from the preset correction amount-correlation value characteristic , The correction amount necessary for focusing is calculated. The correlation value is given as the distance itself in the scanning direction with respect to the luminance signal level width, or the ratio of the luminance change to the distance, that is, the slope of the luminance change curve. Therefore, according to such a focusing method, the necessary correction amount can be directly estimated by almost one observation, and therefore, compared with the conventional focusing method,
A focused state can be quickly obtained by performing the focusing operation once or several times.

測定装置の構成 第１図は、本発明の前提となる測定装置１を示してい
る。この測定装置１は、光学系としての顕微鏡２、撮像
カメラ３、画像メモリ４、画像処理装置５および合焦操
作部６などによって組み立てられている。Configuration of Measuring Device FIG. 1 shows a measuring device 1 which is the premise of the present invention. The measuring device 1 is assembled by a microscope 2 as an optical system, an imaging camera 3, an image memory 4, an image processing device 5, a focusing operation unit 6, and the like.

上記顕微鏡２は、ステージ2aの上で、観測対象の試料
７を例えば100倍程度の倍率で光学的に拡大する。そし
て、上記撮像カメラ３は、上記顕微鏡２の接眼レンズ側
に取り付けられており、試料７の光学像を電気手に走査
して、増幅、クランプ装置などをした後、画素ごとに光
学像の明度に比例する電気量の画像信号に変換する。そ
して、上記画像メモリ４は、撮像カメラ３に接続されて
おり、撮像カメラ３からの画像信号を１フレームとし
て、一時的に記憶し、インターフエース８を通じ、ディ
ジタル的な画像信号として、画像処理装置５を送り込
む。The microscope 2 optically magnifies the sample 7 to be observed on the stage 2a at a magnification of, for example, about 100 times. Then, the imaging camera 3 is attached to the eyepiece side of the microscope 2, scans the optical image of the sample 7 with an electric hand, performs amplification, a clamp device, and the like, and then the brightness of the optical image for each pixel. Is converted into an image signal of an electric quantity proportional to. The image memory 4 is connected to the image pickup camera 3, temporarily stores the image signal from the image pickup camera 3 as one frame, and through the interface 8 as a digital image signal, an image processing apparatus. Send in 5.

そこで、この画像処理装置５は、本発明の焦点合わせ
方法に基づいて、顕微鏡２の光学系と試料７との相対的
な補正量を求め、これに基づいて、上記合焦操作部６を
操作し、顕微鏡２の合焦機構2bを駆動する。この合焦機
構2bは、ラック・ピニオン、または偏心カム・従動ピン
などによって、構成されており、顕微鏡２の光学系とス
テージ2aとの相対的距離を変化させ、観測対象の試料７
を光学的に結像させる。上記画像処理装置５は、コンピ
ュータによって構成されており、内蔵のプログラムメモ
リで測定用の画像処理プログラムのほか、焦点合わせの
プログラムを記憶しており、必要な画像処理動作および
演算動作を実行していく。なお、この画像処理装置５に
は、入力用のキーボード９、出力用のプリンタ10やモニ
ター用のディスプレィ11などが接続されている。Therefore, the image processing apparatus 5 obtains the relative correction amount between the optical system of the microscope 2 and the sample 7 based on the focusing method of the present invention, and operates the focusing operation unit 6 based on this. Then, the focusing mechanism 2b of the microscope 2 is driven. The focusing mechanism 2b is composed of a rack and pinion, an eccentric cam, a driven pin, or the like, and changes the relative distance between the optical system of the microscope 2 and the stage 2a, thereby observing the sample 7 to be observed.
Is optically formed. The image processing device 5 is composed of a computer, stores an image processing program for measurement as well as a focusing program in a built-in program memory, and executes necessary image processing operations and arithmetic operations. Go. A keyboard 9 for input, a printer 10 for output, a display 11 for monitor and the like are connected to the image processing device 5.

本発明の自動焦点合わせ方法 次に、第２図は、本発明の方法による各過程を示して
おり、また第３図は、試料７の拡大画像との関係で距離
−輝度特性を示し、さらに第４図は、補正量−距離特性
を示している。Automatic Focusing Method of the Present Invention Next, FIG. 2 shows each step by the method of the present invention, and FIG. 3 shows a distance-luminance characteristic in relation to an enlarged image of the sample 7, and FIG. 4 shows the correction amount-distance characteristic.

まず最初に、観測対象の試料７は、顕微鏡２によって
所定の倍率で、光学的な像として観測される。次に、撮
像カメラ３は、第３図Ａのように、その光学像を寸法測
定方向に走査して、画素ごとに明度に比例する電気量の
画像信号に変換していく（撮像過程）。この実施例の場
合、背景が白であるため、黒色系の試料７は、黒レベル
として現れる。First, the sample 7 to be observed is observed as an optical image by the microscope 2 at a predetermined magnification. Next, as shown in FIG. 3A, the imaging camera 3 scans the optical image in the dimension measuring direction and converts it into an image signal of an electric quantity proportional to the brightness of each pixel (imaging process). In the case of this example, since the background is white, the black sample 7 appears as a black level.

その後、画像メモリ４は、上記電気的な画像信号を１
フレームとして記憶し、画像処理に必要な時間の間、そ
の状態を保持する（記憶過程）。After that, the image memory 4 outputs the electric image signal 1
It is stored as a frame, and its state is maintained for the time required for image processing (storage process).

このような準備過程の後に、画像処理装置５は、本発
明の方法にもとづいて焦点合わせのプログラムを実行し
ていく。このプログラムでは、まず最初に画像メモリ４
の１フレーム上で、観測対象の試料７の被測定位置のエ
リア12が確定され、そのエリア12の部分で試料７の輪郭
と背景画像との境界部分での輝度が観測される。After such a preparation process, the image processing apparatus 5 executes the focusing program based on the method of the present invention. In this program, first, the image memory 4
On one frame, the area 12 of the measured position of the sample 7 to be observed is determined, and the brightness at the boundary between the contour of the sample 7 and the background image is observed in the area 12 portion.

既に記載したように、顕微鏡２が、試料７に対し、合
焦状態にあるときには、境界部分の輝度は、第３図Ｂに
みられるように、走査方向の距離に対し、急峻なカーブ
で立ち上がるのに対し、合焦状態にないときには、その
輝度のカーブは、同図Ｃのように、ゆるやかな変化で立
ち上がっている。したがって、背景と試料７との境界部
分の輝度変化曲線は、合焦状態と送関関係にあることに
なる。そこで、この後の段階では、輝度の立ち上がり部
分で黒レベルから所定のレベルだけ高い輝度レベルv1お
よび白レベルから所定のレベルだけ低い輝度レベルv2が
それぞれ設定され、次にその輝度レベル幅（v1−v2）に
対応する曲線上の距離Δｄが演算により輝度変化の相関
値として求められる（演算過程）。As already described, when the microscope 2 is in focus with respect to the sample 7, the brightness at the boundary rises with a sharp curve with respect to the distance in the scanning direction, as shown in FIG. 3B. On the other hand, when the focus is not achieved, the curve of the brightness rises with a gentle change as shown in FIG. Therefore, the brightness change curve at the boundary between the background and the sample 7 has a clear relationship with the in-focus state. Therefore, in the subsequent stage, a brightness level v1 that is higher than the black level by a predetermined level and a brightness level v2 that is lower than the white level by a predetermined level are set in the rising portion of the brightness, and then the brightness level width (v1− The distance Δd on the curve corresponding to v2) is calculated as the correlation value of the luminance change (calculation process).

そして、このように求められた距離Δｄは、顕微鏡２
を合焦状態に調整するために必要な補正量Δｔと対応し
ている。第４図は、補正量−距離の数表をグラフとして
示している。このグラフから明らかなように、距離は、
補正量に対し正比例の関係にある。これらの相関関係の
データは、画像処理装置５に予め入力される。以後、撮
像した画像信号について、距離Δｄが求められ、これと
補正量−距離の数表またはグラフとの比例から、補正量
Δｔが割り出される（比較過程）。Then, the distance Δd thus obtained is determined by the microscope 2
Corresponds to the correction amount Δt required to adjust the focus state to. FIG. 4 shows a table of the correction amount-distance as a graph. As you can see from this graph, the distance is
It is directly proportional to the correction amount. The data of these correlations are input into the image processing device 5 in advance. After that, the distance Δd is obtained for the picked-up image signal, and the correction amount Δt is calculated from the proportionality between the distance Δd and the correction amount-distance table or graph (comparison process).

そこで、画像処理装置５は、上記補正量Δｔをインタ
ーフエース８を通じ、合焦操作部６に合焦のための操作
量として送り込む。Therefore, the image processing apparatus 5 sends the correction amount Δt through the interface 8 to the focusing operation unit 6 as an operation amount for focusing.

合焦操作部６は、光学系の倍率を考慮しながら、補正
量Δｔを必要な回転角度または回転量を変換し、回転角
度または回転量を指令値として、ステッピングモータな
どを駆動することによって、合焦機構2bを合焦方向に駆
動していく（調整過程）。The focusing operation unit 6 converts the correction amount Δt into a necessary rotation angle or a rotation amount in consideration of the magnification of the optical system, and drives the stepping motor or the like by using the rotation angle or the rotation amount as a command value. The focusing mechanism 2b is driven in the focusing direction (adjustment process).

このような過程を経て、顕微鏡２の光学系は、観測対
象の試料７に対し合焦状態となる。この合焦状態の後
に、画像処理装置５は、試料７のギヤップの寸法測定な
どの必要なプログラムを実行していく。このときの寸法
測定は、例えば実願昭61−088339号の装置によって行わ
れる。Through such a process, the optical system of the microscope 2 is in focus on the sample 7 to be observed. After this focused state, the image processing apparatus 5 executes a necessary program such as measuring the dimension of the gearup of the sample 7. The dimension measurement at this time is performed, for example, by the device of Japanese Utility Model Application No. 61-088339.

発明の他の実施例 上記実施例では、輝度変化の相関値として距離Δｔが
用いられている。しかし、この相関値は、それに限定さ
れず、例えば距離−輝度の特性グラフの傾きすなわち第
５図に示すように、傾きａ＝９（輝度レベルの変化Δ
ｖ）／（距離の変化量Δｄ）によって与えることもでき
る。この場合、合焦状態でないときには、傾きａの値が
合焦時に比較して、小さくなっている。したがって、必
要な補正量Δｔは、第６図に示すように、傾きａに対し
反比例のグラフから求められる。なお、実際の観測で
は、距離の変化量Δｄ、または輝度の変化量Δｖのいず
れか一方を定数として設定することによって、他方の変
化量の測定が省略される。Other Embodiments of the Invention In the above embodiment, the distance Δt is used as the correlation value of the luminance change. However, this correlation value is not limited thereto, and for example, the slope of the distance-luminance characteristic graph, that is, the slope a = 9 (change in the brightness level Δ, as shown in FIG.
v) / (distance change amount Δd). In this case, when not in focus, the value of the inclination a is smaller than that in focus. Therefore, the required correction amount Δt is obtained from a graph that is inversely proportional to the slope a, as shown in FIG. In actual observation, by setting either one of the distance change amount Δd or the luminance change amount Δv as a constant, the measurement of the other change amount is omitted.

発明の変形例 上記実施例は、合焦対象の光学系を顕微鏡２としてい
るが、合焦対象は、これに限らず、例えば撮像カメラで
あってもよい。また、上記実施例では、輝度特性の横軸
として、距離が用いられているが、これは、フレームメ
モリ上のドット数であってももちろんよい。また、上記
実施例では、合焦のための補正が一度だけ行われること
を予定して説明されているが、このような合焦操作は、
必要に応じて、数回繰り返して、より正確な合焦状態を
得るようにしてもよい。Modified Example of the Invention In the above-described embodiments, the optical system to be focused is the microscope 2, but the focused object is not limited to this, and may be, for example, an imaging camera. Further, in the above-described embodiment, the distance is used as the horizontal axis of the luminance characteristic, but it may be the number of dots on the frame memory. Further, in the above-described embodiment, it is explained that the correction for focusing is performed only once. However, such focusing operation is
If necessary, it may be repeated several times to obtain a more accurate focused state.

発明の効果 本発明では、輝度特性の変化に対する相関値として、
距離または傾きが観測された後、この観測に基づいて予
め入力されている補正量の特性から、必要な補正量が一
義的に決定されるため、合焦状態が高速でしかも確実に
行われる。またこのような自動焦点合わせ方法のプログ
ラムが画像処理に必要な基礎的な処理操作を含んでいる
ため、焦点合わせのプログラムが複雑にならず、またこ
のプログラムの処理もその後の画像処理に利用できるた
め、画像処理分野での焦点合わせ方法として有益であ
る。Advantageous Effects of Invention In the present invention, as a correlation value with respect to a change in luminance characteristics,
After the distance or the inclination is observed, the necessary correction amount is uniquely determined from the characteristics of the correction amount that is input in advance based on this observation, so that the focused state can be achieved at high speed and reliably. Further, since the program of such an automatic focusing method includes the basic processing operations necessary for image processing, the focusing program does not become complicated, and the processing of this program can be used for the subsequent image processing. Therefore, it is useful as a focusing method in the image processing field.

【図面の簡単な説明】[Brief description of drawings]

第１図は測定装置のブロック線図、第２図は本発明の自
動焦点合わせ方法のフローチャート図、第３図は試料の
拡大像に対する距離−輝度の特性のグラフ、第４図は補
正量−距離の特性のグラフ、第５図は距離−輝度の特性
のグラフ、第６図は補正量−傾きのグラフである。 １……測定装置、２……顕微鏡、2b……合焦機構、３…
…撮像カメラ、４……画像メモリ、５……画像処理装
置、６……合焦操作部、７……試料。FIG. 1 is a block diagram of a measuring device, FIG. 2 is a flow chart of the automatic focusing method of the present invention, FIG. 3 is a graph of distance-luminance characteristics with respect to an enlarged image of a sample, and FIG. A distance characteristic graph, FIG. 5 is a distance-luminance characteristic graph, and FIG. 6 is a correction amount-inclination graph. 1 ... Measuring device, 2 ... Microscope, 2b ... Focusing mechanism, 3 ...
... Imaging camera, 4 ... Image memory, 5 ... Image processing device, 6 ... Focus operation unit, 7 ... Sample.

Claims (3)

【特許請求の範囲】[Claims] 【請求項１】観測対象の試料の光学像を走査して画素ご
とに明度に比例する電気量を画像信号に変換する撮像過
程と、上記画像信号を１フレームとして記憶する記憶過
程と、上記画像信号から上記試料の輪郭部分での輝度変
化とこの輝度変化に対する走査方向の距離との相関値を
検出する演算過程と、この相関値に基づいて予め設定さ
れた補正量−相関値の特性から、上記相関値に対応する
補正量を割り出す比較過程と、その補正量に基づいて上
記試料と光学系との相対的な距離を補正する調整過程と
からなることを特徴とする自動焦点合わせ方法。1. An imaging process of scanning an optical image of a sample to be observed to convert an electric quantity proportional to lightness for each pixel into an image signal, a storage process of storing the image signal as one frame, and the image. From a signal, the calculation process of detecting the correlation value of the luminance change in the contour portion of the sample and the distance in the scanning direction for this luminance change, and the correction amount preset based on this correlation value-the characteristic of the correlation value, An automatic focusing method, comprising: a comparison process for determining a correction amount corresponding to the correlation value; and an adjustment process for correcting the relative distance between the sample and the optical system based on the correction amount. 【請求項２】相関値を輝度レベル幅に対する走査方向の
距離として求めることを特徴とする特許請求の範囲第１
項記載の自動焦点合わせ方法。2. A correlation value is obtained as a distance in the scanning direction with respect to a brightness level width.
The automatic focusing method described in the item. 【請求項３】相関値を輝度変化曲線の傾きとして求める
ことを特徴とする特許請求の範囲第１項記載の自動焦点
合わせ方法。3. The automatic focusing method according to claim 1, wherein the correlation value is obtained as the slope of the brightness change curve.