JPH09196621A - Focal plane detection method and image input/output device - Google Patents
Focal plane detection method and image input/output deviceInfo
- Publication number
- JPH09196621A JPH09196621A JP651496A JP651496A JPH09196621A JP H09196621 A JPH09196621 A JP H09196621A JP 651496 A JP651496 A JP 651496A JP 651496 A JP651496 A JP 651496A JP H09196621 A JPH09196621 A JP H09196621A
- Authority
- JP
- Japan
- Prior art keywords
- image
- contrast
- axis direction
- optical axis
- curve
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、光学顕微鏡から取
り込まれた観察画像を加算して焦点深度の深い画像を生
成する画像機器において、標本の加算すべき複数の合焦
面を検出するための合焦面検出方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an imaging device for adding observation images captured from an optical microscope to generate an image with a deep depth of focus, for detecting a plurality of focal planes to be added of a sample. The present invention relates to a focusing surface detection method.
【０００２】[0002]
【従来の技術】一般に、解像度にすぐれ、かつ、明るさ
の大きな画像を光学的に取り込むためには、画像を形成
する結像光学系に開口の大きな光学素子を用いる必要が
ある。ところが、レンズに代表される結像用光学素子
は、一般に開口が大きくなるのに応じて焦点深度が浅く
なる傾向にある。しかるに、顕微鏡、カメラ、内視鏡等
の画像機器の分野では、得られた画像が解像度や明るさ
に優れていることが望ましいのは勿論のこと、同時に焦
点深度の深い画像であることが強く望まれる。2. Description of the Related Art Generally, in order to optically capture an image having high resolution and high brightness, it is necessary to use an optical element having a large aperture in an image forming optical system for forming an image. However, the imaging optical element represented by a lens generally tends to have a shallow depth of focus as the aperture increases. However, in the field of image devices such as microscopes, cameras, and endoscopes, it is of course desirable that the obtained image be excellent in resolution and brightness, and at the same time, it is strongly that the image has a deep depth of focus. desired.
【０００３】たとえば、光学顕微鏡による標本検査観察
においては、半導体ウエハのパターン、凹凸のある生物
標本、液晶パネル等、段差のある標本検査では、従来の
焦点深度の浅いままの画像では観察画像にぼけ画像が混
在して検査過程に支障をきたす可能性がある。特に、半
導体ウエハのパターン検査工程では、簡単な操作により
ぼけの少ない焦点深度を拡大した画像を得ることが強く
望まれる。For example, in specimen inspection and observation with an optical microscope, in a specimen inspection with semiconductor wafer patterns, uneven biological specimens, liquid crystal panels, and the like, a conventional image with a shallow depth of focus is blurred in the observed image. There is a possibility that images may be mixed and interfere with the inspection process. In particular, in a pattern inspection process of a semiconductor wafer, it is strongly desired to obtain an image with a small depth of focus and an enlarged focal depth by a simple operation.
【０００４】従来は、合焦位置の異なる複数の画像を加
算し、この加算画像にフーリエ変換等の適当な回復処理
を施すことにより、解像度や明るさを損なうこと無く、
焦点深度の深い画像を再生していた。具体的には、被写
体をプリスキャンして画像を取り込み、その画像から被
写体の合焦面の数、及び位置を検出し、その中から必要
とする合焦面のみを選択して加算し、この加算画像に回
復処理を加えることにより処理画像を得ている。Conventionally, a plurality of images having different in-focus positions are added, and an appropriate restoration process such as Fourier transform is applied to the added image to thereby maintain the resolution and the brightness.
I was playing an image with a deep depth of focus. Specifically, the subject is pre-scanned to capture an image, the number and the position of the subject's focusing planes are detected from the image, and only the required focusing planes are selected and added. The processed image is obtained by adding the restoration process to the added image.
【０００５】特開平５−２９６７６５号に、複数の合焦
面の検出方法が開示されている。この検出方法によれ
ば、撮影した画像からコントラストを検出し、このコン
トラスト検出を被写体を移動しながら撮影した画像に対
して行い、各合焦方向位置（Ｚ位置）に対するコントラ
ストカーブを求める。このコントラストカーブに対して
フーリエ変換を行うことによりノイズとなる低周波成分
を除去する。さらに、逆フーリエ変換することにより得
られたコントラストカーブからピークを検出し、ピーク
位置を合焦面と判断する。図１０は、以上の処理によっ
て得られたコントラストカーブの具体例を示している。
ピークａ，ｂ，ｃに対応したｚa ，ｚb ，ｚc が合焦位
置となる。Japanese Patent Laid-Open No. 5-296765 discloses a method for detecting a plurality of in-focus planes. According to this detection method, the contrast is detected from the photographed image, this contrast detection is performed on the image photographed while moving the subject, and the contrast curve for each focusing direction position (Z position) is obtained. By performing a Fourier transform on this contrast curve, low-frequency components that become noise are removed. Further, the peak is detected from the contrast curve obtained by the inverse Fourier transform, and the peak position is determined to be the in-focus surface. FIG. 10 shows a specific example of the contrast curve obtained by the above processing.
Peak a, b, z a corresponding to c, z b, is z c becomes focus position.
【０００６】上記した合焦面検出方法では、各合焦位置
の合焦情報として画像のコントラストカーブを検出し、
この検出したコントラストカーブのピーク値から加算す
べき必要な合焦面を選択している。この合焦面検出方法
は、合焦画像とぼけ画像の差に違いが見えるような被写
体、特にぼけ画像の中にコントラストのはっきりとした
部分がなかったり、又はその逆の被写体に対しては有効
であり、最終的に加算し回復処理することにより良好な
処理画像が得られる。In the above-mentioned focusing surface detection method, the contrast curve of the image is detected as the focusing information of each focusing position,
The necessary focusing surface to be added is selected from the detected peak value of the contrast curve. This in-focus surface detection method is effective for an object in which the difference between the in-focus image and the blurred image can be seen, especially for an object in which there is no clear contrast in the blurred image, or vice versa. Yes, a good processed image can be obtained by finally adding and performing recovery processing.
【０００７】ところが、顕微鏡で観察するような試料で
は、上述したようなコントラストカーブから各合焦面に
おいてコントラストのピーク値が現れるとは限らない。
画像全体の面積に対して合焦領域が小さくなるような試
料では、合焦面でのコントラスト値が極めて小さいの
で、図１１に示すように全体的にブロードなコントラス
ト特性のカーブとなってしまう。このようなコントラス
トカーブではピーク値がはっきりせずコントラストのピ
ーク値による合焦面選択法が適用できない。However, in a sample observed with a microscope, the peak value of the contrast does not always appear on each in-focus surface from the above-mentioned contrast curve.
In a sample in which the in-focus area is smaller than the area of the entire image, the contrast value on the in-focus surface is extremely small, so that the curve has a broad contrast characteristic as shown in FIG. With such a contrast curve, the peak value is not clear and the focusing surface selection method based on the peak value of the contrast cannot be applied.
【０００８】図１１に示すようなブロードなコントラス
ト特性の被写体の場合は、上述した合焦面選択法が適用
できないので、図１２に示すように焦点深度に等しい間
隔で画像（ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ）を加算
し、必要な合焦情報を持つ画像を形成している。In the case of a subject having a broad contrast characteristic as shown in FIG. 11, the above-described focusing plane selection method cannot be applied, and therefore, as shown in FIG. 12, images (a, b, c) are formed at intervals equal to the depth of focus. , D, e, f, g, h) are added to form an image having necessary focus information.
【０００９】[0009]
【発明が解決しようとする課題】しかしながら、図１０
に示すコントラストカーブのピーク値から必要な合焦面
を選択して加算することにより焦点深度の深い画像を取
得する方法は、図１１に示すようなピーク値を判断でき
ないコントラスト特性を示す被写体の場合には合焦面ま
たは合焦範囲を選択できない場合があり、処理画像の情
報に欠陥が生じる可能性がある。However, as shown in FIG.
The method of acquiring an image with a deep depth of focus by selecting and adding the necessary focusing planes from the peak values of the contrast curve shown in FIG. In some cases, it may not be possible to select the in-focus surface or the in-focus range, and the information of the processed image may be defective.
【００１０】また、図１２に示すように適当な間隔で画
像を加算することにより焦点深度の深い画像を取得する
方法は、どの面を選択しても合焦情報に漏れがなく、処
理画像として観察できる利点はあるが、図１０に示すコ
ントラストカーブを持った試料の場合には、画質を劣化
させるコントラストの低い画像まで加算する可能性があ
る。Further, as shown in FIG. 12, in the method of acquiring an image having a deep depth of focus by adding images at appropriate intervals, no matter which surface is selected, the focus information has no omission, and a processed image is obtained. Although there is an advantage of being observable, in the case of a sample having a contrast curve shown in FIG. 10, there is a possibility that even a low-contrast image that deteriorates the image quality may be added.
【００１１】本発明は、以上のような実情に鑑みてなさ
れたもので、どのような凹凸の試料であっても加算すべ
き適切な合焦面を検出することができ、合焦範囲でぼけ
のない画像を取りこぼすこと無く順次入力加算でき、良
好な観察画像を得ることのできる合焦面検出方法を提供
することを目的とする。The present invention has been made in view of the above circumstances, and it is possible to detect an appropriate focusing surface to be added to a sample having any unevenness, and it is possible to blur in the focusing range. It is an object of the present invention to provide a focusing surface detection method capable of sequentially inputting and adding an image without a dropout and obtaining a good observation image.
【００１２】[0012]
【課題を解決するための手段】本発明は、上記目的を達
成するために以下のような手段を講じた。請求項１に対
応する本発明は、観察像を標本の光軸方向の複数位置に
焦点を合わせて取込み、この取込まれた複数枚の画像の
コントラストデータに基づいて前記標本の光軸方向のコ
ントラストカーブを求め、この光軸方向のコントラスト
カーブからしきい値を越えるピーク位置及び前記しきい
値を越える複数位置を合焦面として選択する。In order to achieve the above object, the present invention takes the following measures. The present invention corresponding to claim 1 captures an observation image by focusing on a plurality of positions in the optical axis direction of the sample, and based on the contrast data of the plurality of captured images, the observation image in the optical axis direction of the sample is acquired. A contrast curve is obtained, and a peak position exceeding the threshold value and a plurality of positions exceeding the threshold value are selected from the contrast curve in the optical axis direction as the focusing surface.
【００１３】請求項２に対応する本発明は、結像光学系
を通過した観察像を標本の光軸方向の複数位置に焦点を
合わせて取込む工程と、この取込まれた複数枚の画像に
ついてＸ軸方向及びＹ軸方向のコントラスト値の変化を
示すＸラインコントラストカーブ及びＹラインコントラ
ストカーブをそれぞれ求める工程と、前記Ｘラインコン
トラストカーブをＹ軸方向に連続する複数のＸラインに
ついて加算することによりＸライン代表カーブを求め、
前記ＹラインコントラストカーブをＸ軸方向に連続する
複数のＹラインについて加算することによりＹライン代
表カーブを求める工程と、前記複数枚の画像について求
めた前記Ｘライン代表カーブを加算してＸライン代表コ
ントラスト値を求め、前記複数枚の画像について求めた
前記Ｙライン代表カーブを加算してＹライン代表コント
ラスト値を求める工程と、Ｘライン代表コントラスト値
とＹライン代表コントラスト値とを比較して、光軸方向
の各位置において大きい方の値を選択して前記標本の光
軸方向のコントラストカーブを求める工程と、前記光軸
方向のコントラストカーブから予め設定したしきい値を
越えるピーク位置を検出して該ピーク位置を合焦面とし
て選択し、前記コントラストカーブが前記しきい値を下
回るまで前記ピーク位置を起点として前記光軸方向の前
後に前記結像光学系の焦点深度だけ繰り返し移動して移
動後の各点を合焦面として選択する工程とを備える。According to a second aspect of the present invention, a step of capturing an observation image that has passed through the imaging optical system while focusing on a plurality of positions in the optical axis direction of the sample, and the plurality of captured images. For obtaining the X-line contrast curve and the Y-line contrast curve indicating the change in the contrast value in the X-axis direction and the Y-axis direction, and adding the X-line contrast curve for a plurality of X-lines continuous in the Y-axis direction. X curve representative curve is calculated by
A step of obtaining a Y-line representative curve by adding the Y-line contrast curve for a plurality of Y-lines continuous in the X-axis direction; and an addition of the X-line representative curves obtained for the plurality of images to obtain an X-line representative curve. The contrast value is calculated, the Y line representative curve obtained for the plurality of images is added to obtain the Y line representative contrast value, and the X line representative contrast value and the Y line representative contrast value are compared, A step of obtaining a contrast curve in the optical axis direction of the sample by selecting a larger value at each position in the axial direction, and detecting a peak position exceeding a preset threshold value from the contrast curve in the optical axis direction. The peak position is selected as the in-focus surface, and the peak is set until the contrast curve falls below the threshold value. Position and a step of selecting each point after the movement direction of the optical axis of the repetition by the focal depth of the imaging optical system back and forth movement to the starting point as a focal plane.
【００１４】請求項１又は請求項２に対応する本発明に
よれば、どのような凹凸の試料であっても加算すべき適
切な合焦面を検出することができる。According to the present invention corresponding to claim 1 or claim 2, it is possible to detect an appropriate focusing surface to be added, regardless of the sample having any unevenness.
【００１５】請求項３に対応する本発明は、光学機器か
ら取込まれた画像及び加算画像を記憶する画像メモリ
と、前記光学機器から取込まれた画像を前記画像メモリ
から読み出された画像又は加算画像に加算して再び前記
画像メモリに記憶する画像加算手段と、前記画像加算手
段から読出した加算画像に対して回復処理を加える画像
処理手段と、前記画像処理手段で回復処理した加算画像
を表示する表示手段と、前記光学機器に光軸方向の画像
取込み位置を指示する駆動制御手段と、前記駆動制御手
段に設定する光軸方向の画像取込み位置を検出する合焦
面検出手段とを備えた画像入出力装置である。合焦面検
出手段は、前記光学機器を制御して標本の光軸方向の複
数位置に焦点を合わせて観察像を取込む工程と、この取
込まれた複数枚の画像のコントラストデータに基づいて
前記標本の光軸方向のコントラストカーブを求める工程
と、この光軸方向のコントラストカーブからしきい値を
越えるピーク位置及び前記しきい値を越える複数位置を
合焦面として選択する工程と、合焦面として検出した光
軸方向の各位置を画像取込み位置として駆動制御手段に
設定する工程とからなる前処理を実行する機能を備え
る。According to a third aspect of the present invention, an image memory for storing an image and an added image captured from an optical device, and an image read from the image memory for an image captured from the optical device. Alternatively, image addition means for adding to the added image and storing again in the image memory, image processing means for performing restoration processing on the added image read from the image addition means, and added image restored by the image processing means A display means for displaying, a drive control means for instructing the optical device of an image capture position in the optical axis direction, and a focusing surface detection means for detecting the image capture position in the optical axis direction set in the drive control means. An image input / output device provided. Focusing surface detection means, based on the contrast data of the captured plurality of images, the step of controlling the optical device to focus on a plurality of positions in the optical axis direction of the sample to capture an observation image Obtaining a contrast curve in the optical axis direction of the sample; selecting a peak position exceeding a threshold value and a plurality of positions exceeding the threshold value from the contrast curve in the optical axis direction as a focusing surface; It has a function of executing a pre-process including a step of setting each position in the optical axis direction detected as a surface as an image capturing position in the drive control means.
【００１６】本発明の画像入出力装置によれば、どのよ
うな凹凸の試料であっても加算すべき適切な合焦面を検
出することができるので、合焦範囲でぼけのない画像を
取りこぼすこと無く順次入力加算でき、良好な観察画像
を得ることができる。According to the image input / output device of the present invention, it is possible to detect an appropriate in-focus surface to be added regardless of the unevenness of the sample, so that an image without blurring can be obtained in the in-focus range. It is possible to sequentially input and add without spilling and obtain a good observation image.
【００１７】[0017]
【発明の実施の形態】以下、本発明の実施の形態につい
て説明する。図１に本発明の実施の形態を示す。同図に
示す光学顕微鏡１は、搭載した標本を互いに直交する３
軸方向となるＸ，Ｙ，Ｚ方向へ移動可能なステージ２を
備える。顕微鏡本体には、ステージ２上の標本を照明す
るための照明装置２が取り付けられると共に、対物レン
ズ４から取り込まれる標本像を撮影するためのＴＶカメ
ラ５が装備されている。ＴＶカメラ５から送出される映
像信号は画像入出力部６に入力する。BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described below. FIG. 1 shows an embodiment of the present invention. The optical microscope 1 shown in FIG.
The stage 2 is provided which is movable in the X, Y and Z directions which are the axial directions. An illumination device 2 for illuminating the sample on the stage 2 is attached to the microscope main body, and a TV camera 5 for capturing a sample image taken from the objective lens 4 is equipped. The video signal sent from the TV camera 5 is input to the image input / output unit 6.
【００１８】画像入出力部６は、試料の合焦面検出、顕
微鏡画像の加算及び回復処理を行う部分である。ＴＶカ
メラ５から画像入出力部６へ入力する映像信号をＡ／Ｄ
コンバータ７でアナログ／デジタル変換して演算加算器
８に入力する。演算加算器８の出力段に第１の画像メモ
リ９が接続される。第１の画像メモリ９から読み出した
画像データを演算加算器８に与えてＡ／Ｄコンバータ７
から出力された画像データに加算するようにしている。The image input / output unit 6 is a unit for detecting the in-focus surface of the sample, adding the microscope image, and performing the recovery process. The video signal input from the TV camera 5 to the image input / output unit 6 is A / D
The converter 7 performs analog / digital conversion and inputs it to the arithmetic adder 8. The first image memory 9 is connected to the output stage of the arithmetic adder 8. The image data read out from the first image memory 9 is given to the arithmetic adder 8 to be supplied to the A / D converter 7
The image data output from is added.
【００１９】また、第１の画像メモリ９の出力段に加算
画像の回復処理を行う空間フィルタ１１が設けられ、空
間フィルタ１１の出力段に第２の画像メモリ１２が接続
されている。第１及び第２の画像メモリ９，１２のリー
ド／ライト及び同期制御を記憶制御部１３がコントロー
ルする。演算加算器８から第２の画像メモリ１２の間の
画像処理部及びステージ駆動部１７を含む駆動制御部全
体をＣＰＵ１４がコントロールする。The output stage of the first image memory 9 is provided with a spatial filter 11 for performing restoration processing of the added image, and the output stage of the spatial filter 11 is connected to the second image memory 12. The storage controller 13 controls read / write and synchronization control of the first and second image memories 9 and 12. The CPU 14 controls the entire drive control unit including the image processing unit and the stage drive unit 17 between the arithmetic adder 8 and the second image memory 12.
【００２０】第２の画像メモリ１２から読出した画像デ
ータはＤ／Ａコンバータ１５でデジタル／アナログ変換
して表示部１６に表示できるようにしている。また、ス
テージ２のＸ，Ｙ，Ｚ方向の移動はステージ駆動部１７
によって行われる。ＣＰＵ１４は、ステージ駆動部１７
に移動方向と移動距離相当のパルス信号を与えて移動距
離及び移動方向を制御する。The image data read from the second image memory 12 is digital / analog converted by the D / A converter 15 so that it can be displayed on the display unit 16. The movement of the stage 2 in the X, Y, and Z directions is performed by the stage drive unit 17
Done by The CPU 14 uses the stage drive unit 17
A pulse signal corresponding to the moving direction and the moving distance is given to the controller to control the moving distance and the moving direction.
【００２１】以上のように構成された実施の形態の具体
的な動作内容について説明する。図７に、加算すべき複
数の画像を選択するために観察標本の凹凸に対応した複
数の合焦面位置を検出する前処理に関するフローチャー
トを示す。前処理では、オペレータがステージ２の移動
方向（アプローチ方向）と移動距離を指示するパルス数
とをＣＰＵ１４に対して入力する。ＣＰＵ１４は、ステ
ージ駆動部１７に光軸方向のアプローチのスタート基準
位置１へ測定画像位置が移動するようにステージ２を駆
動する指令を与える。図２はステージ２のアプローチ方
向を示している。Specific operation contents of the embodiment configured as described above will be described. FIG. 7 shows a flowchart regarding preprocessing for detecting a plurality of in-focus plane positions corresponding to the unevenness of the observation sample in order to select a plurality of images to be added. In the preprocessing, the operator inputs the moving direction (approach direction) of the stage 2 and the number of pulses instructing the moving distance to the CPU 14. The CPU 14 gives a command to the stage drive unit 17 to drive the stage 2 so that the measurement image position moves to the start reference position 1 of the approach in the optical axis direction. FIG. 2 shows the approach direction of the stage 2.
【００２２】ＣＰＵ１４が、ステージ駆動部１７に対し
て上記入力条件に基づいたパルスモータ駆動用パルスを
与えてステージ２をスタート基準位置１からアプローチ
方向に向けて所定間隔で移動する。ＣＰＵ１４は、ステ
ージ２が目的の位置に来たら１枚ずつ観察標本の画像デ
ータを取り込み内部メモリに保存する。The CPU 14 gives a pulse for driving a pulse motor to the stage drive unit 17 based on the above input conditions to move the stage 2 from the start reference position 1 toward the approach direction at a predetermined interval. When the stage 2 reaches the target position, the CPU 14 takes in the image data of the observation specimen one by one and stores it in the internal memory.
【００２３】次に、ＣＰＵ１４が画像データを使用して
コントラスト計算を実行する。図８はコントラスト計算
の詳細を示すフローチャートである。ＣＰＵ１４は、光
軸方向の各位置で取り込んで画像から最初に取り込んだ
画像データをメモリより読み出し、その輝度画像データ
からＸ軸方向，Ｙ軸方向について隣接する画素間の輝度
差の２乗値を計算し、それぞれＸ軸方向，Ｙ軸方向のコ
ントラスト値とする。この計算を２次元平面のＸ軸，Ｙ
軸方向の縦横各ラインについて実行し、それぞれのコン
トラストの変化カーブを求める。図３は、解析対象とな
る輝度画像データ、及び上記した計算にて求めたコント
ラストの変化カーブを示している。Ｘ軸，Ｙ軸方向それ
ぞれの各ラインｙj ，Ｘj におけるコントラスト値ＣＸ
11，ＣＹ11は、次のように表せる。Next, the CPU 14 executes the contrast calculation using the image data. FIG. 8 is a flowchart showing details of contrast calculation. The CPU 14 reads from the memory the image data first captured from the image captured at each position in the optical axis direction, and from the luminance image data, obtains the squared value of the luminance difference between adjacent pixels in the X-axis direction and the Y-axis direction. The calculated contrast values are used as the contrast values in the X-axis direction and the Y-axis direction, respectively. This calculation is performed on the X-axis of the two-dimensional plane, Y
This is executed for each of the vertical and horizontal lines in the axial direction, and the change curve of each contrast is obtained. FIG. 3 shows the luminance image data to be analyzed and the contrast change curve obtained by the above calculation. Contrast value CX in each line y j , X j in the X-axis and Y-axis directions
11 and CY 11 can be expressed as follows.
【００２４】ＣＸ11（ｘi ，ｙj ）＝（（Ｄ（ｘi ，ｙ
j ）−Ｄ（ｘi+1 ，ｙj ））2 ＣＸ11（ｘj ，ｙi ）＝（（Ｄ（ｘj ，ｙi ）−Ｄ（ｘ
j ，ｙi+1 ））2 ここで、ｘi ，ｙi は画像の位置座標で、Ｄ（ｘi ，ｙ
i ）はその位置での画像データである。ＣＰＵ１４で、
コントラスト値ＣＸ11，ＣＹ11を計算することにより、
Ｘ軸，Ｙ軸方向それぞれの各ラインのコントラスト変化
カーブを求めることができる。CX 11 (x i , y j ) = ((D (x i , y
j ) -D (x i + 1 , y j )) 2 CX 11 (x j , y i ) = ((D (x j , y i ) -D (x
j , y i + 1 )) 2 where x i , y i are position coordinates of the image, and D (x i , y
i ) is the image data at that position. With the CPU 14,
By calculating the contrast values CX 11 and CY 11 ,
The contrast change curve of each line in the X-axis and Y-axis directions can be obtained.
【００２５】さらに、ＣＰＵ１４において、Ｘ軸，Ｙ軸
方向の各ラインのコントラスト変化カーブを、Ｘ軸，Ｙ
軸方向の同方向毎に加算して、Ｘ軸，Ｙ軸方向のそれぞ
れの代表カーブＣＸ12，ＣＹ12を求める。図４は、Ｘ
軸，Ｙ軸方向のそれぞれのラインの代表カーブＣＸ12，
ＣＹ12の具体例を示している。Ｘ，Ｙ軸方向のラインの
代表カーブＣＸ12，ＣＹ12は、次のように表せる。Further, in the CPU 14, the contrast change curve of each line in the X-axis and Y-axis directions is changed to the X-axis and Y-axis.
The respective representative curves CX 12 and CY 12 in the X-axis and Y-axis directions are obtained by adding up in each of the same directions in the axial direction. Figure 4 shows X
Representative curves CX 12 of the respective lines in the axis and Y-axis directions,
A specific example of CY 12 is shown. The representative curves CX 12 and CY 12 of the lines in the X and Y axis directions can be expressed as follows.
【００２６】[0026]
【数１】 [Equation 1]
【００２７】ここで、ｘj ，ｙj はコントラスト変化カ
ーブの座標位置である。Here, x j and y j are coordinate positions of the contrast change curve.
【００２８】以上の処理により１枚の画像についてＸ，
Ｙ軸方向のラインの代表カーブＣＸ12，ＣＹ12が求めら
れたならば、次に光軸方向の位置で取り込んだ画像デー
タをメモリから読出し、その輝度画像データを使用して
上記同様の計算によって該２枚目の画像についてのＸ，
Ｙ軸方向の代表カーブＣＸ12，ＣＹ12を求める。以下、
同様にして、先に取り込んだ全ての画像についてＸ，Ｙ
軸方向の代表カーブＣＸ12，ＣＹ12を求める。By the above processing, X,
When the representative curves CX 12 and CY 12 of the line in the Y-axis direction are obtained, the image data captured at the position in the optical axis direction is read out from the memory, and the luminance image data is used to perform the same calculation as above. X for the second image,
Representative curves CX 12 and CY 12 in the Y-axis direction are obtained. Less than,
Similarly, for all the previously captured images, X, Y
Axial representative curves CX 12 and CY 12 are obtained.
【００２９】次に、ＣＰＵ１４でＸ，Ｙ軸方向の代表カ
ーブＣＸ12，ＣＹ12をＸ，Ｙ軸方向毎に加算し、当該標
本画像でのＸ，Ｙ成分の画像のコントラストの代表値Ｃ
Ｘ1（ｚ），ＣＹ1 （ｚ）とする。図５（ａ）（ｂ）
は、ある標本でのＸ，Ｙ成分の画像のコントラストの代
表値ＣＸ，ＣＹの具体例を示している。Next, the CPU 14 adds the representative curves CX 12 and CY 12 in the X and Y axis directions for each of the X and Y axis directions, and the representative value C of the contrast of the image of the X and Y components in the sample image.
Let X 1 (z) and CY 1 (z). FIGS. 5A and 5B
Shows a concrete example of the representative values CX and CY of the contrast of the image of X and Y components in a certain sample.
【００３０】Ｘ，Ｙ成分の画像のコントラストの代表値
ＣＸ1 （ｚ），ＣＹ1 （ｚ）は、次のように表せる。The representative values CX 1 (z) and CY 1 (z) of the image contrast of the X and Y components can be expressed as follows.
【００３１】[0031]
【数２】 [Equation 2]
【００３２】次に、上記ＣＸ1 （ｚ），ＣＹ1 （ｚ）を
用いて、光軸方向の各位置においてＸ軸方向、Ｙ軸方向
のどちらのコントラスト値ＣＸ1 （ｚ），ＣＹ1 （ｚ）
が大きいかを判断し、大きい方のコントラスト値から代
表コントラスト値Ｃ（ｚ）のコントラスカーブＣ（ｚ）
を作成する。Next, using the above CX 1 (z) and CY 1 (z), the contrast values CX 1 (z) and CY 1 (in the X-axis direction and the Y-axis direction at each position in the optical axis direction, respectively. z)
Is determined, and the contrast curve C (z) of the representative contrast value C (z) is calculated from the larger contrast value.
Create
【００３３】[0033]
【数３】 (Equation 3)
【００３４】以上の処理によって光軸方向に対する画像
のコントラストカーブＣ（ｚ）が求まる。図５（ｃ）
は、このようにして求めたコントラストカーブＣ（ｚ）
の具体例を示している。By the above processing, the contrast curve C (z) of the image in the optical axis direction is obtained. FIG. 5 (c)
Is the contrast curve C (z) obtained in this way
Is shown.
【００３５】以上のようなコントラストカーブＣ（ｚ）
の計算が完了したら、次に合焦面の検出を行う。The contrast curve C (z) as described above
When the calculation of is completed, the focus surface is detected next.
【００３６】なお、図５（ｃ）に示すコントラストカー
ブＣ（ｚ）では波形が複雑であるので、説明を分かり易
くするために図６に示す波形のコントラストカーブＣ
（ｚ）が絵得られたものとして以下の説明を行う。Since the waveform of the contrast curve C (z) shown in FIG. 5 (c) is complicated, the contrast curve C of the waveform shown in FIG. 6 is shown in order to make the explanation easy to understand.
The following description will be given assuming that (z) is obtained as a picture.
【００３７】図６に示すように、求められたコントラス
トカーブＣ（ｚ）に対して、予め設定したしきい値を越
えるピーク位置（ａ，ｄ）を求める。As shown in FIG. 6, a peak position (a, d) exceeding a preset threshold value is obtained for the obtained contrast curve C (z).
【００３８】次に、コントラストカーブＣ（ｚ）がしき
い値を越える範囲が、しきい値ラインと交差する点を求
め、各ピーク位置（ａ，ｄ）から前後の交差点までの長
さ（ｌａ1 ，ｌａ2 ，ｌｄ1 ，ｌｄ2 ）を求める。Next, a point where the range where the contrast curve C (z) exceeds the threshold value intersects the threshold line is obtained, and the length (la1 from the peak position (a, d) to the front and rear intersections is calculated. , La2, ld1, ld2) are obtained.
【００３９】ピーク位置ａについてみれば、ピーク位置
ａからコントラストカーブＣ（ｚ）がしきい値ラインと
交差する点までの距離（ｌａ1 ，ｌａ2 ）は顕微鏡の焦
点深度（１ｆ）の長さを越えていない。このように顕微
鏡の焦点深度を越えない場合は、そのピーク位置ａのみ
を合焦面として採用する。As for the peak position a, the distance (la1, la2) from the peak position a to the point where the contrast curve C (z) intersects the threshold line exceeds the depth of focus (1f) of the microscope. Not not. In this way, when the depth of focus of the microscope is not exceeded, only the peak position a is adopted as the focusing surface.
【００４０】一方、ピーク位置ｄについてみれば、ピー
ク位置ｄからコントラストカーブＣ（ｚ）がしきい値ラ
インと交差する点までの距離（ｌｄ1 ，ｌｄ2 ）は顕微
鏡の焦点深度（１ｆ）の長さを越えている。このように
顕微鏡の焦点深度を越える場合は、ピーク位置ｄを中心
として前後に焦点深度の長さ（１ｆ）だけ移動した位置
（ｃ，ｅ）のコントラスト値をしきい値と比較する。こ
の位置でのコントラスト値がしきい値を越えている場合
には、新たに位置ｃ，ｅも入力加算に用いる合焦面位置
として採用する。この新たに加えた位置ｃ，ｅの各々に
ついて、さらにその前後へ焦点深度の幅だけ移動し、コ
ントラスト値がしきい値を越えるかどうかを求める。移
動後の位置でコントラスト値がしきい値を越えなくなる
まで、各移動後の位置を入力加算用の合焦面位置として
加えていく。図６に示す例であれば、位置Ｚa 〜Ｚe が
入力加算用の合焦面位置として検出されたことになる。On the other hand, regarding the peak position d, the distance (ld1, ld2) from the peak position d to the point where the contrast curve C (z) intersects the threshold line is the length of the depth of focus (1f) of the microscope. Is over. In this way, when the depth of focus of the microscope is exceeded, the contrast value at the position (c, e) moved back and forth about the peak position d by the length (1f) of the depth of focus is compared with the threshold value. If the contrast value at this position exceeds the threshold value, the positions c and e are newly adopted as the focusing surface position used for input addition. With respect to each of the newly added positions c and e, the position is further moved forward and backward by the width of the depth of focus to determine whether the contrast value exceeds the threshold value. The position after each movement is added as a focus surface position for input addition until the contrast value at the position after movement does not exceed the threshold value. In the example shown in FIG. 6, so that the position Z a to Z e is detected as a focus plane position for input adder.
【００４１】ここで、しきい値の決め方は、プリスキャ
ンを行って求めたコントラストカーブから、（コントラ
スト最大値−コントラスト最小値）を求め、この値に係
数を掛けることによって決定することができる。又は、
入力加算用に用いるメモリ容量が限定されている場合
は、そのメモリ容量から物理的に入力可能な画像取り込
み枚数を求め、コントラストカーブにしきい値を設定す
る際に、コントラスト値がしきい値を越え、合焦面とし
て検出される画面数が入力加算可能な枚数になるよう
に、しきい値を決めることもできる。Here, how to determine the threshold value can be determined by obtaining (contrast maximum value-contrast minimum value) from the contrast curve obtained by performing the prescan and multiplying this value by a coefficient. Or
If the memory capacity used for input addition is limited, calculate the number of images that can be physically input from that memory capacity, and set the threshold value on the contrast curve when the contrast value exceeds the threshold value. The threshold value can be determined so that the number of screens detected as the in-focus surface is the number that can be input and added.
【００４２】次に、以上の前処理により求められた合焦
面位置（Ｚa 〜Ｚe ）に応じたパルス数をＣＰＵ１４か
らステージ駆動部１７に設定する。ステージ駆動部１７
がＣＰＵ１４から設定されたパルス数だけステージ２を
駆動することにより最初の合焦面位置（Ｚa ）に移動す
る。この位置Ｚa で対物レンズ４から取り込まれてＴＶ
カメラ５の撮像面上に結像された標本像が映像信号に変
換され画像入出力部６へ送出される。Next, the CPU 14 sets the number of pulses corresponding to the in-focus surface positions (Z a to Z e ) obtained by the above pre-processing in the stage drive unit 17. Stage drive unit 17
Drives the stage 2 by the number of pulses set by the CPU 14 to move to the first focus surface position (Z a ). At this position Z a, it is taken in from the objective lens 4 and the TV
The sample image formed on the imaging surface of the camera 5 is converted into a video signal and sent to the image input / output unit 6.
【００４３】画像入出力部６では、位置Ｚa で撮像され
た標本の映像信号がＡ／Ｄコンバータ７で所定周期のク
ロック信号に同期してＡ／Ｄ変換し、演算加算器８を通
過して第１の画像メモリ９に記憶される。In the image input / output unit 6, the video signal of the sample imaged at the position Z a is A / D-converted by the A / D converter 7 in synchronism with the clock signal of a predetermined cycle, and passes through the arithmetic adder 8. And is stored in the first image memory 9.
【００４４】同様にして、ＣＰＵ１４からパルス数の設
定されたステージ駆動部１７がステージ２を順次合焦面
位置（Ｚb 〜Ｚe ）へ移動して、各位置で画像が取り込
まれて画像入出力部６へ送られる。画像入出力部６で
は、位置Ｚb の画像データが入って来た時には、第１の
画像メモリ９から読出した位置Ｚa の画像データが演算
加算器８に入力しているようにタイミングが制御され、
演算加算器８で位置Ｚaの画像データと位置Ｚb の画像
データとが加算される。この加算画像は第１の画像メモ
リ９に記憶され、位置Ｚc の画像データが演算加算器８
に入力したと時に（Ｚa ＋Ｚb ）の加算画像が演算加算
器８に入力しているようにタイミングが制御される。最
終的に、（Ｚa 〜Ｚe ）の全画像を加算した加算画像を
空間フィルタ１１へ入力する。なお、第１の画像メモリ
９に対する画像の記憶及び読出しのタイミング制御は記
憶制御部１３によってコントロールされている。In the same manner, the stage driving unit 17 in which the number of pulses is set by the CPU 14 sequentially moves the stage 2 to the in-focus position (Z b to Z e ) and the image is captured at each position. It is sent to the output unit 6. In the image input / output unit 6, when the image data at the position Z b comes in, the timing is controlled so that the image data at the position Z a read from the first image memory 9 is input to the arithmetic adder 8. Is
The arithmetic adder 8 adds the image data at the position Z a and the image data at the position Z b . This added image is stored in the first image memory 9, and the image data at position Z c is calculated by the adder 8
When it is input to, the timing is controlled so that the added image of (Z a + Z b ) is input to the arithmetic adder 8 at some time. Finally, the added image obtained by adding all the images of (Z a to Z e ) is input to the spatial filter 11. The storage control unit 13 controls the timing control of image storage and readout with respect to the first image memory 9.
【００４５】第１の画像メモリ９から加算後の標本画像
データが入力した空間フィルタ１１では、加算画像に対
して周波数成分の高いエッジ部などを強調して加算後の
ぼけ部分を除いて焦点の合った画像のみを復元する回復
処理を行う。このようにして回復処理の行なわれた画像
データを第２の画像メモリ１２に記憶する。そして、第
２の画像メモリ１２から回復処理を施した画像データを
読出し、Ｄ／Ａコンバータ１５でデジタル／アナログ変
換して表示部１６に処理した標本画像を表示させる。In the spatial filter 11 to which the sample image data after the addition is input from the first image memory 9, the edge portion having a high frequency component is emphasized in the added image and the blurred portion after the addition is removed to obtain the focus. Performs recovery processing to restore only the matched image. The image data thus restored is stored in the second image memory 12. Then, the restored image data is read from the second image memory 12, the D / A converter 15 performs digital / analog conversion, and the processed sample image is displayed on the display unit 16.
【００４６】このような実施の形態によれば、被写体を
光軸方向の複数位置で撮像した複数枚の画像からＸ，Ｙ
軸方向の代表カーブＣＸ12，ＣＹ12を求め、これら代表
カーブＣＸ12，ＣＹ12を画像間でＸ，Ｙ軸方向毎に加算
してコントラストの代表値ＣＸ1 （ｚ），ＣＹ1 （ｚ）
を求め、このコントラストの代表値ＣＸ1 （ｚ），ＣＹ
1 （ｚ）から代表コントラスト値Ｃ（ｚ）のコントラス
カーブＣ（ｚ）を作成し、このコントラスカーブＣ
（ｚ）にしきい値を設定して、ピーク位置からしきい値
ラインと交差する点までの距離が焦点深度を越えるま
で、ピーク位置を中心として前後に焦点深度の長さ（１
ｆ）だけ移動した位置を合焦面位置として検出するよう
にしたので、コントラスト値がピーク値を持つ標本、ま
たはブロードな特性を持つ標本であっても、画像加算に
使用すべき合焦面を検出することができ、位置を焦点深
度範囲内で注目する合焦範囲でぼけのない画像を取りこ
ぼすことなく順次入力加算でき、回復処理を行うことで
最終的に良好な観察画像が得られる。According to such an embodiment, X, Y can be obtained from a plurality of images obtained by photographing a subject at a plurality of positions in the optical axis direction.
The representative curves CX 12 and CY 12 in the axial direction are obtained, and the representative curves CX 12 and CY 12 are added for each X and Y axis direction between images to add representative values of contrast CX 1 (z) and CY 1 (z).
And the representative value of this contrast CX 1 (z), CY
A contrast curve C (z) having a representative contrast value C (z) is created from 1 (z), and the contrast curve C (z) is generated.
A threshold value is set in (z), and the depth of focus (1) before and after the peak position is centered until the distance from the peak position to the point intersecting the threshold line exceeds the depth of focus.
Since the position moved by f) is detected as the in-focus surface position, even if the sample has a peak contrast value or a sample with broad characteristics, the in-focus surface to be used for image addition is determined. The detected images can be sequentially input and added in the focusing range of interest within the focus depth range without any blurring, and a good observation image can be finally obtained by performing the recovery process.
【００４７】なお、上記説明ではステージ駆動部１７に
よるステージ２の移動はステップ状の駆動であったが、
一定速度で移動する直線駆動にしても良い。例えばＮＴ
ＳＣ方式による画像入力を行う場合、画像入力時間とな
る撮像素子の１フレーム蓄積時間が約１／３０秒であ
る。パルスモータの移動速度が高速直線駆動に対応でき
るのであれば、１フレーム蓄積時間内に所望の合焦面の
画像データを入力できるように駆動する。つまり、入力
する合焦面が対物レンズの特性から導かれる光軸方向の
標本焦点深度内を移動している間に画像入力が完了する
ような一定速度で駆動する。この条件を満たすように駆
動速度を決定して設定する。また、画像取り込み位置情
報は前処理により算出した合焦面の位置データを基に画
像取り込みタイミングを発生させる。In the above description, the movement of the stage 2 by the stage drive unit 17 is a stepwise drive.
A linear drive that moves at a constant speed may be used. For example, NT
In the case of performing image input by the SC method, one frame accumulation time of the image pickup device, which is the image input time, is about 1/30 second. If the moving speed of the pulse motor can support high-speed linear drive, the pulse motor is driven so that image data of a desired focusing surface can be input within one frame accumulation time. That is, driving is performed at a constant speed such that image input is completed while the input focusing surface moves within the sample focal depth in the optical axis direction guided by the characteristics of the objective lens. The driving speed is determined and set so as to satisfy this condition. In addition, the image capture position information generates image capture timing based on the position data of the focusing surface calculated by the preprocessing.
【００４８】また、以上の説明では標本の合焦制御にパ
ルスモータステージ駆動部１７を使用しているが、対物
レンズ４を保持しているレボルバーを昇降させることに
より、又はテレビカメラ５に標本像を結像させる結像レ
ンズを光軸方向に駆動させることにより、検出した各合
焦面へ合焦制御しても良い。また、駆動部の駆動源にパ
ルスモータではなく、電磁モータ、超音波モータ、ピエ
ゾ素子を用いることもできる。さらに、テレビカメラ５
の方式は、ＰＡＬ、ＳＥＣＡＭの信号方式のものを使用
したり、より高帯域の映像を撮像できるハイビジョン方
式のものを使用することもできる。Although the pulse motor stage drive unit 17 is used for focusing control of the sample in the above description, the revolver holding the objective lens 4 is moved up and down, or the TV camera 5 displays the sample image. Focusing control may be performed on each of the detected focusing planes by driving an imaging lens for forming an image in the optical axis direction. Further, instead of the pulse motor, an electromagnetic motor, an ultrasonic motor, or a piezo element can be used as the driving source of the driving unit. Furthermore, TV camera 5
As the method, a PAL or SECAM signal method or a high-definition method capable of capturing an image in a higher band can be used.
【００４９】また、カラー画像を表示する場合は、図９
に示すようにテレビカメラ５の出力段にデコーダを設
け、デコーダの出力段に画像処理部６−１〜６−３を併
設する。各画像処理部６−１〜６−３は図１に示す画像
処理部６と同一構成であるものとする。In the case of displaying a color image, FIG.
As shown in FIG. 5, a decoder is provided at the output stage of the television camera 5, and the image processing units 6-1 to 6-3 are provided at the output stage of the decoder. Each of the image processing units 6-1 to 6-3 has the same configuration as the image processing unit 6 shown in FIG.
【００５０】この様な構成において、テレビカメラ５か
ら出力される映像のコンポジット信号をデコーダでＲ，
Ｇ，Ｂの信号成分に分離し、Ｒ，Ｇ，Ｂの成分別に画像
処理部６−１〜６−３へ入力して上記実施の形態と同様
の処理を行うようにする。なお、合焦面の検出はいずれ
か一つの画像処理部にて代表して行っても良いし、又は
標本によって注目する色成分に対して合焦面検出、画像
加算を行ってもよい。本発明は上記実施の形態に限定さ
れるものではなく、本発明の要旨を逸脱しない範囲内で
種々変形実施可能である。In such a configuration, the decoder outputs the composite signal of the video output from the television camera 5 to R,
The signal components of G and B are separated and input to the image processing units 6-1 to 6-3 for each of the R, G, and B components, and the same processing as in the above-described embodiment is performed. It should be noted that any one of the image processing units may representatively detect the in-focus surface, or in-focus surface detection and image addition may be performed on the color component of interest for each sample. The present invention is not limited to the above embodiment, and various modifications can be made without departing from the spirit of the present invention.
【００５１】[0051]
【発明の効果】以上詳記したように本発明によれば、ど
のような凹凸の試料であっても加算すべき適切な合焦面
を検出することができ、合焦範囲でぼけのない画像を取
りこぼすこと無く順次入力加算でき、良好な観察画像を
得ることのできる合焦面検出方法を提供できる。As described in detail above, according to the present invention, it is possible to detect an appropriate focusing surface to be added regardless of the unevenness of the sample, and to obtain an image without blurring in the focusing range. It is possible to provide a focusing surface detection method capable of sequentially inputting and adding without missing, and obtaining a good observation image.
【図１】本発明の実施の形態に係る顕微鏡及び画像処理
部の構成を示す図である。FIG. 1 is a diagram showing a configuration of a microscope and an image processing unit according to an embodiment of the present invention.
【図２】ステージのアプローチ方向を示す図である。FIG. 2 is a diagram showing an approach direction of a stage.
【図３】入力画像のＸ軸、Ｙ軸方向の１ラインの輝度デ
ータを示す図である。FIG. 3 is a diagram showing luminance data of one line in the X-axis and Y-axis directions of an input image.
【図４】ある画像のＸ軸、Ｙ軸方向のコントラストカー
ブを示す図である。FIG. 4 is a diagram showing a contrast curve of an image in the X-axis and Y-axis directions.
【図５】全画像のコントラストカーブをＸ軸、Ｙ軸方向
毎に加算したコントラストカーブを示す図、及び代表コ
ントラストカーブを示す図である。FIG. 5 is a diagram showing a contrast curve in which contrast curves of all images are added for each of the X-axis and Y-axis directions, and a diagram showing a representative contrast curve.
【図６】合焦面検出原理を説明するための代表コントラ
ストカーブを示す図である。FIG. 6 is a diagram showing a representative contrast curve for explaining the principle of focusing surface detection.
【図７】本実施の形態における合焦面検出動作を示すフ
ローチャートである。FIG. 7 is a flowchart showing an in-focus plane detecting operation in the present embodiment.
【図８】コントラストＣ（ｚ）の計算の詳細を示すフロ
ーチャートである。FIG. 8 is a flowchart showing details of calculation of contrast C (z).
【図９】カラー画像に拡張した実施の形態の構成図であ
る。FIG. 9 is a configuration diagram of an embodiment extended to a color image.
【図１０】ピークの現れるコントラストカーブを示す図
である。FIG. 10 is a diagram showing a contrast curve in which a peak appears.
【図１１】ブロードなコントラストカーブを示す図であ
る。FIG. 11 is a diagram showing a broad contrast curve.
【図１２】ブロードなコントラストカーブを持つ標本の
加算画像位置を示す図である。FIG. 12 is a diagram showing added image positions of a sample having a broad contrast curve.
１…光学顕微鏡 ２…ステージ ３…照明装置 ４…対物レンズ ５…テレビカメラ ６…画像入出力部 ７…Ａ／Ｄコンバータ ８…演算加算器 ９…第１の画像メモリ １１…空間フィルタ １２…第２の画像メモリ １３…記憶制御部 １４…ＣＰＵ １５…Ｄ／Ａコンバータ １６…表示部。 DESCRIPTION OF SYMBOLS 1 ... Optical microscope 2 ... Stage 3 ... Illumination device 4 ... Objective lens 5 ... Television camera 6 ... Image input / output part 7 ... A / D converter 8 ... Arithmetic adder 9 ... 1st image memory 11 ... Spatial filter 12 ... 2 image memory 13 ... storage control unit 14 ... CPU 15 ... D / A converter 16 ... display unit.
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０３Ｂ 13/36 Ｇ０２Ｂ 7/11 Ｈ Ｈ０１Ｌ 21/66 Ｇ０３Ｂ 3/00 Ａ ─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 6 Identification code Internal reference number FI Technical display location G03B 13/36 G02B 7/11 H H01L 21/66 G03B 3/00 A
Claims (3)
点を合わせて取込み、この取込まれた複数枚の画像のコ
ントラストデータに基づいて前記標本の光軸方向のコン
トラストカーブを求め、この光軸方向のコントラストカ
ーブからしきい値を越えるピーク位置及び前記しきい値
を越える複数位置を合焦面として選択することを特徴と
する合焦面検出方法。1. An observation image is captured by focusing on a plurality of positions in the optical axis direction of a sample, and a contrast curve in the optical axis direction of the sample is obtained based on the contrast data of the plurality of captured images. From this contrast curve in the optical axis direction, a focus surface detecting method is characterized in that a peak position exceeding a threshold value and a plurality of positions exceeding the threshold value are selected as a focus surface.
軸方向の複数位置に焦点を合わせて取込む工程と、 この取込まれた複数枚の画像についてＸ軸方向及びＹ軸
方向のコントラスト値の変化を示すＸラインコントラス
トカーブ及びＹラインコントラストカーブをそれぞれ求
める工程と、 前記ＸラインコントラストカーブをＹ軸方向に連続する
複数のＸラインについて加算することによりＸライン代
表カーブを求め、前記ＹラインコントラストカーブをＸ
軸方向に連続する複数のＹラインについて加算すること
によりＹライン代表カーブを求める工程と、 前記複数枚の画像について求めた前記Ｘライン代表カー
ブを加算してＸライン代表コントラスト値を求め、前記
複数枚の画像について求めた前記Ｙライン代表カーブを
加算してＹライン代表コントラスト値を求める工程と、 Ｘライン代表コントラスト値とＹライン代表コントラス
ト値とを比較して、光軸方向の各位置において大きい方
の値を選択して前記標本の光軸方向のコントラストカー
ブを求める工程と、 前記光軸方向のコントラストカーブから予め設定したし
きい値を越えるピーク位置を検出して該ピーク位置を合
焦面として選択し、前記コントラストカーブが前記しき
い値を下回るまで前記ピーク位置を起点として前記光軸
方向の前後に前記結像光学系の焦点深度だけ繰り返し移
動して移動後の各点を合焦面として選択する工程とを具
備したことを特徴とする合焦面検出方法。2. A step of capturing an observation image that has passed through an imaging optical system while focusing on a plurality of positions in the optical axis direction of a sample, and the plurality of captured images in the X-axis direction and the Y-axis direction. To obtain an X-line contrast curve and a Y-line contrast curve showing the change in the contrast value, and an X-line representative curve is obtained by adding the X-line contrast curve to a plurality of X-lines continuous in the Y-axis direction, The Y line contrast curve is set to X
A step of obtaining a Y line representative curve by adding a plurality of Y lines continuous in the axial direction; and a step of obtaining the X line representative contrast value by adding the X line representative curves obtained for the plurality of images. A step of adding the Y-line representative curves obtained for one image to obtain a Y-line representative contrast value, and comparing the X-line representative contrast value and the Y-line representative contrast value, which are larger at each position in the optical axis direction. Selecting one of the two values to obtain a contrast curve in the optical axis direction of the sample, and detecting a peak position exceeding a preset threshold value from the contrast curve in the optical axis direction to determine the peak position as a focusing surface. As the starting point of the optical axis direction from the peak position until the contrast curve falls below the threshold value. The imaging focus plane detection method characterized by each point after movement focal depth by repeating movement to the optical system; and a step of selecting as the focus plane after.
像を記憶する画像メモリと、前記光学機器から取込まれ
た画像を前記画像メモリから読み出された画像又は加算
画像に加算して再び前記画像メモリに記憶する画像加算
手段と、前記画像加算手段から読出した加算画像に対し
て回復処理を加える画像処理手段と、前記画像処理手段
で回復処理した加算画像を表示する表示手段と、前記光
学機器に光軸方向の画像取込み位置を指示する駆動制御
手段と、前記駆動制御手段に設定する光軸方向の画像取
込み位置を検出する合焦面検出手段とを備えた画像入出
力装置であり、 前記合焦面検出手段は、 前記光学機器を制御して標本の光軸方向の複数位置に焦
点を合わせて観察像を取込む工程と、 この取込まれた複数枚の画像のコントラストデータに基
づいて前記標本の光軸方向のコントラストカーブを求め
る工程と、 この光軸方向のコントラストカーブからしきい値を越え
るピーク位置及び前記しきい値を越える複数位置を合焦
面として選択する工程と、 合焦面として検出した光軸方向の各位置を画像取込み位
置として駆動制御手段に設定する工程とからなる前処理
を実行することを特徴とする画像入出力装置。3. An image memory for storing an image captured from an optical device and an additive image, and an image captured from the optical device is added to an image read out from the image memory or an additive image and again. An image adding unit for storing the image in the image memory; an image processing unit for applying a restoration process to the added image read from the image adding unit; a display unit for displaying the added image restored by the image processing unit; An image input / output device comprising: drive control means for instructing an optical device to pick up an image capture position in the optical axis direction; and focusing surface detection means for detecting the image capture position in the optical axis direction set in the drive control means. The focusing surface detecting means controls the optical device to focus on a plurality of positions in the optical axis direction of the sample to capture an observation image, and contrast data of the captured plurality of images. A step of obtaining a contrast curve in the optical axis direction of the sample based on the above, and a step of selecting a peak position exceeding a threshold value and a plurality of positions exceeding the threshold value from the contrast curve in the optical axis direction as a focusing surface. An image input / output device, which comprises performing a pre-process including a step of setting each position in the optical axis direction detected as a focusing surface as an image capture position in the drive control means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP651496A JP3794744B2 (en) | 1996-01-18 | 1996-01-18 | Focusing surface detection method, image input / output device, and optical microscope |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP651496A JP3794744B2 (en) | 1996-01-18 | 1996-01-18 | Focusing surface detection method, image input / output device, and optical microscope |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09196621A true JPH09196621A (en) | 1997-07-31 |
| JP3794744B2 JP3794744B2 (en) | 2006-07-12 |
Family
ID=11640525
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP651496A Expired - Fee Related JP3794744B2 (en) | 1996-01-18 | 1996-01-18 | Focusing surface detection method, image input / output device, and optical microscope |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3794744B2 (en) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004062167A (en) * | 2002-06-03 | 2004-02-26 | Olympus Corp | Image processor |
| JP2004294100A (en) * | 2003-03-25 | 2004-10-21 | Toshiba Corp | Pattern measuring device, pattern measuring method, and manufacturing method of semiconductor device |
| JP2004361581A (en) * | 2003-06-03 | 2004-12-24 | Olympus Corp | Method and device of automatic focus |
| JP2005518570A (en) * | 2002-02-22 | 2005-06-23 | バクス リサーチ ラボラトリーズ インコーポレイテッド | Focusable virtual microscope apparatus and method |
| JP2006201283A (en) * | 2005-01-18 | 2006-08-03 | Nikon Corp | Digital camera |
| WO2007145196A1 (en) * | 2006-06-16 | 2007-12-21 | Sanyo Electric Co., Ltd. | Culture monitoring system |
| JP2013054133A (en) * | 2011-09-01 | 2013-03-21 | Olympus Corp | Microscope device and focusing method for microscope device |
| JP2013131862A (en) * | 2011-12-20 | 2013-07-04 | Olympus Corp | Image processing system and microscope system including the same |
| JP2013257187A (en) * | 2012-06-11 | 2013-12-26 | Ricoh Co Ltd | Movement information detection device and multicolor image forming device |
| JP2014013368A (en) * | 2012-06-07 | 2014-01-23 | Canon Inc | Imaging apparatus and control method thereof |
| JP2015108837A (en) * | 2015-01-07 | 2015-06-11 | キヤノン株式会社 | Image processing apparatus and image processing method |
| US9332190B2 (en) | 2011-12-02 | 2016-05-03 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| US9942534B2 (en) | 2011-12-20 | 2018-04-10 | Olympus Corporation | Image processing system and microscope system including the same |
-
1996
- 1996-01-18 JP JP651496A patent/JP3794744B2/en not_active Expired - Fee Related
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005518570A (en) * | 2002-02-22 | 2005-06-23 | バクス リサーチ ラボラトリーズ インコーポレイテッド | Focusable virtual microscope apparatus and method |
| US8306300B2 (en) | 2002-02-22 | 2012-11-06 | Olympus America Inc. | Focusable virtual microscopy apparatus and method |
| JP2009075618A (en) * | 2002-02-22 | 2009-04-09 | Bacus Lab Inc | Method for forming and using virtual microscope slide |
| JP2009104163A (en) * | 2002-02-22 | 2009-05-14 | Bacus Lab Inc | Virtual microscope slide data structure |
| JP2009104161A (en) * | 2002-02-22 | 2009-05-14 | Bacus Lab Inc | Method and apparatus for forming virtual microscope slide |
| JP2009104162A (en) * | 2002-02-22 | 2009-05-14 | Bacus Lab Inc | Method for using virtual microscope slide |
| JP2004062167A (en) * | 2002-06-03 | 2004-02-26 | Olympus Corp | Image processor |
| JP4522668B2 (en) * | 2002-06-03 | 2010-08-11 | オリンパス株式会社 | Image processing device |
| JP2004294100A (en) * | 2003-03-25 | 2004-10-21 | Toshiba Corp | Pattern measuring device, pattern measuring method, and manufacturing method of semiconductor device |
| JP2004361581A (en) * | 2003-06-03 | 2004-12-24 | Olympus Corp | Method and device of automatic focus |
| JP4674472B2 (en) * | 2005-01-18 | 2011-04-20 | 株式会社ニコン | Digital camera |
| JP2006201283A (en) * | 2005-01-18 | 2006-08-03 | Nikon Corp | Digital camera |
| WO2007145196A1 (en) * | 2006-06-16 | 2007-12-21 | Sanyo Electric Co., Ltd. | Culture monitoring system |
| JP2007334141A (en) * | 2006-06-16 | 2007-12-27 | Sanyo Electric Co Ltd | Culture observation system |
| JP2013054133A (en) * | 2011-09-01 | 2013-03-21 | Olympus Corp | Microscope device and focusing method for microscope device |
| US9332190B2 (en) | 2011-12-02 | 2016-05-03 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| JP2013131862A (en) * | 2011-12-20 | 2013-07-04 | Olympus Corp | Image processing system and microscope system including the same |
| US9942534B2 (en) | 2011-12-20 | 2018-04-10 | Olympus Corporation | Image processing system and microscope system including the same |
| JP2014013368A (en) * | 2012-06-07 | 2014-01-23 | Canon Inc | Imaging apparatus and control method thereof |
| JP2013257187A (en) * | 2012-06-11 | 2013-12-26 | Ricoh Co Ltd | Movement information detection device and multicolor image forming device |
| JP2015108837A (en) * | 2015-01-07 | 2015-06-11 | キヤノン株式会社 | Image processing apparatus and image processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3794744B2 (en) | 2006-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20040131348A1 (en) | Real-time omnifocus microscope camera | |
| CN112415733B (en) | Method, system, device and medium for controlling microscope to shoot sample image | |
| JP3794744B2 (en) | Focusing surface detection method, image input / output device, and optical microscope | |
| JPS6398615A (en) | Automatic focus adjusting method | |
| JP2004101871A (en) | Photographing apparatus for microscope image | |
| JP2002277756A (en) | Electronic endoscope instrument with variable power function | |
| US20150241686A1 (en) | Imaging device, microscope system, and imaging method | |
| CN112505910B (en) | Method, system, apparatus and medium for taking image of specimen with microscope | |
| JP2016125913A (en) | Image acquisition device and control method of image acquisition device | |
| JP3403875B2 (en) | Three-dimensional measurement method and display method, and three-dimensional measurement device | |
| JP4158750B2 (en) | Autofocus control method, autofocus control device, and image processing device | |
| JP2006284965A (en) | Microscope device and enlarged image generating method | |
| JPH05313068A (en) | Image input device | |
| CN112461853B (en) | Automatic focusing method and system | |
| JPH1048512A (en) | Autofocusing device | |
| JP2006145793A (en) | Microscopic image pickup system | |
| JP2007060520A (en) | Imaging apparatus | |
| JP4146916B2 (en) | Image input device | |
| JPH1132251A (en) | Image-processing unit | |
| JPH11287618A (en) | Image processing device | |
| US20130016192A1 (en) | Image processing device and image display system | |
| JP3043034B2 (en) | Image input / output device | |
| JP6424523B2 (en) | Imaging device | |
| JPH08317273A (en) | Image input/output device | |
| JPH10111445A (en) | Automatic focusing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040621 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040706 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040901 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050419 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050617 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060404 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060411 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090421 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100421 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110421 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120421 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130421 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140421 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |