JP2006126374A - Image display method, program, and scanning confocal microscope - Google Patents
Image display method, program, and scanning confocal microscope Download PDFInfo
- Publication number
- JP2006126374A JP2006126374A JP2004312991A JP2004312991A JP2006126374A JP 2006126374 A JP2006126374 A JP 2006126374A JP 2004312991 A JP2004312991 A JP 2004312991A JP 2004312991 A JP2004312991 A JP 2004312991A JP 2006126374 A JP2006126374 A JP 2006126374A
- Authority
- JP
- Japan
- Prior art keywords
- sample
- image
- information
- luminance
- sample surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Microscoopes, Condenser (AREA)
Abstract
Description
本発明は、走査型共焦点顕微鏡の技術に関し、特に、試料の三次元画像を表示可能にした走査型共焦点顕微鏡における当該画像の表示の技術に関する。 The present invention relates to a technique of a scanning confocal microscope, and more particularly to a technique of displaying the image in a scanning confocal microscope that can display a three-dimensional image of a sample.
走査型共焦点顕微鏡は、点光源を用いて試料面を走査したときの試料面からの反射光のうち、ピンホールを通過した光のみを光検出器により電気信号に変換して試料面の情報を得るようにしたものであり、試料と対物レンズとのうちのどちらか一方を光軸方向に移動させつつ試料面の情報を順次取得することにより、試料面の三次元情報を得ることができる。 A scanning confocal microscope uses a point light source to scan the sample surface. Of the reflected light from the sample surface, only the light that has passed through the pinhole is converted into an electrical signal by the photodetector, and the information on the sample surface is obtained. The three-dimensional information on the sample surface can be obtained by sequentially acquiring the information on the sample surface while moving either the sample or the objective lens in the optical axis direction. .
このような三次元情報を観察者に対して認識しやすい三次元画像として表示する方法として、例えば特許文献1には、輝度情報に応じて割り当てられた三次元表示時の色情報を高さ情報に対して設定して三次元表示画像として表示する技術が開示されている。
ところが、このようにして表示させた三次元画像には、例えば試料形状の斜面などの部分において検出時の反射光量が少なかった場合にノイズが現れることがあり、そのままでは試料表面の情報が認識し難いという問題がある。 However, in the three-dimensional image displayed in this way, noise may appear when the amount of reflected light at the time of detection is small, for example, on the slope of the sample shape, and the information on the sample surface is recognized as it is. There is a problem that it is difficult.
従来は、このようなノイズを含む画像に対して綺麗にノイズを除去しようとするには、観察者が個別の画像処理を組み合わせて実行する必要があった。更には、この最適な画像処理の種類やその組み合わせは試料形状によって異なるため、所望の結果を得るために、観察者は煩雑な操作を強いられていた。 Conventionally, it has been necessary for an observer to combine and execute individual image processing in order to cleanly remove noise from an image including such noise. Furthermore, since the optimum type and combination of image processing differ depending on the sample shape, the observer is forced to perform a complicated operation in order to obtain a desired result.
本発明は上述した問題に鑑みてなされたものであり、その解決しようとする課題は、簡易な操作で認識の容易な三次元画像を提供できるようにすることである。 The present invention has been made in view of the above-described problems, and a problem to be solved is to provide a three-dimensional image that can be easily recognized by a simple operation.
本発明の態様のひとつである画像表示方法は、少なくとも試料と対物レンズのうちのいずれか一方を光軸方向に移動させると共に、当該対物レンズを介してスポット光を当該試料へ照射しながら当該スポット光を当該試料の試料面で走査させたときに受光される当該試料面からの反射光に基づいて、当該試料の画像を生成する走査型共焦点顕微鏡における当該画像の表示方法であって、当該試料と当該対物レンズとの相対移動を繰り返しながら得た複数のスライス像を構成する画素であって当該スライス像における当該画素の位置を示す座標が同一のもののうち、輝度が最大であるものについての当該輝度を示す情報の検出を行い、当該最大の輝度が得られたときの当該試料と当該対物レンズとの間の距離に基づいて当該試料面の高さ情報の検出を行い、当該検出された当該高さ情報に対し、当該試料面の形状に応じて選択される画像処理を施し、当該画像処理が施された後の当該高さ情報と当該検出がされた輝度情報とに基づいて当該試料についての三次元画像を生成して表示部で表示させる、ことを特徴とするものであり、この特徴によって前述した課題を解決する。 An image display method according to one aspect of the present invention includes moving at least one of a sample and an objective lens in the optical axis direction, and irradiating the sample with spot light through the objective lens. A method of displaying the image in a scanning confocal microscope that generates an image of the sample based on reflected light from the sample surface received when light is scanned on the sample surface of the sample, Among pixels constituting a plurality of slice images obtained by repeating relative movement between the sample and the objective lens and having the same coordinates indicating the positions of the pixels in the slice images, those having the maximum luminance The information indicating the brightness is detected, and the height information of the sample surface is calculated based on the distance between the sample and the objective lens when the maximum brightness is obtained. The detected height information is subjected to image processing selected according to the shape of the sample surface, and the height information and the detection after the image processing are performed. Based on the luminance information, a three-dimensional image of the sample is generated and displayed on the display unit. This feature solves the above-described problem.
なお、上述した本発明に係る画像表示方法において、当該試料面の形状を指定するための指定部を表示部に表示させ、当該試料面の形状を指定するための指定部の指示に応じて予め設定された当該試料面の形状に最適な画像処理が選択される、ようにしてもよい。 In the image display method according to the present invention described above, a designation unit for designating the shape of the sample surface is displayed on the display unit, and in advance according to an instruction from the designation unit for designating the shape of the sample surface. Image processing that is optimal for the set shape of the sample surface may be selected.
また、前述した本発明に係る画像表示方法において、当該試料面の形状に応じた選択は予めなされており、当該輝度情報及び当該高さ情報の検出が完了すると当該選択の結果に従って直ちに予め設定された画像処理が続けて開始されるようにしてもよい。 In the image display method according to the present invention described above, the selection according to the shape of the sample surface is made in advance, and when the detection of the luminance information and the height information is completed, the selection is immediately made according to the result of the selection. The image processing may be started continuously.
また、前述した本発明に係る画像表示方法において、当該検出がされた輝度情報に対して輝度強調処理を施し、当該試料の三次元画像の生成では、当該輝度強調処理の施された輝度情報に基づいて当該三次元画像の生成を行う、ようにしてもよい。 Further, in the image display method according to the present invention described above, luminance enhancement processing is performed on the detected luminance information, and in the generation of the three-dimensional image of the sample, the luminance information subjected to the luminance enhancement processing is applied. Based on this, the three-dimensional image may be generated.
なお、上述した本発明に係る画像表示方法をコンピュータに行わせるためのプログラムも、本発明に係るものである。
また、本発明の別の態様のひとつである走査型共焦点顕微鏡は、少なくとも試料と対物レンズのうちのいずれか一方を光軸方向に移動させると共に、当該対物レンズを介してスポット光を当該試料へ照射しながら当該スポット光を当該試料の試料面で走査させたときに受光される当該試料面からの反射光に基づいて、当該試料の画像を生成する走査型共焦点顕微鏡であって、当該試料と当該対物レンズとの相対移動を繰り返しながら得た複数のスライス像を構成する画素であって当該スライス像における当該画素の位置を示す座標が同一のもののうち、輝度が最大であるものについての当該輝度を示す情報を検出する第一検出手段と、当該最大の輝度が得られたときにおける当該試料と当該対物レンズとの間の距離に基づいて当該試料面の高さ情報を検出する第二検出手段と、当該検出された当該高さ情報に対し、当該試料面の形状に応じて選択される画像処理を施す画像処理手段と、当該画像処理が施された後の当該高さ情報と当該検出がされた輝度情報とに基づいて当該試料についての三次元画像を生成して表示部で表示させる三次元画像生成手段と、を有することを特徴とするものであり、この特徴によって前述した課題を解決する。
Note that a program for causing a computer to perform the above-described image display method according to the present invention also relates to the present invention.
In addition, a scanning confocal microscope according to another aspect of the present invention moves at least one of a sample and an objective lens in the optical axis direction, and transmits spot light via the objective lens. A scanning confocal microscope that generates an image of the sample based on reflected light from the sample surface received when the spot light is scanned on the sample surface of the sample while irradiating Among pixels constituting a plurality of slice images obtained by repeating relative movement between the sample and the objective lens and having the same coordinates indicating the positions of the pixels in the slice images, those having the maximum luminance First detection means for detecting information indicating the brightness, and the height of the sample surface based on the distance between the sample and the objective lens when the maximum brightness is obtained. Second detection means for detecting information, image processing means for performing image processing selected according to the shape of the sample surface for the detected height information, and after the image processing has been performed Three-dimensional image generation means for generating a three-dimensional image of the sample based on the height information and the detected luminance information and displaying the three-dimensional image on the display unit, and This feature solves the aforementioned problems.
本発明は、以上のようにすることにより、簡易な操作で認識の容易な三次元画像を提供できるようになるという効果を奏する。 The present invention has an effect that it is possible to provide a three-dimensional image that can be easily recognized by a simple operation.
以下、本発明の実施の形態を図面に基づいて説明する。
図1は本発明を実施する走査型共焦点顕微鏡の構成を示している。
同図に示す走査型共焦点顕微鏡(以下、「本装置」と称する。)において、光源1は、レーザ光などの点光源である。光源1からのスポット光は二次元スキャナ2に導かれる。二次元スキャナ2は、光源1からのスポット光を試料5上で二次元走査させるためのものであり、X軸方向走査用のミラーと、当該X軸に対しての直交方向であるY軸方向走査用のミラーとを備えて構成されている。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 shows the configuration of a scanning confocal microscope embodying the present invention.
In the scanning confocal microscope (hereinafter referred to as “this apparatus”) shown in FIG. 1, the light source 1 is a point light source such as a laser beam. Spot light from the light source 1 is guided to the two-dimensional scanner 2. The two-dimensional scanner 2 is used for two-dimensionally scanning the spot light from the light source 1 on the sample 5, and a mirror for X-axis direction scanning and a Y-axis direction that is orthogonal to the X-axis. And a scanning mirror.
二次元スキャナ2を経たスポット光は、ダイクロイックミラー3で進行方向を変えられた後に対物レンズ4を通り、ステージ6上の試料5に照射され、試料5上を二次元走査される。ステージ6はZ軸方向に移動可能なように構成されており、試料5をスポット光の光軸方向に移動させることができる。なお、ステージ6を固定とし、対物レンズ4側をZ軸方向に対して移動可能としてもよい。 The spot light that has passed through the two-dimensional scanner 2 is changed in the traveling direction by the dichroic mirror 3, passes through the objective lens 4, is irradiated onto the sample 5 on the stage 6, and is scanned two-dimensionally on the sample 5. The stage 6 is configured to be movable in the Z-axis direction, and the sample 5 can be moved in the optical axis direction of the spot light. The stage 6 may be fixed and the objective lens 4 side may be movable with respect to the Z-axis direction.
試料5からの反射光は、対物レンズ4を通してダイクロイックミラー3で二次元スキャナ2へ戻され、二次元スキャナ2を通過し、ピンホール7を通り抜けた後に光検出器8へ導かれる。 Reflected light from the sample 5 is returned to the two-dimensional scanner 2 by the dichroic mirror 3 through the objective lens 4, passes through the two-dimensional scanner 2, passes through the pinhole 7, and is guided to the photodetector 8.
光検出器8は、この反射光をその光量に応じた電気信号に変換する。光検出器8から出力される電気信号は、A/D変換器9でデジタルデータへ変換されてCPUl0に入力される。 The photodetector 8 converts the reflected light into an electrical signal corresponding to the amount of light. The electrical signal output from the photodetector 8 is converted into digital data by the A / D converter 9 and input to the CPU 10.
処理装置20内のCPUl0には、動作制御の対象である、二次元スキャナ2とステージ6とが接続されており、更に、制御処理の作業用記憶領域として使用されるメモリ11と、生成した画像データを一時的に保持させておくフレームメモリ12とが接続されている。また、フレームメモリ12には表示部13が接続されている。 The CPU 10 in the processing device 20 is connected to the two-dimensional scanner 2 and the stage 6 which are the targets of operation control, and further includes a memory 11 used as a work storage area for control processing, and a generated image. A frame memory 12 for temporarily storing data is connected. A display unit 13 is connected to the frame memory 12.
また、CPUl0にはカラーカメラ14も接続されている。カラーカメラ14は、図示しない白色光源からの光を照射した試料5からの反射光を検出することで、試料の色情報を得る。 A color camera 14 is also connected to the CPU 10. The color camera 14 obtains color information of the sample by detecting reflected light from the sample 5 irradiated with light from a white light source (not shown).
CPUl0は、予め用意されている制御プログラムを実行することによって、各種の制御処理、例えば、二次元スキャナ2に対してのレーザ光の走査動作やステージ6のZ軸方向(高さ方向)の走査動作の制御処理、あるいは、光検出器8によって検出される試料4からの反射光量に基づいた、光量最大の画素の輝度情報と当該光量最大時における高さ情報との取得処理、これらの結果に基づいた三次元画像の生成処理など、を行う。 The CPU 10 executes various control processes by executing a control program prepared in advance, for example, scanning operation of the laser beam with respect to the two-dimensional scanner 2 and scanning of the stage 6 in the Z-axis direction (height direction). Operation control processing or acquisition processing of luminance information of a pixel with the maximum light amount and height information at the maximum light amount based on the amount of reflected light from the sample 4 detected by the photodetector 8, Based on the generation process of the three-dimensional image based on it.
メモリ11は、CPUl0によって得られるピーク光量情報や高さ情報などを記憶する一方で、予め光量(輝度)に応じて所定の色を割り当てたカラーテーブルを予め記憶している。 The memory 11 stores in advance a color table in which a predetermined color is assigned according to the light amount (luminance) in advance while storing the peak light amount information and height information obtained by the CPU 10.
表示部13は、CPU10で生成されてフレームメモリ12に保持されている画像データを読み出して、当該画像データで表されている三次元画像を表示する。
なお、処理装置20としては、ごく標準的な構成のコンピュータシステムを利用することができる。なお、対物レンズ4と試料5とのZ軸方向の走査に関して、ステージ6を移動させる方法としたが、対物レンズ4を移動させてもよい。
The display unit 13 reads the image data generated by the CPU 10 and stored in the frame memory 12 and displays a three-dimensional image represented by the image data.
As the processing device 20, a computer system having a very standard configuration can be used. The stage 6 is moved with respect to the scanning of the objective lens 4 and the sample 5 in the Z-axis direction, but the objective lens 4 may be moved.
次に、CPU10が行う各種の制御処理について説明する。なお、これより説明する各種処理に係る制御は、CPU10で所定の制御プログラムを実行させることによって実現される。 Next, various control processes performed by the CPU 10 will be described. The control related to various processes described below is realized by causing the CPU 10 to execute a predetermined control program.
図2は、三次元表示情報設定処理の処理内容を示すフローチャートである。
同図で用いられる変数を説明すると、i及びjはそれぞれ画素のX座標及びY座標(i=1,2,3,…,Ni、j=1,2,3,…,Nj)を表し、kはステージ6の高さ方向の位置(k=1,2,3,…,Nk)を表し、a(i,j,k)はスライス像の各座標に対応する画素毎の光量データを表し、そして、p(i,j)は光量最大の画素の輝度情報を表している。また、h(i,j)は、光量が最大時であるときにおける試料5と対物レンズ4との間の距離情報であり、ここでは光量が最大時であるときにおけるステージ6の高さ方向の位置情報である。
FIG. 2 is a flowchart showing the contents of the 3D display information setting process.
Explaining the variables used in the figure, i and j represent the X and Y coordinates (i = 1, 2, 3,..., Ni, j = 1, 2, 3,..., Nj) of the pixel, respectively. k represents the position in the height direction of the stage 6 (k = 1, 2, 3,..., Nk), and a (i, j, k) represents light amount data for each pixel corresponding to each coordinate of the slice image. P (i, j) represents the luminance information of the pixel with the maximum light amount. Further, h (i, j) is distance information between the sample 5 and the objective lens 4 when the light amount is maximum, and here, the height direction of the stage 6 when the light amount is maximum. Location information.
まず、S201では、初期化の処理が行われる。この処理により、スライス像の光量データa(0,0,0)、光量最大の画素の輝度情報p(0,0)、及び、光量最大時における高さ位置情報h(0,0)の各々に初期値として0が代入される。 First, in S201, an initialization process is performed. By this processing, each of the light amount data a (0, 0, 0) of the slice image, the luminance information p (0, 0) of the pixel with the maximum light amount, and the height position information h (0, 0) at the maximum light amount. 0 is substituted as an initial value.
S202では、現在のステージ6の高さ位置kが最大位置であるかどうかを判定する処理、具体的には、k=Nkであるか否かを判定する処理が行われる。ここで、高さ位置kが最大位置でないと判定されたとき(判定結果がNoのとき)にはS203に処理を進め、高さ位置kが最大位置であると判定されたとき(判定結果がYesのとき)にはS207に処理を進める。 In S202, processing for determining whether or not the height position k of the current stage 6 is the maximum position, specifically, processing for determining whether or not k = Nk is performed. Here, when it is determined that the height position k is not the maximum position (when the determination result is No), the process proceeds to S203, and when it is determined that the height position k is the maximum position (the determination result is If yes), the process proceeds to S207.
S203では、当該高さ位置kにおける試料5のスライス像の全画素について、光検出器8より出力される電気信号に対応する光量データa(i,j,k)を取得する処理が行われる。 In S203, a process of acquiring light amount data a (i, j, k) corresponding to the electrical signal output from the photodetector 8 is performed for all the pixels of the slice image of the sample 5 at the height position k.
S204では、当該高さ位置kにおける試料5のスライス像の全画素の光量データa(i,j,k)を、同一座標の画素毎に、これまで光量最大であったときの当該画素の輝度情報p(i,j)と比較し、a(i,j,k)>p(i,j)の成立するものがあるか否かを判定する処理が行われる。ここで、当該不等式が成立するものがあると判定したときにのみ(判定結果がYesのときにのみ)S205に処理を進め、輝度情報p(i,j)をこの最大である光量データa(i,j,k)の内容に更新すると共に、このときのステージ6の高さ位置kを、光量最大時における高さ情報h(i,j)として格納する処理が行われる。 In S204, the light intensity data a (i, j, k) of all the pixels of the slice image of the sample 5 at the height position k is the luminance of the pixel when the light intensity is the maximum for each pixel of the same coordinate. Compared with the information p (i, j), a process is performed to determine whether there is a material that satisfies a (i, j, k)> p (i, j). Here, only when it is determined that the inequality is satisfied (only when the determination result is Yes), the process proceeds to S205, and the luminance information p (i, j) is converted into the maximum light amount data a ( In addition to updating to the contents of i, j, k), a process of storing the height position k of the stage 6 at this time as height information h (i, j) at the maximum light amount is performed.
S206では、ステージ6の高さ位置kを更新、すなわち、kの値をインクリメントする(kの値に1を加算した結果を改めて変数kに代入する)処理が行われ、その後はS202へ処理を戻し、ステージ6の次の高さ位置でのスライス像について、同様な動作を繰り返す。 In S206, the height position k of the stage 6 is updated, that is, the value of k is incremented (the result of adding 1 to the value of k is substituted for the variable k), and then the process proceeds to S202. The same operation is repeated for the slice image at the next height position of the stage 6.
以上の処理は、S202の判定処理においてステージ6の高さ位置kが最大位置と判定されるまで(判定結果がYesとなるまで)繰り返され、この繰り返しにより、取得された複数のスライス像の各々を構成する全ての画素について、光量最大であるときの画素の輝度情報p(i,j)と光量最大時における高さ位置情報h(i,j)とが取得される。 The above process is repeated until the height position k of the stage 6 is determined to be the maximum position in the determination process of S202 (until the determination result is Yes), and each of the plurality of slice images acquired by this repetition. As for all the pixels constituting the pixel, luminance information p (i, j) of the pixel when the light amount is maximum and height position information h (i, j) when the light amount is maximum are acquired.
その後、S202でk=Nkとなり、判定結果がYesとなると、S207に処理が進み、これまでの動作により得られた輝度情報pと高さ位置情報hとに基づいて三次元表示情報を設定する処理が行われる。 After that, if k = Nk in S202 and the determination result is Yes, the process proceeds to S207, and the three-dimensional display information is set based on the luminance information p and the height position information h obtained by the operation so far. Processing is performed.
具体的には、図3に示すように、座標(x,y)に位置する画素について、この画素位置(x,y)での高さ位置情報h(x,y)を取り出し、この高さ位置情報h(x,y)を三次元表示時における高さ情報z(x,y)として設定する。続いて、この画素位置(x,y)での輝度情報p(x,y)を取り出し、予め設定されている三次元表示時の色情報c(x,y,z)を、この情報に基づいて設定する。つまり、p(x,y)に対応する色情報をc(x,y,z)として設定する。ここで、輝度情報pに対応付けて所定の色情報が割り当てられているカラーテーブルがメモリ11に予め用意されており、このテーブルを用いて三次元表示時の色情報c(x,y,z)の設定が行われる。 Specifically, as shown in FIG. 3, for the pixel located at the coordinates (x, y), the height position information h (x, y) at this pixel position (x, y) is extracted, and this height is obtained. Position information h (x, y) is set as height information z (x, y) at the time of three-dimensional display. Subsequently, luminance information p (x, y) at this pixel position (x, y) is taken out, and color information c (x, y, z) at the time of three-dimensional display set in advance is based on this information. To set. That is, the color information corresponding to p (x, y) is set as c (x, y, z). Here, a color table to which predetermined color information is assigned in association with the luminance information p is prepared in advance in the memory 11, and color information c (x, y, z at the time of three-dimensional display is used by using this table. ) Is set.
S208では、S207の処理による三次元表示情報の設定が、画像を構成する全ての画素について行われたか否かを判定する処理が行われ、全ての画素で設定を行ったと判定したとき(判定結果がYesのとき)にはこの図2処理を終了する。一方、未設定の画素が残されていると判定したとき(判定結果がNoのとき)には、S207へと処理を戻して残りの画素に対して三次元表示情報を設定する処理が繰り返される。 In S208, a process for determining whether or not the setting of the three-dimensional display information by the process of S207 has been performed for all the pixels constituting the image is performed, and when it is determined that the setting has been performed for all the pixels (determination result) 2 is ended). On the other hand, when it is determined that an unset pixel remains (when the determination result is No), the process returns to S207 and the process of setting the 3D display information for the remaining pixels is repeated. .
以上までの処理が三次元表示情報設定処理である。
次に図4について説明する。同図は、これより説明する画像処理の選択指示を本装置の使用者から取得するために利用される処理実行ボタンの例であり、CPU10が表示部13に表示させるGUI(Graphical User Interface)のうちのひとつである。
The above processing is the 3D display information setting processing.
Next, FIG. 4 will be described. This figure is an example of a process execution button used to obtain an image processing selection instruction to be described from the user of this apparatus. A GUI (Graphical User Interface) displayed on the display unit 13 by the CPU 10 is shown in FIG. One of them.
図4を参照すると分かるように、これらの処理実行ボタンは、試料5の試料面の形状を各々表しており、例えば、一番左のボタンには試料5の表面が凹凸形状の場合に効果がある画像処理シーケンスが割り当てられており、左から二番目のボタンには試料5の表面が鋸形状の場合に効果がある画像処理シーケンスが、また、左から三番目のボタンには試料5の表面が平面状の場合に効果がある画像処理シーケンスが、それぞれ組み込まれている。なお、一番右のボタンは、画像処理シーケンスを未選択の状態へ戻すためのボタンである。 As can be seen from FIG. 4, these processing execution buttons each represent the shape of the sample surface of the sample 5. For example, the leftmost button is effective when the surface of the sample 5 is uneven. An image processing sequence is assigned, the second button from the left is an image processing sequence that is effective when the surface of the sample 5 is saw-shaped, and the third button from the left is the surface of the sample 5 Image processing sequences that are effective in the case of a planar shape are incorporated. The rightmost button is a button for returning the image processing sequence to an unselected state.
処理装置20に備えられている不図示のマウス等の入力部を本装置の使用者が操作して、これらの処理実行ボタンのうちの左側の3つのいずれかが操作されると、前述の三次元表示時の高さ情報z(x,y)に対して、図5にフローチャートで示すような画像処理シーケンスが選択されて実行される。 When the user of the present apparatus operates an input unit such as a mouse (not shown) provided in the processing apparatus 20 and any one of the left three of these process execution buttons is operated, the above-described tertiary For the original display height information z (x, y), an image processing sequence as shown in the flowchart in FIG. 5 is selected and executed.
図5は、試料5の表面が凹凸形状の場合の画像処理シーケンスの第一の例であり、図4に示した処理実行ボタンのうち一番左端のボタンが操作された場合にCPU10によって行われる処理である。 FIG. 5 is a first example of an image processing sequence in the case where the surface of the sample 5 has an uneven shape, and is performed by the CPU 10 when the leftmost button of the processing execution buttons shown in FIG. 4 is operated. It is processing.
まず、S301において、高さ情報z(x,y)に対して低輝度部補正処理を施す処理が行われる。低輝度部補正処理は高さノイズを除去するための処理である。この処理の内容を図6(a)を用いて説明する。 First, in S301, a process for performing low-luminance correction processing on the height information z (x, y) is performed. The low luminance portion correction process is a process for removing height noise. The contents of this process will be described with reference to FIG.
図6において、(a)は、試料5より得られた光量最大の画素の輝度情報p(x,y)の例を示しており、y=C(定数)のときのxとp(x,y)との関係を示したものである。このとき、何ら補正処理を施さないと、ノイズ領域の画素(輝度がノイズレベル以下となる画素)の輝度情報には測定値に含まれるノイズ成分が無視できないほどの大きさとなっているため、誤差が大きくなってしまう。すると、前述した図2の処理によって得られる高さ情報z(x,y)は、(b)に示すように、ノイズ領域の部分で不連続なものとなり、生成される試料5の三次元画像は不自然なものとなってしまう。 In FIG. 6, (a) shows an example of luminance information p (x, y) of the pixel having the maximum light quantity obtained from the sample 5, and x and p (x, y) when y = C (constant). This shows the relationship with y). At this time, if no correction processing is performed, the luminance information of the pixels in the noise region (pixels whose luminance is lower than the noise level) is so large that the noise component included in the measurement value cannot be ignored. Will become bigger. Then, the height information z (x, y) obtained by the above-described processing of FIG. 2 becomes discontinuous in the noise region as shown in (b), and the generated three-dimensional image of the sample 5 is obtained. Will be unnatural.
そこで、輝度がノイズレベル以下となる位置の高さ情報z(x,y)については、その周囲の位置(例えば隣接する8点の座標位置)の画素のうち、輝度情報がノイズレベルを超えているものの高さ情報を流用する。これが低輝度部補正処理である。 Therefore, for the height information z (x, y) at a position where the luminance is equal to or lower than the noise level, the luminance information exceeds the noise level among the pixels at the surrounding positions (for example, adjacent eight coordinate positions). Use the height information of what you have. This is the low luminance portion correction process.
図6(a)に示した測定データに対し、この処理を施して得られた高さ情報z(x,y)の例を(c)に示す。このように、低輝度部補正処理を適用することにより、凹凸形状である試料5の斜面部のような、輝度がノイズレベル以下となり得る、光学的に低反射である領域についての三次元画像の形状を適切なものとすることができる。 An example of the height information z (x, y) obtained by performing this process on the measurement data shown in FIG. 6A is shown in FIG. In this way, by applying the low-luminance correction process, a three-dimensional image of a region that is optically low-reflective, such as a sloped portion of the sample 5 that has a concavo-convex shape, whose luminance can be lower than the noise level The shape can be made appropriate.
S302では、低輝度部補正処理を施した後の高さ情報z(x,y)に対し、第一平滑化フィルタを更に適用する処理が行われる。第一平滑化フィルタは、形状の輪郭を保持する平滑化フィルタ、例えばメディアン(中央値)フィルタであり、ここでは、そのフィルタサイズ(フィルタに入力するデータの位置する範囲)を、大きめのサイズ(例えば、座標(x,y)を中心とする5×5の範囲)とする。この処理により、凹凸形状である試料5の三次元画像の平坦部に生じることがある、髭状のノイズを除去することができる。 In S302, a process of further applying the first smoothing filter is performed on the height information z (x, y) after the low luminance portion correction process is performed. The first smoothing filter is a smoothing filter that retains the contour of the shape, for example, a median (median) filter. Here, the filter size (range in which data to be input to the filter is located) is set to a larger size ( For example, a 5 × 5 range centered on coordinates (x, y). By this processing, it is possible to remove wrinkle-like noise that may occur in the flat portion of the three-dimensional image of the sample 5 that has an uneven shape.
S303では、第一平滑化フィルタが適用された後の高さ情報z(x,y)に対し、第二平滑化フィルタを更に適用する処理が行われる。第二平滑化フィルタは平均フィルタであり、ここでは、そのフィルタサイズを、小さめのサイズ(例えば、座標(x,y)を中心とする3×3の範囲)とする。この処理により、凹凸形状である試料5の三次元画像の斜面部の状態をより滑らかにすることができる。 In S303, a process of further applying the second smoothing filter is performed on the height information z (x, y) after the first smoothing filter is applied. The second smoothing filter is an average filter, and here, the filter size is a small size (for example, a 3 × 3 range centered on coordinates (x, y)). By this processing, the state of the slope portion of the three-dimensional image of the sample 5 having the uneven shape can be made smoother.
以上の図5の処理を実行して得られた高さ情報z(x,y)と、先に設定した色情報c(x,y,z)とを用いてCPU10が三次元画像の描画処理を実行して表示部13に表示させることにより、ノイズ成分が良好に抑制された試料5の三次元画像を得ることができる。 The CPU 10 uses the height information z (x, y) obtained by executing the processing of FIG. 5 and the previously set color information c (x, y, z) to render the three-dimensional image. Is displayed on the display unit 13 to obtain a three-dimensional image of the sample 5 in which the noise component is well suppressed.
ところで、図5に示した各ステップでの処理の内容は、前述した処理実行ボタンの選択、すなわち試料5の形状によって変更する。例えば、鋸形状である試料5に対しては、S301の処理で孤立点除去に重点をおくフィルタ、例えば、対象画素の高さ情報が隣接画素についての高さ情報の平均から突出している場合に、その対象画素の高さ情報をその平均値へ置き換える処理を行うフィルタ、を適用する。また、表面が平面状である試料5に対しては、例えば、S302の処理をスキップし、S303の平均フィルタの処理を実行する。 By the way, the contents of the process in each step shown in FIG. 5 are changed depending on the selection of the process execution button described above, that is, the shape of the sample 5. For example, for the sample 5 having a saw shape, a filter that emphasizes isolated point removal in the process of S301, for example, when the height information of the target pixel protrudes from the average of the height information of adjacent pixels. A filter that performs processing for replacing the height information of the target pixel with the average value is applied. For the sample 5 having a flat surface, for example, the process of S302 is skipped and the process of the average filter of S303 is executed.
このようにして表示部13に三次元表示させた画像表示例を、図5の処理を実行しなかった場合の画像表示例である図7Aと比較させて、図7Bに示す。
なお、上述した実施形態においては、S301からS303までの3つの処理を実行するようにしていたが、処理の数は3つに限定されるものではなく、増減させてもよい。また、図4に示した処理実行ボタンの数を増やし、試料5の試料面の他の形状に応じた画像処理を行えるようにしてもよい。
FIG. 7B shows an image display example that is three-dimensionally displayed on the display unit 13 in this way, compared with FIG. 7A that is an image display example when the processing of FIG. 5 is not executed.
In the above-described embodiment, the three processes from S301 to S303 are executed. However, the number of processes is not limited to three, and may be increased or decreased. Further, the number of processing execution buttons shown in FIG. 4 may be increased so that image processing according to other shapes of the sample surface of the sample 5 may be performed.
ところで、上述した実施形態では、図4に示すような、GUI上に配置された試料5の形状毎の処理実行ボタンによって選択された画像処理シーケンスをCPU10で実行するようにしていたが、その代わりに、試料5の形状の選択を図1の処理装置20に予め登録しておくようにし、輝度情報pと高さ情報zとの取得後にはその登録内容に基づいて自動的に画像処理シーケンスの選択がなされて実行されるようにしてもよい。つまり、例えば、図4に示したボタンを切り替えボタンとして作用させ、本装置の使用者は、図2の処理を開始させて画像取り込みを行わせる前に、予め試料形状の1つを選択しておくようにする。そして、使用者が画像取り込みの実行指示を行うと、その指示を取得したCPU10が、図2に示した処理をまず実行し、その後続けて図5の処理の実行を直ちに開始するようにする。こうすることにより、同一種類の形状である試料5を複数連続して観察する場合の操作者の負担を減らすことができる。 In the above-described embodiment, the CPU 10 executes the image processing sequence selected by the processing execution button for each shape of the sample 5 arranged on the GUI as shown in FIG. In addition, the selection of the shape of the sample 5 is registered in advance in the processing apparatus 20 of FIG. 1, and after the luminance information p and the height information z are acquired, the image processing sequence is automatically selected based on the registered contents. A selection may be made and executed. That is, for example, the button shown in FIG. 4 is operated as a switching button, and the user of this apparatus selects one of the sample shapes in advance before starting the processing of FIG. To leave. When the user gives an instruction to execute image capture, the CPU 10 that has acquired the instruction first executes the process shown in FIG. 2, and then immediately starts executing the process shown in FIG. By doing so, it is possible to reduce the burden on the operator when continuously observing a plurality of samples 5 having the same type of shape.
また、前述した実施形態については、高さ情報zに対してのみ、図5に示した画像処理シーケンスを施していたが、輝度情報pについても処理を施して試料5の三次元画像の品位を向上させるようにすることもできる。 In the above-described embodiment, the image processing sequence shown in FIG. 5 is performed only on the height information z. However, the luminance information p is also processed to improve the quality of the three-dimensional image of the sample 5. It can also be improved.
図8は、試料5の表面が凹凸形状の場合の画像処理シーケンスの第二の例であり、輝度情報pについても試料5の三次元画像の品位向上のための処理を施すものである。
なお、この図8のシーケンスも、図4に示した処理実行ボタンのうち一番左端のボタンが操作された場合にCPU10によって行われる。
FIG. 8 is a second example of an image processing sequence in the case where the surface of the sample 5 has an uneven shape, and the luminance information p is also subjected to processing for improving the quality of the three-dimensional image of the sample 5.
The sequence of FIG. 8 is also performed by the CPU 10 when the leftmost button of the process execution buttons shown in FIG. 4 is operated.
図8において、S401からS403にかけての処理は、図5に示したS301からS303にかけてのものと同一の処理であるので、説明を省略する。
S404では、輝度情報p(x,y)に対して画像強調フィルタを適用する処理が行われ、適用後のp(x,y)に対応する色情報をc(x,y,z)として設定する。
In FIG. 8, the processing from S401 to S403 is the same as that from S301 to S303 shown in FIG.
In S404, processing for applying the image enhancement filter is performed on the luminance information p (x, y), and the color information corresponding to p (x, y) after application is set as c (x, y, z). To do.
なお、S404の処理によって適用される画像強調フィルタの種類としては、例えばシャープフィルタ、エッジ強調フィルタ、コントラスト強調フィルタ等がある。また、これらのフィルタを任意に組み合わせてもよい。 Note that the types of image enhancement filters applied by the processing of S404 include, for example, a sharp filter, an edge enhancement filter, a contrast enhancement filter, and the like. Further, these filters may be arbitrarily combined.
以上の図8の処理を実行して得られた高さ情報z(x,y)と、先に設定した色情報c(x,y,z)とを用いてCPU10が三次元画像の描画処理を実行して表示部13に表示させることにより、ノイズ成分が良好に抑制された試料5の三次元画像を得ることができる。加えて、このときに表示部13に表示される三次元画像は、輝度情報が強調されているので、同等の反射率を有するような試料5に対しても、ノイズを除去した効果と合わせて、表面形状の視覚的な認識が容易になる。 The CPU 10 performs a three-dimensional image rendering process using the height information z (x, y) obtained by executing the processing of FIG. 8 and the color information c (x, y, z) set in advance. Is displayed on the display unit 13 to obtain a three-dimensional image of the sample 5 in which the noise component is well suppressed. In addition, since the luminance information is emphasized in the three-dimensional image displayed on the display unit 13 at this time, it is combined with the effect of removing noise on the sample 5 having the same reflectance. Visual recognition of the surface shape is facilitated.
このようにして表示部13に三次元表示させた画像表示例を、図8の処理を実行しなかった場合の画像表示例である図9Aと比較させて、図9Bに示す。
以上のように、本実施形態によれば、ノイズが除去された試料5の三次元画像を簡単な操作で表示させることができるようになり、認識し易い最適な状態での試料面の観察が可能となる。
FIG. 9B shows an image display example displayed three-dimensionally on the display unit 13 in this way, compared with FIG. 9A, which is an image display example when the processing of FIG. 8 is not executed.
As described above, according to the present embodiment, the three-dimensional image of the sample 5 from which noise has been removed can be displayed with a simple operation, and the sample surface can be observed in an optimal state that is easy to recognize. It becomes possible.
ところで、前述したように、図2、図5、及び図8に示した制御処理をCPU10に行わせるためには所定の制御プログラムをCPU10で実行させる必要がある。そのためには、例えば、当該制御プログラムを処理装置20の有するメモリ11に予め記憶させておき、この記憶部から当該制御プログラムを読み出させて実行させるようにすればよい。また、その代わりに、処理装置20であるコンピュータシステムで読み取り可能な記録媒体にこの制御プログラムを記録させておくようにし、この記録媒体から制御プログラムを処理装置20のデータ読み取り装置(不図示)に読み出させて実行させるようにしてもよい。ここで、記録させた制御プログラムを処理装置20で読み取ることの可能な記録媒体としては、例えば、FD(フレキシブルディスク)、MO(光磁気ディスク)、CD−ROM、DVD−ROMなどといった可搬型の記録媒体が利用できる。 Incidentally, as described above, in order for the CPU 10 to perform the control processing shown in FIGS. 2, 5, and 8, it is necessary to cause the CPU 10 to execute a predetermined control program. For this purpose, for example, the control program may be stored in advance in the memory 11 of the processing device 20, and the control program may be read from the storage unit and executed. Instead, the control program is recorded on a recording medium that can be read by the computer system that is the processing device 20, and the control program is stored in the data reading device (not shown) of the processing device 20 from the recording medium. It may be read and executed. Here, as a recording medium from which the recorded control program can be read by the processing device 20, a portable type such as an FD (flexible disk), an MO (magneto-optical disk), a CD-ROM, a DVD-ROM or the like can be used. Recording media can be used.
また、この記録媒体は、データ伝送媒体である通信ネットワークを介して処理装置20であるコンピュータシステムと接続される、プログラムサーバとして機能するコンピュータが備えている記憶装置であってもよい。この場合には、当該制御プログラムを表現するデータ信号で搬送波を変調して得られる伝送信号を、当該プログラムサーバから通信ネットワークを通じて伝送するようにし、処理装置20では、受信した伝送信号を復調して元の制御プログラムを再生することで当該制御プログラムを実行できるようになる。 The recording medium may be a storage device provided in a computer functioning as a program server connected to a computer system that is the processing device 20 via a communication network that is a data transmission medium. In this case, a transmission signal obtained by modulating a carrier wave with a data signal representing the control program is transmitted from the program server through a communication network, and the processing device 20 demodulates the received transmission signal. The control program can be executed by reproducing the original control program.
その他、本発明は、上述した実施形態に限定されることなく、本発明の要旨を逸脱しない範囲内で種々の改良・変更が可能である。 In addition, the present invention is not limited to the above-described embodiments, and various improvements and changes can be made without departing from the scope of the present invention.
1 光源
2 二次元スキャナ
3 ダイクロイックミラー
4 対物レンズ
5 試料
6 ステージ
7 ピンホール
8 光検出器
9 A/D変換器
10 CPU
11 メモリ
12 フレームメモリ
13 表示部
14 カラーカメラ
20 処理装置
DESCRIPTION OF SYMBOLS 1 Light source 2 Two-dimensional scanner 3 Dichroic mirror 4 Objective lens 5 Sample 6 Stage 7 Pinhole 8 Photo detector 9 A / D converter 10 CPU
11 Memory 12 Frame Memory 13 Display 14 Color Camera 20 Processing Device
Claims (9)
前記試料と前記対物レンズとの相対移動を繰り返しながら得た複数のスライス像を構成する画素であって当該スライス像における当該画素の位置を示す座標が同一のもののうち、輝度が最大であるものについての当該輝度を示す情報の検出を行い、
前記最大の輝度が得られたときの当該試料と当該対物レンズとの間の距離に基づいて前記試料面の高さ情報の検出を行い、
前記検出された前記高さ情報に対し、前記試料面の形状に応じて選択される画像処理を施し、
前記画像処理が施された後の前記高さ情報と前記検出がされた輝度情報とに基づいて前記試料についての三次元画像を生成して表示部で表示させる、
ことを特徴とする画像表示方法。 When at least one of the sample and the objective lens is moved in the optical axis direction, and the spot light is scanned on the sample surface of the sample while irradiating the sample with the spot light through the objective lens A method of displaying the image in a scanning confocal microscope that generates an image of the sample based on reflected light from the sample surface that is received,
Among pixels constituting a plurality of slice images obtained by repeating relative movement between the sample and the objective lens, and having the same luminance indicating the position of the pixel in the slice image, the luminance is maximum Detection of information indicating the brightness of
Detecting the height information of the sample surface based on the distance between the sample and the objective lens when the maximum luminance is obtained;
For the detected height information, perform image processing selected according to the shape of the sample surface,
Generating a three-dimensional image of the sample based on the height information after the image processing and the detected luminance information and displaying them on a display unit;
An image display method characterized by the above.
前記試料面の形状を指定するための指定部の指示に応じて予め設定された当該試料面の形状に最適な画像処理が選択される、
ことを特徴とする請求項1に記載の画像表示方法。 Display a designation part for designating the shape of the sample surface on the display part,
In accordance with an instruction from the designation unit for designating the shape of the sample surface, an image processing optimal for the shape of the sample surface set in advance is selected.
The image display method according to claim 1.
前記試料の三次元画像の生成では、前記輝度強調処理の施された輝度情報に基づいて当該三次元画像の生成を行う、
ことを特徴とする請求項1に記載の画像表示方法。 A luminance enhancement process is performed on the detected luminance information,
In the generation of the three-dimensional image of the sample, the three-dimensional image is generated based on the luminance information subjected to the luminance enhancement processing.
The image display method according to claim 1.
前記試料と前記対物レンズとの相対移動を繰り返しながら得た複数のスライス像を構成する画素であって当該スライス像における当該画素の位置を示す座標が同一のもののうち、輝度が最大であるものについての当該輝度を示す情報を検出する処理と、
前記最大の輝度が得られたときの当該試料と当該対物レンズとの間の距離に基づいて前記試料面の高さ情報を検出する処理と、
前記検出された前記高さ情報に対し、前記試料面の形状に応じて選択される画像処理を施す処理と、
前記画像処理が施された後の前記高さ情報と前記検出がされた輝度情報とに基づいて前記試料についての三次元画像を生成して表示部で表示させる処理と、
をコンピュータに行わせるためのプログラム。 When at least one of the sample and the objective lens is moved in the optical axis direction, and the spot light is scanned on the sample surface of the sample while irradiating the sample with the spot light through the objective lens A program for causing a computer to display the image obtained by a scanning confocal microscope that generates an image of the sample based on the reflected light from the sample surface that is received,
Among pixels constituting a plurality of slice images obtained by repeating relative movement between the sample and the objective lens, and having the same luminance indicating the position of the pixel in the slice image, the luminance is maximum Detecting information indicating the brightness of
A process for detecting height information of the sample surface based on a distance between the sample and the objective lens when the maximum luminance is obtained;
A process of performing image processing selected according to the shape of the sample surface with respect to the detected height information;
A process of generating a three-dimensional image of the sample based on the height information after the image processing and the detected luminance information and displaying the three-dimensional image on a display unit;
A program that causes a computer to perform
前記試料面の形状を指定するための指定部の指示に応じて予め設定された前記試料面の形状に最適な画像処理が選択される、
ことを特徴とする請求項5に記載のプログラム。 Further causing the computer to perform a process of displaying on the display unit a designation unit for designating the shape of the sample surface,
In accordance with an instruction from a designation unit for designating the shape of the sample surface, an image processing optimal for the shape of the sample surface set in advance is selected.
The program according to claim 5.
前記試料の三次元画像の生成では、前記輝度強調処理の施された輝度情報に基づいて当該三次元画像の生成を行う、
ことを特徴とする請求項5に記載のプログラム。 Causing the computer to further perform a process of performing a brightness enhancement process on the detected brightness information;
In the generation of the three-dimensional image of the sample, the three-dimensional image is generated based on the luminance information subjected to the luminance enhancement processing.
The program according to claim 5.
前記試料と前記対物レンズとの相対移動を繰り返しながら得た複数のスライス像を構成する画素であって当該スライス像における当該画素の位置を示す座標が同一のもののうち、輝度が最大であるものについての当該輝度を示す情報を検出する第一検出手段と、
前記最大の輝度が得られたときにおける当該試料と当該対物レンズとの間の距離に基づいて前記試料面の高さ情報を検出する第二検出手段と、
前記検出された前記高さ情報に対し、前記試料面の形状に応じて選択される画像処理を施す画像処理手段と、
前記画像処理が施された後の前記高さ情報と前記検出がされた輝度情報とに基づいて前記試料についての三次元画像を生成して表示部で表示させる三次元画像生成手段と、
を有することを特徴とする走査型共焦点顕微鏡。
When at least one of the sample and the objective lens is moved in the optical axis direction, and the spot light is scanned on the sample surface of the sample while irradiating the sample with the spot light through the objective lens A scanning confocal microscope that generates an image of the sample based on reflected light from the sample surface that is received,
Among pixels constituting a plurality of slice images obtained by repeating relative movement between the sample and the objective lens, and having the same luminance indicating the position of the pixel in the slice image, the luminance is maximum First detection means for detecting information indicating the brightness of
Second detection means for detecting height information of the sample surface based on a distance between the sample and the objective lens when the maximum luminance is obtained;
Image processing means for performing image processing selected according to the shape of the sample surface with respect to the detected height information;
3D image generating means for generating a 3D image of the sample based on the height information after the image processing and the detected luminance information and displaying the 3D image on a display unit;
A scanning confocal microscope characterized by comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004312991A JP4994587B2 (en) | 2004-10-27 | 2004-10-27 | Image display method, program, and scanning confocal microscope |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004312991A JP4994587B2 (en) | 2004-10-27 | 2004-10-27 | Image display method, program, and scanning confocal microscope |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2006126374A true JP2006126374A (en) | 2006-05-18 |
JP2006126374A5 JP2006126374A5 (en) | 2007-11-01 |
JP4994587B2 JP4994587B2 (en) | 2012-08-08 |
Family
ID=36721207
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004312991A Expired - Fee Related JP4994587B2 (en) | 2004-10-27 | 2004-10-27 | Image display method, program, and scanning confocal microscope |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4994587B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008242014A (en) * | 2007-03-27 | 2008-10-09 | V Technology Co Ltd | Fluorescence microscope |
JP2009282356A (en) * | 2008-05-23 | 2009-12-03 | Olympus Corp | Microscope apparatus |
US7969582B2 (en) | 2007-12-17 | 2011-06-28 | Olympus Corporation | Laser scanning microscope apparatus, and surface shape measuring method thereof |
CN103654851A (en) * | 2012-09-06 | 2014-03-26 | 三星电子株式会社 | Method and apparatus for displaying stereoscopic information related to ultrasound sectional plane of target object |
EP2728392A1 (en) * | 2012-10-30 | 2014-05-07 | Olympus Corporation | Microscope system |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08161530A (en) * | 1994-12-09 | 1996-06-21 | Olympus Optical Co Ltd | Icon preparing method and frame preparing method for dynamic image |
JPH08210819A (en) * | 1994-12-02 | 1996-08-20 | Keyence Corp | Laser microscope |
JP2000039566A (en) * | 1998-07-24 | 2000-02-08 | Sony Corp | Enlarging observation device |
JP2001056438A (en) * | 1999-06-09 | 2001-02-27 | Olympus Optical Co Ltd | Confocal scanning microscope, picture display method thereof and recording medium obtained by recording processing program for executing picture display processing |
JP2004163499A (en) * | 2002-11-11 | 2004-06-10 | Matsushita Electric Ind Co Ltd | Cell observation method |
-
2004
- 2004-10-27 JP JP2004312991A patent/JP4994587B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08210819A (en) * | 1994-12-02 | 1996-08-20 | Keyence Corp | Laser microscope |
JPH08161530A (en) * | 1994-12-09 | 1996-06-21 | Olympus Optical Co Ltd | Icon preparing method and frame preparing method for dynamic image |
JP2000039566A (en) * | 1998-07-24 | 2000-02-08 | Sony Corp | Enlarging observation device |
JP2001056438A (en) * | 1999-06-09 | 2001-02-27 | Olympus Optical Co Ltd | Confocal scanning microscope, picture display method thereof and recording medium obtained by recording processing program for executing picture display processing |
JP2004163499A (en) * | 2002-11-11 | 2004-06-10 | Matsushita Electric Ind Co Ltd | Cell observation method |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008242014A (en) * | 2007-03-27 | 2008-10-09 | V Technology Co Ltd | Fluorescence microscope |
US7969582B2 (en) | 2007-12-17 | 2011-06-28 | Olympus Corporation | Laser scanning microscope apparatus, and surface shape measuring method thereof |
KR101073212B1 (en) * | 2007-12-17 | 2011-10-12 | 올림푸스 가부시키가이샤 | Laser scanning microscope device and surface profile measuring method thereof |
JP2009282356A (en) * | 2008-05-23 | 2009-12-03 | Olympus Corp | Microscope apparatus |
CN103654851A (en) * | 2012-09-06 | 2014-03-26 | 三星电子株式会社 | Method and apparatus for displaying stereoscopic information related to ultrasound sectional plane of target object |
US9848850B2 (en) | 2012-09-06 | 2017-12-26 | Samsung Electronics Co., Ltd. | Method and apparatus for displaying stereoscopic information related to ultrasound sectional plane of target object |
EP2728392A1 (en) * | 2012-10-30 | 2014-05-07 | Olympus Corporation | Microscope system |
US9482855B2 (en) | 2012-10-30 | 2016-11-01 | Olympus Corporation | Microscope system |
Also Published As
Publication number | Publication date |
---|---|
JP4994587B2 (en) | 2012-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7477775B2 (en) | Microscope system | |
JP4700299B2 (en) | Confocal scanning microscope | |
JP5032895B2 (en) | A method for binarizing a digital gray value image. | |
JP6345001B2 (en) | Image processing method and image processing apparatus | |
JP4994587B2 (en) | Image display method, program, and scanning confocal microscope | |
JP7030986B2 (en) | Image generator, image generator and image generator | |
JP2007322259A (en) | Edge detecting method, apparatus and program | |
JP4874069B2 (en) | Confocal microscope | |
JP6563517B2 (en) | Microscope observation system, microscope observation method, and microscope observation program | |
JP2001056438A (en) | Confocal scanning microscope, picture display method thereof and recording medium obtained by recording processing program for executing picture display processing | |
JP5319184B2 (en) | Microscope system and microscope control program | |
JP5119111B2 (en) | Microscope equipment | |
JP5019279B2 (en) | Confocal microscope and method for generating focused color image | |
JP4197898B2 (en) | Microscope, three-dimensional image generation method, program for causing computer to control generation of three-dimensional image, and recording medium recording the program | |
JP2010107789A (en) | Confocal microscope system | |
JP4885439B2 (en) | Color image acquisition method and confocal laser microscope | |
JP6335809B2 (en) | Stripe pattern image acquisition device, stripe pattern image acquisition method, three-dimensional position specifying device, three-dimensional position specifying method, and program | |
JP2011237616A (en) | Scanning microscope | |
JP5102107B2 (en) | Microscope equipment | |
JP2005055879A (en) | Confocal scanning microscope, objective region specifying method, and program | |
JP4503804B2 (en) | Three-dimensional information acquisition method and confocal scanning microscope | |
JP2005122330A (en) | Three-dimensional measurement data processor and three-dimensional shape data processor | |
JPH06308390A (en) | Confocal microscope | |
JP4740577B2 (en) | Confocal scanning microscope | |
JP5305838B2 (en) | Confocal microscope system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070913 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070913 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100906 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110404 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110809 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110930 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120424 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120509 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150518 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4994587 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150518 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees | ||
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |