CN102314680A - 图像处理装置、图像处理***、图像处理方法和程序 - Google Patents
图像处理装置、图像处理***、图像处理方法和程序 Download PDFInfo
- Publication number
- CN102314680A CN102314680A CN2011101699749A CN201110169974A CN102314680A CN 102314680 A CN102314680 A CN 102314680A CN 2011101699749 A CN2011101699749 A CN 2011101699749A CN 201110169974 A CN201110169974 A CN 201110169974A CN 102314680 A CN102314680 A CN 102314680A
- Authority
- CN
- China
- Prior art keywords
- image
- vertical direction
- focus
- sample
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 56
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 238000003384 imaging method Methods 0.000 claims abstract description 43
- 230000003321 amplification Effects 0.000 claims abstract description 11
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 11
- 230000015572 biosynthetic process Effects 0.000 abstract 1
- 239000007850 fluorescent dye Substances 0.000 description 17
- 238000001215 fluorescent labelling Methods 0.000 description 16
- 238000000034 method Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000005284 excitation Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 210000004027 cell Anatomy 0.000 description 3
- KPHWPUGNDIVLNH-UHFFFAOYSA-M diclofenac sodium Chemical compound [Na+].[O-]C(=O)CC1=CC=CC=C1NC1=C(Cl)C=CC=C1Cl KPHWPUGNDIVLNH-UHFFFAOYSA-M 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 102000004190 Enzymes Human genes 0.000 description 1
- 108090000790 Enzymes Proteins 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000000349 chromosome Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000006059 cover glass Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000975 dye Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- HLUCICHZHWJHLL-UHFFFAOYSA-N hematein Chemical compound C12=CC=C(O)C(O)=C2OCC2(O)C1=C1C=C(O)C(=O)C=C1C2 HLUCICHZHWJHLL-UHFFFAOYSA-N 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007901 in situ hybridization Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000002547 new drug Substances 0.000 description 1
- 210000004940 nucleus Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Microscoopes, Condenser (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供了图像处理装置、图像处理***、图像处理方法和程序，该图像处理装置包括接口、控制器和存储器。该接口连接至显微镜，该显微镜具有：镜台，具有放置包括目标的样本的放置面；物镜，放大样本的图像；以及摄像元件，形成样本的图像。该控制器使物镜的焦点在放置面的垂直方向上移动，并且使摄像元件曝光，从而获得第一图像。控制器执行焦点在垂直方向上的匀速移动和在放置面的平行方向上的匀速直线移动，并且使摄像元件曝光，从而获得第二图像。控制器基于第一图像和第二图像计算目标在垂直方向上的位置。
Description
技术领域
本发明涉及在医学、病理学、生物学、材料科学等领域中处理通过显微镜所获得的图像信息的图像处理装置、具有该图像处理装置的图像处理***、图像处理方法以及该图像处理装置中的程序。
背景技术
在医学或病理学的领域中，已经提出了一种***，其将通过光学显微镜获得的诸如活体的细胞、组织、器官等的样本的图像数字化，以基于所获得的数字图像由医生或病理学家来检查组织等或诊断病人。通常，这样的***称为虚拟显微镜。
例如，日本专利申请公开第2009-37250号(下文中，被称作专利文献1)公开了一种方法，其中，通过配备有CCD(电荷耦合器件)的摄像机将从置于显微镜的镜台上的载片样本光学获得的图像数字化，将由此获得数字信号输入至PC(个人计算机)，并在监控器上将图像可视化。病理学家在观看显示在监控器上的图像的同时执行检查等。
发明内容
顺便提及，在虚拟显微镜***中，通过在样本的深度方向(对焦方向)上以预定间隔移动焦点来获得图像数据，从而检测目标(荧光标记)在深度方向上的位置，该目标例如存在于一个细胞核中并已被荧光着色。然而，在该方法中，需要针对每一预定间隔来存储多条图像数据(在样本存在于载玻片的几乎一个表面上的情况下，每条图像数据的数据量约为4GB)，并且增大了数据容量，从而具有大容量的存储器变得是必需的。
鉴于上述情况，期望提供一种图像处理装置、图像处理***、图像处理方法和程序，它们能够在不使用具有大容量的存储器的情况下，容易地检测样本中的目标的深度位置。
根据本发明的实施方式，提供了一种图像处理装置，其包括接口、控制器和存储器。该接口被配置为连接至显微镜。显微镜包括：镜台，具有放置包括被标记的目标的样本的放置面；物镜，放大样本的图像；以及摄像元件，形成由物镜放大的样本的图像。控制器被配置为通过接口使物镜的焦点从预定基准位置在放置面的垂直方向上移动，并且在焦点在垂直方向上移动的期间使摄像元件曝光，从而获得包括表示目标的第一亮点的第一图像。此外，控制器被配置为通过接口执行焦点以第一速度从基准位置在垂直方向上的匀速移动以及以第二速度在放置面的平行方向上的匀速直线移动，并且在焦点在垂直方向和平行方向上移动的期间使摄像元件曝光，从而获得包括表示目标的第二亮点的第二图像。此外，控制器被配置为基于获得的第一图像和第二图像，计算样本中的目标在垂直方向上的位置。存储器被配置为存储获得的第一图像和第二图像。
在该实施方式中，在焦点在垂直方向和平行方向上移动的同时使摄像元件进行曝光，所以在第二图像中，对于每一焦点，目标的图像模糊的状态逐渐变为图像清晰的状态。此外，在第二图像中，在焦点与目标最匹配的位置处，目标的图像的亮度变得最大，并被表示为第二亮点。
利用该结构，仅通过两次曝光来获得第一图像和第二图像，从而图像处理装置在节省存储器的容量的同时，可以容易地以高精度检测到样本中的目标在垂直方向上的位置。
控制器可以基于第一图像和第二图像计算第一亮点和第二亮点之间在平行方向上的距离，并且基于距离、第一速度以及第二速度来计算目标的位置。
结果，仅通过基于第一图像和第二图像计算第一亮点和第二亮点之间在平行方向上的距离，图像处理装置可以容易地以高精度检测目标在垂直方向上的位置。
第一速度可以大于第二速度。
结果，在第二图像中，不同焦点的目标的图像相重叠的范围变小，所以更容易检测第二亮点的位置。
控制器可以生成通过将第一图像和第二图像合成而获得合成图像，并且通过利用合成图像来计算距离。
结果，通过在合成图像上测量第一亮点和第二亮点之间的距离，图像处理装置可以容易地检测目标在垂直方向上的目标。
根据本发明的另一实施方式，提供了一种图像处理***，其包括显微镜和图像处理装置。显微镜具有：镜台，具有放置包括被标记的目标的样本的放置面；物镜，被配置为放大样本的图像；以及摄像元件，被配置为形成由物镜放大的样本的图像。图像处理装置具有接口、控制器和存储器。接口被配置为连接至显微镜。控制器被配置为通过接口使物镜的焦点从预定基准位置在放置面的垂直方向上移动，并且在焦点在垂直方向上移动的期间使摄像元件曝光，从而获得包括表示目标的第一亮点的第一图像。此外，控制器被配置为通过接口执行焦点以第一速度从基准位置在垂直方向上的匀速移动以及以第二速度在放置面的平行方向上的匀速直线移动，并且在焦点在垂直方向和平行方向上移动的期间使摄像元件曝光，从而获得包括表示目标的第二亮点的第二图像。此外，控制器被配置为基于获得的第一图像和第二图像，计算样本中的目标在垂直方向上的位置。存储器被配置为存储获得的第一图像和第二图像。
根据本发明的另一实施方式，提供了一种图像处理方法，包括：与显微镜建立连接，该显微镜包括：镜台，具有放置包括被标记的目标的样本的放置面；物镜，放大样本的图像；以及摄像元件，形成由物镜放大的样本的图像。使物镜的焦点从预定基准位置在放置面的垂直方向上移动，并且在焦点在垂直方向上移动的期间使摄像元件曝光，从而获得包括表示目标的第一亮点的第一图像。此外，执行焦点以第一速度从基准位置在垂直方向上的匀速移动以及以第二速度在放置面的平行方向上的匀速直线移动，并且在焦点在垂直方向和平行方向上移动的期间使摄像元件曝光，从而获得包括表示目标的第二亮点的第二图像。将获得的第一图像和第二图像存储在存储器中。基于所存储的第一图像和第二图像，计算样本中的目标在垂直方向上的位置。
根据本发明的另一实施方式，提供了一种使图像处理装置执行以下操作的程序：与显微镜建立连接，该显微镜包括具有放置包括被标记的目标的样本的放置面的镜台、放大样本的图像的物镜、以及形成由物镜放大的样本的图像的摄像元件；使物镜的焦点从预定基准位置在放置面的垂直方向上移动，并且在焦点在垂直方向上移动的期间使摄像元件曝光，从而获得包括表示目标的第一亮点的第一图像；执行焦点以第一速度从基准位置在垂直方向上的匀速移动以及以第二速度在放置面的平行方向上的匀速直线移动，并且在焦点在垂直方向和平行方向上移动的期间使摄像元件曝光，从而获得包括表示目标的第二亮点的第二图像。将获得的第一图像和第二图像存储在存储器中，以及基于所存储的第一图像和第二图像，计算样本中的目标在垂直方向上的位置。
如上所述，根据本发明的实施方式，可以在不使用具有大容量的存储器的情况下容易地检测样本中的目标的深度位置。
根据本发明的最佳形式的实施方式的以下详细描述，如附图所示，本发明的这些和其他目的、特征和优点将变得显而易见。
附图说明
图1是示出了根据本发明实施方式的图像处理***的示图；
图2是示出了在本发明实施方式中拍摄图像的样本SPL从镜台的侧表面观察的示图；
图3是示出了根据本发明实施方式的图像处理装置的结构的框图；
图4是示出了样本中的目标的深度位置的计算处理的流程图，该计算处理通过本发明实施方式中的图像处理装置来执行；
图5是示出了焦点在本发明实施方式中的Z方向上移动的状态的示图；
图6是示出了通过在焦点在本发明实施方式中的Z方向上移动的同时执行曝光处理而获得的样本的图像(第一图像)的示图；
图7是示出了焦点在本发明实施方式中的Z方向和X方向上移动的状态的示图；
图8是示出了通过在焦点在本发明实施方式中的Z方向上和X方向上移动的同时执行曝光处理而获得的样本的图像(第二图像)的示图；
图9是示出了通过将图6的第一图像和图8的第二图像合成而获得合成图像的示图；以及
图10是示出了通过利用图9的合成图像的目标的深度位置的计算处理的示图。
具体实施方式
下文中，将参考附图来描述本发明的实施方式。
(图像处理***的结构)
图1是示出了根据本发明实施方式的图像处理***的示图。如图所示，该实施方式中的图像处理***1具有显微镜(荧光显微镜)10和连接至显微镜10的图像处理装置20。
显微镜10具有镜台11、光学***12、亮场图像拍摄照明灯13、光源14以及摄像元件30。
镜台11具有放置面，其上可以放置诸如包括组织切片、细胞、染色体等的生物高分子的样本SPL，并且该镜台可以在放置面的平行方向和垂直方向(XYZ轴方向)上移动。
图2是示出了放置在镜台11上的样本SPL从镜台11的侧表面方向观察的示图。
如图所示，样本SPL在Z方向上具有约4μm至8μm的厚度(深度)，并通过预定固定方法而被固定在适当的位置，并且样本SPL夹置在载玻片SG和盖玻片CG之间，并且根据需要而被着色。着色方法的实例包括诸如HE(苏木精曙红)着色、姬姆萨(Giemsa)着色和巴氏(Papanicolaou)着色的一般着色方法以及诸如FISH(荧光原位杂交，fluorescence in situhybridization)和酶抗体方法的荧光着色。例如，执行荧光着色以用于样本中的特定目标的标记。已被荧光着色的目标在图中被表示为荧光标记M(M1和M2)，并且荧光标记M在通过显微镜获得的图像中表现为亮点。
返回图1，光学***12设置镜台11的上方，并具有物镜12A、成像透镜12B、分色镜12C、发射滤光器12D以及激励滤光器12E。光源14由LED(发光二极管)等形成。
物镜12A和成像透镜12B以预定放大倍率放大通过亮场图像拍摄照明灯13获得的样本SPL的图像，并且所放大的图像形成在摄像元件30的摄像面上。
在从光源14发射的光中，激励滤光器12E仅使激励荧光染料的激励波长的光通过，从而产生激励光。分色镜12C反射已通过激励滤光器并在其上入射的激励光，并将光引导至物镜12A。物镜12A将激励光会聚至样本SPL。
在固定至载玻片SG的样本SPL被荧光着色的情况下，荧光染料通过激励光而发光。通过发光获得的光(显色光)穿过物镜12A而通过分色镜12C，并且穿过发射滤光器12D到达成像透镜12B。
发射滤光器12D吸收除去由物镜的12A放大的显色光的光(外部光)。通过失去外部光所获得的显色光的图像被成像透镜12B放大并如上所述形成在摄像元件30上。
亮场图像拍摄照明灯13设置在镜台11的下方，并用照明光通过形成在镜台11中的开口(未示出)而照射放置在放置面上的样本SPL。
作为摄像元件30，例如，使用CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)。摄像元件30可以与显微镜10一体化设置，或者可以设置在摄像装置(数码相机等)中，该摄像装置独立设置并且可以连接至显微镜10。
图像处理装置20由例如PC(个人计算机)构成，并且例如，以诸如JPEG(联合图像专家组)的预定格式来存储通过摄像元件30所生成的样本SPL的图像作为数字图像数据(虚拟幻灯片)。
(图像处理装置的结构)
图3是示出了图像处理装置20的结构的框图。
如图所示，图像处理装置20具有CPU(中央处理单元)21、ROM(只读存储器)22、RAM(随机存取存储器)23、操作输入单元24、接口25、显示器26以及存储器27。这些块经由总线28而彼此相连接。
ROM 22固定地存储数据或多个程序(诸如用于执行各种处理的固件)。RAM 23被用作CPU 21的工作区域，并暂时保存执行时的各种程序和正被处理的各种数据。
存储器27是诸如HDD(硬盘驱动器)的非易失性存储器、闪存以及另外的固态存储器。存储器27在其中存储OS、各种应用程序或各种数据。特别地，在该实施方式中，从显微镜10获得的图像数据和用于处理图像数据并计算样本SPL中的目标的亮点的深度(高度)位置的图像处理程序也被存储在存储器27中。
接口25与镜台11、光源14以及显微镜10的摄像元件30相连接，并且根据预定的通信标准而与显微镜10传输或接收信号。
在存储在ROM 22或存储器27中的多个程序中，CPU 21展开对应于从操作输入单元24提供至RAM 23中的命令的程序，并根据由此展开的程序来适当地控制显示器26和存储器27。在该实施方式中，特别地，CPU21通过图像处理应用程序来计算目标在样本SPL中的深度位置。此时，CPU 21通过接口25适当地控制镜台11、光源14和摄像元件30。
操作输入单元24例如是诸如鼠标、键盘、触摸板的指点装置或另外的操作装置。
显示器26例如是液晶显示器、EL(有机电致发光)显示器、等离子体显示器、CRT(阴极射线管)显示器等。显示器26可以一体地设置在图像处理装置20中，或者可以设置在图像处理装置20的外部。
(图像处理***的操作)
接下来，将给出如上构造的图像处理***1的操作的描述。在下面的描述中，图像处理装置20的CPU 21被用作操作的主体，但操作也可以结合图像处理装置20的不同硬件和诸如图像处理应用程序的软件来执行。
图4是示出了通过该实施方式中的图像处理装置20所执行的样本SPL中的目标的深度位置的计算处理的流程图。图5是示出了对应于步骤41和42的焦点在Z方向上的移动的状态的示图。
如图4所示，首先，在样本SPL放置在镜台11上的状态下，CPU 21设定镜台11在垂直(Z)方向上的默认位置，并且图像处理装置20与显微镜10相连接(步骤41)。如图5所示，默认位置DP被设定为使得物镜12A的焦平面FP的位置在存在样本SPL的范围的外部(上方区域或下方区域)，即，使得焦点的移动范围(扫描范围)在下面的曝光(扫描)步骤中覆盖样本SPL的整个表面。
接下来，如图5中的箭头所表示的，CPU 21在执行镜台11(即，焦点)以预定速度从默认位置DP在垂直方向(Z方向)上的匀速移动的同时，而使图像获取元件30曝光，从而拍摄样本SPL的图像(步骤42)。这里，CPU 21将焦点的移动范围覆盖样本SPL的整个表面的位置设定为移动的结束点EP。换而言之，默认位置DP和结束点EP被设定为使得样本SPL完全包括在从默认位置DP至结束点EP的范围中(使得焦点的移动距离大于样本SPL的厚度)。
图6是示出了样本SPL的图像(第一图像)的示图，该图像是通过如上所述在焦点在Z方向上移动的同时执行曝光处理而获得的。如图所示，在第一图像60中，荧光标记M1表现为亮点A的图像，并且荧光标记M2表现为亮点B的图像。
这里，第一图像60是已被曝光并通过在Z方向上移动的样本SPL的焦点而拍摄的图像，并因此是这样的图像，其中，在焦点与荧光标记M1和M2相合的焦平面EP上的图像与不同于该图像的图像彼此相重叠。因此，亮点A和B的图像具有模糊的周围图像，但这些位置以能够清晰识别的程度而显现。
CPU 21通过接口25从摄像元件30获得第一图像60，并暂时将第一图像60存储在RAM 23中(步骤43)。
随后，CPU 21使镜台11在Z方向上的位置返回至默认位置DP(步骤44)。
图7是示出了对应于图4中所示的步骤45和46的、焦点在Z方向和X方向上的移动状态的示图。
随后，如图7所示，CPU 21在以第一速度(Vz)在Z方向上和以第二速度(Vx)在X方向上执行镜台11(焦点)从默认位置DP至结束点EP的匀速移动的同时，而使摄像元件30曝光，从而拍摄样本SPL的图像(步骤45)。
图8是示出了通过如上所述焦点在Z方向和X方向上移动的同时执行曝光处理所获得的样本SPL的图像(第二图像)的示图。如图所述，在第二图像80中，针对样本SPL中的焦点的位置的每一改变的图像的轨迹在一个图像中显现。即，伴随着焦点在X方向上的移动，分别表示荧光标记M1和M2的亮点A和亮点B的图像状态从模糊且大的状态变为形成对焦的清晰且小的状态，并进一步再变为模糊且大的状态。
CPU 21通过接口单元25从摄像元件30获得第二图像80，并暂时将第二图像存储在RAM 23中(步骤46)。
随后，CPU 21将第一图像60和第二图像80彼此合成，从而产生合成图像(步骤47)。
图9是示出了合成图像的示图。如图所示，在合成图像90中，在步骤42获得的显现在第一图像中的亮点A和亮点B(亮点A1和亮点B1)的图像和在步骤45获得的显现在第二图像80中的亮点A和亮点B(亮点A2和亮点B2)的图像分别显现在一个图像中的同一直线上。
随后，CPU 21从合成图像90中检测第一图像60中的亮点A1和B1(第一亮点)的位置坐标(A1：(XA1，YA)，B1：(XB1，YB))和第二图像80中的亮点A2和B2的位置坐标(A2：(XA2，YA)，B2：(XB2，YB))(步骤48)。这里，例如，通过提取亮度值(荧光强度)等于或大于预定阈值的多个像素的组并通过CPU 21检测具有最高亮度的像素的位置，来执行亮点的检测。在根据目标以不同颜色执行荧光着色的情况下，CPU 21针对每一不同颜色检测亮度。
然后，CPU 21计算所检测到的第一亮点的坐标和第二亮点的坐标之间的距离D(步骤49)。也就是，在图9中，CPU 21计算第一亮点A1(XA1，YA)与第二亮点A2(XA2，YA)之间的距离DA(XA1-XA2)和第一亮点B1(XB1，YB)与第二亮点B2(XB2，YB)之间的距离DB(XB1-XB2)。
然后，基于距离D、作为焦点在Z方向上的移动速度的第一速度Vz以及作为焦点在X方向上的移动速度的第二速度Vx，CPU计算样本SPL中的荧光标记M的深度(高度)h(步骤50)。
图10是示出了通过利用图9的合成图像的荧光标记M的高度的计算处理的示图。这里，从镜台11开始移动直到亮点A变为对焦的时间tA根据tA＝hA/Vz(其中，hA表示样本SPL中的亮点A的高度)来计算。
此外，距离DA和距离DB由下面的表达式来表达。
DA＝tA*Vx＝Vx*hA/Vz＝hA*Vx/Vz
DB＝hB*Vx/Vz
当变换这些表达式时，亮点A和B的高度hA和hB可以根据下面的表达式来计算。
hA＝DA*Vz/Vx
hB＝DB*Vz/Vx
CPU 21基于所涉及的表达式来计算亮点A和B的高度hA和hB，并且例如针对每一亮点将计算结果输出至显示器26。当计算亮点的高度时，例如，可以判断由亮点A表示的荧光标记M1和由亮点B表示的荧光标记M2是否存在于同一组织(细胞)中。此外，还能够检测荧光标记M1和荧光标记M2的每一个的三维距离。图像处理***的操作者可以将计算结果用于各种病理学诊断的材料、新药的研究等。
这里，第二速度Vx被设定为大于第一速度Vz。这是因为在合成图像90中，当根据从第二图像80得到的亮点A的图像和亮点B的图像来确定对焦位置的坐标(A2和B2)时，如果模糊图像的重叠范围较大，则分离图像变得很困难，这使得难以确定坐标(A2和B2)。
另外，如图10所示，亮点A和B的高度hA和hB被作为从焦点的默认位置DP至亮点的距离而计算。因此，为了仅通过作为基准的样本SPL的内部来计算准确的高度，与从默认位置DP至载玻片SG和样本SPL之间的边界线的距离相对应的长度被从所计算的每一高度hA和hB中减去。
(总结)
如上所述，根据该实施方式，图像处理装置20获得通过仅在Z方向上移动焦点的同时执行曝光所拍摄的荧光标记M(目标)的图像(第一图像)和通过在Z方向和X方向上移动焦点的同时执行曝光所拍摄的荧光标记M的图像(第二图像)，并且计算第一图像中的第一亮点与第二图像中的第二亮点之间的距离。由此，仅通过使用两个图像，图像处理装置20可以在节省RAM 23的容量的同时，容易地以高精度检测样本SPL中的目标(荧光标记M)在垂直方向上的位置(高度)。
(修改例)
本发明不限于上述实施方式，并且在不背离本发明的要旨的前提下可以进行各种改变。
在上述实施方式中，为了计算从第一亮点至第二亮点的距离D，生成了通过将第一图像60和第二图像80合成而获得的合成图像90。然而，也可以在不使用合成图像90的情况下来计算距离D。具体地，CPU 21可以预先检测在第一图像60和第二图像80中的亮点的坐标，并将在第一图像60中检测到的第一亮点的坐标应用于第二图像80，或者将在第二图像80中检测到的第二亮点的坐标应用于第一图像60，从而计算出距离D。
在以上实施方式中，第二速度Vx被设定为大于第一速度Vz，但这不是必需的。例如，CPU 21使光源14的强度变弱，从而能够伴随在X方向上的移动来分离亮点的图像，从而可以获得相同的效果。
在以上实施方式中，在拍摄第二图像80时，焦点在Z方向和X方向上移动。然而，焦点当然也可以不在X方向而在Y方向上移动，或者可以在除了与平行于X轴或Y轴的方向以外的任何方向上移动，只要在XY平面中执行直线移动即可。
在以上实施方式中，在获得第一图像60和第二图像80时，图像处理装置20通过在Z方向上移动镜台11而使焦点移动。然而，例如，图像处理装置20可以设置有用于在Z方向上移动物镜12A的机构，并且可以通过使用该机构来移动物镜12A而不是镜台11，而使焦点移动。
在以上实施方式中，在获得第二图像80时，图像处理装置20通过在X(Y)方向上移动镜台11而使焦点移动。然而，图像处理装置20可以设置有用于在X(Y)方向上移动摄像元件30的机构，并通过使用该机构来移动摄像元件30而不是镜台11，而使焦点移动。
在以上实施方式中，使用了将本发明应用于荧光显微镜的实例。然而，本发明可以应用于除荧光显微镜以外的显微镜。在该情况下，目标并非必须被荧光着色，而仅需要通过任何标记方法来进行标记，以作为亮点而被观察。
本发明包含于2010年6月29日向日本专利局提交的日本在先专利申请JP 2010-148280的所涉及的主题，其全部内容结合于此作为参考。
本领域的技术人员应当理解，根据设计要求和其他因素，可以进行各种修改、组合、子组合和变形，只要它们在所附权利要求或其等同物的范围之内。
Claims (7)
1.一种图像处理装置，包括：
接口、控制器和存储器，
所述接口被配置为连接至显微镜，所述显微镜包括：镜台，具有放置包括被标记的目标的样本的放置面；物镜，放大所述样本的图像；以及摄像元件，形成由所述物镜放大的所述样本的图像；
所述控制器被配置为
通过所述接口使所述物镜的焦点从预定基准位置在所述放置面的垂直方向上移动，并且在所述焦点在所述垂直方向上移动的期间使所述摄像元件曝光，从而获得包括表示所述目标的第一亮点的第一图像，
通过所述接口执行所述焦点以第一速度从所述基准位置在所述垂直方向上的匀速移动以及以第二速度在所述放置面的平行方向上的匀速直线移动，并且在所述焦点在所述垂直方向和所述平行方向上移动的期间使所述摄像元件曝光，从而获得包括表示所述目标的第二亮点的第二图像，并且
基于获得的所述第一图像和所述第二图像，计算所述样本中的所述目标在所述垂直方向上的位置；以及
所述存储器被配置为存储获得的所述第一图像和所述第二图像。
2.根据权利要求1所述的图像处理装置，其中，
所述控制器基于所述第一图像和所述第二图像来计算所述第一亮点与所述第二亮点之间在所述水平方向上的距离，并且基于所述距离、所述第一速度和所述第二速度来计算所述目标的位置。
3.根据权利要求2所述的图像处理装置，其中，
所述第一速度大于所述第二速度。
4.根据权利要求3所述的图像处理装置，其中，
所述控制器生成通过将所述第一图像和所述第二图像合成而获得的合成图像，并且通过利用所述合成图像来计算所述距离。
5.一种图像处理***，包括：
显微镜和图像处理装置，
所述显微镜具有：
镜台，具有放置包括被标记的目标的样本的放置面，
物镜，被配置为放大所述样本的图像，以及
摄像元件，被配置为形成由所述物镜放大的所述样本的图像；以及
所述图像处理装置具有接口、控制器和存储器，
所述接口被配置为连接至所述显微镜，
所述控制器被配置为
通过所述接口使所述物镜的焦点从预定基准位置在所述放置面的垂直方向上移动，并且在所述焦点在所述垂直方向上移动的期间使所述摄像元件曝光，从而获得包括表示所述目标的第一亮点的第一图像，
通过所述接口执行所述焦点以第一速度从所述基准位置在所述垂直方向上的匀速移动以及以第二速度在所述放置面的平行方向上的匀速直线移动，并且在所述焦点在所述垂直方向和所述平行方向上移动的期间使所述摄像元件曝光，从而获得包括表示所述目标的第二亮点的第二图像，并且
基于获得的所述第一图像和所述第二图像，计算所述样本中的所述目标在所述垂直方向上的位置；以及
所述存储器被配置为存储获得的所述第一图像和所述第二图像。
6.一种图像处理方法，包括：
与显微镜建立连接，所述显微镜包括：镜台，具有放置包括被标记的目标的样本的放置面；物镜，放大所述样本的图像；以及摄像元件，形成由所述物镜放大的所述样本的图像；
使所述物镜的焦点从预定基准位置在所述放置面的垂直方向上移动，并且在所述焦点在所述垂直方向上移动的期间使所述摄像元件曝光，从而获得包括表示所述目标的第一亮点的第一图像；
执行所述焦点以第一速度从所述基准位置在所述垂直方向上的匀速移动以及以第二速度在所述放置面的平行方向上的匀速直线移动，并且在所述焦点在所述垂直方向和所述平行方向上移动的期间使所述摄像元件曝光，从而获得包括表示所述目标的第二亮点的第二图像；
将获得的所述第一图像和所述第二图像存储在存储器中；以及
基于所存储的所述第一图像和所述第二图像，计算所述样本中的所述目标在所述垂直方向上的位置。
7.一种程序，使图像处理装置执行以下操作：
与显微镜建立连接，所述显微镜包括：镜台，具有放置包括被标记的目标的样本的放置面；物镜，放大所述样本的图像；以及摄像元件，形成由所述物镜放大的所述样本的图像，
使所述物镜的焦点从预定基准位置在所述放置面的垂直方向上移动，并且在所述焦点在所述垂直方向上移动的期间使所述摄像元件曝光，从而获得包括表示所述目标的第一亮点的第一图像，
执行所述焦点以第一速度从所述基准位置在所述垂直方向上的匀速移动以及以第二速度在所述放置面的平行方向上的匀速直线移动，并且在所述焦点在所述垂直方向和所述平行方向上移动的期间使所述摄像元件曝光，从而获得包括表示所述目标的第二亮点的第二图像，
将获得的所述第一图像和所述第二图像存储在存储器中，以及
基于所存储的所述第一图像和所述第二图像，计算所述样本中的所述目标在所述垂直方向上的位置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010-148280 | 2010-06-29 | ||
| JP2010148280A JP2012013804A (ja) | 2010-06-29 | 2010-06-29 | 画像処理装置、画像処理システム、画像処理方法及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102314680A true CN102314680A (zh) | 2012-01-11 |
Family
ID=45352172
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2011101699749A Pending CN102314680A (zh) | 2010-06-29 | 2011-06-22 | 图像处理装置、图像处理***、图像处理方法和程序 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8654188B2 (zh) |
| JP (1) | JP2012013804A (zh) |
| CN (1) | CN102314680A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106296635A (zh) * | 2015-05-29 | 2017-01-04 | 厦门鹭佳生物科技有限公司 | 一种荧光原位杂交(fish)图像并行处理与分析方法 |
| CN111445516A (zh) * | 2020-03-03 | 2020-07-24 | 深圳市杰普特光电股份有限公司 | 玻璃基板内部二维码深度计算***及计算方法 |
| WO2020238626A1 (zh) * | 2019-05-29 | 2020-12-03 | 腾讯科技（深圳）有限公司 | 图像状态确定方法、装置、设备、***及计算机存储介质 |
| CN112697792A (zh) * | 2014-12-26 | 2021-04-23 | 希森美康株式会社 | 细胞拍摄装置、细胞拍摄方法及试样池 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8031918B2 (en) | 2005-09-21 | 2011-10-04 | Luminex Corporation | Methods and systems for image data processing |
| WO2013008121A1 (en) * | 2011-07-13 | 2013-01-17 | Koninklijke Philips Electronics N.V. | Method for automatically adjusting a focal plane of a digital pathology image |
| US9080855B2 (en) * | 2011-09-23 | 2015-07-14 | Mitutoyo Corporation | Method utilizing image correlation to determine position measurements in a machine vision system |
| WO2013059338A1 (en) | 2011-10-18 | 2013-04-25 | Luminex Corporation | Methods and systems for image data processing |
| WO2015002082A1 (ja) * | 2013-07-03 | 2015-01-08 | コニカミノルタ株式会社 | 画像処理装置、病理診断支援システム、画像処理プログラム及び病理診断支援方法 |
| JP6654688B2 (ja) | 2016-03-25 | 2020-02-26 | オリンパス株式会社 | 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080304147A1 (en) * | 2007-06-07 | 2008-12-11 | Olympus Corporation | Microscope system |
| CN101370086A (zh) * | 2007-08-17 | 2009-02-18 | 索尼株式会社 | 成像装置、方法以及程序 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6239834B1 (en) * | 1996-01-11 | 2001-05-29 | Kokusai Denshin Denwa Co., Ltd. | Apparatus for evaluating digital picture quality |
| US6031930A (en) | 1996-08-23 | 2000-02-29 | Bacus Research Laboratories, Inc. | Method and apparatus for testing a progression of neoplasia including cancer chemoprevention testing |
| US6272235B1 (en) | 1997-03-03 | 2001-08-07 | Bacus Research Laboratories, Inc. | Method and apparatus for creating a virtual microscope slide |
| GB2383487B (en) * | 2001-12-18 | 2006-09-27 | Fairfield Imaging Ltd | Method and apparatus for acquiring digital microscope images |
| US7538815B1 (en) * | 2002-01-23 | 2009-05-26 | Marena Systems Corporation | Autofocus system and method using focus measure gradient |
| JP5301889B2 (ja) * | 2008-06-16 | 2013-09-25 | オリンパス株式会社 | 顕微鏡用撮像システム、露光調整プログラム、及び露光調整方法 |
-
2010
- 2010-06-29 JP JP2010148280A patent/JP2012013804A/ja active Pending
-
2011
- 2011-06-14 US US13/159,613 patent/US8654188B2/en active Active
- 2011-06-22 CN CN2011101699749A patent/CN102314680A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080304147A1 (en) * | 2007-06-07 | 2008-12-11 | Olympus Corporation | Microscope system |
| CN101370086A (zh) * | 2007-08-17 | 2009-02-18 | 索尼株式会社 | 成像装置、方法以及程序 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112697792A (zh) * | 2014-12-26 | 2021-04-23 | 希森美康株式会社 | 细胞拍摄装置、细胞拍摄方法及试样池 |
| CN106296635A (zh) * | 2015-05-29 | 2017-01-04 | 厦门鹭佳生物科技有限公司 | 一种荧光原位杂交(fish)图像并行处理与分析方法 |
| CN106296635B (zh) * | 2015-05-29 | 2019-11-22 | 厦门鹭佳生物科技有限公司 | 一种荧光原位杂交(fish)图像并行处理与分析方法 |
| WO2020238626A1 (zh) * | 2019-05-29 | 2020-12-03 | 腾讯科技（深圳）有限公司 | 图像状态确定方法、装置、设备、***及计算机存储介质 |
| US11921278B2 (en) | 2019-05-29 | 2024-03-05 | Tencent Technology (Shenzhen) Company Limited | Image status determining method an apparatus, device, system, and computer storage medium |
| CN111445516A (zh) * | 2020-03-03 | 2020-07-24 | 深圳市杰普特光电股份有限公司 | 玻璃基板内部二维码深度计算***及计算方法 |
| WO2021174619A1 (zh) * | 2020-03-03 | 2021-09-10 | 深圳市杰普特光电股份有限公司 | 玻璃基板内部二维码深度计算***及计算方法 |
| CN111445516B (zh) * | 2020-03-03 | 2024-01-26 | 深圳市杰普特光电股份有限公司 | 玻璃基板内部二维码深度计算***及计算方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US8654188B2 (en) | 2014-02-18 |
| JP2012013804A (ja) | 2012-01-19 |
| US20110316998A1 (en) | 2011-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102314680A (zh) | 图像处理装置、图像处理***、图像处理方法和程序 | |
| US20120002032A1 (en) | Information processing apparatus, stage-undulation correcting method, program therefor | |
| EP2941663B1 (en) | A method for automated platform and/or reference object independent acquisition of positional information and localization of objects of interest in a microscope | |
| US9438848B2 (en) | Image obtaining apparatus, image obtaining method, and image obtaining program | |
| US10809514B2 (en) | Low resolution slide imaging and slide label imaging and high resolution slide imaging using dual optical paths and a single imaging sensor | |
| JP6053327B2 (ja) | 顕微鏡システム、標本画像生成方法及びプログラム | |
| CN103134782B (zh) | 图像获取装置和图像获取方法 | |
| JP5826561B2 (ja) | 顕微鏡システム、標本画像生成方法及びプログラム | |
| JP2011008245A (ja) | 生体観察装置 | |
| CN111164484B (zh) | 双程微距图像 | |
| JP2012237693A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| US20100231703A1 (en) | Method and system for digitizing a specimen with fluorescent target points | |
| JP2012003214A (ja) | 情報処理装置、情報処理方法、プログラム、撮像装置、及び光学顕微鏡を搭載した撮像装置 | |
| US20140131592A1 (en) | Image obtaining unit and image obtaining method | |
| JP2013120239A (ja) | 撮影画像のリニアリティ評価方法、画像取得方法及び画像取得装置 | |
| US20140140595A1 (en) | Microscopy system and method for biological imaging | |
| JP5412149B2 (ja) | 画像撮像装置及びそれを備えた細胞画像解析システム | |
| EP3023825A1 (en) | Microscope system | |
| US20170278259A1 (en) | Microscope system and specimen observation method | |
| US20190166293A1 (en) | Impulse rescan system | |
| US8963105B2 (en) | Image obtaining apparatus, image obtaining method, and image obtaining program | |
| JP2016126129A (ja) | 光学観察装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20120111 |