CN102194217A - 信息处理装置、方法及包括光学显微镜的成像装置 - Google Patents
信息处理装置、方法及包括光学显微镜的成像装置 Download PDFInfo
- Publication number
- CN102194217A CN102194217A CN2011100469400A CN201110046940A CN102194217A CN 102194217 A CN102194217 A CN 102194217A CN 2011100469400 A CN2011100469400 A CN 2011100469400A CN 201110046940 A CN201110046940 A CN 201110046940A CN 102194217 A CN102194217 A CN 102194217A
- Authority
- CN
- China
- Prior art keywords
- image
- coordinate
- calibration image
- brightness change
- correcting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 94
- 230000003287 optical effect Effects 0.000 title claims abstract description 75
- 230000010365 information processing Effects 0.000 title claims abstract description 11
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 239000013598 vector Substances 0.000 claims abstract description 136
- 230000008859 change Effects 0.000 claims abstract description 95
- 238000012937 correction Methods 0.000 claims abstract description 74
- 238000004364 calculation method Methods 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims description 38
- 230000003750 conditioning effect Effects 0.000 claims description 31
- 230000005055 memory storage Effects 0.000 claims description 7
- 230000003595 spectral effect Effects 0.000 claims description 5
- 238000013519 translation Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 57
- 230000006870 function Effects 0.000 description 34
- 230000008569 process Effects 0.000 description 31
- 238000013507 mapping Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 8
- 238000000605 extraction Methods 0.000 description 7
- 238000012952 Resampling Methods 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000001915 proofreading effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000004171 remote diagnosis Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013316 zoning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Image Processing (AREA)
- Microscoopes, Condenser (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了信息处理装置、方法及包括光学显微镜的成像装置。信息处理装置,包括:第一存储部,存储校准图案中的亮度变化点的坐标,校准图案具有相互正交的两个轴方向上的亮度分布;生成部,生成与校准图像的亮度分布有关的标准图案信息;确定部,确定校准图像的亮度变化点的坐标作为校正亮度变化点的坐标;第一计算部,计算所存储的亮度变化点的坐标与校正亮度变化点的坐标之间的差,作为畸变矢量场;第二计算部,计算通过从畸变矢量场移除平移分量和旋转分量而获得的分量,作为校正矢量场;以及校正部,通过使用所计算出的校正矢量场对由成像部拍摄的图像进行校正。
Description
技术领域
本发明涉及对图像传感器所获得的图像信号进行处理从而校正输出图像的畸变的信息处理装置、信息处理方法、程序以及包括光学显微镜的成像装置。
背景技术
过去,例如,包含诸如电荷耦合器件(CCD)的图像传感器的示图相机广泛用作成像设备。当用这种成像设备拍摄物体的图像时,在某些情况下,由于成像设备所包括的透镜的形状等可能在所拍摄的图像中导致畸变。要校正这种畸变,使用了多种畸变校正技术。
例如,在日本专利公开第2000-350239号(以下称之为专利文件1)所披露的校准***中,用于校正上述畸变的畸变参数被估算如下。首先,在所述校准***中,生成由已经定义了几何形状的图案构成的基准图像;然后,将所述基准图像投影到平坦的屏幕表面上,并用照相机进行拍摄。对基准图像以及基准图像的拍摄图像进行图像注册处理,因此估算出用于畸变矫正的畸变参数(参考专利文件1的第[0094]段等)。
此外,在专利文件1中,基于拍摄到的图像表面的点nd(其中已考虑到透镜畸变),计算出所拍摄的图像表面上的对应点nu(其中未考虑透镜畸变)。如专利文件1第[0084]段所述,通过基于距畸变中心位置的距离通过表达式来计算点nu。
发明内容
例如,在由光学显微镜获得的图像被数字化的情况下,在许多情况下,由于显微镜的复杂放大光学***,要输出的图像中发生难以预测的复杂畸变。在这种情况下,通过使用专利文件1所公开的基于距畸变中心的距离的表达式,难以对图像的畸变进行校正。
此外,例如,使用光学显微镜以高倍率观察物体时,可能存在如下情况,即,通过拍摄物体的各部分图像而获得的多个数字图像经受拼接处理,并且然后物体的图像可以整合为一个图像。为了适当地执行拼接处理,需要高精度地校正每个数字图像的畸变。
鉴于上述情况,期望提供能够精度地校正由光学显微镜获得的图像中所产生的复杂畸变的信息处理装置、信息处理方法、程序及包括光学显微镜的成像装置。
根据本发明的实施方式,提供了一种信息处理装置,包括第一存储装置、生成装置、确定装置、第一计算装置、第二计算装置以及校正装置。
第一存储装置存储校准图案中的多个亮度变化点的坐标,在亮度变化点上,亮度发生变化,校准图案具有亮度在相互正交的两个轴方向上有规律地变化的亮度分布。
生成装置生成与校准图像的亮度分布有关的标准图案信息,校准图像通过由能够拍摄通过光学显微镜获得的图像的成像装置拍摄校准图案的图像而生成。
确定装置通过校准图像的亮度分布与所生成的标准图案信息之间的匹配处理,确定校准图像的亮度变化点的坐标作为校正亮度变化点的坐标,亮度变化点对应于校准图案的多个亮度变化点中的每个。
第一计算装置计算所存储的多个亮度变化点的坐标与由确定装置根据多个亮度变化点确定的校正亮度变化点的坐标之间的差,作为畸变矢量场。
第二计算装置计算通过从畸变矢量场移除平移分量和旋转分量而获得的分量,作为校正矢量场。
校正装置通过使用所计算出的校正矢量场对由成像装置拍摄的图像进行校正。
在信息处理装置中,生成了关于通过拍摄校准图案的图像而生成的校准图像的亮度分布的标准图案信息。然后,通过所述校准图像亮度分布与标准图案信息之间的匹配处理,高精度地确定所述校准图像上的校正亮度变化点。因此,畸变矢量场和校正矢量场的精度也变高了,并且即使当由成像装置拍摄的图像中产生难以预测的复杂畸变时,仍可以高精度地校正复杂畸变。此外,计算校正矢量场,作为通过从所述畸变矢量场移除平移分量和旋转分量而获得的分量。因此,可以减少要校正的图像的校正量,并且实现了高精度图像校正。
信息处理装置可以进一步包括第二存储装置,用于存储由第二计算装置计算的校正矢量场。在这种情况下,校正装置可以通过使用由第二存储装置存储的校正矢量场对图像进行校正。
在信息处理装置中,由第二存储装置存储预定成像拍摄条件下的校正矢量场,在预定成像拍摄条件中,确定了照明光学***等。因此,当在相同的成像拍摄条件下,由成像装置拍摄图像的情况下,无需重新计算校正矢量场,并且可以通过使用所存储的校正矢量场高精度地校正所拍摄的图像。因此,可以缩短用于图像校正的处理时间。
生成装置可以生成关于每个分割区域的亮度信息的标准图案信息,分割区域通过将校准图像分割为多个区域而获得。在这种情况下,确定装置可以通过每个分割区域的亮度分布与针对每个分割区域生成的标准图案信息之间的匹配处理来确定每个分割区域中的校正亮度变化点的坐标。
在信息处理装置中,针对校准图像的每个分割区域生成标准图案信息,并针对每个分割区域执行匹配处理。因此,可以针对每个分割区域生成标准图案信息,标准图案信息适合与分割区域的匹配处理。因此,可以高精度地确定分割区域的校正亮度变化点。
校准图案可以由棋盘图案构成,在棋盘图案中,一个或多个明部以及一个或多个暗部交替排列,明部和暗部在两个轴方向上均具有一定尺寸。
在这种情况下,第一存储装置可以存储与棋盘图案中的明部和暗部之间的边界相对应的多个交点的坐标。
此外,生成装置可以对校准图像执行傅里叶变换,以计算两个轴方向中的每个方向上具有最大谱强度的频率,并通过使用所计算出的两个轴方向的频率中的至少一个来生成标准图案信息。
此外,确定装置可以计算校准图像的每个像素的亮度值与标准图案信息之间的相关值,以确定与校准图像中的明部和暗部之间的边界相对应的多个交点的坐标。
在信息处理装置中,使用棋盘图案作为校准图案,并且将棋盘图案的交点存储为亮度变化点。此外,校准图像经受傅里叶变换处理,结果,至少一个所计算的频率用于生成标准图案信息。然后,计算出校准图像的每个像素的亮度值与标准图案信息之间的相关值,结果,高精度地确定校准图像上的交点作为校正亮度变化点。
根据本发明的另一实施方式,提供了一种由信息处理装置执行的信息处理方法。
换句话说,信息处理方法包括存储校准图案中的多个亮度变化点的坐标,在亮度变化点上,亮度发生变化,校准图案具有亮度在相互正交的两个轴方向上有规律地变化的亮度分布。
生成与校准图像亮度分布有关的标准图案信息。校准图像通过由能够拍摄通过光学显微镜获得的图像的成像装置拍摄校准图案的图像而生成。
通过校准图像的亮度分布与所生成的标准图案信息之间的匹配处理,确定校准图像亮度变化点的坐标作为校正亮度变化点的坐标,亮度变化点对应于校准图案的多个亮度变化点中的每个。
计算存储的多个亮度变化点的坐标与由确定装置根据多个亮度变化点确定的校正亮度变化点的坐标之间的差,作为畸变矢量场。
计算通过从畸变矢量场移除平移分量和旋转分量而获得的分量,作为校正矢量场。
通过使用所计算出的校正矢量场对由成像装置拍摄的图像进行校正。
本发明的另一实施方式,提供了一种程序,该程序使信息处理装置执行上述信息处理方法。该程序可以记录在记录介质中。
根据本发明的另一实施方式,提供了一种成像装置,包括光学显微镜、成像装置、存储装置、生成装置、确定装置、第一计算装置、第二计算装置以及校正装置。
成像装置能够拍摄由光学显微镜获得的图像。
存储装置存储校准图案中的多个亮度变化点的坐标,在亮度变化点上,亮度发生变化,校准图案具有亮度在相互正交的两个轴方向上有规律地变化的亮度分布。
生成装置生成与校准图像的亮度分布有关的标准图案信息,校准图像通过由成像装置拍摄校准图案的图像而生成。
确定装置通过校准图像的亮度分布与所生成的标准图案信息之间的匹配处理,确定校准图像的亮度变化点的坐标作为校正亮度变化点的坐标,亮度变化点对应于校准图案的多个亮度变化点中的每个。
第一计算装置计算所存储的多个亮度变化点的坐标与由确定装置根据多个亮度变化点确定的校正亮度变化点的坐标之间的差,作为畸变矢量场。
第二计算装置,计算通过从畸变矢量场移除平移分量和旋转分量而获得的分量,作为校正矢量场。
校正装置通过使用所计算出的校正矢量场对由成像装置拍摄的图像进行校正。
根据本发明的另一实施方式,提供了一种信息处理装置,包括第一存储部、生成部、确定部、第一计算部、第二计算部以及校正部。
第一存储部存储校准图案中的多个亮度变化点的坐标,在亮度变化点上,亮度发生变化,校准图案具有亮度在相互正交的两个轴方向上有规律地变化的亮度分布。
生成部生成与校准图像的亮度分布有关的标准图案信息,校准图像通过由能够拍摄通过光学显微镜获得的图像的成像部拍摄校准图案的图像而生成。
确定部通过校准图像的亮度分布与所生成的标准图案信息之间的匹配处理,确定校准图像的亮度变化点的坐标作为校正亮度变化点的坐标,亮度变化点对应于校准图案的多个亮度变化点中的每个。
第一计算部计算所存储的多个亮度变化点的坐标与由确定部根据多个亮度变化点确定的校正亮度变化点的坐标之间的差,作为畸变矢量场。
第二计算部计算通过从畸变矢量场移除平移分量和旋转分量而获得的分量,作为校正矢量场。
校正部通过使用所计算出的校正矢量场对由成像部拍摄的图像进行校正。
如上所述,根据本发明的实施方式,可以高精度地校正在由光学显微镜获得的图像中的产生的难以预测的复杂畸变。
如附图所示出的,跟据本发明最佳实施方式的以下相信描述,本发明的这些和其他目的、特性及优点将变得显而易见。
附图说明
图1为示出根据本发明第一实施方式的包括信息处理装置的成像***的结构实例的框图;
图2为示意性示出光学显微镜和图1所示的成像装置的示图;
图3为示出图1所示的成像装置的结构实例的框图;
图4为示意性示出作为图3所示的成像装置所生成的图像数据的原始数据的示图;
图5为示出图1所示的PC的结构实例的框图;
图6为示出图1所示的PC的处理的流程图;
图7为示出图6所示的交点提取处理中使用的校准图像的示图;
图8为示出当对图7所示的校准图像进行傅里叶变换时,x轴方向上的频谱及其强度的频率响应的曲线图;
图9A和图9B为用于说明被生成为图7所示的校准图像的亮度分布的标准图案信息的函数所表示的正弦曲面的示图;
图10为用于说明通过计算理的论棋盘图案的每个交点坐标与校准图像的交点坐标之间的差分所获得的畸变矢量场的示图;
图11为用于具体说明图6所示的对齐处理的示图;
图12为用于具体说明图6所示的对齐处理的示图;
图13为用于具体说明图6所示的对齐处理的示图;
图14为用于说明图6所示的畸变校正处理的方法的示图;
图15为示出当使用图13所示的校正矢量场对校准图像进行校正的时候,与理论的棋盘图案的比较结果的示图;
图16为用于说明根据本发明第二实施方式在校准图像上执行的处理的示图;以及
图17为示出根据本发明其他实施方式的成像***的结构实例示图。
具体实施方式
下文中将参考附图描述本发明的实施方式。
(第一实施方式)
图1为示出根据本发明第一实施方式的包括信息处理装置的成像***的结构实例的示图。图2为示意性示出光学显微镜以及图1所示的成像装置的示图。图1所示的成像***400包括光学显微镜300、作为成像装置的成像装置200以及作为信息处理装置的个人电脑100。例如,使用数码相机作为成像装置200。
例如,光学显微镜300包括:诸如发光二极管(LED)的光源301、照明光学***302、成像光学***303、设置在照明光学***302和成像光学***303的光路上的样本台304。(设置有样本305的)观察区域306设置在样本台304上,并生成观察区域306的图像。
例如,成像装置200包括:诸如电荷耦合器件(CCD)的图像传感器201、可以拍摄(由光学显微镜300获得的)观察区域306的图像并将图像存储为图像数据。该图像数据由PC 100读取,并且在经受数据处理后被输出。数据处理描述具体如下。
这里,将详细描述成像装置200和PC 100。
图3为示出成像装置200的结构实例的框图。图4为示意性示出作为成像装置200所生成的图像数据的原始数据的示图。
成像装置200包括图像传感器201、前处理电路202、记录介质接口(I/F)203以及记录介质204。例如,内存卡、光盘或磁盘可以用作记录介质204。
在预定的成像拍摄条件下(孔径、变焦、焦距等)入射光由透镜(图中未示)进行收集。光学图像形成在图像传感器201的成像面上。图像传感器201将形成在成像面上的光学图像的成像结果输出至前处理电路202。在该实施方式中,使用(其中将G的滤色器排列为棋盘图案的)传感器作为图像传感器201。但是,例如,也可以使用三层传感器、黑白传感器、线路传感器或多传感器。
前处理电路202先处理来自图像传感器201的输出信号,并控制记录介质I/F 203以将原始数据文件记录在记录介质204上。如图4所示,作为原始数据205,具有无效像素区域206(如光学黑体OPB)、有效像素区域207以及实行像素区域208的矩形CCD图像以点顺序被存储在原始数据文件中。
[信息处理装置的结构]
图5为示出PC 100的结构实例的框图。PC 100包括CPU(中央处理器)101、ROM(只读存储器)102、RAM(随机存储器)103、HDD(硬盘驱动)104、操作单元105、显示单元106、记录介质接口(I/F)107、打印机接口(I/F)108、使以上部件互相连接的总线109。
CPU 101从ROM 102等读取***程序,如操作***(OS),并使用RAM 103中的确保的工作区来执行***程序。CPU 101从ROM 102、ROM103、HDD 104等中读取图像处理程序等,并使用RAM 103中的确保的工作区或CPU 101的一次缓存和/或二次缓存中的确保的工作区来执行该程序。
CPU 101可以对上述的原始数据205执行一系列图像数量校正处理,包括:光学校正处理、伽马校正处理、去马赛克处理及降噪处理等。此外,CPU 101通过由预定的数据压缩***压缩亮度数据和彩色数据来形成记录图像数据,并通过解压记录图像数据来恢复压缩的原始数据205。CPU101的具有处理执行部、进程信息管理部、资源信息获取部、处理优先级设定部以及处理控制部的功能。
ROM 102存储CPU 101所执行的程序,处理所需的各种类型的数据等。
RAM 103包括用于图像显示(未示)的视频RAM(VRAM),并且主要用作(其中执行各种类型的处理的)工作区。
HDD 104包括硬盘,并根据CPU 101的控制对硬盘执行数据写入/读取操作。
操作单元105包括数字键、字符键、箭头键及功能键等,并且向CPU101提供用户的操作输入。操作单元105可以包括点击设备(pointingdevice),如鼠标。CPU 101控制各单元以执行与(通过用户经由操作单元105输入的)操作输入相对应的处理。
显示单元106包括显示设备,如LCD(液晶显示器)和CRT(阴极射线管),并显示与基于亮度数据和彩色数据形成的图像信号相对应的图像。
记录介质I/F 107对记录介质110(如内存卡、光盘、磁光盘)执行数据写入/读取操作。可选地,作为记录介质I/F 107和记录介质110,也可以使用包括硬盘的HDD。
打印机I/F 108向打印机111输出图像的打印数据等。
[信息处理装置的操作]
图6为示出根据该实施方式的(作为信息处理装置的)PC 100的处理的流程图。这里,样本图像的原始数据文件以压缩状态记录在PC 100的HDD 104中,样本图像为(设置有样本305的)观察区域306的(由成像装置200生成的)图像。
PC 100的CPU 101解压记录在HDD 104中的样本图像的原始数据文件。然后,CPU 101将存储在原始数据文件中所存储的样本图像的原始数据205以解压状态存储在RAM 103的预定存储区中。
CPU 101根据用户或工厂协调的指令预先执行校准处理。校准处理指的是,用于创建涉及由成像装置200进行的校准图像的拍摄的校正表的处理,并且指的是包括交点提取处理(步骤101)以及对齐处理(步骤102)的处理。稍后将详细描述校准处理。
CPU 101对样本图像的原始数据205执行光学校正处理。光学校正处理包括缺陷校正,原始NR(降噪)等(步骤103)。此外,CPU 101对样本图像的原始数据205执行去马赛克处理(步骤104)。去马赛克处理指的是,对以点顺序存储的样本图像的原始数据205的执行RGB同时化处理的处理。下文中,样本图像的每个像素由图像空间上的匹配位置处的R、G、B的三个值组成。需要注意的是,在该实施方式中,在RGB同时化处理之后但在畸变校正之前执行的处理,如伽马校正处理,也包括在去马赛克处理中。
例如,CPU 101经由用户接口搜寻来自用户的、关于是否执行畸变校正的指令(步骤105)。一旦从用户收到执行畸变校正的指令,CPU 101基于通过上述校准处理所获得的校正表来执行畸变校正处理(步骤106)。畸变校正处理指的是,用于校正每个像素中的样本图像形状的畸变(稍后将详细描述)。
CPU 101根据进程标志判断是否存在尚未完成的处理(步骤107)。然后,如果存在尚未完成的处理,则CPU 101继续进行处理,直到不存在尚未完成的处理为止(步骤108)。在该实施方式中,在该步骤中执行所有在畸变校正之后执行的处理。CPU 101对处理后的样本图像的原始数据205进行编码(步骤109),然后结束图像处理。
[交点提取处理]
图7为示出图6所示的步骤101的交点提取处理中使用的校准图像的示图。
例如,假设用户经由操作单元105的校准按钮输入执行校正处理的指令。然后,成像装置200拍摄具有(作为棋盘图案的)棋盘图案1的校准被摄物(未示出)的图像,并且生成校准图像2的原始数据文件。
校准被摄物设置在例如放置在样本台304上的载玻片上。可选地,表面绘制有棋盘图案1的载玻片可以用作校准被摄物。在该实施方式中,由光学显微镜300以20倍的倍率表示的校准被摄物的图像被成像装置200拍摄,并且生成具有60×40(千像素)的尺寸的校准图像2。然而,校准图像2的倍率或尺寸可以适当设定。
在该实施方式中,拍摄棋盘图案1的图像。在棋盘图案1中,(其中的每个均具有一定尺寸的)一个或多个明部3以及一个或多个暗部4在x轴方向和y轴方向上(x轴与y轴为相互正交的两个轴方向)交替排列。棋盘图案1的明部3的具有均一的白色,并且其暗部4具有均一的黑色。此外,明部3和暗部4的形状为边长为50μm的尺寸的正方形。然而,明部3和暗部4的颜色及形状可以适当设定。
CPU 101基于(其图像拍摄的)棋盘图案1的形状来计算理论的棋盘图案1’,并且将理论的棋盘图案1’存储到HDD 104等中。例如,在该实施方式中,基于光学显微镜300的倍率,使用下面的表达式计算棋盘图案1中的明部3和暗部4的每边的尺寸、图像传感器201的像素间距(该实施方式中为5.94μm),理论的棋盘图案1’中的明部3’和暗部4’的每边的尺寸。
[表达式1]
因此,作为明部3’与暗部4’之间的边界的交点5’的坐标在HDD 104中存储为棋盘图案1’的亮度变化点。关于坐标,例如,可以定义原点O’或如图7所示的棋盘图案1’中的左上部等的基准,也可以以原点O’作为基准定义坐标。
校准图像2的原始数据文件被压缩并以压缩状态记录在PC 100的HDD 104中。应当注意的是,由成像装置200生成的校准图像2的原始数据文件可以预先存储在PC 100的HDD 104中。
由于由光学显微镜300的照明光学***302、成像光学***303等构成的复杂的放大光学***,校准图像2中产生难以预测的复杂畸变。图7示出了(形状畸变不复杂)的校准图像2。这是因为,对根据该实施方式的畸变校正处理的描述将容易理解。
CPU 101将解压状态下的校准图像2的原始数据存储在RAM 103的预定区域中。然后,对校准图像2的原始数据执行如图6中步骤103和104所描述的光学校正处理和去马赛克处理。因此,校准图像2成为由照明光学***302、置于样本台304上的载玻片以及成像光学***303引起的(相对于理论的棋盘图案1’)所有形状畸变分量与旋转分量和平移分量重叠的图像。这里使用的旋转分量及平移分量指的是,例如,由于涉及包括在成像光学***303中的透镜的安装的公差、涉及成像装置200的安装的公差、置于样本台304的载玻片的偏差等引起的分量。
CPU 101通过诸如兰索斯(Lanczos)的过滤器将校准图像2的尺寸缩小至256×256(千像素),图像2的原尺寸为60×40(千像素)。然后,CPU 101对尺寸缩小后的校准图像2’执行傅里叶变换。通过缩小校准图像2,可以减少傅里叶变换所需的计算数量。然而,其尺寸未缩小的校准图像2也可以经受傅里叶变换。
图8为示出已经经受傅里叶变换的校准图像2’中的x轴方向上的谱的频率响应及其强度的曲线图。校准图像2’的缩小后尺寸为256×256(像素)因此可以假设采样频率fs为fs=256/256。奈奎斯特(Nyquist)极限为采样频率fs的1/2,因此fs/2=128/256。CPU 101关注小于奈奎斯特极限fs/2的频率,计算出频谱强度变得最大的频率fmax=18/256。
频率fmax=18/256的正弦波为在256(像素)的尺寸内振动18次的正弦波,其波长对应于256/18(像素)。当将正弦波应用在尺寸为60×40(千像素)的校准图像2上时,其波长对应于由以下表达式所表示的333(像素)。
[表达式2]
CPU 101生成(表示正弦曲面的)函数z(x,y)作为校准图像2的亮度分布的标准图案信息。函数z(x,y)由(均有对应于333(像素)的波长的)正弦波sin(fx)和sin(fy)的乘积表示,如下所示。
[表达式3]
z(x,y)=sin(fx)sin(fy)
图9为用于说明由上述函数z(x,y)表示的正弦曲面Z的示图。图9A为示出x轴、y轴和z轴的坐标系C中的曲面Z的示图。设定函数z(x,y)中所使用的sin(fx),使得当x=0时sin(f0)为拐点。类似地,还可以设定sin(fx),使得当y=0时sin(f0)为拐点。因此,如图9A所示,曲面Z为在坐标系C的原点(0,0)处z(0,0)=0的曲面。
这里,假设函数z(x,y)>0的(x,y)的范围为与棋盘图案明部相对应的范围,假设函数z(x,y)<0的(x,y)的范围为与棋盘图案暗部相对应的范围。因此,如图9B,假设在彼此正交的x轴方向和y轴方向上,函数z(x,y)表示(包括均具有333(像素)/2=166.5(像素)的尺寸的多个明部6和暗部7的)棋盘图案8。此外,如图9A所示的坐标系C的原点(0,0)与棋盘图案8的交点9对应。
CPU 101通过使用校准图像2的每个像素的亮度值以及函数z(x,y)来进行卷积,目的在于进行校准图像2和曲面Z的匹配处理。
[表达式4]
相关值=∑I(x′,y′)z(x,y)
这里,I(x’,y’)为位于校准图像2上所定义的坐标(x’,y’)处的像素的亮度值。坐标(x’,y’)与存储在如图7所示的HDD 104等的理论的棋盘图案1’上所定义的坐标对应。换句话说,坐标(x’,y’)为原点在校准图像2左上点处的坐标。另一方面,函数z(x,y)指的是如图9A所示的坐标系C中的坐标。在上述的表达式中,使用了校准图像2的像素的(当校准图像2和曲面Z相互重叠时,位于坐标系C中的坐标(x,y)所表示的位置的)坐标(x’,y’)。因此,如果校准图像2和曲面Z的相对位置改变,则坐标(x,y)的位置处的像素也不同,其坐标(x’,y’)同样发生改变。
当计算的相关值取最大值(局部最大值)时,CPU 101判断校准图像2和曲面Z为最佳匹配。然后,CPU 101确定与那时在坐标系C中所看到的原点(0,0)相对应的像素的坐标(x’,y’),作为充当校正亮度变化点的交点10(见图7)的坐标。因此,交点10由校准图像2提取。只要能够掌握相互关系,就可以适当地设定校准图像2上的坐标(x’,y’)与坐标系C中的坐标(x,y)之间的关系。
在函数z(x,y)中,在使用由x和y的一定范围表示的曲面Z的同时,可以对校准图像2执行局部匹配处理。例如,该范围可以定义如下。
166.5(像素)≤x≤166.5(像素)
-166.5(像素)≤y≤166.5(像素)
因此,通过函数z(x,y),包括与棋盘图案8的两个明部6和两个暗部7相对应的部分的曲面Z被表示为如图9所示。通过在使用曲面Z的同时在校准图像2上局部执行匹配处理,可以高精度地确定校准图像2上的交点10的坐标。可以适当设置x和y的范围。
可选地,在使用在校准图像2上延伸的曲面Z的同时,可以通过在校准图像2和曲面Z上执行一次匹配处理,一次计算出校准图像2上的所有交点的坐标。需要注意的是,除了上述计算外,用于计算相关值的计算的实例包括各种用于判断校准图像2和曲面Z之间的相似性的计算,诸如计算校准图像2和曲面Z重叠的区域的亮度值和函数值之间的差的平方。
通过匹配处理,由照明光学***302、置于样本台304上的载玻片、成像光学***303引起的所有形状畸变分量与旋转分量及平移分量一起被提取为校准图像2的交点10。例如,在拍摄由60×40(千像素)形成的校准图像2的情况下,由于光学显微镜300的照明光学***302、成像光学***303等确定的衍射极限使校准图像2的边缘部变得模糊。在这种情况下,很难仅基于校准图像2每个像素的亮度值来确定交点10。然而,在该实施方式中,可以通过匹配处理来高精度地确定校准图像2的交点10。
CPU 101计算存储在HDD 104等中的理论的棋盘图案1’的交点5’的坐标与在校准图像2上提取的(与交点5’相对应的)交点10的坐标之间的差,作为畸变矢量场。
图10为用于说明畸变矢量场的示图。在下面的描述中,着眼于理论的棋盘图案1’的交点5’和校准图像2的交点10。因此,在图10中,为了便于对描述的理解,简化了对明部和暗部的图示并减少了明部和暗部的数量。此外,在图10中,具有畸变形状的棋盘图案被示出为校准图像2。
如图10所示,CPU 101设定理论的棋盘图案1’,使得相对于在图10的左上部的原点O’没有旋转分量。然后,在校准图像2上,计算理论的棋盘图案1’的交点5’的坐标与其对应的交点10的坐标之间的差,作为畸变矢量场11。因此,畸变矢量场11包括由成像光学***303等引起的形状畸变分量,以及旋转分量和平移分量。
通过使用畸变矢量场11,还可以校正由成像装置200拍摄的样本图像。然而,与样本图像的像素相对应的、包括在畸变矢量场11中的离散数据(矢量12)不需要与坐标的整数顶点相对应。因此其处理并不容易。此外,当具有60×40(千像素)的尺寸的样本图像由包括旋转分量和平移分量的畸变矢量场11校正后,需要大的计算量和大的内存容量。此外,样本图像上的校正量同样较大。因此,很难高精度地实现畸变校正。
鉴于此,在该实施方式中,CPU 101执行下面所描述的对齐处理(图6所示的步骤102)。
[对齐处理]
对齐处理指的是如下处理,其中,通过诸如高斯函数(Gaussianfunction)的评价函数从畸变矢量场11提取旋转分量和平移分量,并且对其执行逆映射,以在与理论的棋盘图案1’的交点5’相对应的空间位置上执行重新采样(resample)。
在该实施方式中,使用下面所描述的函数执行对齐处理。
[表达式5]
u=(ux,uy):重新采样前矢量
U:重新采样前矢量集合
E(x):评估函数(正方形变长为σ高斯函数)
图11~图13为用于具体说明使用上述函数的对齐处理的示图。首先,CPU 101计算如图11所示的畸变矢量场11中的多个矢量的平均矢量13。然后,从畸变矢量场11的每个矢量12减去平均矢量13。因此,从畸变矢量场中移除平移分量,生成如图11所示的中间畸变矢量场14。中间畸变矢量场14为保留了旋转分量的矢量场。
如图12所示,CPU 101将中间畸变矢量场14的每个矢量15转换为极坐标,并生成转换后的中间畸变矢量场14’。中间矢量场14’的每个矢量场15’由角度方向的分量表示,指示旋转分量和从与校准图像2的中心相对应的位置放射状扩散的分量。
CPU 101计算以极坐标表示的多个矢量15’的平均矢量16。将平均矢量16分解为角度分量(即,旋转分量)17和扩散分量18。在分解的旋转分量17和扩散分量18中,提取旋转分量17,并且从转换后的中间畸变矢量场14’的每个矢量15’减去旋转分量17。因此,生成了包括以极坐标表示的多个校正矢量19的校正矢量场20。将校正矢量场20的校正矢量19从极坐标返回到原坐标中,计算出包括多个校正矢量21的校正矢量场22。校正矢量场22具有通过将旋转分量和平移分量从由成像光学***303等引起的所有形状畸变分量中移除而获得的分量。
如图13所示,假设包括(旋转分量和平移分量被移除的)畸变分量的校准图像2被设定在与理论的棋盘图案1’相对应的空间位置上。因此,校正矢量场22对应于由棋盘图案1’上的交点5’的坐标与校准图像2的交点10的坐标之间的差表示的矢量场。将校正矢量场22存储在HDD 104等中,或存储在(由CPU 101作为校正表使用的)RAM 103的预定存储区中。
例如,由于照明光学***302或成像光学***303的设计变化、成像装置200的附接、或随着时间的劣化,可能需要更新校正处理。在这种情况下,例如,通过来自用户的校准指令,执行上述的交点提取处理和对齐处理,并生成校正矢量场22的校正表。
[畸变校正处理]
图14为用于说明图6所示的步骤106的畸变校正处理方法的示图。
基于存储在HDD 104等中的校正矢量场22的校正表,CPU 101计算与样本图像23的每个像素24的坐标相对应的逆映射25。例如,如图14所示,假设样本图像23上的像素24a具有与校准图像2上(在交点提取处理中确定的)交点10的坐标相同的坐标。在这种情况下,包括在校正矢量场22中的校正矢量21的逆矢量计算为(与交点10相对应的)逆映射25a。然后,基于逆映射25a,计算与样本图像23的像素24a相对应的像素26a的校正坐标。当理论的棋盘图案1’与校准图像2被设定为如图13所示时,像素26a的校正坐标与棋盘图案1’的交点5’的坐标相对应。
另一方面,关于具有与校准图像2上的交点10的坐标不同的坐标的像素24b,内插与多个校正矢量21相对应的多个逆映射25a,结果,计算出与像素24b相对应的逆映射25b。在该实施方式中,使用了与(设置在最靠近像素24b周围的)四个像素24a相对应的四个逆映射25a。根据像素24b与设置在像素24b周围的四个像素24a中的每个之间的距离,确定每个逆映射25a的比率,计算相加的比率作为与像素24b相对应的逆映射25b。基于计算的逆映射25b,计算出与像素24b相对应的像素26b的校正坐标。
在根据样本图像23的像素24b的逆映射25b的内插中,例如,可以使用(关于从样本图像23的像素24a开始的一定范围内的像素24b,原样使用相对应于像素24a的逆映射25a的)内插法。除了该内插法,还可以使用各种内插法。此外,可以通过多个校正矢量21内插与像素而非校准图像2的交点10相对应的校正矢量,可以使用其逆矢量作为与样本图像23上的像素24b相对应的逆映射25b。
CPU 101用校正之前的像素24a和24b的亮度值对位于校正之后获得的计算的像素26a和26b的坐标上的像素进行重写(overwrite),因此,样本图像23的畸变得以校正。这里,校正的畸变分量为通过将旋转分量和平移分量从由照明光学***302、载玻片、成像光学***303等引起的所有形状畸变分量中移除而获得的分量。
图15为示出使用校正矢量场22来校正校准图像2时,与理论的棋盘图案1’的比较结果的示图。
在图15中示出的、从校正后的校准图像27上的各交点28延伸的矢量29,均指示距理论的棋盘图案1’的每个交点5’的偏差量。当计算偏差量时,最大偏差量为1.9(像素),平均偏差量为0.6(像素)。此外,在从各交点28延伸的矢量29的方向方面未发现任何规律。换句话说,据发现,通过根据该实施方式的畸变校正处理,以具有0.6(像素)的平均偏差量的公差(即,具有60×40(千像素)尺寸的校准图像2上的1(像素)以下的公差)来校正无规律的复杂畸变。
光学显微镜300的光学***的机制较复杂,叠加了几十倍于装配时的公差。此外,在光学***中,使用了许多关于光轴中心不对称的光学***,诸如反射镜和棱镜。因此,在如上所述的样本图像23上引起复杂的畸变。此外,在光学显微镜300中所包括的具有浅景深的成像光学***中,由于来自光源301的光的放射角或照明孔径,从样本发出的光不平行,并具有一定角度。此外,在(诸如具有不同折射率的载玻片的)玻璃上方拍摄样本的图像。出于这种原因,可能存在如下情况,即,同时也产生关于光轴中心不对称的图像的形状畸变,如光晕。因此,很难在使用基于距畸变中心的距离的表达式的同时校正样本图像23的畸变。此外,即使当旨在从基于图像拍摄条件的模拟值适当设定用于畸变校正的表达式时,由于发生可能无法模拟的畸变的高概率,仍然很难高精度地执行畸变校正。
然而,在作为根据该实施方式的信息处理装置的PC 100中,拍摄包括棋盘图案1的校准被摄物的图像,并生成校准图像2。此外,作为校准图像2亮度分布的标准图案信息,生成了表示正弦曲面Z的函数z(x,y)。然后,通过校准图像2的每个像素的亮度值与函数z(x,y)的值之间的匹配处理,高精度地确定校准图像2上的交点10。因此,基于校准图像2的交点10计算出的畸变矢量场11和校正矢量场22的精度也较高。因此,即使当成像装置200拍摄的样本图像23中产生了难以预测的复杂畸变时,仍能够高精度地校正复杂畸变。因此,可以提高样本图片23的灰度级、分辨率、动态范围扩展、色彩再现等。
此外,在该实施方式中,通过将平移分量和旋转分量从计算的畸变矢量场11中移除而获得的分量被计算为校正矢量场22。如图2所示,样本305(其图像由成像装置200拍摄)置于样本台304上。因此,不会产生在样本图像23中产生光轴方向上的畸变,即深度分量的畸变。结果,平移分量和旋转分量可以从畸变矢量场11中移除。因此,由成像装置200拍摄的样本图像23上的校正量可以减小,结果,实现高精度的图像校正。
此外,对通过拍摄样本305的各部分的图像而获得的多个图像进行拼接处理,对各图像执行根据该实施方式的畸变校正处理。由于如上所述地将平移分量和旋转分量从上述的畸变矢量场11中移除,平移分量和旋转分量保留在各图像中。然而,相对于各图像均具有相同量的平移分量和旋转分量被保留,因此,在各图像上充分进行拼接处理。因此,根据该实施方式的畸变校正处理在拼接处理(其中需要进行高精度的图像校正,因为能够产生足够的效果)中是有效的。
此外,在该实施方式中,例如,在(确定了光源301、照明光学***302、成像光学***303等的)预定图像拍摄条件下的校正矢量场22的校正表存储在HDD 104等中。因此,当在相同的图像拍摄条件下拍摄新样本的图像时,校准图像2被重新拍摄。不需要计算校正矢量场22,可以基于存储在HDD 104中的校正表高度高精度地校正样本图像。因此,可以缩短用于畸变校正的处理时间。
可以响应于用户的指令加载校正表,或者可以自动加载。例如,在执行上述的拼接处理的情况下,如果每当拍摄样本的各部分的图像时自动加载校正表,则用户的便利性得以提高。
(第二实施方式)
将描述根据本发明第二实施方式的信息处理装置。在以下的描述中,对第一实施方式中所描述的成像***400中的各种装置或数据的等同替换不再进行描述或进行简单描述。
图16为用于说明在根据该实施方式的校准图像2上执行的处理的示图。在该实施方式中,CPU对(通过将校准图像2分割为多个区域而获得的)分割区域30中的每个执行傅里叶变换。然后,针对每个分割区域30计算具有最大谱强度的频率,并使用该频率生成表示正弦曲面的函数。在每个分割区域30中,CPU通过使用生成的函数来计算区域中交点10的坐标。
以这种方式,针对具有复杂畸变的校准图像2的每个分割区域30生成表示正弦曲面的函数。因此,生成用于确定交点10的坐标匹配处理的最佳函数。因此,可以高精度地确定分割区域30中的交点10的坐标。
可以适当设定分割区域30的尺寸和数量。在考虑必要的计算量和计算速度、交点10的坐标的确定精度等之后,可以设定分割区域30的预定尺寸和数量。此外,可以设定多个分割区域30使得其间具有重叠区域,例如,使得彼此重叠一个像素。可选地,只有包括校准图像2上的预定区域的分割区域30可以经受傅里叶变换,并生成表示正弦曲面的函数。用基于经受傅里叶变换的分割区域30而生成的函数,对未经受傅里叶变换的分割区域30进行匹配处理,可以确定预定区域内的交点10的坐标。因此,可以缩短用于交点提取的处理时间。
基于为每个分割区域30确定的交点10的坐标,CPU生成图10所示的畸变矢量场11,并随后执行如在第一实施方式中所执行的对齐处理和畸变校正处理。
CPU可以生成用于每个分割区域30的畸变矢量场,并基于畸变矢量场计算每个分割区域30中的校正矢量场。CPU将成像装置200拍摄的样本图像分割为多个分割区域,以便与上述的分割区域30相对应。然后,使用针对每个分割区域30生成的校正矢量场,CPU这对样本图像上的每个分割区域执行畸变校正处理。以这种方式,针对样本图像上的每个分割区域执行畸变校正。结果,即使当样本图像具有例如60×40(千像素)的尺寸并且大量数据被校正时,诸如PC的CPU和RAM等处理资源的负荷得以减轻,并且处理速度得以提高。
根据上述实施方式中的每个的信息处理装置用于例如,对活体的细胞、组织、器官等的(在医学或病理学领域中,由光学显微镜获得的)图像进行数字化的***中,例如以便由医生或病理学家对组织等进行检查,或者基于数字化的图像对病人进行诊断。然而,信息处理装置还可以适用于其他领域。
(其他实施方式)
根据本发明的实施方式不限于上述实施方式,并且其他各种实施方式可以是可能的。
在上述实施方式中,将PC例示为信息处理装置。然而,例如,通过图1所示的成像装置200,可以执行交点提取处理、对齐处理或畸变校正处理的一部分或全部。在这种情况下,使用成像装置200和PC 100作为根据本发明实施方式的信息处理装置。此外,例如,可以使用具有光学显微镜功能的扫描装置等作为包括根据本发明实施方式的光学显微镜的成像装置,该成像装置具有光学显微镜300、成像装置200、图1所示的PC100的功能。
此外,如图17所示,由本发明实施方式中所使用的扫描装置500生成的校准图像或样本图像的原始数据可以存储在不同于PC 100或服务器600的计算机中,并且用户作为终端装置使用的PC 100可以通过访问那些不同的计算机和服务器600来接收原始数据。在这种情况下,作为终端装置的PC 100和服务器600可以经由(诸如LAN(局域网)和WAN(广域网)的)网络700连接。特别地,通过使用WAN可以实现远程病理学或远程诊断。
在第一实施方式中,如图8所示,使用具有最大(通过在x轴方向上对校准图像2执行傅里叶变换计算出的)谱强度的频率,可以生成表示正弦曲面Z的函数z(x,y)。然而,可以使用具有最大(通过在y轴方向上对的校准图像2执行傅里叶变换计算出的)谱强度的频率。可选地,作为函数z(x,y),可以使用在x轴方向上计算出的频率的正弦波与在y轴方向上计算出的频率的正弦波的乘积。
在以上描述中,对预先执行交点提取处理和对齐处理的情况进行了描述。然而,交点提取处理和对齐处理的一部分或全部可以与畸变校正处理同时执行。在这种情况下,用于保持样本的载玻片可以设置有(具有校准图案的)校准被摄物。
在以上描述中,棋盘图案用作校准图案。代替棋盘图案,例如,点图案、MTF(调制传递函数)图案等用作校准图案。
在以上描述中,在光学校正处理和去马赛克处理之后,执行交点提取处理、对齐处理、畸变校正处理。然而,也可以在光学校正处理和去马赛克处理之前,执行交点提取处理、对齐处理或畸变校正处理的一部分或全部。
在以上描述中,为了确定校准图像的交点,计算校准图像的每个像素的亮度值与表示正弦曲面的函数的值之间的相关值。然而,为了确定交点,可以对校准图像和通过移动校准图像而获得的图像进行匹配处理。此外,对于确定交点的匹配处理,可以使用诸如图案识别和学习电路的算法。
在以上描述中,创建了在执行对齐处理执行之后获得的校正矢量场的校正表。然而,例如,也可以创建在执行对齐处理执行之前获得的校正矢量场的校正表,而且可以在执行畸变校正处理执的时候,对读取的畸变矢量场执行对齐处理。此外,可以创建如下校正表,其中,将校正矢量场的每个矢量的逆矢量存储为逆映射。
此外,作为校正表,可以创建如下校正表,其中,存储了与样本图像的各像素相对应的(包括内插校正矢量的)全部校正矢量。可选地,在与周围像素进行平滑处理之后,可以将校正矢量场存储为校正表。此外,通过执行傅里叶变换并使用表达式或系数,可以创建校正表。
可以相对于样本图像的各像素针对每个R、G或B计算校正矢量场。可选地,可以针对对应于滤色器的每个R、Gr、Gb或B计算校正矢量场。
此外,每当Z位置、相对于观察区域的成像位置、照明光学***、成像光学***、样本、传感器、成像装置、图像处理方法、温度、视场光阑、曝光时间、模拟增益设定值、曝光校正设定值、色度设定值、倍率设定值等改变时,执行校正处理的同时,可以创建校正矢量场的校正表。
在以上描述中,使用了校正矢量场的所有校正矢量,但是要使用的校正矢量的数量可以减少,从而缩短处理时间或减少计算量。例如,关于预定范围内的多个像素,分配了相同的校正矢量,结果,可以减少畸变校正处理中使用的校正矢量的数量。
在以上的描述中,如图3所示的成像装置200创建了包含校准图像和样本图像的原始数据的原始数据文件。然而,通过成像装置200,可以对原始数据进行图像处理,或者可以创建包含(诸如用于识别成像装置200的信息和用于识别图像拍摄条件的信息的)各种类型的数据的原始数据文件。此外,各种类型的数据可以用于交点提取处理、对齐处理或畸变校正处理。
此外,每个图像的原始数据、校正表或已经受上述畸变校正处理的样本图像可以用于获得校准过程或畸变校正过程中所使用的统计数据,校准数据等。
在以上的描述中,具有棋盘图案的被摄物的图像由成像装置拍摄,并生成校准图像。然而,可以将从具有棋盘图案的光源发射的照明光应用于具有80%的均匀灰色的被摄物,例如,并且在该状态下拍摄被摄物的图像,从而生成校准图像。此外,可以拍摄校准图像,从而获得理想的畸变特性。
本申请包含涉及于2010年3月5日向日本专利局提交的日本优先权专利申请JP 2010049020中披露的主题内容,其全部内容结合于此作为参考。
本领域技术人员应该理解,在权利要求或其等同替换的范围内,根据设计要求和其它因素,可以进行各种变形、组合、次组合和修改。
Claims (8)
1.一种信息处理装置,包括:
第一存储装置,用于存储校准图案中的多个亮度变化点的坐标,在所述亮度变化点上,亮度发生变化,所述校准图案具有亮度在相互正交的两个轴方向上有规律地变化的亮度分布;
生成装置,用于生成与校准图像的亮度分布有关的标准图案信息,所述校准图像通过由能够拍摄通过光学显微镜获得的图像的成像装置拍摄校准图案的图像而生成;
确定装置,用于通过所述校准图像的亮度分布与所生成的标准图案信息之间的匹配处理,确定所述校准图像的亮度变化点的坐标作为校正亮度变化点的坐标,所述亮度变化点对应于所述校准图案的多个亮度变化点中的每个;
第一计算装置,用于计算所存储的所述多个亮度变化点的坐标与由所述确定装置根据所述多个亮度变化点确定的所述校正亮度变化点的坐标之间的差,作为畸变矢量场;
第二计算装置,用于计算通过从所述畸变矢量场去除平移分量和旋转分量而获得的分量,作为校正矢量场;以及
校正装置,用于通过使用所计算出的校正矢量场对由所述成像装置拍摄的图像进行校正。
2.根据权利要求1所述的信息处理装置,还包括:
第二存储装置,用于存储由所述第二计算装置计算的所述校正矢量场,其中
所述校正装置通过使用由所述第二存储装置存储的所述校正矢量场对所述图像进行校正。
3.根据权利要求1所述的信息处理装置,其中
所述生成装置生成与每个分割区域的亮度信息有关的标准图案信息,所述分割区域通过将所述校准图像分割为多个区域而获得,以及
所述确定装置通过每个分割区域的亮度分布与针对每个所述分割区域生成的所述标准图案信息之间的匹配处理来确定每个所述分割区域内的所述校正亮度变化点的坐标。
4.根据权利要求1所述的信息处理装置,其中
所述校准图案由棋盘图案构成,在所述棋盘图案中,一个或多个明部以及一个或多个暗部交替排列,所述明部和所述暗部在两个轴方向上均具有一定尺寸,
所述第一存储装置存储与所述棋盘图案上的所述明部和所述暗部之间的边界相对应的多个交点的坐标,
所述生成装置对所述校准图像执行傅里叶变换,以计算两个轴方向中的每个方向上具有最大谱强度的频率,并通过使用所计算出的两个轴方向的频率中的至少一个来生成所述标准图案信息,以及
所述确定装置计算所述校准图像的每个像素的亮度值与所述标准图案信息之间的相关值,以确定与所述校准图像中的明部和暗部之间的边界相对应的多个交点的坐标。
5.一种由信息处理装置执行的信息处理方法,所述方法包括:
存储校准图案中的多个亮度变化点的坐标,在所述亮度变化点上,亮度发生变化,所述校准图案具有亮度在相互正交的两个轴方向上有规律地变化的亮度分布;
生成与校准图像的亮度分布有关的标准图案信息,所述校准图像通过由能够拍摄通过光学显微镜获得的图像的成像装置拍摄校准图案的图像而生成;
通过所述校准图像的亮度分布与所生成的所述标准图案信息之间的匹配处理,确定所述校准图像的亮度变化点的坐标作为校正亮度变化点的坐标,所述亮度变化点对应于所述校准图案的多个亮度变化点中的每个;
计算所存储的所述多个亮度变化点的坐标与由所述确定装置根据所述多个亮度变化点确定的所述校正亮度变化点的坐标之间的差,作为畸变矢量场;
计算通过从所述畸变矢量场移除平移分量和旋转分量而获得的分量,作为校正矢量场;以及
通过使用所计算出的校正矢量场对由所述成像装置拍摄的图像进行校正。
6.一种程序,使信息处理装置执行以下步骤:
存储校准图案中的多个亮度变化点的坐标,在所述亮度变化点上,亮度发生变化,所述校准图案具有亮度在相互正交的两个轴方向上有规律地变化的亮度分布;
生成与校准图像的亮度分布有关的标准图案信息,所述校准图像通过由能够拍摄通过光学显微镜获得的图像的成像装置拍摄校准图案的图像而生成;
通过所述校准图像的亮度分布与所生成的所述标准图案信息之间的匹配处理,确定所述校准图像的亮度变化点的坐标作为校正亮度变化点的坐标,所述亮度变化点对应于所述校准图案的多个亮度变化点中的每个;
计算所存储的所述多个亮度变化点的坐标与由所述确定装置根据所述多个亮度变化点确定的所述校正亮度变化点的坐标之间的差,作为畸变矢量场;
计算通过从所述畸变矢量场移除平移分量和旋转分量而获得的分量,作为校正矢量场;以及
通过使用所计算出的校正矢量场对由所述成像装置拍摄的图像进行校正。
7.一种成像设备,包括:
光学显微镜;
成像装置,能够拍摄由所述光学显微镜获得的图像;
存储装置,用于存储校准图案中的多个亮度变化点的坐标,在所述亮度变化点上,亮度发生变化,所述校准图案具有亮度在相互正交的两个轴方向上有规律地变化的亮度分布;
生成装置,用于生成与校准图像的亮度分布有关的标准图案信息,所述校准图像通过由成像装置拍摄校准图案的图像而生成;
确定装置,用于通过所述校准图像的亮度分布与所生成的标准图案信息之间的匹配处理,确定所述校准图像的亮度变化点的坐标作为校正亮度变化点的坐标,所述亮度变化点对应于所述校准图案的多个亮度变化点中的每个;
第一计算装置,用于计算所存储的所述多个亮度变化点的坐标与由所述确定装置根据所述多个亮度变化点确定的所述校正亮度变化点的坐标之间的差,作为畸变矢量场;
第二计算装置,用于计算通过从所述畸变矢量场移除平移分量和旋转分量而获得的分量,作为校正矢量场;以及
校正装置,用于通过使用所计算出的校正矢量场对由所述成像装置拍摄的图像进行校正。
8.一种信息处理装置,包括:
第一存储部,被配置为存储校准图案中的多个亮度变化点的坐标,在所述亮度变化点上,亮度发生变化,所述校准图案具有亮度在相互正交的两个轴方向上有规律地变化的亮度分布;
生成部,被配置为生成与校准图像的亮度分布有关的标准图案信息,所述校准图像通过由能够拍摄通过光学显微镜获得的图像的成像部拍摄校准图案的图像而生成;
确定部,被配置为通过所述校准图像的亮度分布与所生成的标准图案信息之间的匹配处理,确定所述校准图像的亮度变化点的坐标作为校正亮度变化点的坐标,所述亮度变化点对应于所述校准图案的多个亮度变化点中的每个;
第一计算部,被配置为计算所存储的所述多个亮度变化点的坐标与由所述确定部根据所述多个亮度变化点确定的所述校正亮度变化点的坐标之间的差,作为畸变矢量场;
第二计算部,被配置为计算通过从所述畸变矢量场移除平移分量和旋转分量而获得的分量,作为校正矢量场;以及
校正部,被配置为通过使用所计算出的校正矢量场对由所述成像部拍摄的图像进行校正。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010049020A JP2011188083A (ja) | 2010-03-05 | 2010-03-05 | 情報処理装置、情報処理方法、プログラム、及び光学顕微鏡を搭載した撮像装置 |
JP2010-049020 | 2010-03-05 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102194217A true CN102194217A (zh) | 2011-09-21 |
Family
ID=44531005
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2011100469400A Pending CN102194217A (zh) | 2010-03-05 | 2011-02-25 | 信息处理装置、方法及包括光学显微镜的成像装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9124775B2 (zh) |
JP (1) | JP2011188083A (zh) |
CN (1) | CN102194217A (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104091341A (zh) * | 2014-07-18 | 2014-10-08 | 厦门美图之家科技有限公司 | 一种基于显著性检测的图像模糊检测方法 |
CN104809696A (zh) * | 2014-01-27 | 2015-07-29 | 中国科学院苏州纳米技术与纳米仿生研究所 | 图像畸变矫正方法和*** |
CN107077722A (zh) * | 2014-08-29 | 2017-08-18 | 卡尔蔡司显微镜有限责任公司 | 图像捕获装置及图像捕获方法 |
CN107852484A (zh) * | 2015-07-08 | 2018-03-27 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
CN109905717A (zh) * | 2017-12-11 | 2019-06-18 | 四川大学 | 一种基于空时域下采样与重建的h.264/avc编码优化方法 |
CN110244085A (zh) * | 2018-03-08 | 2019-09-17 | 株式会社岛津制作所 | 扫描探针显微镜以及表面图像校正方法 |
CN111627074A (zh) * | 2020-05-12 | 2020-09-04 | Oppo广东移动通信有限公司 | 校正方法、校正***和计算机可读存储介质 |
CN111857623A (zh) * | 2019-04-25 | 2020-10-30 | 索尼互动娱乐股份有限公司 | 校准设备、校准***和显示设备校准方法 |
CN112912927A (zh) * | 2018-10-18 | 2021-06-04 | 富士通株式会社 | 计算方法、计算程序及信息处理装置 |
CN113516645A (zh) * | 2021-07-23 | 2021-10-19 | 南京中安半导体设备有限责任公司 | 成像平面空间的校正方法及其校正装置以及晶圆测量装置 |
CN113589323A (zh) * | 2021-07-07 | 2021-11-02 | 浙江理工大学 | 基于高度矢量场的道路障碍物识别方法 |
CN114463432A (zh) * | 2021-12-21 | 2022-05-10 | 国核电力规划设计研究院有限公司 | 一种用于陀螺仪电子防抖的参数校正方法 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6055391B2 (ja) * | 2012-11-05 | 2016-12-27 | 株式会社デンソーアイティーラボラトリ | 関連性判定装置、関連性判定プログラム、及び関連性判定方法 |
US10176567B2 (en) * | 2015-12-21 | 2019-01-08 | Canon Kabushiki Kaisha | Physical registration of images acquired by Fourier Ptychography |
CN108076076A (zh) * | 2016-11-09 | 2018-05-25 | 长沙博为软件技术股份有限公司 | 电动控制采集图像与拼接相结合的远程病理诊断实现方法 |
JP6906177B2 (ja) | 2016-11-18 | 2021-07-21 | パナソニックIpマネジメント株式会社 | 交点検出装置、カメラ校正システム、交点検出方法、カメラ校正方法、プログラムおよび記録媒体 |
CN108074267B (zh) | 2016-11-18 | 2023-08-11 | 松下知识产权经营株式会社 | 交点检测装置及方法、摄像头校正***及方法及记录介质 |
JP7226337B2 (ja) * | 2018-01-16 | 2023-02-21 | 株式会社ニコン | 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、および復号プログラム |
CN110415194B (zh) * | 2019-08-07 | 2022-07-05 | 哈尔滨工业大学(深圳) | 一种弓形虫高倍显微图像生成方法及*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5841124A (en) * | 1996-06-19 | 1998-11-24 | Neopath, Inc. | Cytological system autofocus integrity checking apparatus |
US6768509B1 (en) * | 2000-06-12 | 2004-07-27 | Intel Corporation | Method and apparatus for determining points of interest on an image of a camera calibration object |
US6816187B1 (en) * | 1999-06-08 | 2004-11-09 | Sony Corporation | Camera calibration apparatus and method, image processing apparatus and method, program providing medium, and camera |
CN1874410A (zh) * | 2005-06-01 | 2006-12-06 | 索尼公司 | 成像装置和成像装置中的成像结果处理方法 |
CN101026778A (zh) * | 2007-03-14 | 2007-08-29 | 北京理工大学 | Ccd摄像***的畸变测量校正方法和综合测试靶 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4969036A (en) * | 1989-03-31 | 1990-11-06 | Bir Bhanu | System for computing the self-motion of moving images devices |
US5991437A (en) * | 1996-07-12 | 1999-11-23 | Real-Time Geometry Corporation | Modular digital audio system having individualized functional modules |
US6385329B1 (en) * | 2000-02-14 | 2002-05-07 | Digimarc Corporation | Wavelet domain watermarks |
KR20080051184A (ko) * | 2005-09-22 | 2008-06-10 | 쓰리엠 이노베이티브 프로퍼티즈 컴파니 | 3차원 이미징에서의 아티팩트 완화 |
US8406562B2 (en) * | 2006-08-11 | 2013-03-26 | Geo Semiconductor Inc. | System and method for automated calibration and correction of display geometry and color |
US7892165B2 (en) * | 2006-10-23 | 2011-02-22 | Hoya Corporation | Camera calibration for endoscope navigation system |
DE102006055758B4 (de) * | 2006-11-25 | 2010-02-18 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Verfahren zur Kalibrierung von Kameras und Projektoren |
JP4848001B2 (ja) * | 2008-12-18 | 2011-12-28 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置および画像処理方法 |
-
2010
- 2010-03-05 JP JP2010049020A patent/JP2011188083A/ja active Pending
-
2011
- 2011-02-25 CN CN2011100469400A patent/CN102194217A/zh active Pending
- 2011-02-25 US US13/035,566 patent/US9124775B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5841124A (en) * | 1996-06-19 | 1998-11-24 | Neopath, Inc. | Cytological system autofocus integrity checking apparatus |
US6816187B1 (en) * | 1999-06-08 | 2004-11-09 | Sony Corporation | Camera calibration apparatus and method, image processing apparatus and method, program providing medium, and camera |
US6768509B1 (en) * | 2000-06-12 | 2004-07-27 | Intel Corporation | Method and apparatus for determining points of interest on an image of a camera calibration object |
CN1874410A (zh) * | 2005-06-01 | 2006-12-06 | 索尼公司 | 成像装置和成像装置中的成像结果处理方法 |
CN101026778A (zh) * | 2007-03-14 | 2007-08-29 | 北京理工大学 | Ccd摄像***的畸变测量校正方法和综合测试靶 |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104809696A (zh) * | 2014-01-27 | 2015-07-29 | 中国科学院苏州纳米技术与纳米仿生研究所 | 图像畸变矫正方法和*** |
CN104809696B (zh) * | 2014-01-27 | 2018-08-24 | 中国科学院苏州纳米技术与纳米仿生研究所 | 图像畸变矫正方法和*** |
CN104091341A (zh) * | 2014-07-18 | 2014-10-08 | 厦门美图之家科技有限公司 | 一种基于显著性检测的图像模糊检测方法 |
CN107077722A (zh) * | 2014-08-29 | 2017-08-18 | 卡尔蔡司显微镜有限责任公司 | 图像捕获装置及图像捕获方法 |
CN107077722B (zh) * | 2014-08-29 | 2020-12-11 | 卡尔蔡司显微镜有限责任公司 | 图像记录设备及用于记录图像的方法 |
CN107852484B (zh) * | 2015-07-08 | 2021-08-13 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
CN107852484A (zh) * | 2015-07-08 | 2018-03-27 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
CN109905717A (zh) * | 2017-12-11 | 2019-06-18 | 四川大学 | 一种基于空时域下采样与重建的h.264/avc编码优化方法 |
CN110244085A (zh) * | 2018-03-08 | 2019-09-17 | 株式会社岛津制作所 | 扫描探针显微镜以及表面图像校正方法 |
CN110244085B (zh) * | 2018-03-08 | 2022-03-11 | 株式会社岛津制作所 | 扫描探针显微镜以及表面图像校正方法 |
CN112912927A (zh) * | 2018-10-18 | 2021-06-04 | 富士通株式会社 | 计算方法、计算程序及信息处理装置 |
CN111857623A (zh) * | 2019-04-25 | 2020-10-30 | 索尼互动娱乐股份有限公司 | 校准设备、校准***和显示设备校准方法 |
CN111627074A (zh) * | 2020-05-12 | 2020-09-04 | Oppo广东移动通信有限公司 | 校正方法、校正***和计算机可读存储介质 |
CN111627074B (zh) * | 2020-05-12 | 2024-05-14 | Oppo广东移动通信有限公司 | 校正方法、校正***和计算机可读存储介质 |
CN113589323A (zh) * | 2021-07-07 | 2021-11-02 | 浙江理工大学 | 基于高度矢量场的道路障碍物识别方法 |
CN113516645A (zh) * | 2021-07-23 | 2021-10-19 | 南京中安半导体设备有限责任公司 | 成像平面空间的校正方法及其校正装置以及晶圆测量装置 |
CN114463432A (zh) * | 2021-12-21 | 2022-05-10 | 国核电力规划设计研究院有限公司 | 一种用于陀螺仪电子防抖的参数校正方法 |
Also Published As
Publication number | Publication date |
---|---|
US9124775B2 (en) | 2015-09-01 |
JP2011188083A (ja) | 2011-09-22 |
US20110216184A1 (en) | 2011-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102194217A (zh) | 信息处理装置、方法及包括光学显微镜的成像装置 | |
CN102833460B (zh) | 图像处理方法、图像处理设备及扫描仪 | |
JP4468442B2 (ja) | イメージングシステム性能測定 | |
CN102098410B (zh) | 信息处理设备和方法及包括光学显微镜的成像设备 | |
EP1395952B1 (en) | Method and system for processing a non-linear two dimensional spatial transformation | |
US7738730B2 (en) | Method of image analysis using sparse hough transform | |
CN100405805C (zh) | 图像处理装置、图像投影装置、图像处理方法 | |
JP7292979B2 (ja) | 画像処理装置及び画像処理方法 | |
JPWO2018235163A1 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
CN1734500A (zh) | 利用基于模型的稳健贝叶斯估算计算较高分辨率图像 | |
JP2001124522A (ja) | 画像処理を用いたひび割れ評価装置 | |
JP2003283804A (ja) | 綴じ部の湾曲の補正方法およびシステム | |
CN109035170A (zh) | 基于单网格图分段映射的自适应广角图像校正方法及装置 | |
JP2005149500A (ja) | 多焦点画像スタック内の歪みの補正方法 | |
JP2012050013A (ja) | 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム | |
CN111179173B (zh) | 一种基于离散小波变换和坡度融合算法的图像拼接方法 | |
CN111462246A (zh) | 一种结构光测量***的设备标定方法 | |
JP2005045723A (ja) | 画像補正装置 | |
JPH1096606A (ja) | 形状計測方法及び装置 | |
CN110533769B (zh) | 一种翻开书本图像的平整化方法及终端 | |
JP2020170257A (ja) | 画像処理装置およびその制御方法 | |
JP4548228B2 (ja) | 画像データ作成方法 | |
Xia et al. | A coarse-to-fine ghost removal scheme for HDR imaging | |
JP2006202152A (ja) | 画像処理装置および画像処理方法並びにこれらに用いるプログラム | |
JP5563390B2 (ja) | 画像処理装置およびその制御方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20110921 |