CN117546007A - 信息处理装置、生物样本观察***及图像生成方法 - Google Patents

Abstract

根据本公开的一个方面的信息处理装置设置有：荧光分离单元(131A)，是分离单元的一个示例，该荧光分离单元从根据荧光染料的样品图像获得的荧光成分中分离染料荧光成分和自发荧光成分中的至少一种；生成单元(131B)，基于样品图像与分离之后的图像之间的差异来计算每个像素中的分离精度，并且生成示出每个像素中的分离精度的分离精度图像，在分离之后的图像中染料荧光成分和自发荧光成分中的至少一种已从荧光成分分离；以及评估单元(131C)，基于分离精度图像识别包括分离精度异常值的像素。

Description

信息处理装置、生物样本观察***及图像生成方法

技术领域

本公开涉及信息处理装置、生物样本观察***以及图像生成方法。

背景技术

在生物荧光成像中，需要用于分离源自生物组织的染色的荧光和非预期的自发荧光的颜色分离技术。例如，在多路复用荧光成像技术中，为了光谱地分离自发荧光并且提取目标染色荧光，如在专利文献1中一样，已经开发了使用诸如最小二乘法或者非负矩阵因式分解的方法的颜色分离技术。

现有技术文献

专利文献

专利文献1：WO 2020/179586

发明内容

本发明要解决的技术问题

然而，在当前的颜色分离技术中，存在不能完全去除具有高荧光亮度的自发荧光成分的情况。例如，尚未完全去除具有高荧光亮度的红血细胞成分，并且已经确认泄漏至分离图像。这种具有大荧光亮度的自发荧光成分导致分离图像精度和分离精度的劣化。

因此，本公开提出了能够提高分离图像精度和分离精度的信息处理装置、生物样本观察***以及图像生成方法。

问题的解决方案

根据本公开的实施方式的信息处理装置包括：分离单元，从根据荧光染色的样品图像获得的荧光成分中分离出染色的荧光成分以及自发荧光成分中的至少一者；生成单元，从样品图像和通过从荧光成分分离出染色的荧光成分以及自发荧光成分中的至少一者而获得的分离之后的图像之间的差异来计算每个像素的分离精度，并且生成指示每个像素的分离精度的分离精度图像；以及评估单元，从分离精度图像识别包括分离精度的异常值的像素。

根据本公开的实施方式的生物样品观察***包括：成像装置，获取荧光染色的样品图像；以及信息处理装置，处理样品图像，其中信息处理装置包括分离单元，该分离单元将染色的荧光成分以及自发荧光成分中的至少一者与从样品图像获得的荧光成分分离；生成单元，从样品图像和通过从荧光成分分离出染色的荧光成分以及自发荧光成分中的至少一者而获得的分离之后的图像之间的差异来计算每个像素的分离精度，并且生成指示每个像素的分离精度的分离精度图像；以及评估单元，从分离精度图像识别包括分离精度的异常值的像素。

根据本公开的实施方式的图像生成方法包括：从荧光染色的样品图像和通过从样品图像获得的荧光成分中分离染色的荧光成分以及自发荧光成分中的至少一者而获得的分离之后的图像之间的差异计算每个像素的分离精度；以及生成指示每个像素的分离精度的分离精度图像。

附图说明

图1是示出根据本公开的实施方式的信息处理***的示意性配置的示例的示图。

图2是示出根据本公开的实施方式的信息处理装置的基本处理流程的示例的流程图。

图3是是示出示出根据本公开的实施方式的分析单元的示意性配置的示例的示图。

图4是示出根据本公开的实施方式的用于产生连接的荧光光谱的方法的示例的示图。

图5是示出根据本公开的实施方式的关于范数处理的分析单元的示意性配置的示例的示图。

图6是示出根据本公开的实施方式的范数处理的示例的流程的流程图。

图7是示出根据本公开的实施方式的颜色分离计算和范数图像生成的第一处理示例的流程的流程图。

图8是示出根据本公开的实施方式的颜色分离计算和范数图像生成的第二处理示例中使用未染色样本的连接的荧光光谱的分析单元的示意性配置的示例的示图。

图9是示出根据本公开的实施方式的颜色分离计算和范数图像生成的第二处理示例的流程的流程图。

图10是示出根据本公开的实施方式的颜色分离计算和范数图像生成的第三处理示例的流程的流程图。

图11是示出图10中的步骤的处理的示图。

图12是示出图10中的步骤的处理的示图。

图13是示出根据本公开的实施方式的颜色分离计算和范数图像生成的第四处理示例的流程的流程图。

图14是示出根据本公开的实施方式的范数图像和分离图像的比较示例的示图。

图15是示出根据本公开的实施方式的校正单元的处理的示例的示图。

图16是示出根据本公开的实施方式的呈现图像的示例的示图。

图17是示出根据本公开的实施方式的UI图像的示例的示图。

图18是示出根据本公开的实施方式的UI图像的示例的示图。

图19是示出根据本公开的实施方式的呈现处理的示例的流程的流程图。

图20是示出根据本公开的实施方式具有超过异常值的高范数值的像素的光谱(红血细胞光谱)的示图。

图21是示出根据本公开的实施方式的颜色分离处理的示例的流程的流程图。

图22是示出根据本公开的实施方式的荧光观察装置的示意性配置的示例的示图。

图23是示出根据本公开的实施方式的观察单元的示意性配置的示例的示图。

图24是示出根据本公开的实施方式的样本的示例的示图。

图25是示出根据本公开实施方式的样本用线照射照射的区域的放大图。

图26是示出根据本公开的实施方式的分析单元的示意性配置的示例的示图。

图27是示出根据本公开的实施方式的模拟图像的生成的示图。

图28是示出根据本公开的实施方式的模拟图像生成处理的流程的示例的流程图。

图29是示出根据本公开的实施方式的散粒噪声叠加处理的示图。

图30是示出根据本公开的实施方式的定量评估处理的流程的示例的流程图。

图31是示出根据本公开的实施方式的分离图像和直方图的实施例的图。

图32是示出根据本公开的实施方式的基于直方图计算信号分离值的示图。

图33是示出根据本公开的实施方式的分离图像的示例的示图。

图34是示出根据本公开的实施方式的分离图像的示例的示图。

图35是示出根据本公开的实施方式的分离图像的示例的示图。

图36是示出根据本公开的实施方式的每个染料的信号分离值的柱状图。

图37是示出根据本公开的实施方式的每个染料的信号分离值的散布图。

图38是示出根据本公开的实施方式的分析单元的示意性配置的示例的示图。

图39是示意性地示出显微镜***的整体配置的示图。

图40是示出成像方法的示例的示图。

图41是示出成像方法的示例的示图。

图42是示出信息处理装置的硬件的示意性配置的示例的示图。

具体实施方式

在下文中，将参考附图详细描述本公开的实施方式。应注意，根据本公开的装置、***、方法等不受实施方式的限制。此外，在本说明书和附图中，具有基本上相同的功能配置的部件基本上由相同的参考标号表示，并且省略冗余的描述。

以下描述的一个或多个实施方式可以各自独立实现。另一方面，以下描述的多个实施方式中的至少一些可以与其他实施方式中的至少一些适当地组合。该多个实施方式可以包括彼此不同的新颖特征。因此，多个实施方式可有助于解决不同的目的或问题，并且可表现出不同的效果。

将根据以下项目顺序描述本公开。

1.实施方式

1-1.信息处理***的配置示例

1-2.信息处理装置的基本处理示例

1-3.荧光分离的处理示例

1-4.分析单元的关于范数处理的配置示例

1-5.范数处理的示例

1-6.颜色分离计算和范数图像生成的处理示例

1-6-1.第一处理示例

1-6-2.第二处理示例

1-6-3.第三处理示例

1-6-4.第四处理示例

1-7.范数图像和分离图像的比较示例

1-8.校正单元的处理示例

1-9.呈现单元的处理示例

1-10.颜色分离处理的示例

1-11.应用示例

1-12.作用和效果

2.定量评估的示例

2-1.定量评价的概述

2-2.与定量评估相关的分析单元的配置示例

2-3.模拟图像创建的处理示例

2-4.定量评估的处理示例

2-5.分离图像的图像示例

2-6.评估结果图像的图像示例

2-7.操作和效果

3.定量评估的修改

3-1.与定量评估相关的分析单元的配置示例

3-2.作用和效果

4.其他实施方式

5.应用示例

6.硬件的配置示例

7.附录

<1.实施方式>

<1-1.信息处理***的配置示例>

将参考图1描述根据本实施方式的信息处理***的配置示例。图1是示出根据本实施方式的信息处理***的示意性配置的示例的示图。信息处理***是生物样本观察***的实施例。

如图1所示，根据本实施方式的信息处理***包括信息处理装置100和数据库200。作为对信息处理***的输入，存在荧光试剂10A、样品20A和荧光染色样品30A。

(荧光试剂10A)

荧光试剂10A是用于染色样品20A的化学品。例如，荧光试剂10A是荧光抗体、荧光探针、核染色试剂等，但是荧光试剂10A的类型没有特别限制。荧光抗体例如包括用于直接标记的第一抗体或用于间接标记的第二抗体。此外，利用能够识别荧光试剂10A和附接至其的荧光试剂10A的生产批次的识别信息管理荧光试剂10A。以下，将识别信息称为“试剂识别信息11A”。试剂识别信息11A例如是一维的条形码信息或二维的条形码信息等的条形码信息，但不限于此。对于每个生产批次，荧光试剂10A的性质是不同的，这取决于生产方法、获得抗体的细胞的状态等，甚至对于相同类型的产品。例如，在荧光试剂10A中，光谱信息、量子产率、荧光标记率等对于每个生产批次是不同的。荧光标记率也称为“F/P值：荧光素/蛋白质”，并且是指标记抗体的荧光分子的数目。因此，在根据本实施方式的信息处理***中，通过附接试剂识别信息11A为每个生产批次管理荧光试剂10A。换言之，针对每个生产批次管理每个荧光试剂10A的试剂信息。因此，信息处理装置100可考虑每个生产批次出现的特性的微小差异来分离荧光信号和自发荧光信号。注意，以生产批次为单位管理荧光试剂10A仅是示例，并且可以以比生产批次更精细的单元管理荧光试剂10A。

(样品20A)

为了病理诊断、临床检查等的目的，从样本或从人体收集的组织样本中制备样品20A。对于样品20A，所使用的组织的类型(例如，器官或细胞)、感兴趣的疾病的类型、受试者的属性(例如，年龄、性别、血型或种族)或受试者的日常习惯(例如，饮食习惯、运动习惯或吸烟习惯)没有特别限制。另外，样品20A被附着有能够识别各样品20A的识别信息来管理。在下文中，识别信息被称为“样品识别信息21A”。作为试剂识别信息11A，样品识别信息21A例如是一维条形码信息或二维条形码信息等的条形码信息，但不限于此。样品20A的性质根据所使用的组织的种类、对象疾病的种类、被检体的属性、被检体的日常习惯等而不同。例如，在样品20A中，测量通道和光谱信息等根据所使用的组织的类型等而变化。因而，在本实施方式的信息处理***中，通过附加样品识别信息21A来分别管理样品20A。因此，信息处理装置100可考虑每个样品20A出现的特性的微小差异来分离荧光信号和自发荧光信号。

(荧光染色样品30A)

通过用荧光试剂10A染色样品20A来制备荧光染色样品30A。在本实施方式中，假定在荧光染色样品30A中，样品20A被至少一种荧光试剂10A染色，但是用于染色的荧光试剂10A的数目没有特别限制。此外，染色方法通过样品20A和荧光试剂10A中的每的组合等来确定，并且不受特别限制。荧光染色样品30A被输入到信息处理装置100并被成像。

(信息处理装置100)

如图1所示，信息处理装置100包括获取单元110、存储单元120、处理单元130、显示单元140、控制单元150和操作单元160。

(获取单元110)

获取单元110被配置为获取用于信息处理装置100的各种处理的信息。如图1所示，获取单元110包括信息获取单元111和图像获取单元112。

(信息获取单元111)

信息获取单元111用于获取试剂信息和样品信息。更具体地，信息获取单元111获取附着于用于产生荧光染色样品30A的荧光试剂10A的试剂识别信息11A和附着于样品20A的样品识别信息21A。例如，信息获取单元111使用条形码读取器等来取得试剂识别信息11A和样品识别信息21A。然后，信息获取单元111从数据库200获取基于试剂识别信息11A的试剂信息和基于样品识别信息21A的样品信息。信息获取单元111将获取的信息存储在后面描述的信息存储单元121中。

(图像获取单元112)

图像获取单元112被配置为获取荧光染色样品0A和用至少一种荧光试剂10A染色的样品20A的图像信息。更具体地，图像获取单元112例如包括诸如CCD或CMOS的任何成像元件，并且通过使用成像元件对荧光染色样品30A成像来获取图像信息。这里，应注意，“图像信息”是不仅包括荧光染色样品30A自身的图像而且包括不可视化为图像的测量值的概念。例如，图像信息可包括关于从荧光染色样品30A发射的荧光的波长光谱的信息。在下文中，荧光的波长光谱被称为荧光光谱。图像获取单元112将图像信息存储在后面描述的图像信息存储单元122中。

(存储单元120)

存储单元120被配置为存储用于信息处理装置100的各种处理的信息或者通过各种处理输出的信息。如图1所示，存储单元120包括信息存储单元121、图像信息存储单元122和分析结果存储单元123。

(信息存储单元121)

信息存储单元121用于存储由信息获取单元111获取的试剂信息和样品信息。另外，在分析单元131的分析处理和后述的图像生成单元132的图像信息的生成处理、即图像信息的重构处理结束之后，信息存储单元121也可以通过删除在该处理中使用的试剂信息和样品信息来增大空闲空间。

(图像信息存储单元122)

图像信息存储单元122被配置为存储由图像获取单元112获取的荧光染色样品30A的图像信息。应注意，在分析单元131的分析处理和图像生成单元132的图像信息的生成处理(即，图像信息的重建处理)完成之后，如信息存储单元121所做的，图像信息存储单元122可通过删除用于处理的图像信息来增加空闲空间。

(分析结果存储单元123)

分析结果存储单元123被配置为存储由稍后描述的分析单元131执行的分析处理的结果。例如，分析结果存储单元123存储由分析单元131分离的荧光试剂10A的荧光信号或样品20A的自发荧光信号。此外，分析结果存储单元123将分析处理的结果单独提供给数据库200，以便通过机器学习等提高分析精度。应注意，在将分析处理的结果提供至数据库200之后，分析结果存储单元123可通过适当地删除存储在其中的分析处理的结果来增加空闲空间。

(处理单元130)

处理单元130是使用图像信息、试剂信息和样品信息执行各种处理的功能配置。如图1所示，处理单元130包括分析单元131和图像生成单元132。

(分析单元131)

分析单元131用于使用图像信息、样品信息和试剂信息进行各种分析处理。例如，分析单元131基于样品信息和试剂信息执行从图像信息中分离样品20A的自发荧光信号(例如，作为自发荧光成分的实施例的自发荧光光谱)和荧光试剂10A的荧光信号(例如，作为染色的荧光成分的实施例的染色的荧光光谱)的处理。

更具体地，分析单元131基于包括在样品信息中的测量通道识别构成自发荧光信号的一个或多个元素。例如，分析单元131识别构成自发荧光信号的一种或多种自发荧光成分。然后，分析单元131使用在样品信息中包括的这些自发荧光成分的光谱信息来预测图像信息中包括的自发荧光信号。然后，分析单元131基于包括在试剂信息中的荧光试剂10A的荧光成分的光谱信息和预测的自发荧光信号从图像信息中分离自发荧光信号和荧光信号。

这里，当样品20A被两种或更多种荧光试剂10A染色时，分析单元131基于样品信息和试剂信息从图像信息中分离两种或更多种荧光试剂10A中每一种的荧光信号或者在与自体荧光信号分离之后的荧光信号。例如，通过使用包括在试剂信息中的每个荧光试剂10A的荧光成分的光谱信息，分析单元131在与自发荧光信号分离之后从整个荧光信号中分离每个荧光试剂10A的荧光信号。

另外，在自发荧光信号由两个或更多个自发荧光成分构成的情况下，分析单元131基于样品信息和试剂信息从图像信息或从荧光信号分离之后的自发荧光信号中分离每个自发荧光成分的自发荧光信号。例如，分析单元131通过使用包括在样品信息中的每个自发荧光成分的光谱信息从从荧光信号分离之后的整个自发荧光信号中分离每个自发荧光成分的自发荧光信号。

已经分离荧光信号和自发荧光信号的分析单元131使用这些信号执行各种处理。例如，分析单元131可通过在分离之后使用自发荧光信号对另一样品20A的图像信息执行减除处理来从另一样品20A的图像信息提取荧光信号。减除处理也被称为“背景减除处理”。在存在就用于样品20A的组织、目标疾病的类型、对象的属性、对象的日常习惯等而言相同或相似的多个样品20A的情况下，存在这些样品20A的自发荧光信号相似的高可能性。类似样品20A包括例如从不同患者收集的切片，诸如待染色的组织切片的染色之前的组织切片、与染色切片相邻的切片、同一块中的与染色切片不同的切片或同一组织中的不同块中的切片。以下，将组织切片称为切片。从与染色切片相同的位置采样相同的块。从不同于染色切片的位置采样不同的块。因此，当可从特定样品20A提取自发荧光信号时，分析单元131可通过从另一样品20A的图像信息去除自发荧光信号从另一样本20A的图像信息提取荧光信号。此外，当使用其他样品20A的图像信息计算S/N值时，分析单元131可通过在去除自发荧光信号之后使用背景来提高S/N值。

除了背景减除处理以外，分析单元131可在分离之后使用荧光信号或自发荧光信号执行各种处理。例如，分析单元131可以使用这些信号分析样本20A的固定状态，并且执行用于识别包括在图像信息中的对象的区域的分割或区域分割。该物体是例如细胞、细胞内结构、或组织。细胞内结构是，例如，细胞质、细胞膜、细胞核等。该组织是例如肿瘤部位、非肿瘤部位、***、血管、血管壁、***、纤维化结构、坏死等。后面将详细描述样品20A的固定状态的分析和分割。

此外，在从样品20A的图像(即，从荧光染色样品图像获得的荧光光谱(荧光成分))中分离染色荧光光谱(染色荧光成分)和自发荧光光谱(自发荧光成分)的分离处理中，分析单元131从作为荧光染色样品图像的原始图像和分离之后的图像之间的差值计算每个图像的分离精度(例如，范数值)，并且生成指示每个像素的分离精度的分离精度图像，例如，范数值图像。分离之后的图像是其中染色的荧光光谱和自发荧光光谱从荧光光谱中分离的分离之后的图像。然后，分析单元131识别分离精度为分离精度图像中的异常值的异常值像素。例如，在分离精度在预定范围之外的情况下，分离精度被视为异常值。此后，分析单元131执行例如从分离图像中排除与所标识的离群像素处于相同位置的像素或者将包括离群像素的区域呈现给用户的处理。稍后将详细描述关于各像素的分离精度的该分离精度处理，例如，范数处理。

(图像生成单元132)

图像生成单元132被配置为基于通过分析单元131分离的荧光信号或自发荧光信号生成，即，重构图像信息。例如，图像生成单元132可以生成仅包括荧光信号的图像信息或者生成仅包括自发荧光信号的图像信息。此时，在荧光信号由多个荧光成分构成或自发荧光信号由多个自发荧光成分构成的情况下，图像生成单元132可以相应成分为单位生成图像信息。此外，在分析单元131在分离之后使用荧光信号或自发荧光信号执行各种处理的情况下，图像生成单元132可以生成指示处理结果的图像信息。各种处理的示例包括样品20A的固定状态的分析、分割、S/N值的计算等。利用该配置，用靶分子等标记的荧光试剂10A的分布信息(即，荧光的二维扩展和强度、波长和位置关系)被可视化，并且具体地，在其中靶物质的信息复杂的组织图像分析区域中，可以提高作为用户的医生或研究人员的可见性。

此外，图像生成单元132可以基于由分析单元131分离的荧光信号或自发荧光信号执行控制以区分关于自发荧光信号的荧光信号，并且生成图像信息。具体地，可以通过执行提高用靶分子等标记的荧光试剂10A的荧光光谱的亮度的控制来生成图像信息，仅提取和改变标记的荧光试剂10A的荧光光谱的颜色，从用两种或更多种荧光试剂10A标记的样品20A提取两种或更多种荧光试剂10A的荧光光谱并将它们各自的颜色改变成另一种颜色，仅提取和分割或者减去样品20A的自发荧光光谱，提高动态范围等。因此，用户可以清楚地区分源自结合至目标物质的荧光试剂的颜色信息，并且可以提高用户的可见性。

(显示单元140)

显示单元140被配置为通过在显示器上显示图像信息向用户呈现由图像生成单元132生成的图像信息。注意，用作显示单元140的显示器的类型没有特别限制。另外，虽然在本实施方式中没有详细描述，但是由图像生成单元132生成的图像信息可以通过由投影仪投影或由打印机打印来呈现给用户。换言之，输出图像信息的方法不受特别限制。

(控制单元150)

控制单元150是综合地控制由信息处理装置100执行的整体处理的功能配置。例如，控制单元150基于用户经由操作单元160执行的操作输入来控制如上所述的各种处理的开始、结束等。各种处理的示例包括荧光染色样品30A的成像处理和分析处理、图像信息的生成处理、图像信息的显示处理等。图像信息的生成处理的示例包括图像信息的重建过程。注意，控制单元150的控制内容不受特别限制。例如，控制单元150可以控制通常在通用计算机、PC、平板PC等中执行的处理，例如，与操作***(OS)有关的处理。

(操作单元160)

操作单元160被配置为接收来自用户的操作输入。更具体地，操作单元160包括诸如键盘、鼠标、按钮、触摸面板或麦克风的各种输入单元，并且用户可以通过操作这些输入单元来执行对信息处理装置100的各种输入。关于经由操作单元160执行的操作输入的信息被提供给控制单元150。

(数据库200)

数据库200是管理样品信息、试剂信息以及分析处理的结果的装置。具体地说，数据库200将样品识别信息21A和样品信息以及试剂识别信息11A和试剂信息关联起来进行管理。因此，信息获取单元111可以基于待测量的样品20A的样品识别信息21A从数据库200获取样品信息并且基于荧光试剂10A的试剂识别信息11A从数据库200获取试剂信息。

如上所述，由数据库200管理的样品信息是包括对于被包括在样品20A中的自发荧光成分唯一的测量通道和光谱信息的信息。但是，除了这些以外，样品信息还可以包含每个样品20A的对象信息、具体地讲是与脏器等正在使用的组织的种类有关的信息，细胞、血液、体液、腹水或胸腔积液，作为靶标的疾病的类型，受试者的属性，例如年龄、性别、血型或种族，或受试者的日常习惯，诸如饮食习惯、运动习惯或吸烟习惯，并且包含包括在样品20A中的自发荧光成分特有的测量通道和光谱信息的信息和目标信息可与每个样品20A相关联。因此，可容易地从目标信息跟踪包括测量通道的信息和包括在样品20A中的自发荧光成分特有的光谱信息，并且例如，可使分析单元131从多个样品20A中的目标信息的相似性执行过去执行的类似分离处理，从而可缩短测量时间。另外，“所使用的组织”并不特别限定于从被检体提取的组织，也可以是人、动物等的体内组织、细胞系、测定对象物中所含有的溶液、溶剂、溶质、物质。

此外，由数据库200管理的试剂信息是包括如上所述的荧光试剂10A的光谱信息的信息，但是除此之外，试剂信息可以包括关于荧光试剂10A的信息，诸如生产批次、荧光成分、抗体、克隆、荧光标记率、量子产率、衰落系数和吸收截面积或摩尔吸收系数。衰落系数是表示荧光试剂10A的荧光强度降低的容易性的信息。另外，也可以管理不同结构的样品信息和数据库200所管理的试剂信息，特别是试剂信息是向用户提示最佳的试剂组合的试剂数据库。

此处，假设样品信息和试剂信息从制造商(制造商)等提供或者在根据本公开的信息处理***中独立地测量。例如，荧光试剂10A的制造商通常不针对每个生产批次测量和提供光谱信息、荧光标记率等。因此，通过在根据本公开的信息处理***中唯一地测量和管理这些条信息，能够提高荧光信号和自发荧光信号的分离精度。另外，为了简化管理，数据库200可以使用制造商等公开的目录值、在各种文档中描述的文档值等作为样品信息和试剂信息，特别是试剂信息。然而，通常，因为实际样品信息和试剂信息经常不同于目录值和文档值，所以更优选的是，如上所述，在根据本公开的信息处理***中唯一地测量和管理样品信息和试剂信息。

此外，例如，通过使用样品信息、试剂信息以及在数据库200中管理的分析处理的结果的机器学习技术，能够改善诸如荧光信号和自发荧光信号的分离处理的分析处理的精度。使用机器学习技术等执行学习的主体不受特别限制，但是在本实施方式中，将描述信息处理装置100的分析单元131执行学习的情况作为实施例。例如，通过使用神经网络，分析单元131生成具有学习数据的分类器或估计器，在该学习数据中，分离之后的荧光信号和自发荧光信号与用于分离的图像信息、样品信息和试剂信息相关联。然后，在新获取图像信息、样品信息和试剂信息的情况下，分析单元131可通过将这些信息输入到分类器或估计器来预测并输出包括在图像信息中的荧光信号和自发荧光信号。

此外，可计算具有比预测的荧光信号和自发荧光信号更高的精度的在过去执行的类似分离处理，可统计地或回归地分析处理中的处理内容，并且可输出基于分析结果改进荧光信号和自发荧光信号的分离处理的方法。例如，分离处理是使用类似图像信息、样品信息或试剂信息的分离处理。处理的内容包括例如用于处理的信息、参数等。注意，机器学习方法不限于以上方法，并且可以使用已知的机器学习技术。此外，荧光信号和自发荧光信号的分离处理可以通过人工智能来执行。此外，不仅荧光信号和自发荧光信号的分离处理，而且在分离之后使用荧光信号或自发荧光信号的各种处理(例如，样品20A的固定状态的分析、分割等)可通过机器学习技术等改善。

上面已经描述了根据本实施方式的信息处理***的配置示例。要注意的是，参照图1描述的上述配置仅仅是一个实施例，并且根据本实施方式的信息处理***的配置不限于这种实施例。例如，信息处理装置100可不必包括图1中所示的所有功能配置。此外，信息处理装置100可以在其中包括数据库200。信息处理装置100的功能结构可以根据规格和操作灵活地修改。

此外，信息处理装置100可执行除上述处理以外的处理。例如，当试剂信息包括诸如与荧光试剂10A有关的量子产率、荧光标记速率和吸收截面积、或摩尔吸收系数的信息时，信息处理装置100可以通过使用从其去除了自发荧光信号的图像信息和试剂信息来计算图像信息中的荧光分子的数目、结合到荧光分子的抗体的数目等。

<1-2.信息处理装置的基本处理示例>

将参考图2描述根据本实施方式的信息处理装置100的基本处理示例。图2为示出根据本实施方式的信息处理装置100的基本处理流程的示例的流程图。这里，将描述基本处理流程，并且稍后将描述关于分析单元131中的每个像素的分离精度的范数处理。

如图2所示，在步骤S1000中，用户确定用于分析的荧光试剂10A和样品20A。在步骤S1004中，用户使用荧光试剂10A染色样品20A以制备荧光染色样品30A。

在步骤S1008中，信息处理装置100的图像获取单元112对荧光染色样品30A进行成像以获取图像信息(例如，荧光染色样品图像)。在步骤S1012中，信息获取单元111基于附接到用于产生荧光染色样品30A的荧光试剂10A的试剂识别信息11A和附接到样品20A的样品识别信息21A，从数据库200获取试剂信息和样品信息。

在步骤S1016中，分析单元131基于样品信息和试剂信息从图像信息中分离样品20A的自发荧光信号和荧光试剂10A的荧光信号。此处，当荧光信号包括多种荧光染料的信号时(步骤S1020中的“是”)，在步骤S1024中，分析单元131分离每种荧光染料的荧光信号。应注意，当在荧光信号中不包括多种荧光染料的信号时(步骤S1020中的否)，在步骤S1024中不进行每种荧光染料的荧光信号的分离处理。

在步骤S1028中，图像生成单元132使用通过分析单元131分离的荧光信号生成图像信息。例如，图像生成单元132生成从图像信息中去除自发荧光信号的图像信息，或者生成针对各荧光染料显示荧光信号的图像信息。在步骤S1032中，显示单元140显示由图像生成单元132生成的图像信息，从而一系列处理结束。

要注意的是，图2的流程图中的每个步骤不必按照所描述的顺序按照时间序列进行处理。即，流程图中的每个步骤可以以与所描述的顺序不同的顺序处理，或者可以并行处理。

例如，在步骤S1016中从图像信息中分离样品20A的自发荧光信号和荧光试剂10A的荧光信号之后，分析单元131可直接从图像信息中分离每种荧光染料的荧光信号，而不是在步骤S1024中分离每种荧光染料的荧光信号。此外，在将每种荧光染料的荧光信号与图像信息分离之后，分析单元131可将样品20A的自发荧光信号与图像信息分离。

此外，信息处理装置100还可执行图2中未示出的处理。例如，分析单元131不仅可分离信号，而且基于分离的荧光信号或自发荧光信号执行分割，或分析样品20A的固定状态。

<1-3.荧光分离的处理示例>

将参考图3和图4描述根据本实施方式的荧光分离的处理示例。图3是示出了根据本实施方式的分析单元131的示意性配置的示例的示图。图4是用于描述根据本实施方式的用于产生连接的荧光光谱的方法的示例的示图。

如图3所示，分析单元131包括连接单元1311、颜色分离单元1321以及光谱提取单元1322。分析单元131被配置为执行包括荧光分离处理的各种过程。例如，分析单元131被配置为连接作为荧光分离处理的预处理的荧光光谱并且分离每个分子的连接的荧光光谱。

(连接单元1311)

连接单元1311被配置为通过连接图像获取单元112在波长方向上获取的多个荧光光谱中的至少一部分来产生连接的荧光光谱。例如，连接单元1311提取每个荧光光谱中的预定宽度的数据，以包括图像获取单元112获取的四个荧光光谱(图4中的A至D)中的每个的荧光强度的最大值。连接单元1311提取数据的波长带的宽度可基于试剂信息、激发波长、荧光波长等来确定，并可针对每个荧光物质而不同。换言之，连接单元1311提取数据的波长带的宽度对于图4的A至D中示出的每个荧光光谱可以是不同的。然后，如图4的E所示，连接单元1311通过在波长方向上将所提取的数据彼此连接来产生一个连接的荧光光谱。另外，由于连接的荧光光谱包含从多个荧光光谱提取的数据，因此在连接的数据的边界处波长不连续。

此时，连接单元1311根据激发光的强度，在使与多个荧光光谱中的每一个对应的激发光的强度均衡之后、换言之校正多个荧光光谱之后，进行上述连接。具体地说，连接单元1311通过将各荧光光谱除以激发光的强度即激发功率密度，来使与多个荧光光谱中的每个荧光光谱对应的激发光的强度均等化，之后进行上述连接。因此，获得当用具有相同强度的激发光照射时的荧光光谱。此外，在要照射的激发光的强度不同的情况下，由荧光染色样品30A吸收的光谱的强度也根据强度而不同。在下文中，该光谱被称为“吸收光谱”。因此，如上所述，与多个荧光光谱中的每一个对应的激发光的强度相等，从而可以适当地评估吸收光谱。

这里，图4的A至D是由图像获取单元112获取的荧光光谱的具体实施例。在图4的A至D中，例如，荧光染色样品30A包含DAPI、CK/AF488、PgR/AF594和ER/AF647中的四种荧光物质，并且示出了当用具有392[nm](图4的A)、470[nm](图4的B)、549[nm](图4的C)和628[nm](图4的D)的激发光照射荧光物质时获得的荧光光谱的具体实施例。应注意，由于荧光发射的能量的发射，荧光波长向比激发波长更长的波长侧偏移(斯托克斯偏移)。此外，包含在荧光染色样品30A中的荧光物质和要照射的激发光的激发波长不限于上述。

具体地，连接单元1311从图4的A中所示的荧光光谱中提取在392nm以上并且591nm以下的激发波长的波长带中的荧光光谱SP1，从图4的B所示的荧光光谱中提取在激发波长为470nm以上且669nm以下的波长带中的荧光光谱SP2，从图4的C中所示的荧光光谱提取549nm或更大和748nm或更小的激发波长的波长带中的荧光光谱SP3，并且从图4的D所示的荧光光谱提取628nm以上且827nm以下的激发波长的波长带中的荧光光谱SP4。接下来，连接单元1311将提取的荧光光谱SP1的波长分辨率校正为16nm(无强度校正)，将荧光光谱SP2的强度校正为1.2倍并且将其波长分辨率校正为8nm，将荧光光谱SP3的强度校正为1.5倍(无波长分辨率校正)，并且将荧光光谱SP4的强度校正为4.0倍并且将其波长分辨率校正为4nm。然后，连接单元1311通过顺次连接校正的荧光光谱SP1至SP4来产生如图4的E所示的连接的荧光光谱。

应注意，尽管图4示出了当连接单元1311获取每个荧光光谱并连接时从激发波长提取具有预定带宽(图4中的200nm宽度)的荧光光谱SP1至SP4的情况，但通过连接单元1311提取的荧光光谱的带宽不需要彼此一致，并且可彼此不同。即，通过连接单元1311从每个荧光光谱提取的区域可以是包括每个荧光光谱的峰值波长的区域，并且可以适当地改变波长带和带宽。在那时，可以考虑由于斯托克斯位移引起的光谱波长的位移。如上所述，可以通过缩小待提取的波长带来减少数据量，使得可以以更高的速度执行荧光分离处理。

另外，本说明书中的激发光的强度可以是如上所述的激发功率或激发功率密度。激发功率或激发功率密度可以是通过实际测量从光源发射的激发光获得的功率或功率密度，或者可以是从施加到光源的驱动电压获得的功率或功率密度。另外，在本说明书中，激发光的强度可以是利用图像获取单元112等检测从截距发出的荧光的检测***中的观察截距的各激发光的吸收率或检测信号的放大率对激发功率密度进行校正而得到的值。即，本说明书中的激发光的强度可以是实际上对荧光物质的激发有贡献的激发光的功率密度、通过用检测***的放大因子校正功率密度获得的值等。通过考虑吸收率、放大率等，可以适当地校正根据机器状态、环境等的变化而变化的激发光的强度，使得可以生成能够以更高精度进行颜色分离的连接的荧光光谱。

应注意，基于每个荧光光谱的激发光的强度的校正值不限于用于使与多个荧光光谱中的每个对应的激发光的强度相等的值，并且可以进行各种修改。校正值也称为强度校正值。例如，在长波长侧具有强度峰的荧光光谱的信号强度趋于比在短波长侧具有强度峰的荧光光谱的信号强度低。因此，当连接的荧光光谱包括在长波长侧具有强度峰的荧光光谱和在短波长侧具有强度峰的荧光光谱两者时，几乎不考虑在长波长侧具有强度峰的荧光光谱，并且可以仅提取在短波长侧具有强度峰的荧光光谱。在这种情况下，例如，通过将在长波长侧具有强度峰值的荧光光谱的强度校正值设定为较大的值，也可以提高在短波长侧具有强度峰值的荧光光谱的分离精度。

(颜色分离单元1321)

颜色分离单元1321包括例如第一颜色分离单元1321a和第二颜色分离单元1321b，并且针对每个分子对从连接单元1311输入的染色部的连接的荧光光谱进行颜色分离。染色切片也称为染色样本。

更具体地，第一颜色分离单元1321a使用包括在试剂信息中的连接的荧光参考光谱和包括在从信息存储单元121输入的样品信息中的连接的自发荧光参考光谱，对从连接单元1311输入的染色样本的连接的荧光光谱执行颜色分离处理，从而将连接的荧光光谱分离为每个分子的光谱。应注意，例如，最小二乘法(LSM)、加权最小二乘法(WLSM)、非负矩阵因式分解(NMF)、使用格拉姆矩阵^tAA的非负矩阵因式分解等可用于颜色分离处理。

第二颜色分离单元1321b使用从光谱提取单元1322输入的在调整之后的连接的自发荧光参考光谱对从连接单元1311输入的染色样本的连接的荧光光谱执行颜色分离处理，从而将连接的荧光光谱分离为每个分子的光谱。应注意，与第一颜色分离单元1321a一样，例如，最小二乘法(LSM)、加权最小二乘法(WLSM)、非负矩阵因式分解(NMF)、使用格拉姆矩阵^tAA的非负矩阵因式分解等可用于颜色分离处理。

这里，在最小二乘法中，例如，通过将由连接单元1311生成的连接的荧光光谱与参考光谱拟合来计算颜色混合比。此外，在加权最小二乘法中，通过利用作为测量值的连接的荧光光谱(信号)的噪声具有泊松分布的事实执行加权以强调低信号电平的误差。然而，将不通过加权最小二乘法执行加权的上限值设定为偏移值。偏移值由用于测量的传感器的特性确定，并且在成像元件被用作传感器的情况下，需要单独优化偏移值。

(光谱提取单元1322)

光谱提取单元1322是用于改善连接的自体荧光参考光谱以使得可以获得更精确的颜色分离结果的配置，并且基于颜色分离单元1321的颜色分离结果，将包含在从信息存储单元121输入的样品信息中的连接的自体荧光参考光谱调整为可以获得更精确的颜色分离结果的自体荧光参考光谱。

光谱提取单元1322使用从第一颜色分离单元1321a输入的颜色分离结果对从信息存储单元121输入的所连接的自发荧光参考光谱执行光谱提取处理，并基于该结果调整所连接的自发荧光参考光谱，从而将所连接的自发荧光参考光谱提高至可获得更精确的颜色分离结果的自发荧光参考光谱。注意，对于频谱提取过程，例如，可以使用非负矩阵因式分解(NMF)、奇异值分解(SVD)等。

注意，在图3中，已举例说明了执行一次连接的自发荧光参考光谱的调整的情况，但是本发明不限于此，并且可重复一次或多次由第二颜色分离单元1321b将颜色分离结果输入到光谱提取单元1322并且在光谱提取单元1322中再次执行连接的自发荧光参考光谱的调整的处理，然后可获取最终的颜色分离结果。

如上所述，第一颜色分离单元1321a和第二颜色分离单元1321b可通过使用在波长方向上连接的参考光谱(连接的自发荧光参考光谱和连接的荧光参考光谱)执行荧光分离处理来输出唯一的光谱作为分离结果。不对每个激发波长划分分离结果。因此，实现者可以更容易地获得正确的光谱。此外，因为自动获取与用于分离的自发荧光相关的参考光谱(连接的自发荧光参考光谱)并且执行荧光分离处理，所以实施者无需从非染色部分的适当空间提取与自发荧光对应的光谱。

<1-4.分析单元的关于范数处理的配置示例>

将参照图5描述根据本实施方式的关于分析单元131的范数处理的配置示例。图5是示出根据本实施方式的关于分析单元131的范数处理的示意性配置的示例的示图。

如图5所示，分析单元131包括荧光分离单元131A、生成单元131B、评估单元131C、校正单元131D和呈现单元131E。荧光分离单元131A对应于颜色分离单元1321，并且呈现单元131E对应于图像生成单元132。

荧光分离单元131A使用例如LSM、NMF等、使用包括在试剂信息中的连接的荧光参考光谱和包括在关于从连接单元1311输入的染色样本的连接的荧光光谱的样品信息中的连接的自发荧光参考光谱执行颜色分离处理，从而将连接的荧光光谱分离为每个分子的光谱(参见图3)。此外，荧光分离单元131A使用例如LSM、NMF等对从连接单元1311输入的染色样本的连接的荧光光谱使用从光谱提取单元1322输入的调整之后的连接的自发荧光参考光谱执行颜色分离处理，从而将连接的荧光光谱分离为每个分子的光谱(参见图3)。

生成单元131B基于通过荧光分离单元131A的分离算法(例如，LSM、NMF等)的计算结果计算分离之后的原始图像与颜色分离图像之间的差值作为每个像素的范数值(参考值)，并且生成指示每个像素的范数值的范数图像。例如，如果分离算法(即，分离计算)是LSM，则范数值由|A-SC|指示。此处，A是染色图像(原始图像)的像素值的矩阵，S是LSM之后的光谱，并且C是LSM之后的图像(分离之后的图像)的像素值的矩阵。注意|A-SC|是(A-SC)的绝对值。

评估单元131C从范数图像识别其范数值等于或大于预定值并且是异常值的像素，即，包括异常值的像素。在下文中，包括异常值的像素被称为异常值像素。离群像素表示具有低分辨率和较差再现性的像素。作为识别异常像素的方法，例如可以使用从方差、即表示数据的分散程度的指数或者平均为3σ以上的像素作为异常像素来识别规定阈值以上的像素的方法、四分位数距离(IQR)、Smirnov-Grubbs试验等方法。

校正单元131D对范数图像执行各种处理。例如，校正单元131D根据评估单元131C的评价结果(范数图像的异常像素)，将位于与范数图像的异常像素相同位置的分离图像的全部像素填充零，由此生成二值图像，对由二值图像进行的分离图像进行掩模处理，生成掩模处理后的分离图像。此外，校正单元131D还可执行其他处理。后面将详细描述各处理。

呈现单元131E向显示单元140输出各种图像。例如，呈现单元131E向显示单元140输出诸如范数图像、加权图像和灰度滤波图像的呈现图像。此外，呈现单元131E还可以输出其他图像(稍后将描述细节)。

<1-5.范数处理的示例>

将参考图6描述根据本实施方式的范数处理的示例。图6是示出根据本实施方式的范数处理的示例的流程的流程图。

如图6所示，在步骤S101中，荧光分离单元131A执行颜色分离计算，在步骤S102中，生成单元131B输出范数图像(Norm图像)，在步骤S103中，评估单元131C确定范数值(Norm值)是异常值的像素，并且在步骤S104中，校正单元131D执行掩蔽处理，或者/和呈现单元131E进一步执行向用户的呈现。

<1-6.颜色分离计算和范数图像生成的处理示例>

<1-6-1.第一处理示例>

将参考图7描述根据本实施方式的颜色分离计算和范数图像生成的第一处理示例。图7是示出根据本实施方式的颜色分离计算和范数图像生成的第一处理示例的流程的流程图。第一处理示例是从染色图像直接执行颜色分离计算的处理的示例。

如图7所示，在步骤S111中，信息处理装置100的图像获取单元112获取荧光光谱。更具体地，荧光染色样品30A被具有相互不同的激发波长的多束激发光照射，并且图像获取单元112获取与每个激发光相对应的多个荧光光谱。然后，图像获取单元112将所获取的荧光光谱存储在图像信息存储单元122中。

在步骤S112中，连接单元1311通过在波长方向上连接存储在图像信息存储单元122中的多个荧光光谱中的至少一些来产生连接的荧光光谱。更具体地，连接单元1311在每个荧光光谱中提取预定宽度的数据，以包括多个荧光光谱中的每个中的荧光强度的最大值，并且连接在波长方向上的数据，以产生一个连接的荧光光谱。

在步骤S113中，颜色分离单元1321分离每个分子的连接的荧光光谱，即，执行第一颜色分离(LSM)。更具体地，颜色分离单元1321执行参考图3描述的处理以分离每个分子的连接的荧光光谱。

在步骤S114中，生成单元131B计算每个像素的范数值。更具体地，在荧光分离单元131A的LSM计算之后，例如，在第一颜色分离单元1321a的LSM计算之后，生成单元131B计算|A-SC|作为每个像素的范数值。

在步骤S115中，生成单元131B生成并输出包括为每个像素计算的范数值范数值图像。更具体地说，生成单元131B基于计算出的各像素的范数值生成并输出指示各像素的范数值的范数值图像。

<1-6-2.第二处理示例>

将参考图8和图9描述根据本实施方式的颜色分离计算和范数图像生成的第二处理示例。图8是示出根据本实施方式的在颜色分离计算和范数图像生成的第二处理示例中使用连接的非染色样本的荧光光谱的分析单元的示意性配置的示例的示图。图9是示出根据本实施方式的颜色分离计算和范数图像生成的第二处理示例的流程的流程图。第二处理示例是使用从非染色图像中提取的自发荧光光谱执行染色图像的颜色分离计算的处理的示例。

在第一处理示例中(参见图3)，荧光分离单元131A使用连接的自发荧光参考光谱和预先准备的连接的荧光参考光谱执行荧光分离处理。另一方面，在第二处理示例(见图8)中，使用实际测量的连接的自发荧光参考光谱(即，非染色样本的连接的荧光光谱)执行荧光分离处理。更具体地，在第二处理示例中，荧光分离单元131A(即，分析单元131的光谱提取单元1322(见图8))从通过在波长方向上连接多个自发荧光光谱中的至少一些而获得的连接光谱提取每个自发荧光物质的连接的自发荧光参考光谱，所述多个自发荧光光谱是通过用具有彼此不同的激发波长的多个激发光束照射与样品20A相同或相似的标本获得的。然后，第二颜色分离单元1321b使用提取的连接的自发荧光参考光谱和连接的荧光参考光谱(即，类似于第一处理示例中的那些)作为参考光谱执行荧光分离处理。

如图8所示，根据第二处理示例的分析单元131基本上具有类似于参照图3描述的分析单元131的配置。在这种配置中，代替包括在样品信息中的连接的自发荧光参考光谱，从连接单元1311输入的非染色部分的连接的荧光光谱被输入到荧光分离单元131A，即，分析单元131的光谱提取单元1322。非染色切片也被称为非染色样本，并且连接的荧光光谱也被称为连接的自发荧光光谱。

光谱提取单元1322使用从第一颜色分离单元1321a输入的颜色分离结果对从连接单元1311输入的非染色样本的连接的自发荧光光谱执行光谱提取处理，并基于该结果调整连接的自发荧光参考光谱，从而将连接的自发荧光参考光谱提高到能够获得更精确的颜色分离结果的自发荧光参考光谱。对于频谱提取过程，例如，可以使用非负矩阵因式分解(NMF)、奇异值分解(SVD)等。另外，其他操作可以类似于上述颜色分离单元1321的操作，因此这里将省略其详细描述。

应注意，还可使用非染色区段或染色区段作为与用于提取连接的自发荧光参考光谱的样品20A相同或相似的区段。例如，当使用非染色切片时，可以使用染色之前的切片以用作染色切片、邻近于染色切片的切片、同一区块中不同于染色切片的切片、同一组织中不同区块中的切片等。从与染色切片相同的位置采样相同的块。从不同于染色切片的位置采样不同的块。

这里，作为从非染色切片提取自发荧光光谱的方法，通常可以使用主成分分析。在下文中，主成分分析被称为“PCA：主成分分析”。然而，如在本实施方式中那样，当在波长方向上连接的自发荧光光谱用于处理时，PCA是不合适的。因此，根据本实施方式的光谱提取单元1322通过执行非负矩阵因式分解(NMF)而不是PCA从非染色切片提取连接的自发荧光参考光谱。

如图9所示，在步骤S121和步骤S122中，如在第一处理示例中的处理流程实施例(图7中的步骤S111和步骤S112)中，图像获取单元112获取对应于具有不同激发波长的激发光的多个荧光光谱，并且连接单元1311在波长方向上连接多个荧光光谱中的至少一些以产生连接的荧光光谱。

在步骤S123中，光谱提取单元1322使用通过使用具有相互不同的激发波长的多个激发光束照射非染色切片而获得的多个自发荧光光谱的至少一部分执行NMF，所述多个自发荧光光谱在波长方向上连接，由此提取连接的自发荧光参考光谱。

在步骤S125和步骤S126中，如在第一处理示例中的处理流程实施例(即，图7中的步骤S114和步骤S115)中，在荧光分离单元131A的LSM计算之后，例如，在第二颜色分离单元1321b的LSM计算之后，生成单元131B计算每个像素的范数值，并且生成单元131B生成并输出包括所计算的每个像素的范数值的范数图像。

<1-6-3.第三处理示例>

将参考图10至图12描述根据本实施方式的颜色分离计算和范数图像生成的第三处理示例。图10是示出根据本实施方式的颜色分离计算和范数图像生成的第三处理示例的流程的流程图。图11和图12是用于描述图10中的步骤的处理的示图。第三处理示例是使用宽视场图像中的格拉姆矩阵执行颜色分离计算的处理(即，获得第二LSM之后的范数值的处理)的示例。

如图10所示，在步骤S131中，处理单元130通过平铺通过成像每个视场获得的视场图像数据来生成整个成像区域的宽视场图像数据。作为宽视场图像数据，例如，参照图11中的宽视场图像数据A。

接着，在步骤S132中，处理单元130取得作为宽视场图像数据A的一部分的单位图像数据。单位图像数据是例如图11中的单位图像数据Aq，并且q是等于或大于1并且等于或小于n的整数。单位图像数据Aq只要是比宽视场图像数据A窄的区域的图像数据、例如与一个视图对应的图像数据或预先设定的大小的图像数据即可。要注意的是，预设尺寸的图像数据可包括根据可一次由信息处理装置100处理的数据量确定的尺寸的图像数据。

接下来，在步骤S133中，如图11所示，处理单元130通过将所获取的单位图像数据Aq的数据矩阵A1乘以这个转置矩阵^tA1来生成单位图像数据Aq的格拉姆矩阵^tA1A1。在以下描述中，为了清楚起见，单位图像数据Aq被称为单位图像数据A1。

接下来，在步骤S134中，处理单元130确定针对所有单元图像数据A1至An的格拉姆矩阵^tA1A1至^tAnn的生成是否完成，并且重复执行步骤S132至S134，直到针对所有单元图像数据A1至An的格拉姆矩阵^tA1A1至^tAnn的生成完成(步骤S134中的否)。

另一方面，当在步骤S134中完成针对所有单元图像数据A1至An的格拉姆矩阵^tA1A1至^tAnn的生成时(步骤S134中的是)，处理单元130在步骤S135中通过使用例如最小二乘法或加权最小二乘法从所获得的格拉姆矩阵^tA1A1至^tAnn计算系数C的初始值。

接下来，在步骤S136中，处理单元130通过将所生成的格拉姆矩阵^tA1A1与^tAnAn相加来计算宽视场图像数据A的格拉姆矩阵^tAA。确切地，如上所述，革兰氏矩阵^tAA是通过使用A(p,w)＝A1(p1-pn1,w)+A2(pn1+1-pm,w)+...+Ao(pm+1-p,w)的子集将每个革兰氏矩阵^tAqAq如在表达式(^tAA＝^tA1A1+^tA2A2+...+^tAnAn)中卷积获得的。q是等于或大于1并且等于或小于n的整数。

接下来，在步骤S137中，处理单元130通过对所计算的革兰氏矩阵tAA进行非负值分解(NMF)得到如图12所示的^tAA＝S×D的谱S。矩阵D对应于通过从宽视场图像数据A进行荧光分离而得到的分离图像。注意，在NMF中，数据的非负因式分解可用固定的特定频谱来执行。

此后，在步骤S138中，处理单元130通过使用由NMF获得的光谱S相对于格拉姆矩阵^tAA通过最小二乘法或加权最小二乘法求解A＝SC来获取系数C，即，每个荧光分子的荧光分离图像或每个自发荧光分子的自发荧光分离图像。

接下来，在步骤S139中，在LSM计算之后，例如，在第二分离计算之后，处理单元130为每个像素计算范数值，即|A-SC|。在步骤S140中，处理单元130针对每个像素生成并输出包括计算出的范数值在内的范数值图像。此后，结束该操作。

<1-6-4.第四处理示例>

将参考图13描述根据本实施方式的颜色分离计算和范数图像生成的第四处理示例。图13是示出根据本实施方式的颜色分离计算和范数图像生成的第四处理示例的流程的流程图。第四处理示例是在宽视场图像中使用格拉姆矩阵执行颜色分离计算的处理(即，在NMF之后获得范数值的处理)的实施例。

如图13所示，在步骤S124至S147中，处理单元130执行如在第三处理示例中的处理流程实施例中的处理，即，图10中的步骤S131和S137。

在步骤S148中，在NMF计算之后，例如，在第一分离计算之后，处理单元130针对每个像素计算范数值，即|A-SD^tA^-1|。在步骤S149中，处理单元130生成并输出包括为每个像素计算的范数值范数值图像。注意|A-SD^tA^-1|是(A-S×D×^tA^-1)的绝对值。

在此，范数值由|A-SD^tA^-1|表示。A为染色图像(原始图像)的像素值矩阵，S为NMF之后的光谱，D为NMF之后的图像(分离之后的图像)的像素值矩阵，^tA^-1为转置矩阵^tA的伪逆矩阵。这个(A-SD^tA^-1)源自关系表达式A^tA＝SD和A＝SC(C和D是系数)。假设这些关系表达式收敛到相同的S，A^tA＝SD＝SC^t(SC)＝SC^tS^tC，D＝C^tC^tS＝C^t(CS)＝C^tA，C＝D^tA^-1，并且A-SC＝A-SD^tA^-1。

在步骤S150中，处理单元130通过使用由NMF获得的光谱S相对于格拉姆矩阵^tAA通过最小二乘法或加权最小二乘法求解A＝SC来获取系数C，即，每个荧光分子的荧光分离图像或每个自发荧光分子的自发荧光分离图像。此后，结束该操作。

<1-7.范数图像和分离图像的比较示例>

将参考图14描述根据本实施方式的范数图像和分离图像的比较示例。图14是用于描述根据本实施方式的基准图像和分离图像的比较示例的示图。应注意，在图14的实施例中，分离图像例如是未经受掩模处理等且包括自发荧光的泄漏像素的图像。

如图14所示，在比较范数图像和分离图像时，范数图像的离群像素与分离图像中的颜色分离之后再现性较差的像素(即，自发荧光的泄漏像素)一致。范数图像(即，每一像素的范数值)用作分解精度的索引。因此，例如，能够通过掩模处理等来排除位于与范数图像的离群像素相同位置处的分离图像的像素，并且能够反映在颜色分离的结果中。

<1-8.校正单元的处理示例>

将参照图15描述根据本实施方式的校正单元131D的处理示例。图15是用于描述根据本实施方式的校正单元131D的处理(即，放大零填充区域的处理)的示例的示图。

(使用异常值的情况)

校正单元131D基于作为评估单元131C的评估结果的范数图像的离群像素，通过用零填充位于与范数图像的离群像素相同位置的分离图像的所有像素(例如，自发荧光成分图像、染色的荧光成分图像等)来生成二值化图像，使用二值化图像作为掩模图像对分离图像进行掩模处理，并在掩模处理之后生成分离图像。例如，校正单元131D将位于与范数图像的离群像素相同位置处的像素的值设置为零，并且将其他像素的值设置为一，以生成掩模图像。

另外，校正单元131D可在随后的处理中(例如，在用于获得指示信号分离性能的信号分离值的图像中)将位于与范数图像的离群像素相同位置处的像素的值改变为零。此外，校正单元131D可在后续处理中排除位于与范数图像的离群像素相同位置处的所有像素，例如，在用于获得表示信号分离性能的信号分离值的图像中，或者可排除包括这些像素的区域，例如，所有细胞区域。该区域被处理为N/A。用于获得表示信号分离性能的信号分离值的图像的实施例包括非染色图像、染料平铺图像和示意图。

应注意，分析单元131通过使用用于获得表示信号分离性能的信号分离值的图像计算信号分离值。稍后将详细描述用于获得信号分离值并量化信号分离性能的装置。例如，当获得信号分离值时，通过执行处理而不使用与离群像素相对应的像素，能够增加信号分离精度(即，信号分离值)。

另外，在细胞组织中存在异常像素的情况下，存在该区域周围还存在高的自发荧光区域的高可能性，因此，异常像素周围的预定范围(例如，与预定数量的像素对应的范围)或细胞区域可被排除或掩蔽。可选地，如图15所示，在即使异常像素被零填充也不能去除的红血细胞保持细胞膜形状的情况下，可以进行放大零填充区域和加厚二值化图像的处理。

(当基于范数值执行加权时)

校正单元131D将范数图像的整个范数值归一化为连续的零到一，并执行加权。此时的加权可被设置为使得范数值最大值为1，最小值为0。这种情况下的关系表达式为：Norm值MIN＝0≤Norm值≤Norm值MAX＝1。另外，在将被确定为具有低分离精度的所有像素(即，异常值像素)的范数值设置为1之后，可执行归一化。在这种情况下的关系表达式是：Norm值MIN＝0≤Norm值≤Norm异常值＝1。

另外，校正单元131D可在颜色分离之前将范数图像除以染色图像。具体地讲，校正单元131D可在颜色分离之前将针对范数图像的每个像素的范数值除以针对染色图像的每个像素的像素值。这使得可以使范数图像标准化，使得可以在不同样本之间比较范数图像。

<1-9.呈现单元的处理示例>

将参考图16至图19描述根据本实施方式的呈现单元131E的处理示例。图16是用于描述根据本实施方式的呈现图像的示例的示图。图17和图18是用于描述根据本实施方式的UI图像的示例的示图。图19是示出了根据本实施方式的呈现处理的示例的流程的流程图。

如图16所示，呈现单元131E可将范数图像、加权图像、以及灰度滤波图像输出至显示单元140作为呈现图像。另外，呈现单元131E可通过显示单元140显示范数图像、分离图像、加权图像等中的排除异常像素的区域。注意，呈现单元131E可以呈现指示异常值像素的存在的警告。例如，在现有离群像素的数目等于或大于预定数目的情况下，呈现单元131E可向显示单元140输出诸如指示该事实的消息的图像作为警报。作为发出警报的条件，例如，在绘制散点图并且存在向相邻染料的大量泄漏的情况下，或者在确定红血细胞包含在分离图像中并且影响分离的情况下，可以向用户呈现警报。

例如，呈现单元131E可以将由校正单元131D加权的加权图像(例如，加权的范数图像)输出至显示单元140作为UI图像(用户界面图像)。加权后的范数图像可以单独显示或者与另一图像并排显示，或者可以叠加显示在诸如分离图像的另一图像上。此外，可以呈现1-(加权函数)的图像，即，灰度滤波器图像。在输出分离图像时，可使用灰度滤波器图像作为掩模图像来显示图像，或者该图像可用于计算表示信号分离性能的信号分离值。灰度过滤图像可以单独显示或者与另一图像并排显示，或者可以叠加在诸如分离图像的另一图像上显示。

具体地，如图17和图18所示，呈现单元131E可以将UI图像输出至显示单元140作为呈现图像。在图17的实施例中，在UI图像中并排示出了各种分离的图像。所有复选框由用户复选，并且选择各种分离的图像。应注意，在图17所示的加权处理的图像中，在输出分离图像(灰度滤波器×分离图像)时掩蔽灰度滤波器。由此，与范数图像的异常值对应的像素部分被遮蔽，并且不与异常值对应的部分几乎不受遮蔽处理的影响。此外，在图18的实施例中，在UI图像中两种类型的分离图像彼此叠加。在这种情况下，两个复选框被用户复选，并且两种类型的分离图像被叠加。各种分离的图像的示例包括分离的原始图像、零填充处理的图像、加权处理的图像、范数图像、灰度过滤图像、加权图像和DAPI(4’，6-二脒基-2-苯基吲哚，二盐酸盐)图像。

这里，如上所述，存在两种模式：并排显示各种分离图像的模式，以及叠加并显示各种分离图像作为UI图像的模式。在这种情况下，用户能够利用复选框来选择模式。以下将描述该显示选择处理。

如图19所示，在步骤S161中，呈现单元131E生成分离图像。在步骤S162中，呈现单元131E等待显示方法的选择。用户选择显示方法。当用户以并排方式选择显示作为显示方法时，在步骤S163中，呈现单元131E将用于并排显示的UI图像(参见，例如，图17)输出至显示单元140。在步骤S164中，根据用户对分离的图像的类型的选择，选择要并排显示的选择的图像并输出到显示单元140。另一方面，当用户选择叠加和显示作为显示方法时，在步骤S165中，呈现单元131E将用于叠加和显示的UI图像(参见，例如，图18)输出至显示单元140。在步骤S166中，根据用户对分离图像的类型的选择，选择将被叠加和显示的选择的图像并输出到显示单元140。

以这种方式，根据用户的选择选择显示方法，并且显示用户所期望的各种分离图像。由此，用户能够自由地选择显示方法和各种分离的图像，从而能够提高用户的便利性。

<1-10.颜色分离处理的示例>

将参照图20和图21描述根据本实施方式的颜色分离处理的示例。图20是用于描述根据本实施方式的具有超过异常值的高范数值的像素的光谱(即，红血细胞光谱)的示图。图21是示出了根据本实施方式的颜色分离处理的示例的流程的流程图，即，颜色分离的重复处理。

校正单元131D提取其范数值超过异常值的像素的光谱(即，红血细胞光谱)，并且荧光分离单元131A将由校正单元131D提取的光谱与初始值相加并且再次执行颜色分离。更具体地，校正单元131D将阈值设置为范数值，并且提取范数值等于或大于预定阈值的像素(即，范数值超过异常值的像素)的频谱。例如，如图20所示，提取其中范数值超过异常值的像素的频谱(即，红血细胞频谱)。荧光分离单元131A将从校正单元131D提取的红血细胞中获得的光谱加到作为初始值的参考光谱中，并且再次执行颜色分离。以下将描述该重复分离处理。

如图21所示，在步骤S151中，荧光分离单元131A执行颜色分离计算。在步骤S152中，生成单元131B生成并输出范数图像。在步骤S153中，评估单元131C从范数图像提取具有超过异常值的高范数值的像素的频谱，并且确定提取是否可行。当提取目标光谱时(步骤S153中的“是”)，荧光分离单元131A将所提取的光谱添加到连接的荧光参考光谱中，并且使处理返回至步骤S151。另一方面，在没有提取目标谱的情况下(步骤S153中的“否”)，处理结束。

这种分离重复处理是执行多次颜色分离处理(例如，LSM)的情况下的处理内容。此外，在将红血细胞光谱添加到参考光谱的处理中，红血细胞光谱可被添加到诸如自发荧光参考光谱的可变光谱或诸如荧光参考光谱的固定光谱，但是后者是优选的，因为在添加到后者的处理中提高了分离精度。

<1-11.应用示例>

例如，根据本公开的技术可应用于作为显微镜***的示例的荧光观察装置500等。以下，参照图22和图23说明能够适用的荧光观察装置500的结构实施例。图22是表示本实施方式的荧光观察装置500的概略结构实施例的图。图23是表示本实施方式的观察部1的概略结构实施例的图。

如图22所示，荧光观察装置500包括观察单元1、处理单元2和显示单元3。

观察单元1包括激发单元(照射单元)10、载物台20、光谱成像单元30、观察光学***40、扫描机构50、聚焦机构60和非荧光观察单元70。

激发单元10用具有不同波长的照射光的多个光束照射观察目标。例如，激发单元10利用具有平行于不同轴布置的不同波长的多个线照射来照射病理样本，即，作为观察目标的病理样品。载物台20是支撑病理样品的台，并且被配置为可在垂直于通过扫描机构50的线照明的线光的方向的方向上移动。光谱成像单元30包括分光器并且获取通过线照射线性激发的病理样品的荧光光谱，即，光谱数据。

即，观察单元1作为取得与线照明对应的分光数据的线分光器发挥功能。此外，观察单元1还用作成像装置，其捕获由病理样品产生的多个荧光图像，病理样本是每条线的多个荧光波长中的每个的成像目标，并且以线的布置顺序获取多个捕获的荧光图像的数据。

这里，平行于不同轴是指多个线照明具有不同的轴并且是平行的。不同的轴意味着轴不是同轴的，并且轴之间的距离不受特别限制。平行不限于严格意义上的平行，并且包括大致平行的状态。例如，可能存在源于光学***(例如，透镜)的失真或者由于制造公差而与平行状态的偏差，并且这种情况也被视为平行。

激发单元10和光谱成像单元30经由观察光学***40连接至载物台20。观察光学***40具有追随聚焦机构60的最佳聚焦的功能。用于进行暗视场观察、明视场观察等的非荧光观察单元70可连接至观察光学***40。此外，控制激发单元10、光谱成像单元30、扫描机构50、聚焦机构60、非荧光观察单元70等的控制单元80可连接至观察单元1。

处理单元2包括存储单元21、数据校准单元22和图像形成单元23。处理单元2通常基于观察单元1获取的病理样品的荧光光谱形成病理样品的图像或者输出荧光光谱的分布。在下文中，病理样品也被称为样本S。这里，图像是指源自构成光谱的染料或样本等的自发荧光的组成比、从波形转换成RGB(红色、绿色和蓝色)颜色的图像、在特定波长带中的亮度分布等。

存储单元21具备硬盘驱动器、闪存等非易失性的存储介质、和对存储介质的数据写入和读出进行控制的存储控制单元。存储单元21存储光谱数据，所述光谱数据表示由包括在激发单元10中的多个线状照明的每个发射的光的每个波长与由光谱成像单元30的相机接收的荧光之间的相关性。此外，存储单元21预先存储指示与要观察的样本(病理样品)相关的自发荧光的标准光谱的信息以及指示对样本染色的单个染料的标准光谱的信息。

数据校准单元22基于由光谱成像单元30的相机捕获的捕获图像配置存储在存储单元21中的分光数据。图像形成单元23基于光谱数据和由激发单元10照射的多个线照明的间隔Δy形成样品的荧光图像。例如，包括数据校准单元22、图像形成单元23等的处理单元2由在计算机中使用的硬件元件(诸如，中央处理单元(CPU)、随机存取存储器(RAM)和只读存储器(ROM))和必要的程序(软件)来实现。代替CPU或除CPU之外，可以使用诸如现场可编程门阵列(FPGA)、数字信号处理器(DSP)、专用集成电路(ASIC)等的可编程逻辑器件(PLD)。

显示单元3显示例如基于由图像形成单元23形成的荧光图像的图像的各种类型的信息。显示单元3可以包括例如一体地附接到处理单元2的监视器，或者可以是连接到处理单元2的显示装置。显示单元3包括例如诸如液晶器件或有机EL器件的显示元件和触摸传感器，并且被配置为显示图像-捕捉条件、捕捉图像等的输入设置的用户界面(UI)。

接着，参照图23说明观察单元1的详细情况。这里，将在假设激发单元10包括各自发射两个波长的光的两个线状照明Ex1和Ex2的情况下给出描述。例如，线状照明Exl发出波长为405nm的光和波长为561nm的光，线状照明Ex2发出波长为488nm的光和波长为645nm的光。

如图23所示，激发单元10包括多个激发光源L1、L2、L3和L4。激发光源L1至L4中的每一个包括分别输出具有405nm、488nm、561nm和645nm的波长的激光的激光源。例如，激发光源L1至L4的每一个包括发光二极管(LED)、激光二极管(LD)等。

此外，激发单元10包括多个准直透镜11、多个激光线滤波器12、多个分色镜13a、13b和13c、均化器14、聚光透镜15和入射狭缝16，以便对应于激发光源L1至L4中的每一个。

从激发光源L1发射的激光和从激发光源L3发射的激光由准直透镜11准直，透射通过用于切割每个波长带的裙部的激光线滤波器12，并且由二向色镜13a制成同轴的。两个同轴激光通过均化器14(诸如复眼透镜和聚光透镜15)被进一步光束成形，从而成为线状照明Ex1。

类似地，从泵浦光源L2发射的激光和从激发光源L4发射的激光通过分色镜13b和13c同轴，并且执行线照明，使得线照明Ex2在轴上不同于线照明Ex1。线状照明Exl和Ex2形成具有不同轴的线状照明，即，原始图像，其在具有多个狭缝部分的入射狭缝16中相隔距离Δy，线状照明Exl和Ex2可穿过该狭缝部分。

注意，在本实施方式中，将描述四个激光器具有两个同轴轴和两个不同轴的实施例，但除此之外，两个激光器可具有两个不同轴或者四个激光器可具有四个不同轴。

载物台20上的样本S经由观察光学***40利用初级图像照射。观察光学***40包括聚光透镜41、二向色镜42和43、物镜44、带通滤波器45以及聚光透镜46。聚光透镜46是成像透镜的实施例。通过与物镜44配对的聚光透镜41将线状照明Ex1和Ex2准直，由分色镜42和43反射，透射通过物镜44，并且在载物台20上照射样本S。

在此，图24是示出了根据本实施方式的样本S的示例的示图。图24示出从线状照明Ex1和Ex2的照射方向观察样本S作为激发光的状态。样本S通常由包括诸如图24所示的组织切片的观察对象Sa的载玻片配置，但是当然可以不同于观察对象Sa的载玻片。观察目标Sa是例如生物样本，诸如核酸、细胞、蛋白质、细菌或病毒。样本S(即，观察对象Sa)用多种荧光染料染色。观察单元1以期望的放大倍率放大和观察样本S。

图25是示出了其中根据本实施方式的样本S用线路照明Ex1和Ex2照射的区域A的放大图。在图25的实施例中，在区域A中布置两条线照明Ex1和Ex2，并且布置光谱成像单元30的成像区域R1和R2以与线照明Ex1和Ex2叠加。两个线状照明Exl和Ex2分别与Z轴方向平行并且在Y轴方向上彼此隔开预定距离Δy布置。

如图25所示，在样本S的表面上形成线状照明Ex1和Ex2。如图23所示，由线状照明Ex1和Ex2在样本S中激发的荧光由物镜44会聚，由分色镜43反射，透射通过分色镜42和切断激发光的带通滤波器45，由聚光透镜46再次会聚，并且入射在光谱成像单元30上。

如图23所示，光谱成像单元30具有观察狭缝31、成像元件32、第一棱镜33、反射镜34、衍射光栅35和第二棱镜36。观察狭缝31是开口。衍射光栅35例如是波长分散元件。

在图23的实施例中，成像元件32具有2个成像元件32a、32b。成像元件32接收由衍射光栅35波长分散的多个光束，例如，荧光等。作为成像元件32，例如，采用诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)的二维成像器件。

观察狭缝31配置在聚光透镜46的聚光点处，具有与激发线的数量相同的数量的狭缝部，在本实施例中为2个狭缝部。从穿过观察狭缝31的两条激发线导出的荧光光谱被第一棱镜33分离，经由反射镜34被衍射光栅35的光栅面反射，因此进一步分离为各个激发波长的荧光光谱。分离的四个荧光光谱经由反射镜34和第二棱镜36入射在成像元件32a和32b上，并且作为光谱数据被显影为由行方向上的位置x和波长λ表示的光谱数据(x，λ)。光谱数据(x，λ)是包括在成像元件32中的像素中的在行方向上的位置x和在列方向上的波长λ的位置处的像素的像素值。注意，光谱数据(X，λ)可以简单地描述为光谱数据。

另外，成像元件32a、32b的像素尺寸[nm/像素]没有特别限定，例如设定为2[nm/像素]以上且20[nm/像素]以下。该色散值可以光学地或以衍射光栅35的间距实现，或者可以通过使用成像元件32a和32b的硬件合并(binning)来实现。另外，二向色镜42和带通滤波器45被***光路的中部，使得激发光(即，线照明Ex1和Ex2)不到达成像元件32。

线状照明Ex1和Ex2中的每个不限于由单个波长配置的情况，并且每个可配置有多个波长。当线状照明Exl和Ex2分别由多个波长形成时，由这些波长激发的荧光也包括多个光谱。在这种情况下，光谱成像单元30包括用于将荧光分离成源自激发波长的光谱的波长分散元件。波长分散元件具有衍射光栅、棱镜等，通常配置在观察狭缝31与成像元件32之间的光路上。

应注意，载物台20和扫描机构50构成X-Y载物台，并且在X轴方向和Y轴方向上移动样本S以获取样本S的荧光图像。在整个载玻片成像(WSI)中，重复在Y轴方向扫描样本S，然后在X轴方向移动样本S，并且进一步在Y轴方向执行扫描的操作。通过使用扫描机构50，可以连续获取在Y轴方向上在不同的激发波长下激发的染料光谱，即，在样本S(即，观察对象Sa)上空间分离距离y的荧光光谱。

扫描机构50随着时间改变样本S中用照射光照射的位置。例如，扫描机构50在Y轴方向扫描载物台20。扫描机构50可使得载物台20在Y轴方向上(即，在线照明Ex1和Ex2的布置方向上)扫描多个线照明Ex1和Ex2。这不限于该实施例，并且可以通过设置在光学***中间的检流镜在Y轴方向上扫描多个线照明Ex1和Ex2。由于从各线状照明Exl、Ex2导出的数据、例如二维数据或三维数据是坐标相对于Y轴偏移了距离Δy的数据，因此，根据预先存储的距离Δy或根据成像元件32的输出计算出的距离Δy的值，对数据进行校正并输出。

如图23所示，非荧光观察单元70包括光源71、二向色镜43、物镜44、聚光透镜72、成像元件73等。在非荧光观察单元70中，在图23的实施例中示出基于暗视场照明的观察***。

光源71相对于载物台20设置在面向物镜44的一侧上，并且使用来自与线照明Ex1和Ex2相反的一侧的照明光照射载物台20上的样本S。在暗场照明的情况下，光源71从物镜44的NA(数值孔径)的外部照明，并且由样本S衍射的光(暗场图像)由成像元件73经由物镜44、二向色镜43和聚光透镜72成像。通过使用暗场照明，即使明显透明的样本(诸如荧光标记的样本)也能够以对比度观察到。

注意，该暗场图像可与荧光同时观察并用于实时聚焦。在这种情况下，可以选择不影响荧光观察的波长作为照明波长。非荧光观察单元70不限于获取暗场图像的观察***，并且可以通过能够获取诸如明场图像、相位差图像、相位图像和在线全息图像的非荧光图像的观察***配置。例如，作为获取非荧光图像的方法，可以采用诸如Schlieren方法、相位差对比度方法、偏振观察方法和落射照明方法的各种观察方法。照明光源的位置不限于载物台20下方，并且可以在载物台20上方或物镜44周围。此外，不仅可以采用实时执行聚焦控制的方法，而且可以采用诸如预先记录聚焦坐标(Z坐标)的预聚焦映射方法的其他方法。

注意，在以上描述中，作为激发光的线状照明包括两个线状照明Ex1和Ex2，但不限于此，并且可以是三个、四个或五个或更多个。此外，每个线照明可以包括多个激发波长，这些激发波长被选择为使得颜色分离性能尽可能不劣化。此外，即使存在一个线状照明，如果其是包括多个激发波长的激发光源，并且与由成像元件32获取的数据相关联地记录每个激发波长，则可以获得多色光谱，尽管不可能获得平行于不同轴的可分离性。

上面已经描述了根据本公开的技术应用于荧光观察装置500的应用示例。另外，参照图22和图23说明的上述结构仅是一实施例，本实施方式的荧光观察装置500的结构并不限定于此。例如，荧光观察装置500可以不必包括图22和图23所示的所有配置，并且可以包括图22和图23中未示出的配置。

<1-12.作用效果>

如上所述，根据本实施方式，分离单元(例如，荧光分离单元131A)分离染色的荧光成分和自发荧光成分(例如，染色的荧光光谱和自发荧光光谱)，根据从荧光染色的样品图像获得的荧光成分(例如，荧光光谱)，生成单元131B计算分离精度(例如，针对来自样品图像和通过从荧光成分中分离染色的荧光成分以及自发荧光成分中的至少一个而获得的分离之后的图像之间的差异的每个像素的范数值)，并且生成指示每个像素的分离精度的分离精度图像(例如，范数图像)，并且提供评估单元131C，评估单元131C从分离精度图像识别包括分离精度的异常值的像素(例如，异常值像素)。由此，生成分离精度图像，并且基于分离精度图像识别异常值像素。因此，可以使用包括异常值的像素进行后处理。例如，可以从分离的图像中排除包括异常值的像素，可以在后处理中不使用包括异常值的像素，或者可以向用户给出包含包括异常值的像素的区域的通知。以这种方式，可以通过获得包括异常值的像素来提高分离图像精度和分离精度。

此外，可进一步提供基于包括异常值的像素执行处理的校正单元131D。这使得可以基于包括异常值的像素执行图像处理。例如，可以从所分离的图像中排除包括异常值的像素。

此外，校正单元131D可基于包括异常值的像素来执行包括染色的荧光成分或自发荧光成分的分离图像的掩模处理。由此，能够获得掩模处理后的分离图像。

另外，校正单元131D可通过将位于与包括分离精度图像的异常值的像素相同位置处的像素的值设置为零，并将其他像素的值设置为一，来生成掩模图像。由此，能够容易地得到遮挡了与包含异常值的像素位于同一位置的像素的分离图像。

此外，校正单元131D可以通过将包括位于与包括分离精度图像的异常值的像素相同位置的像素的预定区域中的像素值设置为零，并且将其他像素的值设置为一，来生成掩模图像。由此，能够容易地得到遮挡包含与包含异常值的像素位于同一位置的像素的规定区域的分离图像。

此外，校正单元131D可在后续处理中排除位于与分离精度图像的包括异常值的像素相同位置处的像素。例如，校正单元131D可以在用于获得表示信号分离性能的信号分离值的图像中排除位于与分离精度图像的包括异常值的像素相同位置处的像素。以这种方式，当获得信号分离值时，可以在不使用与包括异常值的像素相对应的像素的情况下执行处理，并且因此可以提高信号分离值等的信号分离精度。应注意，作为后续处理，例如，除了信号分离值的获取处理以外，还存在确定正阈值的处理等。

此外，校正单元131D可以将位于与在用于获得表示信号分离性能的信号分离值的图像中包括分离精度图像的异常值的像素相同位置处的像素的值改变为零。以这种方式，当获得信号分离值时，可以在不使用与包括异常值的像素相对应的像素的情况下执行处理，并且因此可以提高信号分离值等的信号分离精度。

此外，校正单元131D可以在用于获得表示信号分离性能的信号分离值的图像中排除包括位于与分离精度图像的包括异常值的像素相同位置处的像素的像素区域。以这种方式，当获得信号分离值时，可以在不使用包括与包括异常值的像素相对应的像素的单元区域的情况下进行处理，并且因此可以提高信号分离值等的信号分离精度。

此外，校正单元131D还可包括将评估单元131C的识别结果呈现给用户的呈现单元131E。由此，能够将识别结果提示给用户，用户能够掌握该识别结果。

此外，呈现单元131E可以呈现包含包括异常值的像素的分离精度图像。由此，用户能够掌握包含包括异常值的像素的分离精度图像。

此外，呈现单元131E可以呈现包含包括异常值的像素的区域。由此，用户能够掌握包含包括异常值的像素的区域。

此外，生成单元131B可计算样品图像与分离之后的图像之间的差值作为每个像素的分离精度。由此，可以容易地获得各像素的分离精度。

另外，在样品图像的像素值的矩阵是A、分离之后的荧光成分(例如荧光光谱)是S、分离之后的图像的像素值的矩阵是C的情况下，差值可以为|A-SC|。由此，能够高精度地得到各像素的分离精度。

另外，在样品图像的像素值的矩阵是A、分离之后的荧光成分(例如荧光光谱)是S、分离之后的图像的像素值的矩阵是D、以及转置矩阵^tA的伪逆矩阵是^tA^-1的情况下，差值可以为|A-SD^tA^-1|。由此，能够高精度地得到各像素的分离精度。

此外，生成单元131B可以归一化分离精度图像的每个像素的分离精度。因此，因为分离精度图像可被标准化，所以分离精度图像可在不同样本之间进行比较。

此外，生成单元131B可以将分离精度图像的每个像素的分离精度除以分离之前的样品图像的每个像素的像素值。由此，可以容易地将分离精度图像标准化。

此外，作为分离单元的实施例的荧光分离单元131A可通过包括最小二乘法、加权最小二乘法或非负矩阵因式分解中的至少一种的颜色分离计算从荧光成分中分离被染色的荧光成分以及自发荧光成分中的至少一种。由此，可以提高分离精度。

此外，荧光分离单元131A可再次使用分离精度超过异常值的像素的光谱将染色的荧光成分以及自发荧光成分中的至少一个与荧光成分分离。由此，能够进一步提高分离精度。

<2.定量评估的示例>

<2-1.定量评价的概述>

将简要描述定量评估的概要，即，根据本实施方式的信号分离值的计算。

传统上，为了定量地评估如上所述的颜色分离算法，例如颜色分离精度等，还没有对实际染色的图像执行定量评估的方法。其原因包括“1.在通过实际染色并捕获生物样本的图像获得的图像中，不能确定染料已染色的位置，并且不能确定染料和自发荧光是否已经被成功分离(正确答案是未知的)”，“2.在FCM(流式细胞术)中使用并使用染料的光谱创建具有良好染料可分离性的面板并且检测***的波长分辨率特性的***不能在染料的叠加或自发荧光的影响大的情况下使用”，“3.从抗原表达速率、抗体染料标记速率、染料亮度、激发效率确定面板的***中，自发荧光的特性根据组织部位而不同，因此不能用于空间复合评价”，“4.上述两个***中，测量***的测量自发荧光的光谱形状、待赋予等级和噪声等级是未知的，在面板设计时无法考虑”。

因此，为了进行诸如颜色分离算法的定量评估，使用模拟图像是有效的。例如，在本实施方式中，通过将染料光谱以瓦片形状叠加到通过图像捕获获取的非染色图像上来生成染料瓦片图像(荧光图像)，对应于成像参数的噪声特性被赋予该染料光谱，并且染料瓦片图像和非染色图像被组合以创建模拟实际测量的图像(模拟图像)。因此，还可以再现染料亮度水平相对于自发荧光不高的染色条件等，并且可以区分具有自发荧光的染料和像素。结果，可以从像素的平均值和方差定量地获得颜色分离的精度作为信号分离值。以下详细描述该定量评价。注意，在获得信号分离值的处理中，基于诸如范数图像(即，离群像素)的分离精度图像，从诸如非染色图像或染料平铺图像的图像中排除与离群像素处于相同位置的像素，并且获得信号分离值。

<2-2.与定量评估相关的分析单元的配置示例>

将参考图26和图27描述根据本实施方式的定量评估的分析单元133的配置示例。图26是示出根据本实施方式的分析单元133的示意性配置的示例的示图。图27是用于描述根据本实施方式的模拟图像的生成的示图。

如图26所示，分析单元133包括模拟图像生成单元131a、荧光分离单元131b和评估单元131c。荧光分离单元131b对应于颜色分离单元1321。

如图27所示，模拟图像生成单元131a通过叠加包含自发荧光成分的非染色图像(背景图像)和染料平铺图像(荧光图像)来生成模拟图像。染料片图像是具有多个染料片的染料片组。该染料平铺图像是例如其中荧光染料(第一荧光染料)的标准光谱(参考光谱)和针对非染色图像的各像素的成像噪声彼此相关联的图像。

例如，根据抗原表达率、抗体标记率、染料激发效率、染料发光效率等确定要赋予非染色图像的自发荧光强度的染料的强度。该自发荧光成分是该组织样本内源的内源噪声。除了非染色图像的自发荧光成分之外，内源噪声的实施例包括非染色图像的另一荧光染料(第二荧光染料)的标准光谱。此外，成像噪声是例如根据非染色图像的成像条件而改变的噪声等。针对每个像素对成像噪声的程度进行量化或可视化。非染色图像的成像条件包括例如激光功率、增益、曝光时间等。

成像噪声(测量***噪声)的实施例包括“1.由于自发荧光引起的不必要的信号噪声”、“2.由传感器电路如COMS”和“3引起的随机噪声(例如，读出噪声、暗电流噪声等)。根据检测的电荷量的平方根增加的散粒噪声(随机)”。为了模拟成像噪声，与作为标准光谱赋予染料平铺图像相关联的(即)噪声主要是以上3的散粒噪声。这是因为上述1和2被包括在背景的非染色图像(自发荧光图像)中。通过叠加瓦片和背景，可以表达所有上述1至3个待模拟的成像噪声。上述3中要给予的散粒噪声量可以根据要给予图块的色素信号的光子数或电荷量来确定。例如，在本实施方式中，计算背景的未染色图像的电荷量，根据该值确定染料的电荷量，并且进一步确定散粒噪声量。注意，散粒噪声也被称为光子噪声并且是由到达传感器的光子量的物理波动引起的，而不取恒定值。无论测量***的电路改善多少，都不消除该散粒噪声。

这里，在图27的示例中，染料片包括作为用于显示的像素的10×10像素(大约0.3μm/像素)。这是以20倍的图像捕获倍率拍摄未染色图像的情况，并且当倍率改变时，需要根据细胞尺寸改变染料片的尺寸。一个染料片的尺寸对应于细胞的尺寸，并且染料片图像的像素的数量对应于细胞尺寸的像素的数量。像素的最小单位等于单元尺寸。染料片图像包括用于具有不同染料(即，多种荧光染料)的多种类型的染料片中的每的标准光谱。注意，也可以通过在一个染料片中混合多种染料而不是在一个染料片中混合一种染料，评估在双染色条件或三染色条件下的颜色分离性能。

在图27的示例中，使用9种颜色的染料，即，染料片。九种颜色的染料片的颜色布置图案是其中相同颜色的染料片以斜条纹形状布置的图案，但不限于此。例如，每个染料片的颜色排列图案可以是其中相同颜色的染料片以竖直条纹形状、水平条纹形状、方格图案等排列的图案，并且可以是限定哪个染料片位于哪个位置的预定颜色排列图案。

具体地，模拟图像生成单元131a获取诸如非染色组织图像的非染色图像和成像参数作为输入参数。成像参数是成像条件的实施例，并且包括例如激光功率、增益、曝光时间等。模拟图像生成单元131a通过将与成像参数对应的噪声特性添加到染料光谱来生成染料片，重复地布置与用户期望染色的染料的数量对应的染料片，并且生成染料片图像的数据集。

荧光分离单元131b基于由模拟图像生成单元131a生成的模拟图像分离第一荧光染料的成分和自发荧光成分，并且生成分离的图像。荧光分离单元131b对模拟图像的数据集执行颜色分离计算以产生分离图像。应注意，荧光分离单元131b是颜色分离单元1321并且执行与颜色分离单元1321相同的处理。颜色分离方法包括例如LSM、NMF等。

评估单元131c评估由荧光分离单元131b生成的分离图像的分离程度。评估单元131c根据颜色分离计算结果的平均值和方差来确定分离图像的分离程度(面板的质量)。例如，评估单元131c从分离的图像生成直方图，从直方图计算染料和除染料之外的信号之间的信号分离值，并且基于信号分离值评估分离程度。作为实施例，评估单元131c表示通过直方图在颜色上分离的正像素和负像素，并且生成指示信号分离值的曲线图，该信号分离值是颜色分离精度的计算结果的数值。

显示单元140显示评估单元131c的评估结果，例如，指示每个染料的信号分离值的信息或图像。例如，显示单元140显示指示由评估单元131c生成的每个染料的信号分离值的曲线图、图表等。由此，用户可以掌握评估单元131c的评价结果。

<2-3.模拟图像创建的处理示例>

将参考图28和图29描述根据本实施方式的模拟图像创建的处理示例。图28是示出根据本实施方式的模拟图像生成处理的流程的示例的流程图。图29是用于描述根据本实施方式的散粒噪声叠加处理的示图。

如图28所示，在步骤S11中，用户选择待染色的抗体和染料的组合。在步骤S12中，模拟图像生成单元131a从要叠加的非染色图像的自发荧光强度确定要赋予的染料的光谱强度。在步骤S13中，模拟图像生成单元131a通过考虑图像捕获和测量时的噪声水平(即，每个像素的成像噪声)在赋予噪声的同时重复地布置染料片来创建荧光图像(即，染料片图像)。模拟图像生成单元131a在非染色图像上叠加创建的荧光图像。由此，完成模拟图像。

具体地，在上面的步骤S12中，确定被赋予作为背景图像的非染色图像的自发荧光强度的染料的光谱强度。例如，被赋予非染色图像的自发荧光强度的染料光谱的亮度通过以下流程(a)至(c)来确定。

(a)染料的峰值位置强度的计算

模拟图像生成单元131a获取对应于每个染料光谱的16nm的峰值位置的强度并且对值进行积分。对应于16nm的部分对应于从最大值起的两个通道。

(b)自发荧光的峰值位置强度

模拟图像生成单元131a获取背景图像的自发荧光强度。例如，模拟图像生成单元131a对与每个染料的峰值位置的两个通道对应的背景图像的光谱强度进行积分。此时，背景图像的波长通道的光谱强度是所有像素的平均值。

(c)确定赋予自发荧光强度的染料强度

模拟图像生成单元131a根据抗原表达速率、抗体标记速率、染料激发效率、染料发光效率等确定要赋予背景图像的自发荧光强度的染料强度。模拟图像生成单元131a从以上(a)和(b)中获得的光谱强度获得并调整染料光谱的倍率，以获得设定的染料强度。注意，倍率从以下表达式(1)获得。表达式(1)是与获得相对于自发荧光的染料强度的方法有关的表达式。

此外，在上面的步骤S13中，执行与成像参数对应的噪声叠加。例如，作为记录设备的CMOS的噪声特性包括与曝光时间成比例增加的暗电流和读出噪声，以及与信号强度的平方根成比例的散粒噪声。在该评估***中，由于暗电流噪声和读出噪声分量已经被包括在实际测量的非染色图像中，因此只有散粒噪声分量可以被赋予染料光谱以被叠加。在以下流程(a)至(d)中执行散粒噪声叠加。

(a)模拟图像生成单元131a将染料光谱除以波长校准数据并且将其返回至AD值。波长校准数据例如是从照相机输出值至光谱辐射的转换系数。

(b)模拟图像生成单元131a从捕捉背景图像时的增益和像素饱和电荷量将AD值转换成电荷量e-。

增益增益＝10^(dB值/20)

表达式(2)是电荷量转换公式。F(λ)：染料的标准光谱，Cor(λ)：波长校准数据，H：转换系数，以及E(λ)：电荷量。

(c)模拟图像生成单元131a将σ＝S^1/2(S：每个像素的电荷量e^-)的随机噪声叠加为散粒噪声。

表达式(3)是散粒噪声叠加等式。新E(λ)：在其上叠加散粒噪声的染料的标准光谱，Nrand：具有σ＝1的正常随机数，以及S：每个像素的电荷量e-。

(d)在以上(c)中叠加散粒噪声之后，模拟图像生成单元131a将染料光谱返回至在(a)至(b)的反向流中的光谱辐射。

图29示出了上述(a)至(d)的流程。由于通过上述流程(a)至(d)产生的染料光谱对应于图像的一个像素，所以染料光谱被重复地布置为10×10像素的染料片，并且产生荧光图像，即，染料片图像。

<2-4.定量评估的处理示例>

将参考图30至图32描述根据本实施方式的定量评估的处理示例。图30是示出根据本实施方式的定量评估处理的流程的示例的流程图。图31是示出根据本实施方式的分离图像和直方图的实施例的图。图32是用于描述根据本实施方式的基于直方图计算信号分离值的示图。

如图30所示，在步骤S21中，荧光分离单元131b接收模拟图像。在步骤S22中，荧光分离单元131b对模拟图像执行颜色分离计算。在步骤S23中，评估单元131c从分离的图像中创建直方图。在步骤S24中，评估单元131c计算信号分离值。

具体地，在以上步骤S22中，荧光分离单元131b使用待评估的颜色分离算法(例如，LSM、NMF等)执行颜色分离，其中所使用的该组染料光谱和该组自发荧光光谱作为输入值。

在以上步骤S23中，在颜色分离计算之后，评估单元131c从分离的图像中针对每种染料生成直方图，如图31所示。

此外，在上面的步骤S24中，评估单元131c将对应于一个单元的10×10像素和一个瓦片的亮度平均值视为一个信号，并且根据如图32中所示的所有瓦片的亮度的平均值σ和标准偏差σ计算信号分离值。例如，当信号分离值超过检测限制值3.29σ＝1.645时，颜色分离性能(例如，颜色分离精度)是足够的。

表达式(4)是信号分离值的计算表达式。μ₀：除了待评价的染料之外的瓦片的平均值，μ₁：待评价的染料的瓦片的平均值，σ₁：待评价的染料的瓦片的标准偏差，以及σ₂：除了待评价的染料之外的瓦片的标准偏差(参见图32)。

<2-5.分离图像的图像示例>

将参考图33至图35描述根据本实施方式的分离图像的图像示例。图33至图35是均示出了根据本实施方式的分离图像的示例的示图。

图33是分离图像的良好实施例，图34是分离图像的不良实施例1，并且图35是分离图像的不良实施例2。在不良实施例1和不良实施例2两者中，发生自发荧光泄漏。根据需要，通过显示单元140显示这些图像。显示的存在或不存在可通过用户对操作单元160的输入操作来选择。

如图33所示，在分离的图像中没有自发荧光泄漏。在图33的实施例中，示出了局部放大图，但是即使在该局部放大图中也没有自发荧光泄漏。另一方面，如图34所示，在分离的图像中存在自发荧光泄漏。在图34的实施例中，示出了具有自发荧光泄漏的部分的局部放大图，但是存在强的自发荧光泄漏。与图34类似，如图35所示，在分离的图像中发生自发荧光泄漏。在图35的实施例中，类似于图34，示出了发生自发荧光泄漏的部分的局部放大图，但是存在强的自发荧光泄漏。

<2-6.评估结果图像的图像示例>

将参考图36和图37描述根据本实施方式的评估结果图像的图像示例。图36是示出了根据本实施方式的每种染料的信号分离值的柱状图。图37是示出了根据本实施方式的每种染料的信号分离值的散布图。

如图36所示，在显示单元140上显示表示每个染料的信号分离值的柱状图。此外，如图37所示，在显示单元140上显示指示每个染料的信号分离值的散布图。该散点图是显示具有紧密激发的染料之间的泄漏的散点图。这些条标记和分散图由评估单元131c生成并被输出到显示单元140。柱状图和分散图是表示评估单元131c的评估结果的图像，并且仅仅是实施例。显示器的存在或不存在以及显示模式(例如，诸如柱状图或分布图的显示模式)可以通过用户对操作单元160的输入操作来选择。

如上所述，利用根据本实施方式的信息处理***，当设计成将与诸如增益和曝光时间的成像参数对应的噪声特性叠加在每个像素的染料光谱上时，具有与细胞大小对应的像素数的染料片被重复地布置用于待染色的染料的数目，并且被叠加在非染色的图像上，从而创建模拟实际测量的染色图像，即，模拟图像。这使得可以反映所测量的自发荧光的光谱形状和噪声级的特性，使得可以在任何图像捕捉条件下创建模拟图像。

此外，通过创建其中重复地布置染料片的模拟图像，可以区分在其上叠加染料的像素和包括自发荧光的其他像素，使得可以根据每个像素的平均和标准偏差定量地计算颜色分离的精度作为信号分离值。此外，因为可以根据抗原表达率、抗体标记率、染料激发效率、染料发光效率等设置将被赋予非染色图像的自发荧光光谱的染料强度，所以即使在任何染色条件下也可以评估颜色分离精度。

即，模拟图像生成单元131a通过以瓦片形状叠加染料光谱来生成染料瓦片图像，对应于成像参数的噪声特性被赋予染料光谱至通过图像捕获获取的非染色图像，组合染料瓦片图像和非染色图像，并且创建模拟实际测量的图像，即，模拟图像。因此，还可以再现染料亮度水平相对于自发荧光不高的染色条件等，并且可以区分具有自发荧光的染料和像素。结果，可以从像素的平均值和方差定量地获得颜色分离的精度作为信号分离值。

例如，颜色分离算法的精度可以作为从方差和平均值获得的被称为信号分离值的数值来定量获得。此外，染料的组合或染料和试剂的组合的评估也可以作为数值定量获得。此外，即使在具有不同自发荧光光谱的组织部位(即，不同组织)中，也可执行定量评估，并且还可执行复合评估。

通常，颜色分离算法的精度是通过视觉观察的定性评价，但是根据本实施方式，可以进行定量评价以选择最佳的颜色分离算法。另外，在上述1至4中，虽然存在问题，但即使是任何染色条件，也能够定量地评价颜色分离的精度。此外，由于复合评估是可能的，因此可以做出更优化的面板设计。此外，即使在染料的叠加或自发荧光的影响较大的情况下，也可以进行评价。另外，虽然自发荧光的特性根据组织部位而不同，但是也可以进行空间复合评价。可以考虑测量***的噪声水平来模拟面板设计。

例如，如果待叠加的未染色的图像仅是DAPI(4’，6-二脒基-2-苯基吲哚，二盐酸盐)染色，则使用者所选择的染料+DAPI的模拟变得可能。此外，考虑到DAPI的泄漏等，可以进行颜色分离算法和面板设计的评估。

<2-7.操作和效果>

如上所述，根据定量评估的示例，提供了模拟图像生成单元131a，其通过叠加包含自发荧光成分的非染色图像和其中非染色图像的每个像素的第一荧光染料的标准光谱(参考光谱)和成像噪声相关联的染料平铺图像来生成模拟图像，荧光分离单元131b，基于模拟图像分离第一荧光染料的成分和自发荧光成分并且生成分离图像，以及评估单元131c，评估分离图像的分离程度。因此，生成模拟图像，对模拟图像执行颜色分离处理以生成分离图像，并且评估分离图像的分离程度。这样，通过使用模拟图像，能够定量地评价颜色分离精度，能够适当地评价荧光分离的程度。

此外，染料平铺图像除了第一荧光染料之外还可以包括第二荧光染料的标准光谱，并且可以是其中第一荧光染料和第二荧光染料中的每一个的标准光谱与未染色图像的每个像素的成像噪声相关联的图像。因此，可以产生对应于多种荧光染料的模拟图像。

另外，成像噪声可以是根据非染色图像的成像条件而改变的噪声。因此，可以生成对应于非染色图像的成像条件的模拟图像。

另外，非染色图像的成像条件可包括激光功率、增益或曝光时间中的至少一个或全部。因此，可以生成对应于这些信息的模拟图像。

此外，染料片图像可以是具有多个染料片的染料片组。因此，有可能产生对应于每个染料片的模拟图像。

此外，多个染料片的单独尺寸也可以与单元尺寸相同。因此，可以产生对应于具有与细胞尺寸相同尺寸的每个染料片的模拟图像。

此外，多个染料片可以以预定的颜色排列图案排列。因此，可以基于预定的颜色布置图案对与每个染料片对应的模拟图像执行颜色分离处理，使得可以有效地执行颜色分离处理。

此外，可以针对每个染料片来量化或可视化成像噪声的程度。由此，当对成像噪声的程度进行量化时，可以生成与量化的成像噪声的程度相对应的模拟图像。此外，当使成像噪声的程度可视化时，用户可掌握成像噪声的程度。

此外，模拟图像生成单元131a可以重复布置对应于用户指定的染料数量的染料瓦片以生成染料瓦片图像。因此，可以生成对应于染料片的模拟图像，该染料片与用户指定的染料数量相对应。

此外，模拟图像生成单元131a可通过混合多种染料来产生染料片。由此，能够评价双重染色条件、三重染色条件等下的颜色分离性能(例如颜色分离精度)。

此外，模拟图像生成单元131a可确定将被赋予非染色图像的自发荧光强度的染料的光谱强度。因此，能够再现染料亮度水平相对于自发荧光强度不大的染色条件，并且能够彼此区分染料和具有自发荧光的像素。

此外，模拟图像生成单元131a可以在第一荧光染料的标准光谱上叠加成像噪声。因此，可以通过将标准光谱和成像噪声相关联来生成染料平铺图像。

此外，要叠加的成像噪声可以是散粒噪声。因此，可以生成对应于散粒噪声的染料平铺图像。

此外，荧光分离单元131b可通过包括最小二乘法、加权最小二乘法或者非负矩阵因式分解中的至少一种的颜色分离计算分离第一荧光染料的成分和自发荧光成分。由此，可以高精度地执行颜色分离处理。

此外，评估单元131c可以从分离图像生成直方图，从直方图计算染料与除了染料之外的信号之间的信号分离值，并且基于信号分离值评估分离程度。由此，能够高精度地评价分离度。例如，在信号分离值超过预定值(例如，1.645)的情况下，评估分离程度良好。

<3.定量评估的修改>

<3-1.与定量评估相关的分析单元的配置示例>

将参考图38描述根据本实施方式的与定量评估有关的分析单元133的配置示例。图38是示出根据本实施方式的分析单元133的示意性配置的示例的示图。

如图38所示，分析单元133除了上述模拟图像生成单元131a、荧光分离单元131b和评估单元131c之外还包括推荐单元131d。

推荐单元131d从由评估单元131c评估的分离程度推荐来自用户指定的染料的最佳试剂(荧光试剂10A)。例如，推荐单元131d生成用于向用户呈现通过具有不同的自发荧光光谱的组织或组织的染料的最佳组合的空间信息评估的图像(例如，表格、图表等)，并且显示单元140显示由推荐单元131d生成的图像。由此，用户能够在视觉上识别显示图像并且掌握染料的最佳组合。

例如，评估单元131c计算用于染色的染料组合或染料和试剂的组合的信号分离值。推荐单元131d基于计算结果(例如，每个组合的信号分离值)生成用于向用户呈现哪个组合是最佳的图像。例如，推荐单元131d排除信号分离值不超过1.645的染料，并且生成指示最佳组合的图像。要注意的是，除了生成最佳组合，例如，可生成表示多个推荐组合的图像(例如，表格、示图等)以及颜色分离性能(例如，信号分离值)。此外，可以显示表示指示抗体和染料的组合的矩阵信息的图像(例如，表格等)以供参考。

<3-2.操作和效果>

如上所述，根据定量评价的修改，能够得到与上述定量评价的实施例同样的效果。此外，提供了推荐单元131d，推荐单元131d基于分离度推荐对应于用户指定的染料的最佳试剂(荧光试剂10A)。由此，用户能够掌握最佳的试剂，因此能够提高用户的便利性。

另外，推荐单元131d可以生成指示染料的组合或染料和试剂的组合的图像(例如，表格、图表等)。由此，用户能够掌握染料的组合或染料和试剂的组合，从而能够提高用户的便利性。

此外，推荐单元131d可以生成指示抗体和染料的组合的图像(例如，图纸等)。由此，使用者能够掌握抗体与色素的组合，能够提高使用者的便利性。

<4.其他实施方式>

根据上述实施方式或修改的处理可以不同于上述实施方式的模式或修改执行。例如，在上述实施方式中说明的处理中，可以手动进行说明为自动执行的处理的全部或部分，或者可以通过公知的方法自动进行说明为手动执行的处理的全部或部分。此外，除非另外指明，否则可以任意地改变在文档和附图中描述的处理过程、特定名称和包括各种数据和参数的信息。例如，在每个图中描绘的各种类型的信息不限于所描绘的信息。

此外，在附图中描绘的每个装置的每个部件在功能上是概念性的，并且不一定如在附图中描绘的那样物理地配置。即，每个装置的分布和整合的具体形式不限于所描绘的形式，并且其全部或一部分可以根据各种负载、使用条件等在功能上或物理上分布和整合到任何单元中。

此外，在不与处理内容矛盾的范围内可以适当地组合上述实施方式或修改。此外，在本说明书中描述的效果仅实施例并且不受限制，并且可以提供其他效果。

<5.应用示例>

例如，根据本公开的技术可以应用于显微镜***等。在下文中，将参考图39至图41描述可应用的显微镜***5000的配置示例。作为显微镜***5000的一部分的显微镜装置5100用作成像设备。

图39示出了本公开的显微镜***的示例性配置。图39中所示的显微镜***5000包括显微镜装置5100、控制单元5110和信息处理单元5120。显微镜装置5100包括光照射单元5101、光学单元5102、以及信号获取单元5103。显微镜装置5100可以进一步包括其上放置生物样本S的样本放置单元5104。要注意的是，显微镜装置的配置不限于在图39中所示的配置。例如，光照射单元5101可存在于显微镜装置5100的外部，并且显微镜装置5100中未包括的光源可用作光照射单元5101。可选地，光照射单元5101可被布置为使得样本放置单元5104夹在光照射单元5101和光学单元5102之间，并且例如可被布置在光学单元5102存在的一侧上。显微镜装置5100可以被设计成能够执行以下各项中的一项或多项：明视场观察、相衬观察、微分干涉对比度观察、偏振观察、荧光观察、以及暗视场观察。

显微镜***5000可被设计为所谓的全载玻片成像(WSI)***或数字病理成像***，并且可用于病理诊断。可替代地，显微镜***5000可以被设计为荧光成像***，或特别地，被设计为多重荧光成像***。

例如，显微镜***5000可用于进行术中的病理诊断或远视病理学诊断。在术中病理诊断中，显微镜装置5100可以在执行操作的同时获取从操作的受试者获取的生物样本S的数据，并且然后将数据传输至信息处理单元5120。在电视病理学诊断中，显微镜装置5100可以将获取的生物样本S的数据传输至位于远离显微镜装置5100的地方(诸如在另一房间或建筑物中)的信息处理单元5120。在这些诊断中，信息处理单元5120接收并输出数据。基于输出数据，信息处理单元5120的用户可进行病理诊断。

(生物样本)

生物样本S可以是含有生物组分的样本。生物成分可以是活体的组织、细胞、液体成分(血液、尿液等)、培养物或活细胞(心肌细胞、神经细胞、受精卵等)。生物样本可以是固体，或者可以是用固定试剂(诸如石蜡)固定的样品或通过冷冻形成的固体。生物样本可以是固体的一部分。生物样本的具体实施例可以是活检样本的切片。

该生物样本可以是已经经受处理(如染色或标记)的样本。处理可以是用于指示生物组分的形态或用于指示包含在生物组分中的物质(表面抗原等)的染色，并且可以是例如苏木精-伊红(HE)染色或免疫组织化学染色。该生物样本可以是已经用一种或多种试剂经受以上处理的样本，并且该一种或多种试剂可以是荧光染料、着色试剂、荧光蛋白、或荧光标记的抗体。

为了病理诊断或临床检查的目的，样品可以从组织样本制备。可替代地，样品不一定是人体的，并且可以来源于动物、植物或一些其他材料。取决于使用的组织的类型(例如，诸如器官或细胞)、检查的疾病的类型、受试者的属性(例如，诸如年龄、性别、血型和种族)或受试者的日常习惯(例如，诸如饮食习惯、运动习惯和吸烟习惯)，样品在性质上可以不同。样品可以伴随有用于识别每个检体的识别信息(条形码、QR码(注册商标)等)，并且根据识别信息来管理。

(光照射单元)

光照射单元5101是用于照射生物样本S的光源，并且是将从光源发出的光引导至样品的光学单元。光源可用可见光、紫外光、红外光或其组合照射生物样本。光源可以是以下中的一个或多个：卤素光源、激光光源、LED光源、水银光源以及氙气光源。荧光观察中的光源可以是多个类型和/或波长，并且这些类型和波长可以由本领域的技术人员适当地选择。光照射单元可具有透射型、反射型或落射照明型(同轴落射照明型或侧面照明型)的配置。

(光学单元)

光学单元5102被设计为将来自生物样本S的光引导至信号获取单元5103。光学单元可以设计成使得显微镜装置5100能够观察或捕获生物样本S的图像。光学单元5102可包括物镜。本领域技术人员可根据观察方法适当地选择物镜的类型。光学单元还可包括中继透镜，用于将由物镜放大的图像中继至信号获取单元。光学单元可进一步包括除物镜和中继透镜之外的光学部件，并且光学部件可以是目镜、相位板、聚光透镜等。光学单元5102还可包括波长分离单元，该波长分离单元被设计成将具有预定波长的光与来自生物样本S的光分离。波长分离单元可被设计为选择性地使具有预定波长或预定波长范围的光到达信号获取单元。例如，波长分离单元可包括下列中的一者或多者：滤光器、偏光板、棱镜(沃拉斯顿棱镜)、以及选择性地使光通过的衍射光栅。例如，波长分离单元中所包括的光学组件可以设置在从物镜到信号获取单元的光路中。在执行荧光观察的情况下，或者具体地，在包括激发光照射单元的情况下，在显微镜装置中设置波长分离单元。波长分离单元可被设计为将荧光或白光与荧光分离。

(信号获取单元)

信号获取单元5103可被设计成接收来自生物样本S的光，并且将该光转换成电信号，或者具体地，转换成数字电信号。信号获取单元可被设计为能够基于电信号获取关于生物样本S的数据。信号获取单元可被设计为能够获取生物样本S的图像(捕捉图像，或者具体地，静止图像、延时图像、或者移动图像)的数据，或者具体地，可被设计为获取由光学单元放大的图像的数据。信号获取单元包含包括以一维或二维方式布置的多个像素的一个或多个图像传感器、CMOS、CCD等。信号获取单元可包括用于获取低分辨率图像的图像传感器和用于获取高分辨率图像的图像传感器，或者可包括用于感测AF等的图像传感器和用于输出用于观察的图像等的图像传感器。图像传感器不仅可包括多个像素，还可包括使用来自相应像素的像素信号执行信号处理的信号处理单元(包括以下中的一个或多个：CPU、DSP和存储器)以及控制从像素信号生成的图像数据和由信号处理单元生成的处理数据的输出的输出控制单元。包括多个像素的图像传感器、信号处理单元和输出控制单元可以优选地被设计为单片半导体器件。应注意，显微镜***5000可进一步包括事件检测传感器。事件检测传感器包括光电转换入射光的像素，并且可被设计为检测像素的亮度的变化超过预定的阈值，并且将该变化视为事件。事件检测传感器可以是异步类型的。

(控制单元)

控制单元5110控制由显微镜装置5100执行的成像。对于成像控制，控制单元可驱动光学单元5102和/或样本放置单元5104的移动，以调整光学单元和样本放置单元之间的位置关系。控制单元5110可以在朝向或远离彼此的方向上(例如，在物镜的光轴方向上)移动光学单元和/或样本放置单元。控制单元也可在垂直于光轴方向的平面中的任何方向上移动光学单元和/或样本放置单元。对于成像控制，控制单元可控制光照射单元5101和/或信号获取单元5103。

(样本放置单元)

样本放置单元5104可被设计为能够将生物样本的位置固定在样本放置单元上，并且可以是所谓的载物台。样本放置单元5104可被设计成能够在物镜的光轴方向上和/或在与光轴方向垂直的方向上移动生物样本的位置。

(信息处理单元)

信息处理单元5120可以从显微镜装置5100获取由显微镜装置5100获取的数据(成像数据等)。信息处理单元可对成像数据执行图像处理。图像处理可包含解混过程，或更特定来说，光谱解混过程。解混处理可包括从成像数据中提取预定波长或预定波长范围内的光学组件的数据以产生图像数据的处理，或者从成像数据中去除预定波长或预定波长范围内的光学组件的数据的处理。图像处理还可包括用于分离组织切片的自发荧光成分和染料成分的自发荧光分离处理，以及用于分离具有彼此不同的荧光波长的染料之间的波长的荧光分离处理。自发荧光分离处理可包括使用从具有相同或相似特性的多个样品中的一个样品提取的自发荧光信号从关于另一样品的图像信息移除自发荧光成分的过程。信息处理单元5120可以将用于成像控制的数据传输至控制单元5110，并且已经接收数据的控制单元5110可以根据数据控制由显微镜装置5100进行的成像。

信息处理单元5120可被设计为诸如通用计算机的信息处理装置，并且可包括CPU、RAM和ROM。信息处理单元可以包括在显微镜装置5100的壳体中，或者可以位于壳体外部。此外，可以通过经由网络连接的服务器计算机或云实现要由信息处理单元执行的各种处理或功能。

本领域技术人员可根据生物样本的类型、成像的目的等适当地选择由显微镜装置5100实施以捕获生物样本S的图像的方法。下面描述成像方法的实施例。

成像方法的一个实施例如下。显微镜装置可以首先识别成像目标区域。成像目标区域可被识别以覆盖存在生物样本的整个区域，或者可被识别以覆盖生物样本的目标部分(存在目标组织切片、靶细胞或目标病变的部分)。接下来，显微镜装置将成像目标区域分成预定尺寸的多个分割区域，并且显微镜装置依次捕捉各个分割区域的图像。由此，取得各分割区域的图像。

如图40所示，显微镜装置识别覆盖整个生物样本S的成像目标区域R。然后，显微镜装置将成像目标区域R分割成16个分割区域。然后，显微镜装置捕捉分割区域R1的图像，然后，捕捉包括在成像目标区域R中的一个区域，例如，与分割区域R1相邻的区域的图像。之后，进行分割区域成像，直到已经拍摄了所有分割区域的图像。要注意的是，还可根据关于分割区域的捕捉图像信息，捕捉成像目标区域R以外的区域的图像。调整显微镜装置和样本放置单元之间的位置关系，使得在捕获一个分割区域之后捕获下一个分割区域的图像。可以通过移动显微镜装置、移动样本放置单元或移动这两者来执行调整。在这个实施例中，捕捉每个划分区域的图像的成像装置可以是二维图像传感器(区域传感器)或一维图像传感器(线传感器)。信号获取单元可经由光学单元捕捉每个分割区域的图像。此外，可以在显微镜装置和/或样本放置单元移动时连续地捕获各个分割区域的图像，或者可以在每次捕获分割区域的图像时停止显微镜装置和/或样本放置单元的移动。成像目标区域可被分割成使得各个分割区域部分叠加，或者成像目标区域可被分割成使得各个分割区域不叠加。当诸如焦距和/或曝光时间的成像条件改变时，可捕捉每个分割的区域的多个图像。信息处理装置还可通过拼接多个相邻的分割区域来生成更宽区域的图像数据。由于对整个成像目标区域执行拼接处理，所以可以相对于成像目标区域获取更宽区域的图像。此外，可从划分的区域的图像或经历拼接处理的图像产生具有较低分辨率的图像数据。

成像方法的另一实施例如下。显微镜装置可以首先识别成像目标区域。成像目标区域可被识别以覆盖存在生物样本的整个区域，或者可被识别以覆盖生物样本的目标部分(存在目标组织切片或目标细胞的部分)。接下来，显微镜装置在与光轴垂直的平面中的一个方向(也称为“扫描方向”)上扫描成像目标区域的区域(也称为“分割扫描区域”)，并且由此捕捉图像。在完成分割的扫描区域的扫描之后，接着扫描紧邻扫描区域的分割的扫描区域。重复这些扫描操作，直到捕获整个成像目标区域的图像。如图41所示，显微镜装置将存在生物样本S的组织切片的区域(灰色部分)识别为成像目标区域Sa。然后，显微镜装置在Y轴方向扫描成像目标区域Sa的分割的扫描区域Rs。在完成分割的扫描区域Rs的扫描之后，显微镜装置然后在X轴方向上扫描下一个分割的扫描区域。重复该操作，直到完成对整个摄像对象区域Sa的扫描。对于每个划分的扫描区域的扫描，调整显微镜装置和样本放置单元之间的位置关系，使得在捕获一个划分的扫描区域的图像之后捕获下一个划分的扫描区域的图像。可以通过移动显微镜装置、移动样本放置单元或移动这两者来执行调整。在这个实施例中，捕捉每个分割的扫描区域的图像的成像装置可以是一维图像传感器(线传感器)或二维图像传感器(区域传感器)。信号获取单元可以经由放大光学***捕获每个分割的区域的图像。此外，可以在显微镜装置和/或样本放置单元被移动的同时连续地捕获各个划分的扫描区域的图像。可以划分成像目标区域使得各个划分的扫描区域部分重叠，或者可以划分成像目标区域使得各个划分的扫描区域不重叠。当诸如焦距和/或曝光时间的成像条件改变时，可以捕获每个分割的扫描区域的多个图像。信息处理装置还可以通过拼接多个相邻的划分的扫描区域来生成更宽区域的图像数据。由于对整个成像目标区域执行拼接处理，所以可以相对于成像目标区域获取更宽区域的图像。此外，可从划分的扫描区域的图像或经历拼接处理的图像产生具有较低分辨率的图像数据。

<6.硬件的配置示例>

将参考图42描述根据每个实施方式(或每个修改)的信息处理装置100的硬件配置示例。图42是示出信息处理装置100的硬件的示意性配置的实施例的框图。例如，通过下面描述的软件和硬件的协作实现信息处理装置100的各种处理。

如图42中所示，信息处理装置100包括中央处理单元(CPU)901、只读存储器(ROM)902、随机存取存储器(RAM)903以及主机总线904a。此外，信息处理装置100包括桥接器904、外部总线904b、接口905、输入装置906、输出装置907、存储装置908、驱动器909、连接端口911、通信装置913以及传感器915。代替CPU 901或除CPU 901之外，信息处理装置100可包括诸如DSP或ASIC的处理电路。

CPU 901用作运算处理设备和控制设备，并且根据各种程序控制信息处理装置100中的整体操作。此外，CPU 901可以是微处理器。ROM 902存储由CPU 901使用的程序、操作参数等。RAM 903主要存储在CPU 901的执行中使用的程序、在执行中适当改变的参数等。例如，CPU 901可至少体现信息处理装置100的处理单元130和控制单元150。

CPU 901、ROM 902和RAM 903通过包括CPU总线等的主机总线904a相互连接。主机总线904a经由桥接器904连接到外部总线904b，例如***组件互连/接口(PCI)总线。注意，主机总线904a、桥接器904和外部总线904b不一定需要单独配置，并且这些功能可以安装在一个总线上。

输入装置906例如由鼠标、键盘、触摸面板、按钮、麦克风、开关、操纵杆等实施者输入信息的装置来实现。此外，输入装置906可以是例如使用红外线或其他无线电波的远程控制装置，或者可以是与信息处理装置100的操作相对应的外部连接装置，诸如移动电话或PDA。此外，输入装置906例如可包括输入控制电路，该输入控制电路基于实施者使用上述输入单元输入的信息产生输入信号并将该输入信号输出到CPU 901。通过操作输入装置906，实施者可以向信息处理装置输入各种数据，并指示信息处理装置100执行处理操作。例如，输入装置906可至少体现为信息处理装置100的操作单元160。

输出装置907由能够视觉地或听觉地向实施者通知所获取的信息的装置形成。这种装置的实施例包括诸如CRT显示装置、液晶显示装置、等离子体显示装置、EL显示装置和灯的显示装置、诸如扬声器和耳机的声音输出装置、以及打印机装置。例如，输出装置907可至少体现信息处理装置100的显示单元140。

存储装置908是用于存储数据的装置。存储装置908通过例如诸如HDD的磁存储装置、半导体存储装置、光存储装置、磁光存储装置等来实现。存储装置908可包括存储媒质、将数据记录在存储媒质中的记录装置、从存储媒质读取数据的读取装置、删除记录在存储媒质中的数据的删除装置等。存储装置908存储由CPU 901执行的程序和各种数据、从外部获取的各种数据等。例如，存储装置908可至少体现信息处理装置100的存储单元120。

驱动器909是存储媒质的读写器，并且内置或外接到信息处理装置100。驱动器909读取记录在可移动存储媒质(诸如安装的磁盘、光盘、磁光盘或半导体存储器)中的信息，并将该信息输出到RAM 903。此外，驱动器909还可以向可移动存储媒质写入信息。

连接端口911是连接至外部设备的接口，并且是至能够通过例如通用串行总线(USB)传输数据的外部设备的连接端口。

通信装置913例如是由用于连接到网络920的通信装置等形成的通信接口。通信装置913例如是用于有线或无线局域网(LAN)、长期演进(LTE)、蓝牙(注册商标)、无线USB(WUSB)等的通信卡。此外，通信装置913可以是用于光通信的路由器、用于非对称数字用户线路(ADSL)的路由器、用于各种类型的通信的调制解调器等。例如，通信装置913可根据预定协议(例如，TCP/IP)将信号等传输给互联网和其他通信装置并且从互联网和其他通信装置中接收信号等。

在本实施方式中，传感器915包括能够获取频谱的传感器(例如，成像元件等)，但可以包括另一传感器(例如，加速度传感器、陀螺仪传感器、地磁传感器、压敏传感器、声音传感器、距离测量传感器等)。例如，传感器915可以至少体现信息处理装置100的图像获取单元112。

注意，网络920是从连接到网络920的装置发送的信息的有线或无线传输路径。例如，网络920可包括公共网络(诸如互联网、电话网络或卫星通信网络)、包括以太网(注册商标)的不同局域网(LAN)、广域网(WAN)等。此外，网络920可以包括专用线路网络，诸如互联网协议虚拟专用网络(IP-VPN)。

上面已经描述了能够实现信息处理装置100的功能的硬件配置示例。上述组件中的每个可使用通用构件来实现，或者可由专用于每个组件的功能的硬件来实现。因此，可以在实现本公开时根据技术水平适当地改变要使用的硬件配置。

另外，实现上述信息处理装置100的各功能的计算机程序能够生成并安装在PC等上。此外，还可以提供存储这种计算机程序的计算机可读记录介质。记录介质是例如磁盘、光盘、磁光盘、闪存等。此外，上述计算机程序可以经由例如网络分布，而不使用记录介质。

<7.附录>

应注意，本技术还可具有以下配置。

(1)

一种信息处理装置，包括：

分离单元，从根据荧光染色的样品图像获得的荧光成分中分离出染色的荧光成分以及自发荧光成分中的至少一者；

生成单元，根据所述样品图像与分离之后的图像之间的差异来计算每个像素的分离精度，并且生成指示所述每个像素的分离精度的分离精度图像，所述分离之后的图像是通过从所述荧光成分中分离出所述染色的荧光成分以及所述自发荧光成分中的至少一者而获得的；以及

评估单元，从分离精度图像识别包括分离精度的异常值的像素。

(2)

根据(1)的信息处理装置，进一步包括：

校正单元，基于包括所述异常值的所述像素执行处理。

(3)

根据(2)所述的信息处理装置，其中

校正单元基于包括所述异常值的所述像素对包括所述染色的荧光成分或所述自发荧光成分的分离图像执行掩模处理。

(4)

根据(3)所述的信息处理装置，其中

校正单元通过将位于与所述分离精度图像的包括所述异常值的所述像素相同位置处的像素的值设置为零并且将其他像素的值设置为一来生成掩模图像。

(5)

根据(3)所述的信息处理装置，其中

校正单元通过将包括位于与所述分离精度图像的包括所述异常值的所述像素相同位置处的像素的预定区域中的像素的值设置为零并且将其他像素的值设置为一来生成掩模图像。

(6)

根据(2)所述的信息处理装置，其中

校正单元在后续处理中排除位于与所述分离精度图像的包括所述异常值的所述像素相同位置处的像素。

(7)

根据(2)所述的信息处理装置，其中

校正单元在用于获得指示信号分离性能的信号分离值的图像中将位于与所述分离精度图像的包括所述异常值的所述像素相同位置处的像素的值改变为零。

(8)

根据(2)所述的信息处理装置，其中

校正单元在用于获得指示信号分离性能的信号分离值的图像中排除包括位于与所述分离精度图像的包括所述异常值的所述像素相同位置处的像素的细胞区域。

(9)

根据(1)至(8)中任一项所述的信息处理装置，进一步包括：

呈现单元，将所述评估单元的识别结果呈现给用户。

(10)

根据(9)所述的信息处理装置，其中

所述呈现单元呈现包含包括所述异常值的所述像素的所述分离精度图像。

(11)

根据(9)或(10)所述的信息处理装置，其中

所述呈现单元呈现包含包括所述异常值的所述像素的区域。

(12)

根据(1)至(11)中任一项所述的信息处理装置，其中

所述生成单元针对每个像素计算所述样品图像与所述分离之后的图像之间的差值作为分离精度。

(13)

根据(12)所述的信息处理装置，其中

当所述样品图像的像素值的矩阵是A，分离之后的荧光成分是S，并且所述分离之后的图像的像素值的矩阵是C时，所述差值是|A-SC|。

(14)

根据(12)所述的信息处理装置，其中

当所述样品图像的像素值的矩阵是A，分离之后的荧光成分是S，所述分离之后的图像的像素值的矩阵是D，并且转置矩阵^tA的伪逆矩阵是^tA^-1时，所述差值是|A-SD^tA^-1|。

(15)

根据(1)至(14)中任一项所述的信息处理装置，其中

所述生成单元归一化所述分离精度图像的每个像素的分离精度。

(16)

根据(15)所述的信息处理装置，其中

所述生成单元将所述分离精度图像的每个像素的分离精度除以分离之前的所述样品图像的每个像素的像素值。

(17)

根据(1)至(16)中任一项所述的信息处理装置，其中

所述分离单元通过包括最小二乘法、加权最小二乘法、以及非负矩阵因式分解中的至少一者的颜色分离计算而从所述荧光成分中分离出所述染色的荧光成分以及所述自发荧光成分中的至少一者。

(18)

根据(1)至(17)中任一项所述的信息处理装置，其中

所述分离单元使用分离精度超过所述异常值的像素的光谱来再次从所述荧光成分中分离所述染色的荧光成分以及所述自发荧光成分中的至少一者。

(19)

一种生物样本观察***，包括：

成像装置，获取荧光染色的样品图像；以及

信息处理装置，处理所述样品图像，其中

所述信息处理装置包括：

分离单元，从根据所述样品图像获得的荧光成分中分离出被染色的荧光成分以及自发荧光成分中的至少一者；

生成单元，根据所述样品图像与分离之后的图像之间的差异来计算每个像素的分离精度，并且生成指示所述每个像素的分离精度的分离精度图像，所述分离之后的图像是通过从所述荧光成分中分离出所述染色的荧光成分以及所述自发荧光成分中的至少一者而获得的；以及

评估单元，从分离精度图像识别包括分离精度的异常值的像素。

(20)

一种图像生成方法，包括：从荧光染色的样品图像和通过从样品图像获得的荧光成分中分离染色的荧光成分以及自发荧光成分中的至少一个而获得的分离之后的图像之间的差异来计算每个像素的分离精度；以及生成指示每个像素的分离精度的分离精度图像。

(21)

一种生物样本观察***，包括根据(1)至(18)中任一项所述的信息处理装置。

(22)

一种图像生成方法，用于通过根据(1)至(18)中任一项所述的信息处理装置生成图像。

参考标号列表

1观察单元

2处理单元

3显示单元

10激发单元

10A荧光试剂

11A试剂识别信息

20载物台

20A样品

21存储单元

21A样品识别信息

22数据校准单元

23图像形成单元

30光谱成像单元

30A荧光染色样品

40观察光学***

50扫描机构

60聚焦机构

70非荧光观察单元

80控制单元

100信息处理装置

110获取单元

111信息获取单元

112图像获取单元

120存储单元

121信息存储单元

122图像信息存储单元

123分析结果存储单元

130处理单元

131分析单元

131A荧光分离单元

131B生成单元

131C评估单元

131D校正单元

131E呈现单元

132图像生成单元

140显示单元

150控制单元

160操作单元

200数据库

500荧光观察装置

1311连接单元

1321颜色分离单元

1321A第一颜色分离单元

1321B第二颜色分离单元

1322光谱提取单元

5000显微镜***

5100显微镜装置

5101光照射单元

5102光学单元

5103信号获取单元

5104样本放置单元

5110控制单元

5120信息处理单元。

Claims (20)

1.一种信息处理装置，包括：

分离单元，从根据荧光染色的样品图像获得的荧光成分中分离出染色的荧光成分以及自发荧光成分中的至少一者；

生成单元，根据所述样品图像与分离之后的图像之间的差异来计算每个像素的分离精度，并且生成指示所述每个像素的分离精度的分离精度图像，所述分离之后的图像是通过从所述荧光成分中分离出所述染色的荧光成分以及所述自发荧光成分中的至少一者而获得的；以及

评估单元，从所述分离精度图像识别包括所述分离精度的异常值的像素。

2.根据权利要求1所述的信息处理装置，进一步包括：

校正单元，基于包括所述异常值的所述像素执行处理。

3.根据权利要求2所述的信息处理装置，其中，

所述校正单元基于包括所述异常值的所述像素对包括所述染色的荧光成分或所述自发荧光成分的分离图像执行掩模处理。

4.根据权利要求3所述的信息处理装置，其中，

所述校正单元通过将位于与所述分离精度图像的包括所述异常值的所述像素相同位置处的像素的值设置为零并且将其他像素的值设置为一来生成掩模图像。

5.根据权利要求3所述的信息处理装置，其中，

所述校正单元通过将包括位于与所述分离精度图像的包括所述异常值的所述像素相同位置处的像素的预定区域中的像素的值设置为零并且将其他像素的值设置为一来生成掩模图像。

6.根据权利要求2所述的信息处理装置，其中，

所述校正单元在后续处理中排除位于与所述分离精度图像的包括所述异常值的所述像素相同位置处的像素。

7.根据权利要求2所述的信息处理装置，其中，

所述校正单元在用于获得指示信号分离性能的信号分离值的图像中将位于与所述分离精度图像的包括所述异常值的所述像素相同位置处的像素的值改变为零。

8.根据权利要求2所述的信息处理装置，其中，

所述校正单元在用于获得指示信号分离性能的信号分离值的图像中排除包括位于与所述分离精度图像的包括所述异常值的所述像素相同位置处的像素的细胞区域。

9.根据权利要求1所述的信息处理装置，进一步包括：

呈现单元，将所述评估单元的识别结果呈现给用户。

10.根据权利要求9所述的信息处理装置，其中

所述呈现单元呈现包含包括所述异常值的所述像素的所述分离精度图像。

11.根据权利要求9所述的信息处理装置，其中，

所述呈现单元呈现包含包括所述异常值的所述像素的区域。

12.根据权利要求1所述的信息处理装置，其中，

所述生成单元针对每个像素计算所述样品图像与所述分离之后的图像之间的差值作为分离精度。

13.根据权利要求12所述的信息处理装置，其中，

当所述样品图像的像素值的矩阵是A，分离之后的荧光成分是S，并且所述分离之后的图像的像素值的矩阵是C时，所述差值是|A-SC|。

14.根据权利要求12所述的信息处理装置，其中，

当所述样品图像的像素值的矩阵是A，分离之后的荧光成分是S，所述分离之后的图像的像素值的矩阵是D，并且转置矩阵^tA的伪逆矩阵是^tA^-1时，所述差值是|A-SD^tA^-1|。

15.根据权利要求1所述的信息处理装置，其中，

所述生成单元归一化所述分离精度图像的每个像素的分离精度。

16.根据权利要求15所述的信息处理装置，其中，

所述生成单元将所述分离精度图像的每个像素的分离精度除以分离之前的所述样品图像的每个像素的像素值。

17.根据权利要求1所述的信息处理装置，其中，

所述分离单元通过包括最小二乘法、加权最小二乘法、以及非负矩阵因式分解中的至少一者的颜色分离计算而从所述荧光成分中分离出所述染色的荧光成分以及所述自发荧光成分中的至少一者。

18.根据权利要求1所述的信息处理装置，其中

所述分离单元使用分离精度超过所述异常值的像素的光谱来再次从所述荧光成分中分离所述染色的荧光成分以及所述自发荧光成分中的至少一者。

19.一种生物样本观察***，包括：

成像装置，获取荧光染色的样品图像；以及

信息处理装置，处理所述样品图像，其中，

所述信息处理装置包括：

分离单元，从根据所述样品图像获得的荧光成分中分离出被染色的荧光成分以及自发荧光成分中的至少一者；

生成单元，根据所述样品图像与分离之后的图像之间的差异来计算每个像素的分离精度，并且生成指示所述每个像素的分离精度的分离精度图像，所述分离之后的图像是通过从所述荧光成分中分离出所述染色的荧光成分以及所述自发荧光成分中的至少一者而获得的；以及

评估单元，从所述分离精度图像识别包括所述分离精度的异常值的像素。

20.一种图像生成方法，包括：

根据荧光染色的样品图像与分离之后的图像之间的差异来计算每个像素的分离精度，所述分离之后的图像是通过从根据所述样品图像获得的荧光成分中分离出染色的荧光成分以及自发荧光成分中的至少一者而获得的；并且生成指示所述每个像素的分离精度的分离精度图像。