CN115943305A - 信息处理装置、信息处理方法、程序和信息处理*** - Google Patents

Abstract

一种信息处理装置，包括：信息获取部(104)，其获取由用户对生物体组织的图像数据(610)的填充输入操作而指定的第一区域(700)的信息；以及区域确定部(108)，其基于所述图像数据和所述第一区域的信息在所述第一区域的边界上执行拟合，并且确定要进行预定处理的第二区域(702)。

Description

信息处理装置、信息处理方法、程序和信息处理***

技术领域

本公开涉及信息处理装置、信息处理方法、程序和信息处理***。

背景技术

近年来，正在推进从细胞样本等生物体组织的图像数据中自动提取对象部位(例如病变部)来进行诊断、研究利用的技术的开发。在上述技术中，多个已知的(标记的)目标区域的图像被用作教师数据来执行机器学习，并且通过这样的机器学习来构造鉴别器和供鉴别器使用的数据(模型数据)；然后，通过使用鉴别器和供鉴别器使用的数据(模型数据)，可自动从新获得的图像数据中提取目标区域。在本说明书中，用作教师数据的已知目标区域的图像数据被称为注释数据。公开了用于获得注释数据的各种技术，并且以下非专利文献1作为示例给出。

引用列表

非专利文献

非专利文献1：Jessica L.Baumann等，“Annotation of Whole Slide ImagesUsing Touchscreen Technology”，2018Pathology Visions

发明内容

技术问题

上述注释数据通过如下方法来产生：用户通过使用输入装置(例如，鼠标、电子笔等)在图像数据上绘制线，由此指定目标区域的范围，并且提取指定范围的图像。为了以高精度执行如上所述的目标区域的自动提取，需要通过使用被适当地标记并且具有良好精度的大量注释数据执行机器学习来构建鉴别器和供鉴别器使用的模型数据。

然而，如上，在观看图像数据的同时绘制线以指定存在于预定状态中的目标区域的范围的用户工作是非常麻烦的工作；因此，存在对大量高度准确的注释数据的生成的限制。当通过使用更大量的适当标记的注释数据来构造识别器等时，提高了上述自动提取的准确度；然而，对生成的注释数据量存在限制，并且因此对提高自动提取的准确度也存在限制。

由此，本公开提出了能够有效地生成要经历预定处理(机器学习)的数据(注释数据)的信息处理装置、信息处理方法、程序和信息处理***。

问题的解决方案

根据本公开，提供了一种信息处理装置。所述信息处理装置具有：信息获取部，其获取通过用户对生物体组织的图像数据的填充输入操作而指定的第一区域的信息；以及区域确定部，基于图像数据和第一区域的信息在第一区域的边界上执行拟合，并且确定要进行预定处理的第二区域。

此外，根据本公开，提供了一种信息处理方法。该信息处理方法包括：取得通过用户对生物体组织的图像数据的填充输入操作而指定的第一区域的信息；以及由处理器基于图像数据和第一区域的信息对第一区域的边界执行拟合，并确定要进行预定处理的第二区域。

此外，根据本公开，提供了一种程序。该程序使计算机具有以下功能：信息获取部，其获取通过用户对生物体组织的图像数据的填充输入操作而指定的第一区域的信息；以及区域确定部，基于图像数据和第一区域的信息在第一区域的边界上执行拟合，并且确定要进行预定处理的第二区域。

此外，根据本公开，提供了一种信息处理***。信息处理***包括信息处理装置和用于使信息处理装置执行信息处理的程序。在上述信息处理***中，上述信息处理装置起到以下功能：信息获取部，其获取由用户对生物体组织的图像数据的填充输入操作所指定的第一区域的信息；以及区域确定部，基于图像数据和第一区域的信息在第一区域的边界上执行拟合，并且确定要进行预定处理的第二区域。

附图说明

图1是示出根据本公开的实施方式的信息处理***的配置示例的示图。

图2是示出根据本公开的实施方式的信息处理***的操作示例的流程图。

图3是描述根据本公开的实施方式的信息处理***的操作示例的说明图。

图4是描述根据本公开的实施方式的信息处理装置的操作示例的说明图(部分1)。

图5是描述根据本公开的实施方式的信息处理装置的操作示例的说明图(部分2)。

图6是示出了根据本公开的实施方式的信息处理装置的功能配置示例的示图。

图7是示出图6所示的处理部的功能配置示例的图。

图8是示出了根据本公开实施方式的信息处理方法的流程图。

图9是根据本公开实施方式的输入屏幕的说明图(部分1)。

图10是根据本公开实施方式的输入屏幕的说明图(部分2)。

图11是图8中示出的步骤S230的子流程图(部分1)。

图12是描述根据本公开的实施方式的每个子模式的说明图(部分1)。

图13是描述根据本公开的实施方式的每个子模式的说明图(部分2)。

图14是描述根据本公开的实施方式的每个子模式的说明图(部分3)。

图15是图8中示出的步骤S230的子流程图(部分2)。

图16是描述根据本公开的实施方式的每个子模式的说明图(部分4)。

图17是描述根据本公开的实施方式的每个子模式的说明图(部分5)。

图18是描述根据本公开的实施方式的搜索范围的说明图(部分1)。

图19是描述根据本公开的实施方式的搜索范围的说明图(部分2)。

图20是描述根据本公开的实施方式的搜索范围的说明图(部分3)。

图21是描述本公开的实施方式的变形例的说明图(部分1)。

图22是描述本公开的实施方式的变形例的说明图(部分2)。

图23是描述本公开的实施方式的变形例的说明图(部分3)。

图24是示出诊断支持***的示意性配置的示例的框图。

图25是示出根据本公开的实施方式的信息处理装置的硬件配置示例的框图。

具体实施方式

在下文中，参照附图详细描述本公开的优选实施方式。在本说明书和附图中，具有基本相同的功能配置的部件由相同的附图标记表示，并且省略重复的描述。此外，在本说明书和附图中，具有基本上相同或相似功能配置的多个部件可以通过在相同的参考标号之后附上不同的字母表来区分。然而，当不需要在具有基本上相同或相似功能配置的部件之间进行特别区分时，仅附上相同的附图标记。

按照以下顺序给出描述。

1.关于本公开的实施方式的概述

1.1背景

1.2本公开的实施方式的概述

2.实施方式

2.1信息处理装置的功能配置示例

2.2处理部的功能配置示例

2.3关于拟合处理

2.4信息处理方法

3.变形例

4.结论

5.应用示例

6.硬件配置

7.补充

<<1.关于本公开的实施方式的概述>>

<1.1背景>

在描述本公开的实施方式的概述之前，参照图1描述导致由本发明人创建本公开的实施方式的背景。

在医疗领域中，病理学家可通过使用病理图像进行诊断，但是同一病理图像的诊断结果在病理学家之间可能不同。诊断的这种变化是由例如经验值(诸如职业年的差异和病理学家之间的专业知识)引起的，并且难以避免诊断的变化。因此，最近，为了支持所有病理学家，开发使用机器学习来导出作为用于支持病理诊断的信息的诊断支持信息的技术，使得它们可以进行高精度的病理诊断。具体地，在该技术中，准备多个病理图像，在每个病理图像中标签(注释)被附加到要注意的目标区域(例如，病变区域等)，并且对这些病理图像进行机器学习；由此，构建鉴别器和供鉴别器使用的数据(模型数据)。然后，通过使用鉴别器和由这种机器学习构建的鉴别器使用的模型数据，可以自动提取新病理图像中要注意的目标区域的图像。通过这种技术，可以将在新的病理图像中要注意的目标区域的信息提供给病理学家；因此，病理学家可更适当地进行病理图像的病理诊断。在本说明书中，被用作上述机器学习的教师数据并且标签(注释)被附加到目标区域(例如，病变区域等)的图像的数据被称为注释数据。

通过“病理图像的准备”、“注释数据的创建”和“机器学习”的三步处理(稍后将描述构造的细节)，主要进行鉴别器和由鉴别器使用的模型数据的上述构造。这里，附加到对象区域(例如，病变区域等)的标签(注释)可以是关于对象区域的各种信息。例如，信息可包括诊断结果，诸如“癌症”的亚型、“癌症”的阶段、以及癌细胞的分化程度，以及分析结果，诸如目标区域中存在或不存在病变、病变包括在目标区域中的概率、病变的位置、以及病变的类型。分化程度可以用于预测诸如什么药物(抗癌剂等)可能起作用的信息。

接下来，描述根据本公开的实施方式的信息处理***1的配置示例。图1是示出根据本公开的实施方式的信息处理***1的配置示例的示图。如图1所示，根据本公开的实施方式的信息处理***1包括信息处理装置10、显示装置20、扫描仪30、学习装置40以及网络50。信息处理装置10、扫描仪30和学习装置40被配置为能够经由网络50彼此通信。作为在网络50中使用的通信***，可以使用任何***，而不管它是有线还是无线***，但是期望使用能够保持稳定操作的通信***。此外，在本实施方式中，信息处理装置10和显示装置20可以是类似图1中示出的那些的单独装置，或者可以是集成装置，并且不受特别限制。在下文中，描述包括在信息处理***1中的每个装置的概述。

(信息处理装置10)

信息处理装置10例如由计算机构成，能够生成用于上述机器学习的注释数据并输出到后述的学习装置40。例如，由用户(例如，医生、临床检查技师等)使用信息处理设备10。本公开的实施方式主要假定经由鼠标(省略图示)或者手写笔(省略图示)将用户的各种操作输入至信息处理装置10。然而，在本实施方式中，用户的各种操作可经由未示出的终端输入至信息处理装置10。此外，本实施方式主要假定经由显示装置20从信息处理装置10输出对用户的各种呈现信息。然而，在本实施方式中，可以经由未示出的终端从信息处理装置10输出至用户的多条呈现信息。稍后将描述根据本公开的实施方式的信息处理装置10的细节。

(显示装置20)

显示装置20例如是液晶、EL(电致发光)、CRT(阴极射线管)等的显示装置，并且可以通过上述信息处理装置10的控制来显示病理图像。此外，接受来自用户的输入的触摸面板可以叠加在显示装置20上。在本实施方式中，显示装置20可以兼容4K或8K，并且可以由多个显示设备组成；因此，没有特别限制。用户可以在观看显示装置20上显示的病理图像时通过使用上述鼠标(省略图示)、手写笔(省略图示)等在病理图像上自由地指定要注意的目标区域(例如，病变区域)，并且将注释(标签)附接至目标区域。

(扫描仪30)

扫描器30可以对从被检体获得的诸如细胞样本的生物体组织执行读取。因此，扫描仪30生成其中存在生物体组织的病理图像，并且将病理图像输出至上述信息处理装置10。例如，扫描仪30包括图像传感器，并且通过利用图像传感器对生物体组织成像来生成病理图像。扫描仪30的读取***不限于特定类型。在本实施方式中，扫描仪30的读取***可以是CCD(电荷耦合器件)类型或CIS(接触图像传感器)类型，并且不受特别限制。在此，CCD类型可以对应于来自生物体组织的光(反射光或透射光)被CCD传感器读取并且被CCD传感器读取的光转换为图像数据的类型。另一方面，CIS***可以对应于将RGB三种颜色的LED(发光二极管)用作光源、通过光电传感器读取来自生物体组织的光(反射光或透射光)、并且将读取结果转换成图像数据的类型。

在本公开的实施方式中，主要假设存在病变区域的病理图像被用作图像数据给出描述。然而，根据本公开的实施方式的图像数据不限于病变图像。此外，在本实施方式中，病理图像的类型可以包括通过连接多个图像获得的一个图像，通过连续拍摄设定在扫描仪(具有图像传感器的显微镜)的载物台上的生物体组织(载片)获得所述多个图像。因此连接多个图像以生成图像的方法被称为整个载玻片成像(WSI)。

(学习装置40)

学习装置40由例如计算机形成，并且可通过使用多条注释数据执行机器学习来构造鉴别器和供鉴别器使用的模型数据。然后，通过使用鉴别器和由学习装置40构造的鉴别器使用的模型数据，可以自动提取在新的病理图像中要注意的目标区域的图像。深度学习可通常用于上述机器学习。本公开实施方式的描述主要假设鉴别器是通过神经网络获得的。在这样的情况下，模型数据可对应于神经网络的神经元的权重。然而，在本实施方式中，可以使用神经网络以外的手段来获得鉴别器。本实施方式中，例如判别器可以采用随机森林得到，也可以采用支持向量机得到，也可以采用AdaBoost得到，对此不作具体限定。

具体地，学习装置40获取多条注释数据，并计算注释数据中包括的目标区域的图像的特征值。例如，特征值可以是诸如颜色特征(亮度、饱和度、波长、光谱等)、形状特征(圆形度或圆周长度)、密度、距特定形式的距离、局部特征值或细胞核或细胞核的结构提取处理(细胞核检测等)或者通过聚集它们而获得的信息(细胞密度、方位等)的任何值。例如，学习装置40将目标区域的图像输入至诸如神经网络的算法，并且由此计算图像的特征值。此外，学习装置40对附加有相同注释(标签)的多个目标区域的图像的特征值进行积分，并且由此计算作为整个多个目标区域的特征值的代表性特征值。例如，学习装置40基于多个目标区域的图像(例如颜色直方图)的特征值的分布或者关注图像的纹理结构的LBP(局部二值模式)等特征值，计算整个多个目标区域的代表特征值。然后，基于所计算的目标区域的特征值，鉴别器可从包括在新病理图像中的区域中提取与上述目标区域相似的另一目标区域的图像。

如图1所示，本公开的实施方式主要假设信息处理装置10、扫描仪30和学习装置40作为单独的装置存在。然而，在本实施方式中，信息处理装置10、扫描仪30和学习装置40中的一些或全部可以作为集成装置存在。可选地，在本实施方式中，信息处理装置10、扫描仪30和学习装置40中的任一个的一些功能可包含在另一装置中。

在上文中，描述了根据本公开的实施方式的信息处理***1的配置示例。接下来，参照图2和图3描述根据本实施方式的信息处理方法。图2是示出了根据本公开的实施方式的信息处理***1的操作示例的流程图，并且具体地示出了信息处理***1获取病理图像、生成注释数据以及构建鉴别器等的流程。图3是描述根据本公开的实施方式的信息处理***1的操作示例的说明图。

具体地，如图2所示，根据本实施方式的信息处理方法包括步骤S100至步骤S300。在下文中，描述根据本实施方式的信息处理方法的每个步骤。

例如，扫描仪30拍摄(读取)放置在载玻片上的作为观察对象的生物体组织，生成其中存在生物体组织的病理图像，并且将病理图像输出至信息处理装置10(步骤S100)。在本实施方式中，例如，生物体组织可以是从患者取得的组织、细胞、脏器、唾液、血液等。

接下来，如图3的左侧所示，信息处理装置10经由显示装置20向用户呈现病理图像610。在观看病理图像610时，如图3的中心所示，用户通过使用鼠标(省略图示)或者手写笔(省略图示)指定病理图像610上要注意的目标区域(例如，病变区域)的范围，并且将注释(标签)附接至指定的目标区域702。然后，如图3的右侧所示，信息处理装置10基于附有注释的目标区域702的图像生成注释数据710，并将注释数据710输出至学习装置40(步骤S200)。

此外，学习装置40使用多条注释数据710执行机器学习，并且由此构建鉴别器和供鉴别器使用的模型数据(步骤S300)。

<1.2本公开的实施方式的概述>

接下来，参照图4和图5描述本公开的实施方式的概述。图4和图5是描述根据本公开的实施方式的信息处理装置10的操作示例的说明图。

在使用机器学习来导出诊断支持信息的技术中，准备用于机器学习的大量注释数据710。如果不能准备足够量的注释数据710，则机器学习的准确性降低，并且所构建的鉴别器和所构建的供鉴别器使用的模型数据的准确性降低；因此，难以以更好的精度在新的病理图像中提取要注意的目标区域(例如，病变区域)。

如图4所示，注释数据710(具体地，注释数据710中包括的图像)通过以下方法生成：用户通过使用鼠标(省略图示)等在病理图像610上绘制曲线704，从而指定指示目标区域702的范围的边界，并且提取指定范围的图像。这里，对象区域702并不意味着由用户单独输入的边界，而是意味着由边界包围的整个区域。然而，在观看病理图像610时绘制曲线704以指定具有复杂轮廓的目标区域702的范围的用户工作是非常麻烦的工作，并且在由用户绘制的曲线704与目标区域702的实际轮廓之间可能发生偏差。因此，如图4所示，可以设想一种方法，其中，基于病理图像610的目标区域702和由用户在病理图像610上绘制的曲线704执行拟合处理(校正)，从而获取目标区域702的实际轮廓，并且基于获取的轮廓从病理图像610提取目标区域702的图像。通过执行这样的拟合处理，即使用户绘制的曲线704偏离目标区域702的实际轮廓，也可以按照用户所期望的那样以高精度获取目标区域702的轮廓。作为在此适用的拟合处理技术，例如，可以给出“前景/背景拟合”、“细胞膜拟合”、“细胞核拟合”等；稍后将描述这些的细节。

然而，存在以下情况：目标区域702具有复杂复杂的形状，诸如癌细胞；在这种情况下，由于曲线704的长路径，用户在病理图像610上绘制曲线704难以避免长时间的输入工作。因此，难以有效地生成大量高度准确的注释数据710。

因此，鉴于上述情况，本发明人已构思了通过对病理图像610执行填充输入操作来指定目标区域702的范围的构思。当目标区域702具有诸如癌细胞的复杂复杂的形状时，与绘制曲线704的工作相比，填充目标区域702的工作可以减少用户的劳动力。然后，通过基于由填充输入操作填充的区域的边界的拟合处理，获取目标区域702的实际轮廓；因此，可以基于获取的轮廓从病理图像610提取目标区域702的图像。在此，如在图5的中心所示，填充输入操作是指用户通过在病理图像610上填充目标区域702而获得的填充范围700指定目标区域702的范围的操作。通过使用这样的填充输入操作，可以有效地产生大量的高度准确的注释数据710。即，本发明人通过使用这样的想法作为一个观点创建了本公开的实施方式。在下文中，顺序地描述由本发明人创建的本公开的实施方式的细节。

在以下说明中，将作为从生物体(例如人体、植物等)获得的组织(例如器官或上皮组织)的一部分的组织切片或细胞称为生物体组织。此外，在以下描述中，各种类型的类型被假定为目标区域702的类型。例如，主要假定肿瘤区域作为对象区域702的示例。另外，目标区域702的示例包括存在标本的区域、组织区域、伪影区域、上皮组织、鳞状上皮、腺体区域、细胞非典型区域、组织非典型区域等。即，对象区域702的轮廓的示例包括肿瘤区域与非肿瘤区域之间的边界、存在标本的区域与不存在标本的区域之间的边界、组织(前景)区域与空白(背景)区域之间的边界、伪影区域与非伪影之间的边界、上皮组织与非上皮组织之间的边界、鳞状上皮与非鳞状上皮之间的边界、腺体区域与非腺体区域之间的边界、细胞非典型区域与其他区域之间的边界、组织非典型区域与其他区域之间的边界等。可以通过使用这样的边界来执行上述拟合处理。另外，后述的生物体组织也可以根据需要进行各种染色。即，在以下的实施方式中，只要没有特别说明，则生物体组织样品既可以进行各种染色，也可以不进行各种染色，没有特别的限定。染色的示例不仅包括以HE(苏木精-曙红)染色、吉姆萨染色或巴氏染色为代表的一般染色，而且包括当集中于特定组织时使用的高碘酸-席夫(PAS)染色等以及诸如FISH(荧光原位杂交)或酶抗体法的荧光染色。

此外，在以下描述中，填充输入操作(填充)是指这样的操作，其中，基于用户的输入操作，利用叠加并显示在病理图像(图像数据)610上的具有预定宽度的轨迹填充作为病理图像610的一部分的目标区域702。此外，在以下描述中，在上述预定宽度被设定为小于阈值的情况下，假设输入操作是其中具有与阈值相同值的宽度的轨迹被用户绘制为叠加在病理图像(图像数据)610上的线图输入操作(笔划)。

<<2.实施方式>>

<2.1信息处理装置的功能配置示例>

首先，参照图6描述根据本公开的实施方式的信息处理装置10的功能配置示例。图6为示出根据本公开的一个实施方式的信息处理装置10的功能配置示例的示图。具体地，如图6所示，信息处理装置10主要包括处理部100、图像数据接收部120、存储部130、操作部140和传输部150。在下文中，依次描述信息处理装置10的功能部的细节。

(处理部100)

处理部100可以基于病理图像610和来自用户的输入操作从病理图像(图像数据)610生成注释数据710。处理部100例如通过以RAM(随机存取存储器)等作为工作区域由CPU(中央处理单元)或MPU(微处理单元)执行存储在后面描述的存储部130中的程序的处理来工作。处理部100例如由ASIC(专用集成电路)、FPGA(现场可编程门阵列)等集成电路构成。稍后将描述处理部100的细节。

(图像数据接收部120和传输部150)

图像数据接收部120和传输部150中的每一个包括通信电路。图像数据接收部120可经由网络50从扫描仪30接收病理图像(图像数据)610。图像数据接收部120将所接收的病理图像610输出至上述处理部100。另一方面，传输部150在从处理部100输出注释数据710时，能够经由网络50向学习装置40发送注释数据710。

(存储部130)

存储部130例如通过使用诸如RAM或闪存的半导体存储元件、或诸如硬盘或光盘的存储装置来获得。存储部130存储处理部100已经生成的注释数据710、处理部100执行的程序等。

(操作部140)

操作部140具有接受用户的操作输入的功能。本公开的实施方式主要假定操作部140包括鼠标和键盘。然而，在本实施方式中，操作部140不限于包括鼠标和键盘的情况。在本实施方式中，例如，操作部140可包括电子笔、可包括触摸面板或者可包括检测视线的图像传感器。

参考图6描述的以上配置仅是示例，并且根据本实施方式的信息处理装置10的配置不限于这种示例。即，根据本实施方式的信息处理装置10的配置可根据规格或实际使用灵活地修改。

<2.2处理部的功能配置示例>

接下来，参照图7描述上述处理部100的功能配置示例。图7是示出图6所示的处理部100的功能配置示例的图。具体地，如图7所示，处理部100主要包括轨迹宽度设定部102、信息获取部104、判定部106、区域确定部108、提取部110和显示控制部112。在下文中，顺序地描述处理部100的功能部的细节。

(轨迹宽度设定部102)

轨迹宽度设定部102可以从操作部140获取用户输入的信息，并且基于所获取的信息设定填充输入操作中的轨迹的宽度。然后，轨迹宽度设定部102可以将设定的轨迹宽度的信息输出到后面描述的信息获取部104和显示控制部112。稍后将描述由用户输入和设定轨迹的宽度的细节。

在轨迹的宽度被设定为小于预先确定的阈值的情况下，轨迹宽度设定部102可以从填充输入操作切换至画线输入操作。即，轨迹宽度设定部102可以在填充输入操作和画线输入操作之间切换。如上所述，线图输入操作表示其中用户将具有与上述阈值相同值的宽度的轨迹绘制为叠加在病理图像(图像数据)610上的输入操作。

轨迹宽度设定部102可基于对病理图像610的分析结果(例如，对病理图像610的频率分析结果、通过从病理图像610识别和提取特定组织而获得的提取结果等)或病理图像610的显示放大倍率来自动设定轨迹的宽度。此外，轨迹宽度设定部102可基于用户在病理图像610上绘制轨迹的速度自动设定轨迹的宽度。此外，轨迹宽度设定部102可基于病理图像610上的填充输入操作的输入开始位置(轨迹的起始点)，例如基于输入开始位置与和现有注释数据(用于学习的其他图像数据)710(细节将在后面描述)相关的区域的位置关系，自动设定轨迹的宽度或者在填充输入操作与线图输入操作之间切换。在本实施方式中，通过以这种方式自动执行轨迹宽度的设定或切换，可以更加提高输入操作的便利性，并且可以有效地生成大量高度精确的注释数据710。

(信息获取部104)

信息获取部104可以从操作部140获取用户的输入操作的信息，并且将所获取的信息输出到稍后描述的判定部106。具体地，信息获取部104获取用户通过对病理图像(例如，生物体组织的图像数据)610的填充输入操作填充并指定的填充范围(第一区域)700的信息。此外，信息获取部104可以获取由用户通过病理图像610上的线图输入操作绘制的曲线704包围指定的范围(第三区域)的信息。

(判定部106)

判定部106可确定由用户对病理图像610的填充输入操作指定的填充范围(第一区域)700与已存储在存储部130中的一条或多条其他现有注释数据710是否重叠。决定部106还可以决定填充范围700与其他现有注释数据710在什么状态下重叠(例如，它们是否以跨越方式重叠)等。然后，判定部106将确定结果输出至稍后描述的区域确定部108。

(区域确定部108)

基于病理图像(图像数据)610、通过用户对病理图像610的填充输入操作指定的填充范围(第一区域)700、以及上述判定部106的确定结果，区域确定部108对通过填充输入操作填充的填充范围700的整个边界线或部分边界线执行拟合。通过该拟合处理，区域确定部108可以获取目标区域(第二区域)702的全部或部分轮廓。此外，区域确定部108将所获取的对象区域702的轮廓的信息输出至稍后描述的提取部110和显示控制部112。

具体地，基于由用户预先设定的模式(范围设定模式)(添加模式或校正模式)和上述判定部106的判定结果，区域确定部108确定在由填充输入操作指定的填充范围(第一区域)700的边界之外要执行拟合的拟合范围。然后，区域确定部108在所确定的拟合范围中执行拟合。这里执行的拟合可以是例如基于前景和背景之间的边界的拟合、基于细胞膜的轮廓的拟合或基于细胞核的轮廓的拟合(稍后将描述这些的细节)。使用哪种拟合技术可以由用户预先确定，或者可以根据病理图像(图像数据)610的特征来确定。

本实施方式中的拟合范围的确定以如下方式执行。例如，在添加模式(第一范围设定模式)下，在由填充输入操作指定的填充范围(第一区域)700和其他现有注释数据(与用于学习的其他图像数据相关的区域)710不重叠的情况下，区域确定部108以在填充范围700的整个边界线上执行拟合的方式确定拟合范围。

此外，例如，在添加模式(第一范围设定模式)下，在由填充输入操作指定的填充范围(第一区域)700和其他现有注释数据(与用于学习的其他图像数据相关的区域)710重叠的情况下，区域确定部108以在填充范围700之外不与其他现有注释数据710重叠的区域的边界线上执行拟合的方式来确定拟合范围。在这种情况下，与新执行拟合的范围的轮廓相关的区域和其他现有注释数据710被整合(接合)，以变成与可包括在新注释数据710中的图像对应的目标区域(第二区域)702。

此外，例如，在校正模式(第二范围设定模式)下，在由填充输入操作指定的填充范围(第一区域)700和其他现有注释数据(与用于学习的其他图像数据相关的区域)710重叠的情况下，区域确定部108以在填充范围700之外的与其他现有注释数据710重叠的区域的边界线上执行拟合的方式来确定拟合范围。在这种情况下，信息处理装置10从其他现有注释数据710去除与新执行拟合的范围的轮廓相关的区域，从而变成与可以包括在新注释数据710中的图像相对应的目标区域(第二区域)702。

此外，基于病理图像610以及用户对病理图像610通过画线输入操作指定的范围(第三区域)的信息，区域确定部108可以在通过画线输入操作指定的范围(第三区域)的边界线上执行拟合，并且确定对应于可以包括在新注释数据710中的图像的目标区域(第二区域)702。

(提取部110)

基于由区域确定部108确定并且对应于可以包括在新注释数据710中的图像的目标区域702(第二区域)，提取部110可以从病理图像(图像数据)610中提取用于机器学习的目标区域702的图像。然后，提取部110将所提取的图像与用户附加的注释一起作为新的注释数据710输出到学习装置40。

(显示控制部112)

显示控制部分112可以基于各种信息控制显示装置20的显示。例如，显示控制部112可以基于用户的输入操作设定在显示装置20上显示的病理图像610的放大倍率。显示控制部112可以基于对病理图像610的分析结果(例如，对病理图像610的频率分析结果、通过从病理图像610中识别并且提取特定组织而获得的提取结果等)或者用户在病理图像610上绘制轨迹的速度来自动设定所显示的病理图像610的放大倍率。在本实施方式中，通过以这种方式自动设定倍率，可以更多地增强输入操作的便利性，并且可以有效地生成大量高度精确的注释数据710。

参照图7描述的上述配置仅是示例，根据本实施方式的处理部100的配置不限于这样的示例。即，本实施方式的处理部100的构成能够根据规格或实际用途而灵活变更。

<2.3关于拟合处理>

如上所述，区域确定部108在所确定的拟合范围中执行拟合处理。例如，此处所执行的拟合处理可以是以上描述的“前景/背景拟合”、“细胞膜拟合”、“细胞核拟合”等。

“前景/背景拟合”是对前景和背景之间的边界的拟合处理。当目标区域702是例如存在标本的区域、组织区域、伪影区域、上皮组织、鳞状上皮、腺体区域、细胞非典型区域、组织非典型区域等时，可以应用“前景/背景拟合”。在这种情况下，可以使用基于图形切割的分割算法，基于病理图像610和通过填充输入操作指定的填充范围(第一区域)700执行拟合处理。机器学习可用于分割算法。

具体地，在“前景/背景拟合”处理中，例如，将具有与由用户利用曲线704指定的病理图像610上的范围内存在的像素的颜色值相同或近似的颜色值的一组像素作为待提取(制成片段)的目标区域702，并且获取目标区域702的轮廓。此时，在图像上，预先指定形成前景对象的区域和形成背景对象的区域的部分。然后，假设在与前景对象和背景对象相邻的区域的像素之间的颜色值存在差异，可以给出当前景标记或背景标记被适当地附加到所有像素时实现最小成本的成本函数，并且可以计算成本被最小化的标记的组合(图切割)(可以解决能量最小化问题)；因此，可以进行分割。

“细胞膜拟合”是在细胞膜上的拟合处理。在这种情况下，从病理图像识别细胞膜的特征，并且基于识别的细胞膜的特征和由用户绘制的曲线704包围的范围沿着细胞膜的轮廓执行拟合处理。例如，在装配时，可以使用通过免疫染色的膜染色染成棕色的边缘。染色条件不限于上述示例，并且可以是任何染色条件，诸如一般染色、免疫染色或荧光免疫染色。

“细胞核拟合”是拟合在细胞核上。在这种情况下，从病理图像识别细胞核的特征，并且基于识别的细胞核的特征和由用户绘制的曲线704包围的范围沿着细胞核的轮廓执行拟合。例如，当使用苏木精-伊红(HE)时，细胞核被染成蓝色；因此，在装配时可以使用基于苏木精-伊红(HE)的染色信息。染色条件不限于上述示例，并且可以是任何染色条件，诸如一般染色、免疫染色或荧光免疫染色。

在下文中，假设执行“前景/背景拟合”，具体描述根据本实施方式的拟合处理。

基于由用户对病理图像610的填充输入操作指定的填充范围(第一区域)700的信息，区域确定部108获取填充范围700的边界线(轮廓)。然后，区域确定部108可通过基于病理图像610和填充范围700的边界线通过使用基于图形切割的分割算法提取目标区域(第二区域)702(存在标本的区域、组织区域、伪影区域、上皮组织、鳞状上皮、腺体区域、细胞非典型区域、组织非典型区域等)的轮廓来执行拟合。可替代地，机器学习可用于分割算法。在上述拟合中，可以判断对象区域702的轮廓，使得作为轮廓的确定性(可靠性)较高。在本实施方式中，通过执行这样的拟合处理，即使用户所填充的填充范围700的边界线偏离目标区域702的实际轮廓，也可以如用户所期望的那样以高精度获取目标区域702的轮廓。由此，根据本实施方式，能够有效地生成大量的高精度的注释数据710。

在从由填充输入操作指定的填充范围(第一区域)700的边界线延伸(具有预定宽度)直至预定距离的范围内执行在拟合处理时的轮廓的搜索。在下文中，在拟合处理时搜索轮廓的范围被称为“搜索范围”；例如，沿着垂直于由填充输入操作指定的填充范围700的边界线的方向延伸预定距离的范围可被视为搜索范围。更具体地，在本实施方式中，上述搜索范围可以是位于填充范围700的边界线外侧和内侧并且从边界线沿着法线方向延伸的预定距离的范围。可选地，在本实施方式中，上述搜索范围可以为位于填充范围700的边界线外侧或内侧、且从边界线沿法线方向延伸的预定距离的范围；因此，不特别限制(稍后将描述细节)。

在本实施方式中，上述搜索范围内的预定距离(预定宽度)可以由用户预先设定。可替代地，在本实施方式中，基于对病理图像610的分析结果(例如，对病理图像610的频率分析结果、通过从病理图像610中识别并且提取特定组织而获得的提取结果等)、用户在病理图像610上绘制轨迹的速度等可自动设定搜索范围中的预定距离(预定宽度)。在本实施方式中，通过以这种方式自动设定搜索范围，可以更加提高用户的便利性，并且可以有效地生成大量高度准确的注释数据710。此外，在本实施方式中，信息处理装置10可以经由显示装置20向用户显示上述搜索范围。

此外，在本实施方式中，当通过上述拟合处理不能获取如用户预期的目标区域702时，用户可重复进行校正。

<2.4信息处理方法>

在上文中，描述了根据本实施方式的信息处理装置10、处理部100和配件的细节。接下来，参考图8至图20描述根据本实施方式的信息处理方法中创建注释数据710(图2中示出的步骤S200)的方法的细节。图8是示出根据本实施方式的信息处理方法的流程图，并且图9和图10是根据本实施方式的输入屏幕的说明图。

具体地，如图8所示，根据本实施方式的信息处理方法中创建注释数据710的方法包括步骤S210至步骤S260。现在将描述这些步骤的细节。

首先，当通过扫描仪30读取病理图像610时，信息处理装置10获取病理图像610的数据，并且经由显示装置20将数据呈现给用户。然后，信息处理装置10获取用户选择的模式(范围设定模式)(添加模式或校正模式)的信息，并将该模式设定为添加模式或校正模式(步骤S210)。例如，如图9和图10所示，用户可通过执行按下显示装置20的显示部200的左上方上显示的两个图标600中的任一者的操作来选择模式。

接下来，用户对病理图像610的目标区域702执行填充输入操作，并且信息处理装置10获取由用户通过填充输入操作指定的填充范围(第一区域)700的信息(步骤S220)。例如，如图9和图10所示，用户可通过在显示装置20的显示部200上显示的病理图像610上执行移动图标602的操作来执行填充输入操作。

然后，信息处理装置10基于由用户预先设定的模式(范围设定模式)(添加模式或校正模式)和上述判定部106的判定结果确定用于确定拟合范围的子模式(步骤S230)。

具体地，在本实施方式中，例如，在添加模式(第一范围设定模式)下，在判定部106已经确定由填充输入操作指定的填充范围(第一区域)700和其他现有注释数据(与用于学习的其他图像数据相关的区域)710不重叠的情况下，新模式被确定为子模式(参见图11)。此外，例如，在添加模式中，在判定部106已经确定填充范围700和其他现有注释数据710重叠的情况下，将整合模式或扩展模式确定为子模式(参见图11)。

此外，在本实施方式中，例如，在校正模式(第二范围设定模式)下，在判定部106已经确定填充范围700以跨越方式与其他现有注释数据710重叠的情况下，确定分离模式作为子模式(参见图15)。此外，例如，在校正模式(第二范围设定模式)中，在判定部106已经确定填充范围700不与其他现有注释数据710以跨越方式重叠的情况下，确定删除模式作为子模式(参见图15)。稍后将描述步骤S230的细节。

接下来，信息处理装置10基于在上述步骤S230中确定的子模式来确定拟合范围，并且基于预先设定的拟合技术来执行拟合处理(步骤S240)。具体地，信息处理装置10通过使用图形切割基于病理图像610和由填充输入操作指定的填充范围700的边界线执行能量(成本)计算，并且基于计算结果校正(拟合)上述边界线；从而获取新的轮廓。然后，基于新获取的轮廓，信息处理装置10获取与可以包括在新注释数据710中的图像对应的目标区域(第二区域)702。

在本实施方式中，例如，在新模式中，以在由填充输入操作指定的填充范围700的整个边界线上执行拟合的方式来确定拟合范围。此外，例如，在整合模式和扩展模式中，以在填充范围700之外的不与其他现有注释数据710重叠的区域的边界线上执行拟合的方式来确定拟合范围。在这种情况下，与新执行拟合的范围的轮廓相关的区域和其他现有注释数据710被集成以变成与可包括在新注释数据710中的图像对应的目标区域(第二区域)702。此外，例如，在分离模式和删除模式中，以在填充范围700之外的与其他现有注释数据710重叠的区域的边界线上执行拟合的方式来确定拟合范围。在这种情况下，信息处理装置10从其他现有注释数据710去除与新执行拟合的范围的轮廓相关的区域，从而变成与可以包括在新注释数据710中的图像相对应的目标区域(第二区域)702。

信息处理装置10经由显示装置20向用户显示通过在上述步骤S240中拟合获得的目标区域(第二区域)702，并且促使用户进行视觉观察(步骤S250)。在本实施方式中，该程序可根据用户观察的结果返回至步骤S220。然后，信息处理装置10将目标区域702的图像和由用户附加到目标区域702的注释关联在一起，从而生成新的注释数据710。

信息处理装置10确定是否可以结束注释数据710的生成(步骤S260)。信息处理装置10在能够结束注释的情况下结束处理(步骤S260：是)，或者在不能结束注释的情况下返回上述的步骤S210(步骤S260：否)。

接下来，针对加法模式和校正模式中的每一个描述步骤S230的细节。首先，参照图11至图14描述在加法模式中的步骤S230的细节。图11是在图8中示出的步骤S230的子流程图，并且图12至图14是描述根据本实施方式的子模式的说明图。具体地，如图11所示，加法模式中的步骤S230包括子步骤S231至子步骤S235。现在将描述这些子步骤的细节。

首先，信息处理装置10确定用户对病理图像610的填充输入操作所指定的填充范围(第一区域)700与现有注释数据710是否重叠(子步骤S231)。在填充范围700和其他现有注释数据710重叠的情况下(子步骤S231：是)，信息处理装置10进入子步骤S233。另一方面，在填充范围700和其他现有注释数据710不重叠的情况下(子步骤S231：否)，信息处理装置10进入子步骤S232。

信息处理装置10以在填充范围700的整个边界线上执行拟合的方式确定拟合范围(新模式)(子步骤S232)。接下来，例如，如图12所示，信息处理装置10在填充范围700的整个边界线上执行拟合，并且获取新轮廓。然后，基于新获取的轮廓，信息处理装置10获取与可以包括在新注释数据710中的图像对应的目标区域(第二区域)702。

接下来，信息处理装置10确定填充范围700和多条其他现有注释数据710是否重叠(子步骤S233)。在填充范围700和多条其他现有注释数据710重叠的情况下(子步骤S233：是)，信息处理装置10进行至子步骤S234。另一方面，在填充范围700和多条其他现有注释数据710不重叠的情况下(子步骤S233：否)，信息处理装置10进行至子步骤S235。

信息处理装置10以在填充范围700之外的不与任何其他现有注释数据710(整合模式)重叠的区域的边界线上执行拟合的方式来确定拟合范围(子步骤S234)。然后，信息处理装置10在上述拟合范围内进行拟合，并获取新轮廓。然后，基于新获取的轮廓，例如，如图14所示，信息处理装置10整合与新执行拟合的范围的轮廓相关的区域和多条其他现有注释数据710a和710b，并且获取目标区域(第二区域)702。

信息处理装置10以在填充范围700之外的不与其他现有注释数据710(扩展模式)重叠的区域的边界线上执行拟合的方式来确定拟合范围(子步骤S235)。接下来，信息处理装置10在上述拟合范围内进行拟合，并且获取新轮廓。然后，基于新获取的轮廓，例如，如图13所示，信息处理装置10通过与新执行拟合的范围的轮廓相关的区域扩展其他现有注释数据710，并且获取目标区域(第二区域)702。

接下来，参照图15至图17描述校正模式中的步骤S230的细节。图15是在图8中示出的步骤S230的子流程图，并且图16和图17是描述根据本实施方式的子模式的说明图。具体地，如图15所示，校正模式中的步骤S230包括子步骤S236至子步骤S238。现在将描述这些子步骤的细节。

首先，信息处理装置10判定填充范围(第一区域)700是否以跨越的方式与其他现有注释数据710重叠(填充范围700是否以从其他现有注释数据710的一端延伸到另一端的方式重叠)(子步骤S236)。在填充范围(第一区域)700以跨越的方式与其他现有注释数据710重叠的情况下(子步骤S236：是)，信息处理装置10进行至子步骤S237。另一方面，在填充范围(第一区域)700不以跨越的方式与其他现有注释数据710重叠的情况下(子步骤S236：否)，信息处理装置10进行至子步骤S238。

信息处理装置10以在填充范围(第一区域)700之外、在与其他现有注释数据710(分离模式)重叠的区域的边界线上执行拟合的方式来确定拟合范围(子步骤S237)。接下来，信息处理装置10在上述拟合范围内进行拟合，并且获取新轮廓。然后，基于新获取的轮廓，例如，如图16所示，信息处理装置10从其他现有注释数据710中去除与新执行拟合的范围的轮廓相关的区域，并且由此获取对应于可以包括在新注释数据710中的图像的目标区域(第二区域)702a和702b。

信息处理装置10以在填充范围(第一区域)700之外、在与其他现有注释数据710(删除模式)重叠的区域的边界线上执行拟合的方式来确定拟合范围(子步骤S238)。接下来，信息处理装置10在上述拟合范围内进行拟合，并且获取新轮廓。然后，基于新获取的轮廓，例如，如图17所示，信息处理装置10从其他现有注释数据710中去除(删除)与新执行拟合的范围的轮廓相关的区域，并且由此获取与可以包括在新注释数据710中的图像对应的目标区域(第二区域)702。

接下来，参照图18至图20描述在拟合处理时搜索轮廓的“搜索范围”的区域的具体示例。图18至图20是描述根据本实施方式的搜索范围的说明图。

具体地，例如，如图18所示，搜索范围可以是位于填充范围700的边界线800外侧和内侧(在图18中，省略图示)并且从边界线800沿着法线方向延伸的预定距离的范围810。可替换地，例如，如图19中所示，搜索范围可以是位于填充范围700的边界线800之外的范围810(在图19中，省略图示)并且从边界线800沿着法线方向延伸预定距离。可替换地，例如，如图20中所示，搜索范围可以是位于填充范围700的边界线800内侧的范围810(在图20中，省略图示)并且从边界线800沿着法线方向延伸预定距离。

如上所述，在本实施方式中，通过用户对病理图像610执行填充输入操作可以指定目标区域702的范围。因此，根据本实施方式，即使目标区域702具有例如如图9所示的类似癌细胞的复杂的形状，通过使用填充输入操作，与绘制曲线704的工作相比，能够在减少用户的劳动力的同时生成高度精确的注释数据。结果，根据本实施方式，能够有效地生成大量高精度的注释数据710。

<<3.变形例>>

如上所述，在目标区域702具有复杂的形状的情况下，虽然填充输入操作是用于指定范围的有效方法，但是难以通过使用这种具有大宽度的轨迹来输入详细的边界线。因此，如果根据目标区域702的形状能够切换填充输入操作和画线输入操作或者能够改变轨迹的宽度，则能够在更多地减少用户的劳动力的同时生成高度精确的注释数据。因此，在下面描述的本公开的实施方式的变形例中，轨迹的宽度可以频繁地改变，或者填充输入操作和画线输入操作可以切换。在下文中，参照图21至图23描述本修改例的细节。图21至图23是描述本公开的实施方式的变形例的说明图。

在本变形例中，如图21的左侧所示，目标区域702可以由通过对病理图像610执行填充输入操作而获得的填充范围700指定。此外，在本变形例中，如图21的右侧所示，也可以通过在病理图像610上执行绘制曲线704的线条绘制输入操作而获得的填充范围700指定目标区域702。即，在本变形例中，可以切换填充输入操作和画线输入操作。

例如，在如图22所示的病理图像610中，尽管病变部位作为整体扩展，但是正常部位(在附图中，由参考标号700表示的区域)可存在于病变部位的一些位置。然后，在想要仅指定病变部位作为对象部位702的情况下，首先，通过线描绘输入操作描绘曲线704来指定整体扩展的病变部位。接着，为了从由曲线704包围的范围中排除存在于病变部的某些部位的正常部位(在图中，由附图标记700表示的区域)，通过校正模式中的填充输入操作来填充并指定正常部位。由此，能够指定从由曲线704包围的范围排除了正常部位的对象区域702。然后，当以这种方式能够适当地切换并使用填充输入操作和线图输入操作时，能够在更多地减少用户劳动力的同时，有效地生成具有如图22中所示的病变部位作为对象区域702的注释数据710。

由此，在本变形例中，用户可以通过对图标等进行选择操作而在填充输入操作和画线输入操作之间切换，或者当用户已经将轨迹的宽度设定为小于阈值时切换至画线输入操作。

然而，在填充输入操作和画线输入操作之间的频繁手动切换对于用户是麻烦的，并且妨碍大量注释数据的有效生成。

因此，在本变形例中，例如，可以基于输入开始位置与现有注释数据(用于学习的其他图像数据)710的位置关系，基于病理图像610上的填充输入操作的输入开始位置(轨迹的开始点)来切换填充输入操作和线图输入操作。具体地，如图23的左侧所示，在从现有注释数据(用于学习的其他图像数据)710的轮廓附近开始输入的情况下，设置线图输入操作；另一方面，如图23的右侧所示，在从现有注释数据710的内部开始输入的情况下，设置填充输入操作。在本变形例中，通过以这种方式自动切换输入操作，可以更加增强输入操作的便利性，并且可以有效地生成大量高度精确的注释数据710。在本变形例中，也可以基于输入开始位置与现有的注释数据(其他学习用图像数据)710的位置关系来自动调整轨迹的宽度。

<<4.结论>>

如上所述，在本实施方式中，通过用户对病理图像610执行填充输入操作可以指定目标区域702的范围。因此，根据本实施方式，即使目标区域702具有例如如图9所示的类似癌细胞的复杂复杂的形状，通过使用填充输入操作，与绘制曲线704的工作相比，能够在减少用户的劳动力的同时生成高度精确的注释数据。结果，根据本实施方式，能够有效地生成大量高精度的注释数据710。

在上述本公开的实施方式中，拍摄目标不限于生物体组织，并且可以是具有精细结构等的对象；因此，没有特别限制。

<<5.应用示例>>

根据本公开的技术可以应用于各种产品。例如，根据本公开的技术可应用于医生等观察从患者获取的细胞或组织并且诊断病变的病理诊断***、用于支持病理诊断***的***等(在下文中，称之为诊断支持***)。诊断支持***可以是基于通过使用数字病理技术获取的图像来诊断病变或者支持诊断的WSI(整个载玻片成像)***。

图24是示出了应用根据本公开内容的技术的诊断支持***5500的示意性配置的示例的示图。如图24所示，诊断支持***5500包括一个或多个病理***5510。此外，可以包括医疗信息***5530和推导装置5540。

一个或多个病理***5510中的每一个是主要由病理学家使用的***，并且被引入例如实验室或医院。病理***5510可以被引入相互不同的医院，并且每个经由诸如WAN(广域网)(包括互联网)、LAN(局域网)、公共线路网络和移动通信网络的各种网络中的任意被连接到医疗信息***5530和推导装置5540。

每个病理***5510包括显微镜(具体地，与数字成像技术组合使用的显微镜)5511、服务器5512、显示控制装置5513和显示装置5514。

显微镜5511具有光学显微镜的功能；并且拍摄放置在载玻片上的观察目标，并且获取作为数字图像的病理图像。观察对象是例如取自患者的组织或细胞，并且可以是一片器官、唾液、血液等。例如，显微镜5511用作图1中所示的扫描器30。

服务器5512将通过显微镜5511获取的病理图像存储并保存在未示出的存储部中。在从显示控制装置5513接受观看请求时，服务器5512搜索未示出的存储部以寻找病理图像，并且将找到的病理图像发送给显示控制装置5513。例如，服务器5512用作根据本公开的实施方式的信息处理装置10。

显示控制装置5513将观看从用户接收的病理图像的请求发送到服务器5512。然后，显示控制装置5513使使用液晶、EL(电致发光)、CRT(阴极射线管)等的显示装置5514显示从服务器5512接收的病理图像。显示设备5514可以与4K或8K兼容；另外，不限于1个显示装置，也可以包括多个显示装置。

在此，当观察对象是诸如器官的片的固体物质时，观察对象可以是例如染色的薄切片。例如，可以通过对从诸如器官的样本切下的块片进行薄切片来制备薄切片。在薄切片时，块片可以用石蜡等固定。

对于薄切片的染色，可以应用各种类型的染色，诸如显示组织形式的一般染色，诸如HE(苏木精-曙红)染色，或者显示组织的免疫状态的免疫染色或荧光免疫染色，诸如IHC(免疫组织化学)染色。此时，可以通过使用多种不同的试剂对一个薄切片进行染色，或者可以通过使用彼此不同的试剂对从同一块片连续切下的两个或更多个薄切片(也称为相邻的薄切片)进行染色。

显微镜5511可以包括用于以低分辨率拍摄的低分辨率拍摄部和用于以高分辨率拍摄的高分辨率拍摄部。低分辨率摄影部和高分辨率摄影部可以是不同的光学***，或者可以是相同的光学***。在它们是相同的光学***的情况下，显微镜5511的分辨率可根据拍摄目标而改变。

其上放置观察目标的载玻片安装在位于显微镜5511的视角内的载物台上。显微镜5511首先使用低分辨率摄像部来获取视角内的整个图像，并且从所获取的整个图像中指定观察对象的区域。随后，显微镜5511将观察对象存在的区域分割为预定尺寸的多个分割区域，并且使用高分辨率拍摄部顺次拍摄分割区域；因此，获取划分区域的高分辨率图像。在目标分割区域的切换中，可以移动载物台或者可以移动拍摄光学***，或者可以移动这两者。每个分割区域可以与相邻的分割区域重叠，以便防止由于载玻片的意外滑动等而发生拍摄遗漏区域。整个图像可包括用于将整个图像与患者相关联的识别信息。例如，识别信息可以是字符串、QR码(注册商标)等。

由显微镜5511获取的高分辨率图像被输入到服务器5512。服务器5512将每个高分辨率图像分割为更小尺寸的部分图像(以下，称为图块图像)。例如，服务器5512在垂直方向和水平方向上将一个高分辨率图像分成总共100张10×10的图块图像。此时，当相邻的划分的区域重叠时，服务器5512可通过使用诸如模板匹配的技术对相邻的高分辨率图像执行拼接处理。在这种情况下，服务器5512可通过划分通过经由缝合处理的结合产生的整个高分辨率图像来产生图块图像。然而，可在上述拼接处理之前执行从高分辨率图像产生图块图像。

服务器5512可进一步划分图块图像以产生仍更小尺寸的图块图像。可重复这样的图块图像的产生，直到产生被设置为最小单元的尺寸的图块图像。

在以这种方式产生最小单元的图块图像时，服务器5512对所有图块图像执行合并预定数量的相邻图块图像以产生一个图块图像的并列式合成处理。可以重复块合成处理，直到最终生成一个块图像。通过这种处理，生成金字塔结构的图块图像组，其中，每个类由一个或多个图块图像组成。在该金字塔结构中，层的图块图像和不同于上述层的层的图块图像之间的像素数量相等，但是分辨率不同。例如，当总共合成2×2的四个图块图像以生成上层的一个图块图像时，上层的图块图像的分辨率是用于合成的下层的图块图像的分辨率的1/2倍。

通过构建金字塔结构的这种图块图像组，可根据待显示的图块图像所属的类别切换在显示装置上显示的观察目标的细节程度。例如，当使用最低层的图块图像时，可以详细地显示观察目标的小区域；并且当使用较高层的图块图像时，观察目标的更大区域可以更粗略地显示。

例如，金字塔结构的生成的图块图像组连同可唯一地识别每个图块图像的识别信息(称为平铺识别信息)一起存储在未示出的存储部中。在从另一设备(例如，显示控制装置5513或导出装置5540)接受获取包括图块标识信息的图块图像的请求时，服务器5512向另一设备发送与图块标识信息对应的图块图像。

可以为诸如焦距或染色条件的每个拍摄条件生成作为病理图像的图块图像。在针对每个拍摄条件生成图块图像的情况下，可以并排显示特定病理图像和对应于与特定拍摄条件不同的拍摄条件并且与特定病理图像相同区域的另一病理图像。特定拍摄条件可以由观看者指定。当为观看者指定多个拍摄条件时，可以并排显示对应于拍摄条件的相同区域的病理图像。

服务器5512可以将金字塔结构的图块图像组存储在除了服务器5512的存储设备中，例如，云服务器等。此外，上述的图块图像生成处理的一部分或全部可以由云服务器等执行。

显示控制装置5513根据来自用户的输入操作从金字塔结构的图块图像组提取期望的图块图像，并将图块图像输出到显示设备5514。通过这样的处理，用户可以在改变观察放大倍率的同时获得观察观察目标的感觉。即，显示控制装置5513用作虚拟显微镜。此处的虚拟观察放大倍率对应于实践中的分辨率。

可以使用任何方法作为用于捕捉高分辨率图像的方法。高分辨率图像可通过在重复平台的停止和移动的同时拍摄划分的区域来获得，或者条带上的高分辨率图像可通过在以预定的速度在平台上执行移动的同时拍摄划分的区域来获得。此外，从高分辨率图像生成图块图像的处理不是必要的构成元素；并且还有一种方法，在该方法中，通过拼接处理接合产生的高分辨率图像的整体的分辨率以逐步的方式改变，并且由此生成具有以逐步的方式改变的分辨率的图像。此外，在这种情况下，能够以逐步的方式向用户呈现范围从大面积区域的低分辨率图像到小区域的高分辨率图像的各种图像。

医疗信息***5530是所谓的电子医疗记录***，并且存储关于诊断的信息，诸如识别患者的信息、患者疾病信息、用于诊断的检查信息和图像信息、诊断结果和处方药。例如，通过拍摄患者的观察目标获得的病理图像可经由服务器5512临时存储，然后通过显示控制装置5513显示在显示装置5514上。使用病理***5510的病理学家基于显示装置5514上显示的病理图像执行病理诊断。将由病理学家执行的病理诊断的结果存储在医疗信息***5530中。

推导装置5540可对病理图像执行分析。对于该分析，可以使用通过机器学习创建的学习模型。推导装置5540可推导特定区域的分类结果、组织的识别结果等作为分析结果。此外，推导装置5540可以推导识别结果，诸如小区信息、数量、位置和亮度信息、识别结果的评分信息等。由推导装置5540推导的这些条信息可以作为诊断支持信息显示在病理***5510的显示设备5514上。

推导装置5540可以是由一个或多个服务器(包括云服务器)等组成的服务器***。此外，推导装置5540可以是结合在例如病理***5510中的显示控制装置5513或服务器5512中的配置。即，可以在病理***5510中执行对病理图像的各种分析。

如上所述，根据本公开的技术可适当地应用于上述配置之中的服务器5512。具体地，根据本公开的技术可以适当地应用于服务器5512中的图像处理。通过将根据本公开的技术应用于服务器5512，可以获得更清晰的病理图像，并且因此可以更精确地执行病变的诊断。

上述配置不仅可以应用于诊断支持***，而且可以应用于所有生物显微镜，诸如使用数字成像技术的共焦显微镜、荧光显微镜和视频显微镜。这里，观察目标可以是生物样品，诸如培养的细胞、受精卵或***，生物材料，诸如细胞片或三维细胞组织，或生物体，诸如斑马鱼或小鼠。此外，观测目标可以不仅在被放置在载玻片上的状态下而且在保存在孔板、实验室皿等中的状态下被观测。

此外，可以使用数字成像技术从通过使用显微镜获取的观察目标的静止图像生成运动图像。例如，可从连续捕获达预定时段的静止图像产生运动图像，或者可从以预定间隔捕获的静止图像产生图像序列。通过以这种方式从静止图像生成运动图像，可以通过使用机器学习来分析观察目标的动态特征，诸如癌细胞、神经细胞、心肌组织、***等的诸如搏动、伸长或迁移的运动，或培养的细胞或受精卵的***过程。

以上主要描述了例如包括信息处理装置10、扫描仪30、学习装置40和网络50的信息处理***1。然而，还可以提供包括它们中的一些的信息处理***。例如，还可以提供包括信息处理装置10、扫描仪30和学习装置40中的一些或全部的信息处理***。此时，信息处理***可以不是整个装置的组合(整个装置是指硬件和软件的组合)。

例如，还可以提供包括信息处理装置10、扫描仪30和学习装置40之中的第一装置(硬件和软件的组合)和第二装置的软件的信息处理***。作为示例，还可以提供包括信息处理装置10的扫描仪30(硬件和软件的组合)和软件的信息处理***。因此，根据本公开的实施方式，还可以提供包括从信息处理装置10、扫描仪30和学习装置40中任意选择的多个配置的信息处理***。

<<6.硬件配置>>

例如，通过具有如图25中所示的配置的计算机1000实现根据上述每个实施方式的诸如信息处理装置10的信息装置。在下文中，将作为示例描述根据本公开的实施方式的信息处理装置10。图25是示出实现信息处理装置10的功能的计算机1000的示例的硬件配置图。计算机1000包括中央处理器1100、随机存取存储器1200、只读存储器(ROM)1300、硬盘驱动器(HDD)1400、通信接口1500和输入/输出接口1600。计算机1000的每个单元通过总线1050连接。

中央处理器1100基于存储在只读存储器1300或硬盘驱动器1400中的程序进行操作，并且控制每个单元。例如，中央处理器1100在随机存取存储器1200中开发存储在只读存储器1300或硬盘驱动器1400中的程序，并且执行与各种程序相对应的处理。

只读存储器1300存储引导程序，诸如，在计算机1000被激活时由中央处理器1100执行的基本输入输出***(BIOS)、取决于计算机1000的硬件的程序等。

硬盘驱动器1400是非瞬时地记录由中央处理器1100执行的程序、由该程序使用的数据等的计算机可读记录媒质。具体地，硬盘驱动器1400是记录作为程序数据1450的示例的根据本公开的图像处理程序的记录媒质。

通信接口1500是用于计算机1000连接到外部网络1550(例如，互联网)的接口。例如，中央处理器1100经由通信接口1500从另一设备接收数据或者向另一设备发送由中央处理器1100生成的数据。

输入/输出接口1600是用于连接输入/输出装置1650和计算机1000的接口。例如，中央处理器1100经由输入/输出接口1600从诸如键盘和鼠标的输入装置接收数据。此外，中央处理器1100经由输入/输出接口1600将数据传输至诸如显示器、扬声器或打印机的输出装置。此外，输入/输出接口1600可以用作读取记录在计算机可读预定记录介质(介质)上的程序等的介质接口。例如，介质是诸如数字通用盘(DVD)或相变可重写盘(PD)的光学记录介质、诸如磁光盘(MO)的磁光记录介质、磁带介质、磁记录介质、半导体存储器等。

例如，在计算机1000用作根据本公开的实施方式的信息处理装置10的情况下，计算机1000的中央处理器1100通过执行加载在随机存取存储器1200上的图像处理程序来实现处理部100等的功能。此外，硬盘驱动器1400可以将根据本公开的信息处理程序和数据存储在存储部130中。注意，中央处理器1100从硬盘驱动器1400读取程序数据1450并执行程序数据。然而，作为另一个示例，可以经由外部网络1550从另一个设备获取信息处理程序。

此外，例如，根据本实施方式的信息处理装置10可以应用于包括连接至网络(或者设备之间的通信)的前提下的多个设备的***，诸如，云计算。即，例如，通过多个装置可将上述根据本实施方式的信息处理装置10实现为根据本实施方式的信息处理***1。

上面已经描述了信息处理装置10的硬件配置的示例。上述组件中的每个可使用通用构件来配置，或者可由专用于每个组件的功能的硬件来配置。这样的配置可以根据实施时的技术水平适当地改变。

<<7.补充>>

应注意，例如，上述本公开的实施方式可包括由如上所述的信息处理装置或信息处理***执行的信息处理方法、用于使信息处理装置运行的程序、以及其中记录程序的非暂时性有形介质。此外，程序可以经由诸如因特网的通信线路(包括无线通信)分发。

此外，不必按照所描述的顺序处理根据上述本公开的实施方式的信息处理方法中的各个步骤。例如，可以以适当改变的顺序处理每个步骤。此外，每个步骤可以部分地并行或单独地处理，而不是按时间序列处理。此外，每个步骤的处理不一定必须根据所描述的方法来执行，并且例如可以由另一功能单元由另一方法来执行。

上述各实施方式中所述的处理、描述为自动执行的全部或部分处理可以手动执行，或者描述为手动执行的全部或部分处理可以使用已知方法自动执行。此外，除非另有规定，否则可以可选地修改在以上提及的文档和附图中指示的细节或信息(包括处理程序、特定名称、各种数据或各种参数)。在一个示例中，各图中所说明的不同类型的信息不限于所说明的信息。

此外，所示出的各个装置或设备的组件在功能上是概念性的，并且不一定必须物理地示出或配置。换言之，相应装置或设备分布或集成的具体形式不限于图中所示的形式，并且根据各种负载或使用条件，其整体或部分在功能上或物理上分布或集成在任何单元中。

虽然已经参考附图详细描述了本公开的优选实施方式，但是本公开的技术范围不限于这样的示例。显然，对于本公开技术领域的普通技术人员来说，在不脱离本公开技术构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本公开的技术范围。

此外，本说明书中描述的效果仅是说明性或者示例性效果，并且不一定是限制性的。即，利用或代替上述效果，根据本公开的技术可以在本说明书的描述的基础上实现本领域技术人员清楚的其他效果。

此外，本公开的技术范围还可被配置为如下。

(1)一种信息处理设备，包括：

信息获取部，其获取通过用户对生物体组织的图像数据的填充输入操作而指定的第一区域的信息；以及

区域确定部，基于所述图像数据和所述第一区域的信息对所述第一区域的边界执行拟合，并且确定要进行预定处理的第二区域。

(2)根据(1)的信息处理装置，进一步包括：

提取部，其根据上述第二区域从上述图像数据中提取作为机器学习所使用的图像数据的学习用图像数据。

(3)根据(2)所述的信息处理装置，其中所述生物体组织是细胞样品。

(4)根据(2)或(3)所述的信息处理装置，其中所述区域确定部基于前景和背景之间的边界执行拟合，基于细胞膜执行拟合，或基于细胞核执行拟合。

(5)根据(2)至(4)中任一项所述的信息处理装置，进一步包括判定部，确定第一区域和与用于学习的其他图像数据相关的区域是否重叠。

(6)根据(5)所述的信息处理装置，其中所述区域确定部基于所述判定部的确定结果确定在所述第一区域的边界之外要执行拟合的拟合范围，并且在所述拟合范围内执行所述拟合。

(7)根据(6)所述的信息处理装置，其中所述区域确定部根据范围设定模式确定所述拟合范围。

(8)根据(7)所述的信息处理装置，其中在第一范围设定模式中，在所述第一区域和与用于学习的所述其他图像数据相关的所述区域不重叠的情况下，所述区域确定部在所述第一区域的整个边界上执行所述拟合。

(9)根据(8)所述的信息处理装置，其中在第一范围设定模式中，在第一区域和与用于学习的其他图像数据相关的区域重叠的情况下，区域确定部在第一区域之中的不与用于学习的其他图像数据相关的区域重叠的区域的边界上执行拟合。

(10)根据(9)所述的信息处理装置，其中所述区域确定部通过将所述第一区域的与已经新执行所述拟合的范围的边界相关的部分和与用于学习的所述其他图像数据相关的区域结合来确定所述第二区域。

(11)根据(7)至(10)中任一项所述的信息处理装置，其中在第二范围设定模式中，在第一区域和与用于学习的其他图像数据相关的区域重叠的情况下，区域确定部在第一区域之中的与和用于学习的其他图像数据相关的区域重叠的区域的边界上执行拟合。

(12)根据(11)所述的信息处理装置，其中所述区域确定部通过从与用于学习的所述其他图像数据相关的所述区域中移除所述第一区域的与已经新执行所述拟合的范围的边界相关的部分来确定所述第二区域。

(13)根据(2)至(12)中任一项所述的信息处理装置，其中所述区域确定部基于所述第一区域的边界外侧或内侧的区域的图像数据对所述第一区域的边界执行所述拟合。

(14)根据(2)所述的信息处理装置，其中所述区域确定部基于所述第一区域的轮廓外侧和内侧的区域的图像数据对所述第一区域的边界执行所述拟合。

(15)根据(2)至(4)中任一项所述的信息处理装置，其中所述填充输入操作是其中所述图像数据的一部分由所述用户填充具有预定宽度的轨迹的操作，所述轨迹被叠加并显示在所述图像数据上。

(16)根据(15)的信息处理装置，进一步包括：轨迹宽度设定部，设定预定宽度。

(17)根据(16)所述的信息处理装置，其中所述轨迹宽度设定部在画线输入操作和所述填充输入操作之间切换，在所述画线输入操作中，通过所述用户绘制具有预定宽度的轨迹以重叠在所述图像数据上。

(18)根据(17)所述的信息处理装置，其中在所述预定宽度被设定为小于阈值的情况下，切换到所述画线输入操作。

(19)根据(16)至(18)中任一项所述的信息处理装置，其中轨迹宽度设定部基于用户的输入设定预定宽度。

(20)根据(16)至(18)中任一项所述的信息处理装置，其中所述轨迹宽度设定部基于对所述图像数据的分析结果或者所述图像数据的显示放大倍率设定所述预定宽度。

(21)根据(16)至(18)中任一项所述的信息处理装置，其中轨迹宽度设定部基于对图像数据的输入操作的输入开始位置设定预定宽度。

(22)根据(21)所述的信息处理装置，其中所述轨迹宽度设定部基于所述输入开始位置与和用于学习的其他图像数据相关的区域的位置关系，设定所述预定宽度。

(23)根据(17)所述的信息处理装置，其中

所述信息获取部获取由所述用户对所述图像数据的所述画线输入操作指定的第三区域的信息，以及

所述区域确定部基于所述图像数据和所述第三区域的信息对所述第三区域的边界执行拟合，并且确定所述第二区域。

(24)一种信息处理方法，包括：

处理器：

取得通过用户对生物体组织的图像数据的填充输入操作而指定的第一区域的信息；以及

基于所述图像数据和所述第一区域的信息对所述第一区域的边界执行拟合，并且确定要进行预定处理的第二区域。

(25)一种程序，使计算机用作：

信息获取部，其获取通过用户对生物体组织的图像数据的填充输入操作而指定的第一区域的信息；以及

区域确定部，基于所述图像数据和所述第一区域的信息对所述第一区域的边界执行拟合，并且确定要进行预定处理的第二区域。

(26)一种信息处理***，包括：

信息处理装置；以及

用于使信息处理装置执行信息处理的程序，

其中所述信息处理设备用作：根据所述程序，

信息获取部，其获取通过用户对生物体组织的图像数据的填充输入操作而指定的第一区域的信息；以及

区域确定部，基于所述图像数据和所述第一区域的信息对所述第一区域的边界执行拟合，并且确定要进行预定处理的第二区域。

参考标号列表

1 信息处理***

10 信息处理装置

20 显示装置

30 扫描仪

40 学习装置

50 网络

100 处理部

102 轨迹宽度设定部

104 信息获取部

106 判定部

108 区域确定部

110 提取部

112 显示控制部

120 图像数据接收部

130 存储部

140 操作部

150 传输部

200 显示部

600，602 图标

610 病理图像

700 填充范围

702、702a、702b 目标区域

704 曲线

710、710a、710b 注释数据

800 边界线

810 范围。

Claims (26)

1.一种信息处理装置，包括：

信息获取部，其获取通过用户对生物体组织的图像数据的填充输入操作而指定的第一区域的信息；以及

区域确定部，基于所述图像数据和所述第一区域的信息对所述第一区域的边界执行拟合，并且确定要进行预定处理的第二区域。

2.根据权利要求1所述的信息处理装置，进一步包括：

提取部，其根据所述第二区域从所述图像数据中提取作为机器学习所使用的图像数据的学习用图像数据。

3.根据权利要求2所述的信息处理装置，其中所述生物体组织是细胞样品。

4.根据权利要求2所述的信息处理装置，其中所述区域确定部基于前景和背景之间的边界执行拟合，基于细胞膜执行拟合，或基于细胞核执行拟合。

5.根据权利要求2所述的信息处理装置，进一步包括：判定部，判定所述第一区域与和其他的学习用图像数据相关的区域是否重叠。

6.根据权利要求5所述的信息处理装置，其中所述区域确定部基于所述判定部的判定结果确定在所述第一区域的边界中要执行拟合的拟合范围，并且在所述拟合范围内执行所述拟合。

7.根据权利要求6所述的信息处理装置，其中所述区域确定部根据范围设定模式确定所述拟合范围。

8.根据权利要求7所述的信息处理装置，其中在第一范围设定模式中，在所述第一区域与和所述其他的学习用图像数据相关的所述区域不重叠的情况下，所述区域确定部对所述第一区域的整个边界上执行所述拟合。

9.根据权利要求8所述的信息处理装置，其中在第一范围设定模式中，在第一区域与和其他的学习用图像数据相关的区域重叠的情况下，区域确定部对第一区域中不与和其他的学习用图像数据相关的区域重叠的区域的边界执行拟合。

10.根据权利要求9所述的信息处理装置，其中所述区域确定部通过将所述第一区域的和已经新执行所述拟合的范围的边界相关的部分与和所述其他的学习用图像数据相关的区域结合来确定所述第二区域。

11.根据权利要求7所述的信息处理装置，其中在第二范围设定模式中，在第一区域与和其他的学习用图像数据相关的区域重叠的情况下，区域确定部对第一区域中的与和其他的学习用图像数据相关的区域重叠的区域的边界执行拟合。

12.根据权利要求11所述的信息处理装置，其中所述区域确定部通过从和所述其他的学习用图像数据相关的所述区域中移除所述第一区域的和已经新执行所述拟合的范围的边界相关的部分来确定所述第二区域。

13.根据权利要求2所述的信息处理装置，其中所述区域确定部基于所述第一区域的边界外侧或内侧的区域的图像数据对所述第一区域的边界执行所述拟合。

14.根据权利要求2所述的信息处理装置，其中所述区域确定部基于所述第一区域的轮廓外侧和内侧的区域的图像数据对所述第一区域的边界执行所述拟合。

15.根据权利要求2所述的信息处理装置，其中所述填充输入操作是由所述用户以具有预定宽度的轨迹填充所述图像数据的一部分的操作，所述轨迹被叠加并显示在所述图像数据上。

16.根据权利要求15所述的信息处理装置，进一步包括：轨迹宽度设定部，设定所述预定宽度。

17.根据权利要求16所述的信息处理装置，其中所述轨迹宽度设定部在画线输入操作和所述填充输入操作之间切换，在所述画线输入操作中，通过所述用户绘制具有预定宽度的轨迹以重叠在所述图像数据上。

18.根据权利要求17所述的信息处理装置，其中在所述预定宽度被设定为小于阈值的情况下，切换到所述画线输入操作。

19.根据权利要求16所述的信息处理装置，其中轨迹宽度设定部基于用户的输入设定预定宽度。

20.根据权利要求16所述的信息处理装置，其中所述轨迹宽度设定部基于对所述图像数据的分析结果或者所述图像数据的显示放大倍率设定所述预定宽度。

21.根据权利要求16所述的信息处理装置，其中轨迹宽度设定部基于对图像数据的输入操作的输入开始位置设定预定宽度。

22.根据权利要求21所述的信息处理装置，其中所述轨迹宽度设定部基于所述输入开始位置相对于和其他的学习用图像数据相关的区域的位置关系，设定所述预定宽度。

23.根据权利要求17所述的信息处理装置，其中

所述信息获取部获取由所述用户对所述图像数据的所述画线输入操作指定的第三区域的信息，以及

所述区域确定部基于所述图像数据和所述第三区域的信息对所述第三区域的边界执行拟合，并且确定所述第二区域。

24.一种信息处理方法，包括：

处理器：

获取通过用户对生物体组织的图像数据的填充输入操作而指定的第一区域的信息；以及

基于所述图像数据和所述第一区域的信息对所述第一区域的边界执行拟合，并且确定要进行预定处理的第二区域。

25.一种程序，使计算机用作：

信息获取部，其获取通过用户对生物体组织的图像数据的填充输入操作而指定的第一区域的信息；以及

区域确定部，基于所述图像数据和所述第一区域的信息对所述第一区域的边界执行拟合，并且确定要进行预定处理的第二区域。

26.一种信息处理***，包括：

信息处理装置；以及

用于使信息处理装置执行信息处理的程序，

其中所述信息处理装置根据所述程序，用作：

信息获取部，其获取通过用户对生物体组织的图像数据的填充输入操作而指定的第一区域的信息；以及

区域确定部，基于所述图像数据和所述第一区域的信息对所述第一区域的边界执行拟合，并且确定要进行预定处理的第二区域。

Images