CN102971735B - 交互式图像分析 - Google Patents

Abstract

公开了一种用于交互式图像分析的***，其包括用于将图像（8）可视化的图像可视化子***（1）。指示位置确定器（2）被布置为确定定点设备关于图像（8）的指示位置。结果确定器（3）被布置为确定图像（8）在所述指示位置处的局部图像处理的结果。显示子***（4）基于图像处理结果而或者显示局部图像处理（406）的结果的至少部分或者显示可见标记（407）。局部图像处理的结果指示在所述指示位置（404，405）处或其附近存在或不存在对象（403），并且显示子***（4）被布置为在所述指示位置（405）处或其附近不存在这样的对象（403）的情况下显示所述可见标记（407）。

Description

交互式图像分析

技术领域

本发明涉及交互式图像分析。本发明还涉及可见标记的显示。

背景技术

对于基于网络的医学图像处理应用程序，将图像数据传输到服务器可能是一个麻烦的瓶颈，因为医学图像数据集通常具有大的尺寸。还有为了保护医学数据，可能优选将图像数据留在客户端上，并且因而将图像处理所需要的任何应用程序(例如分割应用程序)传输到客户端。然而，当应用程序被传输到客户端时，应用程序可以很容易地被恶意用户拷贝、再发布或重复使用。

为了阻止这种情况，可以将应用程序编程以在应用程序显示窗口的角落里显示可见标记，例如徽标(logo)。该可见标记允许应用程序的用户知道该软件的来源。然而，此类可见标记的显示可能被恶意用户相对容易地从应用程序中移除。

发明内容

本发明的各方面在独立权利要求中描述。从属权利要求描述了有利的实施例。

若有一种用于交互式图像分析的改进***将是有利的。为了更好地解决这一问题，在第一方面，本发明提供一种***，其包括：

-图像可视化子***，其用于将图像可视化；

-位置输入，其用于使得用户能够指示关于图像的位置，以获得指示位置；

-结果确定器，其用于确定在指示位置处图像的局部图像处理的结果；

-决定器，其用于基于所述局部图像处理的结果决定是否显示标记，以获得决定；以及

-显示子***，其被布置为响应于所述决定而显示可见标记。

通过使可见标记的显示依赖于局部图像处理的结果，负责显示可见标记的***的部分变得与负责确定图像处理的结果和/或显示图像处理的结果的***的部分更加相互盘绕。这使得为避免由***显示可见标记而篡改***变得更加困难。显示子***可以被布置为或者显示结果的至少部分或者显示可见标记，其中，选择显示哪一个是基于局部图像处理的结果的。替代地，显示子***可以被布置为基于局部图像处理的结果打开和关闭可见标记的显示。在显示可见标记期间并不一定需要暂停显示结果的至少部分。

局部图像处理的结果可以指示在指示位置处或其附近不存在对象。决定器可以被布置为决定在指示位置处或其附近不存在这样的对象的情况下显示可见标记。以这种方式，当指示位置处或其附近没有关于任何对象的信息可用于显示时，显示可见标记。因此，可见标记不干扰由用户对对象的交互式分析。

局部图像处理的结果可以指示在指示位置处或其附近存在对象。决定器可以被布置为决定在指示位置处或其附近存在此类对象的情况下不显示可见标记而是显示局部图像处理的结果的至少部分。以这种方式，可见标记不妨碍交互式分析。例如，当在指示位置处或附近存在对象时，显示子***可以被布置为显示关于对象的信息。关于对象的此类信息可以包括对象的尺寸，例如横截面直径或体积，和/或对象的类型，和/或对象的取向。

所述***可以包括用于在指示位置处或其附近执行图像的分割的图像分割单元，其中，当分割单元未能在指示位置处或其附近分割对象时，局部图像处理的结果指示在所述指示位置处或其附近不存在这样的对象。以这种方式，当分割单元没有找到对象时，可以显示可见标记。当找到对象时，可以显示关于对象的信息。

决定器可以被布置为在局部图像处理的结果被定义为没有意义时决定显示可见标记。因此，显示子***可以被布置为在局部图像处理的结果没有意义时执行可见标记的显示。例如，仅当图像在指示位置处或附近满足一些预定约束时才能确定图像处理的有用结果，而当不能满足这些约束时局部图像处理的结果是没有意义的。因此，在这样的情况下，可以显示可见标记而不是图像处理的结果。以这种方式，可见标记在图像的交互式分析期间不打扰用户。例如，局部图像处理的结果可能会在图像的平坦或噪声区域中被认为是没有意义的。

所述***可以包括区域检测器，所述区域检测器用于检测图像处理的结果是没有意义的图像区域。显示子***可以被布置为在该区域显示可见标记。类似地，在局部图像处理的结果指示在指示位置处或其附近存在或不存在对象的情况下，该区域检测器可以被布置为检测没有对象的区域，并且该显示子***可以被布置为在该区域中显示可见标记。在这两种情况下，可见标记不干扰图像的最感兴趣部分的视图。

该***可以包括图像处理子***，其用于基于指示位置执行图像的局部图像处理以获得局部图像处理的结果。以这种方式，该***执行图像处理和结果的显示两者。例如，局部图像处理可以包括基于指示位置的对象的至少部分的分割。

显示子***可以被布置为当指示位置在图像的显示区域之外时显示可见标记。由于对于图像之外的位置没有可提供的局部图像处理的结果，因此当指针在示出图像的显示部分之外时也显示可见标记可能是合适的。

可见标记可以指示关于***的来源或权利所有人。以这种方式，可见标记有助于识别谁具有关于该***的权利。例如，这样的权利可以包括版权。它有助于防止和/或阻止假冒。例如，当恶意用户向别人发布所述***的软件实现的拷贝时，通过可见标记仍能够识别软件实现的版权所有人。例如，可见标记可以包括徽标，例如公司徽标。根据该徽标，用户可以评估***的使用是否是合法的。以这种方式，可以保护内容和/或应用程序。例如，当***被提供为网络应用程序并且由可见徽标指示的来源不对应网站的所有者时，用户将理解在该网站上使用该网络应用程序可能是非法的。

在另一方面，本发明提供一种包括如上所述的***的工作站。当***是工作站的一部分时，可见徽标使得很容易确定***的来源。工作站可包括用于使用户能够指示所述指示位置的定点设备、用于显示该图像的显示器、以及用于与图像存储库和/或网络服务器通信的通信端口。交互式分析***可以由该工作站从网络服务器作为计算机程序获取。

在另一方面，本发明提供一种包括如上所述的***的图像采集装置。这样的图像采集装置可以被布置为实现通过该图像采集装置采集的图像的交互处理。

在另一方面，本发明提供了一种可视化局部图像处理的结果的方法，其包括：

-将图像可视化；

-使得用户能够指示关于该图像的位置以获得指示位置；

-确定在指示位置处的图像的局部图像处理的结果；

-基于局部图像处理的结果决定是否显示标记，以获得决定；以及

-响应于该决定而显示可见标记。

在另一个方面，本发明提供一种服务器，其被布置为将交互式图像分析应用程序发送至客户端设备用于在该客户端设备处执行，其中，该应用程序被布置为令客户端设备执行如上所述的交互式图像分析方法。这种服务器，例如网络服务器，可以使得用户能够通过下载软件应用程序的至少部分并在客户端设备上运行该软件应用程序来执行交互式图像分析。由于软件应用程序在客户端设备上执行交互式分析，因此图像数据不必被发送到服务器。此外，可见标记保护软件应用程序不被客户端设备的用户复制和分发。

在本发明的另一方面，提供一种方法，其包括将用于交互式图像分析的应用程序发送给客户端设备以便在客户端设备处执行，其中所述应用程序被布置为令客户端设备执行如上所述的用于交互式图像分析的方法。

在本发明的另一方面，提供一种计算机程序产品，其包括用于令处理器***执行一个或多个所述方法的指令。因为可见标记的显示是依赖于局部图像处理的结果进行的，故用于显示可见标记的软件应用程序代码变得与实施局部图像处理和/或显示局部图像处理的结果的软件应用程序代码更加相互盘绕。这使得更难以从应用程序中去除可见标记。

本领域技术人员将理解，本发明的上述实施例、实现方式和/或各方面中的两个或更多个可以以任何视为有用的方式被组合。

与所描述的***和服务器的修改和变型相对应的图像采集装置、工作站、方法和/或计算机程序产品的修改和变型可以由本领域技术人员在本说明书的基础上实施。

本领域技术人员将理解，所述方法可以被应用于通过各种采集模态采集的多维图像数据，例如二维(2-D)、三维(3-D)或四维(4-D)图像，所述采集模态例如但不限于，标准X-射线成像、计算机断层摄影(CT)、磁共振成像(MRI)、超声(US)、正电子发射断层摄影(PET)、单光子发射计算机断层摄影(SPECT)、核医学(NM)。

附图说明

参考下文中所描述的实施例，本发明的这些和其它方面是显而易见的并且将得到阐明。在附图中，

图1示出了用于交互式图像分析的***的方框图；

图2示出了交互式图像分析的方法的流程图；

图3示出了被布置为将交互式图像分析应用程序发送给客户端设备的服务器的方框图；

图4A和4B示出了用于交互式图像分析的应用程序的截屏的概略图。

具体实施方式

图1示出了用于交互式图像分析的***的各方面。该***可以包括用于将图像8可视化的图像可视化子***1。这样的图像可视化子***本身在本领域中是已知的。图像8可以包括能够提供给技术人员的任何类型的图像数据集。图像8可包括例如二维图像或三维图像。图像可视化子***1可以被配置为生成和显示三维图像的二维表示。该***还可以包括被配置为使得用户能够指示关于图像8的位置以获得指示位置的位置输入2。例如，位置输入2可以被配置为确定诸如鼠标指针的定点设备的指示位置。位置输入2可以接收指针关于显示区域的坐标以及显示区域中被图像可视化子***1显示图像的区域的坐标。通过组合这些坐标，获得指针关于图像的位置。该***可以包括结果确定器3，所述结果确定器3用于在指示位置处确定图像8的局部处理的结果，所述局部处理例如局部图像处理。例如，结果确定器3可以被布置为从含有预先计算的局部图像处理结果的存储器件中检索结果。该***可以还包括显示子***4。所述显示子***4可以被配置为根据局部图像处理的结果或者显示局部图像处理的结果的至少部分或者显示可见标记。基于局部图像处理的结果打开和关闭可见标记的显示。图像处理的结果的显示可以在显示可见标记期间被关闭。然而，这并不是限制。

图4A示出了图像区域401的概略图，在所述图像区域401中显示图像8。指针404指向由图像8表示的血管403。血管403仅仅是可以由图像8表示的对象的范例。在该范例中局部图像处理包括局部分割在指针404的位置处的血管403并且计算该血管的局部宽度。血管的宽度被显示为局部图像处理的结果406。

图4B示出了另一图像区域402的概略图，在所述图像区域402中显示图像8。在这些图中，类似的条目由相同的附图标记表示。在图4B中，指针405指向不存在血管403的位置。因此，图像处理不产生血管宽度，并且不可能提取与指针405的位置相关的有意义的血管宽度。在这种情况下，显示子***4显示可见标记407。

以这种方式，在下面参考图1、图4A和图4B，局部图像处理的结果可以指示在指示位置404、405处或其附近存在或不存在对象403，并且显示子***4被布置为在指示位置405处或其附近不存在这样的对象403的情况下显示可见标记407。为此，显示子***4可以由决定器9控制，该决定器被布置为决定是显示可见标记407还是显示局部图像处理的结果的至少部分。

所述***可以包括图像处理子***7，并且该图像处理子***7可以包括用于执行在指示位置404、405处或其附近的图像8的分割的图像分割单元5。该分割单元5可以被配置为当分割单元5未能分割在指示位置405处或其附近的这样的对象403时，产生指示在指示位置405处或附近不存在对象403的结果。

显示子***4可以被布置为在局部图像处理的结果不被认为有意义时执行可见标记407的显示。为了确定局部图像处理的结果是否被认为是有意义的，结果确定器3可以被配置为评估局部图像处理的结果是否满足一组预定条件。可以根据不同的应用设计这些预定条件。例如，局部图像处理的结果可能在图像的平坦区域或噪声区域中被认为是没有意义的。为此，局部图像处理的结果可以包括图像的局部平坦度或噪声度的度量，并且预定条件可以测试该度量是否超过预定阈值。

该***可以包括区域检测器6，所述区域检测器6被配置为确定图像处理的结果没有意义的图像区域，并且其中，显示子***被布置为在该区域显示可见标记407。

该***可以还包括图像处理子***7，所述图像处理子***7被配置为基于指示位置404、405，执行图像8的局部图像处理以获得局部图像处理的结果。局部图像处理可以包括基于灰度值确定例如边缘(edginess)或组织类型。当针对指示位置未检测到组织类型(例如，当灰度值指示空气)时，可以显示可见标记。局部图像处理子***7可包括用于基于指示位置404分割对象403的至少部分的图像分割单元5。

显示子***4可以被配置为当指示位置在图像的显示区域之外时也显示可见标记407。在这样的情况下，不能执行任何有意义的局部图像处理，因为指示位置不指向图像区域。

可见标记407可以指示关于该***的权利人。可见标记也可以指示发布该***的实体。可见标记407可以包括徽标。可见标记可以被显示为图像上的覆盖物，其在任何位置，例如在固定位置、在指示点附近的位置或在另一位置处。所述可见标记可以是半透明的以便创建一个可见的水印，或者是不透明的。

图2示出了交互式图像分析方法的各方面。该方法开始于将图像可视化的步骤201。然后，该方法继续进行接收关于图像的指示位置的步骤202，例如由用户交互地指示。接着，在步骤203中，确定在指示位置处的图像的局部图像处理的结果。在步骤204中，评估局部图像处理的结果，这得到关于显示什么的决定。根据这一决定，该方法前进到步骤205，在步骤205中显示局部图像处理的结果的至少部分，或者前进到步骤206，在步骤206中显示指示交互式***的来源的可见标记。在步骤205或206之后，该方法返回到步骤202，以确定新的指示位置。当在步骤202中确定没有新的指示位置，或者当接收到退出信号时，该方法终止。该方法可以被实现为计算机程序产品。该方法还可以被实现为基于网络的应用程序。

图3示出了客户端-服务器***的方框图。服务器301被配置为发送交互式图像分析应用程序303到客户端设备302用于在客户端设备302处执行。应用程序303被布置为使客户端设备302执行与关于图2所描述的方法相似的方法。服务器301可以包括网络服务器；应用程序303可以包括基于网络的应用程序，例如适于在客户端设备302的网络浏览器中执行的JavaScript应用程序。

类似地，可以提供发布交互式图像分析应用程序的方法。这样的方法可以包括将用于交互式图像分析的应用程序303发送到客户端设备302用于在客户端装置302处执行，其中，该应用程序303被布置为令客户端设备302执行与关于图2描述的方法类似的方法。该方法可以被实现为计算机程序产品。

设计一种基于网络的实时分割算法，它提供针对鼠标指针指向的任何图像区域的分割结果，但是当鼠标指向不能导出有意义的解的图像区域，例如，关于灰度值是平坦或者噪声的图像区域可能不允许有意义的分割时，其提供可见标记的分割例如单词PHILIPS的形状。由空气组成的区域可能是这样的区域。以这种方式，基于网络的分割算法仍然可以被复制，但是它的来源将总是以可见标记的形式显而易见。以类似于将标记嵌入到图像数据中的方式，可以将知识产权嵌入到算法行为中。

居心不良地去除这种算法上固有的行为将比去除(例如)传统的显示为固定字母或位图的Philips徽标更难。

应该理解的是，本发明也适用于计算机程序，特别是适于把本发明付诸实践的，载体上或载体中的计算机程序。该程序的形式可以是源代码、目标代码、源代码与目标代码中间的代码例如部分编译形式的代码、或者适用于实现根据本发明的方法的任何其他形式。也应理解的是，此类程序可以具有许多不同的体系架构设计。例如，实现根据本发明的方法或***的功能的程序代码可以被细分成一个或多个子例程。在这些子例程之间分布功能的许多不同方式对本领域技术人员来说将是显而易见的。子例程可以一起存储在一个可执行文件中以形成自包含(self-contained)程序。此类可执行文件可以包括计算机可执行指令，例如处理器指令和/或解释器指令(例如Java解释器指令)。替代地，一个或多个或所有的子例程可以被存储在至少一个外部库文件中，并以静态或动态方式与主程序链接，例如在运行时。主程序包含对子例程中的至少一个的至少一个调用。子例程可以还包括相互之间的函数调用。与计算机程序产品相关的实施例包括对应于本文所述的至少一个方法的每个处理步骤的计算机可执行指令。这些指令可以被细分为子例程和/或存储在可以静态或动态链接的一个或多个文件中。与计算机程序产品相关的另一实施例包括对应于本文所述的***和/或产品中的至少一个的每个器件的计算机可执行指令。这些指令可以被细分为子例程和/或存储在可以静态或动态链接的一个或多个文件中。

计算机程序的载体可以是能够承载程序的任何实体或装置。例如，载体可以包括存储介质如ROM(例如CD ROM或半导体ROM)，或者磁性记录介质例如软盘或硬盘。此外，载体可以是可传播的载体，例如电信号或光信号，其可以经由电缆或光缆或者通过无线电或其它手段输送。当程序被嵌入在这样的信号中时，载体可以由这样的线缆或其他设备或装置组成。替代地，载体可以是其中嵌入了程序的集成电路，所述集成电路适于执行相关方法或者在相关方法的执行中使用。

应当注意，上述实施例说明而非限制本发明，并且本领域技术人员将能够在不偏离所附权利要求的范围情况下设计许多替代实施例。在权利要求中，置于括号之间的任何附图标记不应被理解为限制权利要求。动词“包括”及其组合的使用不排除在权利要求中所述的元件或步骤以外的元件或步骤的存在。元件前的冠词“一”不排除存在多个这样的元件。本发明可以通过包括若干不同元件的硬件和通过适当编程的计算机来实现。在列举了若干装置的设备权利要求中，这些装置中的几个可以由硬件的一个相同项实施。互不相同的从属权利要求中记载了特定措施这一仅有事实并不指示不能被有利地使用这些措施的组合。

Claims (16)

1.一种用于交互式图像分析的***，其包括：

-图像可视化子***(1)，其用于将图像(8)可视化；

-位置输入(2)，其用于使得用户能够指示关于所述图像(8)的位置以获得指示位置；

-结果确定器(3)，其用于确定在所述指示位置处所述图像(8)的局部图像处理的结果；

-决定器(9)，其用于基于所述局部图像处理的所述结果决定是否显示标记以获得决定；以及

-显示子***(4)，其被布置为响应于所述决定而显示可见标记(407)其中，所述可见标记指示关于所述***的权利所有人，

其中，所述决定器(9)被布置为在所述局部图像处理的所述结果对所述交互式图像分析没有意义时决定显示所述可见标记(407)。

2.根据权利要求1所述的***，其中，所述可见标记被显示为所述图像上的覆盖物。

3.根据权利要求1所述的***，其中，所述***被布置为在鼠标指针指向图像区域时显示分割结果，并且在所述鼠标指针指向分割不能导出有意义的解的图像区域时显示所述可见标记。

4.根据权利要求1所述的***，其中，所述局部图像处理的所述结果指示在所述指示位置(404，405)处或其附近不存在对象(403)，并且其中，所述决定器(9)被布置为在所述指示位置(405)处或其附近不存在这样的对象(403)的情况下决定显示所述可见标记(407)。

5.根据权利要求1所述的***，其中，所述局部图像处理的所述结果指示在所述指示位置(404，405)处或其附近存在对象(403)，并且其中，所述决定器(9)被布置为在所述指示位置(405)处或其附近存在这样的对象(403)的情况下决定不显示所述可见标记(407)，而是显示所述局部图像处理的所述结果的至少部分。

6.根据权利要求4或5所述的***，其包括用于执行所述指示位置(404，405)处或其附近的所述图像(8)的分割的图像分割单元(5)，其中，当所述分割单元(5)不能分割所述指示位置(405)处或其附近的对象(403)时，所述局部图像处理的所述结果指示所述指示位置(405)处或其附近不存在这样的对象(403)。

7.根据权利要求1所述的***，其中，所述结果确定器(3)被布置为通过评估所述局部图像处理的所述结果是否满足一组预定条件来确定所述局部图像处理的所述结果是否被视为是有意义的。

8.根据权利要求7所述的***，还包括区域检测器(6)，所述区域检测器(6)用于检测所述图像中所述图像处理的所述结果被定义为没有意义的区域，并且其中，所述显示子***被布置为在所述区域中显示所述可见标记(407)。

9.根据权利要求1所述的***，其中，所述决定器(9)被布置为决定当所述指示位置在所述图像的显示区域之外时也显示所述可见标记(407)。

10.根据权利要求1所述的***，其中，所述可见标记(407)指示所述***的来源。

11.一种工作站，其包括根据权利要求1所述的***。

12.一种交互式图像分析的方法，其包括：

-将图像可视化(201)；

-使得用户能够(202)指示关于所述图像的位置，以获得指示位置；

-确定(203)在所述指示位置处的所述图像的局部图像处理的结果；

-基于所述局部图像处理的所述结果决定(204)是否显示标记以获得决定；以及

-响应于所述决定而显示(206)可见标记(407)，其中，所述可见标记指示关于所述方法的权利人，

其中，所述的基于所述局部图像处理的所述结果决定(204)是否显示标记以获得决定包括：在所述局部图像处理的所述结果对所述交互式图像分析没有意义时决定显示所述可见标记(407)。

13.一种服务器(301)，其被布置为将交互式图像分析应用程序(303)发送给客户端设备(302)用于在所述客户端设备(302)处运行，其中，所述应用程序(303)被布置为令所述客户端设备(302)执行根据权利要求12所述的方法。

14.一种用于交互式图像分析的方法，其包括将交互式图像分析应用程序(303)发送给客户端设备(302)用于在所述客户端设备(302)处运行，其中，所述应用程序(303)被布置为令所述客户端设备(302)执行根据权利要求12所述的方法。

15.一种交互式图像分析的装置，其包括：

-用于将图像可视化(201)的模块；

-用于使得用户能够(202)指示关于所述图像的位置，以获得指示位置的模块；

-用于确定(203)在所述指示位置处的所述图像的局部图像处理的结果的模块；

-用于基于所述局部图像处理的所述结果决定(204)是否显示标记以获得决定的模块；以及

-用于响应于所述决定而显示(206)可见标记(407)的模块，其中，所述可见标记指示关于所述装置的权利人，

其中，所述的基于所述局部图像处理的所述结果决定(204)是否显示标记以获得决定包括：在所述局部图像处理的所述结果对所述交互式图像分析没有意义时决定显示所述可见标记(407)。

16.一种用于交互式图像分析的装置，其包括用于将交互式图像分析应用程序(303)发送给客户端设备(302)以用于在所述客户端设备(302)处运行的模块，其中，所述应用程序(303)被布置为令所述客户端设备(302)执行根据权利要求12所述的方法。