JP6313325B2 - バイオマーカー発現の選択及び表示 - Google Patents

Description

本発明は、バイオマーカー発現の選択及び表示に関する。

バイオマーカーの発現を明らかにするよう処理された組織試料の検査は、生物学的研究及び臨床研究のための知られたツールである。そのような処理の一つは、関心対象のバイオマーカー、一般にタンパク質に特異的な抗体又は抗体代用物、例えば抗体フラグメントなどの使用を伴う。そのような抗体又は抗体代用物は、適切な条件下でシグナルを生成する能力をもつ部分で直接的に又は間接的に標識することができる。例えば、蛍光部分を抗体に結合させて、処理した組織を蛍光について調べることができる。得られたシグナルは、一般に、存在するバイオマーカーの存在と量の両方を示す。

米国特許出願公開第２０１１／００９１０９１号明細書

例となる一実施形態によれば、生体試料の視野に１以上のバイオマーカーの発現レベルを表示するためのコンピュータ実装方法が提供される。この方法には、グラフィックユーザインターフェースを視覚表示装置にレンダリングすることが含まれる。グラフィックユーザインターフェースには、主画像パネル及びバイオマーカーパネルが含まれる。この方法には、選択された生体試料に対応する視野を選択するユーザ入力を受け取ること、及び、主画像パネルに、生体試料に対応する選択された視野の第１の画像をレンダリングすることが含まれる。この方法には、主画像パネルの第１の画像の上に重ねて、ユーザが第１の画像内の第１の領域を選択することを可能にする関心対象領域選択コンポーネントをレンダリングすることが含まれる。また、この方法には、バイオマーカーパネルに、第１の画像内の第１の領域に対応するサムネイル画像の第１のセットをレンダリングすることが含まれ、該サムネイル画像の第１のセットはバイオマーカーのセットの発現レベルを表示する。この方法には、主画像パネルで、第１の画像中の第２の領域を選択するユーザ入力を受け取ること、及び、第１の画像内の第２の領域を選択するユーザ入力に基づいて、バイオマーカーパネルを更新してサムネイル画像の第１のセットを第１の画像内の第２の領域に対応するサムネイル画像の第２のセットに置き換え、バイオマーカーのセットの発現レベルを表示することがさらに含まれる。

別の例となる実施形態によれば、生体試料の視野に１以上のバイオマーカーの発現レベルを表示するためのコンピュータシステムが提供される。このコンピュータシステムには、グラフィックユーザインターフェースを表示するための視覚表示装置、及び視覚表示装置に連結されているコンピュータ処理装置が含まれる。このコンピュータ処理装置は、グラフィックユーザインターフェースを視覚表示装置にレンダリングするようにプログラム又は構成され、該グラフィックユーザインターフェースには主画像パネル及びバイオマーカーパネルが含まれる。このコンピュータ処理装置は、選択された生体試料に対応する視野を選択するユーザ入力を受け取り、主画像パネルに、生体試料に対応する選択された視野の第１の画像をレンダリングするようにプログラム又は構成されている。このコンピュータ処理装置は、主画像パネルの第１の画像の上に重ねて、ユーザが第１の画像内の第１の領域を選択することを可能にする関心対象領域選択コンポーネントをレンダリングするようにプログラム又は構成されている。このコンピュータ処理装置はまた、バイオマーカーパネルに、第１の画像内の第１の領域に対応するサムネイル画像の第１のセットをレンダリングするようにプログラム又は構成され、該サムネイル画像の第１のセットはバイオマーカーのセットの発現レベルを表示する。このコンピュータ処理装置は、さらに、主画像パネルで、第１の画像中の第２の領域を選択するユーザ入力を受け取り、第１の画像内の第２の領域を選択するユーザ入力に基づいて、バイオマーカーパネルを更新してサムネイル画像の第１のセットを第１の画像内の第２の領域に対応するサムネイル画像の第２のセットに置き換え、バイオマーカーのセットの発現レベルを表示するようにプログラム又は構成されている。

別の例となる実施形態によれば、１以上の一時的でない、コンピュータで読み取り可能な媒体が提供される。この一時的でない、コンピュータで読み取り可能な媒体は、演算装置で実行した場合、生体試料の視野に１以上のバイオマーカーの発現レベルを表示するための方法を実施する、１以上のコンピュータで実行可能な命令がそれにエンコードされている。この方法には、グラフィックユーザインターフェースを視覚表示装置にレンダリングする工程が含まれる。グラフィックユーザインターフェースには、主画像パネル及びバイオマーカーパネルが含まれる。この方法には、選択された生体試料に対応する視野を選択するユーザ入力を受け取ること、及び、主画像パネルに、生体試料に対応する選択された視野の第１の画像をレンダリングすることが含まれる。この方法には、主画像パネルの第１の画像の上に重ねて、ユーザが第１の画像内の第１の領域を選択することを可能にする関心対象領域選択コンポーネントをレンダリングすることが含まれる。また、この方法には、バイオマーカーパネルに、第１の画像内の第１の領域に対応するサムネイル画像の第１のセットをレンダリングすることが含まれ、該サムネイル画像の第１のセットはバイオマーカーのセットの発現レベルを表示する。この方法にはさらに、主画像パネルで、第１の画像内の第２の領域を選択するユーザ入力を受け取ること、及び、第１の画像内の第２の領域を選択するユーザ入力に基づいて、バイオマーカーパネルを更新して、サムネイル画像の第１のセットを第１の画像内の第２の領域に対応するサムネイル画像の第２のセットに置き換え、バイオマーカーのセットの発現レベルを表示することが含まれる。

別の例となる実施形態によれば、表示される画像は、捕捉され、取り出し可能な記録にアップロードされてよい。

例となる実施形態の前述及び他の目的、態様、特徴、及び利点は、添付の図面と併せて、以下の説明を参照することにより、より明らかになり、よりよく理解されるであろう。

バイオマーカー発現データを格納するための例となるデータ構造を示す図である。 生体試料の１以上の視野を表示するための例となるユーザインターフェースを示す図である。 主画像パネルにおいて視野内のバイオマーカーの発現レベルを表示する、図２のユーザインターフェースを示す図である。 互いに対して水平に配置された２つの画像サブパネルに分割された主画像パネルを表示する図３のユーザインターフェースを示す図である。 互いに対して垂直に配置された２つの画像サブパネルに分割された主画像パネルを表示する図３のユーザインターフェースを示す図である。 左側のサブパネルが、視野の左側の部分のバイオマーカーの発現レベルを示し、右側のサブパネルが、視野の右側の部分の形態学上の特徴を示す画像を表示する図４のユーザインターフェースを示す図である。 ２又はそれ以上の画像サブパネルの大きさを調節するために使用され得るスライダコンポーネントを表示する図６のユーザインターフェースを示す図である。 生体試料の視野の分割画面表示を提供するための例となるコンピュータ実装方法のフローチャートを示す図である。 図４の画像サブパネルを表示するために必要な画像データを格納するための例となるデータ構造を示す図である。 バイオマーカー発現データの１以上のサムネイル画像を含む、主画像パネル及びバイオマーカーパネルを表示するためのユーザインターフェースを示す図である。 主画像パネルにおいて様々なズームレベルで様々な視野を表示する図１０のユーザインターフェースを示す図である。 関心対象の形態学上の特徴が、主画像パネル内の関心対象領域選択コンポーネントの境界から外れる、図１０のユーザインターフェースを示す図である。 関心対象の形態学上の特徴が、主画像パネル内の関心対象領域選択コンポーネントの境界の中に入る、図１２のユーザインターフェースを示す図である バイオマーカー発現データの１以上のサムネイル画像を含む、主画像パネル及びバイオマーカーパネルを表示するためのユーザインターフェースを示す図である。 生体試料の視野に１以上のバイオマーカーの発現レベルを表示するための例となるコンピュータ実装方法のフローチャートを示す図である。 生体試料の視野の分割画面ビューと、視野の一領域に対応するバイオマーカー発現データの１以上のサムネイル画像を含むバイオマーカーパネルとを表示するためのユーザインターフェースを示す図である。 例となる実施形態では使用可能な、例となるネットワーク環境のブロック図を示す図である。 本明細書に記載されるユーザインターフェースのいずれかを実行するようにプログラムされたクライアント演算装置とタイリング画像データサーバとの間の相互作用を説明する例となるフローチャートを示す図である。 クライアント演算装置によって生成され得る画像メトリック要求の一例を示す図である。 図１９の画像メトリック要求に対するＸＭＬに基づく応答の一例を示す図である。 クライアント演算装置によって生成され得るタイル画像要求の一例を示す図である。 本明細書に記載されるユーザインターフェースのいずれかを実行するようにプログラムされたクライアント演算装置とタイリング画像データサーバとの間の相互作用を説明するフローチャートを示す図である。 例となる実施形態で使用可能な、例となる演算装置のブロック図を示す図である。 本発明の代わりのビューアを示す図である。 図２４のビューアの部分画像の１０倍の倍率で得られる、スライド上の試料の分子Ｈ＆Ｅ画像を示す図である。 図２４のビューアのＣＤ３０のｍＤＡＢ画像の１０倍表示を示す図である。 ビューイングパネルにおいてサムネイル画像を表示するこの機能を示す図である。 ４０倍の解像度で撮影された、多重モノクロ画像の色の混合を示す図である。 図２８のビューイングパネルの部分ビュー上での、本発明によって提供される混合インターフェースをさらに示す図である。 本発明のデジタルプリズムの代わりの実施形態を示す図である。 図２８のビューイングパネルの部分ビュー上での、１つのパネル上のｍＤＡＢ ＣＤ３０画像、及び隣接するパネルの中のｍＤＡＢ Ｐａｘ５画像の選択を示す図である。 図３１の２つの画像の選択可能な配向を示す図である。 図２８のビューイングパネルの部分ビューで見るために選択された２つの画像を識別するバーの１つの選択可能な位置を示す図である。 メインディスプレイ上の２つのボックスに輪郭が描かれるように、本発明のスナップショット捕捉機能を用いて捕捉した２つの異なる関心対象領域を示す図である。 本発明のスナップショット機能を用いて全てのサムネイル画像が捕捉されることを可能にする本発明を示す図である。 本発明のスナップショット機能を用いて捕捉される全範囲が捕捉されることを可能にする本発明を示す図である。 本発明の注釈タブを用いる捕捉したサムネイル画像の表示を示す図である。 捕捉した画像の表示をリスト形式で示す図である。 病理学者が症例報告に全ての捕捉した画像をアップロードすることができることを示す図である。

本明細書において開示される実施形態には、生体試料及び組織並びに生体試料に対応するデータ、例えば、１以上のバイオマーカーの発現レベル、１以上の形態学上の特徴、１以上の画像解析法の結果、などを選択的に可視化するための方法、システム、及び装置が含まれる。例となる実施形態は、構造化された、しかし迅速で柔軟であり使い勝手の良い生体試料の表示を可能にし、それは生物学的研究応用を促進し、病理学者が客観的で反復可能な診断法及び疾患又は状態モデルに到達することを可能にする。

特定の例となる実施形態は、生体試料の選択された視野の異なる部分を同時に見るための分割画面表示を提供する。表示される視野の解像度に応じて、本発明は、視野が生体試料の画像の全部又は一部を示すことができることを企図する。本発明の大部分の適用において、生体試料画像のほんの一部分であるか、又はより小さい関心対象領域である視野を選択することが、画像パネルで生体試料画像のその部分のより高い倍率表示を可能にするために望ましいであろうと考える。従って、視野が「生体試料に一致している」と言われる場合、本発明は、視野が生体試料の画像、又は画像の一部分を表示することを意図する。分割画面表示の画像パネルには、視野の２又はそれ以上の隣接部分を表示するための２又はそれ以上のオーバーラップしていない画像サブパネルを含むか、又はそれに分割されてよく、それにより１つのサブパネルが視野の単一の部分を表示し、その結果２又はそれ以上の画像サブパネルの集まりが視野全体を協同的に表示する。視野の部分は、サブパネルの境界に正確に継ぎ目なく整列する。様々な表示方式を用いて、視野の部分をサブパネルに表示してよい。様々な表示方式には、限定されるものではないが、１以上のバイオマーカーの発現、１以上の形態学上の特徴の表示、１以上の分析結果の表示、及び１以上の視覚化タイプとしての表示が含まれてよい。

特定の例となる実施形態は、生体試料の視野を表示するための画像パネル、及び視野内の領域の異なる態様を同時に見るためのサムネイル画像を表示するためのバイオマーカーパネル（例えば、領域における異なるバイオマーカーの発現レベル）を含むユーザインターフェースを提供する。視野の選択された領域を選択又は更新すると、サムネイル画像がそれに応じて自動的に更新されて、新しく選択された領域を表示することができる。画像パネルには、視野内の領域を画定するための関心対象領域選択コンポーネントが含まれてよい。関心対象領域選択コンポーネントは、主画像パネルに表示された視野の一部分の上にオーバーレイすることができ、バイオマーカーパネルに表示された視野内の領域をユーザが選択又は更新するために使用することができる。

例となる組織イメージング技法
本明細書において教示される実施形態は、染色−漂白−再染色などの既知技法によって生成されてよい、多重化されたバイオマーカー画像に対応する生物学的画像データを使用する。一般に、この技法は、生体試料をフルオロフォア標識プローブで染色して、１以上のプローブに結合したバイオマーカーのシグナルを生成し、これらのシグナルを化学的に漂白し、そして試料を再染色して、いくらかのさらなるバイオマーカーのシグナルを生成することを伴う。化学漂白段階は便利である。なぜなら、互いにすぐに区別することのできる限られた数のシグナルだけが存在するので、限られた数のバイオマーカーだけを特定の段階で調べることができるためである。漂白によって、組織試料は複数の段階のために再び調査され、再び評価され得る。この循環法は、ホルマリン固定パラフィン包埋組織（ＦＦＰＥ）試料及び細胞で使用され得る。試料のデジタル画像を各染色段階の後に収集する。試料の連続画像を、ＤＡＰＩ染色細胞核などの形態学上の特徴を用いてレジストリに便利に保管することができ、そのシグナルは化学漂白法によって変更されない。上述の内容は、多重化技法の一例であり、試料を染色、漂白、及び画像化するために使用されるシステムは、多重化プラットフォームの一例である。

別のアプローチには、凍結した生体試料を、それらを染色することによって繰り返し調べること、及び前の染色段階からの標識を次のセット染色を適用する前に光退色させることが含まれる。その後、評価される各々のバイオマーカーに関連した蛍光シグナルの強度を適切な画像から抽出する。

生成した画像は、より大きな細胞組織試料の中の個々の細胞による１以上のバイオマーカーの発現を例示することができる。組織試料は、細胞培養由来の一群の細胞であってもよいし、器官、腫瘍、又は病変の試料であってもよい。また、組織試料は、コホートとして公知の、異なる被験体由来の同様の組織の一群の試料であってもよい。これらの組織試料の群は、１以上の疾患又は状態モデル、１つの疾患又は状態モデルの中の異なるステージ、或いは疾患又は状態の処置に対する１以上の応答を代表し得る。

組織処置及び検査の技法は洗練されているので、特定の細胞において、又は所与細胞の１区画、例えば核、細胞質又は膜などにおいてさえ、所与バイオマーカーの発現のレベルを定量的に測定することができる。これらの区画の境界又は全体としての細胞は、公知の組織学的染色を用いて位置づけられる。一般に、処置した組織はデジタルイメージングによって調査され、異なるバイオマーカーが発する異なるシグナルのレベルは、その結果、容易に定量化することができる。

生体試料の各々染色された視野の画像は、既知技法を用いて、例えば適切な顕微鏡及び適切な品質管理ルーチンに結び付けられたデジタルカメラによって生成される。自動化された画像登録及び分析はまた、個々の画定された細胞、細胞の集まりについての、又は亜細胞区画、例えば核、細胞質及び膜などについてさえも、バイオマーカーの発現レベルを定量化するために使用されてよい。細胞又は亜細胞成分の多重化及び画像解析から生じるデータの値は、単独で、又はさらなる分析、例えばセグメンテーション分析の結果と併せて記憶され得る。データベースは、ソース試料の識別及び試料が導かれた組織内の位置の識別を含む、バイオマーカーの発現レベルを（例えば、データの異なるチャネルとして）保存してよい。識別した位置は、特定の測定値を導いた特定の細胞及び／又は組織を示すことができ、また、識別した位置には、測定値に関連する区画、核、細胞質又は膜の識別も含むことができる。関連するデータ値は、データベースに記憶させることができ、データベースは記憶装置で、またネットワーク化されたサーバで維持することができる。

例となる実施形態は、下で図面を参照して説明される。当業者は、例となる実施形態が、実例となる実施形態に限定されないこと、及び例となるシステム、装置及び方法の成分が下記の実例となる実施形態に限定されないことを理解するであろう。

生体画像データを格納するための例となるデータ構造
例となる実施形態は、生体試料に関する画像データを、グラフィックユーザインターフェースでの表示用に異なる解像度での画像の生成を許容する方法で格納することができる。生体試料の多重化画像は、演算装置によって処理されて、多重化画像を形成するために使用される、異なるマーカーに対応するデータの異なるチャネルを分離することができる。これらのマーカーは、生体試料において形態学上の特徴（例えば、核、膜、細胞質）を発現するバイオマーカー及び／又は染色であってよい。

例となる実施形態では、多重化画像の各々のチャネルに対応する画素レベルの画像データは、ストリーミングデータに適したタイル化された多重解像度又はタイル化されたピラミッド形データ構造に格納することができる。このデータ構造では、画像データの同じチャネルの異なる解像度に対応する複数の画像が、解像度の昇順又は降順にピラミッド形の形式に格納される。各々の解像度レベルで、画像の画素レベルのデータは、複数のブロック又はタイルに分割される。タイル化された多重解像度形式は、データアクセス及び伝送の速度及び効率を最大化する。個々の画像タイルは、最小のサーバオーバーヘッドで迅速にアクセスされ、任意の解像度でストリームすることができ、その最小のサーバオーバーヘッドは高解像度画像データにアクセスする際に特に重要である。つまり、１以上のタイルの順序に対応するデータがデータ記憶装置から送られ、データ要求エンティティによって受け取られる。データは異なる解像度で利用できるので、画像データを要求したレベルの解像度に従わせる画像処理は必要ではない。

タイル化された多重解像度データ構造を作成する際に、データ（例えば、単一のバイオマーカー）の単一のチャネルに対応する画像を、演算装置によって処理して、同じ画像の２又はそれ以上のバージョンを異なる解像度で生成することができる。より解像度の低い型の画像を生成するためにどんな従来技法を用いてもよい。その後、データの単一のチャネルに対応する画像を、解像度の昇順又は降順にピラミッド形の形式に格納することができる。図１Ａは、生体試料中の第１のバイオマーカーの発現データを格納するためのタイル化されたピラミッド形のデータ構造１０２を例示し；図１Ｂは、生体試料中の第２のバイオマーカーの発現データを格納するためのタイル化されたピラミッド形のデータ構造１０４を例示し；図１Ｃは、生体試料中の第３のバイオマーカーの発現データを格納するためのタイル化されたピラミッド形のデータ構造１０６を例示する。図１Ａの例となるデータ構造１０２には、解像度の増加する順に並べられた、４つの異なる解像度レベルの同じ生体試料中の同じマーカー発現又は形態に関するデータに対応する４つの画像１０８、１１０、１１２、１１４が含まれる。

ピラミッド形のデータ構造がデータの単一のチャネルに対して生成されれば、異なる解像度層の各々の画像に関する画素レベルのデータがブロック又はタイルに分割される。画像は、任意の適した数のタイルに分割することができる。例えば、画像は、幅５１２ピクセル×高さ５１２ピクセルのタイルに分割することができる。タイル化された多重解像度データ構造を格納する記憶装置は、要求に基づく迅速なアクセスのために、各々のデータ構造及びデータ構造中の各々のタイルを独自に識別することができる。例えば、データ構造中の各々のタイルに、ピラミッドの各レベルでインデックスを付けることができ、かつ／又は二次元座標を、ピラミッドの各レベルの各々のタイルと関連付けることができる。

例となる実施形態は、タイル化された多重解像度データ格納構造に関して説明されるが、その他の適した格納構造を同様に又は代わりに用いることができることを、当業者は理解するであろう。

一実施形態では、本明細書に記載されるユーザインターフェースのいずれかを提供する演算装置には、タイル化された多重解像度データ構造の生体試料に関する画像データを格納するための記憶装置が含まれ得る。

もう一つの実施形態では、本明細書に記載されるユーザインターフェースのいずれかを提供する演算装置は、タイル化された多重解像度データ構造を格納する遠隔サーバから画像データにアクセスすることができる。この例では、ユーザインターフェースを実行する演算装置は、その目的のために選択的に要求されるデータのタイルを決定することができ、選択されたタイルだけをサーバから要求することができる。つまり、一部の実施形態では、生体試料全体に関する画像データは、要求されないか、ユーザインターフェースにプリロードされない可能性がある；しかし、むしろ、一定時間内に必要とされる画像データのセットだけがサーバから要求される可能性がある。これは、要求処理時のサーバオーバーヘッドを最小化し、そのユーザインターフェースのために演算装置に移さなければならない画像データの量を減少させ、それによってユーザインターフェースを迅速かつ効率的で、ユーザ入力及び要求に高応答性にする。データの要求に応じて、サーバは、データの要求したタイルにアクセスし、場合によって、データの分析又は妥当性確認を実施することができる。その後、サーバは、データのタイルをストリーミング方式で演算装置に転送することができる。つまり、１以上のタイルの順序に対応するデータは、サーバによって送られ、データを要求する演算装置に受け取られる。

生体試料の例となる分割画面表示
一部の例となる実施形態では、選択された生体試料の視野の２又はそれ以上の部分、又は領域の異なる態様を同時に見るための分割画面表示が可能である。より具体的には、選択された生体試料の視野を表示するための画像パネルが提供される。分割画面表示の画像パネルは、視野の２又はそれ以上の隣接部分を表示するための２又はそれ以上のオーバーラップしていない画像サブパネルを含むか、又はそれに分割されてよく、それにより１つのサブパネルが視野の単一の部分を表示し、その結果２又はそれ以上の画像サブパネルの集まりが視野全体を協同的に表示する。視野の部分は、隣接していてよい。視野の部分は、サブパネルの境界に正確に継ぎ目なく整列する。例となる実施形態では、指定された生体試料の視野内で、画像サブパネルは、同じサイズ及び解像度レベルを有する、釣り合ったセットであり得る。画像サブパネルは、視野が分割画面ビューで表示されている場合に組織の特徴がサブパネル間で適切に整列するように、適切に登録され得る。

２つの画像サブパネルが提供される一つの例では、第１のサブパネルは、視野の２つの部分の１番目を表示することができ、第２のサブパネルは、視野の２つの部分の２番目を表示することができる。サブパネルに分割された後でさえも、画像パネルは、視野全体を継ぎ目のない方法で表示し続ける。全ての実施形態に関して、本発明は、用語「継ぎ目のない」及び「隣接する」が、サブパネル間を確定する境界線を有する画像パネルディスプレイにも当てはまることを企図する。それは、境界線がサブパネルの隣接する端部の一方又は両方を覆い隠すため、又はサブパネルの隣接する端部が、与えられた境界線の幅を横方向に分離されるためである。

例となる実施形態では、異なる表示方式を用いて、視野の部分を異なる画像サブパネルに表示することができる。例となる実施形態で用いられる様々な表示方式としては、限定されるものではないが、１以上のバイオマーカーの発現、１以上の形態学上の特徴の表示、１以上の分析結果の表示、１以上の視覚化タイプによる表示（例えば、バイナリ・ヒートマップ、離散的ヒートマップ、連続的ヒートマップ、灰色又は色画素のグレースケール値強度、２又はそれ以上のバイオマーカー発現の混色）、上記の種類のいずれかの組合せなどを挙げることができる。

２つの画像サブパネルが提示される一つの例では、第１のサブパネルは、第１のバイオマーカーの発現レベルを視野の第１の部分に表示することができ、第２のサブパネルは、第２のバイオマーカーの発現レベルを視野の第２の部分に表示することができる。２つの画像サブパネルが提示される別の例では、第１のサブパネルは、バイオマーカーの発現レベルを視野の第１の部分に表示することができ、第２のサブパネルは、１以上の形態学上の特徴を視野の第２の部分に表示することができる。２つの画像サブパネルが提示される別の例では、第１のサブパネルは、１以上の形態学上の特徴を視野の第１の部分に表示することができ、第２のサブパネルは、１以上の形態学上の特徴を視野の第２の部分に表示することができる。

例となる実施形態により提供される分割画面表示能力は、生体試料の異なる局面が視野（ｆｉｅｌｄ）の異なる部分でどのように変化するか又は変動するかを比較するのに有用である。例えば、分割画面表示は、医療従事者又は研究者が、異なるバイオマーカー又はバイオマーカーの組合せを、異なる関心対象の位置（例えば、１以上の画像化されたバイオマーカーを発現する細胞又は一群の細胞）で分析することを可能にすることができる。

分割画面表示の有利な特徴は、画像サブパネルの作成の前にコンピュータメモリに完全にロードされるはずである、生体試料の画像又は主画像パネルに表示される視野の画像を分割画面表示が必要としないことである。代わりに、ユーザは、サブパネルで表示するための望ましい視野の部分を選択することができ、それにより、ユーザの選択に関連する画像データだけが分割画面表示のためのコンピュータメモリに選択的にロードされる。

当業者は、様々な表示方式の任意の適した組合せを用いて、分割画像パネルに視野を表示することができることを理解するであろう。例えば、画像パネルの異なる画像サブパネルを選択して、０、１以上の異なるバイオマーカー発現；０、１以上の形態学上の特徴；０、１以上の異なる分析結果；０、１以上の異なる視覚化タイプ；或いは上記の任意の組合せを表示することができる。

例となる画像パネルは、限定されるものではないが、ユーザ選択、表示サイズ、ディスプレイ解像度、などを含む、１以上の要素に基づいて、任意の適した数のサブパネルに分割されるか又はそれを備えることができる。画像パネルに形成又は設けられるサブパネルの例となる数には、限定されるものではないが、１、２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、１５、などが含まれてよい。

画像パネルは、画像パネルに同時に表示される２又はそれ以上の画像サブパネルに予め分割されたものとしてロードされてよい。或いは、画像パネルは、ユーザ入力を受け取ると、又はディスプレイ設定に基づいて、ロードされた後に分割されてもよい。

２又はそれ以上の例となる画像サブパネルは、互いに関して任意の適した方法で、例えば、水平に、垂直に、格子編成で画像パネルに編成されてよい。画像サブパネルの空間的編成は、視野の表示部分の空間的編成に一致することができるので、視野の部分は、サブパネルの境界に正確に継ぎ目なく整列する。視野が分割画面ビューに表示される場合に組織の特徴が適切に整列するように、画像サブパネルは適切に登録される。例えば、水平に編成された左右のサブパネルは、視野の右と左の部分を継ぎ目なく表示することができ、一方、垂直に編成された上下のサブパネルは、視野の上と下の部分を継ぎ目なく表示することができる。

図２〜７は、本明細書において「ビューア」とも呼ばれる、例となるグラフィックユーザインターフェース（ＧＵＩ）２００を例示する。これを用いて分割画面表示を実行することができるが、その他の適したユーザインターフェースを使用してもよい。図２は、生体試料の視野を表示するための主画像パネル２０２を含むＧＵＩ２００を例示する。ユーザは、主画像パネル２０２に表示するのに望ましい生体試料（例えば、スライド／スポット）を選択することができる。生体試料は、ＧＵＩ２００、コマンドパネル、又は任意のその他の適した手段を用いて選択することができる。

選択された生体試料は、ＧＵＩ２００で表示することのできる、対応する格納された画像データを有し得る。表示方式選択コンポーネント２０４は、ユーザが主画像パネル２０２での表示のために利用可能な１以上の表示方式を選択するために用いることができる。例となる実施形態で使用される例となる表示方式としては、限定されるものではないが、１以上のバイオマーカーの発現、１以上の形態学上の特徴の表示、１以上の分析結果の表示、１以上の視覚化タイプによる表示（例えば、バイナリ・ヒートマップ、離散的ヒートマップ、連続的ヒートマップ、灰色又は色画素のグレースケール値強度、２又はそれ以上のバイオマーカー発現の混色）、上記の種類のいずれかの組合せ、などを挙げることができる。例えば、図２〜７の表示方式選択コンポーネント２０４は、選択された生体試料に関して、ＶＤＡＢの視覚化タイプが、ＣＤ３０バイオマーカーに利用可能であり、グレースケールの視覚化タイプが、ＣＤ３０バイオマーカーに利用可能であり、ＶＨＥ画像が利用可能であることを示す。

選択された生体試料の表示方式のユーザ選択（例えば、選択されたものをクリックすること、かつ／又はそれを主画像パネル２０２までドラッグすることによる）を受け取ると、主画像パネル２０２は、選択された表示方式に従って表示される視野をレンダリングすることができる。図３は、主画像パネル２０２の生体試料の視野の表示を例示し、ＣＤ３０バイオマーカー用のＶＤＡＢ視覚化タイプが表示されている。

主画像パネル２０２に視野が表示されると、生体試料全体を表示する画像ナビゲーションコンポーネント２０６（図３〜７に例示）が含まれるようにＧＵＩ２００を更新することができ、主画像パネル２０２に表示される視野はその生体試料の一部である。画像ナビゲーションコンポーネント２０６は、ユーザによって選択された表示方式、例えば、図３中のＣＤ３０バイオマーカー用のＶＤＡＢ視覚化タイプに従って生体試料を表示する。

画像ナビゲーションコンポーネント２０６には、生体試料の全体表示の範囲内で視野を画定するための、図３〜７に例示される、視野選択コンポーネント２０８（例えば、レチクル又は任意のその他の適したコンポーネント）が含まれ得る。これは、ユーザが一般に全体的な生体試料（画像ナビゲーションコンポーネント２０６に表示される）に見出すことのできる視野（主画像パネル２０２に表示される）の位置を確認することを可能にする。視野選択コンポーネント２０８は、画像ナビゲーションコンポーネント２０６に表示された生体試料中の任意の視野をユーザが選択し、その結果、主画像パネル２０２が更新されて選択された視野を表示することを可能にする、相互作用コンポーネントであり得る。同様に、ユーザは、視野選択コンポーネント２０８を用いて、異なる視野を継続的でスムーズな方法でブラウズすることができる。ユーザは、視野選択コンポーネント２０８を選択し（例えば、その上をマウスカーソルでクリックすることによる）、その視野選択コンポーネント２０８を新しい別の視野の上にドラッグ・アンド・ドロップすることができる。例となる実施形態では、カーソルを解放することによって視野選択コンポーネント２０８をドロップすると、主画像パネル２０２は自動的に更新されて新しい視野が表示され得る。例となる実施形態では、主画像パネル２０２は、視野選択コンポーネント２０８がユーザによってドラッグされる間にも自動的に更新され得る。一部の実施形態では、この更新は、ユーザがユーザインターフェースと対話する時にリアルタイムで実施されてもよいし、或いは、ユーザが視野の新しい位置を選択した後にタイムラグの後で実施されてもよい。

一部の実施形態では、画像ナビゲーションコンポーネント２０６は、主画像パネル２０２よりも小さく、生体試料の低解像度表示を提供する。その他の実施形態では、画像ナビゲーションコンポーネント２０６は、主画像パネル２０２と同じサイズであるか又はそれよりも大きくてよい。

図３に例示されるように、主画像パネル２０２には、ユーザが、特定のズームレベル又は相対ズームレベルを入力する（例えば、ズームスライダ及び／又はズームボタンを用いて）ことを可能にするためのズーム入力ツール２１０が含まれ得る。最新の相対ズームレベルは、画像パネル上のズームインジケータ２１２に示され得る。場合によって、ズームレベルは、ユーザによるか、又はシステムによって自動的に、デフォルトレベルにリセットされ得る。一部の例となる実施形態では、ユーザインターフェースは、主画像パネル２０２の画像上のポインティングデバイスを直接用いて、例えば、マウスの右ボタンをクリックすることによって、拡大及び縮小を可能にすることができる。一部の例となる実施形態では、ユーザインターフェースは、キーボードショートカットを用いて拡大及び縮小することを可能にすることができる、例えば、拡大するためには「Ｃｔｒｌ」キーと「＋」キーの組合せを使用し、縮小するためには「Ｃｔｒｌ」キーと「−」キーの組合せを使用する。主画像パネル２０２が新しいズームレベルに応じて更新されると、画像ナビゲーションコンポーネント２０６中の視野選択コンポーネント２０８は、自動的に更新されて、主画像パネル２０２に示される更新された視野を正確に画定する。例となる実施形態では、ユーザインターフェースを実行する演算装置は、新しいズームレベルがタイル化された多重解像度データ構造の中の異なる解像度レベルから画像データを必要とすることを決定することができ、画像データの１以上のタイルを解像度レベルから取り出すことができる。

図３に例示されるように、主画像パネル２０２には、生体試料において新しい視野をパンするためのパン入力ツール２１４が含まれ得る。パン入力ツール２１４は、主画像パネル２０２に表示される視野を調節するために、ユーザに生体試料におけるパンニングの特定のレベル又はパンニングの相対レベルをスライダを用いて入力させることができる。場合によって、パン設定をリセットして主画像パネル２０２に最初に表示した視野を表示することができる。一部の例となる実施形態では、ユーザインターフェースは、主画像パネル２０２の上のポインティングデバイスを直接用いてパンすること、例えば、画像の上でマウスの左ボタンをクリックし、画像を横切ってカーソルをドラッグし、それを解放して新しい視野を表示することを可能にすることができる。一部の例となる実施形態では、ユーザインターフェースは、キーボードショートカットを用いてパンニングを可能にすることができる。

一実施形態では、主画像パネル２０２を更新して、カーソルの解放に応じて新しい視野を表示することができる。もう一つの実施形態では、主画像パネル２０２は、ユーザが画像を横切ってカーソルをドラッグする時にリアルタイムに更新されるか、或いは、ユーザが選択された視野を動かした後にタイムラグの後で実施されてもよい。例となる実施形態では、ユーザインターフェースを実行する演算装置は、新しい視野を表示するために画像データのタイルの異なるセットが必要であることを決定することができ、タイル化された多重解像度データ構造からタイルのセットを取り出すことができる。

一部の実施形態では、パン入力ツール２１４は、ユーザが主画像パネル２０２に表示される視野を回転させることも可能にすることができる。

主画像パネル２０２が更新されて新しい視野を表示する時、画像ナビゲーションコンポーネント２０６中の視野選択コンポーネント２０８は、自動的に更新されて、試料中の新しい視野の位置を正確に画定する。

図４に例示されるように、主画像パネル２０２には、主画像パネル２０２が同時表示のための２又はそれ以上の画像サブパネル、例えば、サブパネル２１８、２２０に分割されるか又はそれを備えているはずであることをユーザが示すことを可能にする１以上のスプリッタコンポーネント２１６が含まれてよい。例となる実施形態では、ユーザは、同時表示用にいくつほどのサブパネルが作成されるべきであるかを選択することができる。或いは、システムは、記憶されたデフォルト設定に示されるいくつかのサブパネルを生成することができる。例となる実施形態では、ユーザは、画像パネル２０２においてサブパネルがどのように編成されるかを選択することができる。或いは、システムは、記憶されたデフォルト設定に従ってサブパネルを編成することができる。例となる実施形態では、ユーザは、主画像パネル２０２から画像サブパネルを除去することが可能であり得る。

表示方式選択コンポーネント２０４は、ユーザがサブパネル２１８、２２０で表示するための表示方式を示すために使用することができる。サブパネル用の表示方式のユーザ選択を受け取ると（例えば、選択項目をクリックし、それをサブパネルの上にドラッグすることによる）、例となる実施形態は、サブパネルを集めたものが全体的な視野を示すように、視野の隣接する部分（画像ナビゲーションコンポーネント２０６で選択）を異なるサブパネル２１８、２２０に表示することができる。各々のサブパネルは、視野の対応する部分について異なる表示方式をレンダリングすることができる（例えば、バイオマーカーの発現レベル、分析結果、視覚化タイプをレンダリングすることによる）。

図４は、主画像パネル２０２での２つの例となる画像サブパネル２１８、２２０の表示を例示する。ここで、サブパネルは、視野の右と左の部分を表示するために互いに対して水平に編成される。画像サブパネルを配置するために適したあらゆるパターン、例えば、図５に示される垂直編成（上と下のサブパネル２１８’、２２０’が視野の上と下の部分を表示）、格子状、などが可能である。図４において、第１のサブパネル２１８は第１の表示方式（ＣＤ３０バイオマーカーのＶＤＡＢ視覚化タイプ）に従って視野の左側の部分を表示し、第２のサブパネル２２０は、第２の表示方式（ＶＨＥ画像）に従って視野の右側の部分を表示する。

各々のサブパネルは、倍率レベルを増減させるための対応するズーム入力ツール２１０’、２１０’’、及び異なる視野をパンするためのパン入力ツール２１４’、２１４’’を有することができる。拡大又は縮小すると、視野の隣接する部分がサブパネルに継ぎ目なく表されるように新しい拡大された視野を画像パネル２０２に表示することができる。例えば、図６は、画像サブパネル２１８、２２０に拡大された表示（図４のズームレベルと比較）を示し、そこではサブパネルは新しい拡大された視野の隣接する部分を示すように構成されている。図６は、画像を表示する例となるユーザインターフェースを例示し、そこでは左側のサブパネルはバイオマーカーの発現レベルを視野の左側の部分に示し、右側のサブパネルは形態学上の特徴を視野の右側の部分に示す。一部の実施形態では、全てのサブパネルが同じスケール又は解像度で表示されるように、１つの画像サブパネルの解像度を更新するために拡大又は縮小することによって、全てのサブパネルを自動的に更新することができる。例となる実施形態では、ユーザインターフェースを実行する演算装置は、新しいズームレベルがタイル化された多重解像度データ構造の中の異なる解像度レベルから画像データを必要とすることを決定することができ、画像データの１以上のタイルを解像度レベルから取り出すことができる。

一実施形態では、サブパネルは、同じイメージスケールで維持されてよい。他の実施形態では、サブパネルは、異なるスケールで構成されてよい。

各サブパネル２１８、２２０は、ズームインジケータ２１２’、２１２’’も含むことができる。その上、ユーザは、画像ナビゲーションコンポーネント２０６中の視野選択コンポーネント２０８を用いて異なる視野をパンすることができる。新しい視野（ｆｉｅｌｄ ｏｆ ｆｉｅｌｄ）にパンすると、視野の隣接する部分がサブパネルに継ぎ目なく表されるように、新しい視野を画像パネル２０２に表示することができる。例えば、図６は、画像サブパネル２１８、２２０に表示される異なる視野を示し（図４に示される視野と比較）、そこではサブパネルは新しい視野の隣接する部分を示すように構成されている。一部の実施形態では、１つの画像サブパネルをパンすると、全てのサブパネルは自動的に更新されて、それに応じてパンすることができる。例となる実施形態では、ユーザインターフェースを実行する演算装置は、新しい視野を表示するために画像データのタイルの異なるセットが必要であることを決定することができ、タイル化された多重解像度データ構造からタイルのセットを取り出すことができる。

例となる実施形態では、図４〜７に例示されるように、主画像パネル２０２は、２又はそれ以上の画像サブパネル２１８、２２０の間の境界に配置された１以上の相互作用スライダコンポーネント２２２を含むことができる。スライダコンポーネント２２２を用いて、異なるサブパネル２１８、２２０によって占有されている画像パネル２０２の相対的な部分を再構成することができる。例えば、スライダコンポーネント２２２を、画像パネル２０２を横切ってドラッグして、表示される１以上のサブパネルのサイズを縮小し、１以上のその他のサブパネルのサイズを拡大することができる。これはウィンドウシェードのような、１つの画像サブパネルを別のサブパネルの上にドラッグする視覚効果を作り出すことができる。図７は、スライダコンポーネント２２２を右にドラッグして右側のサブパネル２２０のサイズを縮小し、左側のサブパネル２１８のサイズを拡大する例を例示する。サブパネルが視野の隣接する部分を表示するように、サブパネル２１８、２２０の集まりによって同じ視野が表示される。この例では、左側のサブパネル２１８を更新して同じ視野のより大きい部分を（左側のサブパネルに関連する表示方式に従って）示し、右側のサブパネル２２０を更新して同じ視野のより小さい部分を（右側のサブパネルのサブパネルに関連する表示方式に従って）示す。

一部の例となる実施形態では、ユーザインターフェース２００は、ユーザが画像サブパネルのいずれかで表示するための１以上の形態学上の特徴を選択することを可能にする形態選択コンポーネントを含み得る。１以上の形態学上の特徴を選択するユーザ入力を受け取ると、これらの特徴は、該当する画像サブパネルに、例えば、画像オーバーレイとして表されることができる。例となる形態学上の特徴としては、限定されるものではないが、細胞、細胞の集まり、亜細胞成分（例えば、核、細胞質、膜）などを挙げることができる。

一部の実施形態では、ユーザインターフェースは、ユーザが、画像解析結果（例えば、セグメンテーション分析の結果）を画像サブパネルのいずれかにオーバーレイすることを可能にすることができる。

図８は、生体試料の視野の分割画面表示を提供するための例となるコンピュータ実装方法のフローチャートである。段階８０２では、グラフィックユーザインターフェースが、視覚表示装置にレンダリングされ得る。段階８０４では、画像パネルが、生体試料の視野を表示するためのユーザインターフェースにレンダリングされ得る。段階８０６では、ユーザが画像パネルを２又はそれ以上の画像サブパネルに分割することを可能にするスプリッタコンポーネントがユーザインターフェースにレンダリングされ得る。

段階８０８では、ユーザ入力は、画像パネルを２又はそれ以上の画像サブパネルに分割するためのスプリッタコンポーネントで受け取られ、そこで各々のサブパネルは視野の異なる部分を表示するように構成される。ユーザ入力は、グラフィックユーザインターフェースで、或いは異なるユーザインターフェース又はコマンドプロンプトで受け取ることができる。一部の例となる実施形態では、ユーザ入力が、ユーザインターフェースでの画像サブパネルの編成を指定することができる。或いは、例となる実施形態は、保存された設定に基づいて、画像パネルを分割するかどうか、またどのように分割するかを決定することができる。

段階８１０では、生体試料の画像から視野を選択するユーザ入力を受け取ることができる。段階８１２では、異なる画像サブパネルの視野の部分をレンダリングする２又はそれ以上の表示方式を選択するユーザ入力を受け取ることができる。

一例では、ユーザ入力は、第１の画像サブパネルが第１のバイオマーカーの発現レベルを視野の第１の部分に表示するべきであり、第２の画像サブパネルが第２のバイオマーカーの発現レベルを視野の第２の部分に表示するべきであるということを指定することができる。別の例では、ユーザ入力は、第１の画像サブパネルがバイオマーカーの発現レベルを視野の第１の部分に表示するべきであり、第２の画像サブパネルが１以上の形態学上の特徴を視野の第２の部分に表示するべきであるということを指定することができる。別の例では、ユーザ入力は、第１の画像サブパネルが１以上の形態学上の特徴の第１のセットを視野の第１の部分に表示するべきであり、第２の画像サブパネルが１以上の形態学上の特徴を視野の第２の部分に表示するべきであるということを指定することができる。

段階８１４では、各々のサブパネルについて、視野の部分をサブパネルに表示させるために選択された表示方式の画像データに選択的に対応するデータセットを決定することができる。

例となる実施形態では、段階８１４では、ユーザインターフェースを提供する演算装置は、生体試料に関する画像データをタイル化された多重解像度データ構造で格納する遠隔サーバから画像データにアクセスすることができる。この例では、ユーザインターフェースを実行する演算装置は、その目的のために選択的に必要とされるデータのタイルを決定することができ、サーバからそれらの選択的なタイルだけを要求することができる。つまり、生体試料全体に関する画像データは、一部の実施形態では、要求されないか、又はユーザインターフェースにプリロードされない場合がある；しかし、むしろ、一定時間内に必要とされる画像データのそれらのセットだけが、サーバから要求される可能性がある。一例として、ＧＵＩ２００に表示される画像のズームレベルが調節される場合、演算装置は、適切なピラミッドレベルからタイル画像を要求するようにプログラムされることができる。別の例として、ＧＵＩ２００に表示される画像のパン操作を実施する場合、演算装置は、メインパネル及び／又は１以上のサブパネルの中に表示される予定の画像の新しい部分のタイル画像を要求するようにプログラムされることができる。このアプローチを使用することは、要求を処理する際のサーバオーバーヘッドを最小化し、そのユーザインターフェースのために演算装置に移さなければならない画像データの量を減少させ、それによりユーザとの対話及び要求に対応する際にユーザインターフェースを迅速かつ効率的にする。データの要求に応じて、サーバは、データの要求したタイルにアクセスし、場合によって、データの分析又は妥当性確認を実施することができる。その後、サーバは、データのタイルをストリーミング方式で演算装置に転送することができる。

画素データの別々のセットは、異なる画像サブパネルのために遠隔サーバから取り出される。各々の画像サブパネルに対して、ユーザインターフェースを提供する演算装置は、サブパネルに表示させるための生体試料の識別並びに１以上のバイオマーカー及び／又は形態学上の特徴の識別を決定することができる。識別に基づいて、演算装置は、アクセスする適切なデータ構造を決定するようにプログラムされることができる。例えば、第１の画像サブパネルが第１のバイオマーカーの発現レベルを含む特定のスライドスポットから生体試料を表示する場合、演算装置は、第１のバイオマーカーと特定のスライドスポットの両方に特異的な、図９Ａに例示される第１のデータ構造９０２を識別することが可能であり得る。同様に、第２の画像サブパネルが第２のバイオマーカーの発現レベルを含むスライドスポットから生体試料を表示する場合、演算装置は、第２のバイオマーカーとスライドスポットの両方に特異的な、図９Ｂに例示される第２のデータ構造９０４を識別することが可能であり得る。

各々の画像サブパネルについて、演算装置は、タイル化された多重解像度データ構造の中のどの解像度の層に画像データを求めてアクセスするべきかを決定するようにプログラムされることができる。この目的のため、演算装置は、画像サブパネルが視野を表示する予定であるか又は視野を表示するよう要求される（例えば、ズーム設定及び／又はパネルサイズを再調査することによる）解像度を決定することができる。この決定に基づいて、演算装置は、適切な解像度の層にある、データ構造中の画像にアクセスすることができる。例えば、図６に例示されるように、画像サブパネルが視野の拡大されたバージョンを示す場合、演算装置は、データ構造の最も高解像度の層の画像がアクセスされなければならないと決定することができる。

各々の画像サブパネルについて、演算装置は、画像中の画像データのどのタイルにアクセスするべきかを決定するようにプログラムされることができる。この目的のため、演算装置は、主画像パネルに表示される予定の生物組織の視野、及び画像サブパネルに表示される予定である視野の部分を分析することができる。分析に基づいて、演算装置は、アクセスする画像データの部分又はタイルを決定することができる。画像データの関連するタイルは、その結果、画像サブパネルを表示するために必要な画素データに対応し、画像サブパネルの集まりは非常に正確に整合した境界を有し、そのためそれらは継ぎ目のない隣接する視野を主画像パネルに集合的に表示する。

図９Ａ及び９Ｂは、２つの画像サブパネルに対応するデータ構造９０２、９０４の表現を例示する。この例では、第１のサブパネルは、は、第１のデータ構造９０２に含まれるデータを用いて生成され、第２のサブパネルは、第２のデータ構造９０４に含まれるデータを用いて生成される。演算装置は、第１のサブパネルが、第１のデータ構造９０２の画素画像データを含有するタイル９０６の第１のセットと一致すること、及び第２のサブパネルが第２のデータ構造９０４の画素画像データを含有するタイル９０８の第２のセットと一致することを決定するようにプログラムされることができる。演算装置は、第１のデータ構造９０２からタイル９０６の第１のセットを、及び第２のデータ構造９０４からタイル９０８の第２のセットを、選択的に取り出す要求を作成するようにプログラムされることができる。この要求は、データ構造を格納する遠隔サーバに伝送されることができる。それに応じて、サーバは、要求されるタイルに容易に、かつ迅速にアクセスし、それらを演算装置に伝送することができる。他の実施形態では、ユーザインターフェースを提供する演算装置とは異なる演算装置が、決定段階８１４を実行することができる。

段階８１６では、例となる実施形態は、段階８１４で異なる画像サブパネルについて決定した選択的なデータセットを画像データを格納するサーバに要求することができる。段階８１８では、例となる実施形態は、要求されたデータセットを、要求に基づいてサーバからストリーミング方式で受け取ることができる。例となる実施形態では、データセットは、ユーザがユーザインターフェースと対話している時にリアルタイムで受け取ることもでき、或いは、ユーザがユーザインターフェースと対話した後にタイムラグの後で受け取ることもできる。

段階８２０では、例となる実施形態は、段階８１２のユーザ入力に基づいて画像パネルを複数の画像サブパネルに分割することができる。或いは、画像パネルは、画像サブパネルをプリロードすることができる。

段階８２２では、例となる実施形態は、サーバから受け取ったデータに基づいて、選択された視野の異なる部分を異なる画像サブパネルに表示して、サブパネルの集まりが全体的な視野を表示することができる。例となる実施形態は、サブパネルの境界を整列させるか又は登録して、分割画面表示を形成することができる。

例となる実施形態は、ユーザが生体試料の異なる視野をスムーズにブラウズすることを可能にし、その一方でユーザインターフェースのサブパネル構成を維持する。ユーザが視野を変える時に、新しい視野が画像パネルに表示されるので、新しい視野の隣接する部分は対応する画像サブパネルに自動的に表示される。段階８２４では、画像パネルに表示される生体試料の視野を変えるユーザ入力が受け取られ得る。段階８１０〜８２２はその結果繰り返されることがある。

図８の例となる方法には、例となるフローチャートに例示されるよりも多いか又は少ない段階が含まれてよく、例となるフローチャート中の段階が、示されるものと異なる順序で実施されてよいことを当業者は理解するであろう。

生体試料におけるバイオマーカー発現の例となる選択及び表示
一部の例となる実施形態では、領域の異なる態様（例えば、領域における異なるバイオマーカーの発現レベル）を同時に見るために、主画像パネルは、生体試料の画像、又は画像の一部分に対応する視野を表示するために提供されてよく、バイオマーカーパネルは、視野の一領域のサムネイル画像を表示するために提供されてよい。本発明のこの特徴は、サムネイルが望ましくはメインディスプレイにおいて画像の構成要素である特徴を描写するので、口語で「デジタルプリズム」と呼ばれることがある。視野の選択された領域を選択又は更新すると、サムネイル画像がそれに応じて自動的に更新されて、新しく選択された領域を表示することができる。主画像パネルは、生体試料の画像が含まれることが望ましく、主画像パネルに表示される視野の中の領域を画定するための関心対象領域選択コンポーネント（例えば、レチクル又は任意のその他の適したコンポーネント）を含んでもよい。例となる実施形態では、関心対象領域選択コンポーネントは、主画像パネルに表示された視野の一部分の上にオーバーレイすることができ、バイオマーカーパネルに表示された視野の領域をユーザが選択又は更新するために使用することができる。

バイオマーカーパネルは、関心対象領域選択コンポーネント内で画定された視野の一領域の１以上のサムネイル画像のセットが含まれるように構成することができる。サムネイル画像は、同じ領域の異なる態様又は表示方式、例えば、異なるバイオマーカーの発現、形態学的単位の発現、分析結果、上記表示方式の組合せなどを表すことができる。例えば、各々のサムネイル画像は、視野のそれぞれの領域における異なるバイオマーカー又はバイオマーカーの組合せの発現レベルを表示することができる。例となる実施形態では、主画像パネルが１以上のバイオマーカーの発現レベルを表示する場合、バイオマーカーパネルは、主画像パネルに表示されるバイオマーカーに対応するサムネイル画像を指示するものを提供することができる。サムネイル画像は、ユーザによって選択されて、主画像パネルが選択されたサムネイル画像のバイオマーカーを表示するように主画像パネルを更新することができる。

サムネイル画像は、バイオマーカーパネルにおいて、視野の一領域の異なる態様を簡単で編成された方法で見ることを可能にする。一部の例となる実施形態では、サムネイル画像は、サイズ及びスケールが主画像パネルよりも小さいことがあるので、そのために使いにくいビジーインターフェースとならない。さらに、サムネイル画像の表示は、一部の実施形態では小さいが、視野全体よりも小さい領域に基づいている。従って、サムネイル画像はそれでもなお見やすく解釈しやすいように十分に高い解像度で表示することができる。

関心対象領域選択コンポーネントはまた、主画像パネルにレンダリングされた視野内の任意の関心対象領域を選択的に表示するためのサムネイル画像の自動更新も可能にする。ユーザは、容易にかつ迅速に、主画像パネル内の関心対象領域、例えば、１以上の関心対象の形態学上の特徴（例えば、細胞、細胞の集まり、亜細胞成分）を含む領域に焦点を合わせることができる。この能力は、サムネイルを簡単なナビゲーション補助からバイオマーカー発現パターンに迅速に問い合わせするために使用することのできるツールへと変えた。

例となるユーザインターフェースを用いる特定の臨床応用は、迅速な方法で複数のバイオマーカーの評価を必要とする。この評価は、バイオマーカーを完全に視覚化したもののサムネイル画像に基づいてバイオマーカー間の迅速かつ直感的なナビゲーションを提供するバイオマーカーパネルによって速められる。この評価はまた、サムネイル画像の検索対象情報を表示することによっても速められる。例えば、サムネイル画像は、それらを更新して生体試料の視野における正確な関心対象領域を表すことができるので、さらにより情報価値のあるものとなる。リード・シュテルンベルク細胞のバイオマーカー発現だけが診断上重要であるホジキンリンパ腫の評価は、例となる実施形態の能力が特に役立つ例となる用途である。

例となるバイオマーカーパネルは、任意の適した数のサムネイル画像を含むように構成されてよい。バイオマーカーパネルに提供されるサムネイル画像の例となる数としては、限定されるものではないが、１、２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、１５、などを挙げることができる。

バイオマーカーパネルは、バイオマーカーパネルに表示される予定の１以上のバイオマーカーについて記憶されたデフォルト設定に基づく１セットのサムネイル画像を含むとしてロードされてよい。或いは、バイオマーカーパネルは、バイオマーカーパネルに表示される予定の１以上のバイオマーカーへのユーザ入力を受け取って１セットのサムネイル画像を与えることができる。

２又はそれ以上の例となるサムネイル画像は、バイオマーカーパネルにおいて、互いに関して任意の適したパターン又は方法で、例えば、互いに対して水平に、互いに対して垂直に、又は格子状の編成で編成されることができる。サムネイル画像は、記憶されたデフォルト設定又はユーザの好みで指定された編成で、バイオマーカーパネルにロードされてよい。或いは、ユーザは、バイオマーカーパネルにおいてサムネイル画像がどのように編成されるかを指定することができる。その上、使用中に、ユーザは、例えば、バイオマーカーの臨床的関連性に基づいて、バイオマーカーパネルで（例えば、マウスカーソルを用いてドラッグ・アンド・ドロップすることにより）サムネイル画像を再編成することができる。生体試料で臨床状態を診断する際に非常に関連するバイオマーカーのサムネイル画像は、例えば、サムネイル画像の順序の最初に置くことができる。サムネイル画像の順序付け又は再順序付けは、設定として保存することができるので、サムネイル画像が生体試料のためにリロードされる場合、サムネイル画像は、保存された設定で指定された通り編成される。

図１０〜１４は、生体試料におけるバイオマーカー発現の選択及び表示を可能にするために使用することのできる、例となるグラフィックユーザインターフェース（ＧＵＩ）１０００を例示する。しかしその他の適したユーザインターフェースを使用してもよい。図１０は、生体試料の視野を表示するための主画像パネル１００２、及び生体試料の視野の一領域に関連するバイオマーカー発現のサムネイル画像を表示するためのバイオマーカーパネル１００４を含むＧＵＩ１０００を例示する。本発明は、主画像パネル１００２に表される視野が一般に生体試料の画像全体の一部分に対応すると考える。

ユーザは、主画像パネル１００２に表示するための望ましい生体試料（例えば、スライド／スポット）を選択することができる。生体試料は、ＧＵＩ１０００、コマンドパネル、又は任意のその他の適した手段を用いて選択されてよい。選択された生体試料は、ＧＵＩ１０００で表示することのできる、対応する格納された画像データを有することができる。例となる画像データとしては、限定されるものではないが、１以上のバイオマーカーに関する発現データ、１以上の形態学上の特徴に関する表示データ、１以上の画像解析技法の結果、などを挙げることができる。表示方式選択コンポーネント１００６は、ユーザが主画像パネル１００２での表示に利用可能な１以上の表示方式を示すために使用することができる。例となる実施形態で使用される例となる表示方式としては、限定されるものではないが、１以上のバイオマーカーの発現、１以上の形態学上の特徴の表示、１以上の分析結果の表示、１以上の視覚化タイプによる表示（例えば、バイナリ・ヒートマップ、離散的ヒートマップ、連続的ヒートマップ、灰色又は色画素の強度、或いは２又はそれ以上のバイオマーカー発現の混色）、上記の種類のいずれかの組合せ、などを挙げることができる。

選択された生体試料についての表示方式のユーザ選択を受け取ると（例えば、選択をクリックし、それを主画像パネル１００２にドラッグすることによる）、主画像パネルは、選択された表示方式に従って表示される視野をレンダリングすることができる。図１１は、主画像パネル１００２での生体試料の視野の表示を例示し、ＣＤ３０バイオマーカーのＶＤＡＢ視覚化タイプが表示されている。

一部の例となる実施形態では、ユーザインターフェース１０００は、ユーザが主画像パネル１００２での表示のための１以上の形態学上の特徴を選択することを可能にするための形態選択コンポーネントを含み得る。１以上の形態学上の特徴を選択するユーザ入力を受け取ると、これらの特徴を主画像パネル１００２に、例えば、画像オーバーレイとして表すことができる。例となる形態学上の特徴としては、限定されるものではないが、細胞、細胞の集まり、亜細胞成分（例えば、核、細胞質、膜）などを挙げることができる。

一部の実施形態では、ユーザインターフェースは、ユーザが画像解析結果（例えば、セグメンテーション分析の結果）を主画像パネル１００２にオーバーレイすることを可能にする。

主画像パネル１００２に視野を表示すると、ＧＵＩ１０００を更新して、主画像パネル１００２に表示される視野がその部分である生体試料全体を表示する画像ナビゲーションコンポーネント１００８を含めることができる。画像ナビゲーションコンポーネント１００８は、ユーザによって選択された表示方式に従って生体試料を表示する。

画像ナビゲーションコンポーネント１００８は、生体試料の全体表示の中で視野を画定するための視野選択コンポーネント１０１０（例えば、レチクル又は任意のその他の適したコンポーネント）を含み得る。これにより、ユーザは、一般に、視野（主画像パネル１００２に表示される）が全体的な生体試料（画像ナビゲーションコンポーネント１００８に表示される）の中で見出される場所の位置を確認することができる。視野選択コンポーネント１０１０は、ユーザが画像ナビゲーションコンポーネント１００８に表示される生体試料の任意の視野を選択することを可能にするための相互作用コンポーネントでもあり、その結果、主画像パネル１００２は更新されて選択された視野を表示する。同様に、ユーザは、異なる視野を継続的でスムーズな方法でブラウズするために、視野選択コンポーネント１０１０を使用することができる。ユーザは、視野選択コンポーネント１０１０を選択し（例えば、その上をマウスカーソルでクリックすることによる）、視野選択コンポーネント１０１０を新しい異なる視野にドラッグ・アンド・ドロップすることができる。例となる実施形態では、カーソルを解放することによって視野選択コンポーネント１０１０をドロップすると、主画像パネル１００２は自動的に更新されて新しい視野を表示することができる。例となる実施形態では、主画像パネル１００２は、視野選択コンポーネント１０１０がユーザにドラッグされる間にも自動的に更新され得る。一部の実施形態では、この更新は、ユーザがユーザインターフェースと対話している時にリアルタイムで実施されてもよいし、或いは、或いは、ユーザが視野の新しい位置を選択した後にタイムラグの後で実施されてもよい。

一部の実施形態では、画像ナビゲーションコンポーネント１００８は、主画像パネル１００２よりも小さく、生体試料の低解像度表示を提供する。その他の実施形態では、画像ナビゲーションコンポーネント１００８は、主画像パネル１００２と同じサイズであるか又はそれよりも大きくてよい。

図１１に例示される例となる実施形態では、主画像パネル１００２には、ユーザが、ズームの特定のレベル又はズームの相対レベルを入力する（例えば、ズームスライダ及び／又はズームボタンを用いて）ことを可能にするためのズーム入力ツール１０１２が含まれ得る。最新の相対ズームレベルは、画像パネル上のズームインジケータ１０１４に示され得る。場合によって、ズームレベルは、ユーザによるか、又はシステムによって自動的に、デフォルトレベルにリセットされてよい。一部の例となる実施形態では、ユーザインターフェースは、主画像パネル１００２の画像上のポインティングデバイスを直接用いて、例えば、マウスの右ボタンをクリックすることによって、拡大及び縮小を可能にすることができる。一部の例となる実施形態では、ユーザインターフェースは、キーボードショートカットを用いて拡大及び縮小することを可能にすることができる、例えば、拡大するためには「Ｃｔｒｌ」キーと「＋」キーの組合せを使用し、縮小するためには「Ｃｔｒｌ」キーと「−」キーの組合せを使用する。主画像パネル１００２が新しいズームレベルに応じて更新されると、画像ナビゲーションコンポーネント１００８中の視野選択コンポーネント１０１０は、自動的に更新されて、主画像パネル１００２に示される対応する更新された視野を正確に画定する。例となる実施形態では、ユーザインターフェースを実行する演算装置は、新しいズームレベルがタイル化された多重解像度データ構造の中の異なる解像度レベルから画像データを必要とすることを決定することができ、画像データの１以上のタイルを解像度レベルから取り出すことができる。

例となる実施形態では、主画像パネル１００２には、生体試料において新しい視野をパンするためのパン入力ツール１０１６が含まれ得る。パン入力ツール１０１６はユーザに生体試料におけるパンニングの特定のレベル又はパンニングの相対レベルをスライダを用いて入力させることができる。場合によって、パン設定をリセットして主画像パネル１００２に最初に表示した視野を表示することができる。一部の例となる実施形態では、ユーザインターフェースは、主画像パネル１００２の上のポインティングデバイスを直接用いてパンすること、例えば、画像の上でマウスの左ボタンをクリックし、画像を横切ってカーソルをドラッグし、それを解放して新しい視野を表示することを可能にすることができる。一実施形態では、主画像パネル１００２を更新して、カーソルの解放に応じて新しい視野を表示することができる。一実施形態では、主画像パネル１００２はまた、ユーザが画像を横切ってカーソルをドラッグする時にリアルタイムに更新されるか、或いは、ユーザがユーザインターフェースと対話した後にタイムラグの後で実施されてもよい。一部の例となる実施形態では、ユーザインターフェースは、キーボードショートカットを用いてパンニングを可能にすることができる。主画像パネル１００２が更新されて新しい視野を表示する場合、画像ナビゲーションコンポーネント１００８中の視野選択コンポーネント１０１０は、自動的に更新されて、主画像パネル１００２に示される試料中の新しい視野の位置を正確に画定する。

主画像パネル１００２は、主画像パネル１００２に表示される視野内の領域を確定するための、関心対象領域選択コンポーネント１０１８（例えば、レチクル又は任意のその他の適したコンポーネント）を含み得る。例となる実施形態では、関心対象領域選択コンポーネント１０１８は、主画像パネル１００２に表示される視野の部分の上にオーバーレイされてよい。バイオマーカーパネル１００４は、関心対象領域選択コンポーネント１０１８内で画定された視野の部分の１以上のサムネイル画像のセットを含むように構成されてよい。サムネイル画像は、同じ領域の異なる態様又は表示方式、例えば、異なるバイオマーカーの発現、形態学的単位の発現、分析結果、上記表示方式の組合せなどを表すことができる。例えば、各々のサムネイル画像は、視野の領域における異なるバイオマーカー又はバイオマーカーの組合せの発現レベルを表示することができる。バイオマーカー発現レベルは、任意の適した視覚化タイプ、例えば、（例えば、バイナリ・ヒートマップ、離散的ヒートマップ、連続的ヒートマップ、灰色又は色画素のグレースケール値強度、２又はそれ以上のバイオマーカー発現の混色）で表示されてよい。

例となる実施形態では、主画像パネル１００２が１以上のバイオマーカーの発現レベルを表示する場合、バイオマーカーパネル１００４は、主画像パネルに表示されるバイオマーカーに対応するサムネイル画像を指示するものを提供することができる。

一部の例となる実施形態では、特定のバイオマーカーに対応するサムネイル画像を選択するユーザ入力を受け取ることができる。それに応じて、例となる実施形態は、主画像パネル１００２を更新して、生体試料の視野における特定のバイオマーカーの発現レベルを表示することができる。

サムネイル画像は、バイオマーカーパネル１００４において、視野の一領域の異なる態様を簡単で編成された方法で見ることを可能にする。一部の例となる実施形態では、サムネイル画像は、サイズ及びスケールが主画像パネル１００２の表示よりも小さいことがあるので、そのためにビジーインターフェースとならない。その他の実施形態では、サムネイル画像は、サイズ及び／又はスケールが、主画像パネル１００２の表示と同じであるか又はそれよりも大きくてもよい。サムネイル画像の表示は、一部の実施形態では小さいが、視野全体よりも小さい領域に基づいている。従って、サムネイル画像はそれでもなお見やすく解釈しやすいように十分に高い解像度で表示することができる。

バイオマーカーパネル１００４のサイズ及び／又は空間次元は、表示されるサムネイル画像数及び／又はサイズに基づいて自動的に設定及び／又は縮尺を変更することができる。場合によって、表示されるサムネイル画像の数は、今度は、いくつのバイオマーカーを見るかに基づいてよい。一部の実施形態では、ユーザは、バイオマーカーパネル１００４のサイズ及び／又は次元を手動でセット又はリセットすることが可能であり得る。

バイオマーカーパネル１００４におけるサムネイル画像のサイズ及び／又は空間次元は、表示されるサムネイル画像の数及び／又はバイオマーカーパネル１００４のサイズに基づいて自動的に設定及び／又は縮尺を変更することができる。一部の実施形態では、ユーザは、サムネイル画像のサイズ及び／又は次元を手動でセット又はリセットすることが可能であり得る。

図１４に例示されるように、各々のサムネイル画像は、サムネイル画像に表示されるバイオマーカー発現の視覚化タイプのユーザ選択を受け取るための関連ツール１０２０を有することができる。例えば、ユーザは、視覚化タイプをバイナリ・ヒートマップ、離散的ヒートマップ、連続的ヒートマップ、灰色又は色画素のグレースケール値強度、擬似明視野像、などを含む群から選択することができる。

図１４に例示されるように、各々のサムネイル画像は、バイオマーカーパネル１００４からサムネイル画像を除外することに対するユーザ入力を受け取るための関連ツール１０２２（例えば、十字アイコン）を有することができる。サムネイル画像を除外することを求めるユーザ入力を受け取ると、バイオマーカーパネル１００４は自動的に更新されて選択されたサムネイル画像を除外することができる。同様に、バイオマーカーパネル１００４は、ユーザが新しいサムネイル画像をバイオマーカーパネル１００４に追加することを可能にするツールを含み得る。新しいサムネイル画像を追加することを求めるユーザ入力を受け取ると、バイオマーカーパネル１００４は、自動的に更新されて選択されたサムネイル画像を追加する。

バイオマーカーパネルにおける第１のサムネイル画像をスケール又は解像度を変化させるためのユーザ入力は、バイオマーカーパネル１００４で受け取ることができる。ユーザ入力は、例えば、境界をドラッグして第１のサムネイル画像のサイズを変えることにより提供されてよい。ユーザ入力に応じて、例となる実施形態は、バイオマーカーパネルを更新して第１のサムネイル画像のスケール又は解像度を変えることができる。一実施形態では、バイオマーカーパネル１００４はまた、全てのサムネイル画像が均一な解像度を有するように、残りのサムネイル画像のスケール又は解像度を第１のサムネイル画像のスケール又は解像度に設定するためにも更新され得る。

バイオマーカーパネル１００４において第１のサムネイル画像に表示される視野の部分を変化させるためのユーザ入力は、関心対象領域選択コンポーネント１０１８で受け取ることができる。ユーザ入力は、例えば、境界をドラッグして関心対象領域選択コンポーネント１０１８のサイズを変えることにより提供されてよい。ユーザ入力に応じて、例となる実施形態は、バイオマーカーパネル１００４を更新して第１のサムネイル画像に表示される視野の部分を変えることができる。一実施形態では、バイオマーカーパネル１００４はまた、全てのサムネイル画像が視野の同じ領域を表示するように更新され得る。

関心対象領域選択コンポーネント１０１８は、主画像パネル１００２にレンダリングされた視野内の任意の関心対象領域を選択的に表示するためのサムネイル画像の自動更新を可能にする。ユーザは、容易にかつ迅速に、主画像パネル１００２内の関心対象領域、例えば、１以上の関心対象の形態学上の特徴（例えば、細胞、細胞の集まり、亜細胞成分）を含む領域に焦点を合わせることができる。この能力は、サムネイルを簡単なナビゲーション補助からバイオマーカー発現パターンに迅速に問い合わせするために使用することのできるツールへと変えた。この能力を実行するため、関心対象領域選択コンポーネント１０１８は、ユーザが主画像パネル１００２に表示される視野の任意の領域を選択することを可能にする相互作用コンポーネントとして構成され得る。ユーザは、関心対象領域選択コンポーネント１０１８を用いて、視野内の異なる領域を継続的でスムーズな方法でブラウズすることができる。ユーザは、関心対象領域選択コンポーネント１０１８を選択し（例えば、その上をマウスカーソルでクリックすることによる）、その関心対象領域選択コンポーネント１０１８を視野の異なる領域の上にドラッグ・アンド・ドロップすることができる。例となる実施形態では、カーソルを解放することによって関心対象領域選択コンポーネント１０１８をドロップすると、バイオマーカーパネル１００４のサムネイル画像は自動的に更新されて視野内の新しい領域を表示することができる。例となる実施形態では、サムネイル画像は、関心対象領域選択コンポーネント１０１８がユーザによってドラッグされる間にも自動的に更新され得る。一部の実施形態では、この更新は、ユーザがユーザインターフェースと対話する時にリアルタイムで実施されてもよいし、或いは、ユーザがユーザインターフェースと対話した後にタイムラグの後で実施されてもよい。

或いは、視野内の異なる領域をブラウズするために、ユーザは、主画像パネル１００２に表示される画像を選択し（例えば、画像の上をマウスカーソルでクリックすることによる）、その画像を関心対象領域選択コンポーネント１０１８に対してドラッグ・アンド・ドロップすると、画像内の異なる領域が関心対象領域選択コンポーネント１０１８の境界の範囲内にあるようにすることができる。例となる実施形態では、カーソルを解放することによって画像をドロップすると、バイオマーカーパネル１００４のサムネイル画像は自動的に更新されて、関心対象領域選択コンポーネント１０１８によって画定される視野内の新しい領域を表示することができる。例となる実施形態では、画像がユーザによってドラッグされる間にサムネイル画像も自動的に更新することができる。一部の実施形態では、ユーザがユーザインターフェースと対話する時にリアルタイムで実施されてもよいし、或いは、ユーザがユーザインターフェースと対話した後にタイムラグの後で実施されてもよい。

例となる実施形態で、ユーザは関心対象領域選択コンポーネント１０１８を主画像パネル１００２に表示される画像に対して固定された位置にロックすることができ得る。また、ユーザは、関心対象領域選択コンポーネント１０１８のロックを解除して、主画像パネル１００２に表示される画像に対してそれを移動可能又はドラッグ可能にすることができる。

図１２及び１３は、関心対象の形態学上の特徴１２００（例えば、関心対象の細胞）に焦点を合わせるためにバイオマーカーパネル１００４を更新する例となる使用を示す。図１２は、形態学上の特徴１２００が関心対象領域選択コンポーネント１０１８の境界の外側にある主画像パネル１００２を例示する。従って、バイオマーカーパネル１００４は、関心対象の形態学上の特徴１２００が含まれない主画像パネル１００２の視野の領域を例示する。図１３は、関心対象の形態学上の特徴１２００が、（主画像パネル１００２に表示される画像に対する関心対象領域選択コンポーネント１０１８の位置を調節することによるか、及び／又は関心対象領域選択コンポーネント１０１８に対する主画像パネル１００２に表示される画像の位置を調節することによって）関心対象領域選択コンポーネント１０１８の境界内に収められている主画像パネル１００２を例示する。この例では、バイオマーカーパネル１００４のサムネイル画像は、関心対象領域選択コンポーネント１０１８によって現在画定される形態学上の特徴１２００を含む視野の部分を表示するために自動的に更新される。

図１５は、生体試料の画像、又は画像の一部分に対応する視野における１以上のバイオマーカーの発現レベルを表示するための例となるコンピュータ実装方法のフローチャートである。段階１５０２では、グラフィックユーザインターフェースが視覚表示装置にレンダリングされ得る。段階１５０４では、主画像パネル及びバイオマーカーパネルがユーザインターフェースにレンダリングされ得る。

段階１５０６では、生体試料の視野を選択するユーザ入力を受け取ることができる。段階１５０８では、選択された視野の第１の画像が主画像パネルにレンダリングされ得る。

段階１５１０では、関心対象領域選択コンポーネントは、主画像パネルの第１の画像の上にオーバーレイされ得る。関心対象領域選択コンポーネントは、第１の画像内の第１の領域を確定することができる。段階１５１２では、関心対象領域選択コンポーネント内で画定された第１の領域に対応する、サムネイル画像の第１のセットが、バイオマーカーパネルにレンダリングされ得る。例となる実施形態では、サムネイル画像の第１のセットの中の異なるサムネイル画像は、第１の画像の同じ第１の領域を様々な表示方式で表示することができる。例えば、異なるサムネイル画像は、関心対象領域選択コンポーネント内で画定された領域における異なるバイオマーカーの発現レベルを表示することができる。

段階１５１４では、サムネイル画像を更新するための第１の画像内の異なる領域を選択するユーザ入力を受け取ることができる。例となる実施形態では、受け取るユーザ入力には、関心対象領域選択コンポーネントを選択し（例えば、マウスカーソルを用いてその境界の上をクリックすることによる）、関心対象領域選択コンポーネントを第１の画像上の異なる位置にドラッグし（例えば、カーソルをドラッグすることによる）、関心対象領域選択コンポーネントを第１の画像上の新しい位置で解放する（例えば、カーソルを解放することによって）ユーザ入力（ｕｓｅｒ）が含まれることがある。或いは、受け取るユーザ入力には、主画像パネル上の第１の画像を選択し（例えば、マウスカーソルを用いて第１の画像の上をクリックすることによる）、第１の画像を関心対象領域選択コンポーネントに対してドラッグし（例えば、カーソルをドラッグすることによる）、第１の画像を解放して、第１の画像の新しい領域を関心対象領域選択コンポーネントの下に配置する（例えば、カーソルを解放することによって）ユーザ入力（ｕｓｅｒ）が含まれることがある。

例となる実施形態は、関心対象領域選択コンポーネント内で画定された視野の新しい領域におけるバイオマーカー発現に選択的に対応する１以上のデータセットを決定することができる。例となる実施形態は、バイオマーカー発現データを格納するサーバに、視野の新しい領域に対して決定された選択的なデータセットを要求することができる。例となる実施形態は、要求に基づいて、要求されたデータセットをストリーミング方式でサーバから受け取ることができる。例となる実施形態では、データセットは、ユーザがユーザインターフェースと対話する時にリアルタイムで受け取ってもよいし、或いは、ユーザがユーザインターフェースと対話した後にタイムラグの後で実施されてもよい。

例となる実施形態では、ユーザインターフェースを提供する演算装置は、生体試料に関するバイオマーカーデータをタイル化された多重解像度データ構造で格納する遠隔サーバから画像データにアクセスすることができる。この例では、ユーザインターフェースを実行する演算装置は、その目的のために選択的に必要とされるデータのタイルを決定することができ、サーバから選択的なタイルを要求することができる。つまり、生体試料全体に関する画像データは、一部の実施形態では、要求されないか、又はユーザインターフェースにプリロードされない場合がある；しかし、むしろ、一定時間内に必要とされる画像データのそれらのセット、例えばサムネイル画像だけが、サーバから要求される可能性がある。一例として、ＧＵＩ２００に表示される画像のズームレベルが調節される場合、演算装置は、適切なピラミッドレベルからタイル画像を要求するようにプログラムされることができる。別の例として、ＧＵＩ２００に表示される画像のパン操作を実施する場合、演算装置は、メインパネル及び／又は１以上のサブパネルの中に表示される予定の画像の新しい部分のタイル画像を要求するようにプログラムされることができる。このアプローチを使用することは、要求を処理する際のサーバオーバーヘッドを最小化し、そのユーザインターフェースのために演算装置に移さなければならない画像データの量を減少させ、それによりユーザとの対話及び要求に対応する際にユーザインターフェースを迅速かつ効率的にする。データの要求に応じて、サーバは、データの要求したタイルにアクセスし、場合によって、データの分析又は妥当性確認を実施することができる。その後、サーバは、データのタイルをストリーミング方式で演算装置に転送することができる。

各々の画像サムネイル画像について、ユーザインターフェースを提供する演算装置は、ユーザインターフェースに表示される生体試料の識別及び１以上のバイオマーカー及び／又は形態学上の特徴の識別を決定することができる。識別に基づいて、演算装置は、アクセスする適切なデータ構造を決定することができる。例えば、第１のサムネイル画像が生体試料を第１のバイオマーカーの発現レベルを含む特定のスライドスポットから表示する場合、演算装置は、第１のバイオマーカーと特定のスライドスポットの両方に特異的な第１のデータ構造を識別することが可能であり得る。同様に、第２のサムネイル画像が生体試料を第２のバイオマーカーの発現レベルを含むスライドスポットから表示する場合、演算装置は、第２のバイオマーカーとスライドスポットの両方に特異的な第２のデータ構造を識別することが可能であり得る。

各々のサムネイル画像について、演算装置は、次に、タイル化された多重解像度データ構造の中のどの解像度の層に画像データを求めてアクセスするべきかを決定することができる。この目的のため、演算装置は、サムネイル画像が視野の領域を表示するか又は視野の領域を表示するよう要求される解像度を決定することができる（例えば、サムネイル画像のズームレベル及び／又はサムネイル画像及びバイオマーカーパネルのサイズを再調査することによる）。この決定に基づいて、演算装置は、適切な解像度の層にある、データ構造中の画像にアクセスすることができる。例えば、サムネイル画像が領域の拡大されたバージョンを表示する場合、演算装置は、データ構造の最も高解像度の層の画像がアクセスされなければならないと決定することができる。

各々のサムネイル画像について、演算装置は次に、選択されたデータ構造の画像データのどのタイルがアクセスされなければならないかを決定することができる。この目的のため、演算装置は、主画像パネルに表示される生物組織の視野、及びサムネイル画像に表示される予定の視野の領域を分析することができる。分析に基づいて、演算装置は、アクセスする画像データの部分又はタイルを決定することができる。それによって、画像データの関連するタイルは、サムネイル画像を表示するために必要な画素データに対応する。

段階１５１６では、ユーザ入力及び受け取ったバイオマーカーデータに応じて、バイオマーカーパネルを更新して、サムネイル画像の第１のセットを、関心対象領域選択コンポーネント内で画定された第１の画像の新しい領域を表示するサムネイル画像の第２のセットに置き換えることができる。

例となる実施形態では、主画像パネル上の第１の画像を更新して、段階１５１４で選択され新しい領域を、例えば、第１の画像内の新しい領域を画定するための関心対象領域選択コンポーネントをレンダリングすることによって示す又は画定することができる。

図１５の例となる方法には、例となるフローチャートに例示されるよりも多いか又は少ない段階が含まれてよく、例となるフローチャート中の段階が、示されるものと異なる順序で実施されてよいことを当業者は理解するであろう。

例となる分割画面表示及び生体試料のためのバイオマーカー表示
一部の実施形態では、図２〜７に例示されるインターフェース（生体試料の視野の分割画面表示を見ることを可能にするため）と図１０〜１４に例示されるインターフェース（生体試料の視野の領域における異なるバイオマーカーの発現レベルを見ることを可能にするため）の特徴を合わせるためにグラフィックユーザインターフェースが提供される。図１６は、両方の能力を実行する例となるグラフィックユーザインターフェース１６００である。グラフィックユーザインターフェース１６００には、例えば、生体試料の画像、又は画像の一部分を表示するための画像ナビゲーションコンポーネント１６０２、生体試料の画像の中の視野を表示するための主画像パネル１６０４、及び、主画像パネル１６０４に表示される視野内の領域の範囲内の１以上のバイオマーカーの発現レベルを表示するためのバイオマーカーパネル１６０６が含まれる。主画像パネル１６０４は、境界線によって視野の２つの隣接する部分を表示するための２つの例となる画像サブパネル１６０８、１６１０に分割されるか、又はそれらを備えている。図１６に例示される例となる特徴及びそれらの操作は、図２〜１５に関連してさらに詳細に記載される。

データアクセスのための例となるネットワークアーキテクチャ
図１７は、実施形態の実施に適した例となるネットワーク環境１７００を描写する。ネットワーク環境１７００には、コミュニケーションネットワーク１７１０によって１以上のクライアント１７０６及び１７０８に連結された１以上のサーバ１７０２及び１７０４が含まれ得る。特に、１以上のサーバ１７０２及び１７０４及び１以上のクライアント１７０６及び１７０８の各々は、図２３に関して記載されるような演算装置２３００としてインプリメントすることができる。従って、１以上のサーバ１７０２及び１７０４及び１以上のクライアント１７０６及び１７０８の各々には、サーバ１７０２及び１７０４がコミュニケーションネットワーク１７１０によってクライアント１７０６及び１７０８と通信することを可能にするためのネットワークインターフェース２３１２及びネットワーク装置２３２２が含まれ得る。コミュニケーションネットワーク１７１０としては、限定されるものではないが、インターネット、イントラネット、ＬＡＮ（ローカル・エリア・ネットワーク）、ＷＡＮ（ワイド・エリア・ネットワーク）、ＭＡＮ（メトロポリタン・エリア・ネットワーク）、ワイヤレスネットワーク、光ネットワークなどを挙げることができる。コミュニケーションネットワーク１７１０によって提供される通信機能は、本明細書において開示されるように協同的な分析及び研究努力を支持することができる。

例となる実施形態では、サーバ１７０２、１７０４の１又はそれ以上は、クラウド環境及び本明細書に記載される方法に関連するデータを格納する能力を、例えば、図１Ａ〜１Ｃに関連して記載されるデータ格納システムに従って有利に提供することができる。特定の例となるサーバは、画像データを異なる解像度層の別々のデータタイルとして格納するタイリングサーバであり得る。サーバ１７０２、１７０４は、画像データを必要に応じてストリーミング方式で、要求を行ったクライアントに転送することができる。一部の例となる実施形態では、サーバ１７０２、１７０４の１又はそれ以上はまた、本明細書に記載される方法に関連するデータを分析するための環境及び能力も提供する。

クライアント１７０６、１７０８の１又はそれ以上は、クライアント演算装置のユーザが使用するための本明細書に記載されるグラフィックユーザインターフェースの１又はそれ以上を提供するか又は実装することができる。クライアント１７０６、１７０８は、１以上のサーバ１７０２、１７０４に遠隔アクセスして、グラフィックユーザインターフェースのレンダリング及び／又は更新に必要なデータの部分（例えば、１以上のデータタイル）を要求することができる。それに応じて、サーバは、要求されたそれらのデータ部分だけを取り出すことができ、データを要求を行ったクライアントにストリーミング方式で転送することができる。一部の実施形態では、データは、クライアントによって要求され、ユーザがクライアントにレンダリングされたグラフィックユーザインターフェースと対話している時にサーバによってリアルタイムでクライアントに転送されてよく、或いは、ユーザがユーザインターフェースと対話した後にタイムラグの後で実施されてもよい。

例となる実施形態では、クライアントからサーバへの要求の転送及び／又はサーバからクライアントへのデータの転送は、特定の条件、例えばライセンス契約などの対象とすることができる。

例となる実施形態では、タイリングサーバとして実装されるサーバは、ＧＵＩ１００、１０００、及び／又は１６００の実施形態を実行するようプログラムされた１以上のクライアントから受け取った要求に応じて、個々のタイルを取り出し、処理し、提供するよう動作することができる。クライアントとタイリングサーバとの間の通信は、通信プロトコル、例えば、ハイパーテキスト転送プロトコル（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）によって容易にすることができる。タイリングサーバは、クライアントがハンドラインターフェース、例えば標準的なウェブベースのＨＴＴＰインターフェースを用いることによって利用でき得る。ハンドラインターフェースは、例えば、タイリングサーバの機能をカプセル化する、暗号化されたＪａｖａＳｃｒｉｐｔ（登録商標）Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ（ＪＳＯＮ）に基づく画像データクエリを利用する柔軟なデータ要求構造を提供することができる。

図１８は、タイリングサーバに送信され得るタイル画像要求に基づく、ＧＵＩ１００、１０００、及び／又は１６００の実施形態を実行するようプログラムされたクライアント演算装置と、タイリングサーバとの相互作用を例示する例となるフローチャートを示す。タイルを要求するには、クライアントは、段階１８００で画像メトリック要求を送信するようプログラムされることができる。画像メトリック要求は、クライアントが〜タイルを求めてタイリングサーバをクエリするために使用することのできる情報を得るために使用することができる。例えば、処理要求は、画像メトリック、例えば画像高さ、画像幅、タイル高さ、タイル幅、画像ディレクトリの数、最小ピラミッドレベル（例えば、最小解像度レベル）、及び最大ピラミッドレベル（例えば、最大解像度レベル）などを要求することができ、それはタイリングサーバによってクライアントに戻されることができる。タイリングサーバは、段階１８０２で、要求した画像メトリックをクライアントに戻すことができる。

クライアントが要求した画像メトリックを受け取ると、クライアントは、段階１８０４の画像メトリックを用いて、具体的なタイル画像を要求することができる。例となる実施形態では、タイルは、クライアントによって順次要求され得る。クライアントによって作成されるタイルに対する要求には、どのタイル画像が望まれているのかを指定する情報が含まれる。タイルに対する要求に応じて、タイリングサーバは要求を処理し、段階１８０６でタイル画像を識別する。段階１８０８において、タイリングサーバは、クライアントに要求されたタイル画像をストリームし、段階１８１０において、タイリングサーバはクライアントからの次のタイル要求を待つ。クライアントが別のタイル画像を要求した場合、処理を段階１８０４から繰り返す。そうでなければ、処理は段階１８１２で終了する。例となる実施形態では、タイリングサーバは、ケースマネージャ及び／又はファイルシステムへの冗長で時間のかかる呼び出しを減らすためにキャッシングを使用することができ、従ってクライアント要求に対するその応答性をスピードアップすることができる。

クライアントがタイルを要求した場合、その要求には、要求される特定のタイルを識別するための情報が含まれ得る。一実施形態では、タイルは、各タイルに対する別個のＨＴＴＰ要求に基づいてタイリングサーバから取り出すことができる。例となる実施形態では、クライアントによって開始される要求には、スライド画像のサムネイルに対する要求、１以上のチャネルで構成されるタイルに対する要求、画像サイズ、タイルサイズ、及び利用可能なピラミッドレベルを含む画像メトリックに対する要求が含まれ得、かつ／又は情報に対する任意のその他の適した要求が含まれ得る。

例となる実施形態では、クライアントによって開始される要求は、パラメータ（例えば、画像メトリック）、例えば情報パラメータ、インデックスパラメータ、レベルパラメータ、画像高さパラメータ、画像幅パラメータ、タイル高さパラメータ、タイル幅パラメータ、及び／又は取り出される特定のタイルを指定するのに適した任意のその他の情報などを含むＵＲＬクエリを作成するユニバーサルリソースロケーター（ＵＲＬ）プロトコルを利用することができる。本明細書に記載されるように、クライアントは、パラメータに対する画像メトリック要求を送信するようにプログラムされることができ、サーバはパラメータ及びそれらの関連する値を与えることによって要求に応答することができる。インフォパラメータは、ＵＲＬクエリによって要求されている情報の種類（例えば、画像メトリック又はタイル画像）を示すブール値であり得る。例えば、インフォパラメータが「真」に設定される場合、ＵＲＬクエリは画像メトリックを要求するように構成され、インフォパラメータが「偽」に設定されているか指定されていない場合、ＵＲＬクエリはタイル画像を要求するように構成される。インデックスパラメータには、要求したタイルのｘ軸及びｙ軸のタイル位置を示す整数値が含まれ得る。レベルパラメータには、戻されるべき画像ピラミッドからのレベルを示す整数値（例えば、スケール及び／又は解像度）が含まれ得る。例となる実施形態では、レベルパラメータには、画像ピラミッドから最も低いレベルを示す最小レベルパラメータ及び画像ピラミッドから最も高いレベルを示す最大レベルパラメータが含まれ得る。画像高さパラメータは画像全体の高さに対応し、画像幅パラメータは画像全体の幅に対応する。タイル高さパラメータは、画像全体のタイルの高さに対応し、タイル幅パラメータは、画像全体のタイルの幅に対応する。

図１９は、クライアントが作成することのできる画像メトリック要求１９００の一例を示し、ここで、インフォパラメータ１９０２は「真」に設定されている。図２０は、タイリングサーバによって提供される画像メトリック要求に対する、ＸＭＬに基づく応答２０の一例を示し、それには、例えば、画像高さパラメータ２００２、画像幅パラメータ２００４、タイル高さパラメータ２００６、タイル幅パラメータ２００８、及び最小ピラミッドレベルパラメータ２０１０、及び最大ピラミッドレベルパラメータ２０１２の値が含まれる。図２１は、クライアントが作成することのできるタイル画像要求２１００の一例を示す。タイル画像要求２１００には、要求２１００において特定のタイル画像を指定するための画像メトリック２１０４の値２１０２が含まれ得る。

図２２は、タイリングサーバに送信され得るサムネイル画像要求に基づく、ＧＵＩ１００、１０００、及び／又は１６００の実施形態を実行するようにプログラムされたクライアントとタイリングサーバとの対話を例示するフローチャートである。ＧＵＩ１００、１０００、及び／又は１６００の実施形態を実行するクライアントによってサムネイルを表示することのできる実施形態に関して、クライアントは、画像メトリック要求を送信することができ、図１８〜２０に関して上に記載されるようにタイリングサーバから画像メトリックを受け取ることができる。要求された画像メトリックをクライアントが受け取ると、クライアントは、段階２２００の画像メトリックを用いて特定のサムネイル画像を要求することができる。クライアントが作成したサムネイルに対する要求には、画像全体のどの部分がサムネイルに含まれるべきであるかを指定する情報が含まれ得る。サムネイルに対する要求に応じて、タイリングサーバは要求を処理し、段階２２０２でサムネイル画像に含められるべき画像全体の部分に対応するタイルを特定する。タイリングサーバが特定したタイルは、要求で指定されたサムネイル画像のズームレベルに最もよく一致する最大のピラミッドレベルから取り出され得る。段階２２０４において、タイリングサーバは、サムネイル用に取り出したタイルを合わせて単一の画像にすることができ、段階２２０６において、タイリングサーバは画像を望ましいサイズに縮小する。段階２２０８において、要求したサムネイル画像の寸法に合わせるために画像の縁をトリミングし、段階２２１０において、サムネイル画像として１以上のＧＵＩ１００、１０００、及び／又は１６００での表示のために画像をクライアントに送信する。

例となる演算装置
本明細書において開示されるシステム及び方法には、１以上のコンピュータで読み取り可能な媒体、ＲＡＭ、ＲＯＭ、ハードドライブ、及び／又はハードウェアに保有される実行可能な命令と関連付けられた１以上のプログラム可能な処理単位が含まれてよい。例となる実施形態では、ハードウェア、ファームウェア及び／又は実行可能なコードが、例えば、既存のインフラストラクチャー（例えば、既存の装置／処理単位）と併せて使用するための１以上のアップグレードモジュールとして、提供されてよい。ハードウェアには、例えば、演算プロセスとして本明細書において教示される実施形態を実行するために、コンポーネント及び／又は論理回路が含まれてよい。

用語「コンピュータで読み取り可能な媒体」とは、本明細書において、コントローラ、マイクロコントローラ、計算システム又は計算システムのモジュールによってアクセスされて、その上にコンピュータで実行可能な命令又はソフトウェアプログラムをエンコードすることのできる、一時的でないストレージハードウェア、一時的でない記憶装置又は一時的でないコンピュータシステムメモリをさす。「コンピュータで読み取り可能な媒体」は、計算システム又は計算システムのモジュールによってアクセスされて、その媒体にエンコードされるコンピュータで実行可能な命令又はソフトウェアプログラムを取り出す、かつ／又は実行することができる。一時的でないコンピュータで読み取り可能な媒体としては、限定されるものではないが、１以上の種類のハードウェアメモリ、一時的でない有形メディア（例えば、１以上の磁気記憶ディスク、１以上の光ディスク、１以上のＵＳＢフラッシュドライブ）、コンピュータシステムメモリ又はランダムアクセスメモリ（例えば、ＤＲＡＭ、ＳＲＡＭ、ＥＤＯ ＲＡＭ）などを挙げることができる。

例えば、本開示に従ってグラフィックユーザインターフェースをレンダリングするための、表示及び／又はその他のフィードバック手段も含まれてよい。表示及び／又はその他のフィードバック手段は、スタンドアローン型の装置であってもよいし、又は１以上の処理単位の１以上のコンポーネント／モジュールとして含められていてもよい。例となる実施形態では、表示及び／又はその他のフィードバック手段は、生物組織試料の画像、又は画像の一部分に対応する視野の形態学上の表現と統計学上の表現の両方を同時に説明するために使用されてもよい。

本発明の一部の実施形態を実行するために用いることのできる実際のソフトウェアをコード又は制御するハードウェアは、そのような実施形態の範囲に制限されることを意図するものではない。例えば、本明細書に記載される実施形態の特定の態様は、任意の適したプログラミング言語の種類、例えば、アセンブリコード、Ｃ、Ｃ＃又はＣ＋＋などを用い、例えば、従来の又はオブジェクト指向のプログラミング技法を用いてコードで（ｉｎ ｃｏｄｅ）実行されてよい。そのようなコードは、適した一時的でない、コンピュータで読み取り可能な１以上の媒体、例えば、磁気又は光記憶媒体などのあらゆる種類に格納されるか又は保持される。

本明細書において用いられる、「プロセッサ」、「処理装置」、「コンピュータ」又は「コンピュータシステム」は、例えば、マイクロコンピュータ、ミニコンピュータ、サーバ、メインフレーム、ラップトップ、パーソナルデータアシスタント（ＰＤＡ）、ワイヤレス電子メール装置（例えば、「ＢｌａｃｋＢｅｒｒｙ」、「Ａｎｄｒｏｉｄ」又は「Ａｐｐｌｅ」、取引を指定された装置）、携帯電話、ページャー、プロセッサ、ＦＡＸ装置、スキャナ、或いは、ネットワークによってデータを送信及び受信するように構成された、任意のその他のプログラム可能な装置のワイヤレス又はワイヤラインの種類であり得る。本明細書において開示されるコンピュータシステムには、データを得、処理し、通信する際に用いられる、特定のソフトウェアアプリケーションを格納するためのメモリが含まれてよい。そのようなメモリは開示される実施形態の内側であっても外側であってもよい。また、メモリには、ソフトウェアを格納するための一時的でない記憶媒体が含まれてもよく、それには、ハードディスク、光ディスク、フロッピー（登録商標）ディスク、ＲＯＭ（読み出し専用メモリ）、ＲＡＭ（ランダムアクセスメモリ）、ＰＲＯＭ（プログラム可能なＲＯＭ）、ＥＥＰＲＯＭ（電気的に消去可能なＰＲＯＭ）、フラッシュメモリ記憶装置、又は同類のものが挙げられる。

図２３は、本明細書において開示されるシステム及び方法を実行するために使用され得る、例となる演算装置２３００を表すブロック図を描写する。演算装置２３００は、あらゆるコンピュータシステムであってもよく、例えばワークステーション、デスクトップコンピュータ、サーバ、ラップトップ、ハンドヘルドコンピュータ、タブレットコンピュータ（例えば、ｉＰａｄ（商標）タブレットコンピュータ）、モバイルコンピューティングもしくは通信装置（例えば、ｉＰｈｏｎｅ（商標）モバイル通信装置、Ａｎｄｒｏｉｄ（商標）モバイル通信装置、など）、又は、通信ができ、本明細書に記載される動作を行うのに十分なプロセッサ・パワーとメモリ容量を有する、その他の形態のコンピューティングもしくは遠距離通信装置であってよい。例となる実施形態では、分散型コンピュータシステムには、複数のそのような演算装置が含まれることがある。

演算装置２３００には、本明細書に記載される例となる方法を実行するための１以上のコンピュータで実行可能な命令又はソフトウェアがそれにエンコードされている、１以上の一時的でない、コンピュータで読み取り可能な媒体が含まれる。一時的でない、コンピュータで読み取り可能な媒体としては、限定されるものではないが、１以上の種類のハードウェアメモリ及びその他の有形メディア（例えば、１以上の磁気記憶ディスク、１以上の光ディスク、１以上のＵＳＢフラッシュドライブ）、などを挙げることができる。例えば、演算装置２３００に含められるメモリ２３０６は、本明細書に記載されるグラフィックユーザインターフェースを実行するためのコンピュータで読み取り可能な及びコンピュータで実行可能な命令又はソフトウェアを格納することができる。また、演算装置２３００には、プロセッサ２３０２及び関連するコア２３０４も含まれる、さらに一部の実施形態では、メモリ２３０２に格納されたコンピュータで読み取り可能な及びコンピュータで実行可能な命令又はソフトウェア及びシステムハードウェアを制御するためのその他のプログラムを実行するための、１以上のさらなるプロセッサ２３０２’及び関連するコア２３０４’も含まれる（例えば、マルチプロセッサ／コアを有するコンピュータシステムの場合）。プロセッサ２３０２及びプロセッサ２３０２’は、各々、シングルコアプロセッサ又はマルチコア（２３０４及び２３０４’）プロセッサであり得る。

演算装置２３００で仮想化を用いて、演算装置のインフラストラクチャー及びリソースを動的に共有することができる。プロセスが複数の演算リソースよりもむしろただ一つの演算リソースを使用しているように見えるように、マルチプロセッサで実行するプロセスを処理するための仮想マシン２３１４が提供され得る。複数の仮想マシンも、１つのプロセッサで使用されることができる。

メモリ２３０６としては、コンピュータシステムメモリ又はランダムアクセスメモリ、例えばＤＲＡＭ、ＳＲＡＭ、ＥＤＯ ＲＡＭ、などを挙げることができる。メモリ２３０６には、その他の種類のメモリ、又はその組合せも含まれ得る。

ユーザは、視覚表示装置２３１８、例えば画面又はモニタなどを通じて演算装置２３００と対話することができ、その視覚表示装置は本明細書に記載される例となる実施形態に従って提供される１以上のグラフィックユーザインターフェース２３２０を表示することができる。また、視覚表示装置２３１８は、その他の態様、要素及び／又は例となる実施形態に関連する情報もしくはデータも表示することができる。

演算装置２３００には、ユーザからの入力を受け取るためのその他のＩ／Ｏ装置、例えば、キーボード又は任意の適したマルチポイント・タッチ・インターフェース２３０８、ポインティングデバイス２３１０（例えば、マウス、ディスプレイ装置と直接的に対話するユーザの指）が含まれてよい。本明細書において用いられる、「ポインティングデバイス」は、任意の適した入力インターフェース、具体的には、ユーザが空間的なデータを演算システムもしくは装置に入力することを可能にする、ヒトインターフェース装置である。例となる実施形態では、ポインティングデバイスは、ユーザが物理的な身振り、例えば、ポインティング、クリック、ドラッグ、ドロップ、などを用いてコンピュータに入力を行うことを可能にすることができる。例となるポインティングデバイスとしては、限定されるものではないが、マウス、タッチパッド、ディスプレイ装置と直接的に対話するユーザの指、などを挙げることができる。

キーボード２３０８及びポインティングデバイス２３１０は、視覚表示装置２３１８に連結されていてよい。演算装置２３００には、その他の適した従来のＩ／Ｏ周辺装置が含まれてよい。Ｉ／Ｏ装置は、１以上のグラフィックユーザインターフェース２３２０の実施、例えば、本明細書に記載される１以上のグラフィックユーザインターフェースの実施を容易にすることができる。

演算装置２３００には、データ、並びに、本明細書において教示される例となる実施形態を実行する、コンピュータで読み取り可能な命令及び／又はソフトウェアを格納するための１以上の記憶装置２３２４、例えば耐久性のあるディスク記憶装置（これには任意の適した光学もしくは磁気耐久性のある記憶装置、例えば、ＲＡＭ、ＲＯＭ、フラッシュ、ＵＳＢドライブ、又はその他の半導体に基づく記憶媒体が含まれ得る）、ハードドライブ、ＣＤ−ＲＯＭ、又はその他のコンピュータで読み取り可能な媒体などが含まれ得る。例となる実施形態では、１以上の記憶装置２３２４は、本開示のシステム及び方法によって生成され得るデータの格納を提供することができる。例えば、記憶装置２３２４は、生体試料（例えば、タイル化された多重解像度データ構造の形態）、本明細書に記載されるバイオマーカーパネル及び関連するサムネイル画像を実行するようにプログラム又は構成されたバイオマーカーパネル表示モジュール２３２８、並びに本明細書に記載される分割画面表示を実行するようにプログラム又は構成されている分割画面表示モジュール２３３０に対応する画像データ２３２６の格納を提供することできる。１以上の記憶装置２３２４は、本明細書に記載される１以上の方法に関するコンピュータで読み取り可能な命令の格納をさらに提供することができる。１以上の記憶装置２３２４は、演算装置２３００に属して提供されてよく、かつ／又は演算装置２３００とは別々に又は離れて提供されてよい。

演算装置２３００には、１以上のネットワーク装置２３２２によって１以上のネットワーク、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）と、或いは、限定されるものではないが、標準的な電話線、ＬＡＮもしくＷＡＮリンク（例えば、８０２．１１、Ｔ１、Ｔ３、５６ｋｂ、Ｘ．２５）、ブロードバンド接続（例えば、ＩＳＤＮ、フレームリレー、ＡＴＭ）、ワイヤレス接続、コントローラ・エリア・ネットワーク（ＣＡＮ）、又は上記のいずれか又は全ての何らかの組合せを含む、多様な接続によるインターネットとインターフェースで接続するように構成されたネットワークインターフェース２３１２が含まれ得る。ネットワークインターフェース２３１２には、ビルトインネットワークアダプタ、ネットワークインターフェースカード、ＰＣＭＣＩＡネットワークカード、カードバスネットワークアダプタ、ワイヤレスネットワークアダプタ、ＵＳＢネットワークアダプタ、モデム又は演算装置２３００を通信の可能な任意の種類のネットワークとインターフェース連結し、本明細書に記載される動作を実施するのに適した任意のその他の装置が含まれ得る。ネットワーク装置２３２２には、限定されるものではないが、１以上の受信機、１以上の送信機、１以上のトランシーバー、１以上のアンテナ、などをはじめとする、ネットワーク上で通信を受信及び送信するのに適した１以上の装置が含まれ得る。

演算装置２３００は、任意のオペレーティングシステム２３１６、例えばＭｉｃｒｏｓｏｆｔ（登録商標）Ｗｉｎｄｏｗｓ（登録商標）オペレーティングシステムのバージョンのいずれか、異なるリリースのＵｎｉｘ（登録商標）及びＬｉｎｕｘ（登録商標）オペレーティングシステム、Ｍａｃｉｎｔｏｓｈコンピュータ向けＭａｃＯＳ（登録商標）の任意のバージョン、任意の組み込まれたオペレーティングシステム、任意のリアルタイムオペレーティングシステム、任意のオープンソースオペレーティングシステム、任意の著作権のあるオペレーティングシステム、モバイルコンピューティングデバイス向けの任意のオペレーティングシステム、又は演算装置で実行すること及び本明細書に記載される動作を実施することが可能な任意のその他のオペレーティングシステムで実行することができる。例となる実施形態では、オペレーティングシステム２３１６は、ネイティブモード又はエミュレーテッドモードで実行することができる。例となる実施形態では、オペレーティングシステム２３１６は、１以上のクラウド・マシン・インスタンスで実行することができる。

例となる演算システム２３００には、図２３に示されるよりも多いか又は少ないモジュールが含まれ得ることを当業者は理解するであろう。

ここで図２４〜３９を参照すると、本発明は、本発明の分割画面機能とデジタルプリズム機能の両方、並びに選択された画像を電子記録にアップロードするためのスナップショット捕捉機能を提供するＧＵＩ２５００を提供し、その電子記録は保存され、所定の例でユーザ病理学者の知見に対する支持を詳しく述べるレポートに提供されるか又は書式化され得る。例えば、スナップショット捕捉機能、又は「スナップショット機能」又は簡単に「スナップショット」は、全てのサムネイル画像又は分割画面画像を記録に保存することを可能にすることができ、その記録はその後、ローカルメディアに、又はハードワイヤードネットワーク内のサーバに、又はクラウドサーバにさえ保管される。その後、記録は、望ましくは他の患者情報とともに、ローカル及び／又は遠隔のレビュアーが利用でき得る。用語「スナップショット」とは、スナップショット捕捉機能によって記録された画像をさす。本発明は、本発明のスナップショット機能が、本発明の分割画面機能とデジタルプリズム機能のいずれか又は両方を提供するＧＵＩとともに用いられ得ることを企図する。

本発明のスナップショット捕捉機能（及びこの機能によって撮られた画像のスナップショット）は、多数の利益をユーザにもたらす。例えば、スナップショットは必要に応じて修正及び大きさを変更することができる。捕捉した領域は、望ましくは、スナップショットが削除されるまでスライドの画像とともにとどまる、はっきりした線色で、目に見えるボックス内に表示されてよい。望ましくは、スナップショットは、特定のスライド及び特定の捕捉領域とそれらを結び付けることのできる情報の名前がデフォルトで付けられる、この名前は望ましくは必要に応じて編集されてよい。本発明は、スナップショットをリストモード又はギャラリーモードで見直すことができることを企図する。望ましくは、ギャラリーモードでは、スナップショットプレビューのサイズを拡大又は縮小して、ユーザの必要性又は好みに合わせることができる。本発明は、「更新通知データ」ボタンをビューアインターフェースに備えているので、「更新通知データ」ボタンをクリックすることによってスナップショットを症例報告にアップロードすることができる。症例報告には、本発明は、病理学者に、見直した画像の全て又は一部を含めるか又は何も含めないという選択肢を提供する。本発明は、保存した画像を、それらを得た領域でソートすることをさらに企図する。本発明は、プレゼンテーション又はさらなる研究で使用するために思い出せるように、スナップショットをローカルディスク又はその他の遠隔記憶媒体に保存することを可能にする。フル解像度画像も保存することができる。本発明は、さらに提供する。スナップショットは、ユーザによって自由形式のテキストで注釈がつけられてよい。本発明は、各々の保存したスナップショットがその後付随する注釈とともに診断レポート又は研究レポートに含めるために使用可能であるように、スナップショットがレポートビルダーツールへの入力を提供するサーバに保存され得ることを企図する。

本発明のデジタルプリズムスナップショットは、単一のバイオマーカーの混合で提示される、選択された領域の画像の捕捉をさらに提供し、同じ位置の残りのバイオマーカーのそれぞれの画像も捕捉することができる。その上、デジタルプリズムスナップショットは、ユーザが、患者試料の画像上のある位置の第１のバイオマーカーを見て、そのバイオマーカーの発現の画像と、第１のバイオマーカーを用いて選択された同じ位置又は領域で発現したその他のバイオマーカーの画像の両方を捕捉することを可能にする。

図２４は、多重化プラットフォームで得たどんなデータもユーザが直感的にブラウズすることを可能にするＧＵＩ２５００を提供する本発明の実施形態を描写する。それは、例えば、ホジキンリンパ腫実験室開発試験（ＬＤＴ）の結果を評価するために病理学者に使用されてよい。

ＧＵＩ２５００は本発明のＧＵＩ１０００の変更形であると見られ、ＧＵＩ１０００に対する例として記載されるものを含む、同様の能力及び機能性を提供するために同様の特徴が企図される。ＧＵＩ２５００には、生体試料の視野を表示するための主画像パネル２５０２、及び、捕捉領域に関する情報を表示するための捕捉領域タブ２５０７か又はレポートで用いるために捕捉したスナップショットに関する情報を表示するためのレポートスナップショットタブ２５０９のいずれかをユーザが選択することのできる領域管理パネル２５０４が含まれる。図２４に示されるように、ユーザが捕捉領域タブ２５０７を選択する場合、パネル２５０４は、主画像パネル２５０２の試料画像から選択される捕捉領域の各々に対する、選択可能なタブ２５０３のリストを表示する。図２７に示されるように、ユーザが特定のタブ２５０３を選択する場合、パネル２５０４は、その選択されたタブ２５０３の下に、各々が捕捉領域の生体試料の視野の一領域に関連するバイオマーカー発現を表す、いくつかのサムネイル画像２５０５を表示する。主画像パネル２５０２に表される視野は、一般に生体試料の画像全体の一部分に相当するが、望ましくはパネル２５０４で選択された捕捉領域に関する領域を示す。

特に図２４を参照すると、ＧＵＩ２５００には、スライド上の各々の領域をフォルダ２５０６ａとして、及びその領域内の各々の画像をフォルダ要素としてリストする、ユーザが主画像パネル２５０２に表示するために使用できる１以上の表示方式を示すために使用されてよい、表示方式選択コンポーネント２５０６が含まれる。例えば、表示方式２５０６ａ−１、２５０６ａ−２、及び２５０６ａ−３は、それぞれ、ＣＤ３０ ｍＤＡＢ、ｍＨＥ、ＣＤ３０ Ｌｏｗ Ｍａｇ（単色）であり得、それらは各々、全組織領域に対するフォルダ２５０６ａの下にフォルダ要素として備えられている。主画像パネル２５０２に視野を表示すると、ＧＵＩ２５００は、全体的な生体試料を表示する画像ナビゲーションコンポーネント２５０８が含まれるように更新されてよく、主画像パネル２５０２に表示される視野はその生体試料の一部である。画像ナビゲーションコンポーネント２５０８は、ユーザによって選択された表示方式に従って生体試料を表示する。

画像ナビゲーションコンポーネント２５０８には、望ましくは、生体試料の全体表示の中で視野を画定するための視野選択コンポーネント２５１０（例えば、レチクル又は任意のその他の適したコンポーネント）が含まれる。視野選択コンポーネント２５１０は、ユーザが一般に全体的な生体試料（画像ナビゲーションコンポーネント２５０８に表示される）に見出すことのできる視野（主画像パネル２５０２に表示される）の位置を確認することを可能にする。一部の実施形態では、画像ナビゲーションコンポーネント２５０８は、主画像パネル２５０２よりも小さく、生体試料の低解像度表示を提供する。その他の実施形態では、画像ナビゲーションコンポーネント２５０８は、主画像パネル２５０２と同じサイズであるか又はそれよりも大きくてよい。主画像パネル２５０２には、ユーザが、ズームの特定のレベル又はズームの相対レベルを入力する（例えば、ズームスライダ及び／又はズームボタンを用いて）ことを可能にするためのズーム入力ツール２５１２が含まれ得る。最新の相対ズームレベルは、画像パネル上のズームインジケータ２５１４に示され得る。主画像パネル２５０２が新しいズームレベルに従って更新されると、画像ナビゲーションコンポーネント２５０８中の視野選択コンポーネント２５１０は、自動的に更新されて、主画像パネル２５０２に示される対応する更新された視野を正確に画定する。例となる実施形態では、ユーザインターフェースを実行する演算装置は、新しいズームレベルがタイル化された多重解像度データ構造の中の異なる解像度レベルから画像データを必要とすることを決定することができ、画像データの１以上のタイルを解像度レベルから取り出すことができる。

主画像パネル２５０２には、生体試料において新しい視野をパンするためのパン入力ツール２５１６が含まれる。パンニングは、主画像パネル２５０２の画像の上をクリックしてホールドし、パネルを横切ってカーソルをドラッグすることによっても実施することができ、下にある画像をそれと一緒に動かす。主画像パネル２５０２には、主画像パネル２５０２に表示される視野の中の各々の捕捉領域の位置を画定するための捕捉領域インジケータコンポーネント２５４０（例えば、レチクル又は任意のその他の適したコンポーネント）も含まれる。さらなる高解像度画像が選択された捕捉領域から得られてＧＵＩ２５００にロードされれば、領域管理パネル２５０４は、例えば図２７に示されるように、新しく得た捕捉領域画像を表す１以上のサムネイル画像２５０５のセットが含まれるように構成される。その後、これらの画像はサムネイルをクリックすることにより主画像パネル２５０２にロードされることができ、その後、領域管理パネル２５０４は、主画像パネルに表示される画像にどのサムネイル画像が対応するかを指示するものを備えていることができる。

ＧＵＩ１０００について記載されたように、バイオマーカータブ２５０３のサムネイル画像２５０５のサイズ及び／又は空間次元は、表示されるサムネイル画像の数及び／又は領域管理パネル２５０４のサイズに基づいて自動的に設定及び／又は縮尺を変更することができる。一部の実施形態では、ユーザは、サムネイル画像のサイズ及び／又は次元を手動でセット又はリセットすることが可能であり得る。

タブ２５０７が選択される場合、パネル２５０４は、表示されたサムネイル２５０５のスナップショットを捕捉するための第１のスナップショット捕捉ボタン２５９０、及び主画像パネル２５０２から画像を捕捉するための第２のスナップショット捕捉ボタン２５９２を備えている。ボタン２５９０及び２５９２は、ユーザがスナップショット画像の位置を、後で検索することのできるメインサーバに保存することを可能にすることが望ましい。ＧＵＩ２５００には、ユーザが画像を選択されたスナップショットから取り出し可能な電子記録に保存することを可能にする、更新通知データボタン２５９５も含まれる。更新通知データボタン２５９５は、保存した画像をユーザのための報告ツールへの入力として使用することのできるディレクトリにエクスポートさせることが望ましい。

望ましくは、病理学者は、任意のインターネットブラウザを通じてＧＵＩ２５００を遠隔アクセス及び操作することができる。ＧＵＩ２５００では、彼らは症例一覧をブラウズし、見直したい症例を選択することができる。或いは、病理学者は、特定の症例が見直しの準備ができているという警告を受けることができ、彼らはその症例への直接リンクが提供される。

ひとたび症例がサーバ又はその他の適した電子記録用の記憶装置からアクセスされると、病理学者は、図２５に示されるように、１０倍の倍率で得たスライド、例えば分子Ｈ＆Ｅ（ｍＨ＆Ｅ）画像などの概要を見るための画像選択コンポーネント２５０６から選択することができる。ｍＨ＆Ｅは、グレースケール免疫蛍光画像を、病理学者により馴染みがあり、視覚情報を抽出するのがより容易な画像に変換するアルゴリズムを用いて生成される。ｍＨ＆Ｅは、病理学者が試料の全体的な形態を評価することを可能にする。

図２４〜２７は、レチクル２５１０によって表されるように異なるズームレベルで得た低解像度画像の異なるビューを表す。システムは、図２８〜３４に表されるように、ユーザがさらなる高解像度撮像のための領域を明示することを可能にする。ひとたび試料及びその関心対象領域の低解像度及び高解像度の画像（ここではそれぞれ１０倍及び４０倍と示される）がそれぞれ撮影されれば、画像はＧＵＩ２５００によって（ｔｈｏｕｇｈ）結び付けられて、低解像度画像と高解像度画像との間のナビゲーションを可能にする。

図２６は、ＣＤ３０のｍＤＡＢ画像の１０倍表示を示す。主画像パネル２５０２の左側には、画像の拡大及び縮小を行うために使用することのできるズームインジケータ２５１４を見ることができる。既に選択した捕捉領域は、ここに見えるボックス２５４０で強調される。病理学者は、単純にＧＵＩ２５００の左手側の画像選択コンポーネントの中の画像のリストから所望の画像を主画像パネル２５０２にドラッグ・アンド・ドロップすることによって、又はバイオマーカータブ２５０３によって得た捕捉領域からサムネイル２５０５を選択することによって、その他の画像にアクセスすることができる。図２６に示されるように、病理学者はＣＤ３０染色の分子ＤＡＢ画像を見ている。ｍＨ＆Ｅに似て、ｍＤＡＢは、バイオマーカー染色のグレースケール画像を使用し、それらを明視野ＤＡＢ染色画像に似た画像に変換する。例えば、ホジキンリンパ腫ＬＤＴにおいて、ＣＤ３０は、将来回ってくる画像化によって調査されることになる、潜在的なリード−シュテルンベルク（ＲＳ）細胞をそれが識別するという点で重要な染色である。ウェットラボプロトコルの初めに、病理学者はこの１０倍のＣＤ３０ ｍＤＡＢ画像を見て、その後回ってくる画像化で画像化されることになるＲＯＩ（又は捕捉領域）を選択する。既に選択された一部のＲＯＩは、ＣＤ３０ ｍＤＡＢ画像の上のボックス２５４０で輪郭が描かれている。

画像をナビゲートすることは簡単で直感的である。パンニングは、所望により主画像パネル２５０２のあたりの画像をクリックすること及びドラッグすることによるか、又はパン入力ツール２５１６を使用することによって実施される。拡大及び縮小は、マウスホイールをスクロールすることによるか、ズーム入力ツール２５１２のスライダバーをドラッグすることによるか、又は所望の倍率レベルを選択することによって実行することができる。病理学者は、彼らが調査したいと思った、事前に選択したＲＯＩを見つけるまで、１０倍画像をナビゲートすることができる。病理学者は所望のＲＯＩの上でダブルクリックすることができ、それは右手側の領域管理パネル２５０４で強調される。次に彼らは所望のＲＯＩを拡大して、見直すことのできる異なる視覚化タイプ及びバイオマーカーの全てを見ることができる。画像の中の１つのサムネイル２５０５の上を簡単にクリックすることにより、それは主画像パネル２５０２上で開かれる。図２７は、ＲＯＩがダブルクリックされてアクティブになるこの機能を示す。ボックス２５４０で示されるＲＯＩは、その後、異なる色のボックス２５５０で輪郭が描かれ、その対応するタブ２５０３がパネル２５０４で強調される。

病理学者が１０倍画像をナビゲートすることによって関心対象領域を特定したら、彼らはその領域の高解像度（４０倍）で得た、利用可能な画像及び色混合を見ることができる。又は、彼らは２又はそれ以上のモノクロの画像を組合せて色混合を作り出すこともできる。図２８は、各々異なる色の５つの異なるバイオマーカーを表示する、この特徴を示す。

図２９に示されるように、従来の免疫蛍光画像によく慣れている病理学者にとって、画像を混合する機能は非常に有用であると分かることができる。多数のグレースケール画像２５２１を画像選択コンポーネント２５０６から主画像パネル２５０２にクリック及びドラッグすることによって、彼らは最大５つの画像を各々のバイオマーカーを表す異なる色で混合することができる。混合インターフェース２５５５を開くことにより、異なるバイオマーカーに好む色の組合せ並びに各々のバイオマーカーの相対強度の選択を可能にする選択可能な制御装置が病理学者に提供される。

図３０に関連して、病理学者は、一度に全ての利用可能なバイオマーカー（この例では９つの異なるバイオマーカー）をデジタルプリズム機能を用いて見ることができる。ここではアクティブなサムネイル画像（すなわち、主画像パネル２５０２に示される画像に対応する特定のサムネイル画像２５０５）上に位置するギアアイコンとして示されるボタン２５６０をクリックすることによって、それ自体「デジタルプリズム」と呼ばれることのあるボックス２５６５が病理学者に提示される。病理学者がこのボックスを特定の細胞又は関心対象領域に動かした場合、右手側のサムネイル２５０５が更新されて、９つのバイオマーカーの各々のデジタルプリズム２５６５の内容が反映される。図３０は、メインディスプレイのボックス２５６５によって選択された領域のあるデジタルプリズムを示し、右手側の個々のバイオマーカーのサムネイル画像２５０５は、ボックス２５６５の中にある細胞を含むように更新されている。例えば、ホジキンリンパ腫ＬＤＴに関して、最も重要な情報は、パネルのその他の８つのバイオマーカーの関連においてＣＤ３０陽性細胞の表現型が何かということである。それらの８つのバイオマーカーは、ＣＤ１５、ＣＤ２０、Ｂｏｂ１、Ｏｃｔ２、Ｐａｘ５、ＣＤ４５、ＣＤ３、及びＣＤ７９ａである。多重化は、病理学者が単一細胞における全ての９つのバイオマーカーの発現を決定的に述べることを可能にする。過去には、病理学者は各々のバイオマーカーの別々の連続切片を頼りにしていたので、同じ細胞は評価されていなかった。

ホジキンリンパ腫のバイオマーカーパネルは９つのバイオマーカーからなる。病理学者は、本発明の分割画面表示機能を用いて一つ一つの比較を続けることができるか、又は、本発明のデジタルプリズム機能を用いて一度に９つ全てのバイオマーカーを見ることができる。サムネイル画像に位置するボタンをクリックすることにより、青色のボックス又は上記のデジタルプリズム機能が病理学者に提示される。病理学者がこのボックスを特定の細胞又は関心対象領域に動かした場合、右手側のサムネイル２５０５が更新されて、９つのバイオマーカーの各々のデジタルプリズムの内容が反映される。再び図３０を参照すると、病理学者が焦点を合わせているこの単一細胞がＣＤ３０陽性、Ｐａｘ５陰性、並びにその他のバイオマーカーの相対的な存在及び非存在をそれらのそれぞれのサムネイル画像において明らかに見ることができる。

図３１において、病理学者は、第１のサブパネル２５７０にｍＤＡＢ ＣＤ３０画像を、隣接する第２のサブパネル２５７２にｍＤＡＢ Ｐａｘ５画像を選択した。所望により、図３２に示されるように、病理学者は２つの画像の配向を垂直又は水平に変更することができる。いずれの配向でも、図３３でバーが異なる位置に表されるように、彼らはその後バー２５７５を画像を横切ってドラッグしてＣＤ３０画像とＰａｘ５画像との間を連続的に変えることができる。そうすることによって、組織の同じ領域でのバイオマーカー発現の違いをはっきりと見ることができる。そのような多重化により、ユーザは、１つのバイオマーカーに陽性の細胞が別のバイオマーカーにも陽性であるかどうか、例えば、この例では、ＣＤ３０陽性細胞はＣＤ１５に対しても陽性であるのかどうかを決定することを可能にする。

病理学者が症例レポートに含めるために必要な関心対象領域を決定した後、彼らはＧＵＩ２５００に表示した画像を本発明のスナップショット機能で捕捉することができる。図３４は、主画像パネル２５０２のボックス２５８０及び２５８２に輪郭が描かれる、捕捉した２つの異なるスナップショットを示す。それはまた、パネル２５０４で得たスナップショットのリストも示す。選択したタブ２５０９によって、病理学者は、２つのうちの１つの方法でスナップショットを用いて、画像を捕捉することができる。１つ目の方法は、結果として生じるデジタルプリズムのサムネイル画像２５０５を捕捉することである。そうするために、病理学者はデジタルプリズムボックス２５６５を関心対象の細胞の方に動かし、プリズムの大きさを変更して画像を適切に枠に入れ、サムネイルの位置を保存する。その後、彼らは第１のスナップショット捕捉ボタン２５９０をクリックし、図３５に示されるＧＵＩ２５００の領域管理パネル２５０４部分に表されるように、９つ全てのバイオマーカーのために同じ領域を捕捉する。病理学者が画像を捕捉することのできる２つ目の方法は、全フィールドを捕捉することによる、一度に１回の染色である。これは、ただ単一又は２つの細胞でなく全領域を見る必要のある時に有用である。全フィールドを捕捉するには、図３６の主画像パネル２５０２の部分に示されるように、彼らは単に主画像パネル２５０２上の第２のスナップショット捕捉ボタン２５９２をクリックする。捕捉された全ての画像は、スナップショットタブ２５０９をクリックすることによって見直すことができる。図３７に示されるように、画像はサムネイル画像形式で見直すことができる。或いは、図３８に示されるように、画像は、説明的なリストとして見直すことができる。レポートスナップショットタブ２５０９のギャラリーサブパネル２５４６には、ユーザが（図３７に示されるような）サムネイル画像の表示、又は（図３８に示されるような）画像の説明的なリストを選択することを可能にするギャラリートグル２５４８が含まれる。図３８に示されるリストから、関連するごみ箱アイコン２５９６の上をクリックすることにより、病理学者はどんな捕捉画像も消去することができる。また、ユーザは、リストの画像をハイライトし、編集トグル２５９８をクリックし、その後主画像パネル２５０２上の対応するボックスの位置を調節することによって、変更したいどんな画像も変更することができる。その上、タブ２５０９は、ユーザが画像をローカルメディアに保存することを可能にするクイックセーブボタン２５９７も提供する。病理学者が捕捉した画像全てに満足すれば、図３９に表されるように、更新通知データボタン２５９５を１回クリックすることで彼らは画像を症例レポートにアップロードすることができる。

例となる実施形態を記載するにあたり、明瞭さのために特有の用語が使用される。説明を目的に、各々の特有の用語は、少なくとも、同様の目的を達成する同様の方法で動作する全ての技術的及び機能的等価物を含むことを意図する。その上、特定の例となる実施形態が複数のシステム要素又は方法段階を含む一部の例では、それらの要素又は段階は、単一の要素又は段階に置き換えることができる。同様に、単一の要素又は段階は、同じ目的に適う複数の要素又は段階に置き換えることができる。さらに、様々な性質についてのパラメータが例となる実施形態について本明細書において指定されている場合、それらのパラメータは、特に断りのない限り、１／２０、１／１０、１／５、１／３、１／２などだけ上下に調節するか、又はその近似値を四捨五入することによって、調節することができる。さらに、例となる実施形態はその特定の実施形態を参照して示され記載されているが、本発明の範囲を逸脱することなく、形式及び詳細の様々な置換及び変更がその中で行われてよいことを当業者は理解するであろう。さらになお、その他の態様、機能及び利点も本発明の範囲内である。

例となるフローチャートは、説明目的で本明細書に提供され、それらは方法の限定されない例である。例となるには、例となるフローチャートに例示されるよりも多いか又は少ない段階が含まれてよく、例となるフローチャート中の段階が、示されるものと異なる順序で実施されてよいことを当業者は理解するであろう。

Claims (44)

1. 生体試料の画像、又は画像の一部分に対応する、視野内の１以上のバイオマーカーの発現レベルを表示するためのコンピュータ実装方法であって、当該方法が、
   グラフィックユーザインターフェースを視覚表示装置にレンダリングする工程であって、グラフィックユーザインターフェースが主画像パネル及びバイオマーカーパネルを含む、工程と；
   選択された生体試料に対応する視野を選択するユーザ入力を受け取る工程と；
   主画像パネルに、生体試料に対応する選択された視野の第１の画像をレンダリングする工程と；
   主画像パネルの第１の画像の上に重ねて、ユーザが第１の画像内の第１の領域を選択することを可能にする関心対象領域選択コンポーネントをレンダリングする工程と；
   バイオマーカーパネルに、第１の画像内の第１の領域に対応するサムネイル画像の第１のセットをレンダリングする工程であって、サムネイル画像の第１のセットがバイオマーカーのセットの発現レベルを表示する工程と；
   主画像パネルで、第１の画像内の第２の領域を選択するユーザ入力を受け取る工程と；
   第１の画像内の第２の領域を選択するユーザ入力に基づいて、バイオマーカーパネルを更新して、サムネイル画像の第１のセットを第１の画像内の第２の領域に対応するサムネイル画像の第２のセットに置き換え、バイオマーカーのセットの発現レベルを表す、工程と
   を含む、方法。
2. 関心対象領域選択コンポーネントが、第１の画像内のより小さい領域を画定する、請求項１記載の方法。
3. 第２の領域を選択するユーザ入力が、
   関心対象領域選択コンポーネントを選択するユーザ入力；及び
   関心対象領域選択コンポーネントを、第１の画像に重ねて、第１の画像内の第１の領域から第２の領域までドラッグするユーザ入力
   を含む、請求項１記載の方法。
4. 第２の領域を選択するユーザ入力が、
   第１の画像を選択するユーザ入力；及び
   第１の画像内の第２の領域が関心対象領域選択コンポーネントの下側にあるように、関心対象領域選択コンポーネントの下にある第１の画像をドラッグするユーザ入力
   を含む、請求項１記載の方法。
5. 生体試料の選択された視野の中の１以上の形態学上の特徴の表現を第１の画像の上にオーバーレイする工程
   をさらに含む、請求項１記載の方法。
6. 第２の領域が、第１の画像に表示された形態学上の特徴を含むように選択される、請求項５記載の方法。
7. 形態学上の特徴が細胞である、請求項６記載の方法。
8. 形態学上の特徴が細胞の集まりである、請求項６記載の方法。
9. 形態学上の特徴が亜細胞成分である、請求項６記載の方法。
10. 亜細胞成分が、核、細胞質又は膜である、請求項９記載の方法。
11. サムネイル画像の第１及び第２のセットが、バイオマーカーパネルにおいて所定のパターンで配置される、請求項１記載の方法。
12. 所定のパターンが格子状のパターンである、請求項１１記載の方法。
13. サムネイル画像の第１及び第２のセットが、サムネイル画像が表示される順序を示す記憶された設定に基づいて、バイオマーカーパネルにおいて編成される、請求項１記載の方法。
14. 順序が、臨床成績を評価する際の１以上のバイオマーカーの関連性に基づく、請求項１３記載の方法。
15. バイオマーカーパネル上で直接的に、サムネイル画像の第２のセットにおいて１以上のサムネイル画像を再度順序付けるためのユーザ入力を受け取る工程；及び
    ユーザ入力に応じて、バイオマーカーパネルにサムネイル画像の第２のセットを再度順序付ける工程
    をさらに含む、請求項１記載の方法。
16. バイオマーカーパネル上で直接的に、第１のサムネイル画像を除外するためのユーザ入力を受け取る工程；及び
    ユーザ入力に応じて、バイオマーカーパネルを更新して、選択された第１のサムネイル画像を除外する工程
    をさらに含む、請求項１記載の方法。
17. バイオマーカーパネルの視覚化タイプを選択するためのユーザ入力を受け取る工程；及び
    ユーザ入力に応じて、バイオマーカーパネルを更新して、サムネイル画像の第２のセットを選択された視覚化タイプで表示する工程。
    をさらに含む、請求項１記載の方法。
18. 選択された視覚化タイプが、２又はそれ以上のバイオマーカーの発現レベルを、混合された色の画像として同時に表示する、請求項１７記載の方法。
19. 選択された視覚化タイプが、バイオマーカーの発現レベルを色のレベルとして表示する、請求項１７記載の方法。
20. 選択された視覚化タイプが、バイオマーカーの発現レベルをヒートマップとして表示する、請求項１７記載の方法。
21. ヒートマップが、離散的であるか、連続的であるか、又はバイナリ・ヒートマップである、請求項２０記載の方法。
22. 選択された視覚化タイプが、視野の擬似明視野像を表示する、請求項１７記載の方法。
23. サムネイル画像の第２のセット中のサムネイル画像の数に基づいて、バイオマーカーパネルのサイズを更新する工程
    をさらに含む、請求項１記載の方法。
24. 第１の画像内の第２の領域を固定してオーバーレイするために、下にある第１の画像に対して関心対象領域選択コンポーネントをロックする工程
    をさらに含む、請求項１記載の方法。
25. バイオマーカーパネル上で直接的に、サムネイル画像の第２のセットの第１のサムネイル画像のスケールを変更するためのユーザ入力を受け取る工程；及び
    ユーザ入力に応じて、バイオマーカーパネルを更新して、選択された第１のサムネイル画像のスケールを変更する工程
    をさらに含む、請求項１記載の方法。
26. ユーザ入力に応じて、バイオマーカーパネルを更新して、サムネイル画像の第２のセットの残りのサムネイル画像のスケールを変更して、それらのスケールをスケールを変更した第１のサムネイル画像と同じスケールに変更する工程
    をさらに含む、請求項２５記載の方法。
27. 関心対象領域選択コンポーネントで、サムネイル画像の第２のセットの第１のサムネイル画像に表示された第１の画像の部分を変化させるユーザ入力を受け取る工程；及び
    ユーザ入力に応じて、バイオマーカーパネルを更新して、選択された第１のサムネイル画像に表示された第１の画像の部分を変化させる工程
    をさらに含む、請求項１記載の方法。
28. ユーザ入力に応じて、サムネイル画像の第２のセットの残りのサムネイル画像が、更新された第１のサムネイル画像に表示された第１の画像の同じ部分を表示するようにバイオマーカーパネルを更新する工程をさらに含む、請求項２７記載の方法。
29. サムネイル画像の第１及び第２のセットが、第１の画像と同じスケールで表示される、請求項１記載の方法。
30. サムネイル画像の第１及び第２のセットが、第１の画像とは異なるスケールで表示される、請求項１記載の方法。
31. グラフィックユーザインターフェースで、生体試料の表現を表示する画像ナビゲーションコンポーネントをレンダリングする工程；及び
    画像ナビゲーションコンポーネントで直接に、主画像パネルでの表示のための生体試料の視野を選択するユーザ入力を受け取る工程
    をさらに含む、請求項１記載の方法。
32. 画像ナビゲーションコンポーネントが、生体試料内の選択された視野の位置を示す、請求項３１記載の方法。
33. バイオマーカーの発現レベルが、画素レベルで表示される、請求項１記載の方法。
34. グラフィックユーザインターフェースが、演算装置でレンダリングされる、請求項１記載の方法であって、方法が、
    バイオマーカーの発現レベルに関するデータを、演算装置からデータを格納する遠隔サーバに要求する工程；及び
    演算装置で、発現レベルに関するデータをサーバから受け取る工程
    をさらに含む、方法。
35. 要求されたデータが、第１のバイオマーカーの発現レベルを示し、主画像パネルでの表示のための生体試料の選択された視野に対応し、かつ要求されたデータが、選択された視野の外の生体試料の領域に対応するデータを除外する、請求項３４記載の方法。
36. 要求されたデータが、バイオマーカーのセットの発現レベルを示し、バイオマーカーパネルでの表示のための選択された第２の領域に対応する、請求項３４記載の方法。
37. 要求されたデータが、ストリーミングデータとして受け取られる、請求項３４記載の方法。
38. サーバが、タイルサーバであり、バイオマーカーの発現レベルに関するデータの部分が、画像データのタイルとしてサーバに格納されている、請求項３４記載の方法。
39. 第１の画像が、バイオマーカーのセットから選択されたデフォルトバイオマーカーの発現レベルを表示する、請求項１記載の方法。
40. 第１の画像が、ユーザの選択したバイオマーカーの発現レベルを表示する、請求項１記載の方法。
41. バイオマーカーパネル上で直接的に、第２のバイオマーカーの発現レベルを表示する第１のサムネイル画像を選択するユーザ入力を受け取る工程；及び
    ユーザ入力に応じて、主画像パネルを更新して、選択された視野の第２の画像を表示する工程であって、第２の画像が、ユーザ入力によって選択された第２のバイオマーカーの発現レベルを表示する、工程
    をさらに含む、請求項１記載の方法。
42. 第１の画像の上に、第１の画像のセグメンテーション分析の結果をオーバーレイする工程
    をさらに含む、請求項１記載の方法。
43. 生体試料の画像、又は画像の一部分に対応する、視野内の１以上のバイオマーカーの発現レベルを表示するためのコンピュータシステムであって、システムが、
    視覚表示装置；及び
    視覚表示装置に連結され、
    グラフィックユーザインターフェースを視覚表示装置にレンダリングし、グラフィックユーザインターフェースは主画像パネル及びバイオマーカーパネルを含み；
    選択された生体試料に対応する視野を選択するユーザ入力を受け取り；
    主画像パネルに、生体試料に対応する選択された視野の第１の画像をレンダリングし；
    主画像パネルの第１の画像の上に重ねて、ユーザが第１の画像内の第１の領域を選択することを可能にする関心対象領域選択コンポーネントをレンダリングし；
    バイオマーカーパネルに、第１の画像内の第１の領域に対応するサムネイル画像の第１のセットをレンダリングし、サムネイル画像の第１のセットはバイオマーカーのセットの発現レベルを表示し；
    主画像パネルで、第１の画像内の第２の領域を選択するユーザ入力を受け取り；
    第１の画像内の第２の領域を選択するユーザ入力に基づいて、バイオマーカーパネルを更新して、サムネイル画像の第１のセットを第１の画像内の第２の領域に対応するサムネイル画像の第２のセットに置き換え、バイオマーカーのセットの発現レベルを表示するようにプログラムされているコンピュータ処理装置を備える、コンピュータシステム。
44. 演算装置で実行した場合、生体試料の画像、又は画像の一部分に対応する、視野内の１以上のバイオマーカーの発現レベルを表示するための方法を実施する、１以上のコンピュータで実行可能な命令がエンコードされた、１以上の一時的でない、コンピュータで読み取り可能な媒体であって、方法が、
    グラフィックユーザインターフェースを視覚表示装置にレンダリングする工程であって、グラフィックユーザインターフェースが主画像パネル及びバイオマーカーパネルを含む、工程と；
    選択された生体試料に対応する視野を選択するユーザ入力を受け取る工程と；
    主画像パネルに、生体試料に対応する選択された視野の第１の画像をレンダリングする工程と；
    主画像パネルの第１の画像の上に重ねて、ユーザが第１の画像内の第１の領域を選択することを可能にする関心対象領域選択コンポーネントをレンダリングする工程と；
    バイオマーカーパネルに、第１の画像内の第１の領域に対応するサムネイル画像の第１のセットをレンダリングする工程であって、サムネイル画像の第１のセットがバイオマーカーのセットの発現レベルを表示する、工程と；
    主画像パネルで、第１の画像内の第２の領域を選択するユーザ入力を受け取る工程と；
    第１の画像内の第２の領域を選択するユーザ入力に基づいて、バイオマーカーパネルを更新して、サムネイル画像の第１のセットを第１の画像内の第２の領域に対応するサムネイル画像の第２のセットに置き換え、バイオマーカーのセットの発現レベルを表す、工程と
    を含む、媒体。