JP6348504B2 - 生体試料の分割画面表示及びその記録を取り込むためのシステム及び方法 - Google Patents

Description

本発明は生体試料の分割画面表示及びその記録を取り込むためのシステム及び方法に関する。

生体マーカーの発現を明らかにするように処理された組織試料の検査は、生物学的研究及び臨床研究のための既知のツールである。そのような１つの処理は、通常はタンパク質である関心のある生体マーカーに特有の、抗体フラグメントなどの抗体又は抗体代用物の使用を含む。このような抗体又は抗体代用物は、適当な条件の下で、信号を生成することができる部分によって、直接又は間接的にラベルを付けることができる。例えば、蛍光のために処理した組織を調べるために、蛍光部分を抗体に付着させることができる。得られた信号は、存在する生体マーカーの存在及び量を一般に示す。

米国特許出願公開第２０１２／０２６９４１８号明細書

１つの例示的な実施形態によれば、生体試料の視野の分割画面表示を可能にし、提供するためのコンピュータ実行方法が提供される。表示される視野の解像度に応じて、視野は、生体試料の画像の全体又は一部を示すことができる。本方法は、計算装置の視覚表示装置にグラフィカルユーザーインターフェースを描画するステップと、生体試料の画像の全体又は一部に対応する第１の視野の第１の画像を表示する画像パネルを、グラフィカルユーザーインターフェースに描画するステップとを含む。画像パネルは、第１の視野の第１及び第２の部分をそれぞれ表現するための第１及び第２の画像サブパネルを含み、第１の画像サブパネルは、第１の視野の第１の部分における第１の生体マーカーの発現レベルを表示するために構成され、第２の画像サブパネルは、第１の視野の第２の部分における第２の生体マーカーの発現レベルを表示するために構成される。本方法は、第１の視野の第１の部分における第１の生体マーカーの発現レベルに選択的に対応する第１のデータのセット、及び、第１の視野の第２の部分における第２の生体マーカーの発現レベルに選択的に対応する第２のデータのセットを決定するステップを含む。また本方法は、生体マーカー発現データを記憶する遠隔サーバーに、第１及び第２のデータのセットを要求するステップと、遠隔サーバーから第１及び第２のデータのセットを受け取るステップとを含む。本方法は、第１のデータのセットに基づいて、第１の視野の第１の部分における第１の生体マーカーの発現レベルを、第１の画像サブパネルに表現するステップと、第２のデータのセットに基づいて、第１の視野の第２の部分における第２の生体マーカーの発現レベルを、第２の画像サブパネルに表現するステップとをさらに含む。

別の例示的な実施形態によれば、生体試料の視野の分割画面表示を可能にし、提供するためのコンピュータ実行方法が提供される。表示される視野の解像度に応じて、視野は、生体試料の画像の全体又は一部を示すことができる。本方法は、計算装置の視覚表示装置にグラフィカルユーザーインターフェースを描画するステップと、生体試料の画像の全体又は一部に対応する第１の視野の第１の画像を表示する画像パネルを、グラフィカルユーザーインターフェースに描画するステップとを含む。画像パネルは、第１の視野の第１及び第２の部分をそれぞれ表現するための第１及び第２の画像サブパネルを含み、第１の画像サブパネルは、第１の視野の第１の部分における第１の生体マーカーの発現レベルを表示するために構成され、第２の画像サブパネルは、第１の視野の第２の部分における１以上の形態学的特徴を表示するために構成される。本方法は、第１の視野の第１の部分における第１の生体マーカーの発現レベルに選択的に対応する第１のデータのセット、及び、第１の視野の第２の部分における１以上の形態学的特徴に選択的に対応する第２のデータのセットを決定するステップを含む。また本方法は、生体試料のデータを記憶する遠隔サーバーに、第１及び第２のデータのセットを要求するステップと、遠隔サーバーから第１及び第２のデータのセットを受け取るステップとを含む。本方法は、第１のデータのセットに基づいて、第１の視野の第１の部分における第１の生体マーカーの発現レベルを、第１の画像サブパネルに表現するステップと、第２のデータのセットに基づいて、第１の視野の第２の部分における１以上の形態学的特徴を、第２の画像サブパネルに表現するステップとをさらに含む。

別の例示的な実施形態によれば、生体試料の視野の分割画面表示を可能にし、提供するためのコンピュータ実行方法が提供される。表示される視野の解像度に応じて、視野は、生体試料の画像の全体又は一部を示すことができる。本方法は、計算装置の視覚表示装置にグラフィカルユーザーインターフェースを描画するステップと、生体試料の画像の全体又は一部に対応する第１の視野の第１の画像を表示する画像パネルを、グラフィカルユーザーインターフェースに描画するステップとを含む。画像パネルは、第１の視野の第１及び第２の部分をそれぞれ表現するための第１及び第２の画像サブパネルを含み、第１の画像サブパネルは、第１の視野の第１の部分における１以上の形態学的特徴の第１のセットを表示するために構成され、第２の画像サブパネルは、第１の視野の第２の部分における１以上の形態学的特徴の第２のセットを表示するために構成される。本方法は、第１の視野の第１の部分における１以上の形態学的特徴の第１のセットに選択的に対応する第１のデータのセット、及び、第１の視野の第２の部分における１以上の形態学的特徴の第２のセットに選択的に対応する第２のデータのセットを決定するステップを含む。また本方法は、生体試料のデータを記憶する遠隔サーバーに、第１及び第２のデータのセットを要求するステップと、遠隔サーバーから第１及び第２のデータのセットを受け取るステップとを含む。本方法は、第１のデータのセットに基づいて、第１の視野の第１の部分における１以上の形態学的特徴の第１のセットを、第１の画像サブパネルに表現するステップと、第２のデータのセットに基づいて、第１の視野の第２の部分における１以上の形態学的特徴の第２のセットを、第２の画像サブパネルに表現するステップとをさらに含む。

また例示的な実施形態は、生体試料の視野の分割画面表示を提供するコンピュータシステムを提供する。表示される視野の解像度に応じて、視野は、生体試料の画像の全体又は一部を示すことができる。例示的なコンピュータシステムは、グラフィカルユーザーインターフェースを描画するための視覚表示装置と、視覚表示装置に結合され、本明細書に記載された方法のいずれかを実行するようにプログラムされるコンピュータプロセッサとを含む。

例示的な実施形態は、計算装置で実行される場合に、本明細書に記載された方法のいずれかを実行する、符号化された１以上のコンピュータ実行可能命令を有する１以上の非一時的コンピュータ可読媒体をさらに提供する。

例示的な実施形態の上記及び他の目的、態様、特徴、及び利点は、下記の添付の図面と併せて以下の説明を参照することによって、より明らかになり、より良く理解することができる。

生体マーカー発現データを記憶するための例示的なデータ構造を示す図である。 生体試料の１以上の視野を表示するための例示的なユーザーインターフェースを示す図である。 図２のユーザーインターフェースを示す図であり、主画像パネルの視野の生体マーカーの発現レベルを表示している。 図３のユーザーインターフェースを示す図であり、互いに水平に配置される２つの画像サブパネルに分割された主画像パネルを表示している。 図３のユーザーインターフェースを示す図であり、互いに垂直に配置される２つの画像サブパネルに分割された主画像パネルを表示している。 図４のユーザーインターフェースを示す図であり、左のサブパネルは視野の左の部分の生体マーカーの発現レベルを示し、右のサブパネルは視野の右の部分の形態学的特徴を示す画像を表示している。 図６のユーザーインターフェースを示す図であり、２つ以上の画像サブパネルのサイズを調整するために用いることができるスライダコンポーネントを表示している。 生体試料の視野の分割画面表示を提供するための例示的なコンピュータ実行方法のフローチャートである。 図４の画像サブパネルを表示するために必要な画像データを記憶するための例示的なデータ構造を示す図である。 主画像パネル及び生体マーカー発現データの１以上のサムネイル画像を含む生体マーカーパネルを表示するためのユーザーインターフェースを示す図である。 図１０のユーザーインターフェースを示す図であり、主画像パネルの異なるズームレベルの異なる視野を表示している。 図１０のユーザーインターフェースを示す図であり、関心のある形態学的特徴は主画像パネルの関心領域選択コンポーネントの境界の外側にある。 図１２のユーザーインターフェースを示す図であり、関心のある形態学的特徴は主画像パネルの関心領域選択コンポーネントの境界の内側にある。 主画像パネル及び生体マーカー発現データの１以上のサムネイル画像を含む生体マーカーパネルを表示するためのユーザーインターフェースを示す図である。 生体試料の視野の１以上の生体マーカーの発現レベルを表示するための例示的なコンピュータ実行方法のフローチャートである。 生体試料の視野の分割画面、及び視野の領域に対応する生体マーカー発現データの１以上のサムネイル画像を含む生体マーカーパネルを表示するためのユーザーインターフェースを示す図である。 例示的な実施形態で使用可能な例示的なネットワーク環境のブロック図である。 本明細書に記載したユーザーインターフェースのいずれかを実行するようにプログラムされたクライアント計算装置とタイル画像データサーバーとの間の相互作用を示す例示的なフローチャートである。 クライアント計算装置によって生成することができる画像メトリック要求の例を示す図である。 図１９の画像メトリック要求に対するＸＭＬベースの応答の例を示す図である。 クライアント計算装置によって生成することができるタイル画像要求の例を示す図である。 本明細書に記載したユーザーインターフェースのいずれかを実行するようにプログラムされたクライアント計算装置とタイル画像データサーバーとの間の相互作用を示すフローチャートである。 例示的な実施形態で使用可能な例示的な計算装置のブロック図である。 本発明の代替的なビューアを示す図である。 図２４のビューアの部分的画像における１０倍倍率で取得されたスライド上の試料の分子Ｈ＆Ｅ画像を示す図である。 図２４のビューアにおけるＣＤ３０のｍＤＡＢ画像の１０倍表示を示す図である。 ビューイングパネルのサムネイル画像を提示するこの機能を示す図である。 ４０倍の解像度で得られた複数の単色画像の色混合を示す図である。 図２８のビューイングパネルの部分図において本発明により提供される混合インターフェースをさらに示す図である。 本発明のデジタルプリズムの代替的実施形態を示す図である。 １つのパネルにおけるｍＤＡＢ ＣＤ３０画像、及び図２８のビューイングパネルの部分図における隣接するパネルのｍＤＡＢ Ｐａｘ５画像の選択を示す図である。 図３１の２つの画像の選択可能な方向を示す図である。 図２８のビューイングパネルの部分図に表示するために選択される２つの画像を区別するバーの１つの選択可能な場所を示す図である。 主画面上の２つのボックスで輪郭を示すように、本発明のスナップショット取り込み特徴を用いて取り込まれた２つの異なる関心領域を示す図である 本発明のスナップショット特徴を用いてサムネイル画像の全てを取り込むことを可能にする本発明を示す図である。 本発明のスナップショット特徴を用いて全視野を取り込むことを可能にする本発明を示す図である。 本発明のアノテーションタブを用いる、取り込まれたサムネイル画像の表示を示す図である。 取り込まれた画像のリスト形式での表示を示す図である。 病理学者が取り込まれた画像の全てを事例リポートにアップロードする能力を示す図である。

本明細書に開示される実施形態は、生体試料及び組織、並びに、例えば、１以上の生体マーカーの発現レベル、１以上の形態学的特徴、及び１以上の画像解析方法の結果などの生体試料に対応するデータを選択的に視覚化するための方法、システム、及び装置を含む。例示的な実施形態は、構造的であるが高速で柔軟性がありユーザーフレンドリな生体試料の表示を可能にして、生物学的研究応用を容易にし、病理学者が客観的及び反復可能な診断及び疾病又は条件モデルに達することを可能にする。

特定の例示的な実施形態は、生体試料の選択された視野の異なる部分を同時に見るための分割画面表示を提供する。表示される視野の解像度に応じて、視野は、生体試料の画像の全体又は一部を示すことができることを、本発明は想定している。本発明のほとんどの応用では、生体試料画像の一部、すなわち、より小さい関心領域だけの視野を選択して、画像パネルの生体試料画像のその部分のより高倍率の表示を可能にすることが望ましいと考えられる。したがって、視野が「生体試料に対応する」と言う場合には、本発明は、視野が生体試料の画像又は画像の一部を表すことを意図している。分割画面表示の画像パネルは、サブパネルが視野の単一の部分を表示するように、及び、２つ以上の画像サブパネルの集まりが視野全体を協力して表示するように、視野の２つ以上の隣接する部分を表示するための、２つ以上の重ならない画像サブパネルを含むことができ、又はそれに分割することができる。視野の各部分は、サブパネルの境界で、正確に継ぎ目なく整合される。サブパネルの視野の各部分を表示するために、種々の表示タイプを用いることができる。種々の表示タイプとしては、これらに限定されないが、１以上の生体マーカーの発現、１以上の形態学的特徴の表示、１以上の解析結果の表示、並びに１以上の可視化タイプとしての表示が挙げられる。

特定の例示的な実施形態は、生体試料の視野を表示するための画像パネル、及び視野内の領域の種々の様相（例えば、領域の種々の生体マーカーの発現レベル）を同時に見るためのサムネイル画像を表示するための生体マーカーパネルを含むユーザーインターフェースを提供する。視野の選択領域を選択又は更新すると、サムネイル画像は、それに応じて自動的に更新されて、新しく選択された領域を表示することができる。画像パネルは、視野内の領域を詳細に描写するための関心領域選択コンポーネントを含むことができる。関心領域選択コンポーネントは、主画像パネルに表示された視野の一部の上に重ね合わせることができ、生体マーカーパネルに表示された視野内の領域を選択又は更新するために、ユーザーが用いることができる。

例示的な組織撮像技術
本明細書に教示される実施形態は、染色−脱色−再染色などの既知の技術によって生成され得る多重化された生体マーカー画像に対応する生物学的画像データを用いる。一般に、この技術は、１以上のプローブに結び付いた生体マーカーについての信号を生成する、蛍光体でラベルされたプローブを有する生体試料を染色し、これらの信号を化学的に脱色し、いくつかの付加的な生体マーカーについての信号を生成するために試料を再染色することを含む。互いに容易に区別できる信号は限られた数しかなく、特定の工程では限られた数の生体マーカーだけを検査することができるので、化学脱色工程は都合が良い。脱色を用いて、組織試料を複数の工程のために再検査し再評価することができる。この循環方法は、ホルマリン固定パラフィン包埋組織（ＦＦＰＥ）試料及び細胞に用いることができる。試料のデジタル画像は、各染色工程の後に収集される。試料の連続画像は、ＤＡＰＩで染色した細胞核などの形態学的特徴を用いてレジストリに都合よく保管することができ、それの信号は化学脱色法によって改変されない。上述したことは多重化技術の一例であり、試料を染色、脱色、撮像するために用いるシステムは、多重化プラットホームの例である。

別の方法は、冷凍された生体試料を反復して染色し、染色の次のセットを適用する前に以前の染色工程によるラベルを光脱色することによって、冷凍された生体試料を検査することを含む。それから、評価される各生体マーカーに関係する蛍光信号の強度が、適切な画像から抽出される。

生成された画像は、細胞のより大きい組織試料内の個々の細胞による１以上の生体マーカーの発現を示すことができる。組織試料は、細胞培養による一群の細胞、又は器官、腫瘍、もしくは病変の試料であってもよい。組織試料は、コホートとして知られている、種々の被験者からの類似の組織の一群の試料の一部であってもよい。組織試料のこれらの群は、１以上の疾病又は条件モデル、疾病又は条件モデル内の種々の段階、或いは疾病の処置又は条件に対する１以上の応答を表すことができる。

組織処理及び検査の技術は、特定のセル、又は核、細胞質もしくは膜などの所与の細胞の区画においてさえ、所与の生体マーカーの発現のレベルを定量的に決定することができるように洗練された。これらの区画又は細胞の境界は、全体として既知の組織学的染色を用いて検出される。通常、処理した組織はデジタル画像処理によって検査され、従って、種々の生体マーカーから発する種々の信号のレベルを直ちに定量化することができる。

生体試料の各染色された視野の画像は、適切な顕微鏡及び適切な品質管理ルーチンに結合されたデジタルカメラなどの、既知の技術を用いて生成される。自動化された画像登録及び解析は、個々の詳細に描写された細胞、細胞の集まり、或いは核、細胞質、及び膜などの細胞下区画の生体マーカー発現レベルを定量化するために用いることができる。細胞もしくは細胞下構成要素の多重化及び画像解析から得られたデータ値は、単独で、或いは区分化解析などのさらなる解析の結果とともに記憶することができる。データベースは、ソース試料の識別及び試料が抽出された組織内の場所の識別を含む生体マーカーの発現レベルを（例えば、データの種々のチャネルとして）保存することができる。識別された場所は、特定の測定が導出された特定の細胞及び／又は組織を示すことができ、測定と関係する区画、核、細胞質、又は膜の識別を含むこともできる。関係するデータ値は、データベースに記憶することができ、記憶装置又はネットワーク化されたサーバーに保持することができる。

例示的な実施形態について、図面を参照して以下で説明する。例示的な実施形態が図示する実施形態に限定されず、また例示的なシステムのコンポーネント、装置、及び方法が以下で説明する図示する実施形態に限定されないことを、当業者は認めるであろう。

生物学的画像データを記憶するための例示的なデータ構造
例示的な実施形態は、グラフィカルユーザーインターフェースに表示するために、種々の解像度で画像の生成を可能にする方法で、生体試料の画像データを記憶することができる。生体試料の多重化画像は、多重化画像を形成するために用いる種々のマーカーに対応するデータの種々のチャネルを分離するために、計算装置によって処理することができる。これらのマーカーは、生体試料の形態学的特徴（例えば、核、膜、細胞質）を表す生体マーカー及び／又は染色であってもよい。

例示的な実施形態では、多重化画像の各チャネルに対応する画素レベル画像データは、ストリーミングデータに好適なタイル状の複数解像度又はタイル状のピラミッド形データ構造で記憶することができる。このデータ構造では、画像データの同じチャネルの種々の解像度に対応する複数の画像は、解像度が増加又は減少する順にピラミッド状のフォーマットで記憶される。各解像度レベルでは、画像の画素レベルデータは、複数のブロック又はタイルに分割される。タイル状の複数解像度フォーマットは、データアクセス及び伝送の速度及び効率を最大にする。個々の画像タイルは速やかにアクセスすることができ、任意の解像度で最小のサーバーオーバーヘッドで流れることができるが、それは高解像度画像データにアクセスする際に特に重要である。すなわち、連続した１以上のタイルに対応するデータは、データ記憶から送られて、データを要求する実体によって受け取ることができる。データが種々の解像度で利用できるので、画像処理は画像データを要求された解像度のレベルに合致させる必要がない。

タイル状の複数解像度データ構造を生成する際に、データの単一のチャネルに対応する画像（例えば、単一の生体マーカー）は、種々の解像度で同じ画像の２つ以上のバージョンを生成するように、計算装置によって処理することができる。画像のより低い解像度のバージョンを生成するために、任意の従来の技術を用いることができる。それから、データの単一のチャネルに対応する画像は、解像度が増加又は減少する順にピラミッド状のフォーマットで記憶することができる。図１Ａは、生体試料の第１の生体マーカーの発現データを記憶するためのタイル状のピラミッド形データ構造１０２を示す。図１Ｂは、生体試料の第２の生体マーカーの発現データを記憶するためのタイル状のピラミッド形データ構造１０４を示す。図１Ｃは、生体試料の第３の生体マーカーの発現データを記憶するためのタイル状のピラミッド形データ構造１０６を示す。図１Ａの例示的なデータ構造１０２は、解像度が増加する順に、４つの異なる解像度レベルで同じ生体試料の同じマーカー発現又は形態のデータに対応する４つの画像１０８、１１０、１１２、１１４を含む。

一旦ピラミッド形データ構造がデータの単一のチャネルについて生成されると、異なる解像度層の各画像の画素レベルデータはブロック又はタイルに分割される。画像は、任意の好適な数のタイルに分割することができる。例えば、画像は、幅５１２画素×高さ５１２画素であるタイルに分割することができる。タイル状の複数解像度データ構造を記憶する記憶装置は、要求に基づいて高速アクセスのために各データ構造及びデータ構造の各タイルを一意的に識別することができる。例えば、データ構造の各タイルは、ピラミッドの各レベルでインデックスを付けることができ、及び／又は、２次元座標はピラミッドの各レベルの各タイルと関係することができる。

タイル状の複数解像度データ記憶構造に関連して例示的な実施形態を説明しているが、他の好適な記憶構造も同様に、或いは択一的に用いることができることを当業者は認めるであろう。

一実施形態では、本明細書に記載するユーザーインターフェースのいずれかを提供する計算装置は、生体試料の画像データをタイル状の複数解像度データ構造に記憶するための記憶装置を含んでもよい。

別の実施形態では、本明細書に記載するユーザーインターフェースのいずれかを提供する計算装置は、タイル状の複数解像度データ構造を記憶する遠隔サーバーから画像データにアクセスしてもよい。この場合には、ユーザーインターフェースを実行する計算装置は、その目的のために選択的に必要となるデータのタイルを決定することができ、サーバーに選択的なタイルだけを要求することができる。すなわち、いくつかの実施形態では、生体試料全体の画像データを要求することができず、或いは、ユーザーインターフェースに予めロードすることができないが、むしろ、所与の時間に必要となる画像データのセットだけをサーバーに要求することができる。これは、要求に対応する際のサーバーオーバーヘッドを最小にし、そのユーザーインターフェースのための計算装置へ転送する必要のある画像データの量を低減し、それによって、ユーザーインターフェースを高速かつ効率的にして、ユーザー入力及び要求に対して高度に応答するようにする。データの要求に応答して、サーバーは、データの要求されたタイルにアクセスすることができ、場合によっては、データの解析又は確認を実行することができる。それから、サーバーは、データのタイルをストリーミング方法で計算装置へ転送することができる。すなわち、連続した１以上のタイルに対応するデータは、サーバーによって送られて、データを要求する計算装置によって受け取ることができる。

生体試料の例示的な分割画面表示
いくつかの例示的な実施形態では、生体試料の選択された視野の２つ以上の部分、すなわち領域、の異なる様相を同時に見るために、分割画面表示を可能にする。より具体的には、画像パネルは、生体試料の選択された視野を表示するために提供される。分割画面表示の画像パネルは、サブパネルが視野の単一の部分を表示するように、及び、２つ以上の画像サブパネルの集まりが視野全体を協力して表示するように、視野の２つ以上の部分を表示するための、２つ以上の重ならない画像サブパネルを含むことができ、又はそれに分割することができる。視野の各部分は、隣接してもよい。視野の各部分は、サブパネルの境界で、正確に継ぎ目なく整合される。例示的な実施形態では、生体試料の特定の視野内で、画像サブパネルは、同一サイズ及び同一解像度レベルを有する適合するセットであってもよい。画像サブパネルは、視野が分割画面に表示される場合に、組織特徴がサブパネルを横切って適切に整合するように、適切に登録することができる。

２つの画像サブパネルが提供される一実施例では、第１のサブパネルは視野の２つの部分の第１を表示することができ、第２のサブパネルは視野の２つの部分の第２を表示することができる。サブパネルに分割された後であっても、画像パネルは、視野全体を継ぎ目なく表示し続ける。全ての実施形態について、「継ぎ目がない」及び「隣接する」という用語は、輪郭線がサブパネルの隣接する端部の一方又は両方を覆い隠すように、或いは、サブパネルの隣接する端部が、設けられた輪郭線の幅で分離されるように、サブパネル間に輪郭を描く輪郭線を有する画像パネル表示にも適用することができることを、本発明は想定する。

例示的な実施形態では、種々の画像サブパネルの視野の各部分を表示するために、種々の表示タイプを用いることができる。例示的な実施形態で使用される種々の表示タイプとしては、これらに限定されないが、１以上の生体マーカーの発現、１以上の形態学的特徴の表示、１以上の解析結果の表示、１以上の可視化タイプによる表示（例えば、２値ヒートマップ、離散ヒートマップ、連続ヒートマップ、グレー又はカラー画素のグレースケール値の強度、２つ以上の生体マーカー発現の色混合）、並びに、上記のタイプのいずれかの組合せなどを挙げることができる。

２つの画像サブパネルが表示される一実施例では、第１のサブパネルは視野の第１の部分の第１の生体マーカーの発現レベルを表示することができ、第２のサブパネルは視野の第２の部分の第２の生体マーカーの発現レベルを表示することができる。２つの画像サブパネルが表示される別の実施例では、第１のサブパネルは視野の第１の部分の生体マーカーの発現レベルを表示することができ、第２のサブパネルは視野の第２の部分の１以上の形態学的特徴を表示することができる。２つの画像サブパネルが表示される別の実施例では、第１のサブパネルは視野の第１の部分の１以上の形態学的特徴を表示することができ、第２のサブパネルは視野の第２の部分の１以上の形態学的特徴を表示することができる。

例示的な実施形態によって提供される分割画面表示能力は、生体試料の種々の様相が視野の種々の部分にわたってどのように変化又は変動するかを比較するのに役立つ。例えば、分割画面表示によって、医療専門家又は研究者は、種々の関心のある場所にわたって、種々の生体マーカー又は生体マーカーの組合せ（例えば、１以上の撮像された生体マーカーを発現する細胞又は細胞のクラスタ）を解析することが可能になる。

分割画面表示の有利な特徴は、主画像パネルに表示される生体試料の画像又は視野の画像を、画像サブパネルを作成する前にコンピュータメモリへ完全にロードする必要がないということである。その代わりに、ユーザーはサブパネルに表示するための視野の所望の部分を選択することができ、それによって、ユーザー選択に関連する画像データだけを分割画面表示のためのコンピュータメモリへ選択的にロードすることができる。

分割画像パネルで視野を表示するために、種々の表示タイプの任意の好適な組合せを用いることができることを、当業者は認めるであろう。例えば、画像パネルの種々の画像サブパネルは、ゼロ、１以上の種々の生体マーカー発現、ゼロ、１以上の形態学的特徴、ゼロ、１以上の種々の解析結果、ゼロ、１以上の種々の可視化タイプ、或いは上記の任意の組合せを表示するように選択することができる。

例示的な画像パネルは、ユーザー選好、表示サイズ、表示解像度、などを含むがこれらに限定されない１以上の要因に基づいて、任意の好適な数のサブパネルに分割することができ、又はそれを提供することができる。画像パネルに形成又は提供されるサブパネルの例示的な数は、１、２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、１５などを含むが、これらに限定されない。

画像パネルは、画像パネルに同時に表示される２つ以上の画像サブパネルへの前分割としてロードすることができる。或いは、画像パネルは、ユーザー入力を受け取って、又は表示設定に基づいて、ロードされた後に分割することができる。

２つ以上の例示的な画像サブパネルは、例えば、水平、垂直、格子状構成などの任意の好適な方法で互いに画像パネルに構成することができる。画像サブパネルの空間構成は、視野の各部分がサブパネルの境界に正確に継ぎ目なく整合するように、視野の表示部分の空間構成に対応することができる。画像サブパネルは、視野が分割画面に表示される場合に、組織特徴が適切に整合するように、適切に登録することができる。例えば、水平に構成された左及び右のサブパネルは視野の左及び右の部分を継ぎ目なく表示することができ、垂直に構成された上及び下のサブパネルは視野の上及び下の部分を継ぎ目なく表示することができる。

図２〜図７は、本明細書では「ビューア」とも呼ばれる、分割画面表示を実現するために用いることができる例示的なグラフィカルユーザーインターフェース（ＧＵＩ）２００を示すが、他の好適なユーザーインターフェースを用いることもできる。図２は、生体試料の視野を表示するための主画像パネル２０２を含むＧＵＩ２００を示す。ユーザーは、主画像パネル２０２に表示するための所望の生体試料（例えば、スライド／スポット）を選択することができる。生体試料は、ＧＵＩ２００、コマンドパネル、又は他の任意の好適な手段を用いて選択することができる。

選択された生体試料は、ＧＵＩ２００に表示することができる対応する記憶された画像データを有することができる。表示タイプ選択コンポーネント２０４は、主画像パネル２０２の表示が利用できる１以上の表示タイプを選択するために、ユーザーが用いることができる。例示的な実施形態で使用される例示的な表示タイプとしては、これらに限定されないが、１以上の生体マーカーの発現、１以上の形態学的特徴の表示、１以上の解析結果の表示、１以上の可視化タイプによる表示（例えば、２値ヒートマップ、離散ヒートマップ、連続ヒートマップ、グレー又はカラー画素のグレースケール値の強度、２つ以上の生体マーカー発現の色混合）、並びに、上記のタイプのいずれかの組合せなどを挙げることができる。例えば、図２〜図７の表示タイプ選択コンポーネント２０４は、選択された生体試料について、ＶＤＡＢ可視化タイプがＣＤ３０生体マーカーに利用でき、グレースケール可視化タイプがＣＤ３０生体マーカーに利用でき、そしてＶＨＥ画像が利用できることを示す。

選択された生体試料について表示タイプのユーザー選択を受け取ると（例えば、選択をクリックして、及び／又は主画像パネル２０２にそれをドラッグして）、主画像パネル２０２は、選択された表示タイプに従って表示される視野を描画することができる。図３は、主画像パネル２０２の生体試料の視野の表示を示し、ＣＤ３０生体マーカーのＶＤＡＢ可視化タイプを表示している。

主画像パネル２０２に視野を表示すると、ＧＵＩ２００は、主画像パネル２０２に表示される視野がその一部である、生体試料全体の画像を表示する画像ナビゲーションコンポーネント２０６（図３〜図７に示す）を含むように更新することができる。画像ナビゲーションコンポーネント２０６は、ユーザーが選択した表示タイプ、例えば図３のＣＤ３０生体マーカーのＶＤＡＢ可視化タイプ、に従って生体試料を表示する。

画像ナビゲーションコンポーネント２０６は、生体試料の全体画面内の視野を詳細に描写するために、図３〜図７に示す視野選択コンポーネント２０８（例えば、十字線又は他の任意の好適なコンポーネント）を含むことができる。これによって、ユーザーが、生体試料全体（画像ナビゲーションコンポーネント２０６に表示される）において、視野（主画像パネル２０２に表示される）がある位置を検出することができる。視野選択コンポーネント２０８は、主画像パネル２０２が選択された視野を表示するために更新されるように、ユーザーが画像ナビゲーションコンポーネント２０６に表示される生体試料の任意の視野を選択できるようにするための対話コンポーネントであってもよい。同様に、ユーザーは、視野選択コンポーネント２０８を用いて、連続的で滑らかな方法で種々の視野を閲覧することができる。ユーザーは、視野選択コンポーネント２０８を選択して（例えば、マウスカーソルでそれをクリックすることにより）、視野選択コンポーネント２０８を新規な種々の視野にドラッグアンドドロップすることができる。例示的な実施形態では、カーソルをリリースすることによって視野選択コンポーネント２０８をドロップすると、主画像パネル２０２は、自動的に更新されて、新規な視野を表示することができる。例示的な実施形態では、視野選択コンポーネント２０８がユーザーによってドラッグされる間に、主画像パネル２０２が自動的に更新されてもよい。いくつかの実施形態では、ユーザーがユーザーインターフェースと対話するにつれて、この更新がリアルタイムに実行されてもよいし、或いは、代わりに、ユーザーが視野の新規な位置を選択した後、タイムラグの後に、この更新が実行されてもよい。

いくつかの実施形態では、画像ナビゲーションコンポーネント２０６は、主画像パネル２０２より小さくて、生体試料のより低い解像度表示を提供する。他の実施形態では、画像ナビゲーションコンポーネント２０６は、主画像パネル２０２と同一サイズ、又はそれより大きくてもよい。

図３に示すように、主画像パネル２０２は、ズームの特定のレベル又はズームの相対レベルをユーザーが入力できるようにする（例えば、ズームスライダ及び／又はズームボタンを用いて）ためのズーム入力ツール２１０を含むことができる。現行の相対的なズームレベルは、ズームインジケータ２１２の画像パネルに示すことができる。場合によっては、ズームレベルは、ユーザーによって、又はシステムによって自動的に、デフォルトレベルにリセットされてもよい。いくつかの例示的な実施形態では、ユーザーインターフェースは、直接主画像パネル２０２の画像上でポインティングデバイスを用いて、例えば、マウスの右ボタンをクリックすることによって、拡大及び縮小することを可能にすることができる。いくつかの例示的な実施形態では、ユーザーインターフェースは、キーボードショートカットを用いて、拡大及び縮小することを可能にすることができ、例えば、「Ｃｔｒｌ」キー及び「＋」キーの組合せを用いて拡大し、「Ｃｔｒｌ」キー及び「−」キーの組合せを用いて縮小することができる。主画像パネル２０２が新規なズームレベルに従って更新されると、画像ナビゲーションコンポーネント２０６の視野選択コンポーネント２０８は、自動的に更新されて、主画像パネル２０２に示される更新された視野の輪郭を正しく描くことができる。例示的な実施形態では、ユーザーインターフェースを実行する計算装置は、新規なズームレベルがタイル状の複数解像度データ構造の異なる解像度レベルから画像データを必要としていることを決定することができ、そしてその解像度レベルから画像データの１以上のタイルを読み出すことができる。

図３に示すように、主画像パネル２０２は、生体試料の新規な視野にパンするためのパン入力ツール２１４を含むことができる。パン入力ツール２１４によって、主画像パネル２０２に表示される視野を調整するためのスライダを用いて、生体試料のパニングの特定のレベル又はパニングの相対レベルをユーザーが入力することが可能になる。場合によっては、パン設定は、主画像パネル２０２の初めに表示された視野を表示するようにリセットされてもよい。いくつかの例示的な実施形態では、ユーザーインターフェースは、例えば、画像上のマウスの左ボタンをクリックし、画像を横切ってカーソルをドラッグし、新規な視野を表示するためにそれをリリースすることによって、直接主画像パネル２０２上のポインティングデバイスを用いて、パニングを可能にすることができる。いくつかの例示的な実施形態では、ユーザーインターフェースは、キーボードショートカットを用いてパニングを可能にすることができる。

一実施形態では、主画像パネル２０２は、カーソルのリリースに応じて新規な視野を表示するように更新することができる。別の実施形態では、主画像パネル２０２は、ユーザーが画像を横切ってカーソルをドラッグするにつれて、リアルタイムに更新されてもよいし、或いは、代わりに、ユーザーが選択した視野を動かした後、タイムラグの後に実行されてもよい。例示的な実施形態では、ユーザーインターフェースを実行する計算装置は、画像データのタイルの異なるセットが新規な視野を表示するために必要であることを決定することができ、そしてタイル状の複数解像度データ構造からタイルのセットを読み出すことができる。

いくつかの実施形態では、パン入力ツール２１４は、ユーザーが主画像パネル２０２に表示された視野を回転できるようにすることもできる。

主画像パネル２０２が新規な視野を表示するように更新されると、画像ナビゲーションコンポーネント２０６の視野選択コンポーネント２０８は、自動的に更新されて、試料における視野の位置を正しく示すことができる。

図４に示すように、主画像パネル２０２は、主画像パネル２０２が同時表示（例えば、サブパネル２１８、２２０）のための２つ以上の画像サブパネルに分割され、又はそれで提供されるべきであることをユーザーが示すことを可能にする、１以上のスプリッタコンポーネント２１６を含むことができる。例示的な実施形態では、同時表示のためにいくつのサブパネルを生成するかについて、ユーザーが選択することができる。或いは、システムは、記憶された初期設定で示されるいくつかのサブパネルを生成することができる。例示的な実施形態では、画像パネル２０２においてサブパネルをどのように構成するかについて、ユーザーが選択することができる。或いは、システムは、記憶された初期設定に従ってサブパネルを構成することができる。例示的な実施形態では、ユーザーは、主画像パネル２０２から画像サブパネルを除去することができる。

表示タイプ選択コンポーネント２０４は、サブパネル２１８、２２０の表示のための表示タイプを示すために、ユーザーが用いることができる。サブパネルの表示タイプのユーザー選択を受け取ると（例えば、選択をクリックして、サブパネル上にそれらをドラッグすることによって）、例示的な実施形態は、サブパネルの集まりが視野全体を示すように、異なるサブパネル２１８、２２０に視野（画像ナビゲーションコンポーネント２０６で選択される）の隣接する部分を表示することができる。各サブパネルは、視野の対応する部分について異なる表示タイプを描画することができる（例えば、生体マーカーの発現レベル、解析結果、可視化タイプを描画することによって）。

図４は、主画像パネル２０２の２つの例示的な画像サブパネル２１８、２２０の表示を示し、サブパネルは視野の左及び右の部分を表示するために互いに水平に構成される。画像サブパネルを、例えば、図５に示す垂直構成（上及び下のサブパネル２１８’、２２０’は視野の上及び下の部分を表示する）、格子状などに配置するために、任意の好適なパターンが可能である。図４では、第１のサブパネル２１８は第１の表示タイプ（ＣＤ３０生体マーカーのためのＶＤＡＢ可視化タイプ）に従って視野の左の部分を表示し、第２のサブパネル２２０は第２の表示方式（ＶＨＥ画像）に従って視野の右側部分を表示する。

各サブパネルは、倍率レベルを増加及び減少するための対応するズーム入力ツール２１０’、２１０’’、及び異なる視野にパンするためのパン入力ツール２１４’、２１４’’を有することができる。拡大及び縮小すると、新規に拡大された視野は、視野の隣接する部分が継ぎ目なくサブパネルに表示されるように、画像パネル２０２に表示することができる。例えば、図６は、画像サブパネル２１８、２２０の拡大された表示を示し（図４のズームレベルと比較して）、サブパネルは新規に拡大された視野の隣接する部分を示すように構成される。図６は、例示的なユーザーインターフェースを示す図であり、左のサブパネルは視野の左の部分の生体マーカーの発現レベルを示し、右のサブパネルは視野の右の部分の形態学的特徴を示す画像を表示している。いくつかの実施形態では、１つの画像サブパネルの解像度を更新するために拡大及び縮小することは、それらが同じスケール又は解像度で表示するように、全てのサブパネルを自動的に更新することができる。例示的な実施形態では、ユーザーインターフェースを実行する計算装置は、新規なズームレベルがタイル状の複数解像度データ構造の異なる解像度レベルから画像データを必要としていることを決定することができ、そしてその解像度レベルから画像データの１以上のタイルを読み出すことができる。

一実施形態では、サブパネルは、同じ画像スケールに維持することができる。他の実施形態では、サブパネルは、種々のスケールで構成することができる。

各サブパネル２１８、２２０は、パン入力ツール２１２’、２１２’’を含んでもよい。さらに、ユーザーは、異なる視野にパンするために、画像ナビゲーションコンポーネント２０６の視野選択コンポーネント２０８を用いることができる。新規な視野にパンすると、新規な視野は、視野の隣接する部分が継ぎ目なくサブパネルに表示されるように、画像パネル２０２に表示することができる。例えば、図６は、画像サブパネル２１８、２２０に表示された異なる視野を示し（図４に示す視野と比較して）、サブパネルは新規な視野の隣接する部分を示すように構成される。いくつかの実施形態では、１つの画像サブパネルでパンすると、全てのサブパネルは、それに応じてパンするように自動的に更新することができる。例示的な実施形態では、ユーザーインターフェースを実行する計算装置は、画像データのタイルの異なるセットが新規な視野を表示するために必要であることを決定することができ、そしてタイル状の複数解像度データ構造からタイルのセットを読み出すことができる。

例示的な実施形態では、図４〜図７に示すように、主画像パネル２０２は、２つ以上の画像サブパネル２１８、２２０の間の境界に配置される１以上のインタラクティブなスライダコンポーネント２２２を含むことができる。スライダコンポーネント２２２は、異なるサブパネル２１８、２２０によって占められた画像パネル２０２の相対的な部分を再構成するために用いることができる。例えば、１以上のサブパネルのサイズを小さくして、表示される１以上の他のサブパネルのサイズを大きくするために、画像パネル２０２を横切ってスライダコンポーネント２２２をドラッグすることができる。これは、巻上カーテンのように、１つの画像サブパネルを別の画像サブパネルの上にドラッグする視覚的効果を生成することができる。図７は、右のサブパネル２２０のサイズを小さくして、左のサブパネル２１８のサイズを大きくするために、スライダコンポーネント２２２を右の方へドラッグする例を示す。サブパネルが視野の隣接する部分を表示するように、同じ視野がサブパネル２１８、２２０の集まりによって表示される。この例では、左のサブパネル２１８は同じ視野のより大きい部分を示すように（左のサブパネルと関係する表示タイプに従って）更新され、右のサブパネル２２０は同じ視野のより小さい部分を示すように（右のサブパネルと関係する表示タイプに従って）更新される。

いくつかの例示的な実施形態では、ユーザーインターフェース２００は、ユーザーが画像サブパネルのいずれかに表示するための１以上の形態学的特徴を選択することを可能にするための形態選択コンポーネントを含むことができる。１以上の形態学的特徴を選択するユーザー入力を受けると、これらの特徴は、例えば画像オーバレイのように、関連した画像サブパネルに表示することができる。例示的な形態学的特徴は、これらに限らないが、細胞、細胞の集まり、細胞下構成要素（例えば、核、細胞質、膜）などを含む。

いくつかの実施形態では、ユーザーインターフェースは、ユーザーが画像サブパネルのいずれかに画像解析結果（例えば、区分化解析の結果）を重ね合わせることを可能にすることができる。

図８は、生体試料の視野の分割画面表示を提供するための例示的なコンピュータ実行方法のフローチャートである。ステップ８０２では、グラフィカルユーザーインターフェースを視覚表示装置に描画することができる。ステップ８０４では、生体試料の視野を表示するために、ユーザーインターフェースに画像パネルを描画することができる。ステップ８０６では、ユーザーが画像パネルを２つ以上の画像サブパネルに分割することを可能にするために、スプリッタコンポーネントをユーザーインターフェースに描画することができる。

ステップ８０８では、画像パネルを２つ以上の画像サブパネルに分割するために、スプリッタコンポーネントでユーザー入力を受け取ることができ、各サブパネルは視野の異なる部分を表示するように構成される。ユーザー入力は、グラフィカルユーザーインターフェースで、或いは異なるユーザーインターフェース又はコマンドプロンプトで受け取られてもよい。いくつかの例示的な実施形態では、ユーザー入力は、ユーザーインターフェースで画像サブパネルの構成を特定することができる。或いは、例示的な実施形態は、記憶された設定に基づいて、画像パネルを分割するかどうか、及びどのように分割するかを決定することができる。

ステップ８１０では、生体試料の画像から視野を選択するユーザー入力を受け取ることができる。ステップ８１２では、異なる画像サブパネルの視野の各部分を描画するための２つ以上の表示タイプを選択するユーザー入力を受け取ることができる。

一実施例では、ユーザー入力は、第１の画像サブパネルが視野の第１の部分の第１の生体マーカーの発現レベルを表示し、第２の画像サブパネルが視野の第２の部分の第２の生体マーカーの発現レベルを表示することを指定することができる。別の実施例では、ユーザー入力は、第１の画像サブパネルが視野の第１の部分の生体マーカーの発現レベルを表示し、第２の画像サブパネルが視野の第２の部分の１以上の形態学的特徴を表示することを指定することができる。別の実施例では、ユーザー入力は、第１の画像サブパネルが視野の第１の部分の１以上の形態学的特徴の第１のセットを表示し、第２の画像サブパネルが視野の第２の部分の１以上の形態学的特徴を表示することを指定することができる。

ステップ８１４では、サブパネルごとに、例示的な実施形態は、サブパネルに表示される視野の一部のために選択された表示タイプの画像データに選択的に対応するデータセットを決定することができる。

例示的な実施形態では、ステップ８１４で、ユーザーインターフェースを提供する計算装置は、タイル状の複数解像度データ構造に生体試料の画像データを記憶する遠隔サーバーから画像データにアクセスしてもよい。この場合には、ユーザーインターフェースを実行する計算装置は、その目的のために選択的に必要となるデータのタイルを決定することができ、サーバーにそれらの選択的なタイルだけを要求することができる。すなわち、いくつかの実施形態では、生体試料全体の画像データを要求することができず、或いは、ユーザーインターフェースに予めロードすることができないが、むしろ、所与の時間に必要となる画像データのセットだけをサーバーに要求することができる。一例として、ＧＵＩ２００に表示される画像のズームレベルが調整される場合には、適切なピラミッドレベルからタイル画像を要求するように、計算装置をプログラムすることができる。別の例として、ＧＵＩ２００に表示される画像のパン動作を実行する場合には、主パネル及び／又はサブパネル内に表示される画像の新規な部分のタイル画像を要求するように、計算装置をプログラムすることができる。この方法を用いることは、要求に対応する際のサーバーオーバーヘッドを最小にし、そのユーザーインターフェースのための計算装置へ転送する必要のある画像データの量を低減し、それによって、ユーザーの対話及び要求に対する応答の際に、ユーザーインターフェースを高速かつ効率的にする。データの要求に応答して、サーバーは、データの要求されたタイルにアクセスすることができ、場合によっては、データの解析又は確認を実行することができる。それから、サーバーは、データのタイルをストリーミング方法で計算装置へ転送することができる。

画素データの個別のセットは、種々の画像サブパネルについて遠隔サーバーから読み出される。画像サブパネルごとに、ユーザーインターフェースを提供する計算装置は、サブパネルにおいて表示される、生体試料の識別、並びに１以上の生体マーカー及び／又は形態学的特徴の識別を決定することができる。識別に基づいて、アクセスする適切なデータ構造を決定するように、計算装置をプログラムすることができる。例えば、第１の画像サブパネルが第１の生体マーカーの発現レベルを含む特定のスライド−スポットから生体試料を表示する場合には、計算装置は、第１の生体マーカー及び特定のスライド−スポットの両方に特有の、図９Ａに示す第１のデータ構造９０２を識別できてもよい。同様に、第２の画像サブパネルが第２の生体マーカーの発現レベルを含むスライド−スポットから生体試料を表示する場合には、計算装置は、第２の生体マーカー及びスライド−スポットの両方に特有の、図９Ｂに示す第２のデータ構造９０４を識別できてもよい。

画像サブパネルごとに、画像データのためにタイル状の複数解像度データ構造のどの解像度層にアクセスするべきかを決定するように、計算装置をプログラムすることができる。この目的のために、計算装置は、画像サブパネルが視野を表示する、又は視野を表示するように要求される解像度を、（例えば、ズーム設定及び／又はパネルサイズを精査することによって）決定することができる。この決定に基づいて、計算装置は、適切な解像度層であるデータ構造の画像にアクセスすることができる。例えば、図６に示すように、画像サブパネルが視野の拡大されたバージョンを示す場合には、計算装置は、データ構造の最も高い解像度層の画像にアクセスすべきであることを決定することができる。

画像サブパネルごとに、画像の画像データのどのタイルにアクセスするべきかを決定するように、計算装置をプログラムすることができる。この目的のために、計算装置は、主画像パネルに表示される生体組織の視野、及び画像サブパネルに表示される視野の部分を解析することができる。解析に基づいて、計算装置は、アクセスする画像データの各部分又はタイルを決定することができる。画像データの関連したタイルは、それによって、画像サブパネルを表示するのに必要な画素データに対応し、そのようにして、画像サブパネルの集まりは、それらが主画像パネルの継ぎ目のない隣接する視野を集合的に表示するように正しく整合された境界を有する。

図９Ａ及び図９Ｂは、２つの画像サブパネルに対応するデータ構造９０２、９０４の表現を示す。この例では、第１のサブパネルは第１のデータ構造９０２に含まれるデータを用いて生成され、第２のサブパネルは第２のデータ構造９０４に含まれるデータを用いて生成される。第１のサブパネルが第１のデータ構造９０２のピクセル画像データを含むタイル９０６の第１のセットに対応すること、及び、第２のサブパネルが第２のデータ構造９０４のピクセル画像データを含むタイル９０８の第２のセットに対応することを決定するように、計算装置をプログラムすることができる。第１のデータ構造９０２からタイル９０６の第１のセットを、及び第２のデータ構造９０４からタイル９０８の第２のセットを選択的に読み出す要求を生成するように、計算装置をプログラムすることができる。要求は、データ構造を記憶する遠隔サーバーに送信することができる。それに応答して、サーバーは、要求されたタイルに容易にかつ迅速にアクセスし、計算装置にそれらを送信することができる。他の実施形態では、ユーザーインターフェースを提供する計算装置と異なる計算装置が、決定ステップ８１４を実行してもよい。

ステップ８１６では、例示的実施態様は、画像データを記憶しているサーバーに対して、ステップ８１４の異なる画像サブパネルについて決定された選択的なデータセットを要求することができる。ステップ８１８では、例示的な実施形態は、要求に基づいてサーバーからストリーミング方法で要求したデータセットを受け取ることができる。例示的な実施形態では、ユーザーがユーザーインターフェースと対話するにつれて、データセットをリアルタイムに受け取ることができ、或いは、その代わりに、ユーザーがユーザーインターフェースと対話した後のタイムラグの後に受け取ることができる。

ステップ８２０では、例示的な実施形態は、ステップ８１２からのユーザー入力に基づいて、画像パネルを複数の画像サブパネルに分割することができる。或いは、画像パネルは、画像サブパネルによって予めロードすることができる。

ステップ８２２では、例示的な実施形態は、サーバーから受け取ったデータに基づいて、異なる画像サブパネルの選択された視野の異なる部分を表示することができ、その結果、サブパネルの集まりは視野全体を表示する。例示的な実施形態は、分割画面表示を形成するために、サブパネルの境界を整合又は登録することができる。

例示的な実施形態によって、ユーザーインターフェースのサブパネル構成を維持しながら、ユーザーはスムーズに生体試料の種々の視野を閲覧することができる。ユーザーが視野を変更すると、新規な視野の隣接する部分が対応する画像サブパネルに自動的に表示されるように、新規な視野が画像パネルに表示される。ステップ８２４では、画像パネルに表示された生体試料の視野を変更するために、ユーザー入力を受け取ることができる。その結果、ステップ８１０〜８２２を繰り返すことができる。

図８の例示的な方法が例示的なフローチャートに示したよりも多くの又は少しのステップを含むことができ、また例示的なフローチャートのステップが図示したものと異なる順序で実行することができることを、当業者は認めるであろう。

生体試料の生体マーカー発現の例示的な選択及び表示
いくつかの例示的な実施形態では、主画像パネルは、生体試料の画像又は画像の一部に対応する視野を表示するために提供することができ、そして、生体マーカーパネルは、領域の種々の様相（例えば、領域の種々の生体マーカーの発現レベル）を同時に見るための視野の領域のサムネイル画像を表示するために、提供することができる。サムネイルが主画面の画像の構成の特徴を望ましく示すことができるので、本発明のこの特徴は口語体で「デジタルプリズム」と呼ぶことができる。視野の選択領域を選択又は更新すると、サムネイル画像は、それに応じて自動的に更新されて、新しく選択された領域を表示することができる。主画像パネルは、生体試料の画像を望ましく含み、主画像パネルに表示される視野内に領域を詳細に描写するための関心領域選択コンポーネント（例えば、十字線又は他の任意の好適なコンポーネント）を含むことができる。例示的な実施形態では、関心領域選択コンポーネントは、主画像パネルに表示された視野の一部の上に重ね合わせることができ、生体マーカーパネルに表示された視野の領域を選択又は更新するために、ユーザーが用いることができる。

生体マーカーパネルは、関心領域選択コンポーネント内に輪郭が描かれた視野の領域の１以上のサムネイル画像の１セットを含むように構成することができる。サムネイル画像は、同じ領域の種々の様相又は表示タイプ、例えば、種々の生体マーカーの発現、形態学的ユニットの発現、解析結果、上記の表示タイプの組合せなどを表現することができる。例えば、各サムネイル画像は、視野のそれぞれの領域の異なる生体マーカー又は生体マーカーの組合せの発現レベルを表示することができる。例示的な実施形態では、主画像パネルが１以上の生体マーカーの発現レベルを表示する場合には、生体マーカーパネルは、サムネイル画像が主画像パネルに表示される生体マーカーに対応する指標を提供することができる。サムネイル画像は、それが選択されたサムネイル画像の生体マーカーを表示するように、ユーザーによって主画像パネルを更新するように選択することができる。

サムネイル画像は、生体マーカーパネルにおいて簡素で組織化された方法で視野の領域の種々の様相を見ることを可能にする。いくつかの例示的な実施形態では、サムネイル画像は、主画像パネルよりもサイズ及びスケールが小さくてもよく、したがって、結果として使いにくい混んだインターフェースにはならない。さらにまた、サムネイル画像の表示は、いくつかの実施形態では小さいにもかかわらず、視野全体より小さい領域に基づいており、したがって、サムネイル画像を容易に見て解釈するのに十分に高い解像度で表示することができる
また関心領域選択コンポーネントは、主画像パネルに描画される視野の任意の関心領域を選択的に表示するように、サムネイル画像の自動更新を可能にする。ユーザーは、主画像パネルの関心領域、例えば、関心のある１以上の形態学的特徴を含む領域（例えば、細胞、細胞の集まり、細胞下構成要素）に、容易にかつ迅速に集中することができる。この能力は、サムネイルを、単純なナビゲーション援助から迅速に生体マーカー発現パターンを調べるために用いることができるツールに変換する。

例示的なユーザーインターフェースを用いる特定の臨床応用は、迅速なやり方で２つ以上の生体マーカーの評価を必要とする。この評価は、生体マーカーを完全に可視化するサムネイル画像に基づいて生体マーカーの間の迅速で直観的なナビゲーションを提供する生体マーカーパネルによって加速される。また評価は、サムネイル画像に目標とする情報を表示することによっても加速される。例えば、サムネイル画像は、それらが生体試料の視野において正確な関心領域を表すように更新できるので、さらに有益になる。ホジキンリンパ腫の評価は、リードスターンバーグ細胞の生体マーカー発現だけが診断に重要であり、例示的な実施形態の能力が特に役立つ例示的な用途である。

例示的な生体マーカーパネルは、任意の好適な数のサムネイル画像を含むように構成することができる。生体マーカーパネルに提供されるサムネイル画像の例示的な数は、１、２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、１５などを含むが、これらに限定されない。

生体マーカーパネルは、生体マーカーパネルに表示する１以上の生体マーカーについての記憶されたデフォルト設定に基づいて１セットのサムネイル画像を含むように、ロードすることができる。或いは、生体マーカーパネルは、生体マーカーパネルに表示する１以上の生体マーカーについてのユーザー入力を受け取ると、１セットのサムネイル画像によって提供することができる。

２つ以上の例示的なサムネイル画像は、生体マーカーパネルにおいて任意の好適なパターン又は方法で、例えば、互いに水平に、互いに垂直に、又は格子状構成に構成することができる。サムネイル画像は、記憶されたデフォルト設定又はユーザー選好で指定された構成で生体マーカーパネルへロードすることができる。或いは、生体マーカーパネルにおいてサムネイル画像をどのように構成するかについて、ユーザーが指定することができる。さらに、使用中に、ユーザーは、例えば、生体マーカーの臨床関連に基づいて、生体マーカーパネルのサムネイル画像を（例えば、マウスカーソルを用いてドラッグアンドドロップすることによって）再構成することができる。生体試料の臨床状態を診断する際に非常に関連する生体マーカーのサムネイル画像は、例えば、サムネイル画像の順番で最初に配置することができる。サムネイル画像が生体試料についてリロードされると、サムネイル画像が保存された設定により構成されるように、サムネイル画像の順序付け又は再順序付けを設定として保存することができる。

図１０〜図１４は、生体試料の生体マーカー発現の選択及び表示を可能にするために用いることができる例示的なグラフィカルユーザーインターフェース（ＧＵＩ）１０００を示すが、他の好適なユーザーインターフェースを用いることができる。図１０は、生体試料の視野を表示するための主画像パネル１００２、及び生体試料の視野の領域と関係する生体マーカー発現のサムネイル画像を表示するための生体マーカーパネル１００４を含むＧＵＩ１０００を示す。主画像パネル１００２に表示される視野が通常は生体試料の全体画像の一部に対応することを、本発明は想定する。

ユーザーは、主画像パネル１００２に表示するための所望の生体試料（例えば、スライド／スポット）を選択することができる。生体試料は、ＧＵＩ１０００、コマンドパネル、又は他の任意の好適な手段を用いて選択することができる。選択された生体試料は、ＧＵＩ１０００に表示することができる対応する記憶された画像データを有することができる。例示的な画像データとしては、これらに限らないが、１以上の生体マーカーの発現データ、１以上の形態学的特徴の表示データ、１以上の画像解析技術の結果などを挙げることができる。表示タイプ選択コンポーネント１００６は、主画像パネル１００２の表示が利用できる１以上の表示タイプを示すために、ユーザーが用いることができる。例示的な実施形態で使用される例示的な表示タイプとしては、これらに限定されないが、１以上の生体マーカーの発現、１以上の形態学的特徴の表示、１以上の解析結果の表示、１以上の可視化タイプによる表示（例えば、２値ヒートマップ、離散ヒートマップ、連続ヒートマップ、グレーもしくはカラー画素の強度、又は２つ以上の生体マーカー発現の色混合）、並びに、上記のタイプのいずれかの組合せなどを挙げることができる。

選択された生体試料について表示タイプのユーザー選択を受け取ると（例えば、選択をクリックし、主画像パネル１００２にそれをドラッグして）、主画像パネルは、選択された表示タイプに従って表示される視野を描画することができる。図１１は、主画像パネル１００２の生体試料の視野の表示を示し、ＣＤ３０生体マーカーのＶＤＡＢ可視化タイプを表示している。

いくつかの例示的な実施形態では、ユーザーインターフェース１０００は、ユーザーが主画像パネル１００２に表示するための１以上の形態学的特徴を選択することを可能にするための形態選択コンポーネントを含むことができる。１以上の形態学的特徴を選択するユーザー入力を受けると、これらの特徴は、例えば画像オーバレイのように、主画像パネル１００２に表示することができる。例示的な形態学的特徴は、これらに限らないが、細胞、細胞の集まり、細胞下構成要素（例えば、核、細胞質、膜）などを含む。

いくつかの実施形態では、ユーザーインターフェースは、ユーザーが主画像パネル１００２に画像解析結果（例えば、区分化解析の結果）を重ね合わせることを可能にすることができる。

主画像パネル１００２に視野を表示すると、ＧＵＩ１０００は、主画像パネル１００２に表示される視野がその一部である、生体試料全体を表示する画像ナビゲーションコンポーネント１００８を含むように更新することができる。画像ナビゲーションコンポーネント１００８は、ユーザーが選択した表示タイプに従って生体試料を表示する。

画像ナビゲーションコンポーネント１００８は、生体試料の全体画面内の視野を詳細に描写するために、視野選択コンポーネント１０１０（例えば、十字線又は他の任意の好適なコンポーネント）を含むことができる。これによって、ユーザーが、生体試料全体（画像ナビゲーションコンポーネント１００８に表示される）において、視野（主画像パネル１００２に表示される）がある位置を検出することができる。視野選択コンポーネント１０１０は、主画像パネル１００２が選択された視野を表示するために更新されるように、ユーザーが画像ナビゲーションコンポーネント１００８に表示される生体試料の任意の視野を選択できるようにするための対話コンポーネントであってもよい。同様に、ユーザーは、視野選択コンポーネント１０１０を用いて、連続的で滑らかな方法で種々の視野を閲覧することができる。ユーザーは、視野選択コンポーネント１０１０を選択して（例えば、マウスカーソルでそれをクリックすることにより）、視野選択コンポーネント１０１０を新規な種々の視野にドラッグアンドドロップすることができる。例示的な実施形態では、カーソルをリリースすることによって視野選択コンポーネント１０１０をドロップすると、主画像パネル１００２は、自動的に更新されて、新規な視野を表示することができる。例示的な実施形態では、視野選択コンポーネント１０１０がユーザーによってドラッグされる間に、主画像パネル１００２が自動的に更新されてもよい。いくつかの実施形態では、ユーザーがユーザーインターフェースと対話するにつれて、この更新がリアルタイムに実行されてもよいし、或いは、代わりに、ユーザーが視野の新規な位置を選択した後、タイムラグの後に、この更新が実行されてもよい。

いくつかの実施形態では、画像ナビゲーションコンポーネント１００８は、主画像パネル１００２より小さくて、生体試料のより低い解像度表示を提供する。他の実施形態では、画像ナビゲーションコンポーネント１００８は、主画像パネル１００２と同一サイズ、又はそれより大きくてもよい。

図１１に示す例示的な実施形態では、主画像パネル１００２は、ズームの特定のレベル又はズームの相対レベルをユーザーが入力できるようにする（例えば、ズームスライダ及び／又はズームボタンを用いて）ためのズーム入力ツール１０１２を含むことができる。現行の相対的なズームレベルは、ズームインジケータ１０１４の画像パネルに示すことができる。場合によっては、ズームレベルは、ユーザーによって、又はシステムによって自動的に、デフォルトレベルにリセットされてもよい。いくつかの例示的な実施形態では、ユーザーインターフェースは、直接主画像パネル１００２の画像上でポインティングデバイスを用いて、例えば、マウスの右ボタンをクリックすることによって、拡大及び縮小することを可能にすることができる。いくつかの例示的な実施形態では、ユーザーインターフェースは、キーボードショートカットを用いて、拡大及び縮小することを可能にすることができ、例えば、「Ｃｔｒｌ」キー及び「＋」キーの組合せを用いて拡大し、「Ｃｔｒｌ」キー及び「−」キーの組合せを用いて縮小することができる。主画像パネル１００２が新規なズームレベルに従って更新されると、画像ナビゲーションコンポーネント１００８の視野選択コンポーネント１０１０は、自動的に更新されて、主画像パネル１００２に示される対応する更新された視野の輪郭を正しく描くことができる。例示的な実施形態では、ユーザーインターフェースを実行する計算装置は、新規なズームレベルがタイル状の複数解像度データ構造の異なる解像度レベルから画像データを必要としていることを決定することができ、そしてその解像度レベルから画像データの１以上のタイルを読み出すことができる。

例示的な実施形態では、主画像パネル１００２は、生体試料の新規な視野にパンするためのパン入力ツール１０１６を含むことができる。パン入力ツール１０１６によって、スライダを用いて、生体試料のパニングの特定のレベル又はパニングの相対レベルをユーザーが入力することが可能になる。場合によっては、パン設定は、主画像パネル１００２の初めに表示された視野を表示するようにリセットされてもよい。いくつかの例示的な実施形態では、ユーザーインターフェースは、例えば、画像上のマウスの左ボタンをクリックし、画像を横切ってカーソルをドラッグし、新規な視野を表示するためにそれをリリースすることによって、直接主画像パネル１００２上のポインティングデバイスを用いて、パニングを可能にすることができる。一実施形態では、主画像パネル１００２は、カーソルのリリースに応じて新規な視野を表示するように更新することができる。一実施形態では、主画像パネル１００２は、ユーザーが画像を横切ってカーソルをドラッグするにつれて、リアルタイムに更新されてもよいし、或いは、代わりに、ユーザーがユーザーインターフェースと対話した後、タイムラグの後に実行されてもよい。いくつかの例示的な実施形態では、ユーザーインターフェースは、キーボードショートカットを用いてパニングを可能にすることができる。主画像パネル１００２が新規な視野を表示するように更新されると、画像ナビゲーションコンポーネント１００８の視野選択コンポーネント１０１０は、自動的に更新されて、主画像パネル１００２に示された試料における視野の位置を正しく示すことができる。

主画像パネル１００２は、主画像パネル１００２に表示される視野内に領域を詳細に描写するための関心領域選択コンポーネント１０１８（例えば、十字線又は他の任意の好適なコンポーネント）を含むことができる。例示的な実施形態では、関心領域選択コンポーネント１０１８は、主画像パネル１００２に表示される一部の視野の上に重ね合わせることができる。生体マーカーパネル１００４は、関心領域選択コンポーネント１０１８内に輪郭が描かれた視野の一部の１以上のサムネイル画像の１セットを含むように構成することができる。サムネイル画像は、同じ領域の種々の様相又は表示タイプ、例えば、種々の生体マーカーの発現、形態学的ユニットの発現、解析結果、上記の表示タイプの組合せなどを表現することができる。例えば、各サムネイル画像は、視野の領域の異なる生体マーカー又は生体マーカーの組合せの発現レベルを表示することができる。生体マーカー発現レベルは、例えば任意の好適な可視化タイプ（例えば、２値ヒートマップ、離散ヒートマップ、連続ヒートマップ、グレー又はカラー画素のグレースケール値の強度、２つ以上の生体マーカー発現の色混合）で表示することができる。

例示的な実施形態では、主画像パネル１００２が１以上の生体マーカーの発現レベルを表示する場合には、生体マーカーパネル１００４は、サムネイル画像が主画像パネルに表示される生体マーカーに対応する指標を提供することができる。

いくつかの例示的な実施形態では、特定の生体マーカーに対応するサムネイル画像を選択するユーザー入力を受け取ることができる。これに応答して、例示的な実施形態は、生体試料の視野の特定の生体マーカーの発現レベルを表示するように、主画像パネル１００２を更新することができる。

サムネイル画像は、生体マーカーパネル１００４において簡素で組織化された方法で視野の領域の種々の様相を見ることを可能にする。いくつかの例示的な実施形態では、サムネイル画像は、主画像パネル１００２の表示よりもサイズ及び／又はスケールが小さくてもよく、したがって、結果として混んだインターフェースにはならない。他の実施形態では、サムネイル画像は、サイズ及び／又はスケールが主画像パネル１００２の表示と等しいか、又はそれより大きくてもよい。サムネイル画像の表示は、いくつかの実施形態では小さいにもかかわらず、視野全体より小さい領域に基づいており、したがって、サムネイル画像は、サムネイル画像を容易に見て解釈するのに十分に高い解像度で表示することができる
生体マーカーパネル１００４のサイズ及び／又は空間寸法は、表示されるサムネイル画像の数及び／又はサイズに基づいて、自動的に設定及び／又はスケーリングすることができる。場合によっては、表示されるサムネイル画像の数は、いくつの生体マーカーを見るかに基づいてもよい。いくつかの実施形態では、ユーザーが手動で生体マーカーパネル１００４のサイズ及び／又は寸法を設定又はリセットすることが可能であってもよい。

生体マーカーパネル１００４のサムネイル画像のサイズ及び／又は空間寸法は、表示されるサムネイル画像の数及び／又は生体マーカーパネル１００４のサイズに基づいて、自動的に設定及び／又はスケーリングすることができる。いくつかの実施形態では、ユーザーが手動でサムネイル画像のサイズ及び／又は寸法を設定又はリセットすることが可能であってもよい。

図１４に示すように、各サムネイル画像は、サムネイル画像に表示される生体マーカー発現の可視化タイプのユーザー選択を受け取るための関連するツール１０２０を有することができる。例えば、ユーザーは、可視化タイプを、２値ヒートマップ、離散ヒートマップ、連続ヒートマップ、グレー又はカラー画素のグレースケール値の強度、シミュレーションされた明視野画像などを含む群から選択することができる。

図１４に示すように、各サムネイル画像は、生体マーカーパネル１００４からサムネイル画像を除去するためのユーザー入力を受け取るための関連するツール１０２２（例えば、クロスアイコン）を有することができる。サムネイル画像を除去するためのユーザー入力を受け取ると、生体マーカーパネル１００４は、選択されたサムネイル画像を除去するように自動的に更新することができる。同様に、生体マーカーパネル１００４は、ユーザーが新規なサムネイル画像を生体マーカーパネル１００４に追加することを可能にするツールを含むことができる。新規なサムネイル画像を追加するためのユーザー入力を受け取ると、生体マーカーパネル１００４は、選択されたサムネイル画像を追加するように自動的に更新することができる。

生体マーカーパネルの第１のサムネイル画像のスケール又は解像度を変更するために、生体マーカーパネル１００４でユーザー入力を受け取ることができる。ユーザー入力は、第１のサムネイル画像のサイズを変更するために、例えば境界をドラッグすることによって提供することができる。ユーザー入力に応答して、例示的な実施形態は、第１のサムネイル画像のスケール又は解像度を変更するために、生体マーカーパネルを更新することができる。一実施形態では、全てのサムネイル画像が同一の解像度を有するように、残りのサムネイル画像のスケール又は解像度を第１のサムネイル画像のそれに設定するために、生体マーカーパネル１００４を更新することもできる。

生体マーカーパネル１００４の第１のサムネイル画像に表示される視野の一部を変更するために、関心領域選択コンポーネント１０１８でユーザー入力を受け取ることができる。ユーザー入力は、関心領域選択コンポーネント１０１８のサイズを変更するために、例えば境界をドラッグすることによって提供することができる。ユーザー入力に応答して、例示的な実施形態は、第１のサムネイル画像に表示される視野の一部を変更するために、生体マーカーパネル１００４を更新することができる。一実施形態では、全てのサムネイル画像が視野の同じ領域を表示するように、生体マーカーパネル１００４を更新することもできる。

関心領域選択コンポーネント１０１８は、主画像パネル１００２に描画される視野の任意の関心領域を選択的に表示するように、サムネイル画像の自動更新を可能にする。ユーザーは、主画像パネル１００２の関心領域、例えば、関心のある１以上の形態学的特徴を含む領域（例えば、細胞、細胞の集まり、細胞下構成要素）に、容易にかつ迅速に集中することができる。この能力は、サムネイルを、単純なナビゲーション援助から迅速に生体マーカー発現パターンを調べるために用いることができるツールに変換する。この能力を実施するために、関心領域選択コンポーネント１０１８は、ユーザーが主画像パネル１００２に表示される視野の任意の領域を選択できるようにするための対話コンポーネントとして構成することができる。ユーザーは、関心領域選択コンポーネント１０１８を用いて、連続的で滑らかな方法で視野内の種々の領域を閲覧することができる。ユーザーは、関心領域選択コンポーネント１０１８を選択して（例えば、マウスカーソルでそれをクリックすることにより）、関心領域選択コンポーネント１０１８を視野の種々の領域にドラッグアンドドロップすることができる。例示的な実施形態では、カーソルをリリースすることによって関心領域選択コンポーネント１０１８をドロップすると、生体マーカーパネル１００４のサムネイル画像は、自動的に更新されて、視野内の新規な領域を表示することができる。例示的な実施形態では、関心領域選択コンポーネント１０１８がユーザーによってドラッグされる間に、サムネイル画像が自動的に更新されてもよい。いくつかの実施形態では、ユーザーがユーザーインターフェースと対話するにつれて、この更新がリアルタイムに実行されてもよいし、或いは、代わりに、ユーザーがユーザーインターフェースと対話した後、タイムラグの後に、この更新が実行されてもよい。

或いは、視野内の種々の領域を閲覧するために、ユーザーは、主画像パネル１００２に表示された画像を選択し（例えば、マウスカーソルで画像をクリックすることによって）、関心領域選択コンポーネント１０１８に画像をドラッグアンドドロップして、画像の異なる領域が関心領域選択コンポーネント１０１８の境界内に入るようにすることができる。例示的な実施形態では、カーソルをリリースすることによって画像をドロップすると、生体マーカーパネル１００４のサムネイル画像が自動的に更新されて、関心領域選択コンポーネント１０１８によって輪郭が描かれた視野の新規な領域を表示することができる。例示的な実施形態では、画像がユーザーによってドラッグされる間に、サムネイル画像を自動的に更新することもできる。いくつかの実施形態では、ユーザーがユーザーインターフェースと対話するにつれて、この更新がリアルタイムに実行されてもよいし、或いは、代わりに、ユーザーがユーザーインターフェースと対話した後、タイムラグの後に、この更新が実行されてもよい。

例示的な実施形態は、ユーザーが、関心領域選択コンポーネント１０１８を主画像パネル１００２に表示される画像に対して固定配置にロックすることを可能にすることができる。またユーザーは、関心領域選択コンポーネント１０１８をアンロックして、主画像パネル１００２に表示される画像に対して移動可能又はドラッグ可能にすることが可能であってもよい。

図１２及び図１３は、関心のある形態学的特徴１２００（例えば、関心のある細胞）に集中するように、生体マーカーパネル１００４を更新する例示的な使用を示す。図１２は、形態学的特徴１２００が関心領域選択コンポーネント１０１８の境界の外側にある主画像パネル１００２を示す。したがって、生体マーカーパネル１００４は、関心のある形態学的特徴１２００を含まない主画像パネル１００２の視野の領域を示す。図１３は、関心のある形態学的特徴１２００が関心領域選択コンポーネント１０１８の境界内にある主画像パネル１００２を示す（主画像パネル１００２に表示された画像に対して関心領域選択コンポーネント１０１８の位置を調整することによって、及び／又は、関心領域選択コンポーネント１０１８に対して主画像パネル１００２に表示された画像の位置を調整することによって）。この場合には、生体マーカーパネル１００４のサムネイル画像が自動的に更新されて、現在関心領域選択コンポーネント１０１８によって輪郭が描かれている形態学的特徴１２００を含む視野の一部を表示する。

図１５は、生体試料の画像、又は画像の一部に対応する視野の１以上の生体マーカーの発現レベルを表示するための例示的なコンピュータ実行方法のフローチャートである。ステップ１５０２では、グラフィカルユーザーインターフェースを視覚表示装置に描画することができる。ステップ１５０４では、主画像パネル及び生体マーカーパネルをユーザーインターフェースに描画することができる。

ステップ１５０６では、生体試料の視野を選択するユーザー入力を受け取ることができる。ステップ１５０８では、選択した視野の第１の画像を主画像パネルに描画することができる。

ステップ１５１０では、関心領域選択コンポーネントを主画像パネルの第１の画像に重ね合わせることができる。関心領域選択コンポーネントは、第１の画像の第１の領域の輪郭を描くことができる。ステップ１５１２では、サムネイル画像の第１のセットを、関心領域選択コンポーネントに輪郭が描かれた第１の領域に対応する生体マーカーパネルに描画することができる。例示的な実施形態では、サムネイル画像の第１のセットの種々のサムネイル画像は、種々の表示タイプで第１の画像の同じ第１の領域を表示することができる。例えば、種々のサムネイル画像は、関心領域選択コンポーネントに輪郭が描かれた領域の種々の生体マーカーの発現レベルを表示することができる。

ステップ１５１４では、サムネイル画像を更新するための第１の画像の異なる領域を選択するためのユーザー入力を受け取ることができる。例示的な実施形態では、受け取ったユーザー入力は、ユーザーが関心領域選択コンポーネントを（例えば、マウスカーソルを用いてその境界をクリックすることによって）選択すること、関心領域選択コンポーネントを（例えば、カーソルをドラッグすることによって）第１の画像の異なる位置にドラッグすること、及び、関心領域選択コンポーネントを（例えば、カーソルをリリースすることによって）第１の画像の新規な位置にリリースすることを含むことができる。或いは、受け取ったユーザー入力は、ユーザーが主画像パネルの第１の画像を（例えば、マウスカーソルを用いて第１の画像をクリックすることによって）選択すること、第１の画像を（例えば、カーソルをドラッグすることによって）関心領域選択コンポーネントに対してドラッグすること、及び、関心領域選択コンポーネントの下に第１の画像の新規な領域が配置されるように、第１の画像を（例えば、カーソルをリリースすることによって）リリースすることを含むことができる。

例示的な実施形態は、関心領域選択コンポーネントに輪郭が描かれた視野の新規な領域の生体マーカー発現に選択的に対応する１以上のデータセットを決定することができる。例示的実施態様は、生体マーカー発現データを記憶しているサーバーに対して、視野の新規な領域のために決定された選択的なデータセットを要求することができる。例示的な実施形態は、要求に基づいてサーバーからストリーミング方法で要求するデータセットを受け取ることができる。例示的な実施形態では、ユーザーがユーザーインターフェースと対話するにつれて、データセットをリアルタイムに受け取ることができ、或いは、その代わりに、ユーザーがユーザーインターフェースと対話した後のタイムラグの後に実行することができる。

例示的な実施形態では、ユーザーインターフェースを提供する計算装置は、タイル状の複数解像度データ構造に生体試料の生体マーカーデータを記憶する遠隔サーバーから画像データにアクセスしてもよい。この場合には、ユーザーインターフェースを実行する計算装置は、その目的のために選択的に必要となるデータのタイルを決定することができ、サーバーに選択的なタイルを要求することができる。すなわち、いくつかの実施形態では、生体試料全体の画像データを要求することができず、或いは、ユーザーインターフェースに予めロードすることができないが、むしろ、所与の時間に必要となる画像データのセット、例えばサムネイル画像だけをサーバーに要求することができる。一例として、ＧＵＩ２００に表示される画像のズームレベルが調整される場合には、適切なピラミッドレベルからタイル画像を要求するように、計算装置をプログラムすることができる。別の例として、ＧＵＩ２００に表示される画像のパン動作を実行する場合には、主パネル及び／又はサブパネル内に表示される画像の新規な部分のタイル画像を要求するように、計算装置をプログラムすることができる。この方法を用いることは、要求に対応する際のサーバーオーバーヘッドを最小にし、そのユーザーインターフェースのための計算装置へ転送する必要のある画像データの量を低減し、それによって、ユーザーの対話及び要求に対する応答の際に、ユーザーインターフェースを高速かつ効率的にする。データの要求に応答して、サーバーは、データの要求されたタイルにアクセスすることができ、場合によっては、データの解析又は確認を実行することができる。それから、サーバーは、データのタイルをストリーミング方法で計算装置へ転送することができる。

サムネイル画像ごとに、ユーザーインターフェースを提供する計算装置は、ユーザーインターフェースに表示される、生体試料の識別、並びに１以上の生体マーカー及び／又は形態学的特徴の識別を決定することができる。識別に基づいて、計算装置は、アクセスする適切なデータ構造を決定することができる。例えば、第１のサムネイル画像が第１の生体マーカーの発現レベルを含む特定のスライド−スポットから生体試料を表示する場合には、計算装置は、第１の生体マーカー及び特定のスライド−スポットの両方に特有の第１のデータ構造を識別できてもよい。同様に、第２のサムネイル画像が第２の生体マーカーの発現レベルを含むスライド−スポットから生体試料を表示する場合には、計算装置は、第２の生体マーカー及びスライド−スポットの両方に特有の第２のデータ構造を識別できてもよい。

サムネイル画像ごとに、計算装置は、画像データのためにタイル状の複数解像度データ構造のどの解像度層にアクセスするべきかを決定することができる。このために、計算装置は、サムネイル画像が視野の領域を表示する、又は視野の領域を表示するように要求される解像度を決定することができる（例えば、サムネイル画像のズームレベル、並びに／又はサムネイル画像及び生体マーカーパネルのサイズを精査することによって）。この決定に基づいて、計算装置は、適切な解像度層であるデータ構造の画像にアクセスすることができる。例えば、サムネイル画像が視野の拡大されたバージョンを表示する場合には、計算装置は、データ構造の最も高い解像度層の画像にアクセスすべきであることを決定することができる。

サムネイル画像ごとに、計算装置は、選択されたデータ構造の画像データのどのタイルにアクセスするべきかを決定することができる。この目的のために、計算装置は、主画像パネルに表示される生体組織の視野、及びサムネイル画像に表示される視野の領域を解析することができる。解析に基づいて、計算装置は、アクセスする画像データの各部分又はタイルを決定することができる。画像データの関連したタイルは、それによって、サムネイル画像を表示するのに必要な画素データに対応する。

ステップ１５１６では、ユーザー入力及び受け取った生体マーカーデータに応答して、サムネイル画像の第１のセットを、関心領域選択コンポーネントに輪郭が描かれた第１の画像の新規な領域を表示するサムネイル画像の第２のセットに置き換えるために、生体マーカーパネルを更新することができる。

例示的な実施形態では、例えば、第１の画像の新規な領域の輪郭を描く関心領域選択コンポーネントを描画することによって、ステップ１５１４で選択された新規な領域を示す、又はその輪郭を描くために、主画像パネルの第１の画像を更新することができる。

図１５の例示的な方法が例示的なフローチャートに示したよりも多くの又は少しのステップを含むことができ、また例示的なフローチャートのステップが図示したものと異なる順序で実行することができることを、当業者は認めるであろう。

生体試料の例示的な分割画面表示及び生体マーカー表示
いくつかの実施形態では、図２〜図７に示すインターフェース（生体試料の視野の分割画面表示を見ることを可能にする）と、図１０〜図１４に示すインターフェース（生体試料の視野の領域の種々の生体マーカーの発現レベルを見ることを可能にする）と、の特徴を結合するために、グラフィカルユーザーインターフェースを提供することができる。図１６は、両方の能力を実現する例示的なグラフィカルユーザーインターフェース１６００である。グラフィカルユーザーインターフェース１６００は、例えば、生体試料の画像もしくは画像の一部を表示するための画像ナビゲーションコンポーネント１６０２、生体試料の画像の視野を表示するための主画像パネル１６０４、及び、主画像パネル１６０４に表示される視野の領域内の１以上の生体マーカーの発現レベルを表示するための生体マーカーパネル１６０６を含む。主画像パネル１６０４は、視野の２つの隣接する部分を表示するための２つの例示的な画像サブパネル１６０８、１６１０に境界によって分割されるか、又はそれによって提供することができる。図１６に示す例示的な特徴及びそれらの動作について、図２〜図１５に関連してさらに詳細に説明する。

データアクセスのための例示的なネットワークアーキテクチャ
図１７は、実施形態の実現に好適な例示的なネットワーク環境１７００を示す。ネットワーク環境１７００は、通信ネットワーク１７１０を介して１以上のクライアント１７０６及び１７０８に結合される１以上のサーバー１７０２及び１７０４を含むことができる。特に、１以上のサーバー１７０２及び１７０４、並びに１以上のクライアント１７０６及び１７０８の各々は、図２３について述べたように、計算装置２３００として実現することができる。したがって、１以上のサーバー１７０２及び１７０４並びに１以上のクライアント１７０６及び１７０８の各々は、サーバー１７０２及び１７０４が通信ネットワーク１７１０を介してクライアント１７０６及び１７０８と通信することを可能にするために、ネットワークインターフェース２３１２及びネットワーク装置２３２２を含むことができる。通信ネットワーク１７１０は、これらに限定されないが、インターネット、イントラネット、ＬＡＮ（ローカルエリアネットワーク）、ＷＡＮ（ワイドエリアネットワーク）、ＭＡＮ（メトロポリタンエリアネットワーク）、無線ネットワーク、光ネットワークなどを含むことができる。通信ネットワーク１７１０によって提供される通信機能は、本明細書に開示されるような共同の解析及び研究をサポートすることができる。

例示的な実施形態では、サーバー１７０２、１７０４の１以上は、例えば、図１Ａ〜図１Ｃについて説明したデータ記憶システムによる、本明細書に記載する方法に関連したデータを記憶するためのクラウド環境及び能力を有利に提供することができる。特定の例示的なサーバーは、解像度の異なる層のデータの別々のタイルとして画像データを記憶するタイル表示サーバーであってもよい。サーバー１７０２、１７０４は、必要に応じて画像データをストリーミング方法で要求しているクライアントへ転送することができる。いくつかの例示的な実施形態では、サーバー１７０２、１７０４の１以上は、本明細書に記載する方法に関連したデータを解析するための環境及び能力を提供することもできる。

クライアント１７０６、１７０８の１以上は、クライアント計算装置のユーザー用の、本明細書に記載したグラフィカルユーザーインターフェースの１以上をホストし、又は実行することができる。クライアント１７０６、１７０８は、グラフィカルユーザーインターフェースを描画及び／又は更新するために必要なデータの一部（例えば、データの１以上のタイル）を要求するために、１以上のサーバー１７０２、１７０４に遠隔でアクセスすることができる。それに応答して、サーバーは、要求されたデータのそれらの部分だけを読み出すことができ、データをストリーミング方法で要求しているクライアントへ転送することができる。いくつかの実施形態では、ユーザーがクライアントに描画されたグラフィカルユーザーインターフェースと対話すると、データはクライアントによって要求され、サーバーによってリアルタイムの方法でクライアントへ転送されてもよいし、或いは、代わりに、ユーザーがユーザーインターフェースと対話した後、タイムラグの後に実行されてもよい。

例示的な実施形態では、クライアントからサーバーへの要求の転送及び／又はサーバーからクライアントへのデータの転送は、ライセンス契約などの特定の条件に従ってもよい。

例示的な実施形態では、タイル表示サーバーとして実現されるサーバーは、ＧＵＩ１００、１０００、及び／又は１６００の実施形態を実行するようにプログラムされた１以上のクライアントから受け取った要求に応答して、個々のタイルを読み出し、処理し、供給するように動作することができる。クライアントとタイル表示サーバーとの間の通信は、例えば、ハイパーテキストトランスポートプロトコルなどの通信プロトコルを介して促進することができる。タイル表示サーバーは、標準ウェブベースＨＴＴＰインターフェースなどのハンドラーインターフェースを用いるクライアントによってアクセスすることができる。ハンドラーインターフェースは、タイル表示サーバーの機能をカプセル化する、例えば暗号化されたＪａｖａＳｃｒｉｐｔ（登録商標）Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ（ＪＳＯＮ)ベースの画像データクエリを用いる柔軟なデータ要求構造を提供することができる。

図１８は、タイル表示サーバーに提出され得るタイル画像要求に基づいて、ＧＵＩ１００、１０００、及び／又は１６００の実施形態を実行するようにプログラムされたクライアント計算装置とタイル表示サーバーとの間の相互作用を示す例示的なフローチャートを示す。タイルを要求するために、クライアントは、ステップ１８００において画像メトリック要求を提出するようにプログラムすることができる。画像メトリック要求は、タイル表示サーバーにタイルについて問い合わせるために用いることができる情報を取得するために、クライアントによって用いることができる。例えば、処理要求は、画像メトリック、例えば画像の高さ、画像の幅、タイルの高さ、タイルの幅、画像ディレクトリ数、最小ピラミッドレベル（例えば、最小解像度レベル）、及び最大ピラミッドレベル（例えば、最大解像度レベル））などを要求することができ、それはタイル表示サーバーによってクライアントに戻され得る。タイル表示サーバーは、ステップ１８０２において、要求された画像メトリックをクライアントに返すことができる。

一旦クライアントが要求された画像メトリックを受け取ると、クライアントは、ステップ１８０４において、画像メトリックを用いる特定のタイル画像を要求することができる。例示的な実施形態では、タイルは、順番にクライアントによって要求することができる。クライアントにより生成されるタイルについての要求は、どのようなタイル画像が要求されるかを特定する情報を含むことができる。タイルについての要求に応答して、タイル表示サーバーは、ステップ１８０６において、要求を処理して、タイル画像を識別する。ステップ１８０８において、タイル表示サーバーは要求されたタイル画像をクライアントにストリーミングし、ステップ１８１０において、タイル表示サーバーはクライアントから次のタイル要求を待つ。クライアントが別のタイル画像を要求した場合には、処理はステップ１８０４から繰り返す。それ以外の場合には、処理はステップ１８１２で終了する。例示的な実施形態では、冗長で時間のかかるケースマネージャ及び／又はファイルシステムに対する呼び出しを低減するために、タイル表示サーバーはキャッシュを用いることができ、そのようにして、クライアント要求に対する応答をスピードアップすることができる。

クライアントがタイルを要求する場合に、要求は要求される特定のタイルを識別するための情報を含むことができる。一実施形態では、タイルは、タイルごとに個別のＨＴＴＰ要求に基づいて、タイル表示サーバーから読み出すことができる。例示的な実施形態では、クライアントによって開始される要求は、スライド画像のサムネイルの要求、１以上のチャネルから構成されるタイルの要求、画像サイズ、タイルサイズ、及び利用可能なピラミッドレベルを含む画像メトリックの要求を含むことができ、並びに／又は、他の任意の好適な情報の要求を含むことができる。

例示的な実施形態では、クライアントによって開始される要求は、パラメータ（例えば、画像メトリック）を含むＵＲＬクエリを生成する汎用リソースロケータ（ＵＲＬ）プロトコル、例えば情報パラメータ、インデックスパラメータ、レベルパラメータ、画像高さパラメータ、画像幅パラメータ、タイル高さパラメータ、タイル幅パラメータ、及び／又は読み出す特定のタイルを特定するための他の任意の好適な情報を利用することができる。本明細書に記載したように、クライアントはパラメータについての画像メトリック要求を提出するようにプログラムすることができ、サーバーはパラメータ及びそれらの関連する値を提供することによって、要求に答えることができる。情報パラメータは、ＵＲＬクエリによって要求されている情報（例えば、画像メトリック又はタイル画像）のタイプを示すブール値であってもよい。例えば、情報パラメータが「真」に設定された場合には、ＵＲＬクエリは画像メトリックを要求するように構成され、情報パラメータが「偽」に設定されるか、又は指定されない場合には、ＵＲＬクエリはタイル画像を要求するように構成される。インデックスパラメータは、要求されたタイルのｘ軸及びｙ軸タイル位置を示す整数値を含んでもよい。レベルパラメータは、戻されるべき画像ピラミッドのレベル（例えば、スケール又は解像度）を示す整数値を含んでもよい。例示的な実施形態では、レベルパラメータは、画像ピラミッドの最低レベルを示す最小レベルパラメータ、及び画像ピラミッドの最高レベルを示す最大レベルパラメータを含んでもよい。画像高さパラメータは画像全体の高さに対応し、画像幅パラメータは画像全体の幅に対応する。タイル高さパラメータは画像全体のタイルの高さに対応し、タイル幅パラメータは画像全体のタイルの幅に対応する。

図１９は、クライアントによって生成することができる画像メトリック要求１９００の例を示し、ここでは情報パラメータ１９０２が「真」に設定される。図２０は、タイル表示サーバーにより提供される画像メトリック要求に対するＸＭＬベースの応答２０００の例を示す図であり、例えば、画像高さパラメータ２００２、画像幅パラメータ２００４、タイル高さパラメータ２００６、タイル幅パラメータ２００８、並びに、最小ピラミッドレベルパラメータ２０１０及び最大ピラミッドレベルパラメータ２０１２の値を含む。図２１は、クライアントにより生成することができるタイル画像要求２１００の例を示す。タイル画像要求２１００は、要求２１００において特定のタイル画像を指定するための画像メトリック２１０４の値２１０２を含むことができる。

図２２は、タイル表示サーバーに提出され得るサムネイル画像要求に基づいて、ＧＵＩ１００、１０００、及び／又は１６００の実施形態を実行するようにプログラムされたクライアントとタイル表示サーバーとの間の相互作用を示すフローチャートである。サムネイルがＧＵＩ１００、１０００、及び／又は１６００の実施形態を実行するクライアントによって表示され得る実施形態では、クライアントは、図１８〜図２０に関して上述したように、画像メトリック要求を提出することができ、タイル表示サーバーから画像メトリックを受け取ることができる。一旦クライアントが要求された画像メトリックを受け取ると、クライアントは、ステップ２２００において、画像メトリックを用いる特定のサムネイル画像を要求することができる。クライアントによって生成されるサムネイルの要求は、画像全体のどのような部分をサムネイルに含めるべきかを指定する情報を含むことができる。サムネイルの要求に応答して、タイル表示サーバーは、要求を処理して、ステップ２２０２において、画像全体のサムネイル画像に含める部分に対応するタイルを識別する。タイル表示サーバーによって識別されたタイルは、要求において指定されたサムネイル画像のズームレベルと最もよく一致する最大のピラミッドレベルから読み出すことができる。ステップ２２０４において、タイル表示サーバーはサムネイルのために読み出されたタイルを単一の画像に結合することができ、ステップ２２０６において、タイル表示サーバーは望ましいサイズに画像を縮小する。ステップ２２０８において、画像は要求されたサムネイル画像の寸法と一致するように切り取られ、ステップ２２１０において、画像はサムネイル画像としてＧＵＩ１００、１０００、及び／又は１６００の１以上で表示するためにクライアントに送られる。

例示的な計算装置
本明細書に開示されるシステム及び方法は、１以上のコンピュータ可読媒体、ＲＡＭ、ＲＯＭ、ハードドライブ、及び／又はハードウェアに保持された、関係する実行可能命令を有する１以上のプログラム可能な処理ユニットを含むことができる。例示的な実施形態では、ハードウェア、ファームウェア、及び／又は実行可能コードは、例えば、既存のインフラストラクチャ（例えば、既存の装置／処理ユニット）と共に用いられるアップグレードモジュールとして提供されてもよい。ハードウェアは、例えば、計算処理として本明細書に教示される実施形態を実行するためのコンポーネント及び／又はロジック回路を含んでもよい。

本明細書で用いられる「コンピュータ可読媒体」という用語は、コンピュータ実行可能命令又はソフトウェアプログラムを符号化するために、コントローラ、マイクロコントローラ、計算システム、又は計算システムのモジュールによってアクセスすることができる、非一時的記憶ハードウェア、非一時的記憶装置、又は非一時的コンピュータシステムメモリを指す。「コンピュータ可読媒体」は、媒体上に符号化されたコンピュータ実行可能命令又はソフトウェアプログラムを読み出し、及び／又は実行するために、計算システム又は計算システムのモジュールによってアクセスすることができる。非一時的コンピュータ可読媒体としては、これらに限らないが、ハードウェアメモリの１以上のタイプ、非一時的有形媒体（例えば、１以上の磁気記憶ディスク、１以上の光学ディスク、１以上のＵＳＢフラッシュドライブ）、コンピュータシステムメモリ又はランダムアクセスメモリ（例えば、ＤＲＡＭ、ＳＲＡＭ、ＥＤＯ ＲＡＭ）などが挙げられる。

ディスプレイ及び／又は他のフィードバック手段が、例えば、本開示によるグラフィカルユーザーインターフェースを描画するために、含まれてもよい。ディスプレイ及び／又は他のフィードバック手段は、スタンドアロン機器であってもよいし、或いは処理ユニットの１以上のコンポーネント／モジュールとして含まれてもよい。例示的な実施形態では、ディスプレイ及び／又は他のフィードバック手段は、生物学的組織試料の画像又は画像の一部に対応する視野の形態学的及び統計的表現を同時に記述するために用いることができる。

本実施形態のいくつかを実施するために用いることができる実際のソフトウェアコード又は制御ハードウェアは、このような実施形態の範囲を限定するものではない。例えば、本明細書に記載する実施形態の特定の態様は、例えば、従来の、又はオブジェクト指向のプログラミング技法を用いて、例えばアセンブリコード、Ｃ、Ｃ＃、又はＣ＋＋などの任意の好適なプログラミング言語タイプを用いるコードで実現することができる。このようなコードは、好適な非一時的コンピュータ可読媒体、又は磁気的もしくは光学的記憶媒体などの媒体の任意のタイプに記憶又は保持される。

本明細書において、「プロセッサ」、「処理ユニット」、「コンピュータ」又は「コンピュータシステム」は、例えば、マイクロコンピュータ、ミニコンピュータ、サーバー、メインフレーム、ラップトップ、個人情報機器（ＰＤＡ）、無線電子メール装置（例えば、「ＢｌａｃｋＢｅｒｒｙ」、「アンドロイド」、又は「アップル」、取引指定された装置）、携帯電話、ページャ、プロセッサ、ファックス装置、スキャナ、又はネットワーク上のデータを送受信するように構成される他の任意のプログラム可能装置の無線又は有線の多様性であってもよい。本明細書に開示されるコンピュータシステムは、データを取得し、処理し、伝達する際に使用する特定のソフトウェアアプリケーションを記憶するためのメモリを含むことができる。このようなメモリは、開示される実施形態の内部又は外部であってもよいことが理解され得る。メモリは、ソフトウェアを記憶するための非一時的記憶媒体を含むこともできて、それはハードディスク、光学ディスク、フロッピー（登録商標）ディスク、ＲＯＭ（読出し専用メモリ）、ＲＡＭ（ランダムアクセスメモリ）、ＰＲＯＭ（プログラム可能なＲＯＭ）、ＥＥＰＲＯＭ（電気的消去可能なＰＲＯＭ）、フラッシュメモリ記憶装置などを含む。

図２３は、本明細書に開示されるシステム及び方法を実施するために用いることができる例示的な計算装置２３００を表すブロック図を示す。計算装置２３００は、例えばワークステーション、デスクトップコンピュータ、サーバー、ラップトップ、ハンドヘルドコンピュータ、タブレットコンピュータ（例えば、ｉＰａｄ（商標）タブレットコンピュータ）、モバイル計算又は通信装置（例えば、ｉＰｈｏｎｅ（商標）モバイル通信装置、Ａｎｄｒｏｉｄ（商標）モバイル通信装置など）などの任意のコンピュータシステム、或いは、通信が可能で、本明細書に記載する動作を実行するための十分なプロセッサ能力及び記憶容量を有する計算又は電気通信装置の他の形式であってもよい。例示的な実施形態では、分散計算システムは複数のこのような計算装置を含んでもよい。

計算装置２３００は、本明細書に記載する例示的な方法を実施するための符号化された１以上のコンピュータ実行可能命令又はソフトウェアを有する１以上の非一時的コンピュータ可読媒体を含む。非一時的コンピュータ可読媒体としては、これらに限らないが、ハードウェアメモリ及び他の有形媒体（例えば、１以上の磁気記憶ディスク、１以上の光学ディスク、１以上のＵＳＢフラッシュドライブ）の１以上のタイプなどが挙げられる。例えば、計算装置２３００に含まれるメモリ２３０６は、本明細書に記載したようなグラフィカルユーザーインターフェースを実現するためのコンピュータ可読及びコンピュータ実行可能命令もしくはソフトウェアを記憶することができる。また計算装置２３００は、システムハードウェアを制御するための、メモリ２３０６及び他のプログラムに記憶されるコンピュータ可読及びコンピュータ実行可能命令もしくはソフトウェアを実行するために、プロセッサ２３０２及び関連するコア２３０４を含み、またいくつかの実施形態では、１以上の追加のプロセッサ２３０２’及び関連するコア２３０４’（例えば、複数のプロセッサ／コアを有するコンピュータシステムの場合）を含む。プロセッサ２３０２及びプロセッサ２３０２’は、各々単一コアプロセッサ又は複数のコア（２３０４及び２３０４’）プロセッサであってもよい。

計算装置のインフラストラクチャ及びリソースが動的に共有できるように、仮想化が計算装置２３００において用いることができる。処理が複数の計算リソースではなく１つの計算リソースだけを用いているように見えるように、マルチプロセッサで動いている処理を扱うために、仮想マシン２３１４を提供することができる。複数の仮想マシンが１つのプロセッサで用いることもできる。

メモリ２３０６は、ＤＲＡＭ、ＳＲＡＭ、ＥＤＯＲＡＭなどのコンピュータシステムメモリ又はランダムアクセスメモリを含むことができる。メモリ２３０６は、他のタイプのメモリ、又はこれらの組合せも含むことができる。

ユーザーは、スクリーン又はモニタなどの視覚表示装置２３１８を通して計算装置２３００と対話することができ、それは本明細書に記載する例示的な実施形態により提供される１以上のグラフィカルユーザーインターフェース２３２０を表示することができる。視覚表示装置２３１８は、例示的な実施形態と関係する他の態様、要素、及び／又は情報もしくはデータを表示することもできる。

計算装置２３００は、ユーザーからの入力を受け取るための他のＩ／Ｏ装置、例えば、キーボード又は任意の好適なマルチポイントタッチインターフェース２３０８、ポインティングデバイス２３１０（例えば、マウス、表示装置と直接インターフェースするユーザーの指）を含むことができる。本明細書において、「ポインティングデバイス」は、ユーザーが空間データを計算システム又は装置に入力することができる任意の好適な入力インターフェースであり、具体的には、ヒューマンインターフェースデバイスである。例示的な実施形態では、ポインティングデバイスによって、ユーザーが物理ジェスチャ、例えば、ポインティング、クリック、ドラッグ、ドロップなどを用いてコンピュータへの入力を提供することができる。例示的なポインティングデバイスとしては、これらに限らないが、マウス、タッチパッド、表示装置と直接インターフェースするユーザーの指などが挙げられる。

キーボード２３０８及びポインティングデバイス２３１０を視覚表示装置２３１８に結合することができる。計算装置２３００は、他の好適な通常のＩ／Ｏ周辺機器を含むことができる。Ｉ／Ｏ装置は、１以上のグラフィカルユーザーインターフェース２３２０、例えば、本明細書に記載するグラフィカルユーザーインターフェースの１以上の実現を容易にすることができる。

計算装置２３００は、本明細書に教示されるような例示的な実施形態を実現するデータ並びにコンピュータ可読命令及び／又はソフトウェアを記憶するために、耐久性のあるディスク記憶（任意の好適な光学的又は磁気的な耐久記憶装置、例えば、ＲＡＭ、ＲＯＭ、フラッシュ、ＵＳＢドライブ、又は他の半導体ベースの記憶媒体を含むことができる）、ハードドライブ、ＣＤ−ＲＯＭ、又は他のコンピュータ可読媒体などの、１以上の記憶装置２３２４を含むことができる。例示的な実施形態では、１以上の記憶装置２３２４は、本開示のシステム及び方法によって生成することができるデータのための記憶装置を提供することができる。例えば、記憶装置２３２４は、生体試料に対応する画像データ２３２６（例えば、タイル状の複数解像度データ構造の形で）、本明細書に記載する生体マーカーパネル及び関連するサムネイル画像を実現するようにプログラムされ構成される生体マーカーパネル表示モジュール２３２８、並びに、本明細書に記載したような分割画面表示を実現するようにプログラムされ構成される分割画面表示モジュール２３３０のための記憶装置を提供することができる。１以上の記憶装置２３２４は、本明細書に記載したような１以上の方法に関するコンピュータ可読命令のための記憶装置をさらに提供することができる。１以上の記憶装置２３２４は、計算装置２３００に設けられてもよいし、及び／又は計算装置２３００から別々に、もしくは遠隔に設けられてもよい。

計算装置２３００は、１以上のネットワーク装置２３２２を介して１以上のネットワークとインターフェースするように構成されるネットワークインターフェース２３１２を含むことができ、１以上のネットワークは、例えば、これらに限定されないが、標準電話線、ＬＡＮもしくはＷＡＮリンク（例えば、８０２．１１、Ｔ１、Ｔ３、５６ｋｂ、Ｘ．２５）、ブロードバンド接続（例えば、ＩＳＤＮ、フレームリレー、ＡＴＭ）、無線接続、コントローラエリアネットワーク（ＣＡＮ）、又は上記のいずれかもしくは全てのいくつかの組合せを含む多様な接続によるローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）又はインターネットなどである。ネットワークインターフェース２３１２は、ビルトインネットワークアダプタ、ネットワークインターフェースカード、ＰＣＭＣＩＡネットワークカード、カードバスネットワークアダプタ、無線ネットワークアダプタ、ＵＳＢネットワークアダプタ、モデム、又は計算装置２３００を通信可能で本明細書に記載する動作を実行することができる任意のタイプのネットワークにインターフェースするために好適な任意の他の装置を含むことができる。ネットワーク装置２３２２は、これらに限らないが、１以上の受信器、１以上の送信器、１以上のトランシーバ、１以上のアンテナなどを含むネットワーク上の通信を送受信するための１以上の好適な装置を含むことができる。

計算装置２３００は、任意のオペレーティングシステム２３１６、例えばマイクロソフト（登録商標）Ｗｉｎｄｏｗｓ（登録商標）オペレーティングシステムのバージョンのいずれか、Ｕｎｉｘ（登録商標）及びＬｉｎｕｘ（登録商標）オペレーティングシステムの種々のリリース、マッキントッシュコンピュータのためのＭａｃＯＳ（登録商標）の任意のバージョン任意の埋め込みオペレーティングシステム、任意のリアルタイムオペレーティングシステム、任意のオープンソースオペレーティングシステム、任意の専用オペレーティングシステム、モバイル計算装置のための任意のオペレーティングシステム、又は、計算装置上で動作し、本明細書に記載する動作を実行することができる任意の他のオペレーティングシステムなどを実行することができる。例示的な実施形態では、オペレーティングシステム２３１６は、ネイティブモード又はエミュレートモードで動作してもよい。例示的な実施形態では、オペレーティングシステム２３１６は、１以上のクラウドマシンインスタンス上で動作してもよい。

例示的な計算システム２３００が図２３に示すものより多くの又はより少ないモジュールを含むことができることを、当業者は認識するであろう。

次に図２４〜図３９を参照して、本発明は、本発明の分割画面及びデジタルプリズム特徴の両方、並びに、所与の事例におけるユーザー病理学者の所見に対するサポートを詳述するリポートのために、保存され、提供され、フォーマット化され得る、選択された画像を電子記録にアップロードするためのスナップショット取り込み特徴を提供するＧＵＩ２５００を提供する。例えば、スナップショット取り込み特徴、又は「スナップショット特徴」又は単純に「スナップショット」は、サムネイル画像又はスプリットスクリーン画像の全てが記録に保存され、それからローカル記憶媒体、又は配線されたネットワーク内のサーバー、さらにはクラウドサーバーに保存されることを可能にする。それから、記録は、ローカル及び／又はリモートレビュアーが、望ましくは他の患者情報とともに、利用できるようにすることができる。「スナップショット」という用語は、スナップショット取り込み特徴によって記録された画像を意味する。本発明は、本発明のスナップショット特徴が本発明の分割画面特徴及びデジタルプリズム特徴の一方又は両方を提供するＧＵＩとともに用いることができることを想定している。

本発明のスナップショット取り込み特徴（及び、この特徴によって取り込まれた画像のスナップショット）は、ユーザーに複数の利点を提供する。例えば、スナップショットは、必要に応じて修正しサイズを変更することができる。取り込まれた領域は、望ましくははっきりした線色で、可視ボックス内に表示することができ、スナップショットが削除されるまでは、それはスライドの画像にとどまっている。望ましくは、スナップショットは、デフォルトで、それらを特定のスライド及び特定の取り込み領域に結びつけることができる情報によって名づけられ、この名前は必要に応じて望ましいように編集することができる。本発明は、スナップショットがリストモード又はギャラリーモードで精査することができることを想定している。望ましくは、ギャラリーモードでは、スナップショットプレビューのサイズは、ユーザーのニーズ又は好みに合うように増大又は減少することができる。本発明は、「リポートデータ更新」ボタンをクリックすることによって、スナップショットを事例リポートにアップロードすることができるように、ビューアインターフェースに「リポートデータ更新」ボタンを提供する。事例リポートについては、本発明は、病理学者に対して、閲覧する画像の全て又はいくつか含む、或いは全く含まない選択肢を提供する。本発明は、保存された画像を、それらが取得された領域によってソートすることをさらに想定している。本発明は、プレゼンテーション又はさらなる研究に用いるために思い出すように、ローカルディスク又は他のリモート記憶媒体にスナップショットを保存することを可能にする。最大解像度の画像を保存することもできる。本発明は、ユーザーがスナップショットに自由な形式のテキストで注釈を付けることができることをさらに提供する。また本発明は、リポートビルダーツールへの入力を提供するサーバーに、スナップショットを保存することができ、それから、各々保存されたスナップショットは、付随する注釈とともに診断リポート又は研究リポートに含むように利用することができることを想定している。

本発明のデジタルプリズムスナップショットは、単一の生体マーカー混合によって示される選択領域の画像の取り込みをさらに提供し、同じ場所の残留する生体マーカーのそれぞれの画像を取り込むこともできる。さらに、デジタルプリズムスナップショットによって、ユーザーが患者試料の画像上の場所で第１の生体マーカーを見ることができ、そして、その生体マーカーの発現の画像、並びに第１の生体マーカーを用いて選択された同じ場所又は領域において発現した他の生体マーカーの画像の両方を取り込むことができる。

図２４は、ユーザーが多重化プラットホームで取得された任意のデータを直観的に閲覧することができるＧＵＩ２５００を提供する本発明の実施形態を示す。それは、例えばホジキンリンパ腫の検査室開発検査（ＬＤＴ）の結果を評価する病理学者によって用いることができる。

ＧＵＩ２５００は、本発明のＧＵＩ１０００の変形であるとみなされ、類似の特徴は類似する能力及び機能性を提供し、ＧＵＩ１０００に例示したものを含む。ＧＵＩ２５００は、生体試料の視野を表示するための主画像パネル２５０２、及び領域マネージャパネル２５０４を含み、そこでは、ユーザーが、取り込み領域に関連する情報を表示する取り込み領域タブ２５０７、又は、リポート用に取り込まれたスナップショットに関連する情報を表示するリポートスナップショットタブ２５０９のいずれかを選択することができる。図２４に示すように、ユーザーが取り込み領域タブ２５０７を選択すると、パネル２５０４は主画像パネル２５０２の試料画像から選択された取り込み領域の各々について選択可能なタブ２５０３のリストを表示する。図２７に示すように、ユーザーが特定のタブ２５０３を選択すると、パネル２５０４は、その選択されたタブ２５０３の下に、その取り込み領域の生体試料の視野の領域と関係する生体マーカー発現を各々示すいくつかのサムネイル画像２５０５を表示する。主画像パネル２５０２に表示される視野は、通常は生体試料の全体画像の一部に対応するが、パネル２５０４で選択された取り込み領域についての領域を望ましく示すことができる。

図２４に特に関連して、ＧＵＩ２５００は、表示タイプ選択コンポーネント２５０６を含み、それは、スライド上の各領域をフォルダ２５０６ａとして、及びその領域内の各画像をフォルダ要素としてリストして、主画像パネル２５０２に表示するために利用可能な１以上の表示タイプを示すために、ユーザーによって用いることができる。例えば、表示タイプ２５０６ａ−１、２５０６ａ−２、及び２５０６ａ−３は、それぞれＣＤ３０ ｍＤＡＢ、ｍＨＥ、ＣＤ３０低倍率（単色）とすることができ、それは組織領域全体のフォルダ２５０６ａの下のフォルダ要素として各々提供される。主画像パネル２５０２に視野を表示すると、ＧＵＩ２５００は、主画像パネル２５０２に表示される視野がその一部である、生体試料全体を表示する画像ナビゲーションコンポーネント２５０８を含むように更新することができる。画像ナビゲーションコンポーネント２５０８は、ユーザーが選択した表示タイプに従って生体試料を表示する。

画像ナビゲーションコンポーネント２５０８は、生体試料の全体画面内の視野を詳細に描写するために、視野選択コンポーネント２５１０（例えば、十字線又は他の任意の好適なコンポーネント）を望ましく含むことができる。視野選択コンポーネント２５１０によって、ユーザーが、生体試料全体（画像ナビゲーションコンポーネント２５０８に表示される）において、視野（主画像パネル２５０２に表示される）がある位置を検出することができる。いくつかの実施形態では、画像ナビゲーションコンポーネント２５０８は、主画像パネル２５０２より小さくて、生体試料のより低い解像度表示を提供する。他の実施形態では、画像ナビゲーションコンポーネント２５０８は、主画像パネル２５０２と同一サイズ、又はそれより大きくてもよい。主画像パネル２５０２は、ズームの特定のレベル又はズームの相対レベルをユーザーが入力できるようにする（例えば、ズームスライダ及び／又はズームボタンを用いて）ためのズーム入力ツール２５１２を含むことができる。現行の相対的なズームレベルは、ズームインジケータ２５１４の画像パネルに示すことができる。主画像パネル２５０２が新規なズームレベルに従って更新されると、画像ナビゲーションコンポーネント２５０８の視野選択コンポーネント２５１０は、自動的に更新されて、主画像パネル２５０２に示される対応する更新された視野の輪郭を正しく描くことができる。例示的な実施形態では、ユーザーインターフェースを実行する計算装置は、新規なズームレベルがタイル状の複数解像度データ構造の異なる解像度レベルから画像データを必要としていることを決定することができ、そしてその解像度レベルから画像データの１以上のタイルを読み出すことができる。

主画像パネル２５０２は、生体試料の新規な視野にパンするためのパン入力ツール２５１６を含む。主画像パネル２５０２の画像をクリックし保持して、パネルを横切ってカーソルをドラッグし、下にある画像を移動することによって、パニングを実行することもできる。また主画像パネル２５０２は、主画像パネル２５０２に表示される視野の内の各取り込み領域の場所を詳細に描写するための、取り込み領域インジケータコンポーネント２５４０（例えば十字線又は任意の他の好適なコンポーネント）を含む。選択された取り込み領域からの追加の高解像度画像が取得されて、ＧＵＩ２５００にロードされると、例えば図２７に示すように、領域マネージャパネル２５０４は、新たに取得した取り込み領域画像を表示する１以上のサムネイル画像２５０５のセットを含むように構成される。それから、これらの画像は、サムネイルをクリックすることによって主画像パネル２５０２にロードすることができ、その後に、領域マネージャパネル２５０４は、サムネイル画像が主画像パネルに表示される画像に対応する指標を提供することができる。

ＧＵＩ１０００について説明したように、生体マーカータブ２５０３のサムネイル画像２５０５のサイズ及び／又は空間寸法は、表示されるサムネイル画像の数及び／又は領域マネージャパネル２５０４のサイズに基づいて、自動的に設定及び／又はスケーリングすることができる。いくつかの実施形態では、ユーザーが手動でサムネイル画像のサイズ及び／又は寸法を設定又はリセットすることが可能であってもよい。

タブ２５０７が選択されると、パネル２５０４は、表示されたサムネイル２５０５のスナップショットを取り込むための第１のスナップショット取り込みボタン２５９０、及び主画像パネル２５０２から画像を取り込むための第２のスナップショット取り込みボタン２５９２を提供する。ボタン２５９０及び２５９２によって、ユーザーは、後で読み出すことができる主サーバーにスナップショット画像の場所を保存することが望ましく可能になる。またＧＵＩ２５００は、ユーザーが、選択されたスナップショットから検索可能な電子記録に画像を保存することを可能にするリポートデータ更新ボタン２５９５を含む。リポートデータ更新ボタン２５９５は、保存された画像をユーザーのための報告ツールへの入力として用いることができるディレクトリに望ましくエクスポートする。

望ましくは、病理学者は、任意のインターネットブラウザを通して遠隔でＧＵＩ２５００にアクセスし操作することができる。ＧＵＩ２５００で、事例リストを閲覧して、精査したい事例を選択することができる。或いは、病理学者は、特定の事例の精査の準備ができていて、その事例に対して直接的なリンクを提供されるという通報を受けることができる。

一旦事例が電子記録のためのサーバー又は他の好適な記憶装置からアクセスされると、病理学者は、図２５に示すように、分子Ｈ＆Ｅ（ｍＨ＆Ｅ）画像などの１０倍の倍率で取得されたスライドの概要を閲覧するために、画像選択コンポーネント２５０６から選択することができる。ｍＨ＆Ｅは、グレースケール免疫蛍光画像を、病理学者によりよく知られており、視覚情報を抽出するのがより容易である画像に変換するアルゴリズムを用いて生成される。ｍＨ＆Ｅは、病理学者が試料の全体の形態を評価することを可能にする。

図２４〜図２７は、十字線２５１０で示すように、種々のズームレベルで取得された低解像度画像の種々の図を示す。システムは、図２８〜図３４に示すように、ユーザーが追加の高解像度撮像の領域を指定することができる。ここではそれぞれ１０倍及び４０倍である低解像度及び高解像度の画像が試料及びその関心領域からそれぞれ取得されると、ＧＵＩ２５００を通してそれらが互いにリンクされて、低解像度画像と高解像度画像との間のナビゲーションが可能になる。

図２６は、ＣＤ３０のｍＤＡＢ画像の１０倍表示を示す。主画像パネル２５０２の左側に、画像を拡大及び縮小するために用いることができるズームインジケータ２５１４を見ることができる。以前選択された取り込み領域は、ここで見られるボックス２５４０で強調される。病理学者は、ＧＵＩ２５００の左側の画像選択コンポーネントの画像リストから望ましい画像を主画像パネル２５０２に単純にドラッグアンドドロップすることによって、或いは、生体マーカータブ２５０３を介して、取得した取り込み領域からサムネイル２５０５を選択することによって、他の画像にアクセスすることができる。図２６に示すように、病理学者は、ＣＤ３０染色の分子ＤＡＢ画像を見ている。ｍＨ＆Ｅと同様に、ｍＤＡＢは、生体マーカー染色のグレースケール画像を用いて、それらを明視野ＤＡＢ染色画像と類似の画像に変換する。例えば、ホジキンリンパ腫ＬＤＴでは、ＣＤ３０は、それが将来の撮像ラウンドによって調べられる潜在的なリード−シュテルンベルク（ＲＳ）細胞を識別するという点で、重要な染色法である。湿式検査室プロトコルの始まりにおいて、病理学者は、この１０倍ＣＤ３０ ｍＤＡＢ画像に注目して、次の撮像ラウンドで撮像されるＲＯＩ（又は取り込み領域）を選択する。すでに選択されたＲＯＩのいくつかは、ＣＤ３０ｍＤＡＢ画像の上部のボックス２５４０に輪郭が描かれる。

画像をナビゲートすることは、容易でかつ直観的である。パニングは、主画像パネル２５０２の周辺で画像をクリックしてドラッグすることによって、或いは、パンツール２５１６を用いることによって要望通り実行される。拡大縮小することは、マウスホイールをスクロールするか、ズーム入力ツール２５１２のスライダバーをドラッグするか、又は、所望の倍率レベルを選択することによって、実行することができる。病理学者は、調査することを望む予め選択されたＲＯＩを見いだすまで、１０倍画像をナビゲートすることができる。所望のＲＯＩをダブルクリックして、それは領域マネージャパネル２５０４の右側に強調される。それから、種々の可視化タイプ及び精査することができる生体マーカーの全てを見るために、所望のＲＯＩを拡大することができる。画像の１つのサムネイル２５０５を単純にクリックすることで、主画像パネル２５０２上でその画像が開く。図２７は、ＲＯＩをアクティブにするためにダブルクリックする、この機能を示す。それから、ボックス２５４０で示すＲＯＩは異なる色のボックス２５５０で輪郭が描かれ、その対応するタブ２５０３はパネル２５０４で強調される。

一旦病理学者が１０倍画像をナビゲートすることによって関心領域を識別すると、その領域の高解像度（４０倍）で取得された利用可能な画像及び色混合を見ることができる。２つ以上の単色画像を組合せることによって、色混合を生成することもできる。図２８は、５つの異なる生体マーカーをそれぞれ異なる色で表示している、この特徴を示す。

図２９に示すように、従来の免疫蛍光画像をより多く用いる病理学者のためには、画像混合特徴が非常に役立つことが分かる。画像選択コンポーネント２５０６から主画像パネル２５０２に複数のグレースケール画像２５２１をクリックしてドラッグすることによって、異なる色が各生体マーカーを表す、最高５つの画像を混合することができる。混合インターフェース２５５５を開くことによって、種々の生体マーカー並びに各生体マーカーの相対強度についてどの色の組合せを好むかという選択を可能にする、選択可能な制御が病理学者に提供される。

図３０に示すように、病理学者は、デジタルプリズム特徴を用いて、利用可能な生体マーカー、この場合は９つの異なる生体マーカーの全てを同時に見ることができる。アクティブなサムネイル画像（すなわち、主画面パネル２５０２に示す画像に対応する特定のサムネイル画像２５０５）にある、ここではギアアイコンとして示すボタン２５６０をクリックすることによって、「デジタルプリズム」とそれ自体呼ぶことができるボックス２５６５が、病理学者に提供される。病理学者がこのボックスを特定の細胞又は関心領域へ動かすと、右側のサムネイル２５０５は、９つの生体マーカーの各々についてデジタルプリズム２５６５内に何があるかを反映するように更新する。図３０は、主画面のボックス２５６５によって選択された領域があるデジタルプリズムを示し、右側の個々の生体マーカーのサムネイル画像２５０５はそのボックス２５６５内にある細胞を含むように更新されている。例えば、ホジキンリンパ腫ＬＤＴでは、最も重要な情報は、ＣＤ３０陽性細胞のどのような表現型がパネルの他の８つの生体マーカーの文脈にあるかということである。それらの８つの生体マーカーは、ＣＤ１５、ＣＤ２０、Ｂｏｂ１、Ｏｃｔ２、Ｐａｘ５、ＣＤ４５、ＣＤ３及びＣＤ７９ａである。多重化は、病理学者が単一の細胞の全ての９つの生体マーカーの発現について明確に述べることを可能にする。過去には、病理学者は生体マーカーごとの個別の連続切片に依存していたので、同じ細胞は評価されていなかった。

ホジキンリンパ腫生体マーカーパネルは、９つの生体マーカーから成る。病理学者は、ひとつずつ比較するために本発明の分割画面表示特徴を使い続けることができるし、或いは、本発明のデジタルプリズム特徴を用いて同時に全ての９つの生体マーカーを見ることができる。サムネイル画像にあるボタンをクリックすることによって、上述した青いボックスすなわちデジタルプリズム特徴が病理学者に提供される。病理学者がこのボックスを特定の細胞又は関心領域へ動かすと、右側のサムネイルは、９つの生体マーカーの各々についてデジタルプリズム内に何があるかを反映するように更新する。再び図３０を参照すると、病理学者が注意を集中しているこの単一の細胞が、ＣＤ３０陽性、Ｐａｘ５陰性、並びにそれらのそれぞれのサムネイル画像の他の生体マーカーの相対的な有無であるということが明らかに分かる。

図３１において、病理学者は、第１のサブパネル２５７０のｍＤＡＢ ＣＤ３０画像及び隣接する第２のサブパネル２５７２のｍＤＡＢ Ｐａｘ５画像を選択した。必要に応じて、図３２に示すように、２つの画像の方向を垂直又は水平に変更することができる。いずれの方向でも、バーが図３３の異なる場所に表示されるので、ＣＤ３０の画像とＰａｘ５の画像を連続的に切り換えるために、画像を横切ってバー２５７５をドラッグすることができる。こうすることによって、組織の同じ領域全体にわたって生体マーカー発現の差異をはっきりと見ることができる。このような多重化によって、ユーザーは、１つの生体マーカーについて陽性である細胞が別の生体マーカーについても陽性であるかどうか、例えば、この例では、ＣＤ３０陽性の細胞がＣＤ１５についても陽性であるかどうかを決定することが可能になる。

病理学者は、事例リポートに含むのに必要な関心領域を決定した後、本発明のスナップショット特徴を用いて、ＧＵＩ２５００に表示される画像を取り込むことができる。図３４は、主画像パネル２５０２のボックス２５８０及び２５８２に輪郭が描かれるように、取り込まれた２つの異なるスナップショットを示す。それは、パネル２５０４で取得されたスナップショットのリストも示す。タブ２５０９を選択して、病理学者は、２つの方法のうちの１つで、スナップショットを用いて画像を取り込むことができる。第１の方法は、デジタルプリズムの結果として生じるサムネイル画像２５０５を取り込むことである。そのために、デジタルプリズムボックス２５６５を関心のある細胞の方へ動かし、適切に画像を表示するようにプリズムのサイズを変更し、サムネイルの位置を保存する。それから、図３５に示すように、第１のスナップショット取り込みボタン２５９０をクリックすることができて、ＧＵＩ２５００の領域マネージャパネル２５０４の部分に示すように、同じ領域が全ての９つの生体マーカーについて取り込まれる。病理学者が画像を取り込むことができる第２の方法は、視野全体、すなわち１つの染色を同時に取り込むことである。これは、１つ又は２つの細胞だけでなく、領域全体を見る必要がある場合に役立つ。視野全体を取り込むためには、図３６の主画像パネル２５０２の一部分に示すように、主画像パネル２５０２の第２のスナップショット取り込みボタン２５９２を単純にクリックする。スナップショットタブ２５０９をクリックすることによって、取り込まれた画像の全てを精査することができる。図３７に示すように、画像をサムネイル画像フォーマットで見ることができる。或いは、図３８に示すように、画像を記述リストとして見ることができる。リポートスナップショットタブ２５０９のギャラリーサブパネル２５４６は、サムネイル画像の表示（図３７に示す）又は画像の記述リスト（図３８に示す）をユーザーが選択することを可能にするギャラリートグル２５４８を含む。図３８に示すリストから、病理学者は、付随するゴミ箱アイコン２５９６をクリックすることによって、任意の取り込んだ画像を消去することができる。また、ユーザーは、リストに載っている画像を強調し、編集トグル２５９８をクリックし、それから主画像表示２５０２の対応するボックスの位置を調整することによって、希望する任意の画像を変更することができる。さらに、タブ２５０９は、ユーザーがローカル媒体に画像を保存することを可能にする速い保存ボタン２５９７を提供する。一旦病理学者が取り込まれた画像の全てに満足すると、図３９に示すように、リポートデータ更新ボタン２５９５のクリックひとつで画像を事例リポートにアップロードすることができる。

例示的な実施形態を説明する際には、明確にするために特定の用語を用いている。説明のために、それぞれの特定の用語は、少なくとも、類似の目的を達成するために類似の方法で動作する全ての技術的及び機能的等価物を含むものとする。さらに、特定の例示的な実施形態が複数のシステム要素又は方法ステップを含むいくつかの場合では、それらの要素又はステップは、単一の要素又はステップと置き換えることができる。同様に、単一の要素又はステップは、同じ目的に役立つ複数の要素又はステップと置き換えることができる。さらに、本明細書において様々な性質についてのパラメータが例示的な実施形態について特定されている場合には、それらのパラメータは、特に明記しない限り、１／２０、１／１０、１／５、１／３、１／２ごとに、或いは、その四捨五入する近似によって、上方又は下方に調整することができる。さらに、例示的な実施形態がその特定の実施形態に関して図示され説明される場合には、本発明の範囲を逸脱することなく、形式及び詳細の様々な置換及び変更ができることを、当業者は理解するであろう。さらに、他の態様、機能及び利点もまた、本発明の範囲内である。

例示的なフローチャートは、例示の目的で本明細書に提供しており、方法の非限定的な実施例である。例示的な方法が例示的なフローチャートに示したよりも多くの又は少しのステップを含むことができ、また例示的なフローチャートのステップが図示したものと異なる順序で実行することができることを、当業者は認めるであろう。

Claims (50)

1. 生体試料の画像又は画像の一部に対応する視野の分割画面表示を提供するためのコンピュータ実行方法であって、当該方法が、
   計算装置の視覚表示装置にグラフィカルユーザーインターフェースを描画するステップと、
   生体試料に対応する第１の視野の第１の画像を表示する画像パネルであって、画像パネルは、第１の視野の第１及び第２の部分をそれぞれ表現するための第１及び第２の画像サブパネルを含み、第１の画像サブパネルは、第１の視野の第１の部分における第１の生体マーカーの発現レベルを表示するために構成され、第２の画像サブパネルは、第１の視野の第２の部分における第２の生体マーカーの発現レベルを表示するために構成される、画像パネルを、グラフィカルユーザーインターフェースに、描画するステップと、
   第１の視野の第１の部分における第１の生体マーカーの発現レベルに選択的に対応する第１のデータのセット、及び、第１の視野の第２の部分における第２の生体マーカーの発現レベルに選択的に対応する第２のデータのセットを決定するステップと、
   生体マーカー発現データを記憶する遠隔サーバーに、第１及び第２のデータのセットを要求するステップと、
   遠隔サーバーから第１及び第２のデータのセットを受け取るステップと、
   第１のデータのセットに基づいて、第１の視野の第１の部分における第１の生体マーカーの発現レベルを、第１の画像サブパネルに表現するステップと、
   第２のデータのセットに基づいて、第１の視野の第２の部分における第２の生体マーカーの発現レベルを、第２の画像サブパネルに表現するステップとを含む、方法。
2. 生体試料の第１の視野における１以上の形態学的特徴の表現を、第１及び第２の視野に重ね合わせるステップをさらに含む、請求項１に記載の方法。
3. ユーザーが画像パネルに表現するための１以上の生体マーカーを選択することを可能にする生体マーカー選択コンポーネントを、グラフィカルユーザーインターフェースに描画するステップと、
   画像パネルに第１の生体マーカー及び／又は第２の生体マーカーの発現レベルを表示するために、第１の生体マーカー及び／又は第２の生体マーカーを選択するユーザー入力を、生体マーカー選択コンポーネントで受け取るステップとをさらに含む、請求項１に記載の方法。
4. ユーザーが第１及び第２の画像サブパネルに表現するための１以上の生体マーカーを選択することを可能にする生体マーカー選択コンポーネントを、グラフィカルユーザーインターフェースに描画するステップと、
   第１の画像サブパネルに表現するための第１の生体マーカー、及び第２の画像サブパネルに表現するための第２の生体マーカーを選択するユーザー入力を、生体マーカー選択コンポーネントで受け取るステップとをさらに含む、請求項１に記載の方法。
5. グラフィカルユーザーインターフェースの視野選択コンポーネントにおいて、生体試料の第２の視野を選択するユーザー入力を受け取るステップと、
   ユーザー入力に応答して、第２の視野を表示するように画像パネルを更新するステップとをさらに含み、
   第１及び第２の画像サブパネルは、第２の視野の第１及び第２の部分を表現し、第１の画像サブパネルは、第２の視野の第１の部分における第１の生体マーカーの発現レベルを表示し、第２の画像サブパネルは、第２の視野の第２の部分における第２の生体マーカーの発現レベルを表示する、請求項１に記載の方法。
6. ユーザー入力が受け取られると、画像パネルが更新される、請求項５に記載の方法。
7. 第２の視野の第１の部分における第１の生体マーカーの発現レベルに選択的に対応する第３のデータのセット、及び第２の視野の第２部分における第２の生体マーカーの発現レベルに選択的に対応する第４のデータのセットを、遠隔サーバーに要求するステップと、
   遠隔サーバーから第３及び第４のデータのセットを受け取るステップとをさらに含み、
   サーバーから受け取られた第３及び第４のデータのセットに基づいて、画像パネルが更新される、請求項５に記載の方法。
8. 第１の視野の第３及び第４の部分を表現するように第１及び第２の画像サブパネルのサイズを調整するユーザー入力であって、第１の画像サブパネルは、第１の視野の第３の部分における第１の生体マーカーの発現レベルを表示し、第２の画像サブパネルは、第１の視野の第４の部分における第２の生体マーカーの発現レベルを表示する、ユーザー入力を、グラフィカルユーザーインターフェースで受け取るステップと、
   第１の視野の第３の部分における第１の生体マーカーの発現レベルに選択的に対応する第３のデータのセット、及び第１の視野の第４の部分における第２の生体マーカーの発現レベルに選択的に対応する第４のデータのセットを、ユーザー入力に基づいて、遠隔サーバーに要求するステップと、
   遠隔サーバーから第３及び第４のデータのセットを受け取るステップと、
   第１の視野の第３及び第４の部分を表現するように、第１及び第２の画像サブパネルを更新するステップとをさらに含み、
   第１の画像サブパネルは、第１の視野の第３の部分における第１の生体マーカーの発現レベルを表示し、第２の画像サブパネルは、第１の視野の第４の部分における第２の生体マーカーの発現レベルを表示する、請求項１に記載の方法。
9. 第１の画像サブパネルと第２の画像サブパネルとの間に配置された１以上のスプリッタコンポーネントを提供するステップをさらに含み、
   第１及び第２の画像サブパネルのサイズを調整するユーザー入力は、画像パネルを横切って１以上のスプリッタコンポーネントをドラッグすることにより提供される、請求項８に記載の方法。
10. 生体試料の画像又は画像の一部に対応する視野の分割画面表示を提供するためのコンピュータ実行方法であって、方法は、
    計算装置の視覚表示装置にグラフィカルユーザーインターフェースを描画するステップと、
    生体試料に対応する第１の視野の第１の画像を表示する画像パネルであって、画像パネルは、第１の視野の第１及び第２の部分をそれぞれ表現するための第１及び第２の画像サブパネルを含み、第１の画像サブパネルは、第１の視野の第１の部分における第１の生体マーカーの発現レベルを表示するために構成され、第２の画像サブパネルは、第１の視野の第２の部分における１以上の形態学的特徴を表示するために構成される、画像パネルを、グラフィカルユーザーインターフェースに、描画するステップと、
    第１の視野の第１の部分における第１の生体マーカーの発現レベルに選択的に対応する第１のデータのセット、及び、第１の視野の第２の部分における１以上の形態学的特徴に選択的に対応する第２のデータのセットを決定するステップと、
    生体試料のデータを記憶する遠隔サーバーに、第１及び第２のデータのセットを要求するステップと、
    遠隔サーバーから第１及び第２のデータのセットを受け取るステップと、
    第１のデータのセットに基づいて、第１の視野の第１の部分における第１の生体マーカーの発現レベルを、第１の画像サブパネルに表現するステップと、
    第２のデータのセットに基づいて、第１の視野の第２の部分における１以上の形態学的特徴を、第２の画像サブパネルに表現するステップとを含む、方法。
11. ユーザーが第１の画像サブパネルに表現するための１以上の生体マーカーを選択することを可能にする生体マーカー選択コンポーネントを、グラフィカルユーザーインターフェースに描画するステップと、
    ユーザーが第２の画像サブパネルに表現するための１以上の形態学的特徴を選択することを可能にする形態選択コンポーネントを、グラフィカルユーザーインターフェースに描画するステップと、
    第１の画像サブパネルに表現するための第１の生体マーカーを選択するユーザー入力を、生体マーカー選択コンポーネントで受け取るステップと、
    第２の画像サブパネルに表現するための１以上の形態学的特徴を選択するユーザー入力を、形態選択コンポーネントで受け取るステップとをさらに含む、請求項１０に記載の方法。
12. １以上の形態学的特徴は、細胞を含む、請求項１０に記載の方法。
13. １以上の形態学的特徴は、細胞の集まりを含む、請求項１０に記載の方法。
14. １以上の形態学的特徴は、細胞下構成要素を含む、請求項１０に記載の方法。
15. 細胞下構成要素は、核、膜、又は細胞質である、請求項１４に記載の方法。
16. グラフィカルユーザーインターフェースの視野選択コンポーネントにおいて、生体試料の第２の視野を選択するユーザー入力を受け取るステップと、
    ユーザー入力に応答して、第２の視野を表示するように画像パネルを更新するステップとをさらに含み、
    第１及び第２の画像サブパネルは、第２の視野の第１及び第２の部分を表現し、第１の画像サブパネルは、第２の視野の第１の部分における第１の生体マーカーの発現レベルを表示し、第２の画像サブパネルは、第２の視野の第２の部分における１以上の形態学的特徴を表示する、請求項１０に記載の方法。
17. ユーザー入力が受け取られると、画像パネルが更新される、請求項１６に記載の方法。
18. 第２の視野の第１の部分における第１の生体マーカーの発現レベルに選択的に対応する第３のデータのセット、及び第２の視野の第２部分における１以上の形態学的特徴に選択的に対応する第４のデータのセットを、遠隔サーバーに要求するステップと、
    遠隔サーバーから第３及び第４のデータのセットを受け取るステップとをさらに含み、
    サーバーから受け取られた第３及び第４のデータのセットに基づいて、画像パネルが更新される、請求項１６に記載の方法。
19. 第１の視野の第３及び第４の部分を表現するように第１及び第２の画像サブパネルのサイズを調整するユーザー入力であって、第１の画像サブパネルは、第１の視野の第３の部分における第１の生体マーカーの発現レベルを表示し、第２の画像サブパネルは、第１の視野の第４の部分における１以上の形態学的特徴を表示する、ユーザー入力を、グラフィカルユーザーインターフェースで受け取るステップと、
    第１の視野の第３の部分における第１の生体マーカーの発現レベルに選択的に対応する第３のデータのセット、及び第１の視野の第４の部分における１以上の形態学的特徴に選択的に対応する第４のデータのセットを、ユーザー入力に基づいて、遠隔サーバーに要求するステップと、
    遠隔サーバーから第３及び第４のデータのセットを受け取るステップと、
    第１の視野の第３及び第４の部分を表現するように、第１及び第２の画像サブパネルを更新するステップとをさらに含み、
    第１の画像サブパネルは、第１の視野の第３の部分における第１の生体マーカーの発現レベルを表示し、第２の画像サブパネルは、第１の視野の第４の部分における１以上の形態学的特徴を表示する、請求項１に記載の方法。
20. 第１の画像サブパネルと第２の画像サブパネルとの間に配置された１以上のスプリッタコンポーネントを提供するステップをさらに含み、
    第１及び第２の画像サブパネルのサイズを調整するユーザー入力は、画像パネルを横切って１以上のスプリッタコンポーネントをドラッグすることにより提供される、請求項１９に記載の方法。
21. 生体試料の画像又は画像の一部に対応する視野の分割画面表示を提供するためのコンピュータ実行方法であって、方法は、
    計算装置の視覚表示装置にグラフィカルユーザーインターフェースを描画するステップと、
    グラフィカルユーザーインターフェースに、生体試料に対応する第１の視野の第１の画像を表示する画像パネルであって、画像パネルは、第１の視野の第１及び第２の部分をそれぞれ表現するための第１及び第２の画像サブパネルを含み、第１の画像サブパネルは、第１の視野の第１の部分における１以上の形態学的特徴の第１のセットを表示するために構成され、第２の画像サブパネルは、第１の視野の第２の部分における１以上の形態学的特徴の第２のセットを表示するために構成される、画像パネルを、グラフィカルユーザーインターフェースに、描画するステップと、
    第１の視野の第１の部分における１以上の形態学的特徴の第１のセットに選択的に対応する第１のデータのセット、及び、第１の視野の第２の部分における１以上の形態学的特徴の第２のセットに選択的に対応する第２のデータのセットを決定するステップと、
    生体試料のデータを記憶する遠隔サーバーに、第１及び第２のデータのセットを要求するステップと、
    遠隔サーバーから第１及び第２のデータのセットを受け取るステップと、
    第１のデータのセットに基づいて、第１の視野の第１の部分における１以上の形態学的特徴の第１のセットを、第１の画像サブパネルに表現するステップと、
    第２のデータのセットに基づいて、第１の視野の第２の部分における１以上の形態学的特徴の第２のセットを、第２の画像サブパネルに表現するステップとを含む、方法。
22. ユーザーが第１及び第２の画像サブパネルにそれぞれ表現するための形態学的特徴の第１及び第２のセットを選択することを可能にする形態選択コンポーネントを、グラフィカルユーザーインターフェースに描画するステップと、
    形態学的特徴の第１及び第２のセットを選択するユーザー入力を、形態選択コンポーネントで受け取るステップとをさらに含む、請求項２１に記載の方法。
23. 形態学的特徴の第１及び第２のセットは、同一である、請求項２１に記載の方法。
24. 形態学的特徴の第１及び第２のセットは、異なっている、請求項２１に記載の方法。
25. １以上の形態学的特徴は、細胞を含む、請求項２１に記載の方法。
26. １以上の形態学的特徴は、細胞の集まりを含む、請求項２１に記載の方法。
27. １以上の形態学的特徴は、細胞下構成要素を含む、請求項２１に記載の方法。
28. 細胞下構成要素は、核、膜、又は細胞質である、請求項２７に記載の方法。
29. グラフィカルユーザーインターフェースの視野選択コンポーネントにおいて、生体試料の第２の視野を選択するユーザー入力を受け取るステップと、
    ユーザー入力に応答して、第２の視野を表示するように画像パネルを更新するステップとをさらに含み、
    第１及び第２の画像サブパネルは、第２の視野の第１及び第２の部分を表現し、第１の画像サブパネルは、第２の視野の第１の部分における形態学的特徴の第１のセットを表示し、第２の画像サブパネルは、第２の視野の第２の部分における形態学的特徴の第２のセットを表示する、請求項２１に記載の方法。
30. ユーザー入力が受け取られると、画像パネルが更新される、請求項２９に記載の方法。
31. 第２の視野の第１の部分における形態学的特徴の第１のセットに選択的に対応する第３のデータのセット、及び第２の視野の第２部分における形態学的特徴の第２のセットに選択的に対応する第４のデータのセットを、遠隔サーバーに要求するステップと、
    遠隔サーバーから第３及び第４のデータのセットを受け取るステップとをさらに含み、
    サーバーから受け取られた第３及び第４のデータのセットに基づいて、画像パネルが更新される、請求項２９に記載の方法。
32. 第１の視野の第３及び第４の部分を表現するように第１及び第２の画像サブパネルのサイズを調整するユーザー入力であって、第１の画像サブパネルは、第１の視野の第３の部分における形態学的特徴の第１のセットを表示し、第２の画像サブパネルは、第１の視野の第４の部分における形態学的特徴の第２のセットを表示する、ユーザー入力を、グラフィカルユーザーインターフェースで受け取るステップと、
    第１の視野の第３の部分における形態学的特徴の第１のセットに選択的に対応する第３のデータのセット、及び第１の視野の第４の部分における形態学的特徴の第２のセットに選択的に対応する第４のデータのセットを、ユーザー入力に基づいて、遠隔サーバーに要求するステップと、
    遠隔サーバーから第３及び第４のデータのセットを受け取るステップと、
    第１の視野の第３及び第４の部分を表現するように第１及び第２の画像サブパネルを更新するステップとをさらに含み、
    第１の画像サブパネルは、第１の視野の第３の部分における形態学的特徴の第１のセットを表示し、第２の画像サブパネルは、第１の視野の第４の部分における形態学的特徴の第２のセットを表示する、請求項２１に記載の方法。
33. 第１の画像サブパネルと第２の画像サブパネルとの間に配置された１以上のスプリッタコンポーネントを提供するステップをさらに含み、
    第１及び第２の画像サブパネルのサイズを調整するユーザー入力は、画像パネルを横切って１以上のスプリッタコンポーネントをドラッグすることにより提供される、請求項３２に記載の方法。
34. 第１及び第２の部分が互いに隣接する部分である、請求項１、１０、又は２１のいずれかに記載の方法。
35. 第１及び第２のデータのセットは、遠隔サーバーから計算装置に流れる、請求項１、１０、又は２１のいずれかに記載の方法。
36. 生体試料を表示し、ユーザーが生体試料の視野を選択することを可能にする視野選択コンポーネントを、グラフィカルユーザーインターフェースに描画するステップをさらに含む、請求項１、１０、又は２１のいずれかに記載の方法。
37. 第１の視野の第１及び第２の部分は、第１及び第２の画像サブパネルに同一スケールでそれぞれ表示される、請求項１、１０、又は２１のいずれかに記載の方法。
38. ユーザーが画像パネルを分割するためのユーザー入力を提供することを可能にする、画像パネルと関係する１以上のスプリッタコンポーネントを提供するステップをさらに含む、請求項１、１０、又は２１のいずれかに記載の方法。
39. 第１及び第２の画像サブパネルを再結合するためのユーザー入力を受け取るステップと、
    画像パネルが第１の視野の全体を表示するように第１及び第２の画像サブパネルを除去するために、画像パネルを更新するステップとをさらに含む、請求項１、１０、又は２１のいずれかに記載の方法。
40. 画像パネルは、３つ以上の画像サブパネルに分割される、請求項１、１０、又は２１のいずれかに記載の方法。
41. 第１及び第２の画像サブパネルは、画像パネルにおいて互いに水平に配置される、請求項１、１０、又は２１のいずれかに記載の方法。
42. 第１及び第２の画像サブパネルは、画像パネルにおいて互いに垂直に配置される、請求項１、１０、又は２１のいずれかに記載の方法。
43. 生体試料の表現を表示する画像ナビゲーションコンポーネントを、グラフィカルユーザーインターフェースに描画するステップと、
    画像パネルに表示するための生体試料の第１の視野を選択するユーザー入力を、直接画像ナビゲーションコンポーネントにおいて、受け取るステップとをさらに含む、請求項１、１０、又は２１のいずれかに記載の方法。
44. 画像ナビゲーションコンポーネントは、生体試料内の第１の視野の相対的位置を示す、請求項１、１０、又は２１のいずれかに記載の方法。
45. 視野の第１及び第２の部分に対応する画像データは、画素レベルで表現される、請求項１、１０、又は２１のいずれかに記載の方法。
46. サーバーはタイルサーバーであり、視野の第１及び第２の部分に対応する画像データは、画像データのタイルとしてサーバーに記憶される、請求項１、１０、又は２１のいずれかに記載の方法。
47. 第１の画像の少なくとも一部の区分化解析の結果を第１の視野に重ね合わせるステップをさらに含む、請求項１、１０、又は２１のいずれかに記載の方法。
48. 画像パネルを第１及び第２の画像サブパネルに分割するユーザー入力を、グラフィカルユーザーインターフェースにおいて、受け取るステップと、
    ユーザー入力に応答して、画像パネルを第１及び第２の画像サブパネルに分割するステップとをさらに含む、請求項１、１０、又は２１のいずれかに記載の方法。
49. 生体試料の画像又は画像の一部に対応する視野の分割画面表示を提供するためのコンピュータシステムであって、システムは、
    視覚表示装置と、
    視覚表示装置に結合され、請求項１、１０、又は２１のいずれかに記載の方法を実行するようにプログラムされるコンピュータプロセッサとを含む、システム。
50. 計算装置で実行される場合に、請求項１、１０、又は２１のいずれかに記載の方法を実行する、符号化された１以上のコンピュータ実行可能命令を有する１以上の非一時的コンピュータ可読媒体。