JP2024507687A - Systems and methods for biomarker detection in digitized pathology samples - Google Patents

Abstract

デジタル化された病理サンプルにおけるバイオマーカー検出のための１つの例示の方法は、ヘマトキシリン・エオジン染色（「Ｈ＆Ｅ」）染色組織のサンプルを有する病理スライドの画像に対応する複数の画像パッチであって、各画像パッチが画像の異なる部分を表す、画像パッチを受信することと、各画像パッチについて、第１の訓練された機械学習（「ＭＬ」）モデルを使用して、パッチバイオマーカーステータスを決定することと、第２の訓練されたＭＬモデルを使用して、画像パッチのパッチバイオマーカーステータスに基づいて、組織のサンプルに対する組織サンプルバイオマーカーステータスを決定することと、を含む。【選択図】図１One exemplary method for biomarker detection in digitized pathology samples comprises: a plurality of image patches corresponding to images of a pathology slide having a sample of hematoxylin and eosin ("H&E") stained tissue; receiving image patches, each image patch representing a different portion of the image; and determining a patch biomarker status for each image patch using a first trained machine learning ("ML") model; and determining a tissue sample biomarker status for the tissue sample based on the patch biomarker status of the image patch using the second trained ML model. [Selection diagram] Figure 1

Description

本出願は、概して、組織サンプル内のバイオマーカー検出に関し、より具体的には、デジタル化された病理サンプル内のバイオマーカー検出のためのシステムおよび方法に関する。 TECHNICAL FIELD This application relates generally to biomarker detection within tissue samples, and more specifically to systems and methods for biomarker detection within digitized pathology samples.

がんの存在を決定するための組織サンプルの解釈には、がんを示す可能性がある特徴の特定を含む相当な訓練および経験を必要とする。典型的に、病理学者は、組織の切片を含有するスライドを受け取り、スライド上の特徴を特定するために組織を検討し、そしてこれらの特徴ががん、例えば、腫瘍の存在を示す可能性が高いかどうかを決定する。加えて、病理学者は、がん性腫瘍を診断するために使用される可能性がある、１つ以上のタイプのがんのリスクを予測する可能性がある、または腫瘍に対して効果的である場合がある治療のタイプを示す可能性がある特徴、例えば、バイオマーカーも特定する場合がある。 Interpreting tissue samples to determine the presence of cancer requires considerable training and experience, including identifying features that may be indicative of cancer. Typically, a pathologist receives a slide containing a section of tissue, examines the tissue to identify features on the slide, and determines whether these features may indicate the presence of cancer, e.g. Decide whether it is high or not. In addition, pathologists may be able to diagnose cancerous tumors, may predict the risk of one or more types of cancer, or may be effective against a tumor. Features, such as biomarkers, may also be identified that may indicate the type of treatment that may occur.

デジタル化された病理サンプルにおけるバイオマーカー検出のためのシステムおよび方法に対する様々な実施例が記述される。デジタル化された病理サンプルにおけるバイオマーカー検出のための１つの例示の方法は、ヘマトキシリン・エオジン染色（「Ｈ＆Ｅ」）染色組織のサンプルを有する病理スライドの画像に対応する複数の画像パッチであって、各画像パッチが画像の異なる部分を表す、画像パッチを受信することと、各画像パッチについて、第１の訓練された機械学習（「ＭＬ」）モデルを使用して、パッチバイオマーカーステータスを決定することと、第２の訓練されたＭＬモデルを使用して、画像パッチのパッチバイオマーカーステータスに基づいて、組織のサンプルに対する組織サンプルバイオマーカーステータスを決定することと、を含む。 Various embodiments are described for systems and methods for biomarker detection in digitized pathology samples. One exemplary method for biomarker detection in digitized pathology samples comprises: a plurality of image patches corresponding to images of a pathology slide having a sample of hematoxylin and eosin ("H&E") stained tissue; receiving image patches, each image patch representing a different portion of the image; and determining a patch biomarker status for each image patch using a first trained machine learning ("ML") model; and determining a tissue sample biomarker status for the tissue sample based on the patch biomarker status of the image patch using the second trained ML model.

１つの例示のシステムは、非一時的コンピュータ可読媒体と、非一時的コンピュータ可読媒体に通信可能に連結された１つ以上のプロセッサと、を含み、１つ以上のプロセッサは、１つ以上のプロセッサに、ヘマトキシリン・エオジン染色（「Ｈ＆Ｅ」）染色***組織のサンプルを有する病理スライドの画像に対応する複数の画像パッチであって、各画像パッチが画像の異なる部分を表す、画像パッチを受信させ、各画像パッチについて、第１の訓練された機械学習（「ＭＬ」）モデルを使用して、パッチバイオマーカーステータスを決定させ、かつ第２の訓練されたＭＬモデルを使用して、画像パッチのパッチバイオマーカーステータスに基づいて、***組織のサンプルに対する組織サンプルバイオマーカーステータスを決定させるように構成された、非一時的コンピュータ可読媒体内に記憶されたプロセッサ実行可能命令を実行するように構成される。 One example system includes a non-transitory computer-readable medium and one or more processors communicatively coupled to the non-transitory computer-readable medium, the one or more processors receiving a plurality of image patches corresponding to an image of a pathology slide having a sample of hematoxylin and eosin stained (“H&E”) stained breast tissue, each image patch representing a different portion of the image; For each image patch, a first trained machine learning (“ML”) model is used to determine the patch biomarker status, and a second trained ML model is used to determine the patch biomarker status of the image patch. The method is configured to execute processor-executable instructions stored in a non-transitory computer-readable medium configured to cause a tissue sample biomarker status to be determined for a sample of breast tissue based on the biomarker status.

１つの例示の非一時的コンピュータ可読媒体は、プロセッサに、ヘマトキシリン・エオジン染色（「Ｈ＆Ｅ」）染色組織のサンプルを有する病理スライドの画像に対応する複数の画像パッチであって、各画像パッチが画像の異なる部分を表す、画像パッチを受信させ、各画像パッチについて、第１の訓練された機械学習（「ＭＬ」）モデルを使用して、パッチバイオマーカーステータスを決定させ、かつ第２の訓練されたＭＬモデルを使用して、画像パッチのパッチバイオマーカーステータスに基づいて、組織のサンプルに対する組織サンプルバイオマーカーステータスを決定させるように構成されたプロセッサ実行可能命令を含む。 One example non-transitory computer-readable medium provides a processor with a plurality of image patches corresponding to images of a pathology slide having a sample of hematoxylin and eosin ("H&E") stained tissue, each image patch representing an image of receive image patches representing different portions of the image patch, and for each image patch, a first trained machine learning ("ML") model is used to determine patch biomarker status; processor-executable instructions configured to cause a tissue sample biomarker status for a sample of tissue to be determined based on a patch biomarker status of an image patch using an ML model based on the image patch.

これらの例示的な実施例は、本開示の範囲を限定または定義するためではなく、むしろその理解を補助するための実施例を提供するために述べられる。例示的な実施例は、「発明を実施するための形態」において考察され、これはさらなる記述を提供する。様々な実施例によって提供される利点は、本明細書を検討することによって、更に理解される場合がある。 These illustrative examples are set forth not to limit or define the scope of the disclosure, but rather to provide examples to aid in understanding thereof. Exemplary embodiments are discussed in the Detailed Description, which provides further description. The advantages provided by the various embodiments may be further understood by reviewing the specification.

本明細書の中へと組み込まれ、またその一部を構成する添付図面は、１つ以上のある特定の実施例を例示し、そして実施例の記述とともに、特定の実施例の原理および実施を説明する役割を果たす。 The accompanying drawings, which are incorporated into and constitute a part of this specification, illustrate one or more specific embodiments and, together with the description of the embodiments, serve to explain the principles and practice of the specific embodiments. play a role in explaining.

図１は、本開示によるデジタル化された病理サンプルにおけるバイオマーカー検出のためのシステムおよび方法での使用のために好適な染色組織サンプルを含むスライドの画像の実施例を示す。FIG. 1 shows an example of an image of a slide containing a stained tissue sample suitable for use in the systems and methods for biomarker detection in digitized pathology samples according to the present disclosure. 図２は、デジタル化された病理サンプルにおけるバイオマーカー検出のための例示のシステムを示す。FIG. 2 shows an example system for biomarker detection in digitized pathology samples. 図３は、デジタル化された病理サンプルにおけるバイオマーカー検出のためのシステムおよび方法での使用のために好適なパッチバイオマーカーステータスからヒストグラムの組を生成するための、例示のデータフローを示す。FIG. 3 shows an example data flow for generating a set of histograms from patch biomarker status suitable for use in systems and methods for biomarker detection in digitized pathology samples. 図４は、デジタル化された病理サンプルにおけるバイオマーカー検出のための例示のシステムを示す。FIG. 4 shows an example system for biomarker detection in digitized pathology samples. 図５は、デジタル化された病理サンプルにおけるバイオマーカー検出のための例示のシステムを示す。FIG. 5 shows an example system for biomarker detection in digitized pathology samples. 図６は、デジタル化された病理サンプルにおけるバイオマーカー検出のための例示の方法を示す。FIG. 6 shows an exemplary method for biomarker detection in digitized pathology samples. 図７は、デジタル化された病理サンプルにおけるバイオマーカー検出のための様々なシステムおよび方法での使用のために好適な例示の計算装置を示す。FIG. 7 illustrates an example computing device suitable for use in various systems and methods for biomarker detection in digitized pathology samples.

実施例は、デジタル化された病理サンプルにおけるバイオマーカー検出のためのシステムおよび方法の文脈で本明細書に記述される。当業者であれば、以下の説明は例示に過ぎず、いかなる方法でも限定することを意図するものではないことを理解するであろう。ここで、添付図面に図示する実施例の実施について詳細に説明する。同じまたは同様のアイテムを参照するために、同じ参照標識が、図面および以下の記述全体を通して使用される。 Examples are described herein in the context of systems and methods for biomarker detection in digitized pathology samples. Those skilled in the art will appreciate that the following description is illustrative only and is not intended to be limiting in any way. Reference will now be made in detail to the implementation of the embodiments illustrated in the accompanying drawings. The same reference signs are used throughout the drawings and the following description to refer to the same or similar items.

明瞭の目的で、本明細書に記述される実施例の日常的な特徴のすべてが示され、かつ記述されるわけではない。任意のこうした実際の実装の開発において、アプリケーション関連の制約およびビジネス関連の制約とのコンプライアンスなどの、開発者の具体的な目標を達成するために、当然、数多くの実装に特有な決定を行う必要があり、これらの具体的な目標は、実装毎に、また開発者毎に異なることが理解されるであろう。 In the interest of clarity, not all of the routine features of the embodiments described herein are shown or described. In developing any such actual implementation, a number of implementation-specific decisions will of course need to be made to achieve the developer's specific goals, such as compliance with application-related and business-related constraints. It will be appreciated that these specific goals will vary from implementation to implementation and developer to developer.

病理サンプル内のバイオマーカーの検出は困難である可能性があり、そしてサンプルをレビューする病理学者による解釈に供される可能性がある。例えば、検出プロセスには、サンプルの免疫組織化学（ＩＨＣ）染色が伴う可能性があり、病理学者はその後、顕微鏡下サンプルを直接的に、またはサンプルの捕捉された画像を介して、サンプルの拡大画像を見る。ＩＨＣ染色サンプルから、病理学者は、特定のバイオマーカーの存在（または不在）を示すサンプルの特徴を特定することができる。しかしながら、ＩＨＣ染色は、他のタイプの染色、例えばヘマトキシリン・エオジン（「Ｈ＆Ｅ」）染色より実質的に高価である可能性がある。さらに、ＩＨＣ染色は、すべての場所で容易には利用できない場合がある。これに対処するために、本開示は、ある特定のバイオマーカーを特定するためには、典型的に使用されない場合があるＨ＆Ｅ染色などの他の種類の染色を使用して、ある特定のバイオマーカーを検出することを可能にするシステムおよび方法を提供する。より一般的に、本開示は、特定のバイオマーカーを検出するために好ましい染色ではなく、特定の場所で容易に使用可能である、またはコスト効果の高い染色を使用して、バイオマーカーを認識するためにＭＬモデルを訓練および使用するやり方を提供する。 Detection of biomarkers within pathology samples can be difficult and may be subject to interpretation by the pathologist reviewing the sample. For example, the detection process may involve immunohistochemical (IHC) staining of the sample, and the pathologist then performs magnification of the sample, either directly under the microscope or via a captured image of the sample. View image. From IHC-stained samples, pathologists can identify characteristics in the sample that indicate the presence (or absence) of particular biomarkers. However, IHC staining can be substantially more expensive than other types of staining, such as hematoxylin and eosin ("H&E") staining. Furthermore, IHC staining may not be readily available at all locations. To address this, the present disclosure uses other types of stains, such as H&E stains, that may not typically be used to identify certain biomarkers. A system and method is provided that allows detecting. More generally, the present disclosure describes the use of stains that are not preferred for detecting a particular biomarker, but are readily available in a particular location, or are cost-effective, to recognize the biomarker. Provides a way to train and use ML models for.

バイオマーカー、例えば、ヒト***から取られた染色組織サンプル中のバイオマーカーを検出するための例示のシステムは、訓練された機械学習（「ＭＬ」）モデルを使用して、染色サンプルのデジタル化された画像を分析することを伴う。サンプルをデジタル化するために、組織の薄い切片を染色し、かつスライド上に位置付けられてもよく、ここでサンプルは、典型的に光学的な拡大を使用して撮像される。次いで、染色組織の画像は、いくつかの画像パッチへとセグメント化される。これらの画像パッチの各々は、１つのＭＬモデルへと入力され、これは画像パッチを分析して、特定のバイオマーカーが存在するかどうかを決定する。例えば、ＭＬモデルは、画像パッチにおけるエストロゲン受容体（「ＥＲ」）陽性または陰性の可能性を決定する場合がある。同様に、別のＭＬモデルを使用して、画像パッチにおける他のバイオマーカー、例えば、プロゲステロン受容体（「ＰＲ」）陽性もしくは陰性、またはヒト上皮成長因子受容体２（「ＨＥＲ２」）陽性もしくは陰性の存在を決定してもよい。 An exemplary system for detecting a biomarker, e.g., a biomarker in a stained tissue sample taken from a human breast, uses a trained machine learning (“ML”) model to detect a digitized sample of the stained sample. It involves analyzing the captured images. To digitize a sample, thin sections of tissue may be stained and placed on a slide, where the sample is imaged, typically using optical magnification. The image of the stained tissue is then segmented into several image patches. Each of these image patches is input into one ML model, which analyzes the image patch to determine whether a particular biomarker is present. For example, the ML model may determine the likelihood of estrogen receptor (“ER”) positivity or negativity in an imaged patch. Similarly, other biomarkers in the image patch, such as progesterone receptor (“PR”) positivity or negativity, or human epidermal growth factor receptor 2 (“HER2”) positivity or negativity, using another ML model may determine the existence of

モデルを訓練するために、病理学者は、ＩＨＣ染色組織サンプルの画像と、Ｈ＆Ｅ染色で染色同じ組織サンプルとを提示してもよい。病理学者は、次いで、Ｈ＆Ｅ染色組織の画像上に、ＩＨＣ染色組織上に位置する１つ以上の対象のバイオマーカーに対応する任意の場所を示すことができる。それ故に、Ｈ＆Ｅ染色サンプル内の領域は、１つ以上のバイオマーカーに対応するものとして特定することができる。次いで、Ｈ＆Ｅ染色サンプルをパッチへとセグメント化し、そしてパッチが特定された領域のうちの１つに収まるかどうかに基づいて、各パッチに標識を割り当てることができる。次いで、標識されたパッチを好適なＭＬモデルへとフィードして、モデルを訓練してもよい。この例示のシステムでは、３つの異なるＭＬモデルが訓練されている。１つはＥＲ陽性／陰性を検出するように訓練され、１つはＰＲ陽性／陰性を検出するように訓練され、そして１つはＨＥＲ２陽性／陰性を検出するように訓練される。それ故に、画像パッチの各々は、３つのモデルの各々に対して提示されてもよく、これはその後、対応するバイオマーカーが存在する可能性が高いかどうかを示す情報を出力する。例えば、ＥＲ陽性／陰性を検出するように訓練されたモデルは、３つの値を出力してもよい。すなわちパッチがＥＲ陽性を示す確率、パッチがＥＲ陰性を示す確率、およびパッチがＥＲ陽性もＥＲ陰性も示さない確率である。その他のモデルは、そのそれぞれのバイオマーカーに対して同じ種類の情報を出力する。 To train the model, a pathologist may present images of IHC-stained tissue samples and the same tissue samples stained with H&E staining. The pathologist can then indicate on the image of the H&E stained tissue any location corresponding to one or more biomarkers of interest located on the IHC stained tissue. Therefore, regions within the H&E stained sample can be identified as corresponding to one or more biomarkers. The H&E stained sample can then be segmented into patches and a label assigned to each patch based on whether the patch falls within one of the identified regions. The labeled patches may then be fed into a suitable ML model to train the model. In this example system, three different ML models are trained. One trained to detect ER positive/negative, one trained to detect PR positive/negative, and one trained to detect HER2 positive/negative. Therefore, each of the image patches may be presented to each of the three models, which then outputs information indicating whether the corresponding biomarker is likely to be present. For example, a model trained to detect ER positive/negative may output three values. namely, the probability that the patch will be ER positive, the probability that the patch will be ER negative, and the probability that the patch will be neither ER positive nor ER negative. Other models output the same type of information for their respective biomarkers.

様々なパッチが分析されると、ＭＬモデルのうちの１つからの情報は、組織サンプルを全体として分析するためにさらなるＭＬモデルへとフィードされてもよい。ＥＲ陽性／陰性に関して第１のＭＬモデルによって分析された様々なパッチについての情報に基づいて、第２のＭＬモデルは次いで、組織サンプルがＥＲ陽性であるか、またはＥＲ陰性であるかを決定することができる。同様に、他の２つのＭＬモデル、すなわち、上記で考察したＰＲモデルおよびＨＥＲ２モデルからの出力を、後続のＭＬモデルへとフィードして、組織サンプルがＰＲ陽性／陰性であるか、またはＨＥＲ２陽性／陰性であるかを決定することができる。これらの３つのＭＬモデルの出力を使用して、病理学者または他の医療従事者は、対応する患者に対して使用されてもよい潜在的な治療を決定することができる。 Once the various patches have been analyzed, information from one of the ML models may be fed into a further ML model to analyze the tissue sample as a whole. Based on the information about the various patches analyzed by the first ML model for ER positivity/negativity, the second ML model then determines whether the tissue sample is ER positive or ER negative. be able to. Similarly, the outputs from the other two ML models, namely the PR model and the HER2 model discussed above, are fed into the subsequent ML model to determine whether the tissue sample is PR positive/negative or HER2 positive. / negative can be determined. Using the output of these three ML models, a pathologist or other medical professional can determine potential treatments that may be used for the corresponding patient.

これらの第２段階モデルの訓練は、上記で考察したのと類似のやり方で達成されてもよい。病理学者は、バイオマーカー陽性または陰性の領域を特定することに加えて、組織サンプルが全体としてバイオマーカー陽性または陰性であるかも特定することができる。次いで、様々なパッチから決定された情報を標識し、そしてＭＬモデルへと提供することができる。複数の異なる組織サンプルでこのプロセスを繰り返すことによって、ＭＬモデルを、画像パッチのバイオマーカー分析に基づいて、スライドがバイオマーカー陽性または陰性を示すかどうかを認識するように訓練することができる。 Training of these second stage models may be accomplished in a similar manner as discussed above. In addition to identifying regions that are biomarker positive or negative, the pathologist can also identify whether the tissue sample as a whole is biomarker positive or negative. The information determined from the various patches can then be labeled and provided to the ML model. By repeating this process with multiple different tissue samples, the ML model can be trained to recognize whether a slide exhibits biomarker positivity or negativity based on biomarker analysis of image patches.

こうした技法は、がん性組織内のバイオマーカーを特定するために、より安価でより容易に入手可能な染色の使用を可能にする場合がある。上記の実施例はＩＨＣおよびＨ＆Ｅを染色の例として使用したが、関与する組織のタイプ、特定するべきバイオマーカーのタイプ、および使用可能である可能性が高い染色のタイプに応じて、他の染色を使用してもよい。本開示による実施例はまた、病理学者間の変動性がほとんどない、がん性組織におけるバイオマーカーの特定、およびバイオマーカーを特定するためにはそうでなければ使用されない染色技法の使用も可能にする場合がある。病理学者は、最終的にシステムの出力をレビューしてその決定を確認してもよく、または病理学者は、自身の分析に対するチェックとして出力をレビューしてもよいが、システムが医療従事者の信頼を得たら、ある特定のバイオマーカーの存在（または不在）を決定し、それに応じて患者を治療するために、それを使用してもよい。 Such techniques may allow the use of cheaper and more readily available stains to identify biomarkers within cancerous tissue. Although the examples above used IHC and H&E as examples of staining, other stains may be used depending on the type of tissue involved, the type of biomarker to be identified, and the type of staining likely to be available. may be used. Embodiments according to the present disclosure also enable the identification of biomarkers in cancerous tissue with little inter-pathologist variability and the use of staining techniques that would otherwise not be used to identify biomarkers. There are cases where The pathologist may ultimately review the system's output to confirm that decision, or the pathologist may review the output as a check on his or her own analysis, but the system may Once obtained, it may be used to determine the presence (or absence) of certain biomarkers and treat patients accordingly.

この例示的な実施例は、本明細書で考察される一般的な主題を読者に紹介するために与えられ、また本開示は、この実施例に限定されない。以下のセクションでは、様々な追加的な非限定的実施例、およびデジタル化された病理サンプルにおけるバイオマーカー検出のためのシステムおよび方法の実施例を記述する。 This illustrative example is provided to introduce the reader to the general subject matter discussed herein, and the disclosure is not limited to this example. The following sections describe various additional non-limiting examples and examples of systems and methods for biomarker detection in digitized pathology samples.

ここで図１を参照すると、図１は、染色組織サンプルを含むスライドの画像の例を示す。臨床環境において、病理学者は、染色組織サンプルを有するスライドをレビューして、特定のバイオマーカーがサンプル中に存在するか否かを決定してもよい。例えば、乳がんの診断精密検査および治療は、臨床バイオマーカーに依存し、ＥＲ、ＰＲ、およびＨＥＲ２に最も顕著に依存する。現在の臨床診療では、バイオマーカーステータスは、典型的に、上記で考察したように、染色組織の組織学的検査によって決定される。ＩＨＣ染色スライドの顕微鏡検査に際して、専門家は多くの場合各サンプルのバイオマーカーステータスを決定することができる。しかしながら、ＩＨＣ染色は高価である可能性があり、また必ずしも容易に入手可能ではない可能性がある。それ故に、Ｈ＆Ｅ染色などの他の種類の染色を使用してこうした分析を実施することが望ましいことになる。図１に示すスライドの例示の画像は、Ｈ＆Ｅ染色されており、そして本開示によるシステムおよび方法によって使用するためにさらに処理される。 Referring now to FIG. 1, FIG. 1 shows an example of an image of a slide containing a stained tissue sample. In a clinical setting, a pathologist may review slides with stained tissue samples to determine whether a particular biomarker is present in the sample. For example, the diagnostic workup and treatment of breast cancer relies on clinical biomarkers, most notably ER, PR, and HER2. In current clinical practice, biomarker status is typically determined by histological examination of stained tissues, as discussed above. Upon microscopic examination of IHC-stained slides, experts are often able to determine the biomarker status of each sample. However, IHC staining can be expensive and may not always be readily available. It would therefore be desirable to perform such analysis using other types of staining, such as H&E staining. The exemplary image of the slide shown in FIG. 1 has been H&E stained and further processed for use with systems and methods according to the present disclosure.

Ｈ＆Ｅ染色は（それだけでなく他のタイプの染色も）、乳がん組織のバイオマーカーを検出するために使用されないため、本開示によるシステムおよび方法は、染色組織サンプルの画像を受け入れ、そして特定のバイオマーカーが存在するかどうかを対象の染色物を使用して決定するために開発された。一部の事例では、染色はＩＨＣではない任意の種類のものとしてもよいが、一部の実施例では、システムはＩＨＣ染色組織を分析するために訓練されてもよい。図２および図３に図示したものなどの例示のシステムは、ＭＬを採用して、こうした組織サンプル内のバイオマーカーの存在を認識する。 Because H&E staining (as well as other types of staining) is not used to detect biomarkers in breast cancer tissue, systems and methods according to the present disclosure accept images of stained tissue samples and detect specific biomarkers. was developed to determine whether a stain is present using a stain of interest. In some cases, the staining may be of any type other than IHC, although in some embodiments the system may be trained to analyze IHC-stained tissue. Exemplary systems, such as those illustrated in FIGS. 2 and 3, employ ML to recognize the presence of biomarkers within such tissue samples.

プロセスを開始するために、染色組織サンプルの画像は、好適な詳細のレベルまたは解像度で、任意の好適な撮像装置を使用して捕捉されてもよい。図１の例示の画像１００は、ピクセル当たりおおよそ２ミクロンの解像度で捕捉された。しかし、当然のことながら、任意の好適なサイズまたは解像度が採用されてもよい。 To begin the process, images of the stained tissue sample may be captured using any suitable imaging device at a suitable level of detail or resolution. The example image 100 of FIG. 1 was captured with a resolution of approximately 2 microns per pixel. However, it will be appreciated that any suitable size or resolution may be employed.

組織サンプルの画像１００が得られると、システムは画像１００をいくつかの画像パッチ１２０、例えば、画像パッチ１２０ｎへとセグメント化する。この実施例では、画像１００は、おおよそ１平方ミリメートルのパッチを表す５１２×５１２ピクセルのパッチ（実寸に比例していない）へとセグメント化されているが、任意の好適なサイズまたはパッチの数を使用してもよい。 Once an image 100 of a tissue sample is obtained, the system segments the image 100 into a number of image patches 120, eg, image patches 120n. In this example, image 100 is segmented into 512 x 512 pixel patches (not to scale) representing approximately 1 square millimeter patches, but any suitable size or number of patches may be used. May be used.

ここで図２を参照すると、図２は、デジタル化された病理サンプルにおけるバイオマーカー検出のためのシステムおよび方法のための例示のシステム２００を示す。図２に示すシステム２００は、２つの段階２１０、２２０を含む。段階１（２１０）は、図１に関して上記で考察したものなどの画像パッチを、入力として受け入れ、そして画像パッチに対するバイオマーカーステータスを出力する、訓練されたＭＬモデル２１２を含む。 Referring now to FIG. 2, FIG. 2 illustrates an example system 200 for systems and methods for biomarker detection in digitized pathology samples. The system 200 shown in FIG. 2 includes two stages 210, 220. Stage 1 (210) includes a trained ML model 212 that accepts as input an image patch, such as the one discussed above with respect to FIG. 1, and outputs a biomarker status for the image patch.

この実施例におけるＭＬモデルは、画像パッチおよびバイオマーカーの存在または不在を示す対応する訓練ラベルを使用して訓練されている。訓練画像パッチを得るために、従来のＩＨＣ染色乳がん組織サンプルを用いたスライドの画像を得た。同じ組織サンプルのＩＨＣ染色を洗い落し、望ましい染色、例えば、Ｈ＆Ｅ染色液で再染色し、そして撮像した。次いで、病理学者は、ＩＨＣ染色サンプルおよびＨ＆Ｅ染色サンプルの両方の画像を提示され、そしてＩＨＣ染色サンプルのレビューに基づいて、バイオマーカー陽性または陰性を示すＨ＆Ｅ染色サンプル内の領域を特定した。次いで、Ｈ＆Ｅ染色組織の画像を画像パッチへとセグメント化し、そしてその後、特定された領域内であるか、または領域の外側かに基づいて画像パッチを標識した。例示のシステム２００における第１のＭＬモデルは、２００事例にわたる５７６枚のスライドからの１２億１千万パッチを使用して訓練され、そして６４事例にわたる１８１枚のスライドからのすべてのパッチのテストセットで評価され、一方で、第２のＭＬモデルは、２６４事例からの２１３４枚のスライドを使用して訓練され、そして１２４９事例からの合計３２７４枚のスライドを含有するテストセットで評価された。しかしながら、任意の好適な訓練セットを採用してもよい。 The ML model in this example is trained using image patches and corresponding training labels indicating the presence or absence of the biomarker. To obtain training image patches, images of slides with conventional IHC-stained breast cancer tissue samples were acquired. The same tissue samples were washed off IHC staining, restained with the desired stain, eg, H&E stain, and imaged. The pathologist was then presented with images of both the IHC-stained sample and the H&E-stained sample, and based on a review of the IHC-stained sample, identified areas within the H&E-stained sample that showed biomarker positivity or negativity. The image of the H&E stained tissue was then segmented into image patches, and the image patches were then labeled based on whether they were within or outside the identified region. The first ML model in the example system 200 is trained using 1.21 billion patches from 576 slides across 200 cases, and a test set of all patches from 181 slides across 64 cases. while the second ML model was trained using 2134 slides from 264 cases and evaluated on a test set containing a total of 3274 slides from 1249 cases. However, any suitable training set may be employed.

異なる実施例に従って、任意の好適なＭＬモデルが使用されてもよい。図２に示す例示のシステム２００は、２つの深い畳み込みニューラルネットワーク（「ＣＮＮ」）であるが、しかしながら、ＭＯＵＮＴＡＩＮ ＶＩＥＷ、ＣＡＬＩＦＯＲＮＩＡからのＧＯＯＧＬＥ ＬＬＣによって提供される残差ニューラルネットワーク（「Ｒｅｓｎｅｔ」）若しくはＮＡＳＮＥＴ、または回帰型ニューラルネットワーク、例えば、長・短期記憶（「ＬＳＴＭ」）モデル若しくはゲート付き回帰型ユニット（「ＧＲＵ」）モデル、などの他のＭＬモデルも使用する。ＭＬモデル２１２、２２２はまた、三次元ＣＮＮ（「３ＤＣＮＮ」）、動的時間反り（「ＤＴＷ」）技法、隠れマルコフモデル（「ＨＭＭ」）など、またはこうした技術のうちの１つ以上の組み合わせ、例えば、ＣＮＮ－ＨＭＭまたはＭＣＮＮ（マルチスケール畳み込みニューラルネットワーク）などの任意の他の好適なＭＬモデルとすることもできる。さらに、一部の実施例は、敵対的生成ネットワーク（「ＧＡＮ」）などの敵対的ネットワークを採用してもよく、またはＡＥＧＡＮまたは変分ＡＥＧＡＮ（「ＶＡＥＧＡＮ」）などのＭＬモデルと併せたオートエンコーダ（「ＡＥ」）を採用してもよい。さらに、２つの段階２１０、２２０は、同じまたは異なるタイプのＭＬモデルを採用してもよい。 Any suitable ML model may be used according to different embodiments. The example system 200 shown in FIG. 2 is a deep convolutional neural network ("CNN"), but not a residual neural network ("Resnet") provided by MOUNTAIN VIEW, GOOGLE LLC from CALIFORNIA or NASNET. , or other ML models such as recurrent neural networks, e.g., long short-term memory ("LSTM") models or gated recurrent unit ("GRU") models. The ML models 212, 222 may also include a three-dimensional CNN ("3DCNN"), a dynamic time warping ("DTW") technique, a hidden Markov model ("HMM"), etc., or a combination of one or more of these techniques; For example, it can also be any other suitable ML model, such as CNN-HMM or MCNN (Multiscale Convolutional Neural Network). Additionally, some embodiments may employ adversarial networks, such as generative adversarial networks ("GANs"), or autoencoders in conjunction with ML models, such as AEGANs or variational AEGANs ("VAEGANs"). (“AE”) may be adopted. Furthermore, the two stages 210, 220 may employ the same or different types of ML models.

上記で考察したように、ＭＬモデル２１２は、画像パッチ２０２を入力として受け入れ、また各画像パッチ２０２に対して対応するバイオマーカーステータスを出力する。この実施例におけるバイオマーカーステータスは、３つの別個の値を有するタプルを含む。すなわちバイオマーカー陽性を示す確率、バイオマーカー陰性を示す確率、およびパッチが非侵襲性がんを示す確率（図中では「その他」と特定される）である。これらの確率は、いかなる丸み付け、または浮動小数点の不正確性があるにもかかわらず、合計で１００％または１（０～１のスケールの場合）である。それ故に、ＭＬモデルは、画像からセグメント化されたパッチの各々に対してタプルを出力する。これらのタプルは、各々が別個の値のうちの１つを表す、３つの異なる、すなわちバイオマーカー陽性、バイオマーカー陰性、および「その他」に対して各々１つの「ヒートマップ」の構成要素として視覚化されてもよい。こうしたヒートマップ２０５の実施例を図２に示し、そして画像パッチ２０４ａ～ｎのすべてについて３つのタプル値のうちの１つに対応する値を表す。ここでヒートマップ２０５は、バイオマーカーの陰性を示し、バイオマーカー陰性の低い確率は青色（またはグレースケールでは、黒色）領域によって表され、バイオマーカー陰性の高い確率は赤色（またはグレースケールでは、灰色）によって表される。その他の２つのヒートマップは図示されていないが、それらの値の視覚化を同様のやり方で提供する。 As discussed above, ML model 212 accepts image patches 202 as input and outputs a corresponding biomarker status for each image patch 202. The biomarker status in this example includes a tuple with three distinct values. namely, the probability that the patch is positive for the biomarker, the probability that the patch is negative for the biomarker, and the probability that the patch indicates non-invasive cancer (identified as "other" in the figure). These probabilities add up to 100% or 1 (for a 0-1 scale), regardless of any rounding or floating point inaccuracies. Therefore, the ML model outputs a tuple for each segmented patch from the image. These tuples can be visualized as components of a "heat map" for three different ones, each representing one of the distinct values: biomarker positive, biomarker negative, and "other". may be converted into An example of such a heatmap 205 is shown in FIG. 2 and represents a value corresponding to one of three tuple values for every image patch 204a-n. Here, the heat map 205 shows biomarker negativity, with a low probability of biomarker negativity represented by a blue (or, in grayscale, black) area, and a high probability of biomarker negativity being represented by a red (or, in grayscale, gray) area. ). The other two heatmaps are not shown but provide visualization of their values in a similar manner.

段階２（２２０）は、段階１（２１０）の出力を受け入れ、そしてバイオマーカー陽性および陰性の画像レベル（または「スライドレベル」）の確率を決定する。本実施例では段階２におけるＭＬモデル２２２の訓練は、病理学者によって検討され、かつ標識されたＩＨＣ染色スライドに基づいて実施され、その後に、上記で一般的に考察したように、組織からの染色の洗浄と、望ましい染色、例えば、Ｈ＆Ｅ染色を使用した再染色とが続く。次いで、段階１の結果（２１０）を、対応する標識とともにＭＬモデル２２２へと提示することができる。好適な数の訓練スライドがＭＬモデル２２２に適用されるか、または出力の精度が所定の閾値を満たすと、ＭＬモデル２２２は、段階２（２２０）の一部として使用されてもよい。当然のことながら、ＭＬモデルを訓練することは、任意の好適な染色技法を使用して実施されてもよい。この実施例におけるＩＨＣおよびＨ＆Ｅ染色の使用は、例示である。 Stage 2 (220) accepts the output of Stage 1 (210) and determines the image level (or "slide level") probabilities of biomarker positivity and negativity. In this example, training of the ML model 222 in stage 2 is performed based on IHC-stained slides reviewed and labeled by a pathologist, followed by staining from tissues as generally discussed above. This is followed by washing and re-staining using the desired stain, for example H&E stain. The results of stage 1 (210) can then be presented to the ML model 222 with corresponding indicators. Once a suitable number of training slides have been applied to the ML model 222 or the accuracy of the output meets a predetermined threshold, the ML model 222 may be used as part of stage 2 (220). It will be appreciated that training the ML model may be performed using any suitable staining technique. The use of IHC and H&E staining in this example is exemplary.

この例示のシステム２００では、段階２（２２０）におけるＭＬモデル２２２は、段階１（２１０）からのヒートマップ２０５を使用せず、むしろ、パッチバイオマーカーステータス２０４が、段階２（２２０）のＭＬモデル２２２への入力として提供されるヒストグラムへとバケット化される。 In this example system 200, the ML model 222 in stage 2 (220) does not use the heatmap 205 from stage 1 (210); rather, the patch biomarker status 204 is the ML model in stage 2 (220). 222 into a histogram that is provided as input to 222.

ここで図３を参照すると、図３は、パッチバイオマーカーステータスからヒストグラムのセットを生成するための例示のデータフローを示す。上記で考察したように、段階１（２１０）は、パッチごとのバイオマーカーステータスのヒートマップを出力し、各パッチは、値の三重項（バイオマーカー陽性、バイオマーカー陰性、その他）によって表される。ヒートマップ３１２、３１４を生成するために、陽性であるかまたは陰性であるかにかかわらず、各パッチについてのバイオマーカーステータスが閾値ｔと比較される。パッチバイオマーカーステータスがｔを満たすか、またはそれを超える場合、１の値が割り当てられか、そうでなければ０の値が割り当てられる。バイオマーカー陽性およびバイオマーカー陰性ヒストグラムに対するバケットは、例えば、５％、１０％、または任意の好適な幅を有する、等しいサイズ設定された確率範囲を使用して作り出される。次いで、各パッチは、バイオマーカー陽性または陰性のそれぞれの確率に基づいて、各ヒストグラムのバケットに割り当てられる。 Referring now to FIG. 3, FIG. 3 illustrates an example data flow for generating a set of histograms from patch biomarker status. As discussed above, stage 1 (210) outputs a heat map of biomarker status per patch, with each patch represented by a triplet of values (biomarker positive, biomarker negative, other). . To generate heatmaps 312, 314, the biomarker status for each patch, whether positive or negative, is compared to a threshold t. If the patch biomarker status meets or exceeds t, it is assigned a value of 1, otherwise it is assigned a value of 0. Buckets for biomarker positive and biomarker negative histograms are created using equally sized probability ranges, for example, with 5%, 10%, or any suitable width. Each patch is then assigned to each histogram bucket based on its respective probability of being biomarker positive or negative.

それぞれのバケットに対する各パッチの寄与は、上記で考察したように、そのパッチの確率がｔを満たすか、またはそれを超えるかどうかに基づく。この実施例では、ｔ＝０．４２である。それ故に、パッチ１がパッチバイオマーカーステータス（０．５７、０．２２、０．２１）を有する場合、ｔに基づいて（１、０、０）の値が割り当てられる。次いで、そのバイナリ値が、パッチバイオマーカーステータス確率に対応するヒストグラムバケットに追加される。この実施例では、ヒストグラムは１０％幅のバケットを採用する。それ故に、パッチ１は、バイオマーカー陽性ヒストグラム３１２のバケット０．５～０．５９に１を、そしてバイオマーカー陰性バケットのバケット０．２～０．２９に０を寄与する。各パッチは同様にバケット化され、そして２つのヒストグラム３１２、３１４に寄与する。この実施例では、閾値ｔを使用することの副次的効果は、０～０．０９、０．１～０．１９、０．２～０．２９、および０．３～０．３９の範囲のヒストグラムがすべてゼロになることである。 The contribution of each patch to its respective bucket is based on whether the probability of that patch satisfies or exceeds t, as discussed above. In this example, t=0.42. Therefore, if patch 1 has patch biomarker status (0.57, 0.22, 0.21), it is assigned a value of (1, 0, 0) based on t. That binary value is then added to the histogram bucket corresponding to the patch biomarker status probability. In this example, the histogram employs 10% wide buckets. Therefore, patch 1 contributes 1 to bucket 0.5-0.59 of the biomarker-positive histogram 312 and 0 to bucket 0.2-0.29 of the biomarker-negative bucket. Each patch is similarly bucketed and contributes to two histograms 312, 314. In this example, the side effects of using the threshold t are in the ranges 0 to 0.09, 0.1 to 0.19, 0.2 to 0.29, and 0.3 to 0.39. The histogram of is all zero.

当然のことながら、上記で考察したデータフローは一例に過ぎない。任意の好適なアプローチを使用して、段階２（２２０）のＭＬモデルのために好適なヒストグラムを生成してもよい。例えば、この実施例では閾値ｔが使用されたが、一部の実施例ではこうした閾値を採用しなくてもよい。さらに、陽性および陰性の両方のバイオマーカーに対して同じ閾値を使用したが、当然のことながら一部の例では異なる閾値が使用されてもよい。同様に、バケット幅は、任意の好適なサイズであってもよく、また一部の実施例では、等しい幅でなくてもよい。 Of course, the data flows discussed above are only one example. Any suitable approach may be used to generate a suitable histogram for the stage 2 (220) ML model. For example, although a threshold t was used in this example, some implementations may not employ such a threshold. Additionally, although the same threshold was used for both positive and negative biomarkers, it will be appreciated that different thresholds may be used in some instances. Similarly, the bucket widths may be any suitable size and, in some embodiments, may not be of equal width.

図２を再度参照すると、この実施例では、パッチバイオマーカーステータス２０４ａ～ｎは、ヒストグラムを生成するようにバケット化され、これは、パッチバイオマーカーステータスのよりコンパクトな表現を提供する場合がある。しかし、当然のことながら、パッチバイオマーカーステータスの任意の好適な表現が採用されてもよい。例えば、一部の実施例では、全解像度ヒートマップを段階２（２２０）のＭＬモデル２２２へと提供してもよい。別の方法として、ＭＬモデル出力をパラメータ化するための他のアプローチが、いくつかの実施例に従って使用されてもよい。 Referring again to FIG. 2, in this example, patch biomarker status 204a-n is bucketed to generate a histogram, which may provide a more compact representation of patch biomarker status. However, it will be appreciated that any suitable representation of patch biomarker status may be employed. For example, in some embodiments, a full resolution heatmap may be provided to the ML model 222 in stage 2 (220). Alternatively, other approaches for parameterizing ML model output may be used according to some embodiments.

図３のヒストグラム３１２、３１４によって表されるように、パッチバイオマーカーステータス２０４ａ～ｎがＭＬモデル２２２へと入力された後、ＭＬモデル２２２は、バイオマーカー陽性およびバイオマーカー陰性の確率２０６ａ～ｂを生成する。次いで、これらの２つの確率を使用して、組織サンプルが、バイオマーカー陽性であるか、バイオマーカー陰性であるか、またはその他であるかを決定してもよい。例えば、システム２００は、２つの確率２０６ａ～ｂを比較し、そして組織サンプルに対するバイオマーカーステータスを示すとして、より高い確率を選択してもよい。一部の実施例では、システム２００は、２つの確率を閾値と比較してもよく、また、確率２０６ａ～ｂのうちの１つが閾値を満たすか、または閾値を超える場合、システム２００は、どのバイオマーカーが閾値を満たすかに応じて、組織サンプルをバイオマーカー陽性または陰性として特定してもよい。別の方法として、いずれのバイオマーカー確率も閾値を満たさない場合、システム２００は、いずれのバイオマーカーも検出されないことを出力してもよい。 After the patch biomarker status 204a-n is input into the ML model 222, as represented by the histograms 312, 314 in FIG. generate. These two probabilities may then be used to determine whether the tissue sample is biomarker positive, biomarker negative, or otherwise. For example, system 200 may compare two probabilities 206a-b and select the higher probability as indicating biomarker status for the tissue sample. In some embodiments, the system 200 may compare the two probabilities to a threshold, and if one of the probabilities 206a-b meets or exceeds the threshold, the system 200 determines which A tissue sample may be identified as biomarker positive or negative depending on whether the biomarker meets a threshold. Alternatively, if none of the biomarker probabilities meet the threshold, system 200 may output that no biomarkers are detected.

ここで図４を参照すると、図４は、デジタル化された病理サンプルにおけるバイオマーカー検出のための例示のシステム４００を示す。例示のシステム４００は、データ記憶部４１２へのアクセスを有し、かつネットワーク４３０を介してサーバー４２０およびそのデータ記憶部４２２へと接続される、計算装置４１０を含む。この実施例では、計算装置４１０は、データ記憶部４１２からデジタル化された病理サンプルにアクセスし、そして図２に関して上述したシステム２００、または図５に関して後述するシステム５００を使用するなど、それらを分析のためにサーバー４２０へと提供する。分析が完了した後、サーバー４２０は、計算装置４１０へと結果を返し、または、例えば、医療従事者によって、後で読み出すためにそれらをデータ記憶部４２２内に記憶する。 Referring now to FIG. 4, FIG. 4 depicts an example system 400 for biomarker detection in digitized pathology samples. Exemplary system 400 includes a computing device 410 that has access to data storage 412 and is connected to server 420 and its data storage 422 via network 430 . In this example, computing device 410 accesses digitized pathology samples from data storage 412 and analyzes them, such as using system 200 described above with respect to FIG. 2 or system 500 described below with respect to FIG. The information is provided to the server 420 for the purpose. After the analysis is complete, server 420 returns the results to computing device 410 or stores them in data storage 422 for later retrieval, such as by a medical professional.

この実施例では、サーバー４２０は、例えば、病院または研究所などの医療提供者によって維持され、一方で、計算装置４１０は、例えば、病理学者のオフィスなどの医療オフィスに常駐する。それ故に、こうしたシステム４００は、遠隔の場所における医療提供者が、利用可能で、かつコスト効率の高い染色を用いて組織サンプルを得ること、および染色することを可能にする場合があり、またそれらのサンプルを、サンプルの分析を提供することができる遠隔のサーバー４２０へと提供してもよい。しかし、当然のことながら、本開示による例示のシステムは、遠隔の計算装置と通信することなく、それ自体が分析を実施してもよい計算装置４１０のみを含んでもよい。 In this example, server 420 is maintained by a healthcare provider, such as, for example, a hospital or laboratory, while computing device 410 resides in a medical office, such as, for example, a pathologist's office. Therefore, such a system 400 may enable a healthcare provider at a remote location to obtain and stain tissue samples using available and cost-effective stains; The sample may be provided to a remote server 420 that can provide analysis of the sample. However, it will be appreciated that an example system according to this disclosure may include only a computing device 410 that may itself perform the analysis without communicating with a remote computing device.

この例示のシステム４００によるシステムを実装するために、任意の好適な計算装置が、計算装置４１０またはサーバー４２０のために採用されてもよい。さらに、本実施例における計算装置４１０は、データ記憶部４１２からのデジタル化された病理サンプルにアクセスする一方で、一部の実施例では、計算装置４１０は、病理サンプルの画像を捕捉する撮像装置と通信してもよい。こうした構成は、計算装置が、病理サンプルの１つ以上の画像を捕捉し、そして画像を好適なＭＬモデルを使用して直ちに処理すること、または画像を分析のために遠隔の計算装置、例えば、サーバー４２０へと提供することを可能にしてもよい。 To implement a system according to this example system 400, any suitable computing device may be employed for computing device 410 or server 420. Further, while the computing device 410 in this example accesses the digitized pathology sample from the data storage 412, in some embodiments the computing device 410 may be an imaging device that captures images of the pathology sample. You may communicate with Such a configuration may involve a computing device capturing one or more images of a pathology sample and immediately processing the images using a suitable ML model, or transmitting the images to a remote computing device for analysis, e.g. server 420.

ここで図５を参照すると、図５は、デジタル化された病理サンプルにおけるバイオマーカー検出のための例示のシステム５００を示す。この実施例では、システム５００は、図２に示す例示のシステム２００と同様に、２つの段階５１０、５２０を含む。しかしながら、この実施例では、各段階５１０、５２０は、３つのＭＬモデル５１２～５１６、５２２～５２６を含む。段階１の各モデル５１２～５１６は、異なるバイオマーカーを認識するように訓練されている。モデル５１２は、ＥＲ陽性または陰性を決定するように訓練され、モデル５１４は、ＰＲ陽性または陰性を決定するように訓練され、そしてモデル５１６は、ＨＥＲ２陽性または陰性を判定するように訓練されている。さらに、各々は、段階２（５２０）において対応するモデル５２２～５２６を有し、これは全組織サンプルに対するバイオマーカーステータスを決定するように訓練されている。ＭＬモデル５２２は、スライドレベルのＥＲ陽性または陰性を検出するように訓練され、ＭＬモデル５２４は、スライドレベルのＰＲ陽性または陰性を検出するように訓練され、ＭＬモデル５２６は、スライドレベルのＨＥＲ２陽性または陰性を検出するように訓練されている。 Referring now to FIG. 5, FIG. 5 depicts an example system 500 for biomarker detection in digitized pathology samples. In this example, system 500 includes two stages 510, 520, similar to example system 200 shown in FIG. However, in this example, each stage 510, 520 includes three ML models 512-516, 522-526. Each model 512-516 in stage 1 is trained to recognize a different biomarker. Model 512 is trained to determine ER positivity or negativity, model 514 is trained to determine PR positivity or negativity, and model 516 is trained to determine HER2 positivity or negativity. . Additionally, each has a corresponding model 522-526 in stage 2 (520), which is trained to determine the biomarker status for the entire tissue sample. ML model 522 is trained to detect slide-level ER positivity or negativity, ML model 524 is trained to detect slide-level PR positivity or negativity, and ML model 526 is trained to detect slide-level HER2 positivity. or trained to detect negatives.

示される実施例では、染色組織サンプル、例えば、Ｈ＆Ｅ染色組織サンプルの画像は、複数の画像パッチ５０２ａ～ｎへとセグメント化され、また各画像パッチのコピーは、段階１（５１０）において各ＭＬモデル５１２～５１６へと提供される。ＭＬモデル５１２～５１６は、バイオマーカー陽性、バイオマーカー陰性、またはその他のそれぞれについて各パッチ５０２ａ～ｎを評価し、そして対応するパッチバイオマーカーステータスを出力する。すなわち、ＥＲステータス５４４ａ～ｎ、ＰＲステータス５５４ａ～ｎ、およびＨＥＲ２ステータス５６４ａ～ｎである。図２に関して上記で考察したように、バイオマーカーステータスはヒートマップとして視覚化されてもよい。この例示のシステム５００では、バイオマーカーステータスを処理して、ＥＲ陽性／陰性、ＰＲ陽性／陰性、およびＨＥＲ２陽性／陰性に対して各々２つの、対応するヒストグラムを生成する。しかしながら、上記で考察したように、任意の好適な入力フォーマットが、段階２のＭＬモデル５２２～５２６のために使用されてもよい。 In the example shown, an image of a stained tissue sample, e.g., an H&E stained tissue sample, is segmented into a plurality of image patches 502a-n, and a copy of each image patch is attached to each ML model in step 1 (510). 512-516. ML models 512-516 evaluate each patch 502a-n for biomarker-positive, biomarker-negative, or other, respectively, and output the corresponding patch biomarker status. namely, ER status 544a-n, PR status 554a-n, and HER2 status 564a-n. As discussed above with respect to FIG. 2, biomarker status may be visualized as a heat map. In this example system 500, biomarker status is processed to generate corresponding histograms, two each for ER positive/negative, PR positive/negative, and HER2 positive/negative. However, as discussed above, any suitable input format may be used for the stage 2 ML models 522-526.

生成されたヒストグラムは、段階２（５２０）において対応するＭＬモデル５２２～５２６へと入力される。ＭＬモデル５２２～５２６は、組織サンプルバイオマーカーステータス５４６～５６６として出力される、スライドレベルのバイオマーカー陽性または陰性を決定する。この実施例では、ＭＬモデル５２２～５２６は、各々２つの確率を出力する。すなわち、一方はバイオマーカー陽性を示すもの、そしてもう一方はバイオマーカー陰性を示すものである。一部の実施例は、それぞれのＭＬモデル５２２～５２６によって出力される確率に基づいて、スライドレベルのバイオマーカーステータスをさらに決定する。例えば、システム５００は、バイオマーカー陽性またはバイオマーカー陰性の確率のうちより大きいものを選択することによって、スライドレベルのバイオマーカーステータスを決定してもよい。一部の実施例では、システム５００は、スライドレベルのバイオマーカーステータス確率のうちの１つが閾値を超えるかどうかを決定することによって、スライドレベルのバイオマーカーステータスを決定してもよい。さらに、一部の実施例では、システム５００は、いずれのスライドレベルのバイオマーカーステータスも閾値確率を満たさないか、または両方とも閾値確率を満たす場合、いかなるバイオマーカーも存在しない、またはバイオマーカーステータスが決定的でないと決定してもよい。 The generated histograms are input into the corresponding ML models 522-526 in stage 2 (520). ML models 522-526 determine slide-level biomarker positivity or negativity, which is output as tissue sample biomarker status 546-566. In this example, ML models 522-526 each output two probabilities. That is, one shows biomarker positivity and the other shows biomarker negative. Some embodiments further determine slide-level biomarker status based on the probabilities output by each ML model 522-526. For example, system 500 may determine slide-level biomarker status by selecting the greater of the probabilities of biomarker positive or biomarker negative. In some examples, system 500 may determine a slide-level biomarker status by determining whether one of the slide-level biomarker status probabilities exceeds a threshold. Additionally, in some embodiments, the system 500 determines that if either slide-level biomarker status does not meet the threshold probability, or both meet the threshold probability, then no biomarker is present or the biomarker status is May be determined to be inconclusive.

図５に示す例示のシステム５００は、単一の染色乳がん組織サンプルについて３つの異なるバイオマーカー（ＥＲ、ＰＲ、およびＨＥＲ２）を評価するために並列して実行される、３つの異なるバイオマーカー分析を採用する。それ故に、システム５００は、各バイオマーカーステータスの標識を臨床医に出力する能力を有し、臨床医は、次いで患者に対する治療の方針を決定することができる。別の方法として、病理学者は、システム５００を使用して、同じ患者からのＩＨＣ染色組織サンプルの分析を実施する前に、組織サンプルの自身の分析を二重にチェックしてもよく、または初期評価を提供してもよい。しかしながら、ＩＨＣ染色が、制限された供給の状態にある、利用不可能である、または過度に高価であるシナリオでは、システム５００は、より従来から利用可能な、また典型的により安価なＨ＆Ｅ染色を使用してバイオマーカーステータスを提供することができてもよい。 The example system 500 shown in FIG. 5 performs three different biomarker analyzes performed in parallel to evaluate three different biomarkers (ER, PR, and HER2) on a single stained breast cancer tissue sample. adopt. Therefore, system 500 has the ability to output an indication of each biomarker status to the clinician, who can then decide on a course of treatment for the patient. Alternatively, pathologists may use system 500 to double check their own analysis of tissue samples or initial You may also provide an evaluation. However, in scenarios where IHC staining is in limited supply, unavailable, or prohibitively expensive, the system 500 can use more traditionally available and typically less expensive H&E staining. may be used to provide biomarker status.

ここで図６を参照すると、図６は、デジタル化された病理サンプルにおけるバイオマーカー検出のための例示の方法６００を示す。この例示の方法は、図５に示すシステム５００に関して記述するが、図２に示すシステム２００などの任意の好適なシステムが採用されてもよい。 Referring now to FIG. 6, FIG. 6 illustrates an example method 600 for biomarker detection in a digitized pathology sample. Although this example method is described with respect to system 500 shown in FIG. 5, any suitable system may be employed, such as system 200 shown in FIG.

ブロック６１０において、システム５００は、組織サンプルを有するスライドの画像を受信する。この実施例では、システム５００は、Ｈ＆Ｅ染色乳がん組織サンプルを有するスライドの画像を受信するが、一部の実施例では、任意の好適な染色が使用されてもよい。さらに、当然のことながら、乳がん組織が本実施例で使用されているが、一部の実施例では、任意の好適な組織サンプルが使用されてもよい。 At block 610, system 500 receives an image of a slide with a tissue sample. In this example, system 500 receives an image of a slide with an H&E-stained breast cancer tissue sample, although any suitable stain may be used in some examples. Additionally, it will be appreciated that while breast cancer tissue is used in this example, any suitable tissue sample may be used in some examples.

この実施例では、システム５００は、その中に記憶された画像のコピーを有するメモリ装置から、組織サンプルの画像を受信する。しかしながら、一部の実施例では、システム５００は、撮像装置から、または医療提供者における計算装置などの遠隔の計算装置から画像を受信してもよい。１つのこうした実施例では、システム５００は、例えば、図４に示すように、クラウド環境などの医療提供者から遠隔のサーバーによって実行されてもよい。方法６００の完了に伴い、システム５００は、例えば、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、インターネットなど、通信ネットワーク上でなど、結果を医療提供者に提供してもよい。 In this example, system 500 receives an image of a tissue sample from a memory device that has a copy of the image stored therein. However, in some embodiments, system 500 may receive images from an imaging device or from a remote computing device, such as a computing device at a health care provider. In one such example, system 500 may be performed by a server remote from the health care provider, such as in a cloud environment, as shown in FIG. 4, for example. Upon completion of method 600, system 500 may provide results to a health care provider, such as over a communication network, such as a local area network (LAN), wide area network (WAN), the Internet, or the like.

ブロック６２０において、システム５００は、画像に対応する複数の画像パッチを受信し、ここで各画像パッチは画像の異なる部分を表す。この実施例では、画像全体が画像パッチ５０２ａ～ｎへとセグメント化されているが、一部の実施例では、画像の部分はセグメント化されない場合がある。例えば、染色の閾値レベルが欠落している画像の部分、例えば、染色が存在しないか、またはほとんどないことを示す色を有するピクセルは、セグメント化されない場合があり、または組織サンプルの境界の外側にあると特定されたピクセルは除外される場合がある。この実施例では、画像は、おおよそ５１２×５１２ピクセルのサイズの画像パッチを有する、ピクセル当たりおおよそ２ミクロンの解像度を有するが、任意の好適な解像度、または任意の好適な画像サイズもしくは画像パッチサイズを採用してもよい。 At block 620, system 500 receives a plurality of image patches corresponding to an image, where each image patch represents a different portion of the image. Although in this example, the entire image is segmented into image patches 502a-n, in some implementations portions of the image may not be segmented. For example, parts of the image that are missing a threshold level of staining, e.g., pixels with colors indicating no or little staining, may not be segmented, or outside the boundaries of the tissue sample. Pixels identified as such may be excluded. In this example, the image has a resolution of approximately 2 microns per pixel, with an image patch approximately sized 512 x 512 pixels, but may have any suitable resolution, or any suitable image size or image patch size. May be adopted.

ブロック６３０において、システム５００は、各画像パッチについて、第１の訓練されたＭＬモデル５１２を使用して、パッチバイオマーカーステータスを決定する。図５に関して上記で考察したように、ＭＬモデル５１２は、画像パッチに対するＥＲ陽性または陰性（または非浸潤がん）を検出するように訓練されている。それ故に、この実施例では、ＭＬモデルは、各画像パッチに対して３つの値を出力する。すなわち、ＥＲ陽性の確率、ＥＲ陰性の確率、および非浸潤がんの確率である。しかし、当然のことながら、一部の実施例では、ＭＬモデル５１２は、バイオマーカー陽性の確率およびバイオマーカー陰性の確率の２つの値のみを出力してもよい。さらに、一部の実施例では、どの指標がより高い確率を有するかを示す単一の値のみを出力してもよい。すなわちバイオマーカー陽性または陰性、または一部の事例では、いずれの確率も所定の閾値を満たさない場合の指標を出力してもよい。 At block 630, system 500 determines patch biomarker status for each image patch using first trained ML model 512. As discussed above with respect to FIG. 5, ML model 512 is trained to detect ER positivity or negativity (or non-invasive cancer) for image patches. Therefore, in this example, the ML model outputs three values for each image patch. namely, the probability of being ER positive, the probability of being ER negative, and the probability of non-invasive cancer. However, it will be appreciated that in some embodiments, ML model 512 may output only two values: the probability of biomarker positive and the probability of biomarker negative. Furthermore, some embodiments may output only a single value indicating which indicator has a higher probability. That is, an indicator may be output when the biomarker is positive or negative, or in some cases, neither probability satisfies a predetermined threshold.

この例示の方法６００では、画像パッチに対して単一のバイオマーカーのみが分析されるが、当然のことながらＭＬモデル５１２～５１６などの、複数の訓練されたＭＬモデルを使用することによって、各パッチに対して複数の異なるバイオマーカーが決定されてもよい。これらは、並行して、または順次（または組み合わせ）で実行されてもよい。さらに、一部の実施例では、単一のＭＬモデルは、複数の異なるバイオマーカーに対するバイオマーカー陽性／陰性を認識するように訓練されてもよい。こうしたＭＬモデルを使用するシステムでは、より少ないＭＬモデルを使用してもよいが、特定の組織サンプルについて検出されるべきバイオマーカーに従って、任意の組み合わせまたは数のＭＬモデルを使用してもよい。 Although in this example method 600 only a single biomarker is analyzed for an image patch, it can be appreciated that each Multiple different biomarkers may be determined for the patch. These may be performed in parallel or sequentially (or in combination). Furthermore, in some examples, a single ML model may be trained to recognize biomarker positivity/negativity for multiple different biomarkers. Systems using such ML models may use fewer ML models, but may use any combination or number of ML models depending on the biomarkers to be detected for a particular tissue sample.

ブロック６４０において、システム５００は、第２の訓練されたＭＬモデル５２２への入力を生成する。この実施例では、システム５００は、図３に関して考察した実施例に関して概して上述したように、第１のＭＬモデル５１２によって出力されるパッチバイオマーカーステータスを使用してヒストグラムを生成する。しかしながら、一部の実施例では、システム５００は、第２の訓練されたＭＬモデル５２２への入力を別々に生成することなく、または異なるパラメータ化技法を使用することによらずに、第１のＭＬモデル５２２から第２の訓練されたＭＬモデル５２２の入力への出力を提供してもよい。 At block 640, system 500 generates input to second trained ML model 522. In this example, system 500 generates a histogram using patch biomarker status output by first ML model 512, as generally described above with respect to the example discussed with respect to FIG. However, in some embodiments, the system 500 provides input to the first trained ML model 522 without separately generating inputs to the second trained ML model 522 or by using different parameterization techniques. An output may be provided from the ML model 522 to an input of a second trained ML model 522.

ブロック６５０において、システム５００は、第２の訓練されたＭＬモデル５２２を使用して、画像パッチのパッチバイオマーカーステータスに基づいて、***組織のサンプルに対する組織サンプルバイオマーカーステータスを決定する。図２および図５に関して上記で考察したように、第２の訓練されたＭＬモデル５２２は、スライドレベルのバイオマーカーステータスを決定し、そして２つの値を出力するように訓練されており、各１つはバイオマーカー陽性およびバイオマーカー陰性の確率を示す。一部の実施例では、システム５００は、バイオマーカー陽性および陰性の確率に基づいて、単一のスライドレベルのバイオマーカーステータスをさらに決定してもよい。例えば、システム５００は、２つの確率を比較し、そして組織サンプルのバイオマーカーステータスを示すとして、より高い確率を特定してもよい。一部の実施例では、システム５００は、２つの確率を閾値と比較してもよく、また確率のうちの１つは、閾値を満たす場合、そのバイオマーカーに対応するものとしてバイオマーカーステータスを決定する。さらに、いずれの確率も閾値を満たさない場合、システム５００は、バイオマーカーステータスが浸潤がんではないと決定してもよく、または、両方とも閾値を満たす場合、バイオマーカーステータスが決定的でないと決定してもよい。 At block 650, the system 500 uses the second trained ML model 522 to determine tissue sample biomarker status for the breast tissue sample based on the patch biomarker status of the image patch. As discussed above with respect to FIGS. 2 and 5, the second trained ML model 522 is trained to determine slide-level biomarker status and output two values, each one 1 indicates the probability of biomarker positive and biomarker negative. In some examples, system 500 may further determine single slide level biomarker status based on the probabilities of biomarker positivity and negativity. For example, system 500 may compare two probabilities and identify the higher probability as indicating the biomarker status of the tissue sample. In some embodiments, the system 500 may compare the two probabilities to a threshold, and one of the probabilities determines the biomarker status as corresponding to that biomarker if the threshold is met. do. Further, if neither of the probabilities meet the threshold, the system 500 may determine that the biomarker status is not invasive cancer, or if both of the probabilities meet the threshold, the system 500 may determine that the biomarker status is inconclusive. You may.

当然のことながら、上述の方法６００は、組織サンプルの単一の画像に対して複数回実行されてもよい。例えば、図５に示すシステム５００は、図５のＭＬモデルの３つの異なるセット５１２／５２２、５１４／５２４、５１６／５２６に対応して、方法６００を３回、評価されるべき各バイオマーカーに対して１回ずつ、実施してもよい。さらに、方法６００のこれらの異なる実行は、異なる実施例に従って並行して、または順次に実行されてもよい。 It will be appreciated that the method 600 described above may be performed multiple times on a single image of a tissue sample. For example, the system 500 shown in FIG. 5 runs the method 600 three times on each biomarker to be evaluated, corresponding to three different sets of ML models 512/522, 514/524, 516/526 of FIG. It may be performed once for each. Furthermore, these different implementations of method 600 may be performed in parallel or sequentially according to different embodiments.

ここで図７を参照すると、図７は、本開示による、デジタル化された病理サンプル内のバイオマーカー検出のための例示のシステムまたは方法での使用のために好適な例示の計算装置７００を示す。例示の計算装置７００は、１つ以上の通信バス７０２を使用して、メモリ７２０および計算装置７００の他の構成要素と通信する、プロセッサ７１０を含む。プロセッサ７１０は、図６に関して上述した例示の方法６００の一部またはすべてなどの、異なる実施例に従って、メモリ７２０内に記憶されたプロセッサ実行可能命令を実行して、デジタル化された病理サンプル内のバイオマーカー検出のための１つ以上の方法を実施するように構成される。この実施例では、メモリ７２０は、図２または図５に示す例示のシステムなどのバイオマーカー検出システム７６０を含む。加えて、計算装置７００はまた、ユーザ入力を受け入れるための、キーボード、マウス、タッチスクリーン、マイクなどの１つ以上のユーザ入力装置７５０も含むが、一部の実施例では、計算装置７００は、遠隔サーバーまたはクラウドサーバーなどの、こうしたユーザ入力装置がない場合がある。計算装置７００はまた、ユーザへと視覚出力を提供するための表示装置７４０も含む。 Referring now to FIG. 7, FIG. 7 depicts an example computing device 700 suitable for use in an example system or method for biomarker detection in a digitized pathology sample in accordance with the present disclosure. . Exemplary computing device 700 includes a processor 710 that communicates with memory 720 and other components of computing device 700 using one or more communication buses 702. Processor 710 executes processor-executable instructions stored in memory 720 in accordance with different embodiments, such as some or all of the example method 600 described above with respect to FIG. The device is configured to perform one or more methods for biomarker detection. In this example, memory 720 includes a biomarker detection system 760, such as the example system shown in FIG. 2 or 5. In addition, computing device 700 also includes one or more user input devices 750, such as a keyboard, mouse, touch screen, microphone, etc., for accepting user input, although in some embodiments computing device 700 includes: There may be no such user input device, such as a remote or cloud server. Computing device 700 also includes a display device 740 for providing visual output to a user.

計算装置７００はまた、通信インターフェース７４０も含む。一部の実施例では、通信インターフェース７３０は、ローカルエリアネットワーク（「ＬＡＮ」）、インターネットなどの広域ネットワーク（「ＷＡＮ」）、メトロポリタンエリアネットワーク（「ＭＡＮ」）、ポイントツーポイントまたはピアツーピア接続などを含む、１つ以上のネットワークを使用して通信を可能にする場合がある。他の装置との通信は、任意の好適なネットワーキングプロトコルを使用して達成されてもよい。例えば、１つの好適なネットワーキングプロトコルは、インターネットプロトコル（「ＩＰ」）、伝送制御プロトコル（「ＴＣＰ」）、ユーザデータグラムプロトコル（「ＵＤＰ」）、またはＴＣＰ／ＩＰもしくはＵＤＰ／ＩＰなどのそれらの組み合わせを含んでもよい。 Computing device 700 also includes a communications interface 740. In some embodiments, communication interface 730 includes a local area network (“LAN”), a wide area network (“WAN”) such as the Internet, a metropolitan area network (“MAN”), a point-to-point or peer-to-peer connection, etc. , may use one or more networks to enable communication. Communication with other devices may be accomplished using any suitable networking protocol. For example, one suitable networking protocol is Internet Protocol ("IP"), Transmission Control Protocol ("TCP"), User Datagram Protocol ("UDP"), or a combination thereof, such as TCP/IP or UDP/IP. May include.

本明細書の方法およびシステムの一部の実施例は、様々な機械上で実行されるソフトウェアに関して記述されるが、方法およびシステムはまた、本開示による様々な方法を特異的に実行するための、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの、特異的に構成されたハードウェアとして実装されてもよい。例えば、実施例は、デジタル電子回路、またはコンピュータハードウェア、ファームウェア、ソフトウェア、もしくはそれらの組み合わせで実装することができる。一実施例では、装置は、一つまたは複数のプロセッサを含んでもよい。プロセッサは、プロセッサへと連結されたランダムアクセスメモリ（ＲＡＭ）などのコンピュータ可読媒体を含む。プロセッサは、１つ以上のコンピュータプログラムを実行するなどの、メモリ内に記憶されたコンピュータ実行可能なプログラム命令を実行する。こうしたプロセッサは、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、および状態機械を含んでもよい。こうしたプロセッサは、ＰＬＣ、プログラマブル割り込みコントローラ（ＰＩＣ）、プログラマブル論理装置（ＰＬＤ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、電子プログラマブル読み出し専用メモリ（ＥＰＲＯＭまたはＥＥＰＲＯＭ）、またはその他の類似の装置などのプログラマブル電子装置をさらに備えてもよい。 Although some embodiments of the methods and systems herein are described in terms of software running on various machines, the methods and systems are also described for specifically performing various methods according to the present disclosure. , may be implemented as specifically configured hardware, such as a field programmable gate array (FPGA). For example, embodiments may be implemented in digital electronic circuitry, or computer hardware, firmware, software, or combinations thereof. In one embodiment, an apparatus may include one or more processors. A processor includes a computer-readable medium such as random access memory (RAM) coupled to the processor. A processor executes computer-executable program instructions stored in memory, such as executing one or more computer programs. Such processors may include microprocessors, digital signal processors (DSPs), application specific integrated circuits (ASICs), field programmable gate arrays (FPGAs), and state machines. Such a processor may be a programmable electronic device such as a PLC, programmable interrupt controller (PIC), programmable logic device (PLD), programmable read only memory (PROM), electronic programmable read only memory (EPROM or EEPROM), or other similar device. It may further include.

こうしたプロセッサは、プロセッサによって実行された時に、本開示による方法を、プロセッサによって実行または支援されるものとして、プロセッサに実施させることができる、プロセッサ実行可能命令を記憶してもよい、媒体（例えば、１つ以上の非一時的コンピュータ可読媒体）を備えてもよく、またはこうした媒体と通信してもよい。非一時的コンピュータ可読媒体の実施としては、ウェブサーバー内のプロセッサなどのプロセッサに、プロセッサ実行可能命令を提供する能力を有する、電子、光学、磁気、またはその他の記憶装置が挙げられる場合があるが、これらに限定されない。非一時的コンピュータ可読媒体の他の例としては、フロッピーディスク、ＣＤ－ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成されたプロセッサ、すべての光学媒体、すべての磁気テープもしくは他の磁気媒体、またはコンピュータプロセッサが読み取ることができる任意の他の媒体が挙げられるが、これらに限定されない。記述されるプロセッサおよびプロセッシングは、１つ以上の構造内にあってもよく、また１つ以上の構造を通して分散されてもよい。プロセッサは、本開示による方法（または方法の一部）を実行するためのコードを含んでもよい。 Such a processor may store processor-executable instructions on a medium (e.g., (one or more non-transitory computer-readable media) or may be in communication with such media. Implementations of non-transitory computer-readable media may include electronic, optical, magnetic, or other storage devices capable of providing processor-executable instructions to a processor, such as a processor in a web server. , but not limited to. Other examples of non-transitory computer-readable media include floppy disks, CD-ROMs, magnetic disks, memory chips, ROMs, RAM, ASICs, configured processors, any optical media, any magnetic tape or other magnetic or any other medium that can be read by a computer processor. The processors and processing described may be within and distributed through one or more structures. A processor may include code for performing a method (or a portion of a method) according to this disclosure.

一部の実施例の前述の記述は、例示および記述の目的のためにのみ提示されており、網羅的であるか、または開示された正確な形態に本開示を限定することを意図するものではない。本開示の趣旨および範囲から逸脱することなく、その数多くの修正および適合が当業者に明らかとなるであろう。 The foregoing description of some embodiments has been presented for purposes of illustration and description only and is not intended to be exhaustive or to limit the disclosure to the precise form disclosed. do not have. Numerous modifications and adaptations thereof will be apparent to those skilled in the art without departing from the spirit and scope of this disclosure.

実施例または実装への本明細書の言及は、実施例に関連して記述される特定の特徴、構造、動作、またはその他の特性が、本開示の少なくとも１つの実装に含まれる場合があることを意味する。本開示は、このように記述される特定の実施例または実装に制限されない。「１つの実施例では」、「ある実施例では」、「１つの実装では」、もしくは「ある実装では」という語句の出現、または本明細書内の様々な箇所でのその変形例は、必ずしも同じ実施例または実装を指すものではない。１つの実施例もしくは実装に関連して、本明細書に記述される任意の特定の特徴、構造、動作、またはその他の特性は、任意の他の実施例もしくは実装に関して記述される他の特徴、構造、動作、またはその他の特性と組み合わせられてもよい。 Reference herein to an example or implementation implies that the particular feature, structure, operation, or other characteristic described in connection with the example may be included in at least one implementation of the present disclosure. means. This disclosure is not limited to the particular examples or implementations so described. The appearance of the phrases "in one embodiment," "in one embodiment," "in one implementation," or "in an implementation" or variations thereof in various places within this specification is not necessarily They are not necessarily referring to the same embodiment or implementation. Any particular feature, structure, operation, or other characteristic described herein in the context of one embodiment or implementation may be overridden by other features described in the context of any other embodiment or implementation. May be combined with structural, operational, or other characteristics.

「ｏｒ（または）」という用語の本明細書での使用は、包括的かつ排他的なＯＲ条件を包含することを意図する。言い換えれば、ＡまたはＢまたはＣは、特定の使用に対する必要に応じて、以下の代替的な組み合わせ：Ａ単独、Ｂ単独、Ｃ単独、ＡおよびＢのみ、ＡおよびＣのみ、ＢおよびＣのみ、ならびにＡおよびＢおよびＣのうちのいずれかまたはすべてを含む。 The use of the term "or" herein is intended to encompass an inclusive and exclusive OR condition. In other words, A or B or C may be used in alternative combinations of: A alone, B alone, C alone, A and B only, A and C only, B and C only, as required for a particular use. and any or all of A, B, and C.

Claims (24)

方法であって、
ヘマトキシリン・エオジン染色（「Ｈ＆Ｅ」）染色組織のサンプルを有する病理スライドの画像に対応する複数の画像パッチを受信することであって、各画像パッチが前記画像の異なる部分を表す、画像パッチを受信することと、
各画像パッチについて、第１の訓練された機械学習（「ＭＬ」）モデルを使用して、パッチバイオマーカーステータスを決定することと、
第２の訓練されたＭＬモデルを使用して、前記画像パッチの前記パッチバイオマーカーステータスに基づいて、組織の前記サンプルに対する組織サンプルバイオマーカーステータスを決定することと、を含む、方法。 A method,
receiving a plurality of image patches corresponding to an image of a pathology slide having a hematoxylin and eosin stained (“H&E”) stained tissue sample, each image patch representing a different portion of the image; to do and
determining patch biomarker status for each image patch using a first trained machine learning ("ML") model;
determining a tissue sample biomarker status for the sample of tissue based on the patch biomarker status of the image patch using a second trained ML model. 前記パッチバイオマーカーステータスが、エストロゲン受容体（「ＥＲ」）陽性、ＥＲ陰性、プロゲステロン受容体（「ＰＲ」）陽性、ＰＲ陰性、ヒト上皮成長因子受容体２（「ＨＥＲ２」）陽性、ＨＥＲ２陰性、または非浸潤がんのうちの１つ以上を含み、かつ
前記組織サンプルバイオマーカーステータスが、ＥＲ陽性、ＥＲ陰性、ＰＲ陽性、ＰＲ陰性、ＨＥＲ２陽性、ＨＥＲ２陰性、または非浸潤がんのうちの１つ以上を含む、請求項１に記載の方法。 the patch biomarker status is estrogen receptor (“ER”) positive, ER negative, progesterone receptor (“PR”) positive, PR negative, human epidermal growth factor receptor 2 (“HER2”) positive, HER2 negative; or contains one or more of non-invasive cancers, and
2. The method of claim 1, wherein the tissue sample biomarker status includes one or more of ER positive, ER negative, PR positive, PR negative, HER2 positive, HER2 negative, or cancer in situ. 前記パッチバイオマーカーステータスが、第１のパッチバイオマーカーステータスであり、かつ前記組織サンプルバイオマーカーステータスが、第１の組織サンプルバイオマーカーステータスであり、
各画像パッチについて、第３の訓練されたＭＬモデルを使用して、第２のパッチバイオマーカーステータスを決定することと、
第４の訓練されたＭＬモデルを使用して、前記画像パッチの前記第２のパッチバイオマーカーステータスに基づいて、組織の前記サンプルに対する第２の組織サンプルバイオマーカーステータスを決定することと、
各画像パッチについて、第５の訓練されたＭＬモデルを使用して、第３のパッチバイオマーカーステータスを決定することと、
第６の訓練されたＭＬモデルを使用して、前記画像パッチの前記第３のパッチバイオマーカーステータスに基づいて、組織の前記サンプルに対する第３の組織サンプルバイオマーカーステータスを決定することと、を含む、請求項１または２に記載の方法。 the patch biomarker status is a first patch biomarker status, and the tissue sample biomarker status is a first tissue sample biomarker status;
determining a second patch biomarker status for each image patch using a third trained ML model;
determining a second tissue sample biomarker status for the sample of tissue based on the second patch biomarker status of the image patch using a fourth trained ML model;
determining a third patch biomarker status for each image patch using the fifth trained ML model;
determining a third tissue sample biomarker status for the sample of tissue based on the third patch biomarker status of the image patch using a sixth trained ML model; , the method according to claim 1 or 2. 前記第１のパッチバイオマーカーステータスが、エストロゲン受容体（「ＥＲ」）陽性、ＥＲ陰性、または非浸潤がんのうちの１つを含み、
前記第１の組織サンプルバイオマーカーステータスが、ＥＲ陽性ステータス、ＥＲ陰性ステータス、および非浸潤がんステータスを含み、
前記第２のパッチバイオマーカーステータスが、プロゲステロン受容体（「ＰＲ」）陽性ステータス、ＰＲ陰性ステータス、および非浸潤がんステータスを含み、
前記第２の組織サンプルバイオマーカーステータスが、ＰＲ陽性ステータス、ＰＲ陰性ステータス、または非浸潤がんステータスのうちの１つ以上を含み、
前記第３のパッチバイオマーカーステータスが、ヒト上皮成長因子受容体２（「ＨＥＲ２」）陽性ステータス、ＨＥＲ２陰性ステータス、および非浸潤がんステータスを含み、
前記第３の組織サンプルバイオマーカーステータスが、ＨＥＲ２陽性ステータス、ＨＥＲ２陰性ステータス、または非浸潤がんステータスのうちの１つ以上を含む、請求項３に記載の方法。 the first patch biomarker status comprises one of estrogen receptor (“ER”) positive, ER negative, or cancer in situ;
the first tissue sample biomarker status includes ER positive status, ER negative status, and cancer in situ status;
the second patch biomarker status includes progesterone receptor (“PR”) positive status, PR negative status, and cancer in situ status;
the second tissue sample biomarker status includes one or more of PR positive status, PR negative status, or cancer in situ status;
the third patch biomarker status includes human epidermal growth factor receptor 2 (“HER2”) positive status, HER2 negative status, and cancer in situ status;
4. The method of claim 3, wherein the third tissue sample biomarker status includes one or more of HER2 positive status, HER2 negative status, or cancer in situ status. 前記画像パッチの前記パッチバイオマーカーステータスに基づいて１つ以上のヒストグラムを生成することをさらに含み、かつ前記第２の訓練されたＭＬモデルを使用して、前記組織の前記サンプルに対する前記組織サンプルバイオマーカーステータスを決定することが、前記１つ以上のヒストグラムに基づく、請求項１～４のいずれかに記載の方法。 further comprising generating one or more histograms based on the patch biomarker status of the image patch, and using the second trained ML model to determine the tissue sample biometrics for the sample of the tissue. A method according to any preceding claim, wherein determining marker status is based on the one or more histograms. 各パッチバイオマーカーステータスが、バイオマーカーに対応する、０％～１００％（端点を含む）の確率を含む、請求項１～５のいずれかに記載の方法。 6. A method according to any preceding claim, wherein each patch biomarker status comprises a probability between 0% and 100% (inclusive) corresponding to the biomarker. 組織の前記サンプルに対する前記組織サンプルバイオマーカーステータスが、バイオマーカーに対応する、０％～１００％（端点を含む）の確率を含む、請求項１～６のいずれかに記載の方法。 7. The method of any of claims 1-6, wherein the tissue sample biomarker status for the sample of tissue comprises a probability of corresponding to a biomarker between 0% and 100% (inclusive). 各パッチバイオマーカーステータスについて、前記それぞれのパッチバイオマーカーステータスを閾値ｔと比較することと、
バイオマーカー陽性に対するそれぞれのパッチバイオマーカーステータスがｔ以上であることを決定することに応答して、前記パッチバイオマーカーステータスを、バイオマーカー陽性を含むとして決定することと、
バイオマーカー陰性に対するそれぞれのパッチバイオマーカーステータスがｔ以上であることを決定することに応答して、前記パッチバイオマーカーステータスを、バイオマーカー陰性を含むとして決定することと、
バイオマーカー陽性に対するそれぞれのパッチバイオマーカーステータスがｔ未満であり、かつバイオマーカー陰性に対する前記それぞれのパッチバイオマーカーステータスがｔ未満であると決定することに応答して、前記パッチバイオマーカーステータスを、非浸潤がんとして決定することと、をさらに含む、請求項１～７のいずれかに記載の方法。 For each patch biomarker status, comparing said respective patch biomarker status to a threshold t;
In response to determining that the respective patch biomarker status for biomarker positivity is greater than or equal to t, determining the patch biomarker status as comprising biomarker positivity;
In response to determining that the respective patch biomarker status for biomarker negativity is greater than or equal to t, determining the patch biomarker status as including biomarker negativity;
In response to determining that the respective patch biomarker status for biomarker positive is less than t, and the respective patch biomarker status for biomarker negative is less than t, 8. The method according to any one of claims 1 to 7, further comprising determining as invasive cancer. システムであって、
非一時的コンピュータ可読媒体と、
前記非一時的コンピュータ可読媒体に通信可能に連結された１つ以上のプロセッサであって、前記１つ以上のプロセッサが、前記非一時的コンピュータ可読媒体内に記憶されたプロセッサ実行可能命令を実行して、前記１つ以上のプロセッサに、
ヘマトキシリン・エオジン染色（「Ｈ＆Ｅ」）染色組織のサンプルを有する病理スライドの画像に対応する複数の画像パッチであって、各画像パッチが前記画像の異なる部分を表す、画像パッチを受信させ、
各画像パッチについて、第１の訓練された機械学習（「ＭＬ」）モデルを使用して、パッチバイオマーカーステータスを決定させ、かつ
第２の訓練されたＭＬモデルを使用して、前記画像パッチの前記パッチバイオマーカーステータスに基づいて、組織の前記サンプルに対する組織サンプルバイオマーカーステータスを決定させるように構成される、プロセッサと、を備える、システム。 A system,
a non-transitory computer-readable medium;
one or more processors communicatively coupled to the non-transitory computer-readable medium, the one or more processors executing processor-executable instructions stored in the non-transitory computer-readable medium; and the one or more processors,
receiving a plurality of image patches corresponding to images of pathology slides having hematoxylin and eosin stained (“H&E”) stained tissue samples, each image patch representing a different portion of the image;
For each image patch, a first trained machine learning (“ML”) model is used to determine the patch biomarker status, and a second trained ML model is used to determine the patch biomarker status of the image patch. a processor configured to cause a tissue sample biomarker status for the sample of tissue to be determined based on the patch biomarker status. 前記パッチバイオマーカーステータスが、エストロゲン受容体（「ＥＲ」）陽性、ＥＲ陰性、プロゲステロン受容体（「ＰＲ」）陽性、ＰＲ陰性、ヒト上皮成長因子受容体２（「ＨＥＲ２」）陽性、ＨＥＲ２陰性、または非浸潤がんのうちの１つを含み、かつ
前記組織サンプルバイオマーカーステータスが、ＥＲ陽性、ＥＲ陰性、ＰＲ陽性、ＰＲ陰性、ＨＥＲ２陽性、ＨＥＲ２陰性、または非浸潤がんのうちの１つを含む、請求項９に記載のシステム。 the patch biomarker status is estrogen receptor (“ER”) positive, ER negative, progesterone receptor (“PR”) positive, PR negative, human epidermal growth factor receptor 2 (“HER2”) positive, HER2 negative; or cancer in situ, and the tissue sample biomarker status is ER positive, ER negative, PR positive, PR negative, HER2 positive, HER2 negative, or cancer in situ. 10. The system of claim 9, comprising: 前記パッチバイオマーカーステータスが、第１のパッチバイオマーカーステータスであり、また前記組織サンプルバイオマーカーステータスが、第１の組織サンプルバイオマーカーステータスであり、かつ前記１つ以上のプロセッサが、前記１つ以上のプロセッサに、0
各画像パッチについて、第３の訓練されたＭＬモデルを使用して、第２のパッチバイオマーカーステータスを決定させ、
第４の訓練されたＭＬモデルを使用して、前記画像パッチの前記第２のパッチバイオマーカーステータスに基づいて、組織の前記サンプルに対する第２の組織サンプルバイオマーカーステータスを決定させ、
各画像パッチについて、第５の訓練されたＭＬモデルを使用して、第３のパッチバイオマーカーステータスを決定させ、
第６の訓練されたＭＬモデルを使用して、前記画像パッチの前記第３のパッチバイオマーカーステータスに基づいて、組織の前記サンプルに対する第３の組織サンプルバイオマーカーステータスを決定させるように構成された、前記非一時的コンピュータ可読媒体内に記憶されたさらなるプロセッサ実行可能命令を実行するように構成される、請求項９または１０に記載のシステム。 the patch biomarker status is a first patch biomarker status, the tissue sample biomarker status is a first tissue sample biomarker status, and the one or more processors of processors, 0
for each image patch, using a third trained ML model to determine a second patch biomarker status;
using a fourth trained ML model to determine a second tissue sample biomarker status for the sample of tissue based on the second patch biomarker status of the image patch;
for each image patch, using a fifth trained ML model to determine a third patch biomarker status;
a sixth trained ML model configured to determine a third tissue sample biomarker status for the sample of tissue based on the third patch biomarker status of the image patch; 11. The system of claim 9 or 10, configured to execute further processor-executable instructions stored in the non-transitory computer-readable medium. 前記第１のパッチバイオマーカーステータスが、エストロゲン受容体（「ＥＲ」）陽性、ＥＲ陰性、または非浸潤がんのうちの１つを含み、
前記第１の組織サンプルバイオマーカーステータスが、ＥＲ陽性、ＥＲ陰性、または非浸潤がんのうちの１つを含み、
前記第２のパッチバイオマーカーステータスが、プロゲステロン受容体（「ＰＲ」）陽性、ＰＲ陰性、または非浸潤がんのうちの１つを含み、
前記第２の組織サンプルバイオマーカーステータスが、ＰＲ陽性、ＰＲ陰性、または非浸潤がんのうちの１つを含み、
前記第３のパッチバイオマーカーステータスが、ヒト上皮成長因子受容体２（「ＨＥＲ２」）陽性、ＨＥＲ２陰性、または非浸潤がんのうちの１つを含み、
前記第３の組織サンプルバイオマーカーステータスが、ＨＥＲ２陽性、ＨＥＲ２陰性、または非浸潤がんのうちの１つを含む、請求項１１に記載のシステム。 the first patch biomarker status comprises one of estrogen receptor (“ER”) positive, ER negative, or cancer in situ;
the first tissue sample biomarker status includes one of ER positive, ER negative, or cancer in situ;
the second patch biomarker status comprises one of progesterone receptor (“PR”) positive, PR negative, or cancer in situ;
the second tissue sample biomarker status includes one of PR positive, PR negative, or cancer in situ;
the third patch biomarker status comprises one of human epidermal growth factor receptor 2 (“HER2”) positive, HER2 negative, or cancer in situ;
12. The system of claim 11, wherein the third tissue sample biomarker status includes one of HER2 positive, HER2 negative, or cancer in situ. 前記１つ以上のプロセッサが、前記１つ以上のプロセッサに、前記画像パッチの前記パッチバイオマーカーステータスに基づいてヒストグラムを生成させ、かつ前記第２の訓練されたＭＬモデルを使用して、前記ヒストグラムに基づいて、組織の前記サンプルに対する前記組織サンプルバイオマーカーステータスを決定させるように構成された、前記非一時的コンピュータ可読媒体内に記憶された、さらなるプロセッサ実行可能命令を実行するように構成される、請求項９～１２のいずれかに記載のシステム。 The one or more processors cause the one or more processors to generate a histogram based on the patch biomarker status of the image patch and use the second trained ML model to generate the histogram. further processor-executable instructions stored in the non-transitory computer-readable medium configured to cause the tissue sample biomarker status for the sample of tissue to be determined based on , the system according to any one of claims 9 to 12. 各パッチバイオマーカーステータスが０％～１００％（端点を含む）の確率を含む、請求項９～１３のいずれかに記載のシステム。 14. The system of any of claims 9-13, wherein each patch biomarker status comprises a probability between 0% and 100% (inclusive). 組織の前記サンプルの前記組織サンプルバイオマーカーステータスが、０％～１００％の確率（端点を含む）を含む、請求項９～１４のいずれかに記載のシステム。 15. The system of any of claims 9-14, wherein the tissue sample biomarker status of the sample of tissue comprises a probability (inclusive) of 0% to 100%. 前記１つ以上のプロセッサが、前記１つ以上のプロセッサに、
各パッチバイオマーカーステータスについて、前記それぞれのパッチバイオマーカーステータスを閾値ｔと比較させ、
バイオマーカー陽性に対するそれぞれのパッチバイオマーカーステータスがｔ以上であるという決定に応答して、前記パッチバイオマーカーステータスを、バイオマーカー陽性を含むとして決定させ、
バイオマーカー陰性に対するそれぞれのパッチバイオマーカーステータスがｔ以上であるという決定に応答して、前記パッチバイオマーカーステータスを、バイオマーカー陰性を含むとして決定させ、
バイオマーカー陽性に対するそれぞれのパッチバイオマーカーステータスがｔ未満であり、かつバイオマーカー陰性に対するそれぞれのパッチバイオマーカーステータスがｔ未満であるという決定に応答して、非浸潤がんを含むとして前記パッチバイオマーカーステータスを決定させるように構成された、前記非一時的コンピュータ可読媒体内に記憶されたさらなるプロセッサ実行可能命令を実行するように構成される、請求項９～１５のいずれかに記載のシステム。 the one or more processors, the one or more processors;
for each patch biomarker status, comparing said respective patch biomarker status with a threshold t;
in response to determining that the respective patch biomarker status for biomarker positivity is greater than or equal to t, causing the patch biomarker status to be determined as including biomarker positivity;
in response to determining that the respective patch biomarker status for biomarker negative is greater than or equal to t, causing the patch biomarker status to be determined as including biomarker negative;
said patch biomarkers as containing cancer in situ in response to a determination that the respective patch biomarker status for biomarker positive is less than t and the respective patch biomarker status for biomarker negative is less than t. 16. The system of any of claims 9 to 15, configured to execute further processor-executable instructions stored in the non-transitory computer-readable medium configured to cause a status to be determined. プロセッサ実行可能命令を含む、非一時的コンピュータ可読媒体であって、プロセッサに、
ヘマトキシリン・エオジン染色（「Ｈ＆Ｅ」）染色組織のサンプルを有する病理スライドの画像に対応する複数の画像パッチであって、各画像パッチが前記画像の異なる部分を表す、画像パッチを受信させ、
各画像パッチについて、第１の訓練された機械学習（「ＭＬ」）モデルを使用して、パッチバイオマーカーステータスを決定させ、かつ
第２の訓練されたＭＬモデルを使用して、前記画像パッチの前記パッチバイオマーカーステータスに基づいて、組織の前記サンプルに対する組織サンプルバイオマーカーステータスを決定させるように構成された、非一時的コンピュータ可読媒体。 a non-transitory computer-readable medium containing processor-executable instructions, the medium comprising:
receiving a plurality of image patches corresponding to images of pathology slides having hematoxylin and eosin stained (“H&E”) stained tissue samples, each image patch representing a different portion of the image;
For each image patch, a first trained machine learning (“ML”) model is used to determine the patch biomarker status, and a second trained ML model is used to determine the patch biomarker status of the image patch. A non-transitory computer-readable medium configured to cause a tissue sample biomarker status for the sample of tissue to be determined based on the patch biomarker status. 前記パッチバイオマーカーステータスが、エストロゲン受容体（「ＥＲ」）陽性、ＥＲ陰性、プロゲステロン受容体（「ＰＲ」）陽性、ＰＲ陰性、ヒト上皮成長因子受容体２（「ＨＥＲ２」）陽性、ＨＥＲ２陰性、または非浸潤がんのうちの１つを含み、かつ
前記組織サンプルバイオマーカーステータスが、ＥＲ陽性、ＥＲ陰性、ＰＲ陽性、ＰＲ陰性、ＨＥＲ２陽性、ＨＥＲ２陰性、または非浸潤がんのうちの１つを含む、請求項１７に記載の非一時的コンピュータ可読媒体。 the patch biomarker status is estrogen receptor (“ER”) positive, ER negative, progesterone receptor (“PR”) positive, PR negative, human epidermal growth factor receptor 2 (“HER2”) positive, HER2 negative; or cancer in situ, and the tissue sample biomarker status is ER positive, ER negative, PR positive, PR negative, HER2 positive, HER2 negative, or cancer in situ. 18. The non-transitory computer-readable medium of claim 17, comprising: 前記パッチバイオマーカーステータスが、第１のパッチバイオマーカーステータスであり、また前記組織サンプルバイオマーカーステータスが、第１の組織サンプルバイオマーカーステータスであり、かつ前記プロセッサに、
各画像パッチについて、第３の訓練されたＭＬモデルを使用して、第２のパッチバイオマーカーステータスを決定させ、
第４の訓練されたＭＬモデルを使用して、前記画像パッチの前記第２のパッチバイオマーカーステータスに基づいて、組織の前記サンプルに対する第２の組織サンプルバイオマーカーステータスを決定させ、
各画像パッチについて、第５の訓練されたＭＬモデルを使用して、第３のパッチバイオマーカーステータスを決定させ、
第６の訓練されたＭＬモデルを使用して、前記画像パッチの前記第３のパッチバイオマーカーステータスに基づいて、組織の前記サンプルに対する第３の組織サンプルバイオマーカーステータスを決定させるように構成された、プロセッサ実行可能命令をさらに含む、請求項１７または１８に記載の非一時的コンピュータ可読媒体。 the patch biomarker status is a first patch biomarker status, the tissue sample biomarker status is a first tissue sample biomarker status, and the processor;
for each image patch, using a third trained ML model to determine a second patch biomarker status;
using a fourth trained ML model to determine a second tissue sample biomarker status for the sample of tissue based on the second patch biomarker status of the image patch;
for each image patch, using a fifth trained ML model to determine a third patch biomarker status;
a sixth trained ML model configured to determine a third tissue sample biomarker status for the sample of tissue based on the third patch biomarker status of the image patch; 19. The non-transitory computer-readable medium of claim 17 or 18, further comprising processor-executable instructions. 前記第１のパッチバイオマーカーステータスが、エストロゲン受容体（「ＥＲ」）陽性、ＥＲ陰性、または非浸潤がんのうちの１つを含み、
前記第１の組織サンプルバイオマーカーステータスが、ＥＲ陽性、ＥＲ陰性、または非浸潤がんのうちの１つを含み、
前記第２のパッチバイオマーカーステータスが、プロゲステロン受容体（「ＰＲ」）陽性、ＰＲ陰性、または非浸潤がんのうちの１つを含み、
前記第２の組織サンプルバイオマーカーステータスが、ＰＲ陽性、ＰＲ陰性、または非浸潤がんのうちの１つを含み、
前記第３のパッチバイオマーカーステータスが、ヒト上皮成長因子受容体２（「ＨＥＲ２」）陽性、ＨＥＲ２陰性、または非浸潤がんのうちの１つを含み、
前記第３の組織サンプルバイオマーカーステータスが、ＨＥＲ２陽性、ＨＥＲ２陰性、または非浸潤がんのうちの１つを含む、請求項１９に記載の非一時的コンピュータ可読媒体。 the first patch biomarker status comprises one of estrogen receptor (“ER”) positive, ER negative, or cancer in situ;
the first tissue sample biomarker status includes one of ER positive, ER negative, or cancer in situ;
the second patch biomarker status comprises one of progesterone receptor (“PR”) positive, PR negative, or cancer in situ;
the second tissue sample biomarker status includes one of PR positive, PR negative, or cancer in situ;
the third patch biomarker status comprises one of human epidermal growth factor receptor 2 (“HER2”) positive, HER2 negative, or cancer in situ;
20. The non-transitory computer-readable medium of claim 19, wherein the third tissue sample biomarker status includes one of HER2 positive, HER2 negative, or cancer in situ. 前記プロセッサに、前記画像パッチの前記パッチバイオマーカーステータスに基づいてヒストグラムを生成させ、かつ前記第２の訓練されたＭＬモデルを使用して、前記ヒストグラムに基づいて、組織の前記サンプルに対する前記組織サンプルバイオマーカーステータスを決定させるように構成された、プロセッサ実行可能命令をさらに含む、請求項１７～２０のいずれかに記載の非一時的コンピュータ可読媒体。 causing the processor to generate a histogram based on the patch biomarker status of the image patch and using the second trained ML model to generate a histogram for the sample of tissue based on the histogram. 21. The non-transitory computer-readable medium of any of claims 17-20, further comprising processor-executable instructions configured to cause a biomarker status to be determined. 各パッチバイオマーカーステータスが、０％～１００％（端点を含む）の確率を含む、請求項１７～２１のいずれかに記載の非一時的コンピュータ可読媒体。 22. The non-transitory computer-readable medium of any of claims 17-21, wherein each patch biomarker status comprises a probability between 0% and 100% (inclusive). 組織の前記サンプルに対する前記組織サンプルバイオマーカーステータスが、０％～１００％（端点を含む）の確率を含む、請求項１７～２２のいずれかに記載の非一時的コンピュータ可読媒体。 23. The non-transitory computer-readable medium of any of claims 17-22, wherein the tissue sample biomarker status for the sample of tissue comprises a probability between 0% and 100% (inclusive). 前記プロセッサに、
各パッチバイオマーカーステータスについて、前記それぞれのパッチバイオマーカーステータスを閾値ｔと比較させ、
バイオマーカー陽性に対するそれぞれのパッチバイオマーカーステータスがｔ以上であるという決定に応答して、前記パッチバイオマーカーステータスを、バイオマーカー陽性を含むとして決定させ、
バイオマーカー陰性に対するそれぞれのパッチバイオマーカーステータスがｔ以上であるという決定に応答して、前記パッチバイオマーカーステータスを、バイオマーカー陰性を含むとして決定させ、
バイオマーカー陽性に対するそれぞれのパッチバイオマーカーステータスがｔ未満であり、かつバイオマーカー陰性に対するそれぞれのパッチバイオマーカーステータスがｔ未満であるという決定に応答して、非浸潤がんを含むとして前記パッチバイオマーカーステータスを決定させるように構成されたプロセッサ実行可能命令をさらに含む、請求項１７～２３のいずれかに記載の非一時的コンピュータ可読媒体。 the processor;
for each patch biomarker status, comparing said respective patch biomarker status with a threshold t;
in response to determining that the respective patch biomarker status for biomarker positivity is greater than or equal to t, causing the patch biomarker status to be determined as including biomarker positivity;
in response to determining that the respective patch biomarker status for biomarker negative is greater than or equal to t, causing the patch biomarker status to be determined as including biomarker negative;
said patch biomarkers as containing cancer in situ in response to a determination that the respective patch biomarker status for biomarker positive is less than t and the respective patch biomarker status for biomarker negative is less than t. 24. The non-transitory computer-readable medium of any of claims 17-23, further comprising processor-executable instructions configured to cause the status to be determined.