JP2024508095A - マルチプレックス免疫蛍光画像のグラフ構築及び可視化 - Google Patents
マルチプレックス免疫蛍光画像のグラフ構築及び可視化 Download PDFInfo
- Publication number
- JP2024508095A JP2024508095A JP2023541733A JP2023541733A JP2024508095A JP 2024508095 A JP2024508095 A JP 2024508095A JP 2023541733 A JP2023541733 A JP 2023541733A JP 2023541733 A JP2023541733 A JP 2023541733A JP 2024508095 A JP2024508095 A JP 2024508095A
- Authority
- JP
- Japan
- Prior art keywords
- cell
- graph
- cells
- node
- embeddings
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012800 visualization Methods 0.000 title claims abstract description 66
- 238000010166 immunofluorescence Methods 0.000 title claims description 40
- 238000010276 construction Methods 0.000 title description 2
- 230000002452 interceptive effect Effects 0.000 claims abstract description 65
- 238000000034 method Methods 0.000 claims abstract description 63
- 230000001413 cellular effect Effects 0.000 claims abstract description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 37
- 239000000090 biomarker Substances 0.000 claims description 34
- 238000011282 treatment Methods 0.000 claims description 23
- 238000010801 machine learning Methods 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 18
- 235000008694 Humulus lupulus Nutrition 0.000 claims description 17
- 230000015654 memory Effects 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 2
- 230000008611 intercellular interaction Effects 0.000 claims 1
- 238000004458 analytical method Methods 0.000 abstract description 10
- 238000004590 computer program Methods 0.000 abstract description 5
- 238000004519 manufacturing process Methods 0.000 abstract description 4
- 210000004027 cell Anatomy 0.000 description 193
- 238000003860 storage Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 16
- 230000000007 visual effect Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 230000003993 interaction Effects 0.000 description 10
- 230000002123 temporal effect Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000000670 limiting effect Effects 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 6
- 238000010191 image analysis Methods 0.000 description 6
- 210000001519 tissue Anatomy 0.000 description 6
- 206010028980 Neoplasm Diseases 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 230000036961 partial effect Effects 0.000 description 5
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 210000000170 cell membrane Anatomy 0.000 description 2
- 210000003855 cell nucleus Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 210000000805 cytoplasm Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010569 immunofluorescence imaging Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 210000004185 liver Anatomy 0.000 description 2
- 238000004949 mass spectrometry Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000004083 survival effect Effects 0.000 description 2
- 206010061818 Disease progression Diseases 0.000 description 1
- 241001275944 Misgurnus anguillicaudatus Species 0.000 description 1
- 101100521334 Mus musculus Prom1 gene Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 239000000427 antigen Substances 0.000 description 1
- 102000036639 antigens Human genes 0.000 description 1
- 108091007433 antigens Proteins 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007248 cellular mechanism Effects 0.000 description 1
- 230000036755 cellular response Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 238000000280 densification Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005750 disease progression Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 238000003364 immunohistochemistry Methods 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000004940 nucleus Anatomy 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/203—Drawing of straight lines or curves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Public Health (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Pathology (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Analysis (AREA)
Abstract
本明細書において、MIF画像内に表された細胞環境の対話型探索及び分析を提供するための、システム、装置、製品、方法、及び/若しくはコンピュータプログラム製品の実施形態、並びに/又はそれらの組み合わせ及び部分的組み合わせが提供される。実施形態は、MIF画像において細胞を識別することと、グラフ内の各ノードが細胞及び近隣細胞に対応する、識別された細胞の座標及びプロパティに基づいてMIF画像のグラフを生成することによって、MIF画像において細胞を表す選択可能アイコンを有する対話型可視化を生成するように構成されたパイプラインを含む。グラフは、埋め込みに変換されてもよく、埋め込みに基づいてグラフの対話型可視化を生成してもよい。対話型可視化内の選択可能アイコンは、グラフ内のノードに対応する。
Description
本開示は、概して、マルチプレックス免疫蛍光画像内で細胞関係を対話型で探索するため、並びに治療成績及び治療効果に関する予測を生成するための、マルチプレックス免疫蛍光画像のグラフ表現を構築することを目的とする。
マルチプレックス免疫蛍光(MIF)は、ラベル付けされた抗体を使用した生体試料における抗原検出用の分子病理組織学ツールである。MIFは、組織切片におけるバイオマーカ表現の同時検出を可能にするため、並びに細胞構成、機能、及び相互作用に洞察を加えるための、有用なツールとして出現した。MIFの利点の1つは、細胞環境内の細胞に関する複雑且つ幅広い情報を取り込むことである。MIF画像によって与えられるデータの深さ及び幅広さは有用であるが、莫大な複雑度及びデータ量が、解釈及び可視化についての課題を提示する。言い換えると、MIF画像においてデータを分析することは、困難なタスクである場合がある。
細胞環境は、複雑なことで有名である。それらは、数百万の細胞及び多くの異なる種類の細胞を含み得る。これらの細胞のそれぞれが、何百もの潜在的な相互作用を有し得る。MIF画像内のバイオマーカ表現の分析は、細胞及びこれらの相互作用を分析することに役立つ起点を与えるが、関与する細胞の数を考慮すると、手動によるMIF画像の分析は、実用的には不可能である。本開示に記載される技術は、MIF画像によって提供されるデータを直観的なグラフィカルフォーマットに変換し、そのフォーマットでは、関連する医学的予測のために、MIF画像内の細胞を操作し、フィルタリングし、クエリし、利用することができる。
本明細書において、MIF画像内に表された細胞環境の対話型探索及び分析を提供するための、システム、装置、製品、方法、及び/若しくはコンピュータプログラム製品の実施形態、並びに/又はそれらの組み合わせ及び部分的組み合わせが提供される。
いくつかの非限定的な実施形態では、システムは、画像分析及びデータ可視化のための汎用コンピューティングデバイス又はより専用的なデバイスの中で実施されるパイプラインであってもよい。システムは、命令がその中に記憶されたメモリ及び/又は非一時的コンピュータ可読記憶デバイスを含み得る。少なくとも1つのコンピュータプロセッサによって実行されるときに、MIF画像を分析し、MIF画像内の細胞を表す対話型可視化を生成するために、様々な動作がローカル又はリモートで実行され得る。本明細書に開示される技術の実施態様では、対話型可視化は、MIF画像内の細胞に関連付けられたデータを操作するためのインターフェースを提供する。このようにして、MIF画像内のデータは、従来の分析を通して以前は可能でなかった画像内の細胞的洞察を明らかにするために処理され得る。対話型可視化は、医療提供者が仮説及びデータ主導の研究を行い得る方法でそれらの洞察を示し、仮説及びデータ主導の研究は、疾患のより正確な診断、医療成績及び治療に対する反応のより正確な予測、並びに現在の治療に細胞がどのように反応するかについてのより良い理解につながり得る。
実施形態は、MIF画像において細胞を表す選択可能アイコンを有する対話型可視化を生成するための、システム、装置、製品、方法、及び/若しくはコンピュータプログラム製品の実施形態、並びに/又はそれらの組み合わせ及び部分的組み合わせを目的とする。これらの実施形態は、MIF画像において細胞を識別することを含み得る。細胞のそれぞれが、座標及びプロパティに関連付けられ得る。実施形態は、座標及びプロパティに基づいてMIF画像のグラフを生成することであって、グラフが、細胞及び近隣細胞に対応するノードを含む、生成することをさらに含み得る。グラフは、ノードを接続し、且つその細胞の周りの近隣細胞に関する情報などの各細胞に関するプロパティを符号化する、エッジをさらに含み得る。実施形態は、グラフを埋め込みに変換することをさらに含んでもよく、埋め込みは、ノード、エッジ、及びプロパティを含むグラフの数学的ベクトル表現である。実施形態は、埋め込みに基づくグラフの対話型可視化を提供することをさらに含み得る。
発明の概要及び要約の項目ではなく、以下の発明を実施するための形態の項目が、特許請求の範囲の解釈に用いられるように意図されることは理解されるべきである。発明の概要及び要約の項目には、本明細書に記載される、MIFデータの対話型可視化を提供するための拡張された高密度化技術の、全てではないがいくつかの可能な例としての実施形態が記載されていてもよく、したがっていかなる方法でも添付の特許請求の範囲を限定することを意図するものではない。
添付図面は、本明細書に組み込まれ、明細書の一部を形成する。
図面では、類似の参照番号は、概して同一又は類似の要素を示す。追加的には、概して、参照番号の左端の桁は、その参照番号が最初に現れた図面を識別する。
本開示の以下の発明を実施するための形態は、本開示と一貫した例示的な実施形態を示す添付図面を参照する。例示的実施形態は、他者が、当業者の知識を適用することによって、不要な実験なしに本開示の思想及び範囲から逸脱することなく、そのような例示的実施形態を様々な用途のために容易に修正及び/又は適合し得るように、本開示の一般的性質を完全に明らかにする。したがって、かかる適合形態及び修正形態は、本明細書に提示される教示及び指針に基づけば、例示的実施形態の意味及び複数の均等物の範囲内にあることを意図している。本明細書中の専門用語又は用語は、本明細書の用語又は専門用語が本明細書中の教示に照らして当業者により解釈されるべきであるように、限定ではなく説明を目的とするものであることを理解されたい。したがって、発明を実施するための形態は、本開示を限定することを意味するものではない。
説明される実施形態及び明細書中の「一実施形態」、「実施形態」、「例としての実施形態」などへの参照は、説明される実施形態が特定の特徴、構造、又は特性を含み得ることを示しているが、あらゆる実施形態が、必ずしも特定の特徴、構造、又は特性を含まなくてもよい。さらに、そのような語句は、必ずしも同一実施形態を参照するわけではない。さらに、特定の特徴、構造、又は特性が実施形態に関連して説明されているとき、明示的に説明されているか否かに関わらず、他の実施形態に関連してそのような特徴、構造、又は特性をもたらすことが当業者の知識の範囲内にあると理解されたい。
図1は、例としてのプロセスフロー100の概要の図である。本明細書に記載される通り、例としてのプロセスフロー100は、単に、MIF画像データの対話型可視化を提供するための特徴の概略説明を提供する。以下の説明は、MIF及びMIF画像データの文脈における対話型可視化について説明しているが、対話型可視化は、マルチプレックス免疫組織化学(MIHC)画像データ及び質量分析イメージングなどの、細胞情報を提供する他の種類の画像データに基づいてもよい。したがって、MIF画像を処理してグラフ及び埋め込みを作成すること及び続いて対話型可視化を生成することに関する以下の説明は、MIHCからの画像データ及び質量分析画像を処理することにも当てはまり得る。プロセス及び対話型可視化のさらなる詳細は、以下で図2~図4に関して説明される。
図1に示されるように、例としてのプロセスフロー100は、MIF画像で始まり得る。MIF画像内の細胞環境は、典型的には非常に複雑であり、MIFのバイオマーカ表現によって提供される情報は、解釈すべき大きなデータセットをもたらす。プロセスフロー100は、より自動化された方式でそれらのデータセットを操作及び利用することを可能にする可視化に、MIF画像を変換することを説明する。プロセスフロー100は、MIF画像を分析して画像内の細胞環境に関連付けられたデータポイントを識別することを伴い得る。実施形態では、分析は、MIF画像内の組織細胞を識別すること、及び識別された組織細胞を生物学的に有意な領域に分割することを含み得る。そのような生物学的に有意な領域の例は、腫瘍中心及び腫瘍間質を含む。
分割ステップを実行するための機能の例は、訓練領域に基づくランダムフォレスト分類器を含み得る。例えば、細胞分割は、核バイオマーカチャネルに十分なコントラストのある離心率を有する、所定のサイズの丸い物体を識別することを含み得る。別の例として、MIF画像内の細胞膜及び細胞の細胞質を推定するために、ボロノイ(Voronoi)分岐点が使用されてもよく、膜バイオマーカがこれらの推定を精密化するために使用されてもよい。バイオマーカ陽性は、概して、細胞エリア又は細胞内区画にわたる各チャネルの強度を積分することによって査定される。
MIF分析の結果は、細胞位置、細胞表現型(細胞に関連付けられたバイオマーカの組み合わせを考慮され得る)、細胞間関係性、及び免疫蛍光強度などの細胞環境を示す画像上のデータポイントに関する情報である。MIFに使用されるバイオマーカは、細胞又は組織を特徴付けるために使用され得る細胞上又は細胞内で測定可能な分子を含み得る。例えば、あるバイオマーカの表現は、細胞のアイデンティティ、機能、又は活動を示し得る。異なる疾患(癌、心臓病)が、疾患の診断に使用され得るバイオマーカに関連付けられてもよく、医学的処置に対する反応が、バイオマーカ表現の変化を引き起こすことがある。バイオマーカの例は、DNA又はタンパク質を含む。
位置決め情報は、MIF画像において識別される各細胞の座標及び表現型を記述する表形式に記憶され得る。細胞の位置決めは、核の重心又は細胞全体に基づき得る。実施形態では、位置決めは、ホールスライド座標系上の細胞X/Y座標として実施され得る。画像情報は、ログファイルに記録されてもよく、グラフ構築であるプロセスフロー100における次のステップに使用されてもよい。
グラフは、画像情報に基づいて構築されてもよい。例えば、このステップは、ログファイルから細胞位置(X/Y座標)を抽出することと、各細胞の免疫蛍光強度などのバイオマーカ情報を抽出することと、を伴ってもよい。バイオマーカ情報の他の例は、細胞直径、細胞面積、及び細胞離心率などの補助特徴を含む。グラフは、細胞の対識別を実行することによって、この抽出された情報に基づいて構築され得る。実施形態では、選択可能な距離閾値が、細胞対を識別するために使用され得る。選択可能な距離閾値の範囲内にある識別された対は、エッジによってグラフ内で接続され得る。グラフは、細胞の全ての対が識別され、エッジによって接続されたノードとしてグラフに追加されたときに構築され得る。したがって、構築されたグラフは、MIF画像に示される細胞に対応するノード及びあるノードを接続するエッジから構成される。エッジは、グラフ内の任意のノード間の選択可能な距離閾値に対応する。
グラフが構築されると、プロセスフロー100内の次のステップは、グラフをグラフ埋め込みに変換することを伴い、グラフ埋め込みは、構築されたグラフにおいて符号化された情報を表す数値ベクトル又は特徴ベクトルである。埋め込みは、近くの埋め込みが類似のノード、エッジ、及び部分グラフを表すベクトル空間内の構築されたグラフのプロパティ又は特徴を、例えば行列内で数値的に表し得る。ゆえに、埋め込みは、グラフのノード、グラフのエッジ、及びグラフ全体の部分グラフを含む、様々な形態の粒度でグラフに関する情報を取り込み得る。
埋め込みは、細胞の位置、免疫蛍光強度、細胞表現型、及び細胞の近傍などの、グラフ内のノードとして表される各細胞に関する情報を表し得る。細胞の近傍は、(その細胞に対応する)ノード、及び中央ノードからあるホップ数の範囲内にある(MIF画像内に示される近くの細胞に対応する)任意の周囲ノードを中心としてもよい。埋め込みは、また、細胞情報又は近傍情報をより正確に表すように訓練されてもよい。
埋め込みは、グラフ内のノード及びエッジを学習するために、グラフ訓練アルゴリズムによって生成され得る。グラフ訓練アルゴリズムの適用は、(近傍サイズを決定するために)ホップ数を選択すること、及び埋め込みサイズ又は埋め込み出力の種類を選択することの初期ステップを含み得る。いくつかの実施形態では、グラフ訓練アルゴリズムは、教師なしである。この例は、深層グラフインフォマックス(DGI)及びGraphSAGEを含む。埋め込みのサイズは、埋め込みによって取り込まれ得るグラフの情報量を表す。埋め込みサイズが大きいほど、より多くの情報を埋め込み空間内に表すことができ、ゆえに、潜在的により多くのグラフからの情報が、埋め込みによって取り込まれ得る。埋め込み出力の種類は、いくつか例を挙げると、ノード埋め込み、エッジ埋め込み、ノード及びエッジ埋め込みの両方のハイブリッド、部分グラフ埋め込み、並びに全グラフ埋め込みを含む。
グラフをベクトル表現に変換することは、いくつかの利点をもたらす。グラフ内のデータは、それらがエッジ及びノードから構成されるため、容易に操作されない。この構成によって、機械学習アルゴリズムの効果も低下する。比較すると、ベクトル表現は、操作がより容易であり、それらに適用され得る機械学習アルゴリズムのより多くの選択肢を有する。
グラフ埋め込みの生成後、プロセスフロー100は、次に、グラフ埋め込み内の情報に基づいて対話型可視化を生成する。対話型可視化は、埋め込みにおいて符号化された情報を探索するためのツールである。実施形態では、対話型可視化は、埋め込みの2次元視覚投影を提供する。散布図は、そのような2次元投影の一例である。対話型可視化のノードは、いくつか例を挙げると、細胞選択、バイオマーカフィルタリング、又は近傍プロットなどの様々な方法で操作され得る。それによって、特定の患者についてのノードをクラスタ化すること、治療に反応した患者を(そのノードに基づいて)識別すること、及び患者がどのように治療に反応し得るかについての予測を(ノードに基づきデータを外挿で推定することに基づいて)生成することを含む、いくつかの現実の診断の利益が見込まれる。
対話型可視化は、MIF画像が数百万の細胞を示し得ることから、典型的には骨の折れる手動の分析及び取り組みを必要とするMIF画像において符号化された細胞データへの洞察を可能にする。グラフ埋め込みは、各細胞だけでなくその細胞の周囲の近傍及び細胞関係性(細胞間の類似性、細胞間の差異、細胞クラスタ、時間的情報)に関する情報を提供し、それは、同様に、対話型且つ視覚的な方式で提供されてもよい。それは細胞及び細胞近傍レベルにおける相互作用を示すため、対話型可視化は、異なる医学的処置に対する細胞反応に関して、且つ異なる患者にわたる異なる反応及び結果に関して、細胞メカニズムを理解することを含む、いくつかの可能な使用におけるMIF画像に基づく高度な仮説及びデータ主導の研究を可能にする。
プロセスフロー100は、ここで、図2A、図2B、及び図3~図5に関してさらに詳細に説明される。
図2Aは、いくつかの実施形態による、MIF画像を処理するための例としてのマルチプレックス免疫蛍光(MIF)システムパイプライン200Aを示す。MIFシステムパイプライン200Aは、図5のコンピュータシステム500などのコンピュータシステムの一部として実施され得る。MIFシステムパイプライン200Aは、MIF画像を処理するため、及びMIF画像の対話型可視化を提供するための様々なコンポーネントを含み得る。図2Aに示されるように、MIFシステムパイプライン200Aは、MIF画像分析器202A、グラフ生成器204A、埋め込み生成器206A、及び可視化器208Aを含み得る。
MIF画像分析器202Aは、MIF画像を分析して、画像内の細胞を識別し、MIF画像から情報を抽出し、情報を表形式データに変換する。実施形態では、MIF画像分析器202Aは、ソフトウェアを使用して、表形式データへの変換を実行し得る。そのようなソフトウェアの例は、定量組織分析のためのデジタル病理学プラットフォームを含む。
表形式データは、各細胞の座標及びプロパティを含み得る。細胞の座標は、MIF画像内の細胞の位置を識別し、MIF画像において他の細胞に対して細胞をプロットする際に使用され得る。実施形態では、座標は、X/Y座標として実施され得る。座標は、細胞の異なる態様に基づき得る。例えば、MIF画像分析器202Aは、細胞に対して細胞核を識別してもよく、細胞核の中心が、細胞のX/Y座標として使用されてもよい。別の例として、細胞全体が、X/Y座標として使用されてもよい。
表形式データは、細胞のプロパティなどの、MIF画像から抽出された他の情報をさらに含み得る。細胞プロパティの集合は、また、細胞表現型として特徴付けられてもよく、これらのプロパティは、MIF画像分析器202Aによって実行される画像分析から判定される、細胞の任意の数の補助特徴を含んでもよい。これらの補助特徴は、細胞の直径、細胞のサイズ、細胞の離心率、細胞膜、細胞の細胞質、及び細胞のバイオマーカ陽性を含み得る。MIF画像内の各細胞は、免疫蛍光強度に関連付けられてもよい。実施形態では、MIF画像分析器202Aは、また、MIF画像内で識別された免疫蛍光強度を正規化し得る。正規化は、免疫蛍光強度のバッチのバッチ正規化によって行われ得る。バッチは、MIF画像において識別された複数の免疫蛍光強度のサブセットを表し得る。免疫蛍光強度は、グラフを訓練するための入力として使用されてもよく、強度のバッチ正規化は、強度を標準化することによって訓練の効率を改善することに役立つ。実施形態では、MIF画像分析器202Aは、また、補助特徴を正規化して、正規化された補助特徴を生成し得る。
実施形態では、画像分析は、画像の部分を分割することと、生物学的領域に基づいて分割された部分にラベル付けすることと、を伴う。例えば、癌組織を含むMIF画像において、MIF画像分析器202Aは、画像内の細胞の特性に基づいて、腫瘍中心又は腫瘍間質に対応する画像内の細胞を識別してもよい。
MIF画像分析器202Aによって識別された座標及びプロパティに基づいて、グラフ生成器204Aは、MIF画像を表すグラフを生成し得る。生成されたグラフは、MIF画像において識別された細胞に対応するノードを含み得る。ノードの数は、MIF画像において識別された細胞の数に直接的に対応し得る。生成されたグラフは、また、いくつかのノードを接続するエッジを含み得る。エッジによって接続されたノードは、選択可能な距離閾値(例えば、10ミクロン)に基づいてもよく、距離閾値範囲内のノードは、グラフ内でエッジによって接続され、距離閾値外のノードは接続されない。実施形態では、グラフ生成器204Aは、距離閾値に基づいてノード対を識別すること、及びノード間の距離に基づいてノード対間にエッジを設置することによって、細胞間でペアワイズモデリングを実行し得る。グラフ内のノード間の距離は、対応する細胞に関連付けられた座標間の距離を判定することによって、且つ距離が所定の閾値範囲内にあるかどうかに基づいて、計算され得る。
実施形態では、距離閾値は、MIF画像内の細胞の細胞タイプに基づいて判定され得る。ある細胞タイプが、特定の距離の範囲内で特定の相互作用を有することが知られている場合がある。それらの細胞タイプがMIF画像において識別される場合、距離閾値は、その特定の距離に基づいて選択されてもよい。実施形態では、グラフを構築するときに確立された異なる距離閾値が存在してもよい。例えば、細胞タイプA及び細胞タイプBが、10ミクロンの範囲内で相互作用を有すると知られており、細胞タイプA及び細胞タイプCが、20ミクロンの範囲内で相互作用を有すると知られている場合、グラフ生成器204Aは、グラフ内でノードを接続するかどうかを判定するときに、これらの異なる距離を利用してもよい。その結果、この例では、細胞タイプAに対応するノードは、ノードが10ミクロンの範囲内にあるときにのみ、細胞タイプBに対応するノードに接続され得る。細胞タイプAに対応するノードは、ノードが20ミクロンの範囲内にあるときにのみ、細胞タイプCに対応するノードに接続され得る。
実施形態では、距離閾値は、MIF画像内の細胞のバイオマーカに基づいて判定され得る。例えば、細胞内のバイオマーカの全ての対に対して異なる閾値が存在してもよい。
生成されたグラフは、ノード間の対の関係性を示し、MIF画像において識別された細胞のグラフィカル表現を提供する。グラフ内のノードの接続性は、細胞の近傍を特徴付けるために使用され得る。
実施形態では、グラフ生成器204Aは、埋め込み生成器206Aによってグラフが埋め込みに変換される前に、部分サンプリングステップを実行し得る。部分サンプリングは、グラフを複数の部分グラフに分割すること、及び次いで部分グラフの1つ又は複数を(グラフ全体の代わりに)埋め込み生成器206Aに供給することを伴い得る。グラフを部分サンプリングすることは、埋め込み生成器206Aがグラフのより小さな部分で作動することを可能にすることによって、埋め込みを計算する効率を改善するために行われ得る。例えば、グラフ全体が関連がない場合があり、したがって、埋め込みが対象の部分グラフにのみ基づいて生成されてもよい。
埋め込み生成器206Aは、各ノードに関する情報(例えばX/Y座標、バイオマーカ表現)及び各ノードの近傍(例えば各ノードからある距離範囲内にノードのあるサブセット)を含むグラフ内の情報の数学的ベクトル表現である埋め込みを生成するために、グラフ埋め込み(又はグラフが部分サンプリングされている場合は部分グラフ埋め込み)を訓練する。実施形態では、グラフ埋め込みを訓練するために、グラフ訓練アルゴリズムがグラフに適用される。アルゴリズムは、グラフからノードを選択すること、及び選択されたノードのそれぞれに関連付けられたホップ数を選択することを伴い得る。ホップ数は、それぞれの選択されたノードを有するグラフ内のノードの周囲の近傍を、各近傍の中心及び連続して横断可能なエッジの最大数を表すホップ数として、定義する。この方式では、各近傍は、選択されたノード及び選択されたノードに対してホップ数の範囲内にある任意のノードを含む、ノードのサブセットである。アルゴリズムは、また、各埋め込みの中に保持される、グラフに関連付けられた情報の量を表す埋め込みサイズを選択することを伴い得る。実施形態では、埋め込みサイズは、32又は64の値などの固定長の数学ベクトルである。
実施形態では、選択されたノード及び選択されたホップ数は、可変集約関数への入力である。選択されたノードについての埋め込みを生成するとき、集約関数は、周囲のノードから埋め込み情報を引き出し、引き出された埋め込み情報を使用して、選択されたノードについての埋め込みを生成する。その結果、集約関数は、各埋め込みが、ノード及び(選択されたホップ数に応じた)その周囲のノードの数値表現であることを可能にする。
実施形態では、グラフ訓練アルゴリズムは、DGI又はGraph-Sageなどの教師なしアルゴリズムである。グラフ訓練アルゴリズムに関連付けられたハイパーパラメータは、生成された埋め込みがグラフ内のノードの正確な表現を与えるように選択され得る。グラフ訓練アルゴリズムの適用について関連のあるハイパーパラメータの例は、学習率、ドロップアウト、オプティマイザ、荷重減衰、及びエッジ加重を含む。ハイパーパラメータのための値を調整することは、グラフ訓練アルゴリズムがグラフを表す正確な埋め込みを生成することを保証する。グラフ訓練アルゴリズムの結果は、グラフ内の各ノードについての埋め込みである。
埋め込みは、また、補助特徴がMIF画像分析器202AによってMIF画像から抽出されている場合に、正規化された補助特徴を含み得る。MIF画像において識別された各細胞は、対応する埋め込みを有し、各埋め込みが、細胞に関する情報の全てを数値フォーマットで符号化する。埋め込みの例は、ベクトルである。ノードについての埋め込みは、そのノードの周囲のある数のノードからの埋め込み情報に基づいて生成され得る。この方式では、ノードについての埋め込みは、ノードに関する情報及びその近傍についての情報を取り込む。
埋め込みは、また、各細胞に関連付けられた時間的情報を符号化し得る。例えば、時間的情報は、医学的処置の異なる時点(例えば、4週目の投与2回目、6週目の投与4回目)又は特定の疾患の進行(例えば、1週目の患者の肝臓、2週目の患者の肝臓)における細胞の特性に関連し得る。サイズ又は離心率などの細胞の特性は、医学的処置に対して細胞がどのように反応しているか又は疾患の進行を示し得る。例として、医学的処置の2回目の投与における細胞のサイズを、医学的処置の4回目の投与における細胞のサイズと比較してもよい。サイズの変化(例えば、増加、減少、変化なし)は、埋め込みに符号化され得る。
可視化器208Aは、埋め込み生成器206Aによって生成された埋め込みに基づいて、グラフの対話型可視化を提供する。可視化器208Aは、埋め込みの情報が、対話型可視化においてグラフ上など視覚的に表示され得るように、埋め込みの次元数を2次元又は3次元に削減してもよい。
対話型可視化には、埋め込みに提供された数値情報の視覚的表現である、いくつかの選択可能アイコンが投入されてもよい。対話型可視化は、選択可能アイコンを表示し、選択可能アイコンとの対話を可能にし得るユーザインターフェースである。アイコンの配置及び視覚的構成は、埋め込みに基づく。したがって、対話型可視化における各選択可能アイコンは、グラフ生成器204Aによって生成されたグラフ内の特定ノード及びその特定ノードの近傍に対応すると考えられ得る。実施形態では、対話型可視化は、埋め込みの2次元表現である。
選択可能アイコンの視覚的プロパティは、符号化された異なる情報を埋め込みに反映するように調整され得る。選択可能アイコンは、異なる色、異なるサイズ、異なる形状、又は異なる境界線であってもよく、これらのプロパティのそれぞれが、埋め込みの特定のプロパティ及びグラフ内のその対応ノードを反映するために構成され得る。例えば、アイコンの色は、異なる細胞表現型を反映するために使用されてもよく(例えば、青いアイコンは、細胞表現型Aに関連付けられてもよく、赤いアイコンは、細胞表現型Bに関連付けられてもよい)、アイコンの境界線は、細胞に関連付けられたバイオマーカを反映するために使用されてもよい(例えば、太い境界線は、バイオマーカAに関連付けられてもよく、細い境界線は、バイオマーカBに関連付けられてもよい)。対話型可視化の機能は、選択可能アイコンの選択を可能にすること、クエリすること、フィルタリングすること、埋め込みをプロット/グラフ化すること、近傍グラフを生成すること、及び統計サマリを生成することを含み得る。ユーザは、カーソルを使用してアイコンの上で投げ縄ツールで囲むか又はボックスを描いて、選択可能アイコンのサブセットの選択を提供してもよい。選択された選択可能アイコンのサブセットは、選択可能アイコンに関連付けられた埋め込みに対応する細胞近傍を表す。対話型可視化は、プロットが細胞近傍を表すように構成され得る、選択可能アイコンのサブセットを含むグラフィカルプロットを提供し得る。グラフィカルプロットは、サブセット内の選択された細胞を強調することを含む選択されたサブセットに関する情報、選択された細胞のそれぞれに関する詳細を有するインフォグラフィック、及び選択された細胞の埋め込みに与えられた他の情報を表示してもよい。インフォグラフィックは、バイオマーカ情報、時間的情報、及びラベリング情報を含んでもよい。
実施形態では、時間的情報が埋め込みに符号化されるとき、対話型可視化は、異なる医学的処置及び異なる週などの異なる時点の各細胞の特性に関する情報を提供し得る。対話型可視化は、これらの異なる時間の選択を可能にし、且つそれらの選択された時間における細胞の比較を可能にする、フィルタを提供し得る。
図2Bは、ネットワーク又はクラウドベース環境内の複数のコンピュータにわたって分散され得る、MIF画像を処理するためのMIFシステムパイプライン200Bの実施形態を示す。例えば、MIFシステムパイプライン200Bは、クラウドベース環境の一部、及び環境内で互いに接続された複数のコンピュータ間に分散されたMIFシステムパイプライン200Bの各コンポーネントとして実施され得る。MIFシステムパイプライン200Bは、MIF画像分析器202B、グラフ生成器204B、埋め込み生成器206B、及び可視化器208Bを含み得る。これらのコンポーネントは、上述したMIFシステムパイプライン200Aのそれぞれのコンポーネントと同一の機能を実行し得るが、同一の又は異なるコンピュータにおいて実施され、ネットワーク又はクラウドベース環境内でネットワーク接続210A~210Cを介してMIFシステムパイプライン200B内で接続されてもよい。
いくつかの実施形態では、MIF画像分析器202B、グラフ生成器204B、埋め込み生成器206B、及び可視化器208Bは、異なるコンピュータ上で実施され得る。MIF画像分析器202Bは、その画像分析の結果をネットワーク接続210Aを介してグラフ生成器204Bに通信し得る。同様に、グラフ生成器204Bは、画像分析の結果に基づいて生成された訓練済みグラフをネットワーク接続210Bを介して埋め込み生成器206Bに通信し得る。さらに、埋め込み生成器206Bは、訓練済みグラフから生成された埋め込みをネットワーク接続210Cを介して可視化器208Bに通信し得る。
いくつかの実施形態では、1つ又は複数のコンポーネントは、ネットワーク又はクラウドベースネットワーク内の同一デバイス上で実施され得る。例えば、MIF画像分析器202Bは、グラフ生成器204Bと同一のデバイス上で実施されてもよく、埋め込み生成器206Bは、可視化器208Bと同一のデバイス上で実施されてもよい。
対話型可視化については、図4A及び図4Bにおいて追加の詳細が説明される。
図3は、いくつかの実施形態による、マルチプレックス免疫蛍光画像の対話型可視化を提供するための例としての方法300を示す。図2を参照した非限定的な例として、図3に関して説明される1つ又は複数のプロセスは、MIF画像に示される細胞環境の対話型可視化にMIF画像を変換するために、MIFシステム(例えば図2のMIFシステムパイプライン200)によって実行され得る。そのような実施形態では、MIFシステムパイプライン200は、方法300のあるステップを実行するためにメモリ内のコードを実行し得る。方法300は、MIFシステムパイプライン200によって実行されると以下で説明されるが、他のデバイスがコードを記憶してもよく、したがって、コードを直接実行することによって方法300を実行してもよい。したがって、方法300の以下の説明は、単に方法300の例示的な非限定的実施形態として図2を参照する。例えば、方法300は、例えば、図5を参照して説明されるコンピュータシステム及び/又はハードウェア(例えば回路、専用ロジック、プログラマブルロジック、マイクロコードなど)、ソフトウェア(例えば処理デバイス上で実行する命令)、若しくはそれらの組み合わせを含み得る処理ロジックなどの、任意のコンピューティングデバイス上で実行されてもよい。さらに、全てのステップが、本明細書で与えられた開示を実行するために必要とされなくてもよいことを理解されたい。さらに、ステップのいくつかが、当業者によって理解されるように、同時に、又は図3に示されるのとは異なる順序で実行されてもよい。
310において、MIF画像分析器202は、MIF画像に対する画像分析を実行し、それは、MIF画像内で細胞を識別することを含む。この分析の結果は、それぞれの識別された細胞に関する情報を表す表形式データである。
320において、MIF画像分析器202は、細胞座標及びバイオマーカ情報を表形式データから抽出し得る。いくつかの実施形態では、細胞座標は、各細胞のX/Y座標を含んでもよく、バイオマーカ情報は、全ての細胞に関連付けられた免疫蛍光強度を含んでもよい。いくつかの実施形態では、抽出された情報は、上述した補助特徴をさらに含んでもよい。
330において、グラフ生成器204は、抽出された情報に基づいてグラフを構築する。いくつかの実施形態では、グラフ生成器204は、各ノードに関する情報を用いてグラフを構築してもよく、グラフ内のノードは、画像内で識別された細胞に対応する。グラフは、画像内のそれぞれの識別された細胞に関する、より容易に処理された情報として画像データを表すことによって、画像内の細胞の関係性の検出を容易にする。いくつかの実施形態では、グラフは、距離閾値に基づいてノードを接続し、グラフ内の近傍のサイズは、特定ノードからのホップ数によって定義される。例えば、ホップ数が3に設定される場合、特定ノードの近傍は、そのノードから3ホップ(又は接続)であるグラフ内の全てのノードを含む。この段階において、グラフ内の各ノードは、MIF画像内の単一細胞に対応する情報を含む。
340において、埋め込み生成器206は、グラフを訓練し、訓練済みグラフから埋め込みを生成する。グラフを訓練することによって、各ノードが、対応する細胞及びその細胞の近傍に関する情報を含む結果がもたらされる。異なる機械学習アルゴリズムが、グラフを訓練するために利用されてもよい。いくつかの実施形態では、埋め込み生成器206は、教師なし又は自己教師あり機械学習アルゴリズムを利用して、ラベルのないデータを利用して現在のグラフ内で埋め込みを識別するグラフを訓練してもよい。これに対して、他の実施形態では、埋め込み生成器206は、以前ラベル付けされたグラフを利用して現在のグラフを訓練し、以前ラベル付けされたグラフに基づいて埋め込みを識別する、教師あり機械学習アルゴリズムを利用してもよい。
教師なし又は自己教師あり機械学習アルゴリズムを利用する実施形態では、埋め込み生成器206は、相関ルールを利用して、事前定義された距離閾値範囲内の近隣細胞(「ノード」とも呼ばれる)の特徴間のパターン又は関係性を発見し得る。特徴に適用される訓練可能な重み行列内に訓練可能パラメータが存在してもよいが、例えば、以前ラベル付けされたグラフによって定義される目標予測は存在しない。これらの実施形態における教師なし又は自己教師あり機械学習の利点は、事前訓練のためにより大量のラベルなしデータを活用することができ、それによって、目標グラフについて生成された埋め込みが、より有用なドメイン情報を含む可能性が高いことである。
教師あり機械学習アルゴリズムを利用する実施形態では、埋め込み生成器206は、分類アルゴリズムを利用して、以前ラベル付けされたグラフ又はデータに基づいて細胞を認識及びグループ化し得る。これらの実施形態における教師あり機械学習の利点は、ノードの分類がより正確であり得ること、及びグラフが(以前ラベル付けされたデータに基づいて)特定の分類を満たすように訓練され得ることである。
埋め込みは、MIF画像内で識別された全ての細胞及び近隣細胞に関する情報を取り込むために生成される。グラフ内のノードは、細胞及び細胞についてのバイオマーカ表現を含む関連情報を表す。あらゆるノードは、細胞及び(細胞からの選択可能なホップ数によって定義される)その近傍に関する情報を符号化する埋め込みに関連付けられる。例えば、細胞の特徴、近隣細胞の特徴、近隣細胞の識別、及び接続構造などの、細胞及びその近傍に関する情報は、訓練可能な重み行列を用いて単一の特徴ベクトルに共に集約され得る。いくつかの実施形態では、この特徴ベクトルは、埋め込みを構成する。
350において、可視化器208は、埋め込みに基づいて選択可能アイコンが投入された対話型可視化を生成する。対話型可視化は、選択可能アイコンを操作する入力を受信するためのインターフェースを提供する。可視化器208は、埋め込みの次元数を削減する学習技術を適用し得る。実施形態では、埋め込みは、2次元視覚的表現(プロットなど)に縮小され得る。この学習技術の現在の例は、均一多様体近似及び射影(UMAP)並びにt分布型確率的近傍埋め込み法(t-SNE)を含む。可視化器208は、場合によっては、計算複雑性に起因して全ての埋め込みに対して次元削減アルゴリズムを実行することが実際的ではない場合に、可視化を生成するために使用される埋め込みを部分サンプリングしてもよい。部分サンプリングアルゴリズムは、無作為、層別無作為、又は任意の代替手法であってもよい。
360において、MIFシステムパイプライン200は、ニューラルネットワークの機械学習アルゴリズムに埋め込みを追加的に供給して、治療反応及び生存予測についての予測モデルを生成し得る。機械学習アルゴリズムの出力は、(細胞レベルの)特定の治療に対して患者がどのように反応し得るか、又は生存の可能性に関する予測であってもよい。任意の時間的情報を含む、埋め込み内の情報は、機械学習アルゴリズムへの入力として使用され得る。実施形態では、機械学習アルゴリズムは、教師ありである。埋め込みは、ニューラルネットワークへの入力として提供されてもよく、ニューラルネットワークは、埋め込みに基づいて、MIF画像内で識別された細胞に関連付けられる予測を生成し得る。実施形態では、予測は、細胞に関連付けられた予測された医療成績又は治療成績に関連する。例えば、MIF画像は、癌細胞を示していてもよく、機械学習アルゴリズムは、埋め込みを利用して細胞の結果を予測してもよい。予測は、予測される結果を反映するように更新された選択可能な細胞の視覚的プロパティで更新された対話型可視化の形態をとってもよい。言い換えると、MIF画像は、医学的状態に関連付けられた細胞を示してもよく、予測される結果は、医学的状態についてである。別の実施形態では、予測は、複数の細胞に関連付けられた予測される反応に関連し得る。例えば、MIF画像は、癌に対して治療されている細胞を示してもよく、機械学習アルゴリズムは、埋め込みを利用して、細胞が治療に対してどのように反応し得るかを予測してもよい。予測は、予測される治療反応を反映するように更新された選択可能な細胞の視覚的プロパティで更新された対話型可視化の形態をとってもよい。言い換えると、MIF画像は、医学的状態に関連付けられた細胞を示してもよく、予測される反応は、医学的状態についての治療に対する患者の反応についてである。
実施形態では、機械学習アルゴリズムを適用することは、埋め込み集約手順、又は時間的情報を含む埋め込み内の情報がどのように単一ベクトル表現に処理されるべきかを選択することを伴い得る。手順の例は、埋め込み情報の平均を取ること、細胞毎の予測を提供すること、対象の領域(又は細胞のグループ)に基づいて予測を提供すること、又は細胞のグリッドの平均又は最大値を取ることを含む。別の実施形態では、機械学習アルゴリズムは、多層パーセプトロン(MLP)分類器又は畳み込みニューラルネットワークを含み得る。
実施形態では、予測モデルの性能は、実際の結果又は患者の反応と予測とを比較することによって評価され得る。例えば、特定の医学的処置に対する患者の反応の予測を、実際の反応と比較してもよく、この比較が、精度を改善するために予測モデルをさらに調整するために使用されてもよい。
図4Aは、いくつかの実施形態による、マルチプレックス免疫蛍光画像の対話型可視化410を利用するための例としてのプロセスフロー400Aを示す。
対話型可視化410は、グラフクエリ411のためのインターフェースを提供し得る。実施形態では、グラフクエリ411は、グラフ内のノードに関連付けられたグラフクエリを入力として受信することを伴い得る。クエリは、検索基準に適合するグラフ内の特定の細胞又は細胞近傍を検索することに集中し得る。クエリは、グラフ内でノードを識別するためのパラメータ又は閾値を含み得る。例えば、クエリは、細胞の50%の閾値以上によって表現されるあるバイオマーカを有する細胞近傍を伴う細胞を検索するために使用されてもよい。グラフクエリ411は、クエリに合致する細胞又は細胞近傍などのクエリの結果を表示する結果をもたらし得る。実施形態では、合致する細胞又は細胞近傍は、対話型可視化410において強調されてもよい。
対話型可視化410は、また、フィルタリング412を実行するためのインターフェースを提供してもよく、フィルタリング412は、対話型可視化410内の選択可能アイコンをフィルタリングするためのデータパラメータを含み得る。パラメータの例は、ホールスライドイメージング(WSI)、患者、ラベル、及び手術前/手術後及び治療に対する反応などの時間的情報を含む。パラメータは、ドロップダウンボックスによって提供されてもよい。対話型可視化410は、選択されたオプションに合致する選択可能アイコンのみを表示することによって、選択可能アイコンをフィルタリングする。例えば、特定のデジタルファイル(WSI)が選択されてもよく、いくつか例を挙げると、特定の患者(又は複数の特定の患者)、グラフ内のノードに割り当てられている1つ又は複数のラベル、手術前の患者からの細胞を識別するラベル、手術後の患者からの細胞を識別するラベル、治療前の患者からの細胞を識別するラベル、治療後の患者からの細胞を識別するラベル、特定の治療に反応した、又は反応しなかった患者を識別する反応ラベルが選択されてもよい。これらのパラメータのそれぞれが、追加のサブオプションを有し得る。例えば、患者は、特定の治療に反応した患者及び反応しなかった患者などの、異なるカテゴリに分割されてもよい。
対話型可視化410は、また、プロット又はグラフ埋め込み413のためのインターフェースを提供してもよく、それは、埋め込みを2次元プロットに投影すること、並びに操作及び対話のためのユーザ入力を受信し得るインターフェースに2次元プロットを供給することを伴う。2次元プロット内の(埋め込みによって表されるグラフ内のノードに対応する)アイコンは、視覚的に細胞及びその近傍のプロパティを表すように構成され得る。例は、異なる色、異なる形状、及び異なるサイズを含む。実施形態では、アイコンは、インターフェースがヒートマップ(例えば、色の変化)を提供して、対応する細胞についての時間的情報を表すように、構成されてもよい。例えば、ヒートマップは、手術前から手術後の細胞に対する変化を示すために使用されてもよい。インターフェースは、選択可能アイコンのサブセットを選択するためにボックス/投げ縄の選択入力を可能にする。インターフェースは、また、プロット上の勾配が時間的情報又は細胞近傍異種性を示して強調されることを可能にし得る。インターフェースは、また、パニング、軸に対する回転、特定の細胞又は細胞近傍へのズームなど、対話型可視化410内のアイコンのグループを操作するためのコマンドをユーザが入力するためのオプションを提供し得る。
対話型可視化410は、細胞近傍をグラフ化414するためのインターフェースも提供し得る。選択可能アイコンのサブセットの(例えば、ボックス/投げ縄選択による)選択後、対応する細胞の識別子は、選択されたサブセットに関連付けられた埋め込みに基づいて判定され得る。これらの識別子は、選択されたサブセットについての細胞近傍のプロットを生成するために使用され得る。実施形態では、細胞近傍をグラフ化414することは、異なる視覚的プロパティ(例えば、境界線、色、形状)を使用して、対話型可視化410に示されるアイコンに対応する細胞についての対応するバイオマーカ(又は他の細胞情報)に基づいて選択可能アイコンを表すように、近傍プロットを構成し得る。
細胞近傍プロットの例は、図4Bに関して説明される。
対話型可視化410は、統計サマリ415を生成するためのインターフェースも提供し得る。対話型可視化410から選択可能アイコンの選択(例えば、ボックス/投げ縄選択)を受信した後、インターフェースは、選択されたアイコンに関連付けられた統計サマリを生成し得る。例えば、インターフェースは、選択の中のある閾値を上回る免疫蛍光強度を有する細胞の数を報告してもよい。インターフェースは、また、各バイオマーカについての閾値を越える選択の中のアイコンの比率を報告してもよい。別の実施形態では、インターフェースは、選択されたアイコンについてのバイオマーカ毎の平均免疫蛍光強度を報告してもよい。
統計サマリの他の例は、バイオマーカの比率及びカウント数を報告すること、部分グラフ(例えば、細胞近傍)密度を提供すること、選択されたアイコン内の有病率(例えば、カウント数及び/又は比率を示す)に基づいてバイオマーカベクトル/細胞表現型をランク付けすること、選択されたアイコンの画像前後を示すためのサマリなどの時間的レポートを提供すること(例えば、前の細胞情報と現在の細胞情報とを比較すること)、並びに近傍バイオマーカ表現、近傍密度、又は細胞表現型の変化を強調することなどによって近傍間の比較を提供することを含む。
図4Bは、いくつかの実施形態による、マルチプレックス免疫蛍光画像の対話型可視化410から細胞近傍プロット420を生成するための例としてのプロセスフロー400Bを示す。
細胞近傍プロット420は、目標細胞427の周囲の近傍を示すプロット421及びプロット内のアイコンの視覚的インジケータに関する情報を提供する凡例を含み得る。この実施形態では、ホップ数が、1~6の任意の選択可能な値であり、それは、目標細胞427から1~6ホップ以内の全ての細胞を表す。視覚的インジケータは、対応する細胞のプロパティを示し得る。例えば、凡例は、細胞色422を細胞表現型に関連付け、境界線幅423をバイオマーカ情報に関連付け、形状/境界線フィルタ424を複数の細胞表現型に関連付けてもよい。
細胞近傍プロット421内のアイコンは、また、対話型で、選択可能であってもよい。対話型可視化410内のアイコンと同様に、細胞近傍プロット421内のアイコンもまた、(細胞及びその周囲の近傍を示す)特定の訓練済み埋め込みに対応する。アイコンと対話することによって、対応するノード及び近傍に関する情報が提供され得る。
細胞近傍プロット420は、また、細胞表現型ビュー425又はバイオマーカビュー426などの視覚的インジケータをフィルタリングすることに基づくビューを提供し得る。
コンピューティングシステムの例
本明細書に記載された様々な実施形態及び/又はコンポーネントは、例えば、図5に示されるコンピュータシステム500などの1つ又は複数のコンピュータシステムを用いて、実施され得る。コンピュータシステム500は、本明細書に記載された機能を実行することが可能な任意のコンピュータ又はコンピューティングデバイスであってもよい。例えば、1つ又は複数のコンピュータシステム500は、図1~図4の任意の実施形態及び/又はそれらの任意の組み合わせ若しくは部分的組み合わせを実施するために使用されてもよい。
本明細書に記載された様々な実施形態及び/又はコンポーネントは、例えば、図5に示されるコンピュータシステム500などの1つ又は複数のコンピュータシステムを用いて、実施され得る。コンピュータシステム500は、本明細書に記載された機能を実行することが可能な任意のコンピュータ又はコンピューティングデバイスであってもよい。例えば、1つ又は複数のコンピュータシステム500は、図1~図4の任意の実施形態及び/又はそれらの任意の組み合わせ若しくは部分的組み合わせを実施するために使用されてもよい。
以下の例としてのコンピュータシステム又はその複数のインスタンスは、いくつかの実施形態による、図3の方法300、図2に示されるシステム、又はその任意のコンポーネントをそれぞれ実施するために使用されてもよい。
様々な実施形態は、例えば、図5に示されるコンピュータシステム500などの1つ又は複数の周知のコンピュータシステムを用いて実施されてもよい。1つ又は複数のコンピュータシステム500は、例えば、本明細書で説明された実施形態のいずれか、並びにそれらの組み合わせ及び部分的組み合わせを実施するために使用されてもよい。
コンピュータシステム500は、プロセッサ504などの1つ又は複数のプロセッサ(中央処理装置、即ちCPUとも呼ばれる)を含み得る。プロセッサ504は、バス又は通信インフラストラクチャ506に接続されてもよい。
コンピュータシステム500は、また、モニタ、キーボード、ポインティングデバイスなどのユーザ入力/出力デバイス505を含んでもよく、それらは、ユーザ入力/出力インターフェース502を通して通信インフラストラクチャ506と通信し得る。
プロセッサ504の1つ又は複数が、グラフィック処理装置(GPU)であってもよい。実施形態では、GPUは、数学集約型のアプリケーションを処理するように設計された専用電子回路であるプロセッサであってもよい。GPUは、コンピュータグラフィックアプリケーション、画像、ビデオ、ベクトル処理、アレイ処理などと共通の数学集約型のデータなどの大きなデータブロックの並列処理、並びに、例えば、ブルートフォース式のクラッキング、暗号ハッシュ若しくはハッシュシーケンスを生成すること、部分ハッシュ反転問題を解くこと、及び/又はいくつかのブロックチェーンベースのアプリケーションのための他のプルーフオブワーク計算の結果を作成することを含む暗号法に効率的な、並列構造を有してもよい。グラフィック処理装置(GPGPU)上の汎用計算のケイパビリティでは、GPUは、少なくとも本明細書に記載された特徴抽出及び機械学習の態様において特に有用であり得る。
追加的に、プロセッサ504の1つ又は複数が、ハードウェア加速暗号コプロセッサを含む、暗号計算又は他の専門的な数学関数を加速するためのコプロセッサ又はロジックの他の実施態様を含み得る。そのような加速プロセッサは、コプロセッサ及び/又は他のロジックを使用してそのような加速を容易にする、加速のための命令セットをさらに含み得る。
コンピュータシステム500は、また、ランダムアクセスメモリ(RAM)などのメインメモリ又は1次メモリ508を含んでもよい。メインメモリ508は、1つ又は複数のレベルのキャッシュを含んでもよい。メインメモリ508は、その中に制御ロジック(即ち、コンピュータソフトウェア)及び/又はデータを記憶してもよい。
コンピュータシステム500は、また、1つ又は複数の2次記憶デバイス又は2次メモリ510を含んでもよい。2次メモリ510は、例えば、メイン記憶ドライブ512及び/又はリムーバブル記憶デバイス若しくはドライブ514を含んでもよい。メイン記憶ドライブ512は、例えば、ハードディスクドライブ又はソリッドステートドライブであってもよい。リムーバブル記憶ドライブ514は、フロッピーディスクドライブ、磁気テープドライブ、コンパクトディスクドライブ、光学記憶デバイス、テープバックアップデバイス、及び/又は任意の他の記憶デバイス/ドライブであってもよい。
リムーバブル記憶ドライブ514は、リムーバブル記憶ユニット518と対話してもよい。リムーバブル記憶ユニット518は、その上にコンピュータソフトウェア(制御ロジック)及び/又はデータが記憶されたコンピュータ使用可能又は可読記憶デバイスを含んでもよい。リムーバブル記憶ユニット518は、フロッピーディスク、磁気テープ、コンパクトディスク、DVD、光学記憶ディスク、及び/任意の他のコンピュータデータ記憶デバイスであってもよい。リムーバブル記憶ドライブ514は、リムーバブル記憶ユニット518から読み出してもよく、及び/又は書き込んでもよい。
2次メモリ510は、コンピュータプログラム並びに/又は他の命令及び/若しくはデータをコンピュータシステム500によってアクセス可能にするための他の手段、デバイス、コンポーネント、道具、又は他の手法を含んでもよい。そのような手段、デバイス、コンポーネント、道具、又は他の手法が、例えば、リムーバブル記憶ユニット522及びインターフェース520を含んでもよい。リムーバブル記憶ユニット522及びインターフェース520の例は、プログラムカートリッジ及びカートリッジインターフェース(ビデオゲームデバイスにおいて見られるものなど)、リムーバブルメモリチップ(EPROM又はPROMなど)及び関連するソケット、メモリスティック及びUSBポート、メモリカード及び関連するメモリカードスロット、並びに/又は任意の他のリムーバブル記憶ユニット及び関連するインターフェースを含んでもよい。
コンピュータシステム500は、通信又はネットワークインターフェース524をさらに含んでもよい。通信インターフェース524は、コンピュータシステム500が、(参照番号528によって個別に且つまとめて参照される)外部デバイス、外部ネットワーク、外部エンティティなどの任意の組み合わせと通信及び対話することを可能にし得る。例えば、通信インターフェース524は、コンピュータシステム500が、外部又はリモートデバイス528と通信パス526を経て通信することを可能にし得る。通信パス526は、有線及び/若しくは無線(又はそれらの組み合わせ)であってもよく、LAN、WAN、インターネットなどの任意の組み合わせを含んでもよい。制御ロジック及び/又はデータは、通信パス526を介してコンピュータシステム500へ、且つコンピュータシステム500から送信されてもよい。
コンピュータシステム500は、また、いくつかの非限定的な例を挙げると、携帯情報端末(PDA)、デスクトップワークステーション、ラップトップ若しくはノートブックコンピュータ、ネットブック、タブレット、スマートフォン、スマートウォッチ若しくは他のウェアラブル、電気製品、モノのインターネット(IoT)の一部、及び/又は組み込み型システム、或いはそれらの任意の組み合わせであってもよい。
コンピュータシステム500は、リモート若しくは分散型クラウドコンピューティングソリューション、ローカル若しくはオンプレミスソフトウェア(例えば、「オンプレミス」クラウドベースソリューション)、「サービスとしての(as a service)」モデル(例えば、サービスとしてのコンテンツ(CaaS)、サービスとしてのデジタルコンテンツ(DCaaS)、サービスとしてのソフトウェア(SaaS)、サービスとしてのマネージドソフトウェア(MSaaS)、サービスとしてのプラットフォーム(PaaS)、サービスとしてのデスクトップ(DaaS)、サービスとしてのフレームワーク(FaaS)、サービスとしてのバックエンド(BaaS)、サービスとしてのモバイルバックエンド(MBaaS)、サービスとしてのインフラストラクチャ(IaaS)、サービスとしてのデータベース(DBaaS)など)、及び/又は前述の例若しくは他のサービス若しくは配信パラダイムの任意の組み合わせを含むハイブリッドモデルを含むがそれらに限定されない、任意のアプリケーション及び/又はデータに任意の配信パラダイムを通してアクセス又はホストする、クライアント又はサーバであってよい。
任意の適用可能なデータ構造、ファイルフォーマット、及びスキームが、JavaScriptオブジェクト表記法(JSON:JavaScript Object Notation)、拡張可能マークアップ言語(XML:Extensible Markup Language)、さらに別のマークアップ言語(YAML:Yet Another Markup Language)、拡張可能ハイパーテキストマークアップ言語(XHTML:Extensible Hypertext Markup Language)、ワイヤレスマークアップ言語(WML:Wireless Markup Language)、MessagePack、XMLユーザインターフェース言語(XUL:XML User Interface Language)、又は任意の他の機能的に類似の表現を単独で又は組み合わせて含むがそれらに限定されない、規格から派生してもよい。代替として、独自仕様データ構造、フォーマット、又はスキームが、排他的に、又は既知の若しくはオープンな規格と組み合わせて、使用されてもよい。
任意の適切なデータ、ファイル、及び/又はデータベースが、他の可能なフォーマットの中でも様々な種類のマークアップ言語をさらに含む、数字、テキスト、グラフィック、又はマルチメディアフォーマットなどの人が読めるフォーマットで、記憶され、取り出され、アクセスされ、及び/又は送信されてもよい。代替として、又は上記フォーマットと組み合わせて、データ、ファイル、及び/又はデータベースが、バイナリ、符号化、圧縮、及び/若しくは暗号化されたフォーマットで、又は任意の他の機械可読フォーマットで、記憶され、取り出され、アクセスされ、及び/又は送信されてもよい。
様々なシステム及びレイヤの間でのインターフェース又は相互接続は、ドキュメントオブジェクトモデル(DOM:Document Object Model)、ディスカバリーサービス(DS:Discovery Service)、NSUserDefaults、Webサービス記述言語(WSDL:Web Services Description Language)、メッセージ交換パターン(MEP:Message Exchange Pattern)、Web分散型データ交換(WDDX:Web Distributed Data Exchange)、ウェブハイパーテキストアプリケーションテクノロジーワーキンググループ(WHATWG:Web Hypertext Application Technology Working Group)HTML5ウェブメッセージング、REST(Representational State Transfer)若しくはRESTfulウェブサービス、拡張可能ユーザインターフェースプロトコル(XUP:Extensible User Interface Protocol)、SOAP(Simple Object Access Protocol)、XMLスキーマ定義(XSD:XML Schema Definition)、XMLリモートプロシージャコール(XML-RPC:XML Remote Procedure Call)、又は類似の機能及び結果を達成し得る、オープンな若しくは独自の、任意の他のメカニズムを含むがそれらに限定されない、任意の数のプロトコル、プログラムのフレームワーク、フロアプラン、又はアプリケーションプログラミングインターフェース(API)などの任意の数のメカニズムを採用し得る。
そのようなインターフェース又は相互接続は、また、ユニフォームリソースアイデンティファイア(URI)を利用してもよく、URIは、ユニフォームリソースロケータ(URL)又はユニフォームリソースネーム(URN)をさらに含んでもよい。ユニフォーム及び/又はユニークアイデンティファイア、ロケータ、又はネームの他の形態が、排他的に、又は上述したものなどの形態と組み合わせて使用されてもよい。
上記プロトコル又はAPIのいずれかが、手続的、関数型、又はオブジェクト指向の任意のプログラミング言語とインターフェースしてもよく、又はそれらを用いて実施されてもよく、コンパイル又は逐次解釈されてもよい。非限定的な例は、多くの他の非限定的な例の中でも、Node.js、V8、Knockout、jQuery、Dojo、Dijit、OpenUI5、AngularJS、Express.js、Backbone.js、Ember.js、DHTMLX、Vue、React、Electronなどを含むがそれらに限定されない、任意の種類のフレームワーク、ランタイム環境、仮想機械、インタプリタ、スタック、エンジン、又は類似のメカニズムにおいて、任意の他のライブラリ又はスキームと共に、C、C++、C#、ObjectiveC、Java、Swift、Go、Ruby、Perl、Python、JavaScript、WebAssembly、又は実質的に任意の他の言語を含む。
いくつかの実施形態では、制御ロジック(ソフトウェア)がその上に記憶された有形の非一時的コンピュータ使用可能又は可読媒体を含む、有形の非一時的装置又は製品が、本明細書では、コンピュータプログラム製品又はプログラム記憶デバイスとも呼ばれ得る。これは、コンピュータシステム500、メインメモリ508、2次メモリ510、並びにリムーバブル記憶ユニット518及び522だけでなく、前述したものの任意の組み合わせを具現化する有形の製品を含むが、それらに限定されない。そのような制御ロジックは、1つ又は複数のデータ処理デバイス(コンピュータシステム500など)によって実行されるときに、そのようなデータ処理デバイスを本明細書に記載したように動作させてもよい。
本開示に含まれる教示に基づいて、図5に示されたもの以外のデータ処理デバイス、コンピュータシステム、及び/又はコンピュータアーキテクチャを用いて本開示の実施形態を作成及び使用する方法が、当業者には明らかであろう。特に、実施形態は、本明細書に記載されたもの以外のソフトウェア、ハードウェア、及び/又はオペレーティングシステムの実施態様で動作し得る。
結論
任意の他の項目ではなく、発明を実施するための形態の項目が、特許請求の範囲の解釈に用いられるように意図されていることは理解されるべきである。他の項目は、発明者によって検討される、1つ又は複数であるが全てではない例示的な実施形態を示す場合があり、ゆえに、いかなる方法でも本開示又は添付の特許請求の範囲を限定することを意図するものではない。
任意の他の項目ではなく、発明を実施するための形態の項目が、特許請求の範囲の解釈に用いられるように意図されていることは理解されるべきである。他の項目は、発明者によって検討される、1つ又は複数であるが全てではない例示的な実施形態を示す場合があり、ゆえに、いかなる方法でも本開示又は添付の特許請求の範囲を限定することを意図するものではない。
本開示には、例示的な分野及び用途についての例示的な実施形態が説明されているが、本開示は、それらに限定されないと理解されるべきである。他の実施形態及びそれに対する修正が可能であり、本開示の範囲及び思想の範囲内にある。例えば、この段落の普遍性を限定することなく、実施形態は、図面に示され、及び/又は本明細書に記載されたソフトウェア、ハードウェア、ファームウェア、及び/又はエンティティに限定されない。さらに、実施形態は(本明細書に明示的に記載されたか否かに関わらず)、本明細書に記載された例以外の分野及び用途に対して著しい有用性を有する。
実施形態は、特定機能及びそれらの関係性の実施態様を例示する、機能構築ブロックの助けを借りて本明細書に記載されている。これらの機能構築ブロックの境界は、説明の便宜上、本明細書中に任意に定義されている。代替の境界は、特定の機能及び関係性(又はそれらの均等物)が適切に実行される限り、定義されてもよい。また、代替的実施形態は、本明細書に記載されたものとは異なる順序を用いて、機能ブロック、ステップ、動作、方法などを実行してもよい。
本明細書中の「一実施形態」、「実施形態」、「例としての実施形態」、「いくつかの実施形態」、又は類似の語句への参照は、説明される実施形態が特定の特徴、構造、又は特性を含み得ることを示すが、あらゆる実施形態が、必ずしも特定の特徴、構造、又は特性を含まなくてもよい。さらに、そのような語句は、必ずしも同一実施形態を参照するわけではない。
さらに、特定の特徴、構造、又は特性が、実施形態に関連して説明されるとき、本明細書において明示的に言及され、又は記載されたか否かに関わらず、そのような特徴、構造、又は特性を他の実施形態に組み込むことは、当業者の知識の範囲内にあるものとする。追加として、いくつかの実施形態は、それらの派生物と共に「連結された」及び「接続された」という表現を用いて記載されてもよい。これらの用語は、必ずしも互いに対して同義であることを意図しない。例えば、いくつかの実施形態は、2つ以上の要素が互いに直接物理的又は電気的に接触していることを示すために、「接続された」及び/又は「連結された」という用語を用いて説明されてもよい。しかしながら、「連結された」という用語は、2つ以上の要素が互いに直接接触していないが、それでも互いに協働又は対話することも意味してもよい。
本開示の幅及び範囲は、上述した例示的な実施形態のいずれによっても限定されるべきではなく、以下の特許請求の範囲及びそれらの均等物によってのみ定義されるべきである。
Claims (20)
- マルチプレックス免疫蛍光画像から細胞間相互作用を特徴付けるための方法であって、
前記マルチプレックス免疫蛍光画像において複数の細胞を識別することであって、前記複数の細胞の中の各細胞が、座標及びプロパティに関連付けられ、前記複数の細胞が、少なくとも第1の細胞及び第2の細胞を含む、識別することと、
前記座標及び前記プロパティに基づいて前記マルチプレックス免疫蛍光画像のグラフを生成することであって、前記グラフが、前記複数の細胞に対応する複数のノード、複数のエッジ、及び前記プロパティを含み、前記複数のノードが、前記第1の細胞に対応する第1のノード及び前記第2の細胞に対応する第2のノードを少なくとも含み、前記複数のエッジが、前記第1のノードと前記第2のノードとの間のエッジを少なくとも含む、生成することと、
前記グラフを複数の埋め込みに変換することであって、前記複数の埋め込みが、前記複数のノード、前記複数のエッジ、及び前記プロパティのベクトル表現を含む、変換することと、
前記複数の埋め込みに基づいて前記グラフの対話型可視化を提供することと、
を含む、方法。 - 前記プロパティが、前記第1の細胞の第1のプロパティを含み、前記プロパティが、前記複数の細胞の中の各細胞の複数の免疫蛍光強度を含み、前記第1のプロパティが、前記第1の細胞の免疫蛍光強度を含み、前記方法が、
免疫蛍光強度のバッチのバッチ正規化を用いて正規化された免疫蛍光強度を生成することであって、前記免疫蛍光強度のバッチが、前記複数の細胞の前記複数の免疫蛍光強度のサブセットであり、前記免疫蛍光強度のバッチが、前記第1のプロパティを含む、生成することをさらに含む、請求項1に記載の方法。 - 前記プロパティが、前記正規化された免疫蛍光強度を含む、請求項2に記載の方法。
- 前記座標が、前記第1の細胞の第1の座標及び前記第2の細胞の第2の座標を含み、前記プロパティが、前記第1の細胞の第1のプロパティ及び前記第2の細胞の第2のプロパティを含み、前記グラフを生成することが、
前記複数の細胞の中の複数のノード対を検出することであって、前記複数のノード対が、前記第1のノード及び前記第2のノードをノードの対として含む、検出することと、
前記第1の座標と前記第2の座標との距離が所定の閾値範囲内にあることに基づいて、前記第1のノードと前記第2のノードとの間に前記エッジを設置することと、
をさらに含む、請求項1に記載の方法。 - 前記第1の細胞の補助特徴を抽出することであって、前記補助特徴が、前記第1の細胞の直径、前記第1の細胞の面積、又は前記第1の細胞の離心率のうちの少なくとも1つを含む、抽出することをさらに含む、請求項1に記載の方法。
- 前記第1の細胞の前記補助特徴を含む前記複数の細胞の複数の補助特徴の正規化を用いて、正規化された補助特徴を生成することであって、前記複数の埋め込みが、前記正規化された補助特徴のベクトル表現をさらに含む、生成することをさらに含む、請求項5に記載の方法。
- 前記グラフを変換することが、
前記複数のノードの選択されたノードに関連付けられたホップ数を選択することであって、前記ホップ数が、前記グラフ内の近傍を定義し、前記近傍が、前記選択されたノード及び前記選択されたノードに対して前記ホップ数の範囲内にある前記複数のノードの任意のノードを含む、前記複数のノードのサブセットを含む、選択することと、
埋め込みサイズを選択することであって、前記埋め込みサイズが、前記複数の埋め込みの中に保持される、前記グラフに関連付けられた情報の量を表す、選択することと、
をさらに含む、請求項1に記載の方法。 - 前記グラフを前記変換することが、
前記ホップ数及び前記埋め込みサイズに基づいて訓練アルゴリズムを前記グラフに適用することと、
前記訓練アルゴリズムを適用することに基づいて、前記複数の埋め込みを生成することと、
をさらに含む、請求項7に記載の方法。 - 前記訓練アルゴリズムが、教師なしグラフ訓練アルゴリズムであり、前記訓練アルゴリズムを前記グラフに適用することが、少なくとも1つの選択されたハイパーパラメータにさらに基づく、請求項8に記載の方法。
- 前記対話型可視化が、前記複数の埋め込みに対応する複数の選択可能アイコンを含む、請求項1に記載の方法。
- 前記対話型可視化が、前記複数の選択可能アイコンのサブセットの選択を受信するように構成され、前記サブセットが、細胞近傍を表し、前記方法が、
前記細胞近傍のグラフィカルプロットを提供することであって、前記グラフィカルプロットが、前記複数の選択可能アイコンの前記サブセットを含み、前記複数の選択可能アイコンの前記サブセットの色及び形状の少なくとも1つが、前記複数の細胞についての前記プロパティに基づき、前記プロパティが、前記複数の細胞の細胞表現型をさらに含む、提供することをさらに含む、請求項10に記載の方法。 - 前記対話型可視化が、
前記複数のノードについての前記プロパティに関するクエリを受信することであって、前記クエリが、前記グラフ内の前記複数のノードのサブセットを表示するための閾値を含み、前記複数のノードの前記サブセットが、前記グラフの対象領域を表す、受信すること、
データパラメータに基づいて前記グラフ内の前記複数のノードをフィルタリングすることであって、前記データパラメータが、患者、反応ラベル、画像ラベル、及び細胞タイプの少なくとも1つを含む、フィルタリングすること、
前記グラフ内の前記複数のノードの前記サブセットの選択を受信すること、
前記対話型可視化を操作するためのコマンドを受信すること、又は
前記複数の埋め込みに対応する前記複数の選択可能アイコンに関連付けられたバイオマーカ若しくは細胞表現型の統計サマリを提供すること、
のうちの少なくとも1つを実行するように構成される、請求項10に記載の方法。 - 前記対話型可視化が、前記複数の埋め込みの2次元表現である、請求項1に記載の方法。
- 前記複数の埋め込みをニューラルネットワークへの入力として提供することと、
前記ニューラルネットワークによって、前記複数の埋め込みに基づいて前記複数の細胞に関連付けられた予測を生成することであって、前記予測が、前記複数の細胞に関連付けられた予測結果又は前記複数の細胞に関連付けられた予測反応のうちの1つである、生成することと、
をさらに含む、請求項1に記載の方法。 - 前記マルチプレックス免疫蛍光画像が、医学的状態に関連付けられ、前記予測結果が、前記医学的状態についてである、請求項14に記載の方法。
- 前記マルチプレックス免疫蛍光画像が、医学的状態に関連付けられ、前記予測反応が、前記医学的状態への治療に対する患者反応についてである、請求項14に記載の方法。
- 前記ニューラルネットワークが、教師あり機械学習アルゴリズムを採用し、前記方法が、
前記複数の埋め込みを前記教師あり機械学習アルゴリズムに供給することであって、前記教師あり機械学習アルゴリズムの出力が、前記予測である、供給することをさらに含む、請求項14に記載の方法。 - 前記グラフを前記複数の埋め込みに変換する前に、
前記グラフを複数の部分グラフに部分サンプリングすることと、
前記複数の部分グラフを前記複数の埋め込みに変換することと、
をさらに含む、請求項1に記載の方法。 - システムであって、
メモリと、
前記メモリに連結された少なくとも1つのプロセッサであって、
マルチプレックス免疫蛍光画像において複数の細胞を識別し、前記複数の細胞の中の各細胞が、座標及びプロパティに関連付けられ、前記複数の細胞が、少なくとも第1の細胞及び第2の細胞を含み、
前記座標及び前記プロパティに基づいて前記マルチプレックス免疫蛍光画像のグラフを生成し、前記グラフが、前記複数の細胞に対応する複数のノード、複数のエッジ、及び前記プロパティを含み、前記複数のノードが、前記第1の細胞に対応する第1のノード及び前記第2の細胞に対応する第2のノードを少なくとも含み、前記複数のエッジが、前記第1のノードと前記第2のノードとの間のエッジを少なくとも含み、
前記グラフを複数の埋め込みに変換し、前記複数の埋め込みが、前記複数のノード、前記複数のエッジ、及び前記プロパティのベクトル表現を含み、
前記複数の埋め込みに基づいて前記グラフの対話型可視化を提供する
ように構成された、プロセッサと、
を備える、システム。 - 命令が記憶された非一時的コンピュータ可読デバイスであって、少なくとも1つのコンピューティングデバイスによって実行されるときに、前記少なくとも1つのコンピューティングデバイスに、
マルチプレックス免疫蛍光画像において複数の細胞を識別することであって、前記複数の細胞の中の各細胞が、座標及びプロパティに関連付けられ、前記複数の細胞が、少なくとも第1の細胞及び第2の細胞を含む、識別することと、
前記座標及び前記プロパティに基づいて前記マルチプレックス免疫蛍光画像のグラフを生成することであって、前記グラフが、前記複数の細胞に対応する複数のノード、複数のエッジ、及び前記プロパティを含み、前記複数のノードが、前記第1の細胞に対応する第1のノード及び前記第2の細胞に対応する第2のノードを少なくとも含み、前記複数のエッジが、前記第1のノードと前記第2のノードとの間のエッジを少なくとも含む、生成することと、
前記グラフを複数の埋め込みに変換することであって、前記複数の埋め込みが、前記複数のノード、前記複数のエッジ、及び前記プロパティのベクトル表現を含む、変換することと、
前記複数の埋め込みに基づいて前記グラフの対話型可視化を提供することと、
を含む動作を実行させる、非一時的コンピュータ可読デバイス。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163199608P | 2021-01-12 | 2021-01-12 | |
US63/199,608 | 2021-01-12 | ||
PCT/EP2022/050396 WO2022152672A1 (en) | 2021-01-12 | 2022-01-11 | Graph construction and visualization of multiplex immunofluorescence images |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024508095A true JP2024508095A (ja) | 2024-02-22 |
Family
ID=80121670
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023541733A Pending JP2024508095A (ja) | 2021-01-12 | 2022-01-11 | マルチプレックス免疫蛍光画像のグラフ構築及び可視化 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20240070940A1 (ja) |
EP (1) | EP4278299A1 (ja) |
JP (1) | JP2024508095A (ja) |
CN (1) | CN116982038A (ja) |
WO (1) | WO2022152672A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117671676B (zh) * | 2024-01-30 | 2024-04-09 | 中山大学附属口腔医院 | 一种基于空间转录组可视化图像评估异常免疫细胞的方法 |
-
2022
- 2022-01-11 JP JP2023541733A patent/JP2024508095A/ja active Pending
- 2022-01-11 WO PCT/EP2022/050396 patent/WO2022152672A1/en active Application Filing
- 2022-01-11 CN CN202280020097.5A patent/CN116982038A/zh active Pending
- 2022-01-11 US US18/261,055 patent/US20240070940A1/en active Pending
- 2022-01-11 EP EP22701161.6A patent/EP4278299A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20240070940A1 (en) | 2024-02-29 |
CN116982038A (zh) | 2023-10-31 |
WO2022152672A1 (en) | 2022-07-21 |
EP4278299A1 (en) | 2023-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zheng et al. | A graph-transformer for whole slide image classification | |
US20220237788A1 (en) | Multiple instance learner for tissue image classification | |
Ghahremani et al. | Deep learning-inferred multiplex immunofluorescence for immunohistochemical image quantification | |
Mansour et al. | Optimal deep learning based fusion model for biomedical image classification | |
Barzekar et al. | C-Net: A reliable convolutional neural network for biomedical image classification | |
Mahesh et al. | Early predictive model for breast cancer classification using blended ensemble learning | |
Shakeel et al. | Classification framework for healthy hairs and alopecia areata: a machine learning (ml) approach | |
Nahiduzzaman et al. | Parallel CNN-ELM: A multiclass classification of chest X-ray images to identify seventeen lung diseases including COVID-19 | |
WO2023014789A1 (en) | System and method for pathology image analysis using a trained neural network and active learning framework | |
Liu et al. | Advmil: Adversarial multiple instance learning for the survival analysis on whole-slide images | |
Giuste et al. | Explainable synthetic image generation to improve risk assessment of rare pediatric heart transplant rejection | |
Wang et al. | CWC-transformer: a visual transformer approach for compressed whole slide image classification | |
Xu et al. | Risk-aware survival time prediction from whole slide pathological images | |
JP2024508095A (ja) | マルチプレックス免疫蛍光画像のグラフ構築及び可視化 | |
Voon et al. | Evaluating the effectiveness of stain normalization techniques in automated grading of invasive ductal carcinoma histopathological images | |
Bhattacharjee et al. | An explainable computer vision in histopathology: techniques for interpreting black box model | |
Feng et al. | Trusted multi-scale classification framework for whole slide image | |
Pan et al. | A review of machine learning approaches, challenges and prospects for computational tumor pathology | |
Marini et al. | Semi-supervised learning with a teacher-student paradigm for histopathology classification: a resource to face data heterogeneity and lack of local annotations | |
Yu et al. | Pyramid multi-loss vision transformer for thyroid cancer classification using cytological smear | |
Guan et al. | Joint representation and classifier learning for long-tailed image classification | |
Chen et al. | An interpretable Algorithm for uveal melanoma subtyping from whole slide cytology images | |
Roth et al. | Mask mining for improved liver lesion segmentation | |
Liang et al. | Deep SED‐Net with interactive learning for multiple testicular cell types segmentation and cell composition analysis in mouse seminiferous tubules | |
Turrisi et al. | The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease detection |