JP2022506135A - ヒトの寄与を組み込む反復的深層学習フローを使用した顕微鏡画像内の3d細胞間構造のセグメント化 - Google Patents
ヒトの寄与を組み込む反復的深層学習フローを使用した顕微鏡画像内の3d細胞間構造のセグメント化 Download PDFInfo
- Publication number
- JP2022506135A JP2022506135A JP2021523307A JP2021523307A JP2022506135A JP 2022506135 A JP2022506135 A JP 2022506135A JP 2021523307 A JP2021523307 A JP 2021523307A JP 2021523307 A JP2021523307 A JP 2021523307A JP 2022506135 A JP2022506135 A JP 2022506135A
- Authority
- JP
- Japan
- Prior art keywords
- image
- segmentation
- images
- algorithm
- computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
3次元画像内の3次元構造の境界を識別するための設備が、説明される。複数の3次元画像のそれぞれに関して、本設備は、3次元画像内の構造の境界を識別するための、第1の試行の結果を受信し、第1の試行の結果をヒトに提示させる。いくつかの3次元画像のそれぞれに関して、本設備は、第1の試行の結果に関するフィードバックを提供するヒトによって発生される、入力を受信する。本設備は、次いで、複数の3次元画像の少なくとも一部、受信される結果の少なくとも一部、および提供されるフィードバックの少なくとも一部を使用し、深層学習ネットワークを訓練し、3次元画像内の3次元構造の境界を識別する。
Description
(関連出願の相互参照)
本願は、そのそれぞれが、参照することによってその全体として本明細書に組み込まれる、2018年10月30日に出願され、「SEGMENTING 3D INTRACELLULAR STRUCTURES IN MICROSCOPY IMAGES USING AN ITERATIVE DEEP LEARNING WORKFLOW THAT INCORPORATES HUMAN CONTRIBUTIONS」と題された、米国特許出願第62/752,878号、および2018年12月5日に出願され、「SEGMENTING 3D INTRACELLULAR STRUCTURES IN MICROSCOPY IMAGES USING AN ITERATIVE DEEP LEARNING WORKFLOW THAT INCORPORATES HUMAN CONTRIBUTIONS」と題された、米国特許出願第62/775,775号の利益を主張する。
本願は、そのそれぞれが、参照することによってその全体として本明細書に組み込まれる、2018年10月30日に出願され、「SEGMENTING 3D INTRACELLULAR STRUCTURES IN MICROSCOPY IMAGES USING AN ITERATIVE DEEP LEARNING WORKFLOW THAT INCORPORATES HUMAN CONTRIBUTIONS」と題された、米国特許出願第62/752,878号、および2018年12月5日に出願され、「SEGMENTING 3D INTRACELLULAR STRUCTURES IN MICROSCOPY IMAGES USING AN ITERATIVE DEEP LEARNING WORKFLOW THAT INCORPORATES HUMAN CONTRIBUTIONS」と題された、米国特許出願第62/775,775号の利益を主張する。
本願が、参照することによって組み込まれる文書と矛盾する場合、本願が、優先される。
(背景)
現代の顕微鏡検査技法は、試験管内および生体内での組織、細胞、細胞内構造、およびタンパク質の顕微鏡撮像に革命をもたらしている。そのような技法は、異なるタイプの多次元画像データ(3D、低速度撮影、複数の撮像チャネル、またはそれらの組み合わせ等)を発生させることができ、これは、次いで、ある範囲の定性的および定量的なアプローチを用いたさらなる分析のために利用可能である。定性的分析は、多くの場合、画像データの小さなセットの目視検査を含み、これは、一般的な画像品質を迅速に査定するため、または実験条件間の全般的な差異を比較するために非常に有用である。これらの観察値は、集計され、データ内の統計的傾向に関する数値を提供することができる。定量的かつ自動化された分析アプローチは、検査するための画像の数が多い、実験条件間の差異が一貫した手動スコア化のために微妙または複雑すぎる、または画像データおよびその解釈がデータに基づいたモデルを開発するために使用されることが意図されるとき、特に役立つ。画像データの定量的分析は、画像処理アルゴリズムを適用し、顕微鏡画像から、比較的および絶対的様式の両方において生物学的実験の意義のある解釈を可能にする、数値を抽出するステップを伴う。
現代の顕微鏡検査技法は、試験管内および生体内での組織、細胞、細胞内構造、およびタンパク質の顕微鏡撮像に革命をもたらしている。そのような技法は、異なるタイプの多次元画像データ(3D、低速度撮影、複数の撮像チャネル、またはそれらの組み合わせ等)を発生させることができ、これは、次いで、ある範囲の定性的および定量的なアプローチを用いたさらなる分析のために利用可能である。定性的分析は、多くの場合、画像データの小さなセットの目視検査を含み、これは、一般的な画像品質を迅速に査定するため、または実験条件間の全般的な差異を比較するために非常に有用である。これらの観察値は、集計され、データ内の統計的傾向に関する数値を提供することができる。定量的かつ自動化された分析アプローチは、検査するための画像の数が多い、実験条件間の差異が一貫した手動スコア化のために微妙または複雑すぎる、または画像データおよびその解釈がデータに基づいたモデルを開発するために使用されることが意図されるとき、特に役立つ。画像データの定量的分析は、画像処理アルゴリズムを適用し、顕微鏡画像から、比較的および絶対的様式の両方において生物学的実験の意義のある解釈を可能にする、数値を抽出するステップを伴う。
画像内のオブジェクトの解釈可能な測定値を直接抽出するために、測定されるべきオブジェクトは、全てのピクセル(またはボクセル)が、そのオブジェクトの一部であるかまたは一部ではないものであるかのいずれかであるように識別される必要がある。その周囲からオブジェクトを識別する、またはセグメント化して区別する本ステップは、各オブジェクトのサイズおよび形状を測定すること、オブジェクトの数を計数すること、または所与のオブジェクト内の強度カウント値を測定することを可能にする。正確かつロバストな画像セグメント化、オブジェクト検出、および適切な検証は、したがって、定量的な画像分析にとって重要である。
本発明者らは、古典的画像処理アルゴリズム、従来的機械学習、および深層学習方法としてカテゴリ化され得る、既存の3D画像セグメント化方法における有意な欠点を認識している。古典的画像処理アルゴリズムは、細胞生物学研究団体によって最も広く使用されており、2つの主な方法においてアクセス可能である。いくつかのアルゴリズムは、いくつかのオープンプラットフォーム内で基本機能の集合物として利用可能である。しかしながら、一般的なオープンプラットフォーム内の基本機能は、時として、最適な結果を取得するために十分ではない。例えば、Frangi脈管強調フィルタが、フィラメント様構造をセグメント化するためのデフォルト方法として広く使用されている。Frangiフィルタの近年のバリアントが、特に、異なる強度のフィラメントまたは交絡したフィラメントに関するセグメント化の正確度を有意に改良する。他の公開されたアルゴリズムは、具体的な撮像モダリティ内の具体的な構造のために設計されており、典型的には、個々に実装およびリリースされる。一般的な画像処理プラットフォームと比較すると、そのようなツールは、あまり広く適用可能ではなく、多くの場合、適用するために著しく便宜的ではない。
代替として、従来的機械学習アルゴリズムが、時として、顕微鏡画像からのセグメント化を促進するために使用される。これらは、あるツールに統合されている、ランダムフォレストと、サポートベクタマシンとを含む。ユーザは、単に、選択的ピクセル/ボクセルを前景および背景サンプルとしてペイントする。従来的機械学習モデルが、自動的に訓練され、次いで、画像全てに適用され、ペイントされたピクセルまたはボクセルを予測する。これらのツールは、従来的機械モデルの有効性によって限定される。古典的画像処理方法および従来的機械学習アルゴリズムが、正確なセグメント化を発生させない問題に関して、深層学習ベースの3Dセグメント化方法が、有意な成功を達成している。本発明者らは、生物学者が、3D顕微鏡画像セグメント化の問題、すなわち、モデル訓練のために3Dグランドトゥルースを調製すること、およびこれらの深層学習モデルを構築および展開するための便宜的なツールへのアクセスを解決するために、深層学習の能力を活用することを妨害する、2つの要因を認識している。医療用画像のためのもの等の既存のツールは、大部分は、深層学習の知識を迅速に適用し、問題を解決することに注力している。これは、依然として、深層学習およびコンピュータビジョンの十分な経験を伴わない人々にとって難しい。他のツールが、全ての人々にとって使用し易くあり得るが、それらを訓練するために必要とされるグランドトゥルースを発生させることが、多くの場合、非常に困難である。「手動のペインティング」が、2Dセグメント化の問題のために、グランドトゥルースを発生させるために広く使用されている。しかしながら、「手動のペインティング」を介して3Dグランドトゥルース画像を発生させることは、これが、極めて多大な時間がかかること、および、本質的に困難であることの両方であるため、瞬く間に法外に高価な状態になる。例えば、2D画像内で核の境界を描くことは、容易であり得るが、多くの場合、3Dにおいて核の「シェル」をペイントすることは、困難である。これは、多くの場合、核より複雑な形状を伴う構造に関して、さらにより厄介である。
3D画像セグメント化への従来のアプローチのこれらの欠点を識別することに応答して、本発明者らは、古典的セグメント化ワークフローから開始し、次いで、ヒトの寄与を組み込む、反復的深層学習ワークフローのための基礎としてその結果を使用する、3D画像セグメント化のためのソフトウェアおよび/またはハードウェア設備(「本設備」)を想起し、実践に移している。
アレン細胞科学研究所は、細胞が細胞周期を横断し、分化するにつれて再編成する原理を理解するために、幹細胞構造の固有特徴の状態空間を開発している。これを行うために、本発明者らは、20の内因性の蛍光標識されたヒト人工多能性幹細胞(hiPSC)株の集合物内での細胞の組織および活性に関する再現性の高い動的画像データを発生させる、パイプラインを開発している(アレン細胞集合物(www.allencell.org))。多くの株は、特定の細胞構造を表す、単一対立遺伝子EGFP標識タンパク質を発現させる。定量的な画像およびデータの分析、データに基づいたモデルの開発、および新規計算アプローチを可能にするために、本発明者らは、3Dにおける30超の構造に関する、正確かつロバストなセグメント化の開発の課題に直面した。本発明者らの、そのような多数の明確に異なる細胞間構造上での従来的セグメント化アルゴリズムの多様なセットの開発および試験の経験を通して、本発明者らは、本発明者らがこれらの構造の高品質なセグメント化を迅速かつ正常に取得することを可能にした、限定された数の古典的画像処理ステップと、アルゴリズムとを伴う、古典的画像処理ワークフローを生成した。これらのセグメント化は、細胞内のサイズ、数、形状、および場所を含む、これらの構造の基本形態計測的特徴の初期の分析を可能にし、より複雑な特徴のパラメータ化のための基礎を形成し、図1の区分1Aに示され、下記に議論される。古典的画像処理ワークフローに加えて、本設備は、これらの高品質な古典的セグメント化の結果を利用し、それらを反復的深層学習ベースのアプローチにおける初期のグランドトゥルースとして画像セグメント化に適用し、これらのセグメント化の正確度およびロバスト性を向上させる、図1の区分1Bに示され、下記に議論される、第2の反復的深層学習ワークフローを含む。
いくつかの実施形態では、本設備はさらに、両方のワークフローを、自身の顕微鏡画像ベースのデータを定量化し、分析することを所望する細胞生物学者に対して容易にアクセス可能にする、3D顕微鏡画像の細胞間構造セグメント化のための新しいツールキットを含む。ツールキットは、ツールキットの古典的画像セグメント化ワークフロー部分内のアルゴリズムの選択肢およびパラメータ値の数を簡略化および制約し、本発明者らの現在のセグメント化アルゴリズムを利用し、中心小体およびデスモソーム等の「点源」、ミトコンドリアおよび微小管等の細管を含む、細胞間構造の広い範囲にわたる開始点として、図2に示され、下記に議論される、ある種類の「ルックアップテーブル」を生成する。ツールキットはさらに、ユーザに、古典的セグメント化ワークフローからの結果を適用し、手動のペインティングを伴わずに深層学習モデルを訓練するためのグランドトゥルースセグメント化を発生させ、次いで、それらのセグメント化結果を反復的に改良するためのツールを提供する。ツールキットの目標は、最高水準のセグメント化方法を、広い範囲の細胞生物学研究者にアクセス可能であり、かつ広い範囲の細胞間構造セグメント化の問題に適用可能にすることである。
種々の実施形態では、本設備は、種々の他の画像セグメント化用途に適用可能である。いくつかの実施形態では、ツールキットは、古典的画像セグメント化ワークフローおよび反復的深層学習ワークフローをシームレスに統合し、セグメント化プロセスを合理化する。古典的画像セグメント化ワークフローは、調整可能なパラメータを伴う、いくつかの選択可能なアルゴリズムに基づき、30超の異なる細胞間構造に適用される。ツールキットの反復的深層学習ワークフローでは、本設備は、ヒトの入力を使用するための2つの方略を使用し、労力と、主観的な3Dにおける手動ペインティングとを伴わずに、ニューラルネットワークの深層学習システムを訓練するための、3Dグランドトゥルース画像を発生させる。
図1は、本設備の概要を示す、データフロー図である。区分1Aに示される古典的画像セグメント化ワークフローは、3つのステップから成り、画像処理アルゴリズム選択肢および調整可能なパラメータの制限されたセットを含む。下記により詳細に議論されるように、区分1Aに示される古典的画像セグメント化ワークフローは、元の単一のチャネル3D画像スタック110に対して前処理ステップ120を実施するステップと、次いで、コアセグメント化アルゴリズム130を実施するステップと、次いで、セグメント化結果を規定する3Dバイナリ画像スタック150を取得するために、後処理140を実施するステップとを伴う。
区分1Bに示される反復的深層学習ワークフローは、古典的画像セグメント化ワークフローの正確度またはロバスト性が、不十分であるとき、使用される。2つのヒト参加型方略である、ソーティングおよびマージング170が、反復的に適用され、深層学習3Dセグメント化モデル190を訓練するために、古典的画像セグメント化ワークフロー結果100から、3Dグランドトゥルース訓練セット180を構築する。
いくつかの実施形態では、本設備の深層学習モデルの訓練および試験は、3D顕微鏡画像内の細胞構造に関して具体的にカスタマイズされ、深層学習における経験を伴わない細胞生物学者のための単純なラッパとして実装される。古典的画像セグメント化および反復的深層学習ワークフローは、相互を補完し、古典的画像セグメント化ワークフローは、分析目的のために、広い範囲の細胞構造に関して十分に正確なセグメント化を発生させることができる。しかしながら、最適な古典的画像セグメント化ベースのセグメント化の正確度またはロバスト性が、不十分であるとき、反復的深層学習ワークフローが、使用され、セグメント化性能を高めることができる。逆に、古典的セグメント化ワークフローは、訓練のための初期のグランドトゥルース画像セットを発生させることによって、深層学習モデルの3Dセグメント化への適用を促進する。2つのワークフローを使用することによって、本設備は、(1)広い範囲の構造に適用可能であり、(2)最高水準の正確度を達成し、(3)細胞生物学研究者にとって使用し易い。
30超の異なる細胞間構造のための古典的画像セグメント化アルゴリズムを設計する課題は、広い範囲の異なる細胞構造を効果的かつ効率的にセグメント化するために、画像処理アルゴリズム選択肢の最小セットを含み、非常に少ない調整可能なパラメータを伴う、単純な3つのステップから成るワークフローをもたらした。いくつかの実施形態では、古典的画像セグメント化ワークフローは、2つの部分から成る前処理ステップ120、強度正規化121、および平滑化122から開始し、コアセグメント化アルゴリズム130が続き、最後に、後処理ステップ140が続く。
データ収集
データ収集
種々の実施形態では、本設備は、以下の詳細のいくつかまたは全てに従って、未分化幹細胞およびhiPSC由来の心筋細胞の両方における、遺伝子編集されたヒト人工多能性幹細胞(hiPSC)に基づく、セグメント化のための画像データを収集し、CRISPR/Cas9が、既知の細胞間構造に局在するタンパク質にmEGFPおよびmTagRFPT標識を導入するために使用される。クローンFP標識株が、着目細胞間構造毎に発生され、未分化hiPS細胞が膜色素(CellMask紅色)およびDNA色素(NucBlue Live)でラベル付けされ、細胞境界および核をマーキングした、撮像実験において使用される(allencell.orgにおけるSOP参照)。編集されたhiPSC細胞株は、小分子プロトコルを使用して心筋細胞に分化する。撮像するために、細胞が、それぞれ、未分化hiPS細胞に関してマトリゲルで、心筋細胞に関してポリエチレンイミンおよびラミニンでコーティングされる、ガラス底部プレート上に定着され(allencell.orgにおけるSOP参照)、100倍/1.25対物レンズC-Apochromat W Corr M27、CSU-X1 Yokogawa回転ディスクヘッド、または40倍/1.2 NA W C-Apochromat Korr UV Vis IR対物レンズを伴う、ZEISS回転ディスク顕微鏡、およびHamamatsu Orca Flash4.0カメラを使用して撮像される。撮像設定は、ナイキストサンプリングのために最適化される。ボクセルサイズは、100倍のhiPSC画像に関して、それぞれ、x、y、およびzにおいて0.108μm×0.108μm×0.290μmであり、40倍の心筋細胞画像に関して、それぞれ、x、y、およびzにおいて0.128μm×0.128μm×0.290μmである。mEGFP標識Tom20株が、25μlのOpti-MEM(ThermoFisher #31985-070)と、1.5μlのGeneJuice(Millpore #70967)と、1μgの内毒素を含まないプラスミドとを含有する、ウェルあたり6μlのトランスフェクション混合物を使用して、mCherry-Mito-7構築物(Michael Davidson、addgene #55102)をトランスフェクトされる。トランスフェクトされた細胞は、翌日、上記のようなZEISS回転ディスク共焦点顕微鏡上で撮像される。チャネル全てが、各zステップにおいて入手される。
古典的セグメント化
古典的セグメント化
古典的画像セグメント化ワークフローのステップは、広い範囲の構造限局化パターンを効果的にセグメント化するための、画像処理アルゴリズム選択肢および調整可能なパラメータの制限されるセットを含む。古典的画像セグメント化ワークフローは、2つの部分から成る前処理ステップ、強度正規化、および平滑化から開始し、コアセグメント化アルゴリズムが続き、後処理ステップで終了する。
ステップ1:前処理
ステップ1:前処理
本ステップは、セグメント化を実施する、コアセグメント化アルゴリズムステップのための画像を調製するために、元の3D顕微鏡画像に適用される、強度正規化と、平滑化とから成る。本設備は、前処理ステップ内でのアルゴリズムおよびパラメータの選択肢を細胞構造の形態に準拠させる。強度正規化の目的は、画像の異なるセット内の同一の構造が、コアアルゴリズムの中にフィードされると、背景を上回る類似の値を有する傾向になるように、顕微鏡アーチファクト、死細胞からの残屑等を含む、異なる撮像非一貫性に対してセグメント化をロバストにすることである。いくつかの実施形態では、2つの強度正規化アルゴリズムが、前処理ステップの中に含まれる。最小-最大正規化が、スタック内の強度値の全範囲をゼロから1の範囲に変換する。自動コントラスト正規化は、極端に低い/高い強度を抑制することによって、画像コントラストを調節する。これを行うために、本設備は、最初に、スタック強度プロファイル全体に関してガウス分布を適合することによって、強度の平均値および標準偏差(std)を推定する。次いで、全強度範囲が、範囲[平均値-a×std,平均値+b×std]にカットオフされ、次いで、[0,1]に正規化される。パラメータaおよびbは、数枚の典型的画像に基づいて自動的に算出されることができ、ユーザ定義されることができる。目的は、コントラストを強調し、また、予期しないアーチファクトまたは死細胞からの影響を低減させることである。一般に、自動コントラストが、本設備のデフォルト正規化動作である。最小-最大正規化は、最高強度を伴うボクセルが、構造内の重要な標的であり、抑制されるべきではないときに使用される。例えば、セントロソーム等の「点源」構造では、セントロソームを位置特定するために重要である、最高強度を伴うボクセルが、通常、セントロソームの中心に常駐する。
平滑化の目的は、顕微鏡検査または他の源からの任意の背景ノイズを低減させ、セグメント化性能を改良することである。いくつかの実施形態では、前処理ステップの中に含まれる、3つの異なる平滑化動作、すなわち、3Dガウス平滑化、スライス毎の2Dガウス平滑化、およびエッジ保存平滑化が、存在する。大部分の場合では、3Dガウス平滑化は、画像背景ノイズを低減させるために良好に作用する。しかしながら、標的構造が、高密度のフィラメントから成る場合、エッジ保存平滑化動作が、より効果的であり得る。最後に、いくつかの実施形態では、本設備は、細胞構造の移動が、3Dライブ撮像の間の連続するzスライス間の時間間隔より急速であるとき、スライス毎の2Dガウス平滑化を使用する。本状況において、3D平滑化は、連続するzスライス内の構造の微妙な偏移をさらに悪化させ得る。
ステップ2:コアセグメント化アルゴリズム
ステップ2:コアセグメント化アルゴリズム
古典的画像セグメント化ワークフローのコアは、異なる形態的特性を伴うオブジェクトをセグメント化するためのアルゴリズムの集合物である。本コアセグメント化アルゴリズムステップは、前処理された3D画像スタックを取り込み、後処理ステップの中への入力として、予備的セグメント化を発生させる。具体的な細胞構造のための最良のセグメント化ワークフローは、アルゴリズムのうちの1つのみから成ってもよい、またはこれは、複数のコアアルゴリズムのシーケンスを伴ってもよい。コアセグメント化アルゴリズムは、標的構造の形態的特性に基づいて、大まかに3つのカテゴリに群化されることができる。(F2およびF3として識別される)2Dおよび3Dフィラメントフィルタは、各2Dフレームにおける(Sec61ベータ等の)曲線形状、または3Dにおける(アルファチューブリン等の)フィラメント状形状を伴う構造のために好適である。2Dおよび3Dスポットフィルタ(S2およびS3)は、明確に異なるスポット様の限局化パターンを検出するために、ラプラシアンガウシアンオペレーション(Laplacian of Gaussian operation)を採用する。「点源」デスモプラキン限局化パターンは、3Dにおける、丸みを帯びた、蛍光充填された形状を呈する。「点源」デスモプラキン限局化パターンは、3Dにおける、丸みを帯びた、蛍光充填された形状を呈する。z方向に充填された丸みを帯びたオブジェクトを伸展させる、S3フィルタは、デスモプラキンに関して、S2フィルタより正確である。別個の丸みを帯びた構造の代わりに、各2Dフレーム内により一般的なスポット状の外観を伴う構造に関して(例えば、フィブリラリン対デスモプラキン)、S3フィルタは、明白な構造を検出し損ね得る一方、S2フィルタは、はるかにより優れて性能を発揮する。コア流域アルゴリズム(W)は、2つの異なる方法において使用されることができる。第1に、流域は、近位構造をさらに分離するための種として極大値を使用して、S3フィルタ結果の距離変換に適用されることができる。第2に、流域はまた、(別のアルゴリズムによって検出される)種を用いて前処理された画像に直接適用され、蛍光シェル(例えば、ラミンB1)内に封入される構造をセグメント化することができる。最後のコアセグメント化アルゴリズムである、マスクされたオブジェクトの閾値処理(MO)が、種々の粒度または強度を伴う細胞間構造パターン(例えば、ヌクレオフォスミン)のために設計される。MO閾値処理アルゴリズムは、最初に、自動化された大域的閾値に適用され、事前セグメント化結果を発生させ、これは、Otsu閾値が各事前セグメント化オブジェクト内に適用されることを可能にするためのマスクとして使用される。例えば、ヌクレオフォスミン限局化パターンは、核小体の顆粒状成分への一次限局化と、核小体および核の両方の他の部分へのより弱い、二次限局化とを含む。したがって、本設備は、最初に、比較的に低い大域的閾値を適用し、各核を大まかにセグメント化する。本設備は、次に、個々の核内の局所的閾値を算出し、ヌクレオフォスミンパターンをセグメント化する。従来的な大域的閾値処理と比較すると、マスクされたオブジェクトの閾値処理は、同一の画像内の異なる核におけるヌクレオフォスミン限局化パターンの強度の変動に対して、よりロバストに性能を発揮する。
ステップ3:後処理
ステップ3:後処理
いくつかの実施形態では、3つの異なるアルゴリズムが、ワークフロー内の最終後処理ステップのために利用可能である。これらは、予備的セグメント化結果を精緻化し、最終セグメント化を行う。全ての後処理アルゴリズムが、全ての構造のために必要とされているわけではない。第1の後処理アルゴリズムは、あるセグメント化されたオブジェクト内に出現し、標的構造をより正確に表し得る、不正確な穴を解決し得る、形態学的穴埋めアルゴリズム(HF)である。第2に、単純なサイズフィルタ(S)が、コアセグメント化アルゴリズム結果からの不合理に小さいまたは大きいオブジェクトを除去するために使用されることができる。最後に、特殊なトポロジ保存間引き演算(TT)が、適用され、トポロジを変化させる(例えば、任意の連続的であるが、薄い構造を破壊する)ことなく、予備的セグメント化を精緻化することができる。本間引きは、最初に、予備的セグメント化をスケルトン化し、次いで、それ自体がスケルトンからある距離内にはない、ボクセルの全てに関して、3Dにおけるセグメント化を減退させることによって遂行される。
本発明者らは、それぞれが異なる細胞間構造を表す、30超の蛍光標識タンパク質の3D画像に古典的画像セグメント化ワークフローを適用するために、本設備を使用した。構造は、2つの異なる細胞型、すなわち、未分化hiPS細胞およびhiPSC由来の心筋細胞において撮像された。これらの構造を表す、標識されたタンパク質は、これらの2つの細胞型における異なる発現レベルおよび限局化パターンを呈した。
ある構造はまた、細胞周期に依存する様式において、それらの限局化パターンが変動した。ともに、これは、本発明者らが、古典的画像セグメント化ワークフローを開発および試験するために使用した、30超の明確に異なる細胞間構造限局化パターンをもたらした。任意のセグメント化タスクのための重要な決定点は、構造のサイズ、その構造の分解能および検出の限界、後続の分析の目的、および任意の所与の標的正確度を取得するために要求される労力の量を含む、いくつかの要因の関数である、正確度の標的化レベルである。一般に、ここで検査される実施例に関して、本発明者らは、構造について文献内の見解と一貫すること、および3D可視化のために使用され得る、セグメント化を取得することを目指した。例えば、いくつかの実施形態では、本設備の微小管のセグメント化は、他のより高性能アルゴリズムとは異なり、細管の剛度または分枝化挙動等の生物物理的に与えられるパラメータを使用せず、個々の細管を区別することもしない。しかしながら、チューブリンセグメント化ワークフローは、微小管が主に、局在する場所を説明するために十分であり、本セグメント化に基づいて合理的な3D可視化を発生させるために十分に詳細である。
所与の構造に関する、比較的に正確な境界があるはずの場所の視覚査定は、顕微鏡画像において厄介であり得る。「真」の基礎となる構造が、光学顕微鏡検査によって課される分解能限界に起因して、不鮮明にされる。さらに、画像を検査するために使用される、具体的な輝度およびコントラスト設定が、誤解を招き得、ぶれの効果を高め得る。細胞内構造の本セットに関する比較的に正確な境界の本発明者らの視覚査定は、本発明者らの具体的な撮像設定が、基礎となる構造を不鮮明にした程度についての本発明者らの経験および知識を組み込み、構造セグメント化ワークフロー全ての全体を通して一貫して適用された。
図2は、20のタイプの細胞構造のそれぞれに関して本設備によってとられる古典的ワークフローステップのインジケーションを含む、これらの細胞構造タイプに関するワークフローおよびこれらの検証基準を適用するステップの結果を示す、セグメント化結果図である。実施例201-218は、限局化パターンを表す、1つの標識されるタンパク質からの画像から成る。実施例219および220は、両方とも、ラミンB1画像であるが、各1つが、別個のセグメント化ワークフローを要求する明確に異なる限局化パターンを表す、細胞周期の相間および有糸***段階からのものである。各囲み領域は、左に元の画像と、右に古典的画像セグメント化ワークフローの結果との一対の画像を含有する。画像の各対の底部に沿っているものは、そのワークフローのためのワークフローステップの略図であり、その中で使用される記号は、記号表230の対象である。ここに提示される画像は全て、allencell.org/segmenterにおいてオンラインで入手可能な画像の3Dのzスタックからの単一のスライスである。ワークフロー図内において、異なる色の付けられた記号間の矢印は、3つの異なる古典的画像セグメント化ワークフローステップ(前処理、コアセグメント化、および/または後処理)の間の遷移を表す。各ワークフローステップ内では、相互に直接隣接する2つの記号が、アルゴリズムが、順次適用されたことを表す一方、○+記号は、両方のアルゴリズムからの結果を組み合わせるステップを表す。シアル酸転移酵素ワークフローのためのTT記号内のアスタリスクは、マスクされたオブジェクトの閾値処理アルゴリズムからの結果に、トポロジ保存間引きのみが適用されたことを示す。LAMP1に関する標的結果は、タンパク質LAMP1が、リソゾームの膜をラベル付けするため、より大きいリソゾームを充填するステップを含むが、検出するための標的構造は、各リソゾーム全体である。
3つのワークフローステップのそれぞれから、同一の一連の選択肢が、その構造のための成功したセグメントを結果としてもたらした。しかしながら、本発明者らは、さらに、同一の3つのステップを使用する類似の構造(MYH10およびACTN1等)に関して、最良の結果のためのパタメータ値が、依然として、変動したことを見出した。本設備は、したがって、いくつかの実施形態では、「構造ルックアップテーブル」を使用し、どのアルゴリズムおよびどのパタメータの開始セットが、ユーザのセグメント化タスクのために作用し得るかに関するガイドとしての役割を果たす。いくつかの実施形態では、ツールキットは、迅速な参照および修正のために、構造毎にJupyterノートブックを含む。
いくつかの実施形態では、本設備は、github.com/AllenInstitute/aics-segmentationにおいて入手可能なコードのいくつかまたは全て(参照することによってその全体として本明細書に組み込まれる)に従って、古典的ワークフローを実施する。
ヒトの寄与を使用する反復的深層学習
ヒトの寄与を使用する反復的深層学習
反復的深層学習ワークフローの役割は、古典的画像セグメント化ワークフローからの出力が改良されることが必要となる度にセグメント化品質をさらに高めることである。反復的深層学習ワークフロー全体が、「セグメント化結果に基づく反復」の概念に基づいて構築される。(古典的画像セグメント化ワークフロー、異なる深層学習モデル、または本設備の深層学習モデルのより早期の段階のいずれかからの)画像のセットのあるセグメント化結果をすでに有していると仮定する。結果は、ある画像または画像内のある領域に関して容認可能であるが、完全に満足の行くものではない。いくつかの実施形態では、本設備は、2つのヒト参加型方略、すなわち、ソーティングおよびマージングのいずれかまたは両方を使用し、モデル訓練の次の工程のためのグランドトゥルースを調製する。いくつかの実施形態では、これらのヒト介入方略は、構造のいかなる手動のペインティングも伴わない。1つの目的は、冗漫な完全手動ペインティングを用いることなく、効率的な方法において、ヒトの知識をグランドトゥルースの中に課すことである。
いくつかの実施形態では、反復的深層学習ワークフローは、容易にアクセス可能な方法において、かつ最小限の調整可能なパラメータを伴って実装される。具体的には、いくつかの実施形態では、使用法は、未加工画像および訓練グランドトゥルースを、ある命名規則に従う同一のフォルダの中に入れるステップと、その構造についての生物学の以前の知識に従っていくつかのパラメータを設定するステップに簡略化される。いくつかの実施形態では、モデルを構築するステップ、ハイパーパラメータを設定するステップ、モデルを訓練するステップ等についての詳細全てが、本タイプの3D顕微鏡画像のために設計および試験される方法において、自動的に取り扱われる。
古典的画像セグメント化ワークフローが満足の行くセグメント化を生産し得ない2つの一般的なシナリオは、セグメント化の正確度の画像間変動または細胞間変動である。画像間変動は、セグメント化が、いくつかの画像スタックのみに関して正確であり、他のものについてはそうではないときに生じ、これは、生物学的および顕微鏡撮像条件の両方に起因し得る。例えば、所与の構造が、hiPSCコロニーの中心対コロニーの縁の近傍において撮像される細胞に関してわずかに異なるように挙動する場合、1つのセグメント化アルゴリズムが、両方の場合において均等に良好に性能を発揮する理由はない。本場合に対処するために、その深層学習ネットワークを反復的に訓練するステップにおいて本設備によって使用されるヒト入力の第1の形態は、ソーティングであり、グランドトゥルース画像セットを発生させるために、本設備は、ヒトユーザに、セグメント化された画像を成功のセグメント化対不成功のセグメント化にソートするようにプロンプトし、モデル訓練のために正常にセグメント化された画像のみを使用する。後続のモデルは、より多くのコンテキスト知識が深層学習モデルによって学習されるため、最後に、画像間変動に対してよりロバストになり得る。
図3は、ソーティングプロセスのサンプル結果を示す、プロセス図である。プロセス図は、それぞれ、源画像301、311、321、331、および341に関する、古典的画像セグメント化ワークフローによって生産される、セグメント化結果302、312、322、332、および342を示す。ソーティングベクトルは、源画像301から生産されるセグメント化結果302および源画像331からのセグメント化結果332を保つことを示す。これらの2つの古典的セグメント化は、深層学習のための訓練データ350として使用され、他の3つは、使用されない。
他方では、セグメント化の正確度の細胞間変動に関する源のある実施例は、細胞周期の全体を通して形態または強度を有意に変化させるタンパク質または構造等の異なる量の標識されたタンパク質を発現させる複数の細胞を含有する、画像である。本場合では、セグメント化パラメータの2つのわずかに異なるセットが、構造の両方のバージョンが良好にセグメント化されることを可能にし得るが、パラメータの両方のセットは、通常、同一の画像に適用されることはできない。ここでは、本設備は、その深層学習ネットワークを反復的に訓練するステップにおいて本設備によって使用されるヒト入力の第2の形態である、マージングを使用し、その中で、本設備は、ヒトユーザに、異なるパラメータセットの適用のために、セグメント化結果の異なる部分を選択するようにプロンプトする。例えば、いくつかの実施形態では、本設備は、ImageJまたはITK-SNAPを通して入手可能なもの等の単純な画像編集ツールを使用し、ユーザが画像野内の具体的面積を手動で囲み、マスキングすることを可能にし、2つの異なるパラメータセットをそれぞれに適用し、次いで、結果をマージするステップが、その画像のための1つの単一グランドトゥルースを可能にする。
図4は、本設備がマージングを実施する第1の実施例を示す、データフロー図である。特に、図4に示される実施例では、2つの異なる古典的画像セグメント化ワークフローが、同一のラミンB1画像410に適用された。古典的セグメント化1は、セグメント化結果421を生産し、これは、相間ラミンB1限局化パターン上で良好に作用した。セグメント化2は、セグメント化結果422を生産し、これは、有糸***ラミンB1限局化パターン上でより良好に作用した。2つの異なる半径を伴う4つの円から構成されたマスク420が、「PaintBrush」ツールを用いてFiji内に手動で作成された。本設備は、2つのセグメント化結果をマージするための基礎としてマスクを使用し、単一のグランドトゥルースセグメント化結果430を取得する。本設備は、マスク上の黄色の面積内に黄色で表示されるセグメント化を捉え、緑色の面積内に緑色で表示されるセグメント化を捉えることによって、これを行った。本マージされたグランドトゥルース画像は、3D深層学習訓練セットの一部になる。
図5は、本設備によって実施されるマージングの第2の実施例を示す、画像図である。第1のセグメント化技法が、セグメント化結果503を発生させる一方、第2のセグメント化技法が、セグメント化結果504を発生させる。ユーザは、画像505に示されるマスクを定義し、これは、本設備がセグメント化結果503および504を単一のセグメント化結果506にマージするための基礎として使用される。
図6は、本設備によって、ソーティングおよびマージングの両方を使用して生産されるサンプル結果を示す、画像図である。特に、画像610は、元のラミンB1画像からの中央のzスライスを表し、ラミンB1有糸***限局化パターンが、赤色の長方形内に示される。セグメント化結果630は、標準的なOtsu閾値処理セグメント化の結果をベースラインとして示す。画像630は、セグメンタの古典的画像セグメント化ワークフロー結果を示す。セグメント化結果640は、ソーティングによって発生されたグランドトゥルースセットによって訓練される、深層学習モデルの第1の反復の後の結果を示す。セグメント化結果650は、マージングによって発生されたグランドトゥルースセット上で訓練される、深層学習モデルの第2の反復の後の結果を示す。結果620内の青色の矢印は、元々、古典的画像セグメント化ワークフロー内では欠損していたが、反復的深層学習モデルを使用して検出された、相間ラミンB1限局化パターンを示す。セグメント化結果650内の黄色い矢印は、深層学習モデルの第2の反復の後に検出された、有糸***ラミンB1限局化パターンを示す。
いくつかの実施形態では、本設備によって採用される深層学習モデルは、深層教師あり異方性U-Net(DSAU、「Net_basic」)およびDSAUzoom(「Net_zoom」)等の3D顕微鏡画像のために特別にカスタマイズされる、完全畳み込みネットワークである。これらの2つのモデルは、非常に類似するアーキテクチャを有するが、DSAUは、大きい受容野を採用し、比較的により大きいサイズの構造のためにより好適である。Net_basicは、(1)xyz次元全てにおける最大プーリングが、xyのみにおける最大プーリングによって置換され、(2)ゼロ詰めが、3D畳み込み全てから除去され、(3)補助損失が、深層教師のために追加されている、3D U-Netのバリアントである。Net_zoomは、Net_basicに類似するアーキテクチャを有するが、有効な受容野をさらに拡大するための可変比率を伴う、追加のプーリング層を伴う。そのような修正は、3D顕微鏡画像において共通の異方性次元を取り扱うために行われ、薄い核膜等の薄弱構造をセグメント化するステップにおける性能を改良する。
図7は、いくつかの実施形態において反復的深層学習ワークフロー内で使用される、2つの深層ニューラルネットワークのアーキテクチャを示す、ネットワークアーキテクチャ図である。2つのネットワーク、すなわち、Net_basicおよびNet_zoomは、アーキテクチャが非常に類似する。Net_basicとNet_zoomとの間で異なる層およびデータフローが、それぞれ、記号表790に述べられているように、紫色および赤色でマーキングされる。いくつかの実施形態では、ネットワークは、層をダウンサンプリングおよびアップサンプリングすることによって接続される、7つのコアブロック703、705、707、709、711、713、および715から成る。全てのコアブロックが、コアブロック詳細ボックス795において詳述される、同一の層を有する。いくつかの実施形態では、各コアブロックは、カーネルサイズ3を伴う3D畳み込みと、バッチ正規化と、ReLU活性化との2つの連続するセットを含有する。いくつかの実施形態では、両方のネットワークが、1つの主要予測分岐および2つの補助予測分岐に結び付けられる。いくつかの実施形態では、主要予測ブロックは、カーネルサイズ1を伴う、1つの3D畳み込みである一方、補助ブロックは、カーネルサイズ3を伴う、1つの3D畳み込みを有し、カーネルサイズ1を伴う、別の3D畳み込みが続く。
各訓練反復では、ランダムデータ増強が、各画像上に適用され、サンプルパッチのバッチが、増強された画像からランダムに切り取られる。いくつかの実施形態では、パッチサイズ(すなわち、モデル入力のサイズ)およびバッチサイズ(すなわち、各反復内で同時に訓練されるサンプルの数)は、利用可能なGPUメモリに依存する。例えば、12GBメモリを伴う、単一のNvidia GeForce GPUが、本発明者らの実験のうちのいくつかにおいて使用される。本ハードウェアを用いると、本設備は、4のバッチサイズを使用し、各入力サンプルパッチは、Net_basicに関して140×140×44のボクセルおよびNet_zoomに関して420×420×72のボクセルのサイズを有する。データ増強に関して、いくつかの実施形態では、本設備は、θ(0~πのランダム値)のランダム回転、および確率0.5を伴うランダム水平反転を使用する。
U-Netのアーキテクチャおよび使用は、Navab N., Hornegger J., Wells W., Frangi A. (eds)のMedical Image Computing and Computer-Assisted Intervention - MICCAI 2015, MICCAI 2015, Lecture Notes in Computer Science, vol 9351, Springer, Cham内のRonneberger O., Fischer P., Brox T. (2015)のU-Net: Convolutional Networks for Biomedical Image Segmentation(参照することによってその全体として本明細書に組み込まれる)に説明されている。加重交差エントロピーが、損失関数の全てにおいて使用され、ボクセルあたりの加重は、別個の入力画像(すなわち、コストマップ)として捉えられる。デフォルトによって、本設備は、全てのボクセルに関して加重=1を使用するが、それらの極めて臨界的領域に関して、より大きい加重を割り当てる、または損失関数に関して計数しないそれらの領域に対して、ゼロを割り当てることができる。いくつかの実施形態では、モデルは、L2正則化のための加重として、一定の学習率0.00001および0.005を伴うAdamを用いて訓練される。各訓練反復では、サンプルのバッチが、画像からランダムに切り取られる。サンプルパッチサイズおよびバッチサイズは、利用可能なGPUメモリに依存する。
いくつかの実施形態では、本設備は、種々の種類のカスタマイズを伴う、U-Netを使用する。例えば、ある場合には、U-Netは、その拡張経路に沿った種々の点において損失分析を実施する。いくつかの実施形態では、本設備によって使用されるU-Netは、XおよびY軸における実効分解能に対してZ軸における実効分解能を調節するように構成可能である。当業者は、本設備によって使用されるU-Netへのさらなる修正が、ある場合には、より良好な結果を生産し得ることを理解するであろう。
いくつかの実施形態では、本設備は、github.com/AllenInstitute/aics-ml-segmentationにおいて入手可能なコードのいくつかまたは全て(参照することによってその全体として本明細書に組み込まれる)に従って、深層学習ワークフローを実施する。
いくつかの実施形態では、本設備は、蛍光顕微鏡の分解能限界から生じる、構造の境界のぶれに対処する。画像のコントラスト設定および所与のセグメント化アルゴリズムのパラメータの両方に応じて、結果として生じるバイナリ画像は、有意に変動し得る。
図8は、いくつかの実施形態において、本設備によって、種々の幅のセグメント化された細管をもたらす、種々のセグメント化パラメータを使用して生産される、ミトコンドリア細管に関するサンプルセグメント化結果を示す、画像図である。多くの異なる標識された細胞間構造の境界を検出するための一貫した標的を識別するために、一時的にトランスフェクトされたhiPS細胞においてマトリクス標的されたmCherryでマーキングされた、ミトコンドリア細管のセグメント化に関する異なるセグメント化パラメータの効果が、示される。画像810、820、および830は、可視化の目的のみのために画像810から画像830まで増加する輝度およびコントラストの設定を伴う、同一の細管を示す。画像811、821、および831は、本画像に適用された、2Dフィラメントフィルタセグメント化アルゴリズムにおいて、カーネルサイズパラメータ(S)を増加させながら、閾値パラメータ(T)を減少させるステップの結果を示す。画像810、820、および830内の輝度およびコントラスト設定は、画像811、821、および831におけるセグメント化結果に合致し、セグメント化結果がそれぞれ、入力画像を前提として合理的であることを実証するように設定される。拡大面積813、823、および833は、それぞれ、画像811、821、および831の部分812、822、および832に対応する。拡大面積813、823、および833内の緑色の線区画は、260nmの長さであり、ヒト幹細胞のEM画像に基づく、ミトコンドリアの直径である。画像821および対応する拡大面積823は、ルックアップテーブル内の古典的画像セグメント化ワークフローの集合物が、細胞間構造限局化パターン毎に一貫して標的するように模索する、セグメント化の結果を表す。
不鮮明な境界を検出する方法の一貫したベースラインを確立するために、いくつかの実施形態では、本設備は、試験構造として、蛍光標識されるミトコンドリアマトリクスマーカを使用し、ヒト幹細胞内のミトコンドリアのEMベースの測定値と最も近く合致するセグメント化パラメータを選択する。本設備は、次いで、他の細胞間構造セグメント化ワークフローの生成のための一貫した標的として、コントラスト設定およびオブジェクト境界設定の結果として生じる組み合わせを使用する。
本発明者らは、以前に公開されたEM画像を使用して、ヒト多能性幹細胞およびヒト胚性幹細胞内のミトコンドリア幅を決定した。マニュスプリクトから取得されたEM画像のJPEGバージョンが、FiJi内で開かれ、ミトコンドリア幅が、EM画像あたり5~10個のミトコンドリアに関して測定された。線が、より小さいミトコンドリア軸に沿ってミトコンドリア膜間に手動で描かれた。線の長さが、図内の元のスケールバーを使用して測定され、ナノメートルに変換された。ミトコンドリア幅は、ヒト多能性幹細胞に関して256+/-22nm、ヒト胚性幹細胞に関して265+/-34nmであることが見出された(平均値+/-95%信頼区間)。したがって、260nmの平均的ミトコンドリア幅が、図8内で使用された。図9は、典型的には、本設備が動作するコンピュータシステムおよび他のデバイスの少なくともいくつかに組み込まれる、構成要素のうちのいくつかを示す、ブロック図である。種々の実施形態では、これらのコンピュータシステムおよび他のデバイス900は、サーバコンピュータシステム、デスクトップコンピュータシステム、ラップトップコンピュータシステム、他の構成における仮想機械のためのクラウドコンピューティングプラットフォーム、ネットブック、タブレット、モバイルフォン、携帯情報端末、テレビ、カメラ、自動車コンピュータ、電子メディアプレーヤ、スマートウォッチ、および他のウェアラブルコンピューティングデバイス等を含むことができる。種々の実施形態では、コンピュータシステムおよびデバイスは、コンピュータプログラムを実施するための中央処理ユニット(「CPU」)、グラフィック処理ユニット(「GPU」)、または他のプロセッサ901、本設備および関連付けられるデータ、カーネルを含むオペレーティングシステム、およびデバイス駆動部を含む、それらが使用されている間にプログラムおよびデータを記憶するためのコンピュータメモリ902、プログラムおよびデータを永続的に記憶するためのハードドライブまたはフラッシュドライブ等の永続的記憶デバイス903、コンピュータ可読媒体上に記憶されるプログラムおよびデータを読み取るための、フロッピ、CD-ROM、またはDVDドライブ等のコンピュータ可読媒体ドライブ904、およびインターネットまたは別のネットワークおよびスイッチ、ルータ、リピータ、電気ケーブルおよび光ファイバ、光放射器および受光器、無線伝送器および受信機、および同等物等のそのネットワーキングハードウェア等を介してデータを送信および/または受信するために、コンピュータシステムを他のコンピュータシステムに接続するための、ネットワーク接続905のそれぞれの1つ以上のものを含む。上記に説明されるように構成されたコンピュータシステムは、典型的には、本設備の動作を支援するために使用されるが、当業者は、本設備が、種々のタイプおよび構成のデバイスを使用し、種々の構成要素を有するように実装され得ることを理解するであろう。種々の実施形態では、コンピューティングシステムまたは他のデバイスはまた、以下のハードウェア構成要素、すなわち、ユーザに視覚情報を提示するように使用可能なディスプレイ、ディスプレイとともに配列され、ディスプレイとのユーザのタッチ相互作用を検出するための1つ以上のタッチスクリーンセンサ、ユーザによって使用され、表示される視覚コンテンツとジェスチャおよび/または相互作用を実施し得る、マウス、トラックパッド、またはトラックボール等のポインティングデバイス、画像センサ、光センサ、および/またはデバイスの近傍で実施されるユーザのジェスチャを検出するために使用され得る、近接センサ、およびデバイスが、移動中の間、または別様に外部電気エネルギー源に接続されていない間に動作することを可能にする、バッテリまたは他の内蔵型の電気エネルギー源のうちのいくつかまたは全てを有する。
上記に説明される種々の実施形態は、組み合わせられ、さらなる実施形態を提供することができる。本明細書内で言及される、および/または出願データシート内に列挙される米国特許、米国特許出願公開文書、米国特許出願、外国特許、外国特許出願、および非特許刊行物の全ては、参照することによってそれらの全体として本明細書に組み込まれる。実施形態の側面は、さらなる実施形態を提供するために種々の特許、出願、および刊行物の概念を採用することが必要である場合、修正されることができる。
これらおよび他の変更が、上記に詳述される説明に照らして実施形態に対して行われることができる。一般に、以下の請求項において、使用される用語は、請求項を本明細書および請求項内に開示される具体的な実施形態に限定するように解釈されるべきではなく、そのような請求項に与えられた均等物の全範囲とともに、全ての可能性として考えられる実施形態を含むように解釈されるべきである。故に、請求項は、本開示によって限定されない。
Claims (24)
- 3次元画像内の3次元構造の境界を識別するためのコンピューティングシステムにおける方法あって、
複数の3次元画像のそれぞれに関して、
前記3次元画像内の構造の境界を識別するための第1の試行の結果を受信することと、
前記第1の試行の結果をヒトに提示されるようにすることと、
複数の3次元画像のそれぞれに関して、前記第1の試行の結果に関するフィードバックを提供するヒトによって発生される入力を受信することと、
前記複数の3次元画像の少なくとも一部、前記受信される結果の少なくとも一部、および提供されるフィードバックの少なくとも一部を使用し、深層学習ネットワークを訓練し、3次元画像内の3次元構造の境界を識別することと
を含む、方法。 - 前記構造は、生体細胞内の細胞小器官である、請求項1に記載の方法。
- フィードバックは、前記複数の3次元画像の第1の適切なサブセットに関する前記第1の試行の結果を承認し、前記複数の3次元画像の第2の適切なサブセットに関する前記第1の試行の結果を否認する、請求項1に記載の方法。
- 前記複数の3次元画像のうちの少なくとも1つのそれぞれに関して、前記フィードバックは、前記結果を、構造の境界が独立して識別されるべきである2つ以上の領域に細分する、請求項1に記載の方法。
- 前記深層学習ネットワークは、1つ以上の人工ニューラルネットワークである、請求項1に記載の方法。
- 前記深層学習ネットワークは、U-netバリアントである、請求項1に記載の方法。
- 各3次元画像が、2次元画像のスタックによって表わされる、請求項1に記載の方法。
- 3次元画像内の3次元構造の境界を識別するための方法をコンピューティングシステムに実施させるように構成されたコンテンツを集合的に有するコンピュータ可読媒体の1つ以上のインスタンスであって、
複数の3次元画像のそれぞれに関して、2Dフィラメントフィルタアルゴリズム、3Dフィラメントフィルタアルゴリズム、2D脈管強調フィルタアルゴリズム、3D脈管強調フィルタアルゴリズム、2Dスポットフィルタアルゴリズム、3Dスポットフィルタアルゴリズム、2Dラプラシアンガウシアンフィルタアルゴリズム、3Dラプラシアンガウシアンフィルタアルゴリズム、マスクされたオブジェクトの閾値処理アルゴリズム、流域アルゴリズム、および極大アルゴリズムの中でのセグメント化アルゴリズムを適用し、前記3次元画像内の少なくとも1つの3次元構造の境界を識別することと、
ニューラルネットワークのシステムを訓練するためのグランドトゥルースとして、前記複数の3次元画像の少なくとも一部の中で識別される前記構造の境界を使用し、3次元画像内の3次元構造の境界を識別することと
を含む、コンピュータ可読媒体のインスタンス。 - 前記複数の3次元画像の中で識別される前記構造の境界の少なくとも一部をヒトに表示されるようにすることと、
前記識別される構造の境界の表示の間に、前記ヒトによって創出される入力を受信することと
をさらに含み、
前記ニューラルネットワークのシステムを訓練するための前記識別される構造の境界の使用は、受信される入力に従って実施される、請求項8に記載のコンピュータ可読媒体のインスタンス。 - ニューラルネットワークの訓練されたシステムを、前記複数の3次元画像の中にはない区別される3次元画像に適用し、前記区別される3次元画像内の3次元構造の境界を識別することをさらに含む、請求項8に記載のコンピュータ可読媒体のインスタンス。
- 前記複数の3次元画像のそれぞれに関して、前記セグメント化アルゴリズムを適用する前に、最小-最大正規化アルゴリズム、自動コントラストアルゴリズム、2Dガウス平滑化アルゴリズム、3Dガウス平滑化アルゴリズム、およびエッジ保存平滑化アルゴリズムの中での前処理アルゴリズムを適用することをさらに含む、請求項8に記載のコンピュータ可読媒体のインスタンス。
- 前記複数の3次元画像のそれぞれに関して、前記識別される構造の境界を使用する前に、サイズフィルタアルゴリズム、サイズ閾値処理アルゴリズム、穴埋めアルゴリズム、形態学的穴埋めアルゴリズム、多部分間引きアルゴリズム、およびトポロジ保存間引きアルゴリズムの中での後処理アルゴリズムを適用することをさらに含む、請求項8に記載のコンピュータ可読媒体のインスタンス。
- 3次元画像内の3次元構造の境界を識別するためのコンピューティングシステムにおける方法をコンピューティングシステムに実施させるように構成されたコンテンツを集合的に有するコンピュータ可読媒体の1つ以上のインスタンスであって、前記方法は、
複数の3次元画像のそれぞれに関して、
前記3次元画像内の構造の境界を識別するための第1の試行の結果を受信することと、
前記第1の試行の結果をヒトに提示されるようにすることと、
複数の3次元画像のそれぞれに関して、前記第1の試行の結果に関するフィードバックを提供する前記ヒトによって発生される入力を受信することと、
前記複数の3次元画像の少なくとも一部、前記受信される結果の少なくとも一部、および提供されるフィードバックの少なくとも一部を使用し、深層学習ネットワークを訓練し、3次元画像内の3次元構造の境界を識別することと
を含む、コンピュータ可読媒体の1つ以上のインスタンス。 - 前記構造は、生体細胞内の細胞小器官である、請求項13に記載のコンピュータ可読媒体の1つ以上のインスタンス。
- フィードバックは、前記複数の3次元画像の第1の適切なサブセットに関する前記第1の試行の結果を承認し、前記複数の3次元画像の第2の適切なサブセットに関する前記第1の試行の結果を否認する、請求項13に記載のコンピュータ可読媒体の1つ以上のインスタンス。
- 前記複数の3次元画像のうちの少なくとも1つのそれぞれに関して、前記フィードバックは、前記結果を、構造の境界が独立して識別されるべきである2つ以上の領域に細分する、請求項13に記載のコンピュータ可読媒体の1つ以上のインスタンス。
- 前記深層学習ネットワークは、人工ニューラルネットワークのシーケンスである、請求項13に記載のコンピュータ可読媒体の1つ以上のインスタンス。
- 前記深層学習ネットワークは、U-netバリアントである、請求項13に記載のコンピュータ可読媒体の1つ以上のインスタンス。
- 各3次元画像は、2次元画像のスタックによって表わされる、請求項13に記載のコンピュータ可読媒体の1つ以上のインスタンス。
- セグメント化レシピデータ構造を集合的に記憶しているコンピュータ可読媒体の1つ以上のインスタンスであって、
前記データ構造は、複数のエントリを備え、
各エントリは、
異なる生物学的構造タイプを識別する情報と、
前記識別される生物学的構造タイプの1つ以上の生物学的構造を含有する画像をセグメント化するために、実施されるべきセグメント化測定のシーケンスを規定する情報と
を含み、
区別される生物学的構造タイプの1つ以上の生物学的構造を含有する画像がアクセスされると、前記区別される生物学的構造タイプをその情報が識別する前記データ構造のエントリが選択され得、前記選択されるエントリの情報によって規定されるセグメント化測定のシーケンスが、前記アクセスされた画像に関して実行され得る、コンピュータ可読媒体の1つ以上のインスタンス。 - 前記複数のエントリのそれぞれに関して、セグメント化測定の規定されるシーケンスは、セグメント化アルゴリズムを含む、請求項20に記載のコンピュータ可読媒体の1つ以上のインスタンス。
- 前記複数のエントリのそれぞれに関して、前記セグメント化測定の規定されるシーケンスは、前処理ステップを含む、請求項20に記載のコンピュータ可読媒体の1つ以上のインスタンス。
- 前記複数のエントリのそれぞれに関して、前記セグメント化測定の規定されるシーケンスは、後処理ステップを含む、請求項20に記載のコンピュータ可読媒体の1つ以上のインスタンス。
- 画像内の生物学的構造の境界を識別するためのコンピューティングシステムにおける方法をコンピューティングシステムに実施させるように構成されたコンテンツを集合的に有するコンピュータ可読媒体の1つ以上のインスタンスであって、前記方法は、
前記画像内に現れる生物学的構造タイプのインジケーションにアクセスすることと、
複数のエントリを含むセグメント化レシピデータ構造にアクセスすることであって、各エントリは、
異なる生物学的構造タイプを識別する情報と、
前記識別される生物学的構造タイプの1つ以上の生物学的構造を含有する画像をセグメント化するために、実施されるべきセグメント化測定のシーケンスを規定する情報と
を備える、ことと、
示される生物学的構造タイプをその情報が識別する前記データ構造のエントリを選択することと、
前記画像に、前記選択されるエントリの情報によって規定される前記セグメント化測定のシーケンスを受けさせ、前記画像内の前記示される生物学的構造タイプの生物学的構造のセグメント化を取得することと
を含む、コンピュータ可読媒体の1つ以上のインスタンス。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862752878P | 2018-10-30 | 2018-10-30 | |
US62/752,878 | 2018-10-30 | ||
US201862775775P | 2018-12-05 | 2018-12-05 | |
US62/775,775 | 2018-12-05 | ||
PCT/US2019/058894 WO2020092590A1 (en) | 2018-10-30 | 2019-10-30 | Segmenting 3d intracellular structures in microscopy images using an iterative deep learning workflow that incorporates human contributions |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022506135A true JP2022506135A (ja) | 2022-01-17 |
Family
ID=70327510
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021523307A Pending JP2022506135A (ja) | 2018-10-30 | 2019-10-30 | ヒトの寄与を組み込む反復的深層学習フローを使用した顕微鏡画像内の3d細胞間構造のセグメント化 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11501446B2 (ja) |
EP (1) | EP3874451A4 (ja) |
JP (1) | JP2022506135A (ja) |
AU (1) | AU2019369516B2 (ja) |
CA (1) | CA3117959A1 (ja) |
WO (1) | WO2020092590A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2019369516B2 (en) * | 2018-10-30 | 2023-11-23 | Allen Institute | Segmenting 3D intracellular structures in microscopy images using an iterative deep learning workflow that incorporates human contributions |
EP4189065A1 (en) * | 2020-07-30 | 2023-06-07 | Allen Institute | Systems, devices, and methods for compound screening using predictive tagging |
CN112101362A (zh) * | 2020-08-25 | 2020-12-18 | 中国科学院空间应用工程与技术中心 | 用于空间科学实验数据的语义分割方法及*** |
CN112784757B (zh) * | 2021-01-25 | 2022-04-08 | 哈尔滨工业大学 | 海上sar舰船目标显著性检测与识别方法 |
US11798288B2 (en) | 2021-03-16 | 2023-10-24 | Toyota Research Institute, Inc. | System and method for generating a training set for improving monocular object detection |
WO2023208973A1 (en) * | 2022-04-29 | 2023-11-02 | Merck Patent Gmbh | A semi-automatic segmentation system for particle measurements from microscopy images |
CN116757967B (zh) * | 2023-08-18 | 2023-11-03 | 武汉互创联合科技有限公司 | 胚胎图像碎片去除方法、计算机设备及可读存储介质 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7711174B2 (en) * | 2004-05-13 | 2010-05-04 | The Charles Stark Draper Laboratory, Inc. | Methods and systems for imaging cells |
US8214157B2 (en) * | 2006-03-31 | 2012-07-03 | Nodality, Inc. | Method and apparatus for representing multidimensional data |
US8483432B2 (en) * | 2009-12-23 | 2013-07-09 | General Electric Company | Methods for automatic segmentation and temporal tracking |
US9684960B2 (en) * | 2014-01-25 | 2017-06-20 | Pangea Diagnostics Limited | Automated histological diagnosis of bacterial infection using image analysis |
EP3146463B1 (en) * | 2014-05-23 | 2020-05-13 | Ventana Medical Systems, Inc. | Systems and methods for detection of biological structures and/or patterns in images |
WO2016172612A1 (en) * | 2015-04-23 | 2016-10-27 | Cedars-Sinai Medical Center | Automated delineation of nuclei for three dimensional (3-d) high content screening |
WO2017053592A1 (en) * | 2015-09-23 | 2017-03-30 | The Regents Of The University Of California | Deep learning in label-free cell classification and machine vision extraction of particles |
AU2017348111B2 (en) * | 2016-10-27 | 2023-04-06 | Progenics Pharmaceuticals, Inc. | Network for medical image analysis, decision support system, and related graphical user interface (GUI) applications |
US11004199B2 (en) * | 2016-11-11 | 2021-05-11 | University Of South Florida | Automated stereology for determining tissue characteristics |
US20180144244A1 (en) * | 2016-11-23 | 2018-05-24 | Vital Images, Inc. | Distributed clinical workflow training of deep learning neural networks |
JP2020510463A (ja) * | 2017-01-27 | 2020-04-09 | アーテリーズ インコーポレイテッド | 全層畳み込みネットワークを利用する自動化されたセグメンテーション |
EP3376472A1 (en) * | 2017-03-13 | 2018-09-19 | Koninklijke Philips N.V. | Anatomical measurements from ultrasound data |
US10032281B1 (en) * | 2017-05-03 | 2018-07-24 | Siemens Healthcare Gmbh | Multi-scale deep reinforcement machine learning for N-dimensional segmentation in medical imaging |
US10915729B2 (en) * | 2018-02-20 | 2021-02-09 | The Regents Of The University Of Michigan | Three-dimensional cell and tissue image analysis for cellular and sub-cellular morphological modeling and classification |
AU2019369516B2 (en) * | 2018-10-30 | 2023-11-23 | Allen Institute | Segmenting 3D intracellular structures in microscopy images using an iterative deep learning workflow that incorporates human contributions |
-
2019
- 2019-10-30 AU AU2019369516A patent/AU2019369516B2/en active Active
- 2019-10-30 EP EP19878086.8A patent/EP3874451A4/en active Pending
- 2019-10-30 WO PCT/US2019/058894 patent/WO2020092590A1/en unknown
- 2019-10-30 US US16/669,089 patent/US11501446B2/en active Active
- 2019-10-30 JP JP2021523307A patent/JP2022506135A/ja active Pending
- 2019-10-30 CA CA3117959A patent/CA3117959A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20200134831A1 (en) | 2020-04-30 |
EP3874451A4 (en) | 2022-11-09 |
EP3874451A1 (en) | 2021-09-08 |
US11501446B2 (en) | 2022-11-15 |
AU2019369516B2 (en) | 2023-11-23 |
AU2019369516A1 (en) | 2021-05-20 |
CA3117959A1 (en) | 2020-05-07 |
WO2020092590A1 (en) | 2020-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2019369516B2 (en) | Segmenting 3D intracellular structures in microscopy images using an iterative deep learning workflow that incorporates human contributions | |
US20230127698A1 (en) | Automated stereology for determining tissue characteristics | |
Stegmaier et al. | Real-time three-dimensional cell segmentation in large-scale microscopy data of developing embryos | |
CN111051955B (zh) | 通过使用卷积神经网络来标识利用数字全息显微镜所获取的细胞图像的品质 | |
Chen et al. | The Allen Cell and Structure Segmenter: a new open source toolkit for segmenting 3D intracellular structures in fluorescence microscopy images | |
Xu et al. | SOAX: a software for quantification of 3D biopolymer networks | |
Dima et al. | Comparison of segmentation algorithms for fluorescence microscopy images of cells | |
Meijering | Cell segmentation: 50 years down the road [life sciences] | |
He et al. | Automated three-dimensional tracing of neurons in confocal and brightfield images | |
CN108426994A (zh) | 分析数字全息显微术数据以用于血液学应用 | |
JP6791245B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
US11080830B2 (en) | Systems and methods for segmentation and analysis of 3D images | |
Lu | Neuronal tracing for connectomic studies | |
Sbalzarini | Seeing is believing: quantifying is convincing: computational image analysis in biology | |
Son et al. | Morphological change tracking of dendritic spines based on structural features | |
Kromp et al. | Deep Learning architectures for generalized immunofluorescence based nuclear image segmentation | |
Delpiano et al. | Automated detection of fluorescent cells in in‐resin fluorescence sections for integrated light and electron microscopy | |
Kar et al. | Benchmarking of deep learning algorithms for 3D instance segmentation of confocal image datasets | |
Liu et al. | Using simulated training data of voxel-level generative models to improve 3D neuron reconstruction | |
dos Santos et al. | Automated nuclei segmentation on dysplastic oral tissues using cnn | |
Wouterlood et al. | Counting contacts between neurons in 3D in confocal laser scanning images | |
Niederlein et al. | Image analysis in high content screening | |
Hodneland et al. | Automated detection of tunneling nanotubes in 3D images | |
Turner et al. | Automated image analysis technologies for biological 3D light microscopy | |
Dai et al. | Exceeding the limit for microscopic image translation with a deep learning-based unified framework |