JP6262748B2 - 教師あり形状ランク付けに基づく生物学的単位の識別 - Google Patents

教師あり形状ランク付けに基づく生物学的単位の識別 Download PDF

Info

Publication number
JP6262748B2
JP6262748B2 JP2015537665A JP2015537665A JP6262748B2 JP 6262748 B2 JP6262748 B2 JP 6262748B2 JP 2015537665 A JP2015537665 A JP 2015537665A JP 2015537665 A JP2015537665 A JP 2015537665A JP 6262748 B2 JP6262748 B2 JP 6262748B2
Authority
JP
Japan
Prior art keywords
shape
data point
processor
computer
hyperplane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015537665A
Other languages
English (en)
Other versions
JP2015533434A5 (ja
JP2015533434A (ja
Inventor
ファン,ユチ
リッシャー,ジェンズ
サンタマリア−パン,アルベルト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2015533434A publication Critical patent/JP2015533434A/ja
Publication of JP2015533434A5 publication Critical patent/JP2015533434A5/ja
Application granted granted Critical
Publication of JP6262748B2 publication Critical patent/JP6262748B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20072Graph-based image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20152Watershed segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

実施形態は、一般にデジタル画像の解析に関し、より具体的には、生物学的組織サンプルのデジタル画像の解析に関する。
セグメンテーションという用語は、本明細書で使用される場合、デジタル画像内の生物学的単位(細胞など)の境界の識別を意味する。デジタル画像は、顕微鏡を用いて得られる場合がある。弱い又はデータ駆動型セグメンテーションが、細胞の境界を規定するために使用される場合がある。例えば、ウォーターシェッド変換(watershed transform)は、細胞の画像をセグメント化するために使用されてきた1つの画像処理技術である。ウォーターシェッド変換によって、デジタル画像は、三次元位相面としてモデル化される場合があり、このとき、画像内の画素値(例えば、輝度レベル又は階調レベル)は、地理的な高さを表す。
しかしながら、様々な組織タイプの組織構造の差異に起因して、弱いセグメンテーションは、特定の組織タイプの用途への大幅な適合化及び最適化なしに正確なセグメンテーションを生成しない場合がある。例えば、弱いセグメンテーションアルゴリズムは、画像をオーバーセグメント化する場合もあれば(例えば、単一の細胞のように見えるものが、実際は細胞の一部に過ぎない場合がある)、画像をアンダーセグメント化する場合もある(例えば、単一の細胞のように見えるものが、実際はいくつかの異なる細胞の組合せである場合がある)。さらに、画像は部分的に、弱いセグメンテーションアルゴリズムでは適切にセグメント化されない場合がある。これは、画像のある領域に適したセグメンテーションパラメータが、同じ画像の他の領域では上手く機能しない場合があるためである。したがって、弱いセグメンテーションアルゴリズムは、多くの形態学的差異を有する多数の細胞のセグメンテーションに十分な程度にロバストでない場合がある。
一実施形態は、生物学的組織のデジタル画像をセグメント化するコンピュータ実装方法に関する。コンピュータは、プロセッサ及びプロセッサに動作可能に接続されたメモリを含む。本方法は、メモリにおいて、生物学的単位の適合例の形状及び生物学的単位の非適合例の形状を表す訓練データから計算される複数のサポートベクターであって、ベクトル空間に超平面を規定する複数のサポートベクターにアクセスすることを含む。本方法は、メモリにおいて、生物学的組織のデジタル画像を表す画像データにアクセスすること、プロセッサによって、画像データを用いてデジタル画像において第1の形状及び一組の第2の要素形状を識別すること、プロセッサによって、第1の形状に対応する、画像データの第1のデータ点及び一組の第2の要素形状に対応する、画像データの第2のデータ点をベクトル空間に写像すること、並びに、プロセッサによって、第1のデータ点及び第2のデータ点のどちらがより大きな、超平面からの符号付き距離を有するかに基づいて第1の形状又は一組の第2の要素形状を用いてデジタル画像をセグメント化することを含む。第1の形状は、一組の第2の要素形状の和集合を含む。ある実施形態では、デジタル画像の各セグメントは、細胞を表してもよい。
ある実施形態では、本方法は、各細胞のカラーコーディングを用いて、セグメント化されたデジタル画像を、プロセッサに動作可能に接続されたディスプレイ上に表示することを含んでもよく、この場合、カラーコーディングは、セグメンテーションの品質を表す。
ある実施形態では、デジタル画像は、超平面と第1のデータ点との間の符号付き距離が、超平面と第2のデータ点との間の符号付き距離よりも大きな場合、第1の形状を用いてセグメント化されてもよい。ある実施形態では、デジタル画像は、超平面と第2のデータ点との間の符号付き距離が、超平面と第1のデータ点との間の符号付き距離よりも大きな場合、一組の第2の要素形状を用いてセグメント化されてもよい。
ある実施形態では、本方法は、メモリに訓練データを記憶することを含んでいてもよい。ある実施形態では、本方法は、プロセッサを用いて複数のサポートベクターを計算することを含んでいてもよい。ある実施形態では、本方法は、プロセッサによって一組の第2の要素形状の各形状の線形結合を計算することを含んでいてもよい。第2のデータ点は、線形結合に対応してもよい。線形結合は、必須ではないが、サポートベクターマシンに関係するカーネル変換に適用されてもよい。
ある実施形態では、第1の形状及び一組の第2の要素形状の各形状の線形結合はそれぞれ、画像データにおいて、それぞれ第1の形状及び線形結合の境界に対応する点のヒストグラムとして表されてもよく、この場合、各点は、極座標平面に配置される。本方法は、プロセッサによって、第1の形状及び線形結合に対応するヒストグラムをそれぞれ用いて第1のデータ点及び第2のデータ点を計算することを含んでいてもよい。ある実施形態では、本方法は、第1のデータ点及び第2のデータ点を計算する前に、形状のそれぞれの最小慣性の軸が、極座標平面の0度の半径方向と一致するように第1の形状及び一組の第2の要素形状の線形結合のそれぞれを回転させることを含んでいてもよい。最小慣性の軸は、形状のそれぞれの境界上の点のそれぞれまでの距離の2乗の積分が最小となる直線を含む。
ある実施形態では、本方法は、プロセッサによって、特定のパラメータを用いて画像データに弱いセグメンテーションアルゴリズム(例えば、所定のフラッディングレベルのウォーターシェッド変換)を適用することを含んでいてもよい。
ある実施形態では、本方法は、プロセッサによって、画像データを用いてデジタル画像において一組の第3の要素形状を識別することを含んでいてもよい。一組の第2の要素形状の1以上の形状は、一組の第3の要素形状の和集合を含んでいてもよい。本方法は、プロセッサによって、一組の第3の要素形状に対応する第3のデータ点をベクトル空間に写像することをさらに含んでいてもよい。セグメント化は、第1のデータ点、第2のデータ点、及び第3のデータ点のどれがより大きな、超平面からの符号付き距離を有するかに基づいて第1の形状、一組の第2の要素形状、又は一組の第3の要素形状を用いてデジタル画像をセグメント化することを含んでいてもよい。
ある実施形態では、デジタル画像は、超平面と第1のデータ点との間の符号付き距離が、超平面と第2のデータ点との間の符号付き距離及び超平面と第3のデータ点との間の符号付き距離のどちらよりも大きな場合、第1の形状を用いてセグメント化されてもよい。デジタル画像は、超平面と第2のデータ点との間の符号付き距離が、超平面と第1のデータ点との間の符号付き距離及び超平面と第3のデータ点との間の符号付き距離のどちらよりも大きな場合、一組の第2の要素形状を用いてセグメント化されてもよい。デジタル画像は、超平面と第3のデータ点との間の符号付き距離が、超平面と第1のデータ点との間の符号付き距離及び超平面と第2のデータ点との間の符号付き距離のどちらよりも大きな場合、一組の第3の要素形状を用いてセグメント化されてもよい。
ある実施形態では、本方法は、プロセッサによって、特定のパラメータを用いて画像データに弱いセグメンテーションアルゴリズム(例えば、所定のフラッディングレベルのウォーターシェッド変換)を適用することを含んでいてもよい。
一実施形態では、非一時的なコンピュータ可読媒体は、コンピュータ実行可能命令であって、コンピュータによって実行されたときにコンピュータに、生物学的単位の適合例の形状及び生物学的単位の非適合例の形状を表す訓練データから計算される複数のサポートベクターにアクセスさせ、生物学的組織のデジタル画像を表す画像データにアクセスさせ、第1の形状が一組の第2の要素形状の和集合を含むように、画像データを用いてデジタル画像において第1の形状及び一組の第2の要素形状を識別させ、 第1の形状に対応する、画像データの第1のデータ点及び一組の第2の要素形状に対応する、画像データの第2のデータ点をベクトル空間に写像させ、第1のデータ点及び第2のデータ点のどちらがより大きな、超平面からの符号付き距離を有するかに基づいて第1の形状及び一組の第2の要素形状の一方を用いてデジタル画像をセグメント化させるコンピュータ実行可能命令を記憶している。複数のサポートベクターは、ベクトル空間に超平面を規定する。
ある実施形態では、非一時的なコンピュータ可読媒体は、コンピュータによって実行されたときにコンピュータに、一組の第2の要素形状を生成するために所定のフラッディングレベルで画像データに弱いセグメンテーションアルゴリズムを適用させるコンピュータ実行可能命令を含んでいてもよい。
一実施形態では、生物学的組織のデジタル画像をセグメント化するためのシステムは、プロセッサと、該プロセッサに接続され、かつ生物学的組織のデジタル画像を表す画像データを受信するように構成された入力と、プロセッサに接続されたメモリとを含む。メモリは、コンピュータ実行可能命令であって、プロセッサによって実行されたときにプロセッサに、生物学的単位の適合例の形状及び生物学的単位の非適合例の形状を表す訓練データに基づく複数のサポートベクターにアクセスさせ、第1の形状が一組の第2の要素形状の和集合を含むように、生物学的組織のデジタル画像を表す画像データを用いてデジタル画像において第1の形状及び一組の第2の要素形状を識別させ、第1の形状に対応する、画像データの第1のデータ点及び一組の第2の要素形状に対応する、画像データの第2のデータ点をベクトル空間に写像させ、並びに、第1のデータ点及び第2のデータ点のどちらがより大きな、超平面からの符号付き距離を有するかに基づいて第1の形状及び一組の第2の要素形状の一方を用いてデジタル画像をセグメント化させるコンピュータ実行可能命令を含む。複数のサポートベクターは、ベクトル空間に超平面を規定する。
ある実施形態では、デジタル画像は、超平面と第1のデータ点との間の符号付き距離が、超平面と第2のデータ点との間の符号付き距離よりも大きな場合、第1の形状を用いてセグメント化されてもよい。ある実施形態では、デジタル画像は、超平面と第2のデータ点との間の符号付き距離が、超平面と第1のデータ点との間の符号付き距離よりも大きな場合、一組の第2の要素形状を用いてセグメント化されてもよい。
ある実施形態では、メモリは、プロセッサによって実行されたときにプロセッサに、一組の第2の要素形状を生成するために特定のパラメータを用いて画像データに弱いセグメンテーションアルゴリズム(例えば、所定のフラッディングレベルのウォーターシェッド変換)を適用させるコンピュータ実行可能命令を含んでいてもよい。ある実施形態では、メモリは、プロセッサによって実行されたときにプロセッサに、一組の第2の要素形状の各形状の線形結合を計算させるコンピュータ実行可能命令をさらに含んでもよく、この場合、第2のデータ点は、線形結合に対応する。
ある実施形態では、第1の形状及び一組の第2の要素形状の各形状の線形結合はそれぞれ、画像データにおいて、それぞれ第1の形状及び線形結合の境界に対応する点のヒストグラム(これに限定されるわけではないが)として表されてもよく、この場合、各点は、極座標平面に配置される。ヒストグラムは、形状情報の他に外観情報(appearance information)を含んでいてもよい。外観情報は、テクスチャ及び強度ベースの測定値を含んでいてもよい。メモリは、プロセッサによって実行されたときにプロセッサに、第1の形状及び線形結合に対応するヒストグラムをそれぞれ用いて第1のデータ点及び第2のデータ点を計算させるコンピュータ実行可能命令を含んでいてもよい。ある実施形態では、メモリは、プロセッサによって実行されたときにプロセッサに、第1のデータ点及び第2のデータ点を計算する前に形状のそれぞれの最小慣性の軸が、極座標平面の0度の半径方向と一致するように第1の形状及び一組の第2の要素形状の線形結合のそれぞれを回転させるコンピュータ実行可能命令を含んでもよく、この場合、最小慣性の軸は、形状のそれぞれの境界上の点のそれぞれまでの距離の2乗の積分が最小となる。
実施形態の特徴及び態様が、添付図面を参照しながら以下で説明される。なお、添付図面において、要素は、必ずしも一定の縮尺で描かれていない。
一実施形態に係る、生物学的組織のデジタル画像をセグメント化する方法の一例を描いている。 一実施形態に係る、訓練セット内の生物学的単位の例のクラスの一例を描いている。 一実施形態に係る、訓練セット内の非生物学的単位の例のクラスの一例を描いている。 一実施形態に係る、あるセグメンテーションスケールレベルでセグメント化された、細胞のデジタル画像の一例を描いている。 一実施形態に係る、形状記述子を用いて検出された細胞のデジタル画像の一例を描いている。 一実施形態に係る、極座標平面に対して向きを合わせて配置された、図4Aの細胞を描いている。 一実施形態に係る、図4Bに示す細胞の境界点のヒストグラムを描いている。 一実施形態に係る、細胞セグメントの一例といくつかの細胞セグメントの平均との比較を描いている。 一実施形態に係る、ベクトル空間への図5Aの細胞セグメントの写像の一例を描いている。 一実施形態に係る、細胞のデジタル画像の一部に関する5つのレベルの階層的セグメンテーションの一例を描いている。 一実施形態に係る、図6Aに示す細胞の一部に関する形状類似性ツリーの例を描いている。 一実施形態に係る、ベクトル空間への、図6Aに示す細胞の一部の写像の一例を描いている。 一実施形態に係る、細胞のセグメント化されたデジタル画像の例を描いている。 一実施形態に係る、細胞のセグメント化されたデジタル画像の例を描いている。 一実施形態に係る、細胞のセグメント化されたデジタル画像の例を描いている。 一実施形態に係る、細胞のセグメント化されたデジタル画像の例を描いている。 一実施形態に係る、細胞のセグメント化されたデジタル画像の例を描いている。 一実施形態に係る、細胞のセグメント化されたデジタル画像の例を描いている。 一実施形態に係る、細胞のセグメント化されたデジタル画像の例を描いている。 一実施形態に係る、細胞のセグメント化されたデジタル画像の例を描いている。 一実施形態に係る、デジタル画像をセグメント化する方法の一例のフローチャートである。 1つ以上の実施形態を実施するためのシステムの一例のブロック図である。
実施形態は、生物学的組織のデジタル画像において生物学的単位をセグメント化するシステム及び方法に関する。デジタル画像は、例えば、顕微鏡及びカメラを用いて得られてもよい。生物学的単位という用語は、本明細書で使用される場合、デジタル画像内の個別的な生物学的構造及び部分、構成要素、又は生物学的構造の組合せを意味する。デジタル画像内の、ターゲットの生物学的単位は、細胞を含んでもよいが、必ずしもこれに限定されない。例示的なターゲット細胞は、例えば、i)上皮細胞及び/もしくは間質細胞又はii)壊死細胞を含んでいてもよい。
組織構造のパターンは、試験される生物学的組織のタイプに応じて変化する。したがって、特定の組織タイプへのセグメンテーションアルゴリズムの適合化及び/又は最適化が必要な場合がある。図1は、一実施形態に係る、生物学的組織のデジタル画像をセグメント化する方法の一例の概略図を描いている。例示的な方法は、デジタル画像における生物学的単位のランク付けに基づく適応セグメンテーション処理を実現する。
生物学的単位の訓練セットが与えられている場合、ユーザは、一組のユーザ注釈10を生成するために訓練セットの各生物学的単位をランク付けしてもよい。例えば、ユーザは、生物学的単位の形状の品質に関して「最良の」、「普通の」、もしくは「最悪な」形状として、又は、形状の品質に基づいて「適合」もしくは「非適合」形状として訓練セットの各生物学的単位の形状をランク付けしてもよい。次に、ユーザ注釈10は、分類器又はランク付けモデル20を学習するために使用されてもよい。ランク付けモデル20の分類器は、例えば、ランダムフォレスト、マルコフ確率場、ベイジアンネットワーク、確率伝搬、サポートベクターマシン、構造サポートベクターマシン、及び/又はカーネル法を含んでいてもよい。ランク付けモデル20は、異なるクラスの生物学的単位間のエネルギー又はコスト関係を記述した関数30に関連付けられてもよい。これらの関係は、例えば、デジタル画像におけるターゲットサンプル中の生物学的単位との比較の土台として使用される品質基準を提供することができる。
1つ以上の局所演算40は、最初に弱くセグメント化された画像50の特定のスケールレベルにおいて識別された各生物学的単位に適用され得る一組の規則によって規定される。局所演算40は、例えば、階層的な一組のセグメンテーション(図6A〜図6Cに関して以下で説明されるものなど)において実行されるか、又は所定のセグメンテーションのライブラリを使用する分割、マージ、又は消去の演算を含んでいてもよい。デジタル画像のセグメンテーションは、提案されたセグメンテーションにおいて識別された生物学的単位のランクを高くする、最も低いエネルギーレベル又はコストを有する局所演算40を関数30に従って承認することによって最適化されてもよい。階層の異なるセグメンテーションにおける生物学的単位よりも高いランクを有する、提案されたセグメンテーションにおける生物学的単位は、訓練データにおける「最良の」又は「適合性のある」生物学的単位の形状に最も類似した形状を有する。ランクを低下させる局所演算40は拒絶されてもよい。
ある実施形態では、生物学的組織のデジタル画像をセグメント化する方法は、訓練データから計算された複数のサポートベクターにアクセスすることを含む。サポートベクターは、データを分類し、解析するためのサポートベクターマシンによって使用される。サポートベクターマシンは、教師あり学習法(supervised learning method)でデータを解析し、パターンを認識するための、統計及びコンピュータサイエンスにおけるコンセプトである。このようなサポートベクターマシンは、1つ、2つ、又はそれ以上のクラスの訓練例に基づいて、各入力に関して当該の入力が1つ、2つ、又はそれ以上の可能なクラスのいずれに分類されるのかを予測するために使用され得る(すなわち、非確率的な二又は多クラスの分類器)。一実施形態では、訓練データは、例示的な形状の1つ、2つ、又はそれ以上のクラスのそれぞれにおける様々な形状を表す。図2Aは、良好なセグメンテーションを表す、細胞のような形状(すなわち、適合形状)を表す例100のクラスの一部を描いている。図2Bは、不満足なセグメンテーションを表す、細胞に似ていない形状(すなわち、非適合形状)を表す例102のクラスの一部を描いている。サポートベクターは、ベクトル空間に写像された訓練データの両方のクラス(例えば、適合クラス及び非適合クラス)の例を表すものであり、ベクトル空間に超平面を規定するために使用されてもよい。超平面は、あるクラスのサポートベクターを含む、ベクトル空間の一部分と別のクラスのサポートベクターを含む、ベクトル空間の別の部分とを分離する、良好な及び不良のセグメンテーションを分類するための直線又は曲線である。
本方法は、デジタル画像において第1の形状及び一組の第2の要素形状を識別することを含む。形状は、デジタル画像の階層的セグメンテーションを構成するために弱いセグメンテーションアルゴリズム(ウォーターシェッド変換など)を用いて異なるスケールレベルでセグメント化された細胞を表す。例えば、第1の形状は、一組の第2の要素形状の和集合を含んでいてもよい。第1の形状を表す第1のデータ点が、ベクトル空間に写像され、一組の第2の要素形状(例えば、当該の一組の中の形状の平均)を表す第2のデータ点も同様に、ベクトル空間に写像される。第1のデータ点と超平面との間の符号付き距離が、第2のデータ点と超平面との間の符号付き距離と比較される。デジタル画像の最適な又はより最適なセグメンテーションは、第1のデータ点又は第2のデータ点のどちらがより大きな、超平面からの符号付き距離を有するかに基づいて第1の形状又は一組の第2の要素形状のどちらかを用いて得られてもよい。
図3は、一実施形態に係る、あるスケールレベルにおける二次元形状200の細胞のセグメンテーションの一例を描いている。二次元形状200は、ユークリッド空間における単純な閉曲線として表されている。閉曲線200の内部及び最も外側の境界は、図3に示すものよりも高いスケールレベルにおける、デジタル画像内の単一セグメントを表している。セグメンテーションの精度に応じて、形状200は、細胞(すなわち、形状200は、最適にセグメント化される)、細胞の一部(すなわち、形状200は、オーバーセグメント化される)、又はいくつかの細胞の組合せ(すなわち、形状200は、アンダーセグメント化される)を含み得る。以下で述べられるように、画像における細胞の最適なセグメンテーションは、2つ以上の異なるセグメンテーションスケールレベルにおけるセグメント形状の、訓練データとの類似性を比較するによって得られてもよい。本例では、形状200は、単一の形状200のスケールレベルとは異なるスケールレベルでのセグメンテーションを表す相互排他的な重なり合わない複数の要素形状202a〜202jに細分化され得る。言い換えれば、形状200は、要素形状202a〜202jの和集合として表現し得る。
一実施形態では、細胞のセグメンテーションは、最適化問題として提起されてもよく、この場合、画像内の各形状の累積コストは、次式に従って最小化される。
最小化の式(1)は、異なる形状と形状との組合せの数が、スケールレベル及びセグメントの数の増加に応じて指数関数的に増加する場合、NP困難な最適化問題である。複雑さを低減するために、式(1)は、あるセグメンテーションスケールレベルにおける形状の部分集合が、隣接する次のセグメンテーションスケールレベルにおけるただ1つの形状に含まれる(すなわち、あるスケールレベルにおける形状が、隣接するより低いレベルにおける形状の部分集合の和集合となる)ように、セグメンテーションの組合せの数を制限することによって最小化されてもよい。図3を参照すると、例えば、形状200は、この制限下での要素形状202a〜202jの和集合である。
一実施形態では、細胞の境界又は形状及びスケールは、所定の形状記述子に基づいて特定されてもよい。形状記述子は、画像内の形状と訓練データ内の例との類似性の平均を規定するために使用されてもよい。
デジタル画像内の2つの細胞の形状の類似性及びスケールは、極座標ベースの形状記述子(例えば、極座標平面に配置された二次元リング(上述したものなど))を用いて決定されてもよい。図4Aは、細胞300のデジタル画像の一例を描いている。最初に、図4Bに示すように、細胞300は、極座標平面の0度の半径方向310が細胞の向きと一致するように回転されてもよい。最小慣性の軸(ALI:axis of least inertia)である、細胞の向きは、極座標平面の極から細胞300の境界上の各点までの距離の2乗の積分が最小となる直線として規定されてもよい。細胞300の向きを合わせた後、細胞の境界点が、モルフォロジー演算を用いてサンプリングされてもよい。例えば、図4Bに示されているように、極座標平面は、12の30度ビンに分割されてもよい。細胞300の各境界点は、二つ組(two-tuple)(θ,ρ)によって極座標系において表されてもよく、この場合、θは、境界点の角座標を示しており、ρは、極と境界点との間の距離である。すべての境界点のヒストグラム(図4Cに示すものなど)は、以下の式に従って各点を対応するビンに射影することによって生成されてもよい。
1、2又はそれ以上のクラス(例えば、正の例のクラス及び負の例のクラス)を有する、形状の所定の訓練セットに関して、距離メトリックdは、上述したように適合サポートベクターのクラスと非適合サポートベクターのクラスとを分離する、超平面に関する所定の点の射影として規定されてもよい。訓練データセットの要素は、線形分離可能であるため、超平面は、次式のようにサポートベクターに関して表現し得る。
式中、Nsはサポートベクターの数であり、yiは対応するクラス(例えば、適合クラス又は非適合クラス)であり、αiはラグランジュ乗数である。ベクトル空間の任意の点から超平面までの符号付き距離の関数d(x)は、次式の通りである。
d>0であれば、xは適合クラスにより類似し、d<0であれば、xは非適合クラスにより類似する。Φ:Rn→HがRnからヒルベルト空間Hへの写像であり、KがK(xi,xj)=<Φ(xi),Φ(xj)>として規定されるカーネル関数であれば、符号付き距離の関数d(x)は、以下のように書き換えることができる。
一実施形態によれば、式(5)としての関数d(x)は、2つの形状を比較するために使用され得るランク付け関数を導き出す。2つの形状CA及びCBに関して、d(CA)>d(CB)であれば、CAはCBよりも適合クラスに類似している。これに基づいて、類似性ツリーを構成することができる。
式(6)は、以下のように書き換えることができる。
多対一のランク付け関数は、符号付き距離d(x)に関して以下のように表現し得る。
式(8)は、画像内の形状の部分群間の類似性を計算する効率的な方法の一例を提供する。
一実施形態によれば、図5Aは、形状400の一例と形状400a、400b、及び400cの平均形状402との比較を描いている。形状400は、形状400a、400b、及び400cの和集合を含み、これらは、2つの連続したスケールレベルでのセグメンテーションを表している。言い換えれば、形状400a、400b、及び400cは、スケールレベルl−1におけるセグメンテーションを表しており、形状400は、階層的にl−1よりも1つレベルが上のスケールレベルlにおける異なるセグメンテーションを表している。図5Bは、ベクトル空間410への形状400及び402の写像を描いている。適合形状412を表す複数のサポートベクター及び非適合形状414を表す複数のサポートベクターは、ベクトル空間410を2つの領域(適合領域に関しては「+」の印が付けられており、非適合領域に関しては「−」の印が付けられている)に分離する超平面416を規定するために使用されてもよい。破線418及び419は、超平面416のマージンを表している。ベクトル空間410内の第1のデータ点420は、ベクトル空間410の適合領域に入る形状400を表している。ベクトル空間410内の第2のデータ点430は、同様にベクトル空間410の適合領域に入る平均形状402を表している。目安として、形状400a、400b、及び400cのそれぞれが、ベクトル空間410内に、それぞれ点422、424、及び426として描かれている。第1の符号付き距離440は、第1のデータ点420と超平面416との間の符号付き距離であり、第2の符号付き距離442は、第2のデータ点430と超平面416との間の符号付き距離である。この例から分かるように、第1のデータ点420が、第2のデータ点430に比べて適合領域において超平面416から遠いため、第1の符号付き距離440は、第2の符号付き距離442を上回っている。
図3に関して上述したように、ある実施形態では、位相幾何学的な制限が、異なるスケールレベルの、異なるパラメータを有する弱いセグメンテーションに課されてもよい。図6Aは、一実施形態に係る、生物学的組織のデジタル画像の一部の5つのレベルの階層的セグメンテーションの一例を描いている。任意の数のレベル及びパラメータの弱いセグメンテーションが使用されてもよいことが理解される。この例において、レベルA〜Eのそれぞれは、異なるレベルのセグメンテーションを表しており、ここでは、レベルEは、ただ1つの形状が存在する最も高いレベルであり、レベルAは、多くの要素形状を含む最も低いレベルである。中間レベルB、C、及びDはそれぞれ、隣接するレベルからの要素形状の様々な組合せを含む。位相幾何学的な制限が、式(1)を最小にするために課されてもよく、その場合、あるセグメンテーションスケールレベルの形状のそれぞれは、隣接するセグメンテーションスケールレベルのただ1つの形状に含まれる。例えば、図6Aにおいて、スケールレベルBの1つの形状である形状B1は、隣接する(より低い)スケールレベルAの形状である形状A1、A2、及びA3の和集合である。さらに、スケールレベルAの形状A1、A2、及びA3とスケールレベルBの、形状B1以外の任意の形状との共通部分は、空集合である。本実施形態では、これらの位相幾何学的な制限は、すべてのスケールレベルのすべての形状セグメントに適用されている。
これらの制限を用いて、様々な異なる階層的スケールレベル(例えば、スケールレベルA、B、C、D、及びE)のセグメンテーションは、形状類似性ツリーとして表され得る。図6Bは、一実施形態に係る、図6Aに示す形状の一部に関する形状類似性ツリー520及び530の例を描いている。類似性ツリー520のルートは、最小コストの形状(本例では、521で示されている形状C1)を表すノード521であり、類似性ツリー520のリーフは、ノード524〜529(本例では、524〜529で示されている形状A1〜A6)である。類似性ツリーにおける所定のセグメンテーションスケールレベルの形状は、ランク付け関数d(x)(式8)に従って、隣接するセグメンテーションスケールレベルの形状に関連してランク付けされる。例えば、図6Bに示すように、形状C1521は、式(8)に従って、要素形状B1522及びB2523に関連してランク付けされてもよい。同様に、形状B1522及びB2523は、それぞれ要素形状A1〜A3(524〜526)及びA4〜A6(527〜529)に関連してランク付けされてもよい。適合例(例えば、図2Aに示す適合例100など)に最も密接に一致する形状又は一組の形状は、画像内の、複数のセグメンテーションスケールレベルにおける各形状の最小累積コストに応じて決定されてもよい。
ある実施形態では、形状類似性ツリーは、より大きな形状のランク付けが、より低いスケールレベルの要素形状の平均のランク付けよりも高い場合、要素形状の和集合を含むより大きな形状を生成するためにより低いスケール(例えば、スケールレベルl−1)の要素形状を再帰的にマージすることによって構成されてもよい。
図6Cは、ベクトル空間550への、画像の形状セグメントの写像の一例を描いている。適合形状540を表す複数のサポートベクター及び非適合形状542を表す複数のサポートベクターは、ベクトル空間550を2つの領域(適合領域に関しては「+」の印が付けられており、非適合領域に関しては「−」の印が付けられている)に分離する超平面544を規定するために使用されてもよい。破線546及び548は、超平面544のマージンを表している。形状C1に対応する第1のデータ点521は、ベクトル空間550の適合領域(「+」)に写像される。形状B1522及びB2523の平均を表す第2のデータ点560は、ベクトル空間550に写像され、同様に、ベクトル空間の適合領域(「+」)に入る。第1の符号付き距離570は、第1のデータ点521と超平面544との間の符号付き距離であり、第2の符号付き距離572は、第2のデータ点560と超平面544との間の符号付き距離である。この例から分かるように、第1のデータ点521が、第2のデータ点560に比べて適合領域において超平面544から遠いため、第1の符号付き距離570は、第2の符号付き距離572を上回っている。このように、式(8)に従って、形状C1521は、形状B1522及びB2523の平均よりも高くランク付けされる。
この同じ原理が、形状A1〜A3(524〜526)及びA4〜A6(527〜529)並びにそれぞれの平均形状562及び564の写像に適用される。平均形状562及び564のそれぞれと超平面544との間の符号付き距離573及び574は、平均形状560と超平面544との間の符号付き距離よりも小さいため、形状B1及びB2(それぞれ要素形状A1〜A3(524〜526)及びA4〜A6(527〜529)を含む)は、形状A1〜A3(524〜526)及びA4〜A6(527〜529)よりも高くランク付けされる。これらの例示的なランク付けは、図6Bの形状類似性ツリー520に反映されている。したがって、事実上、すべての形状A1〜A6(524〜529)、B1〜B2(522〜523)、及びC1521の中で、形状C1が、訓練データ内の生物学的単位に適合する形状例(例えば、図2Aの例100)に最も類似しており、したがって、類似性ツリー内のすべての形状の中で最適なセグメンテーションを表している。同様に、形状A1〜A6(524〜529)は、訓練データ内の非適合形状例(例えば、図2Bの例102)に最も類似しており、したがって、最も適さないセグメンテーションを表している。類似性ツリーにおいて形状のランク付けが確立されたら、最適な形状が、トップダウン又はボトムアップ解析のどちらかを用いて決定されてもよい。これは、各技術が、同じ全体のコスト最小値(式9)に収束するためである。
セグメンテーションのランク付けの結果は、品質メトリックを表し得る。ある実施形態では、セグメンテーション結果は、セグメンテーションの関連部分の品質を表すカラーコーディングを用いて表示されてもよい。例えば、一実施形態では、訓練データ内の適合例に最も類似する、ターゲットデジタル画像内の細胞は、第1の色(例えば、緑)でカラーコード化され、これよりも類似性が低いものは、第2の色(例えば、黄)でカラーコード化され、適合例に最も類似していないものは、第3の色(例えば、赤)でカラーコード化される。任意の数の、細胞クラス又はカテゴリーに関係付けられた任意の数の色が、セグメンテーションの品質メトリックを表示するために使用されてもよい。さらに又は或いは、セグメンテーション結果は、セグメンテーションの関連部分の品質を表す色濃度によるコーディングを用いて表示されてもよい。例えば、一実施形態では、訓練データ内の適合例に最も類似する、ターゲットのデジタル画像内の細胞は、第1の濃度(例えば、非常に濃い緑)でカラーコード化され、適合例に最も類似していないものは、第2の濃度(例えば、濃くない緑)でカラーコード化され、類似性がこれらの間にあるものは、中間の濃度でカラーコード化される。このような表示は、セグメンテーションの品質が、ユーザによって容易に見られることを可能にし得る。
図7A〜図7Mは、本明細書で教示されているように、1つ以上の実施形態に係る技術を用いたセグメンテーションの前後の、細胞のデジタル画像のいくつかの例を描いている。結果を視覚化するために、セグメント化された細胞は、ランク付け関数及び/又は細胞クラスの数に応じてカラーコード化されてもよい。例えば、二クラス問題(例えば、正及び負の細胞クラス)において、緑色に色付けされた細胞は、正の細胞クラスに関して最も高いランク付け及び最大の形状類似性を有してもよく、一方、赤色に色付けされた細胞は、正の細胞クラスに関して最も低いランク付け及び最小の形状類似性を、並びに負の細胞クラスに関して最大の類似性を有してもよく、また、黄色に色付けされた細胞は、中間のランク付け及び形状類似性を有してもよい。図7A〜図7Mにおいて、最も高いランク付けの細胞は、実輪郭線で空白の形状として描かれており、最も低いランク付けの細胞は、水平方向のハッチング線で描かれており、中間のランク付けの細胞は、斜めのハッチング線で描かれている。図7Aは、元の上皮細胞の画像を示しており、一方、図7Bは、上皮細胞の画像と、本明細書で教示されているように1つのセグメンテーション技術を適用した後のセグメンテーション結果との重ね合わせを示している。図7Cは、細胞核の画像を示している。図7Dは、本明細書で教示されているように1つのセグメンテーション技術を適用した後の、細胞核のセグメンテーション結果を示している。図7E〜図7Hは、3つの異なるレベル(高、中、及び低)で形態学的ウォーターシェッドアルゴリズム(morphological watershed algorithm)を適用した比較結果及び本明細書で教示されているように1つのセグメンテーション技術を適用した後のセグメンテーションを示している。本明細書で教示されているようにセグメンテーション技術を用いて得られた結果とは対照的に、最初の3つの事例では、オーバーセグメンテーション及びアンダーセグメンテーションが発生していることに留意されたい。図7I〜図7Kは、それぞれ低、中、及び高のランク付けを有する上皮細胞の詳細を示している。図7Iの細胞が、変則的な形状を有し、他よりも比較的大きい一方で、図7Jの細胞は、楕円形状を有し、図7Kの細胞は、平滑な輪郭及び円形状を有することに留意されたい。図7L及び図7Mは、本明細書で教示されているようにセグメンテーション技術を用いて細胞核に適用されたセグメンテーション結果の詳細を示している。高ランクの細胞(緑色に色付けされてもよい)は、低ランクの細胞(赤色に色付けされてもよい)に比べて楕円形及び円形よりの形状を有することに留意されたい。本明細書で教示されている実施形態は、一般化され、他のタイプの生物学的組織に適用され得ることが理解される。異なる細胞形態のための異なるモデル(すなわち、超平面)が、本明細書で教示されているようなセグメンテーション技術がこれらの細胞形態に適用されることを可能にするために生成されてもよい。さらに、本方法は、一クラス又は多クラス細胞問題を解決するために使用することができるため、二クラス細胞問題に限定されない。
図8は、一実施形態に係る、デジタル画像をセグメント化する工程700の一例のフロー図である。工程700は、ブロック702から開始される。ブロック704において、複数のサポートベクターがアクセスされる(例えば、コンピュータのメモリから)。サポートベクターは、一組の適合例細胞及び一組の非適合例細胞を表す訓練データから予め計算されてもよい。さらに、サポートベクターは、ベクトル空間に超平面を規定するために使用されてもよく、この場合、超平面は、図6Cの例に示すように適合細胞を表すサポートベクターと非適合細胞を表すサポートベクターとを分離する。
ブロック706において、ターゲットデジタル画像を表す画像データがアクセスされる(例えば、メモリから)。デジタル画像は、生物学的組織(細胞を含む)の画像を含んでいてもよい。ブロック708において、1以上の第1の形状が、従来のセグメンテーション技術(ウォーターシェッド変換、平均シフトセグメンテーション、グラフベースのセグメンテーション、及び/又は正規化カットなどであるが、これらに限定されない)を用いて画像において識別される。例えば、図6Aを参照すると、第1の形状は、形状B1であってもよい。さらにブロック708において、一組の第2の要素形状が、画像において識別される。この例において、一組の第2の要素形状は、隣接するスケールレベルの形状B1を構成する形状であり、形状A1、A2、及びA3を含む。理解可能なように、形状B1は、形状A1、A2、及びA3の和集合であり、後者の形状のいずれも、形状B1以外のいかなる階層的形状とも交差しない。この例では、隣接する2つのスケールレベルの形状のみが使用されているが、2つより多くのスケールレベルの形状が、異なるスケールレベルで形状を反復的に識別することによって使用されてもよいことが理解されよう。各形状の境界は、例えば、上述した式(2)のような形状記述子(例えば、二次元の可変直径リング)に基づくマルチスケール解析を用いて、セグメント化された画像において識別されてもよい。
ブロック710において、第1の形状(例えば、形状B1)を表す第1のデータ点が、ベクトル空間に写像される。図6Cの例を参照すると、第1のデータ点は、データ点523であってもよい。さらに、一組の第2の要素形状(例えば、形状A1、A2、及びA3)を表す第2のデータ点が、ベクトル空間に写像される。図6Cの例をさらに参照すると、第2のデータ点は、形状A1、A2、及びA3の平均を表すデータ点562であってもよい。ブロック712において、第1のデータ点(例えば、点523)と超平面(例えば、超平面544)との間の符号付き距離が、第2のデータ点(例えば、点562)と超平面との間の符号付き距離と比較される。第1のデータ点の符号付き距離が、第2のデータ点の符号付き距離よりも大きい場合、工程700は、ブロック714に進み、そうでなければ、工程700は、ブロック716に進む。図6Cの例において、第1のデータ点の符号付き距離は正であり、第2のデータ点の符号付き距離は負であるため、工程700は、ブロック714に進む。
ブロック714において、デジタル画像は、第1の形状が、一組の第2の要素形状よりも適合例に類似すると上で判定されたため、第1の形状(例えば、形状B1)を用いてセグメント化される。ブロック716において、デジタル画像は、一組の第2の要素形状が、第1の形状よりも適合例に類似する、又はこれにもはや類似しないと上で判定されたため、第1の形状の代わりに一組の第2の要素形状を用いてセグメント化される。上述した工程は、デジタル画像に最適なセグメンテーションを特定するために、隣接する異なるスケールレベル(例えば、レベルA及びB、B及びC、C及びD、並びにD及びE)の第1の形状及び一組の第2の要素形状に対して反復的に繰り返されてもよいことに留意すべきである。上述したように、最適なセグメンテーションは、トップダウン(最も高いスケールから最も低いスケールへの)又はボトムアップ(最も低いスケールから最も高いスケールへの)解析のいずれかを用いて決定されてもよい。ブロック714又は716のいずれかから、工程700は、ブロック718に進んで終了する。
図9は、1つ以上の実施形態に係るシステム810の一例のブロック図である。図9において、システム810は、プロセッサ814及びディスプレイ816を含む。メモリ812は、プロセッサに関連付けられた任意の適切なメモリ(ROM(読み取り専用メモリ)、RAM(ランダムアクセスメモリ)、もしくはDRAM(ダイナミックランダムアクセスメモリ)など)又は任意の適切な非一時的な記憶媒体(DVD、CD、もしくはメモリカードなど)を含んでいてもよい。ある実施形態では、プロセッサ814は、メモリ812及び/又はディスプレイ816を含む。これらの実施形態では、メモリ812は、本明細書で教示されている方法又は工程の1つ以上を実行するための実行可能命令を含む。他の実施形態では、メモリ812及び/又はディスプレイ816は、プロセッサ814に通信可能に接続されるが、プロセッサ814の一部でなくてもよい。それにもかかわらず、これらの実施形態では、メモリ812及び/又はディスプレイ816は、有線又は無線にかかわらず、任意の適切な接続装置又は通信ネットワーク(ローカルエリアネットワーク、ケーブルネットワーク、衛星ネットワーク、及びインターネットを含むが、これらに限定されない)を介してアクセスされてもよい。ある実施形態では、メモリ812は、プロセッサ814に含まれ、かつプロセッサ814に通信可能に接続される。メモリ812の1つ以上の要素は、生物学的組織の1以上のデジタル画像を表す画像データをさらに含んでいてもよい。メモリ812の1つ以上の要素は、ベクトル空間に超平面を規定し、かつ訓練データから計算された複数のサポートベクターを表すデータを記憶するように構成されてもよい。メモリ812の1つ以上の要素は、生物学的単位の適合例の形状及び生物学的単位の非適合例の形状を表す訓練データを記憶するように構成されてもよい。例えば、訓練データは、細胞が良好なセグメンテーション又は不満足なセグメンテーションのいずれかとしてセグメント化され、分類されている、生物学的組織の画像を含んでいてもよい。プロセッサ814又はCPUは、マイクロプロセッサ、マイクロコントローラ、及びデジタル信号プロセッサ(DSP)を備えてもよい。
ある実施形態では、プロセッサ814は、メモリ812又は遠隔装置826のメモリに記憶された画像データ、訓練データ、及び/又はサポートベクターにアクセスするように構成されてもよい。
メモリ812及びプロセッサ814は、1つのシステムにおいて撮像し、解析する自動化された高速システムなどの解析装置の構成要素として組み込まれてもよい。このようなシステムの例としては、General Electric社のInCell解析システム(General Electric Healthcare Bio−Sciences Group;米国ニュージャージー州ピスカタウェイ)が挙げられるが、これに限定されない。一部のこのような実施形態では、システム810は、デジタル撮像装置830、インタラクティブビューア818、及びバーチャル顕微鏡820を含んでいてもよい。デジタル撮像装置830は、例えば、生物学的サンプルのデジタル画像を取得するように構成された、励起源832を有する蛍光撮像顕微鏡であってもよい。より大きな解析装置の一部である実施形態では、システム810は、通信ネットワーク824を介して1つ以上の画像又は任意の関連データもしくは解析情報を1つ以上の遠隔システム826に送信するためのネットワークインターフェース822を含んでいてもよい。
システム810の実施形態におけるネットワークインターフェース822は、通信ネットワークを介してデータを送信及び/又は受信するように構成された任意の構成要素(有線又は無線のデジタル通信システムを含む)を含んでいてもよい。システム810がネットワークインターフェース822を含む実施形態では、ネットワークインターフェース822は、さらに又は或いは、通信ネットワーク824を介して1つ以上の遠隔システム826から1つ以上の画像又は任意の関連データもしくは解析情報を受信するために使用されてもよい。
システム810及び/又はシステム826は、ディスプレイ816を含んでいてもよい。ディスプレイ816は、デジタル画像を表示することが可能な任意の装置(LCD又はCRTを組み込んだ装置など)を含んでいてもよい。
ある実施形態では、メモリ812は、細胞又は他の生物学的単位のセグメンテーションを実行するための実行可能コード(訓練データからサポートベクターを計算すること、画像データを用いて第1の形状及び一組の第2の要素形状を識別すること、第1の形状及び一組の第2の要素形状にそれぞれ対応する第1のデータ点及び第2のデータ点を写像すること、並びに/又は超平面からの第1のデータ点及び第2のデータ点の各距離に基づいて第1の形状又は一組の第2の要素形状を用いてデジタル画像をセグメント化することを含む)を含んでいてもよい。当業者であれば、多くの周知の自動化されたセグメンテーション方法及び技術(ウォーターシェッド特徴検出、統計駆動型閾値処理(statistically driven thresholding)(例えば、大津(Otsu)、平均、最小誤差(MinError)、ホワン(Huang)、三角形、及び最小最大(MinMax)閾値処理)、並びに/又はエッジ強調フィルタ(例えば、アンシャープマスキング、ソーベルフィルタリング(Sobel filtering)、ガウスフィルタ、カルマンフィルタ)を含んでもよい)が、本明細書で教示されている方法と併せて採用されてもよいことを理解するであろう。ある実施形態では、従来のセグメンテーション技術(例えば、ウォーターシェッド変換)は、第1の形状及び/又は一組の第2の要素形状を識別するための弱いセグメンテーションを生成するための実行可能コードにおいて実施されてもよい。ある実施形態では、実行可能コードは、細胞又は他のオブジェクトの、ユーザにより補助されたセグメンテーションのための機能(例えば、ユーザが細胞又はオブジェクトの境界を示すことを可能にするツール)を含んでいてもよい。
本明細書で教示されている実施形態は、様々な用途(細胞分化、細胞増殖、細胞運動及び追跡、並びに細胞周期の解析など)に使用することができる。細胞分化は、細胞集団内の細胞の部分集団の識別を含む。このような情報は、多くの異なるタイプの細胞アッセイ(2つ以上の異なる種類の細胞が共に増殖する共培養アッセイなど)に有用であり得る。
以上、本発明のいくつかの例示的な実施形態について説明してきたが、様々な変更、修正、及び改良が、当業者によって容易に想到されることが理解されるべきである。例えば、ある実施形態では、細胞以外の生物学的単位のデジタル画像がセグメント化されてもよい。生物学的単位は、細胞よりも大きな生物学的構造(眼のレンズ、心臓弁、又は器官全体など)を含んでいてもよい。このような変更、修正、及び改良は、本開示の一部であることが意図されており、本発明の範囲内にあることが意図されている。したがって、以上の説明及び図面は、例示にすぎない。

Claims (25)

  1. 生物学的組織のデジタル画像をセグメント化するコンピュータ実装方法であって、コンピュータが、プロセッサ(814)及び該プロセッサ(814)に動作可能に接続されたメモリ(812)を含み、
    メモリ(812)において、生物学的単位の適合例の形状及び生物学的単位の非適合例の形状を表す訓練データから計算されるランク付けモデル(20)にアクセスするステップであって、ランク付けモデル(20)が、生物学的単位の適合例及び生物学的単位の非適合例に関連して訓練データ内の形状の品質のランク付けを規定するステップと、
    メモリ(812)において、生物学的組織のデジタル画像を表す画像データにアクセスするステップと、
    プロセッサ(814)によって、画像データを用いてデジタル画像において第1の形状及び一組の第2の要素形状を識別するステップであって、第1の形状が、一組の第2の要素形状の和集合を含むステップと、
    プロセッサ(814)によって、ランク付けモデル(20)を用いて、第1の形状に対応する、画像データの第1のデータ点のランク及び一組の第2の要素形状に対応する、画像データの第2のデータ点のランクを決定するステップと、
    プロセッサ(814)によって、第1のデータ点及び第2のデータ点のどちらがより高いランクを有するかに基づいて第1の形状及び一組の第2の要素形状の一方を用いてデジタル画像をセグメント化するステップとを含む方法。
  2. ランク付けモデル(20)が、訓練データから計算される複数のサポートベクターを含み、該複数のサポートベクターが、ベクトル空間に超平面を規定し、
    決定ステップが、プロセッサ(814)によって、第1のデータ点及び第2のデータ点をベクトル空間に写像することを含み、
    セグメント化ステップが、プロセッサ(814)によって、第1のデータ点及び第2のデータ点のどちらがより大きな、超平面からの距離を有するかに基づいて第1の形状及び一組の第2の要素形状の一方を用いてデジタル画像をセグメント化することを含む、請求項1に記載のコンピュータ実装方法。
  3. デジタル画像が、超平面と第1のデータ点との間の符号付き距離が、超平面と第2のデータ点との間の符号付き距離よりも大きな場合、第1の形状を用いてセグメント化される、請求項2に記載のコンピュータ実装方法。
  4. デジタル画像が、超平面と第2のデータ点との間の符号付き距離が、超平面と第1のデータ点との間の符号付き距離よりも大きな場合、一組の第2の要素形状を用いてセグメント化される、請求項2に記載のコンピュータ実装方法。
  5. メモリ(812)に訓練データを記憶するステップ含む、請求項2乃至4のいずれか1項に記載のコンピュータ実装方法。
  6. プロセッサ(814)を用いて複数のサポートベクターを計算するステップ含む、請求項2乃至5のいずれか1項に記載のコンピュータ実装方法。
  7. プロセッサ(814)によって、一組の第2の要素形状の各形状の線形結合を計算するステップであって、第2のデータ点が、線形結合に対応するステップ含む、請求項2乃至6のいずれか1項に記載のコンピュータ実装方法。
  8. 第1の形状及び一組の第2の要素形状の各形状の線形結合がそれぞれ、画像データにおいて、それぞれ第1の形状及び線形結合の境界に対応する点のヒストグラムとして表され、点のそれぞれが、極座標平面に配置され、
    方法が、プロセッサ(814)によって、第1の形状及び線形結合に対応するヒストグラムをそれぞれ用いて第1のデータ点及び第2のデータ点を計算するステップ含む、請求項7に記載のコンピュータ実装方法。
  9. 第1のデータ点及び第2のデータ点を計算するステップの前に、形状のそれぞれの最小慣性の軸が、極座標平面の0度の半径方向と一致するように第1の形状及び一組の第2の要素形状の線形結合のそれぞれを回転させるステップであって、最小慣性の軸が、形状のそれぞれの境界上の点のそれぞれまでの距離の2乗の積分が最小となる直線を含むステップ含む、請求項8に記載のコンピュータ実装方法。
  10. 一組の第2の要素形状を生成するために、プロセッサ(814)によって、画像データに弱いセグメンテーションアルゴリズムを適用するステップ含む、請求項2乃至9のいずれか1項に記載のコンピュータ実装方法。
  11. プロセッサ(814)によって、画像データを用いてデジタル画像において一組の第3の要素形状を識別するステップであって、一組の第2の要素形状の1以上の形状が、一組の第3の要素形状の和集合を含むステップと、
    プロセッサ(814)によって、一組の第3の要素形状に対応する第3のデータ点をベクトル空間に写像するステップと含み、
    セグメント化ステップが、第1のデータ点、第2のデータ点、及び第3のデータ点のどれが、より大きな、超平面からの符号付き距離を有するかに基づいて第1の形状、一組の第2の要素形状、及び一組の第3の要素形状のうちの1つを用いてデジタル画像をセグメント化することを含む、請求項2乃至10のいずれか1項に記載のコンピュータ実装方法。
  12. デジタル画像が、超平面と第1のデータ点との間の符号付き距離が、超平面と第2のデータ点との間の符号付き距離及び超平面と第3のデータ点との間の符号付き距離のどちらよりも大きな場合、第1の形状を用いてセグメント化され、
    デジタル画像が、超平面と第2のデータ点との間の符号付き距離が、超平面と第1のデータ点との間の符号付き距離及び超平面と第3のデータ点との間の符号付き距離のどちらよりも大きな場合、一組の第2の要素形状を用いてセグメント化され、
    デジタル画像が、超平面と第3のデータ点との間の符号付き距離が、超平面と第1のデータ点との間の符号付き距離及び超平面と第2のデータ点との間の符号付き距離のどちらよりも大きな場合、一組の第3の要素形状を用いてセグメント化される、請求項11に記載のコンピュータ実装方法。
  13. 一組の第3の要素形状を生成するために、プロセッサ(814)によって、画像データに弱いセグメンテーションアルゴリズムを適用するステップ含む、請求項11又は12に記載のコンピュータ実装方法。
  14. デジタル画像の各セグメントが、細胞を表す、請求項2乃至13のいずれか1項に記載のコンピュータ実装方法。
  15. 細胞のそれぞれのカラーコーディングを用いて、セグメント化されたデジタル画像を、プロセッサ(814)に動作可能に接続されたディスプレイ上に表示するステップ含み、カラーコーディングが、セグメンテーションの品質を表す、請求項14に記載のコンピュータ実装方法。
  16. 非一時的なコンピュータ可読媒体であって、コンピュータ実行可能命令であって、コンピュータによって実行されたときにコンピュータに、
    生物学的単位の適合例の形状及び生物学的単位の非適合例の形状を表す訓練データから計算されるランク付けモデル(20)であって、生物学的単位の適合例及び生物学的単位の非適合例に関連して訓練データ内の形状の品質のランク付けを規定するランク付けモデル(20)にアクセスさせ、
    生物学的組織のデジタル画像を表す画像データにアクセスさせ、
    第1の形状が一組の第2の要素形状の和集合を含むように、画像データを用いてデジタル画像において第1の形状及び一組の第2の要素形状を識別させ、
    第1の形状に対応する、画像データの第1のデータ点のランク及び一組の第2の要素形状に対応する、画像データの第2のデータ点のランクを決定させ、
    第1のデータ点及び第2のデータ点のどちらがより高いランクを有するかに基づいて第1の形状及び一組の第2の要素形状の一方を用いてデジタル画像をセグメント化させるコンピュータ実行可能命令を記憶した非一時的なコンピュータ可読媒体。
  17. コンピュータによって実行されたときにコンピュータに、一組の第2の要素形状を生成するために画像データに弱いセグメンテーションアルゴリズムを適用させるコンピュータ実行可能命令含む、請求項16に記載の非一時的なコンピュータ可読媒体。
  18. 生物学的組織のデジタル画像をセグメント化するためのシステム(810)であって、
    プロセッサ(814)と、
    プロセッサ(814)に接続された入力であって、生物学的組織のデジタル画像を表す画像データを受信するように構成された入力と、
    プロセッサ(814)に接続されたメモリ(812)であって、プロセッサ(814)によって実行されたときにプロセッサ(814)に、
    生物学的単位の適合例の形状及び生物学的単位の非適合例の形状を表す訓練データに基づくランク付けモデル(20)であって、生物学的単位の適合例及び生物学的単位の非適合例に関連して訓練データ内の形状の品質のランク付けを規定するランク付けモデル(20)にアクセスさせ、
    第1の形状が一組の第2の要素形状の和集合を含むように、生物学的組織のデジタル画像を表す画像データを用いてデジタル画像において第1の形状及び一組の第2の要素形状を識別させ、
    第1の形状に対応する、画像データの第1のデータ点のランク及び一組の第2の要素形状に対応する、画像データの第2のデータ点のランクを決定させ、
    第1のデータ点及び第2のデータ点のどちらがより高いランクを有するかに基づいて第1の形状及び一組の第2の要素形状の一方を用いてデジタル画像をセグメント化させるコンピュータ実行可能命令を含むメモリ(812)とを備えるシステム(810)。
  19. ランク付けモデル(20)が、訓練データから計算される複数のサポートベクターを含み、該複数のサポートベクターが、ベクトル空間に超平面を規定し、
    メモリ(812)が、プロセッサ(814)によって実行されたときにプロセッサ(814)に、
    第1のデータ点及び第2のデータ点をベクトル空間に写像させ、
    第1のデータ点及び第2のデータ点のどちらがより大きな、超平面からの距離を有するかに基づいて第1の形状及び一組の第2の要素形状の一方を用いてデジタル画像をセグメント化させるコンピュータ実行可能命令含む、請求項18に記載のシステム(810)。
  20. デジタル画像が、超平面と第1のデータ点との間の符号付き距離が、超平面と第2のデータ点との間の符号付き距離よりも大きな場合、第1の形状を用いてセグメント化される、請求項19に記載のシステム(810)。
  21. デジタル画像が、超平面と第2のデータ点との間の符号付き距離が、超平面と第1のデータ点との間の符号付き距離よりも大きな場合、一組の第2の要素形状を用いてセグメント化される、請求項20に記載のシステム(810)。
  22. メモリ(812)が、プロセッサ(814)によって実行されたときにプロセッサ(814)に、一組の第2の要素形状を生成するために所定のフラッディングレベルで画像データにウォーターシェッド変換を適用させるコンピュータ実行可能命令含む、請求項20又は21に記載のシステム(810)。
  23. メモリ(812)が、プロセッサ(814)によって実行されたときにプロセッサ(814)に、一組の第2の要素形状の各形状の線形結合であって、第2のデータ点に対応する線形結合を計算させるコンピュータ実行可能命令含む、請求項20乃至22のいずれか1項に記載のシステム(810)。
  24. 第1の形状及び一組の第2の要素形状の各形状の線形結合がそれぞれ、画像データにおいて、それぞれ第1の形状及び線形結合の境界に対応する点のヒストグラムとして表され、点のそれぞれが、極座標平面に配置され、
    メモリ(812)が、プロセッサ(814)によって実行されたときにプロセッサ(814)に、第1の形状及び線形結合に対応するヒストグラムをそれぞれ用いて第1のデータ点及び第2のデータ点を計算させるコンピュータ実行可能命令含む、請求項23に記載のシステム(810)。
  25. メモリ(812)が、プロセッサ(814)によって実行されたときにプロセッサ(814)に、第1のデータ点及び第2のデータ点を計算する前に形状のそれぞれの最小慣性の軸が、極座標平面の0度の半径方向と一致するように第1の形状及び一組の第2の要素形状の線形結合のそれぞれを回転させるコンピュータ実行可能命令含み、最小慣性の軸が、形状のそれぞれの境界上の点のそれぞれまでの距離の2乗の積分が最小となる直線を含む、請求項24に記載のシステム(810)。
JP2015537665A 2012-10-22 2013-10-21 教師あり形状ランク付けに基づく生物学的単位の識別 Active JP6262748B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/657,255 2012-10-22
US13/657,255 US8908945B2 (en) 2012-10-22 2012-10-22 Biological unit identification based on supervised shape ranking
PCT/SE2013/051225 WO2014065745A2 (en) 2012-10-22 2013-10-21 Biological unit identification based on supervised shape ranking

Publications (3)

Publication Number Publication Date
JP2015533434A JP2015533434A (ja) 2015-11-24
JP2015533434A5 JP2015533434A5 (ja) 2016-12-08
JP6262748B2 true JP6262748B2 (ja) 2018-01-17

Family

ID=50485380

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015537665A Active JP6262748B2 (ja) 2012-10-22 2013-10-21 教師あり形状ランク付けに基づく生物学的単位の識別

Country Status (4)

Country Link
US (1) US8908945B2 (ja)
EP (1) EP2909793B1 (ja)
JP (1) JP6262748B2 (ja)
WO (1) WO2014065745A2 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014235494A (ja) * 2013-05-31 2014-12-15 富士ゼロックス株式会社 画像処理装置及びプログラム
US20150164605A1 (en) * 2013-12-13 2015-06-18 General Electric Company Methods and systems for interventional imaging
US11382694B2 (en) * 2016-10-04 2022-07-12 Ohio State Innovation Foundation Systems and methods for predictive heart valve simulation
JP6448065B2 (ja) * 2017-01-17 2019-01-09 みずほ情報総研株式会社 画像処理システム、画像処理方法及び画像処理プログラム
US10602224B2 (en) 2017-02-28 2020-03-24 The Nielsen Company (Us), Llc Methods and apparatus to determine synthetic respondent level data
US10728614B2 (en) 2017-02-28 2020-07-28 The Nielsen Company (Us), Llc Methods and apparatus to replicate panelists using a local minimum solution of an integer least squares problem
US20180249211A1 (en) 2017-02-28 2018-08-30 The Nielsen Company (Us), Llc Methods and apparatus to estimate population reach from marginal ratings
US10681414B2 (en) 2017-02-28 2020-06-09 The Nielsen Company (Us), Llc Methods and apparatus to estimate population reach from different marginal rating unions
US10382818B2 (en) 2017-06-27 2019-08-13 The Nielson Company (Us), Llc Methods and apparatus to determine synthetic respondent level data using constrained Markov chains
WO2020095394A1 (ja) * 2018-11-07 2020-05-14 八木 宜英 有精卵雌雄鑑定装置、有精卵雌雄鑑定方法、及びプログラム
US10856027B2 (en) 2019-03-15 2020-12-01 The Nielsen Company (Us), Llc Methods and apparatus to estimate population reach from different marginal rating unions
US11216834B2 (en) 2019-03-15 2022-01-04 The Nielsen Company (Us), Llc Methods and apparatus to estimate population reach from different marginal ratings and/or unions of marginal ratings based on impression data
US11741485B2 (en) * 2019-11-06 2023-08-29 The Nielsen Company (Us), Llc Methods and apparatus to estimate de-duplicated unknown total audience sizes based on partial information of known audiences
US11783354B2 (en) 2020-08-21 2023-10-10 The Nielsen Company (Us), Llc Methods and apparatus to estimate census level audience sizes, impression counts, and duration data
US11481802B2 (en) 2020-08-31 2022-10-25 The Nielsen Company (Us), Llc Methods and apparatus for audience and impression deduplication
US11941646B2 (en) 2020-09-11 2024-03-26 The Nielsen Company (Us), Llc Methods and apparatus to estimate population reach from marginals
US11553226B2 (en) 2020-11-16 2023-01-10 The Nielsen Company (Us), Llc Methods and apparatus to estimate population reach from marginal ratings with missing information
WO2022170204A1 (en) 2021-02-08 2022-08-11 The Nielsen Company (Us), Llc Methods and apparatus to perform computer-based monitoring of audiences of network-based media by using information theory to estimate intermediate level unions

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3314759B2 (ja) * 1999-05-11 2002-08-12 日本電気株式会社 細胞形状抽出装置及び細胞形状抽出方法
US7546210B2 (en) 2000-06-08 2009-06-09 The Regents Of The University Of California Visual-servoing optical microscopy
JP4035018B2 (ja) * 2002-08-23 2008-01-16 日本電信電話株式会社 形状獲得方法、装置、プログラム、およびこのプログラムを記録した記録媒体
GB0503629D0 (en) * 2005-02-22 2005-03-30 Durand Technology Ltd Method and apparatus for automated analysis of biological specimen
JP2008036303A (ja) * 2006-08-10 2008-02-21 Topcon Corp 角膜内皮細胞画像処理装置及び角膜内皮細胞画像処理プログラム
JP2008146278A (ja) * 2006-12-08 2008-06-26 National Institute Of Advanced Industrial & Technology 細胞輪郭抽出装置、細胞輪郭抽出方法およびプログラム
US8135202B2 (en) 2008-06-02 2012-03-13 Nec Laboratories America, Inc. Automated method and system for nuclear analysis of biopsy images
WO2011021391A1 (ja) * 2009-08-19 2011-02-24 国立大学法人名古屋大学 培養細胞評価装置、インキュベータおよびプログラム

Also Published As

Publication number Publication date
WO2014065745A3 (en) 2014-06-19
US8908945B2 (en) 2014-12-09
WO2014065745A2 (en) 2014-05-01
EP2909793A2 (en) 2015-08-26
EP2909793A4 (en) 2016-08-17
EP2909793B1 (en) 2020-05-06
US20140112557A1 (en) 2014-04-24
JP2015533434A (ja) 2015-11-24

Similar Documents

Publication Publication Date Title
JP6262748B2 (ja) 教師あり形状ランク付けに基づく生物学的単位の識別
JP6710135B2 (ja) 細胞画像の自動分析方法及びシステム
Kong et al. A generalized Laplacian of Gaussian filter for blob detection and its applications
Gençtav et al. Unsupervised segmentation and classification of cervical cell images
Papon et al. Voxel cloud connectivity segmentation-supervoxels for point clouds
JP5174040B2 (ja) 画像の構成要素と背景とを区別するためにコンピュータで実行される方法および画像の構成要素と背景とを区別するためのシステム
JP2018200685A (ja) 完全教師あり学習用のデータセットの形成
US10121245B2 (en) Identification of inflammation in tissue images
CN108426994A (zh) 分析数字全息显微术数据以用于血液学应用
CN108961358B (zh) 一种获得样本图片的方法、装置及电子设备
CN107305691A (zh) 基于图像匹配的前景分割方法及装置
WO2023024766A1 (zh) 物体尺寸识别方法、可读存储介质及物体尺寸识别***
Zou et al. Recognition of overlapping elliptical objects in a binary image
Cupec et al. Object recognition based on convex hull alignment
CN116433704A (zh) 一种基于中心点的细胞核分割方法及相关设备
Manhardt et al. Cps: Class-level 6d pose and shape estimation from monocular images
Shen et al. Gestalt rule feature points
US8577152B2 (en) Method of and apparatus for classifying image
Agus et al. Shape analysis of 3D nanoscale reconstructions of brain cell nuclear envelopes by implicit and explicit parametric representations
US9589360B2 (en) Biological unit segmentation with ranking based on similarity applying a geometric shape and scale model
Gelzinis et al. A novel technique to extract accurate cell contours applied for segmentation of phytoplankton images
Chu et al. Subimage cosegmentation in a single white blood cell image
Santos et al. A new approach for fundus lesions instance segmentation based on mask r-cnn x101-fpn pre-trained architecture
Altun et al. Feasibility of end-to-end trainable two-stage u-net for detection of axillary lymph nodes in contrast-enhanced ct based on sparse annotations
Li et al. Interactive image segmentation via cascaded metric learning

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161017

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171214

R150 Certificate of patent or registration of utility model

Ref document number: 6262748

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250