JP2006520972A - 画像パターン認識システム及び方法 - Google Patents

画像パターン認識システム及び方法 Download PDF

Info

Publication number
JP2006520972A
JP2006520972A JP2006508735A JP2006508735A JP2006520972A JP 2006520972 A JP2006520972 A JP 2006520972A JP 2006508735 A JP2006508735 A JP 2006508735A JP 2006508735 A JP2006508735 A JP 2006508735A JP 2006520972 A JP2006520972 A JP 2006520972A
Authority
JP
Japan
Prior art keywords
vector
image
vocabulary
vectors
kernel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006508735A
Other languages
English (en)
Other versions
JP4607100B2 (ja
Inventor
オール・アイヒホーン
ダーク・ジー・ソーンクセン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PICTON LLC
Original Assignee
PICTON LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PICTON LLC filed Critical PICTON LLC
Publication of JP2006520972A publication Critical patent/JP2006520972A/ja
Application granted granted Critical
Publication of JP4607100B2 publication Critical patent/JP4607100B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/008Vector quantisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/40Tree coding, e.g. quadtree, octree
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94Vector quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

画像パターン認識用のシステム及び方法は、画像のベクトル量子化(VQ)を使用してデジタル画像の取り込み及び符号化を備える。ベクトルのボキャブラリーは、画像をカーネルに区分し各カーネルに対応するベクトルを生成することにより形成される。画像は、ボキャブラリーに格納されるベクトルを指示するインデックスを有するベクトルインデックスファイルを生成することにより符号化される。ベクトルインデックスファイルは、ボキャブラリーに格納されるベクトルを調べることにより画像を再構成するように使用可能である。画像の候補領域のパターン認識は、特別の画像特徴部と相関するベクトルを備えたベクトルセットのトレーニング前のボキャブラリーに画像ベクトルを相関することにより完成可能である。仮想顕微鏡において、上記システム及び方法は、微小癌組織の転移クラスタの検出、組織の同定、免疫組織化学上の検査に関する分析の領域の配置のような、希な事象の発見、及び、組織マイクロアレイ(TMAs)として分類される組織学部分のような組織サンプルの迅速な選別に適している。

Description

発明の詳細な説明
本出願は、2003年2月28日に出願された、米国特許出願No.60/451083号を基礎とする優先権主張出願であり、その開示内容の全ては、参考として本明細書中に編入されるものである。
本発明は、概略、デジタル顕微鏡のスライドガラス(slides)における自動検査に関し、より詳しくは、仮想スライドガラス(virtual slides)の自動検査で使用されるパターン認識技術に関する。
顕微鏡検査の自動化に対する障害は、顕微鏡標本の全体を診断上の解像度にて効率的にデジタル化することができない点である。仮想スライドガラスを作製するための従来のアプローチは、タイルを貼るように画像を貼り付けること(image tiling)に頼っている。画像のタイリング(tiling)は、通常の電荷結合素子(CCD)カメラを使用する、顕微鏡スライドガラスの多数の小領域の取り込みを含む。それらのタイル(tiles)は、一般的に、全スライドガラスの大きな連続したデジタル画像(モザイク)を生成するように、互いに「縫い合わされる」(並べられる)。一般的に、50000画素/インチ(0.5μm/画素)にて、15mm×15mmの面積のスライドガラスをデジタル化するには、最低、2250の個々のカメラのタイルが必要である。
画像のタイリングは、種々の不具合をもたらす。第1に、画像のタイルがカメラの固定面対物レンズからの単一の焦点面に限定されるため、画像は、しばしば歪んでしまう。第2に、画像タイリングシステムは、画像タイルの中心のまわりに円形につり合った光収差を生じる。第3に、カラーCCDでは、非隣接画素からのカラー値の補間において空間解像度が悪くなることから、全画素の分析は、通常、利用できない。
パターン認識への従来のアプローチもまた、厄介である。光学顕微鏡において長年に改良がなされたが、多くの場合、専用装置の接眼レンズを通して標本を人力で評価することが未だに操作者に要求されている。世界的に、何千もの臨床上の研究所において、他の、試験管外の診断試験処置よりもマニュアル顕微鏡の操作により多くの時間が費やされている。20000と見積もられる調査研究所において、マニュアル顕微鏡検査は、薬物ターゲット(drug targets)を選別するため、及び毒物学の勉強を行うために必須の道具である。自動化に関する莫大な機会を提供しながら、顕微鏡検査は、他の点では自動化された解決案に転向されている環境において、人力の砦のままである。
コンピュータによるパターン認識において幾つかの試みがなされている。顕微鏡画像のパターン認識へのそれらのアプローチは、形態学の特徴に基づく。多数の特徴点距離(例えば、細胞のサイズ、細胞核と細胞質との比、丸み、密度、色、きめ、等)が、画像内に現れる「対象物」(例えば、細胞)を同一と見なすために計算される。パターン認識は、未知の対象物における特徴点距離を既知の対象物の特徴点距離と相関させることで達成される。特徴点に基づくアプローチは、対象物を同定するために多様な細胞が必要となる細胞学では、いくつか成功している。しかしながら、それら従来のアプローチは、非常に複雑であり、又、信頼できる対象物の分割が困難である組織学上の画像データに関して完全なものではない。
画像パターン認識システム及び方法は、画像のベクトル量子化(「VQ」)を使用する、デジタル画像の取り込み及び符号化を備える。ベクトルのボキャブラリーは、画像をカーネル(kernel)に分割し、各カーネルに対応してベクトルを生成することで構築される。画像は、上記ボキャブラリーに格納されるベクトルに、複数のインデックス(「ポインター」)付きのベクトルインデックスファイルを作成することにより符号化される。ベクトルインデックスファイルは、上記ボキャブラリーに格納されているベクトルを調べることで画像を復元するのに使用可能である。画像の候補領域のパターン認識は、特別な画像特徴部分と相関するベクトルを備えたベクトルセット(vector sets)のトレーニング前のボキャブラリー(pre-trained vocabulary)に画像ベクトルを相関させることで達成可能である。仮想顕微鏡において、上記システム及び方法は、微小癌組織の転移クラスタの検出、組織の同定、免疫組織化学上の検査に関する分析の配置領域のような、まれな事象の研究、及び、組織マイクロアレイ(tissue microarrays: TMAs)として分類される組織学部分のような、組織サンプルの迅速な選別に適している。
[発明を実施するための最良の形態]
ここに記載する実施形態は、パターン認識システム及び方法を提供する。例えば、ここに記載する一つの方法は、複数の画像カーネル(image kernels)に分割されるデジタル化された画像を考慮に入れている。画像カーネルは、カーネルにおける各画素の光の強度(intensity)を判断するように分析される。画像カーネルに関する画素の強度は、ベクトルに結合され、該ベクトルは、画像における他のベクトルとともにデータ構造内に格納される。各ベクトルは、インデックス及びベクトルを使用して後に復元可能なデジタル画像用のコンポジットインデックスを生成するために、索引が付けられる
ここの説明を読むことで、当業者は、種々の、別の実施形態及び応用例において本発明をどのように実行すればよいか明らかになるであろう。しかしながら、本発明の種々の実施形態がここに記載されるが、それらの実施形態は、例としてのみ記載するもので、それらに限定するものではない。種々の実施形態の詳しい説明は、それ自体、添付の請求範囲に記載する本発明の権利範囲若しくは幅を限定するように構成されるべきではない。
自動顕微鏡検査における第1ステップは、仮想スライドガラス、即ち、全スライドガラスの高解像度デジタル画像を生成することである。本発明のシステム及び方法は、ベクトル量子化(「VQ」)として知られた技術を使用することで、存在する画像パターン認識技術における多くの不具合を克服する。VQは、ボキャブラリーを使用してビットストリームを符号化する、コンピュータ操作上の技術である。VQは、有効な冗長度(redundancy)を有する画像を符号化するのに特に適している。
VQは、特質上繰り返される画像データにおけるパターン認識に便利なアプローチである。基本的に、VQを使用するパターン認識は、以前に符号化されたパターン(即ち、特別の特徴部分)と、新たな画像データとを比較することに基づいている。甚大な量の画像データを取りまとめ検索するためのコンピュータ操作上のチャレンジは、莫大にあり、本発明より前では、大きな画像におけるパターン認識にVQを応用することはできなかった。ここに記載するシステム及び方法によるVQの実行は、それらのコンピュータ操作上のチャレンジを克服し、仮想顕微鏡画像におけるパターン認識を可能にする。
本発明の、VQに基づく画像パターン認識用のシステム及び方法は、幾つかの理由に関して、従来技術を超える重要な改良点を有する。即ち、第1に、画像情報の符号化が一度実行された後、VQベクトル情報を相関させることによりパターンマッチングが単独で実行可能であるので、VQに基づくパターン認識は、画像情報を比較することよりも効率がよい。第2に、VQは、重要な特徴部分を特定する所定の発見的方法を必要とせずに、全ての画像の特徴部分を符号化する。パターンマッチングは、形態測量的、比色定量的、状況依存的、等の、関係するベクトルの生成に使用されるトレーニングに依存するものでもよい。最後に、VQパターン認識は、それが使用されるとき自動的に学習する。統計的な方法は、特別パターンに関する特徴であるベクトルの重要性を決定する。
図1は、VQを使用した画像符号化の処理100を示している。処理100は、デジタル画像105が分析され、画像カーネル108と呼ばれる小さな方形状の領域に分割された後、始められる。画像105は、例えば、一又は複数の画像特徴部分を備えた肝臓であってもよい。画像特徴部分は、組織マイクロアレイ(「TMA」)内の分析用の腫瘍細胞又は領域(「ROA」)のクラスタのような画像の領域にて示すことができる、ユーザにて規定された属性である。カーネルは、一辺当たり1〜64画素に、又はカーネル当たり1〜4096全画素に、サイズ変更できる。当業者によれば、より大きなサイズのカーネルが使用可能であることを理解できよう。
次に、それぞれのカーネル108に対応してベクトル112が生成され、ボキャブラリー110に格納される。ボキャブラリー110は、それぞれのカーネル108に対応したそれぞれのベクトル112を有するデータ構造である。該データ構造は、データベース、ファイル、関連付けられたリスト、あるいは他のベクトル112の収集物とすることができる。ベクトル112は、スカラーの一次元のアレイである。ベクトル量子化において、各ベクトルは、3つのカラーチャンネル毎に、一つのカーネルにおける全画素の画素強度(intensities)を表す。例えば、15画素×15画素を有する一つのカーネルは、225×3=675の強度値を有する一つのベクトルに相当する。
ベクトルインデックスファイル120は、画像105を有するベクトル112に対応する(即ち「指す」)インデックス116の収集物である。ボキャブラリー110における各ベクトル112は、固有のインデックス116が割り当てられている。一実施形態において、一つのインデックス116は、固有の4バイトの整数である。画像が複数のカーネル108に完全に分割されると、対応するベクトル112が各カーネル108毎に生成され、ベクトル112にインデックスが付される。この時点で、画像は、ベクトル量子化、即ちVQ符号化されたと言われる。画像105がVQ符号化された後、画像は、ベクトルインデックスファイル120において(ボキャブラリー110の内容とともに)一連のインデックス116により完全に表される。
画像105は、ボキャブラリー110内の各ベクトル112を探すためにインデックス116を使用して復元可能である(即ち、VQ復号化される)。復号化は、画像105を描画するのに必要な対応するカーネル108を再形成するためにベクトル112を使用する。
冗長なカーネルを利用することは、VQ符号化の重要な構成である。VQ符号化処理において、新たに特定されるそれぞれのカーネル108は、ボキャブラリーに既に格納されたベクトル112と比較される。もし十分に近い一致が、既にボキャブラリー110内にあるベクトル112について見つかったならば、新たに特定されるカーネル108が再度使用される。しかしながら、十分に近い一致が、既にボキャブラリー110内にあるベクトル112について見つからなければ、新たに特定されるカーネル108は、ボキャブラリー110に追加される。その結果、時間経過により、ボキャブラリー110は、特別な画像タイプ、例えば肝臓組織の標本の画像に関する画像データにて見つかったほぼ全てのカーネル108にて占められる。従って、提供された組織タイプのスライドガラスが符号化されるとき、そのようなスライドガラスに現れるカーネル108がますますボキャブラリー110に格納され、よって新しいベクトル112は殆ど加える必要がない。一実施形態において、熟成したボキャブラリー110は、ボキャブラリー110に新たなベクトル112を加えることなく画像105をVQ符号化することができる。
再利用するため、ベクトルが存在する前のボキャブラリー110を検索することは、コンピュータの計算上、不経済である。本発明のシステム及び方法は、処理時間及び使用メモリにおいて数桁、低減することを達成した。この改善された処理効率を達成するための一つの技術には、次の形態にて述べるように、ベクトルとそれに対応する画像特徴部分との間の相関関係を計算することが含まれる。
図2は、本発明の実施形態による画像パターン認識方法を示すフロー図である。該画像パターン認識処理は、トレーニング段階201と、パターン認識段階202とに分けることができる。トレーニング段階201の第1ステップ205では、人間である専門家が属性の特徴として画像の領域を特定する。例えば、生物学の専門家は、組織標本を検査し、TMA内で腫瘍細胞若しくはROAsのグループを可視的に特定するであろう。一般的に、上記属性は、特に目に見える特徴部に関係なく、上記専門家によって認識される。ここで、上記特徴部とは、例えば形態測量的、比色定量的、及び/又は、状況依存的な、画像の特徴部の属性を備えた部分である。
ステップ210では、画像特徴部に見つけられるベクトルに対応する、それぞれのベクトルインデックスを格納するため、ベクトルセットが生成される。複数のベクトルセットが異なる特徴部毎に生成可能である。例えば、ステップ205では専門家により特定された異なる腫瘍タイプ毎に異なるベクトルセットが生成可能である。例えば、一つのベクトルセットが黒色腫に対して生成可能であり、別のベクトルセットが白血病に対して生成可能である。
ステップ215では、画像特徴部に対する各ベクトルの相関関係が計算される。一実施形態では、上記相関関係は、以下の比を使用して計算される。
特徴部を示す領域におけるベクトルの観察(observe)回数/全ベクトル観察回数
ステップ220では、画像特徴部に対する各ベクトルの相関関係が対応のベクトルインデックスとともにベクトルセットに格納される。ベクトルセットは、以前に特定された画像特徴部にベクトルインデックスが関連する相関関係とともに、ベクトルインデックスを含む。ステップ225では、次に特定される画像のために、上記トレーニング段階が繰り返される。トレーニング段階201を通過した一連の画像の結果により、個々のベクトルと特別のベクトルセットとの間の相関関係が計算されるであろう。該システムを鍛えるためにより多くの画像が使用されるほど、個々のベクトルと特別のベクトルセットに関する相関関係が統計的により完全なものになるであろう。十分に多くの数の画像が処理され、ベクトルセットにより表される特別な特徴部と個々のベクトルが相関したとき、上記トレーニング段階が完了しパターン認識が開始可能である。
特徴部を示す画像領域において、特別なベクトルがいままでに見つけられたならば、ベクトルと特徴部との間の相関関係は、1のような最大値、それは100%の相関関係である、を有するであろう。この場合、ベクトルは、特徴部に関して高い予測値を有するであろう。一方、特徴部を示す画像領域において特別なベクトルが見つけられていないならば、上記相関関係は、ゼロのような最小値、それは100%の非相関関係である、を有するであろう。この場合、ベクトルは、特徴部が存在しないことに関して高い予測値を有するであろう。最後に、特徴部を示す画像領域において特別なベクトルが時々見つけら、時々見つけられないならば、相関関係値(又、「比」として記す)は、0と1との間の任意値となるであろう。その比がほぼ1/2であれば、ベクトルは、特徴部が非存在であることに関する低い予測値を有するであろう。
上記パターン認識段階の最初のステップであるステップ230では、新しい画像の候補領域が特定される。候補領域は、一若しくは複数の属性であるいずれかの画像特徴部を有するいずれかの領域を有するように、うまく特定されたことがない画像領域である。多くの場合、画像の候補領域は、標本組織を含む画像の全画像あるいは部分である。よって、候補領域に対応するベクトルは、トレーニング段階の間、偶然に発生可能であったり、発生しなかったりする。ステップ235では、候補領域におけるベクトルに対応する特別のベクトルセットへの相関関係の平均が計算される。ステップ240では、候補領域が一若しくは複数のベクトルセットにより表される特徴部を示す可能性を判断するために、上記平均が評価される。高平均の相関関係は、候補領域が高い確率で特徴部を示すことを示し、一方、低平均の相関関係は、低確率であることを示す。候補領域は、上記領域が種々の異なる特徴部を示す確率を決定するために、多数のベクトルセットと比較可能である。例えば、組織学上の組織の画像は、組織が腫瘍を含む可能性を決定し、もしそうであるならば腫瘍のタイプを決定するため、異なるタイプの腫瘍の目に見える特徴部を表す種々のベクトルセットと比較可能である。パターン認識に関する上述の技術における重要な利点は、候補領域が、それらが示すであろう特徴部により区分されるだけでなく、それらがそのようになる実際の確率が計算されるということである。
一実施形態において、画像パターン認識に関するシステム及び方法は、クライエント/サーバーに分類された構造を使用して実行される。図3は、本発明のクライエント/サーバーの実施形態を示している。サーバー302は、VQ符号化サーバーソフトウエア308及びボキャブラリー310を備え、サーバー302は、例えばLAN/WAN通信チャンネルのようなネットワーク303を介して一若しくは複数のクライエント301と通信する。クライエント301は、VQ符号化クライエントソフトウエア307を備え、該ソフトウエア307は、ベクトルインデックスファイル320を発生するように画像ファイル305を処理する。この実施形態では、ボキャブラリー310は、サーバー302において中心的に配置され、クライエント301に共用アクセスを提供する。ボキャブラリーの集中化は、データベースのメンテナンスを容易にし、追加のベクトルが付加されるとき、分配されたボキャブラリーを同期させる必要を排除する。さらに、クライエント/サーバーの実現は、中心位置で実行されるべき、検索やインデックス付与等の計算上で多くのタスクが集中するのを許容し、クライエント301の負担を救う。
大きなボキャブラリーのため、ボキャブラリー310を索引付けするのに要する時間は、一般的な画像305をVQ符号化するのに必要な時間の約2倍かかる。例えば、画像を処理する総60分から外れて、索引付けの時間は60分になり、VQ符号化時間は20分になるであろう。符号化に要する20分の内、画像305のカーネルへの分割に約5分を要し、ボキャブラリー310の検索に約15分を要する。上記クライエント/サーバーの実施形態を使用し実現すると、サーバー処理308は、索引付けされる前のボキャブラリー(pre-indexed vocabulary)を連続して使用可能とする。提供されたいずれの画像に関する符号化処理は、ボキャブラリーの再度の索引付けを必要をしないであろう。よって、処置時間のその部分が排除される。クライエント/サーバー通信オーバーヘッドは、(クライエント側で)画像105をカーネルに細分し、及び(サーバー側で)それらのカーネルに関するボキャブラリー310を検索するオーバーヘッドに比較して、比較的小さい。したがって、2つに分配されたコンピュータ間で処理を分割することは、実行時間をかなり増すことにはならない。一方、処理を分配することにより、クライエント側でのカーネルの細分は、サーバー側でのボキャブラリー検索に対抗して重複する可能性があり、それによって、クリティカルパスからクライエント処理時間を排除することで全体の処理時間の正味の減少となる。この方法により、一つのスライドガラスにおける全部で60分の符号化時間は、一つのスライドガラス当たり15分に低減可能である。
本実施形態におけるクライエント及びサーバー間での処理労力の分割は、他の効率化を有する。ボキャブラリー310の索引付け及び検索は、コンピュータを多用するタスクであり、大容量のメモリを有する高速プロセッサにて実行するのが一番よい。画像305のカーネルへの分割、及びネットワーク303上での通信は、比較的少ない処理能力でよい。本実施形態では、多数の非力なクライエントマシン301に代わって、少数の強力なサーバーマシン302に処理の実行を行わせ、システム全体での効率の向上を図る。さらに、ボキャブラリーファイル310は、一般的に非常に大きく、しばしば大きなディスクアレイ(例えばRAID)に格納される。一方、ベクトルインデックスファイル320は、それより数桁小さく、通常のコンピュータディスクに格納可能である。
クライエント/サーバー実施形態に追加して、画像パターン認識に関するシステム及び方法の種々の他の態様が、効率及び精度の両方を改善するのに使用可能である。一実施形態において、例えば、エンコーダ307は、符号化の前に、RGB(「赤−緑−青」)カラー空間からYCRCB(強度−赤−青)カラー空間へ全画像を変換するようにプログラム可能である。複数のカーネルがボキャブラリー310内の複数のベクトルと照合されるとき、画像の解像度に関する人間の知覚は、基本的に、色の相違よりもむしろ強度の相違に依存することから、Yチャンネル値は、Cチャンネル値よりも、より注意深く照合される。この優先順位付けは、カーネルの情報量を損なうことなく、ある比較における誤差をより小さくすることができる。その低誤差を見込むことで、より多くの相関関係が見つかる。したがって、ボキャブラリー310は、より小さくなり、その結果、ベクトルインデックス320のサイズが小さくなり、インデックス検索時間が低減される。
本発明の他の態様において、カラーチャンネルの最適化が、ボキャブラリーファイル310のサイズをさらに低減するのに実行可能である。画像の強度値の相違における人間の知覚は非直線的であり、範囲の中間(強度の中位)で最も敏感であり、極端部分(明部又は暗部)で最小感度である。エンコーダ307は、カーネルがボキャブラリー310にてベクトルと照合されるとき、強度範囲の中間におけるYチャンネル値が、上記範囲の両端でのYチャンネル値の場合よりもより厳しい誤差にて照合されるように、これを利用して構成可能である。この優先順位は、同様に、カーネル108の情報量を損なうことなく、一定の比較においてより小さい誤差を可能にする。上述したように、クリティカルさがより少ない一定の比較に関して低誤差は、結果的に、非常に小さいサイズのボキャブラリー310となり、それによってインデックスの検索時間を非常に低減する。
さらに別の態様において、YCRCBカラー空間内でCチャンネル値のビットサイズを低減するために、差動符号化が使用可能である。差動符号化では、ベクトル内の各強度値は、その左上に近接する3つの隣接部の平均値と強度値との差によって交換される。例えば、値が座標位置[x, y]での画素を表すならば、上記平均は、[x−1,y]、[x−1,y−1]、[x、y−1]の画素に関して計算される(尚、デジタル画像に関する標準的な慣習では、[0,0]は、画像の左上隅であり、xは右へ増加し、yは下方へ増加する点に注意。)。さらに、Cチャンネルの強度値に関して、強度は、一般的に8ビットの値として格納されるが、隣接する強度間の差異は、正確さを損なうことなく4ビットの値で表すことができる。このことは、各値の範囲を256(強度用)から16(差分用)に減少する。したがって、各値に関するインデックスツリーサイズにおける実質的な減少が得られ、ボキャブラリー310をより高速に検索することができる。
ボキャブラリーインデックスをエンコーダ308により検索するのに使用されるデータ構造は、システム資源の使用量及び符号化性能の重要な決定要因である。一実施形態において、ベクトルツリーと呼ばれる新しいデータ構造がベクトルインデックスを格納及び検索するのに使用可能である。ベクトルツリーは、各リーフノードが別のツリーのルーツである、バランスのとれたツリーを備える。トップレベルのツリーは、各カーネルの第1寸法(dimension)を表す。このツリーのリーフノードは、第1寸法の値でそれぞれ定義された、各カーネルの第2寸法を表すツリーを含む。各第2レベルのリーフノードは、第3寸法を表すツリーを含む。以下、同様となる。次のレベルのツリーに関するルーツを含むことに加えて、各リーフノードは、定義されたベクトルの最後の寸法も表すことができる。この場合、ベクトルのインデックスは、また、リーフノードに格納される。この機構では、異なるサイズの多数の寸法ベクトルを一つの構造内にともに格納させることが可能であり、異なる寸法を有する多数のカーネルを同時に検索することを容易にする。
一実施形態において、ネストされたカーネルのロジックがベクトル強度値をより効率的に格納するのに使用され、それによりインデックスの検索時間を減少させることができる。k×k画素のサイズのカーネルは、3kの強度値を有する。それらのベクトルのサイズは、ボキャブラリーインデックスのサイズ、及びベクトルインデックスの検索に要する時間とともに、ボキャブラリーファイル310のサイズのキードライバーである。
一実施形態において、カーネルは、各カーネルに要する強度値の数を6kに減じるネストされた形態で表される。図4は、ベクトルを格納するために使用可能なネストされたカーネルの論理を示す図である。このネストされたカーネルの論理を使用することで、寸法kの各カーネル408(「外側カーネル」)は、それらの左上隅に配置した状態で、内側に予め配置された寸法k−1のカーネル405を有するように見なされる。可変寸法のカーネル論理を参照して以下に説明するように、ロジックを符号化することは、「見つからない」ことが生じるまで、画素位置にて連続的に、より大きいカーネルについてボキャブラリーの検索を試みるので、実際の慣習では、このことは常に生じる。
このことは、外側カーネル408が6k(即ち、3(2k))の値で表されることを可能にする。3という係数は、3つのカラーチャンネルからである。2kの内、最初の値は、内側カーネル405のインデックスによって表され、次のk値は、外側カーネル408の右端に沿った画素410である。残りのk−1の値は、外側カーネル408の底端に沿った画素415である。
3kの強度値の代わりに6kの強度値でカーネルを表すことは、ベクトルを表すのに必要な値の数をかなり減少させる。例えば、k=15画素のサイズのカーネルでは、当該カーネルを格納するのに90の値(675の代わりに)となるであろう。このことは、ボキャブラリーファイルのサイズ、及びインデックス検索用のVQエンコーダにて使用される対応のベクトルツリーのサイズを劇的に減じる。符号化検索時間も同様に減じる。
図1に戻り、検索時間を減じるための他の技術は、可変サイズのカーネルの論理を使用した画像105のVQ符号化を含む。図1において、VQ符号化された画像105を含む例示的なカーネル108は、サイズが可変である。この技術は、符号化された画像において、サイズが可変で、対象物、構造、及び特徴部の広い範囲を吸収するカーネルによる画像データのマッピングを可能にする。それは、また、ある画像に関して最適なカーネルサイズを特定し又は導き出す必要を排除する。
図5は、本発明の実施形態による可変サイズのカーネルを生成するためのプロセスの一例を示すフロー図である。ステップ505では、VQエンコーダは、左上から右下へ各画素位置を通り繰り返す。ステップ510(各画素位置で実行される)において、ボキャブラリーでは、サイズn(最小のカーネルサイズのパラメータ値、一般的には3又は4)に一致するカーネルが検索される。ステップ515では、上記カーネルが見つかったならば、ステップ520にてnがインクリメントされ、サイズn+1のカーネルの検索が、特定の正方形領域に匹敵するn×nサイズのカーネルの存在を見つける試みを行うように引き起こされる。エンコーダは、ステップ515にて「見つからない」の状態が生じるまで、ボキャブラリーを通して連続的により大きいカーネルにトライして、ループ(loops)する。
ステップ525では、特定の画像位置と、現在のn×nカーネルとの間で一致が見つからないならば、上記ループの以前の繰り返しにて見つけられたn−1×n−1サイズの存在するカーネルに、特定の正方形領域がマップされる。n−1×n−1のカーネルに関する使用数は、画像領域をマップするために別の例のカーネルが使用されていることを示すように、インクリメントされるであろう。検索されたが見つからなかったn×n領域について、ステップ530では、その領域がボキャブラリーに追加され(そして適切に索引付けされる)、新しいカーネルの使用数は、1に初期化されるであろう。カーネルが一致する毎に、使用数が増加し、使用数がパラメータ値のしきい値(一般的には20)を超えたとき、カーネルは、画像符号化に使用可能である。この方法にて、ボキャブラリーは、さらに大きな画像情報を含むさらに大きなカーネルとともに連続して徐々に大きくなる。
上述の実施形態は、可変サイズの正方形のカーネルを使用している。別の実施形態では、n+1×n+1よりもむしろn+1×nまで検索されるようにカーネルのサイズを増加することで、方形のカーネルを使用することもできる。例えば、ステップ515において、もしカーネルが見つかったならば、カーネルの一辺のサイズがステップ520にて増加され、n+1×nのサイズのカーネルの検索が、特定の方形領域と一致するn+1×nサイズのカーネルの存在を見つけることを試みるように引き起こされる。エンコーダは、ボキャブラリーを通して、ステップ515にて「見つからない」の状態が生じるまで、大きい方形若しくは正方形のカーネルを連続的に試してループする。
例示的な実施形態において、ここで述べるシステム及び方法の実行及び格納要求を決定するために肝臓組織学切片を使用して実行可能性調査が行われた。この調査の一つの目的は、仮想顕微鏡スライドガラスの画像のVQ符号化が、実際の応用例と矛盾のない実行時間にて、簡単に利用できるコンピュータを使用したハードウエアで実行できることを検証することである。他の目的は、ボキャブラリーのサイズ及び対応するインデックスのサイズをいかに速く収束させるかを決定することである。ある組織タイプのスライドガラスが符号化されるとき、収束が発生する。時間経過とともに、そのようなスライドガラスにおいて現れるカーネルがより多くボキャブラリー内に格納されるとき、それに応じて、新しいベクトルを追加する必要は殆ど無くなる。
上記調査は、49の肝臓組織スライドガラスを使用して実行された。それらのスライドガラスは、標準的なH&E染色された組織学標本であった。上記スライドガラスは、ScanScope(登録商標)T108スキャナーでスキャンされた。仮想スライドガラスTIFFファイルが、Nikonの20x/0.75Plan Apochromat 対物レンズを使用して、各スライドガラス毎に、54000画素/インチ(0.5μm/インチ)にて生成され、Aperio Technologies, Inc. のJPEG2000圧縮ソフトウエアで7/9ウェーブレット法を使用して、20:1の圧縮比で圧縮された。圧縮された形態において、各仮想スライドガラスTIFFファイルは、ほぼ250MBを有する。図6は、この調査を使用したスライドガラスの標本例を要約した表である。
上記調査にて使用された方法は、画像から近いカーネルがボキャブラリー内でどのようにベクトルと一致しなければならないかを決定するために、許容パラメータを使用した。上記調査は、3つの異なる許容パラメータ、4%(高)、5%(中)、6%(低)を用いて3回実行された。各場合、ボキャブラリーは、最初空であった。換言すると、3回の調査は、ボキャブラリー内にカーネルが存在する前ではない状態(with no pre-existing kernels)で始められた。各スライドガラスの画像は、ベクトルインデックスファイルを生成するボキャブラリーに対抗して符号化された。その符号化プロセスは、ボキャブラリーにカーネルを累進的に追加した。各スライドガラスは、符号化後、復号化され、符号化/復号化プロセスが良好であることを検証するため、Aperio TechnologiesのImageScope(商標)ビューアを使用して可視的に検査された。
上記スライドガラスは、1GBのRAM及び80GBのハードディスクを有するDell Dimension 700MHzPentium(登録商標) IIIデスクトップコンピュータを使用して符号化された。このコンピュータは、不要な全てのオペレーティングシステムをディスエーブルしたWindows(登録商標) 2000 Professionalにて動作した。タイミング、ディスク、及びメモリの測定は、VQ符号化ソフトウエア自身にて実行された。
第1の調査からの結果の一例が図7に表で示される。この表は、(全49スライドガラスの内)最初の5つのスライドガラスの処理、及び最後の5つのスライドガラスの処理に関する処理統計を示す。最後3つの欄は、処理時間を示す。平均のインデックスのロード時間は、30分であり、それは調査中、最大39分まで連続的に増加した。平均の符号化時間は、17分であり、最大24分であった。全体の処理時間は平均48分で、最大は63分であった。
この調査からの重要な観察は、ボキャブラリーのサイズが収束するかどうか、即ち、連続的に新たなスライドガラスが殆どカーネルをデータベースに追加することのない点に到達するかどうかである。図7におけるベクトルの累積合計欄(#vectors)は、最後のほんの少数のスライドガラスよりも、最初のほんの少しのスライドガラスがより多くのベクトルをボキャブラリーに大いに追加したことを示している。49スライドガラスの後、収束の実質的な量が求められる。図8は、スライドガラスが処理されたとき、ボキャブラリーのサイズの変化を示している。ボキャブラリーは、漸近線に到達しないが、49スライドガラスの後の成長率は実質的に遅くなる。
上記調査からの他の重要な観察は、インデックスサイズが「収束する」かどうかであり、メモリの常駐インデックスがどの程度の大きさになるかである。図7におけるベクトルインデックスのサイズ欄(idx MB)は、唯一のスライドガラス後、初期のインデックスサイズは520MBであるが、その後、成長はかなり遅くなり、全体ではほぼ停止することを示している。図9は、スライドガラスが処理されたときのインデックスサイズの変化を示すグラフである。インデックスサイズは、マシンで利用可能な物理的メモリ(1GB)を超えず、よって、ページングは必要ない。インデックスがメモリ常駐できないならば、符号化実行は劇的に減少するであろう。図9は、また、スライドガラスが処理されたとき、インデックス処理時間が増加することを示している。上記調査において、全インデックスが大きくなると、それぞれの新しいインデックスは挿入により多くの時間を要するので、インデックスロード時間は、インデックスサイズの成長速度と同じくらい速く成長するのをやめない。
微小癌組織の転移は、本発明のシステム及び方法から大きな恩恵を得ることができる実際に有益な希な事象の知見応用例である。腫瘍を有する患者に関して、重要な問題は、癌細胞が転移しているかどうか、即ち、腫瘍から逃げて血流を介して体の他の部分へ移動しているかである。微小癌組織の転移は、血中にて1〜10の癌細胞の小さなクラスタの存在である。そのような転移が起こっているか否かを判断するため、患者の血液で50までの細胞学のスライドガラスが準備される。そしてそれらのスライドガラスは、上記転移のクラスタが存在するか否かを判断するために病理医によって顕微鏡で検査される。
ブロック標本において、腫瘍細胞の出現の可能性を増すように豊富化処置が一般的に使用される。腫瘍細胞は、以下の形態学的特徴に基づいて通常細胞から区別される。
a)サイズ:一般的に直径で少なくとも20μm(通常の白血球は10〜15μm)。
b)核サイズ:大きく通常丸い(通常の核はより小さく、及び/又は形状が不規則)。
c)核形態学:通常一若しくは複数の核小体が存在する(細胞核内の小さいダークブルー色の領域)。
d)核着色:通常の白血球と比して通常明るく(ヘマトキシリンより明るくない)着色されている。
e)細胞質着色:通常の白血球と比して、あるいは青く(好塩基性よりも青く)着色されている。
f)核と細胞質との比:おおきな細胞核を示す通常の白血球に比べて通常高い。
それらの属性に基づく区別は、微妙であり、検査の経験を積んだ病理医を必要とする。この種のまれな事象検出応用例において、偽陰性としないこと、即ち微小癌組織の転移のクラスタの出現が乏しく検出が困難であるにもかかわらず、上記クラスタを見逃さないことが重要である。
偽陰性の確率を減少するため、スライドガラスは、上皮細胞(腫瘍がしばしば引き出す細胞のタイプ)に特有である免疫細胞化学の抗体で処理される。抗体は、上皮の細胞の起点を赤に着色し、通常の白血球は着色されない染料として用意される。これは、微小癌組織の転移クラスタのコントラストを著しく増し、視覚による検出を容易にし、偽陰性の確率を減少させる。この染料の使用により、微小癌組織の転移のスライドガラス標本は、低い解像度でスキャン可能であり、スキャンをより迅速に実行可能とする。
偽陰性の確率をさらに減少するため、50までのスライドガラスが視覚的にスキャンされ、一つのスライドガラス当たり1〜10のクラスタが出現する一般的な場合で、非常に乏しい分類において、信頼できる診断を確保するように各クラスタが見つけられることが重要である。又、例えば、免疫細胞化学の染料を吸収し赤い塊として現れるゴミ粒子、及び血液試料内の他のくずにより、幾つかの擬陽性が発生する可能性がある。見つけられ可能性のある全てのクラスタは、本物の微小癌組織の転移クラスタから擬陽性を識別するように高い倍率で視覚的に検査されねばならない。
領域が見つける目標をいつ構成するかを決定するようにしきい値が必要である。上記方法は、最良の結果を生じる値を決定するため異なるしきい値で繰り返し実行可能である。実際の応用例では、しきい値は、擬陽性となるように(偽陰性の確率を減少する)パターン認識にバイアスをかけるように最適な低側に維持されるであろう。
図10は、ここに記載する種々の実施形態と関連して使用可能な例示的なコンピュータシステム550を示すブロック図である。例えば、コンピュータシステム550は、図3を参照して既に説明したサーバーコンピュータ若しくはクライエントコンピュータと接続して使用可能である。しかしながら、当業者にて明らかとなるであろう他のコンピュータシステム及び/又はアーキテクチャが使用可能である。
コンピュータシステム550は、プロセッサ552のような、一若しくは複数のプロセッサを備えるのが好ましい。入力/出力を管理する補助のプロセッサや、浮動小数点演算用操作を実行する補助のプロセッサや、信号処理アルゴリズムの高速実行に適したアーキテクチャを有する特殊用途向けのマイクロプロセッサ(例えばデジタル信号プロセッサ)や、主処理システムに従属するスレーブプロセッサ(例えば後置型プロセッサ)や、二重のあるいは多数のプロセッサシステム用の付加的なマイクロプロセッサ若しくはコントローラや、又は、コプロセッサのような、付加的なプロセッサを設けることができる。そのような補助プロセッサは、ディスクリートプロセッサであったり、若しくはプロセッサ552とともに集積化されたものであってもよい。
プロセッサ552は、通信バス554に接続されるのが好ましい。通信バス554は、コンピュータシステム550の格納部と他の周辺構成部分との間の情報伝達を容易にするためにデータチャンネルを含むことができる。さらに通信バス554は、データバス、アドレスバス、及びコントロールバス(不図示)を含むプロセッサ552との通信に使用される一対の信号を提供可能である。通信バス554は、例えば、業界標準アーキテクチャ(「ISA」)、拡張業界標準アーキテクチャ(「EISA」)、マイクロチャネルアーキテクチャ(「MCA」)、周辺機器相互接続(「PCI」)ローカルバス、又は、IEEE488一般的目的インタフェースバス(「GPIB」)、IEEE696/S−100等を含む電気電子技術者協会(「IEEE」)により普及された標準、に準拠したバスアーキテクチャのような、標準あるいは非標準のいずれのバスアーキテクチャを備えることができる。
コンピュータシステム550は、主メモリ556を備えるのが好ましく、また、副メモリ558を備えることもできる。主メモリ556は、プロセッサ552で実行されるプログラム用の命令及びデータを格納する。主メモリ556は、一般的にダイナミックランダムアクセスメモリ(「DRAM」)及び/又はスタティックランダムアクセスメモリ(「SRAM」)のような半導体メモリである。例えば、リードオンリーメモリ(「ROM」)を含み、同期ダイナミックランダムアクセスメモリ(「SDRAM」)、ラムバスダイナミックランダムアクセスメモリ(「RDRAM」)、強誘電性ランダムアクセスメモリ(「FRAM」)、等の他の半導体メモリタイプも含くまれる。
副メモリ558は、ハードディスクドライブ560、及び/又は、例えばフロッピー(登録商標)ディスクドライブ、磁気テープドライブ、コンパクトディスク(「CD」)ドライブ、デジタル多目的ディスク(「DVD」)ドライブ、等のリムーバブル記憶ドライブ562を随意備えることができる。リムーバブル記憶ドライブ562は、公知の方法にて、リムーバブル記憶媒体564から読み出し、及び/又はリムーバブル記憶媒体564への書き込みを行う。リムーバブル記憶媒体564は、例えばフロッピー(登録商標)ディスク、磁気テープ、CD、DVD、等であってもよい。
リムーバブル記憶媒体564は、コンピュータが実行可能なコード(即ち、ソフトウエア)及び/又はデータを格納した、コンピュータ読み取り可能な媒体であるのが好ましい。リムーバブル記憶媒体564に格納されたコンピュータソフトウエア又はデータは、電気的通信信号578としてコンピュータシステム550に読み込まれる。
別の実施形態において、副メモリ558は、コンピュータプログラム又は他のデータや命令をコンピュータシステム550にロードさせる他の類似の手段を含むことができる。そのような手段は、例えば、外部格納媒体572及びインタフェース570を含むことができる。外部格納媒体572の例は、外部ハードディスクドライブや外部光学式ドライブ、又は/及び外部光磁気ドライブを含むことができる。
副メモリ558の他の例は、プログラム可能なリードオンリーメモリ(「PROM」)、消去プログラム可能なリードオンリーメモリ(「EPROM」)、又はフラッシュメモリ(EEPROMに類似するブロック指向のメモリ)のような、半導体メモリを含むことができる。又、ソフトウエア及びデータをリムーバブル記憶ユニット572からコンピュータシステム550へ伝送させる、他のリムーバブル記憶ユニット572及びインタフェース570が含まれる。
コンピュータシステム550は、また、通信インタフェイス574を含むことができる。通信インタフェイス574は、ソフトウエア及びデータを、コンピュータシステム550と外部機器(例えばプリンタ)、ネットワーク、又は情報源との間で伝送可能とする。例えば、コンピュータソフトウエア又は実行可能なコードが、ネットワークサーバから通信インタフェース574を介してコンピュータシステム550へ伝送可能である。通信インタフェース574の例は、ほんの2,3例を挙げると、モデム、ネットワークインタフェースカード(「NIC」)、通信ポート、PCMCIAスロット及びカード、赤外線インタフェース、及びIEEE1394ファイヤワイヤを含む。
通信インタフェース574は、イーサーネットIEEE802標準、ファイバーチャネル、デジタル加入者線(「DSL」)、非対称デジタル加入者線(「ADSL」)、フレームリレー、非同期転送モード(「ATM」)、総合デジタル通信網(「ISDN」)、個人通信サービス(「PCS」)、伝送制御プロトコル/インターネットプロトコル(「TCP/IP」)、シリアルラインインターネットプロトコル/ポイントツーポイントプロトコル(SLIP/PPP)、等の業界準拠プロトコル標準を実現するのが好ましい。一方、又、カスタマイズした、若しくは非標準のインタフェースプロトコルも実現可能である。
通信インタフェース574を通じて伝達されるソフトウエア及びデータは、一般的に電気的通信信号578の形態である。それらの信号578は、通信チャネル576を介して通信インタフェース574へ供給されるのが好ましい。通信チャネル576は、信号578を搬送し、ほんの2,3例を挙げると、ワイヤー又はケーブル、光ファイバー、従来の電話線、携帯電話中継局、無線周波中継局、又は赤外線中継局を含むいろいろな通信手段を使用して実現可能である。
コンピュータが実行可能なコード(即ち、コンピュータプログラム又はソフトウエア)は、主メモリ556及び/又は副メモリ558に格納される。また、コンピュータプログラムは、通信インタフェース574を介して受け取ることができ、主メモリ556及び/又は副メモリ558に格納可能である。そのようなコンピュータプログラムは、実行されるとき、コンピュータシステム550に、上述したような本発明の種々の機能を実行させる。
この明細書において、「コンピュータ読み取り可能な媒体」の用語は、コンピュータが実行可能なコード(例えばソフトウエア及びコンピュータプログラム)をコンピュータシステム550へ供給するのに使用されるいずれの媒体をも示すように使用される。それらの媒体の例は、主メモリ556、副メモリ558(ハードディスクドライブ560、リムーバブル記憶媒体564、及び外部記憶媒体572を含む)、及び通信インタフェース574(ネットワーク情報サーバーあるいは他のネットワーク機器を含む)と通信可能に接続される周辺機器を含む。それらのコンピュータ読み取り可能な媒体は、実行可能なコード、プログラムする命令、及びソフトウエアをコンピュータシステム550へ供給する手段である。
ソフトウエアを使用して実現される実施形態において、ソフトウエアは、コンピュータが読み取り可能な媒体に格納可能であり、リムーバブル記憶ドライブ562、インタフェース570、又は通信インタフェース574を通り、コンピュータシステム550へロード可能である。そのような実施形態において、ソフトウエアは、コンピュータシステム550へ電気的通信信号578の形態にてロードされる。ソフトウエアは、プロセッサ552により実行されるとき、上述した、発明の特徴及び機能をプロセッサ552に実行させるのが好ましい。
種々の実施形態が、例えば特定用途向け集積回路(「ASICs」)、又はフィールドプログラマブルゲートアレイ(「FPGAs」)を使用して、主にハードウエアにおいて実現可能である。ここで述べた機能を実行可能なハードウエアステートマシンの実現は、当業者には明らかであろう。又、種々の実施形態もハードウエア及びソフトウエアの両方の組み合わせを使用して実現可能である。
ここで詳細に示しかつ述べた特別なシステム及び方法は、本発明の上述の目的を十分達成可能であるが、ここに示した記述及び図面は、本発明の現在好ましい実施形態を表しており、本発明により広く思索される主題内容の代表例であると理解されるべきである。さらに、本発明の権利範囲は、当業者に明らかとなるであろう他の実施形態を十分に含んでおり、よって本発明は添付の請求範囲以外のものによって限定されるものではないことが理解される。
本発明の構成及び動作の詳細は、添付の図面を参照することで明らかになる。これらの図において、同様の構成部分には同じ符号を付している。
図1は、本発明の一実施形態によるベクトル量子化を使用した、画像の符号化処理及び復号化処理の一例を示すブロック図である。 図2は、本発明の一実施形態による画像パターン認識用の一方法例を示すフロー図である。 図3は、本発明の一実施形態によるクライアント/サーバーの実行の一例を示すブロック図である。 図4は、本発明の一実施形態によるネストされたカーネルロジックの一例を示すブロック図である。 図5は、本発明の一実施形態による可変サイズの核を生成するプロセスの一例を示すフロー図である。 図6は、本発明の一実施形態による研究に使用されるスライドガラスの代表例を要約したテーブル図である。 図7は、本発明の一実施形態による研究からの複数のスライドガラスによる結果を要約したテーブル図である。 図8は、本発明の一実施形態による調査にてスライドガラスが処理されるときのボキャブラリーサイズの変化例を示すグラフである。 図9は、本発明の一実施形態による調査にてスライドガラスが処理されるときのインデックスサイズの変化例を示すグラフである。 図10は、ここに記載される種々の実施形態に関連して使用可能なコンピュータシステムの一例を示すブロック図である。

Claims (26)

  1. 画像を一又は複数の画像カーネルに分割し、ここで各カーネルは複数の画素を有し、
    カーネルにおける各画素の強度を測定し、
    上記カーネル内の各画素について測定強度を有するベクトルを生成し、
    複数のベクトルを備えたボキャブラリーに上記ベクトルを格納し、
    上記ベクトルについてインデックスを生成し、
    上記ボキャブラリー内の上記複数のベクトルに対応する複数のインデックスを備えたベクトルインデックスファイルに上記インデックスを付加する、
    ことを備えた、コンピュータにより実行されるデジタル画像の符号化方法。
  2. 既に格納されているベクトルが新しく生成されたベクトルに一致するか否かを決定するため、上記新たに生成されたベクトルと上記ボキャブラリー内の上記複数のベクトルとを比較することをさらに備えた、請求項1記載の符号化方法。
  3. RGBカラー空間からYCカラー空間へ上記画像を伝送することをさらに備えた、請求項2記載の符号化方法。
  4. 上記比較の工程は、上記強度の範囲の実質***に近いYチャンネル値の画素マッチングに関して厳しい公差を使用することを備える、請求項3記載の符号化方法。
  5. 上記ベクトルを生成する工程は、上記画素の測定強度と、上記画素に近い3つの画素の平均Cチャンネル強度測定との間の差にて、Cチャンネルの前部の各画素における強度測定を置き換えることを備える、請求項3記載の符号化方法。
  6. 上記比較により、上記新たに生成されたベクトルと上記ボキャブラリー内に以前に格納されていたベクトルとの間で一致が確認されたときには、以前に格納されたベクトルを使用することをさらに備える、請求項2記載の符号化方法。
  7. 請求項2記載の符号化方法。
  8. 上記比較により、上記新たに生成されたベクトルと上記ボキャブラリー内に以前に格納されていたベクトルとの間で一致が確認されないときには、上記新たに生成されたベクトルを上記ボキャブラリーに追加する。
  9. 上記インデックスを付加する工程は、上記ボキャブラリー内の上記複数のベクトルをベクトルツリーデータ構造に加えることをさらに備える、請求項2記載の符号化方法。
  10. 上記比較の工程は、上記新たに生成されたベクトルと上記ベクトルツリーデータ構造とを比較することをさらに備える、請求項8記載の符号化方法。
  11. 上記ベクトルツリーデータ構造の各リーフノードは、上記ベクトルにおける次の寸法に関する別のベクトルツリーのルーツを備える、請求項8記載の符号化方法。
  12. ラインスキャンカメラにより画像を得ることをさらに備える、請求項1記載の符号化方法。
  13. 上記画像は、顕微鏡スライドガラスの少なくとも一部を有する、請求項1記載の符号化方法。
  14. カーネルは、上記画像の方形状の領域を備える、請求項1記載の符号化方法。
  15. ベクトルは、スカラーの1次元のアレイであり、各スカラーは、上記カーネル内の画素の色チャンネル強度を表す、請求項1記載の符号化方法。
  16. 上記インデックスを付加する工程は、一意の4バイトの整数をベクトルに付与することをさらに備える、請求項1記載の符号化方法。
  17. 上記分割、上記測定、上記ベクトル生成、及び上記格納の工程は、通信ネットワークを介してサーバーマシンに伝達用に接続されるクライエントマシンにて実行される、請求項2記載の符号化方法。
  18. 上記インデックス生成、上記付加、及び上記比較の工程は、上記サーバーマシンにて実行される、請求項16記載の符号化方法。
  19. 複数の画像特徴部ベクトルを備えたベクトルセットを生成し、ここで、上記ベクトルセットは画像特徴部に対応し、
    画像の候補領域を特定し、ここで上記候補領域は複数の候補領域ベクトルを備え、
    上記ベクトルセットにおける各画像特徴部により上記複数の候補領域ベクトルにおける各ベクトルに関する相関関係を決定し、
    上記候補領域が上記画像特徴部を示す確率を決定するため上記相関関係を平均化する、
    ことを備えた、コンピュータにて実行されるデジタル画像におけるパターンの認識方法。
  20. 上記決定する工程は、上記候補領域にてベクトルが観察される回数を全体にてベクトルが観察される回数で割ることをさらに備える、請求項18記載のパターン認識方法。
  21. 画像を複数のカーネルに分割するように構成された、ここで各カーネルは複数の画素を有する、画像区分部と、
    各画素の強度値を測定するように構成された強度測定部と、
    上記複数のカーネルのそれぞれに関してベクトルを生成するように構成された、ここでベクトルはカーネルにおける各画素の強度値を有する、スカラーコンパイラーと、
    上記複数のカーネルに対応した複数のベクトルを格納するように構成されたボキャブラリーと、
    上記複数のベクトルにおける各ベクトルに関してインデックスを生成するように構成されたインデックス付加部と、
    上記複数のインデックスを格納するように構成された、ここで上記複数のインデックスは複数のベクトルに対応する、ベクトルインデックスファイルと、
    を備えた、デジタル画像の符号化システム。
  22. 新たに生成されたベクトルと、上記ボキャブラリー内の上記複数のベクトルとを比較するように構成されたベクトル比較モジュールをさらに備えた、請求項20記載の符号化システム。
  23. 上記ベクトルインデックスファイル内のインデックス及び上記ボキャブラリー内の対応のベクトルから上記画像を再構成するように構成された画像デコーダーをさらに備えた、請求項21記載の符号化システム。
  24. 上記デジタル画像を取り込むための顕微鏡スライドガラススキャナーをさらに備えた、請求項21記載の符号化システム。
  25. 上記顕微鏡スライドガラススキャナーは、上記デジタル画像を取り込むラインスキャンセンサを備える、請求項23記載の符号化システム。
  26. 画像を複数のカーネルに分割する手段と、
    上記複数のカーネルのそれぞれに関してベクトルを生成する手段と、
    複数のベクトルをボキャブラリー内に格納する、ここで上記複数のベクトルは上記複数のカーネルに対応する、手段と、
    上記複数のベクトルにおける各ベクトルに関してインデックスを生成する手段と、
    複数のインデックスをベクトルインデックスファイルに格納する、ここで上記複数のインデックスは複数のベクトルに対応する、手段と、
    を備えた、デジタル画像の符号化システム。
JP2006508735A 2003-02-28 2004-02-13 画像パターン認識システム及び方法 Expired - Fee Related JP4607100B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US45108303P 2003-02-28 2003-02-28
US10/774,971 US7257268B2 (en) 2003-02-28 2004-02-09 Systems and methods for image pattern recognition
PCT/US2004/004314 WO2004079636A1 (en) 2003-02-28 2004-02-13 Systems and methods for image pattern recognition

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010185117A Division JP5113227B2 (ja) 2003-02-28 2010-08-20 画像パターン認識システム及び方法

Publications (2)

Publication Number Publication Date
JP2006520972A true JP2006520972A (ja) 2006-09-14
JP4607100B2 JP4607100B2 (ja) 2011-01-05

Family

ID=32912398

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2006508735A Expired - Fee Related JP4607100B2 (ja) 2003-02-28 2004-02-13 画像パターン認識システム及び方法
JP2010185117A Expired - Fee Related JP5113227B2 (ja) 2003-02-28 2010-08-20 画像パターン認識システム及び方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2010185117A Expired - Fee Related JP5113227B2 (ja) 2003-02-28 2010-08-20 画像パターン認識システム及び方法

Country Status (5)

Country Link
US (3) US7257268B2 (ja)
EP (1) EP1599824A4 (ja)
JP (2) JP4607100B2 (ja)
CA (1) CA2516894A1 (ja)
WO (1) WO2004079636A1 (ja)

Families Citing this family (106)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6272235B1 (en) * 1997-03-03 2001-08-07 Bacus Research Laboratories, Inc. Method and apparatus for creating a virtual microscope slide
US7133553B2 (en) * 2003-02-18 2006-11-07 Avago Technologies Sensor Ip Pte. Ltd. Correlation-based color mosaic interpolation adjustment using luminance gradients
US7257268B2 (en) * 2003-02-28 2007-08-14 Aperio Technologies, Inc. Systems and methods for image pattern recognition
US20050136509A1 (en) * 2003-09-10 2005-06-23 Bioimagene, Inc. Method and system for quantitatively analyzing biological samples
US8068988B2 (en) 2003-09-08 2011-11-29 Ventana Medical Systems, Inc. Method for automated processing of digital images of tissue micro-arrays (TMA)
US7813552B2 (en) * 2004-09-23 2010-10-12 Mitsubishi Denki Kabushiki Kaisha Methods of representing and analysing images
US8156116B2 (en) 2006-07-31 2012-04-10 Ricoh Co., Ltd Dynamic presentation of targeted information in a mixed media reality recognition system
US7702673B2 (en) * 2004-10-01 2010-04-20 Ricoh Co., Ltd. System and methods for creation and use of a mixed media environment
US7450960B2 (en) * 2004-10-07 2008-11-11 Chen Alexander C System, method and mobile unit to sense objects or text and retrieve related information
DE102006042157B4 (de) * 2006-09-06 2013-03-21 Leica Microsystems Cms Gmbh Verfahren und Mikroskopiersystem zum Scannen einer Probe
US20080101703A1 (en) * 2006-10-30 2008-05-01 Lockheed Martin Corporation Systems and methods for recognizing shapes in an image
US8396331B2 (en) * 2007-02-26 2013-03-12 Microsoft Corporation Generating a multi-use vocabulary based on image data
JP4398988B2 (ja) * 2007-03-26 2010-01-13 株式会社東芝 構造化文書を管理する装置、方法およびプログラム
US8165363B2 (en) 2007-05-04 2012-04-24 Aperio Technologies, Inc. System and method for quality assurance in pathology
KR20100121690A (ko) 2008-03-05 2010-11-18 이베이 인크. 이미지 인식 서비스 방법, 시스템 및 컴퓨터 판독가능한 매체
US9495386B2 (en) 2008-03-05 2016-11-15 Ebay Inc. Identification of items depicted in images
US8818978B2 (en) 2008-08-15 2014-08-26 Ebay Inc. Sharing item images using a similarity score
WO2010103389A1 (de) 2009-03-11 2010-09-16 Sensovation Ag Autofokusverfahren und autofokuseinrichtung
US8825660B2 (en) * 2009-03-17 2014-09-02 Ebay Inc. Image-based indexing in a network-based marketplace
US20100329535A1 (en) * 2009-06-26 2010-12-30 Marc Macenko Methods, Systems and Computer Program Products for Analyzing Histology Slide Images
US8891851B2 (en) * 2009-07-15 2014-11-18 Glenn F. Spaulding Home healthcare management system and hardware
EP4116913A1 (en) 2009-07-27 2023-01-11 Corista LLC System for networked digital pathology exchange
US8504726B2 (en) 2009-07-27 2013-08-06 Corista LLC User targeted medical imaging and information packaging, compression and distribution system
US9164577B2 (en) 2009-12-22 2015-10-20 Ebay Inc. Augmented reality system, method, and apparatus for displaying an item image in a contextual environment
US9053562B1 (en) 2010-06-24 2015-06-09 Gregory S. Rabin Two dimensional to three dimensional moving image converter
US10139613B2 (en) 2010-08-20 2018-11-27 Sakura Finetek U.S.A., Inc. Digital microscope and method of sensing an image of a tissue sample
US10127606B2 (en) 2010-10-13 2018-11-13 Ebay Inc. Augmented reality system and method for visualizing an item
CN103649713B (zh) * 2010-11-29 2017-03-01 丹麦达科有限公司 由可编程性定量检定所处理的样本的图像分析方法和体系
EP2673728B1 (en) * 2011-02-08 2018-09-12 dacadoo ag System, method and apparatus for the remote analysis of chemical compound microarrays
US10018631B2 (en) 2011-03-17 2018-07-10 Cernostics, Inc. Systems and compositions for diagnosing Barrett's esophagus and methods of using the same
CA2879297C (en) 2011-07-20 2020-07-14 Mikroscan Technologies, Inc. Network-based pathology system with desktop slide scanner
US9058331B2 (en) 2011-07-27 2015-06-16 Ricoh Co., Ltd. Generating a conversation in a social network based on visual search results
US8934718B2 (en) 2011-08-02 2015-01-13 Nec Laboratories America, Inc. Interactive analytics of digital histology slides
WO2013049312A2 (en) * 2011-09-29 2013-04-04 Carnegie Mellon University Segmenting biological structures from microscopy images
CA2853358A1 (en) 2011-10-24 2013-05-02 Halozyme, Inc. Companion diagnostic for anti-hyaluronan agent therapy and methods of use thereof
US9449342B2 (en) 2011-10-27 2016-09-20 Ebay Inc. System and method for visualization of items in an environment using augmented reality
US9934522B2 (en) 2012-03-22 2018-04-03 Ebay Inc. Systems and methods for batch- listing items stored offline on a mobile device
US10846766B2 (en) 2012-06-29 2020-11-24 Ebay Inc. Contextual menus based on image recognition
JP2014048325A (ja) * 2012-08-29 2014-03-17 Sony Corp 情報処理装置、情報処理方法、および情報処理プログラム
JP6049358B2 (ja) * 2012-08-31 2016-12-21 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
WO2014062856A1 (en) 2012-10-16 2014-04-24 Halozyme, Inc. Hypoxia and hyaluronan and markers thereof for diagnosis and monitoring of diseases and conditions and related methods
CN103020585B (zh) * 2012-11-06 2015-08-26 华南师范大学 一种免疫组织阳性细胞和阴性细胞识别方法
US9992021B1 (en) 2013-03-14 2018-06-05 GoTenna, Inc. System and method for private and point-to-point communication between computing devices
CN103164631B (zh) * 2013-04-16 2016-01-06 东华大学 一种智能协同表达基因分析仪
DE102013103971A1 (de) 2013-04-19 2014-11-06 Sensovation Ag Verfahren zum Erzeugen eines aus mehreren Teilbildern zusammengesetzten Gesamtbilds eines Objekts
US9141885B2 (en) * 2013-07-29 2015-09-22 Adobe Systems Incorporated Visual pattern recognition in an image
EP3069183A4 (en) 2013-11-15 2017-06-28 Mikroscan Technologies Inc. Geological scanner
US10007102B2 (en) 2013-12-23 2018-06-26 Sakura Finetek U.S.A., Inc. Microscope with slide clamping assembly
PL3186281T3 (pl) 2014-08-28 2019-10-31 Halozyme Inc Terapia skojarzona enzymem rozkładającym hialuronian i inhibitorem punktu kontrolnego odpowiedzi immunologicznej
WO2016069794A1 (en) 2014-10-28 2016-05-06 Mikroscan Technologies, Inc. Microdissection viewing system
US10839509B2 (en) 2015-07-10 2020-11-17 3Scan Inc. Spatial multiplexing of histological stains
EP3341732B1 (en) 2015-08-27 2023-07-12 INSERM - Institut National de la Santé et de la Recherche Médicale Methods for predicting the survival time of patients suffering from a lung cancer
WO2017060397A1 (en) 2015-10-09 2017-04-13 INSERM (Institut National de la Santé et de la Recherche Médicale) Methods for predicting the survival time of subjects suffering from melanoma metastases
WO2017067944A1 (en) 2015-10-19 2017-04-27 INSERM (Institut National de la Santé et de la Recherche Médicale) Methods for predicting the survival time of subjects suffering from triple negative breast cancer
US20180327499A1 (en) 2015-11-13 2018-11-15 INSERM (Institut National de la Santé et de la Recherche Médicale) Anti- nkg2d single domain antibodies and uses thereof
US20200264165A1 (en) 2016-01-04 2020-08-20 Inserm (Institut National De La Sante Et De Larecherche Medicale) Use of pd-1 and tim-3 as a measure for cd8+ cells in predicting and treating renal cell carcinoma
CN105547659B (zh) * 2016-01-11 2018-05-22 宁波江丰生物信息技术有限公司 检测数字切片病理扫描仪的平台倾角的***及方法
JP6902040B2 (ja) 2016-01-28 2021-07-14 アンスティチュ ナショナル ドゥ ラ サンテ エ ドゥ ラ ルシェルシュ メディカル 免疫チェックポイント阻害剤の効力を増強する方法
CN105894656B (zh) * 2016-03-30 2018-12-28 浙江大学 一种纸币图像识别方法
US20190292259A1 (en) 2016-05-24 2019-09-26 Inserm (Institut National De La Sante Et De La Recherche Medicale) Methods and pharmaceutical compositions for the treatment of non small cell lung cancer (nsclc) that coexists with chronic obstructive pulmonary disease (copd)
WO2018011107A1 (en) 2016-07-11 2018-01-18 INSERM (Institut National de la Santé et de la Recherche Médicale) Use of er-alpha 46 in methods and kits for assessing the status of breast cancer
KR101902621B1 (ko) * 2016-07-12 2018-10-01 주식회사 인피니트헬스케어 디지털 병리 시스템의 샘플 유사도 측정 방법
KR101863227B1 (ko) * 2016-07-12 2018-05-31 주식회사 인피니트헬스케어 디지털 병리 시스템의 환자 케이스 동일성 판단 방법
WO2018046736A1 (en) 2016-09-12 2018-03-15 INSERM (Institut National de la Santé et de la Recherche Médicale) Methods for predicting the survival time of patients suffering from cancer
US11280803B2 (en) 2016-11-22 2022-03-22 Sakura Finetek U.S.A., Inc. Slide management system
WO2018122245A1 (en) 2016-12-28 2018-07-05 INSERM (Institut National de la Santé et de la Recherche Médicale) Methods of predicting the survival time of patients suffering from cms3 colorectal cancer
WO2018122249A1 (en) 2016-12-28 2018-07-05 INSERM (Institut National de la Santé et de la Recherche Médicale) Methods for predicting the survival time of patients suffering from a microsatellite stable colorectal cancer
US10712548B2 (en) 2017-06-08 2020-07-14 Microscope International, LLC Systems and methods for rapid scanning of images in digital microscopes
WO2019043138A1 (en) 2017-09-01 2019-03-07 INSERM (Institut National de la Santé et de la Recherche Médicale) METHOD FOR PREDICTING OUTCOME OF CANCER
US10444486B2 (en) 2017-09-04 2019-10-15 Microscopes International, Llc Systems and methods for detection of blank fields in digital microscopes
WO2019101871A1 (en) 2017-11-23 2019-05-31 Inserm (Institut National De La Sante Et De La Recherche Medicale) A new marker for predicting the sensitivity to pi3k inhibitors
RU2020133451A (ru) 2018-03-12 2022-04-12 Инститьют Насьонал Де Ла Санте Et De La Решерш Медикаль (Инсерм) Применение терапевтически эффективной комбинации химиотерапиии и ингибитора контрольной точки иммунного ответа с миметиком ограничения калорийности для лечения рака
US11112952B2 (en) 2018-03-26 2021-09-07 Microscopes International, Llc Interface for display of multi-layer images in digital microscopy
WO2019186976A1 (ja) * 2018-03-29 2019-10-03 株式会社日立ハイテクノロジーズ 荷電粒子線装置
JP2021521445A (ja) 2018-04-13 2021-08-26 アンスティチュ ナショナル ドゥ ラ サンテ エ ドゥ ラ ルシェルシュ メディカル 前立腺癌又は乳癌を患っている患者の転帰を予測するための及び処置のための方法
US10573034B2 (en) 2018-04-13 2020-02-25 Honeywell International Inc. System and method for translation of graphics to newer format using pattern matching
WO2019207030A1 (en) 2018-04-26 2019-10-31 INSERM (Institut National de la Santé et de la Recherche Médicale) Methods for predicting a response with an immune checkpoint inhibitor in a patient suffering from a lung cancer
CN108734850A (zh) * 2018-04-27 2018-11-02 深圳怡化电脑股份有限公司 纸币识别方法、纸币识别装置及终端设备
US10747207B2 (en) 2018-06-15 2020-08-18 Honeywell International Inc. System and method for accurate automatic determination of “alarm-operator action” linkage for operator assessment and alarm guidance using custom graphics and control charts
US10699159B2 (en) 2018-08-17 2020-06-30 Honeywell International Inc. Objects aggregation and standardization for legacy graphics conversion
WO2020048942A1 (en) 2018-09-04 2020-03-12 INSERM (Institut National de la Santé et de la Recherche Médicale) Methods and pharmaceutical compositions for enhancing cytotoxic t lymphocyte-dependent immune responses
JP2022511337A (ja) 2018-09-19 2022-01-31 インサーム (インスティテュート ナショナル デ ラ サンテ エ デ ラ ルシェルシェ メディカル) 免疫チェックポイント治療に抵抗性のある癌の治療のための方法および医薬組成物
US20220040183A1 (en) 2018-10-01 2022-02-10 INSERM (Institut National de la Santé et de la Recherche Médicale) Use of inhibitors of stress granule formation for targeting the regulation of immune responses
WO2020120592A1 (en) 2018-12-12 2020-06-18 INSERM (Institut National de la Santé et de la Recherche Médicale) Methods and compositions for predicting and treating melanoma
WO2020127059A1 (en) 2018-12-17 2020-06-25 INSERM (Institut National de la Santé et de la Recherche Médicale) Use of sulconazole as a furin inhibitor
BR112021013157A8 (pt) 2019-01-03 2022-12-06 Inst Nat Sante Rech Med Usos de um inibidor de nrp-1, uso de uma combinação, uso de um anticorpo multiespecífico, método ex vivo para predizer, uso de um inibidor, anticorpo multiespecífico, população de células modificadas, método ex vivo de produção e uso de uma população de células t
JP2022527972A (ja) 2019-04-02 2022-06-07 アンスティチュ ナショナル ドゥ ラ サンテ エ ドゥ ラ ルシェルシュ メディカル 前悪性病変を有する患者において癌を予測及び予防する方法
US20220160692A1 (en) 2019-04-09 2022-05-26 INSERM (Institut National de la Santé et de la Recherche Médicale) Use of sk2 inhibitors in combination with immune checkpoint blockade therapy for the treatment of cancer
CN114072676B (zh) 2019-06-03 2024-07-12 法国国家卫生及研究医学协会 调节治疗方案的方法
WO2020245208A1 (en) 2019-06-04 2020-12-10 INSERM (Institut National de la Santé et de la Recherche Médicale) Use of cd9 as a biomarker and as a biotarget in glomerulonephritis or glomerulosclerosis
CA3157889A1 (en) 2019-10-17 2021-04-22 Inserm (Institut National De La Sante Et De La Recherche Medicale) Methods for diagnosing nasal intestinal type adenocarcinomas
US11042957B1 (en) 2019-12-12 2021-06-22 Honeywell International Inc. Identification of process and control linkages from custom graphics for the purpose of backbuilding standard operating procedures
US20230076415A1 (en) 2020-01-17 2023-03-09 INSERM (Institut National de la Santé et de la Recherche Médicale) Methods and compositions for treating melanoma
US20230113705A1 (en) 2020-02-28 2023-04-13 INSERM (Institut National de la Santé et de la Recherche Médicale) Methods for diagnosing, prognosing and managing treatment of breast cancer
WO2022002874A1 (en) 2020-06-30 2022-01-06 INSERM (Institut National de la Santé et de la Recherche Médicale) Methods for predicting the risk of recurrence and/or death of patients suffering from a solid cancer after preoperative adjuvant therapy and radical surgery
EP4172621A1 (en) 2020-06-30 2023-05-03 INSERM (Institut National de la Santé et de la Recherche Médicale) Methods for predicting the risk of recurrence and/or death of patients suffering from a solid cancer after preoperative adjuvant therapies
WO2022200303A1 (en) 2021-03-23 2022-09-29 INSERM (Institut National de la Santé et de la Recherche Médicale) Methods for the diagnosis and treatment of t cell-lymphomas
US20240210404A1 (en) 2021-04-27 2024-06-27 INSERM (Institut National de la Santé et de la Recherche Médicale) Methods for predicting the risk of lymph node metastasis and/or recurrence of patients suffering from a t1 cancer treated by endoscopic resection
WO2023144303A1 (en) 2022-01-31 2023-08-03 INSERM (Institut National de la Santé et de la Recherche Médicale) Cd38 as a biomarker and biotarget in t-cell lymphomas
WO2023175366A1 (en) 2022-03-17 2023-09-21 Veracyte Methods for predicting response to an immunotherapeutic treatment in a patient with a cancer
WO2023198648A1 (en) 2022-04-11 2023-10-19 Institut National de la Santé et de la Recherche Médicale Methods for the diagnosis and treatment of t-cell malignancies
WO2023198874A1 (en) 2022-04-15 2023-10-19 Institut National de la Santé et de la Recherche Médicale Methods for the diagnosis and treatment of t cell-lymphomas
WO2024003310A1 (en) 2022-06-30 2024-01-04 Institut National de la Santé et de la Recherche Médicale Methods for the diagnosis and treatment of acute lymphoblastic leukemia
WO2024018046A1 (en) 2022-07-22 2024-01-25 Institut National de la Santé et de la Recherche Médicale Garp as a biomarker and biotarget in t-cell malignancies
WO2024023283A1 (en) 2022-07-29 2024-02-01 Institut National de la Santé et de la Recherche Médicale Lrrc33 as a biomarker and biotarget in cutaneous t-cell lymphomas
WO2024079192A1 (en) 2022-10-12 2024-04-18 Institut National de la Santé et de la Recherche Médicale Cd81 as a biomarker and biotarget in t-cell malignancies

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01114281A (ja) * 1987-10-28 1989-05-02 Canon Inc 画像符号化方法
JPH0327670A (ja) * 1989-06-26 1991-02-06 Hitachi Ltd 画像データのベクトル量子化器
WO1991014342A1 (en) * 1990-03-16 1991-09-19 Information Technologies Research, Inc. Method and apparatus for vector quantization
JPH066316A (ja) * 1992-06-18 1994-01-14 Matsushita Electric Ind Co Ltd コードブック作成装置及びベクトル量子化装置
JPH0765168A (ja) * 1993-08-31 1995-03-10 Hitachi Ltd 関数近似装置及び方法
JPH09259187A (ja) * 1996-03-18 1997-10-03 Sony Corp 自動検査方法及びその装置
JPH11211988A (ja) * 1998-01-29 1999-08-06 Nippon Telegr & Teleph Corp <Ntt> 顕微鏡画像遠隔制御システム
JPH11283031A (ja) * 1998-03-27 1999-10-15 Toshiba Corp 物体認識装置及びその方法
JP2000155840A (ja) * 1998-11-18 2000-06-06 Olympus Optical Co Ltd 画像処理方法
JP2000201078A (ja) * 1998-04-17 2000-07-18 Tadahiro Omi デ―タ圧縮装置および方法、デ―タ伸長装置および方法、デ―タ圧縮伸長システムおよび方法、コ―ドブックの作成方法、記録媒体
JP2001076141A (ja) * 1999-08-31 2001-03-23 Konica Corp 画像認識方法および画像処理装置
JP2001505730A (ja) * 1996-10-23 2001-04-24 ユニバーシティ オブ ストラスクライド ベクトル量子化コードブックの生成方法
JP2001224576A (ja) * 2000-02-18 2001-08-21 Konica Corp 画像処理方法および画像処理装置
US20010017941A1 (en) * 1997-03-14 2001-08-30 Navin Chaddha Method and apparatus for table-based compression with embedded coding
JP2002044644A (ja) * 2000-05-27 2002-02-08 Leica Microsystems Wetzler Gmbh 顕微鏡の生画像を符号化する方法および装置

Family Cites Families (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3643015A (en) * 1970-06-19 1972-02-15 Paul Davidovits Scanning optical microscope
US4742558A (en) * 1984-02-14 1988-05-03 Nippon Telegraph & Telephone Public Corporation Image information retrieval/display apparatus
EP0169387B1 (en) * 1984-06-25 1990-04-25 Olympus Optical Co., Ltd. Microscope
US4700298A (en) 1984-09-14 1987-10-13 Branko Palcic Dynamic microscope image processing scanner
US4760385A (en) * 1985-04-22 1988-07-26 E. I. Du Pont De Nemours And Company Electronic mosaic imaging process
US4673988A (en) 1985-04-22 1987-06-16 E.I. Du Pont De Nemours And Company Electronic mosaic imaging process
US4673968A (en) * 1985-07-02 1987-06-16 Siemens Aktiengesellschaft Integrated MOS transistors having a gate metallization composed of tantalum or niobium or their silicides
US4777525A (en) * 1985-12-23 1988-10-11 Preston Jr Kendall Apparatus and method for a multi-resolution electro-optical imaging, display and storage/retrieval system
US4700928A (en) * 1986-10-31 1987-10-20 Masco Corporation Of Indiana Valve assembly
GB8710737D0 (en) * 1987-05-06 1987-06-10 British Telecomm Video image encoding
US4845552A (en) 1987-08-20 1989-07-04 Bruno Jaggi Quantitative light microscope using a solid state detector in the primary image plane
US5740270A (en) * 1988-04-08 1998-04-14 Neuromedical Systems, Inc. Automated cytological specimen classification system and method
JP2749069B2 (ja) 1988-04-26 1998-05-13 オリンパス光学工業株式会社 蛍光顕微鏡装置
US4845562A (en) * 1988-06-10 1989-07-04 Rca Licensing Corporation Widescreen television reception and recording system utilizing conventional equipment
US4960999A (en) * 1989-02-13 1990-10-02 Kms Fusion, Inc. Scanning and storage of electrophoretic records
US4987480A (en) * 1989-07-11 1991-01-22 Massachusetts Institute Of Technology Multiscale coding of images
FR2654922B1 (fr) * 1989-11-28 1994-07-01 Subrini Louis Implant de remplissage penien.
US5086477A (en) 1990-08-07 1992-02-04 Northwest Technology Corp. Automated system for extracting design and layout information from an integrated circuit
US5231663A (en) * 1991-03-18 1993-07-27 Earl Joseph G Image processing system
US5187754A (en) * 1991-04-30 1993-02-16 General Electric Company Forming, with the aid of an overview image, a composite image from a mosaic of images
US5790710A (en) * 1991-07-12 1998-08-04 Jeffrey H. Price Autofocus system for scanning microscopy
US5172228A (en) * 1991-11-19 1992-12-15 Utah State University Foundation Image compression method and apparatus employing distortion adaptive tree search vector quantization
US5495535A (en) * 1992-01-31 1996-02-27 Orbotech Ltd Method of inspecting articles
US5912699A (en) 1992-02-18 1999-06-15 Neopath, Inc. Method and apparatus for rapid capture of focused microscopic images
US5448399A (en) * 1992-03-13 1995-09-05 Park Scientific Instruments Optical system for scanning microscope
JPH05264221A (ja) * 1992-03-17 1993-10-12 Fujitsu Ltd 半導体露光装置用マーク位置検出装置及びこれを用いた半導体露光装置用位置合わせ装置
JP3275368B2 (ja) * 1992-07-09 2002-04-15 株式会社ニコン 露光方法及び装置
US5633948A (en) * 1992-11-30 1997-05-27 Kegelmeyer, Jr.; W. Philip Method and apparatus for detecting a desired behavior in digital image data
US5479252A (en) * 1993-06-17 1995-12-26 Ultrapointe Corporation Laser imaging system for inspection and analysis of sub-micron particles
US5483055A (en) * 1994-01-18 1996-01-09 Thompson; Timothy V. Method and apparatus for performing an automatic focus operation for a microscope
US5793969A (en) * 1993-07-09 1998-08-11 Neopath, Inc. Network review and analysis of computer encoded slides
JP3496893B2 (ja) * 1993-12-10 2004-02-16 株式会社リコー カラー画像認識方法および装置
GB2286309B (en) * 1994-02-01 1998-04-15 Rank Cintel Ltd High resolution film scanner
US5578832A (en) * 1994-09-02 1996-11-26 Affymetrix, Inc. Method and apparatus for imaging a sample on a device
US5649032A (en) * 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
US5922282A (en) * 1995-06-07 1999-07-13 Ledley; Robert S. Super fast tuberculosis diagnosis and sensitivity testing method
CA2227177A1 (en) * 1995-07-19 1997-02-06 Morphometrix Technologies Inc. Automated scanning of microscope slides
KR987001186A (ko) * 1995-10-18 1998-04-30 요트.게.아.롤페즈 영역기준 텍스쳐 코딩 방법과 디코딩 방법, 및 그 대응 시스템(Region-based Texture Coding and Decoding Method, and Corresponding Systems)
US5710835A (en) 1995-11-14 1998-01-20 The Regents Of The University Of California, Office Of Technology Transfer Storage and retrieval of large digital images
US5710635A (en) * 1995-12-06 1998-01-20 Xerox Corporation Generic assembly trees providing job control and mix and match of modules
US6005964A (en) * 1996-01-24 1999-12-21 The Board Of Trustees Of The University Of Illinois Automatic machine vision microscope slide inspection system and method
US5872591A (en) 1996-02-21 1999-02-16 Pakon, Inc. Film scanner
US6078681A (en) * 1996-03-18 2000-06-20 Marine Biological Laboratory Analytical imaging system and process
US6091846A (en) * 1996-05-31 2000-07-18 Texas Instruments Incorporated Method and system for anomaly detection
WO1998002843A1 (en) * 1996-07-12 1998-01-22 Erim International, Inc. Mosaic construction, processing, and review of very large electronic micrograph composites
US6272235B1 (en) 1997-03-03 2001-08-07 Bacus Research Laboratories, Inc. Method and apparatus for creating a virtual microscope slide
US6031930A (en) * 1996-08-23 2000-02-29 Bacus Research Laboratories, Inc. Method and apparatus for testing a progression of neoplasia including cancer chemoprevention testing
US5968731A (en) * 1996-12-10 1999-10-19 The Regents Of The University Of California Apparatus for automated testing of biological specimens
NL1005443C2 (nl) 1997-03-05 1998-09-08 Scantech Bv Werkwijze voor het aftasten van ten minste een code op een object.
DE19714221A1 (de) 1997-04-07 1998-10-08 Zeiss Carl Fa Konfokales Mikroskop mit einem motorischen Scanningtisch
JPH10302067A (ja) * 1997-04-23 1998-11-13 Hitachi Ltd パターン認識装置
US6002789A (en) * 1997-06-24 1999-12-14 Pilot Industries, Inc. Bacteria colony counter and classifier
US5912599A (en) * 1997-10-21 1999-06-15 Trw Inc. Bandwidth compensated bridged-tee attenuator
US5943122A (en) * 1998-07-10 1999-08-24 Nanometrics Incorporated Integrated optical measurement instruments
JP3139998B2 (ja) * 1998-12-01 2001-03-05 株式会社東京精密 外観検査装置及び方法
US6330348B1 (en) * 1999-01-21 2001-12-11 Resolution Sciences Corporation Method and apparatus for measurement of microtome performance
JP3569641B2 (ja) * 1999-02-25 2004-09-22 日本電信電話株式会社 画像中の物体の検出装置、方法およびこの方法を記録した記録媒体
JP4323608B2 (ja) * 1999-03-12 2009-09-02 キヤノン株式会社 露光装置およびデバイス製造方法
US7212667B1 (en) * 1999-05-17 2007-05-01 Samsung Electronics Co., Ltd. Color image processing method for indexing an image using a lattice structure
JP2002032766A (ja) * 2000-07-18 2002-01-31 Matsushita Electric Ind Co Ltd 画像認識装置及びその方法
JP3777938B2 (ja) * 1999-12-13 2006-05-24 トヨタ自動車株式会社 画像認識装置および画像認識方法
US6711283B1 (en) * 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
JP4664482B2 (ja) * 2000-11-09 2011-04-06 株式会社東芝 証紙類識別装置、及び、押印装置
US6947869B2 (en) * 2002-03-29 2005-09-20 The United States Of America As Represented By The Secretary Of The Navy Efficient near neighbor search (ENN-search) method for high dimensional data sets with noise
US7257268B2 (en) * 2003-02-28 2007-08-14 Aperio Technologies, Inc. Systems and methods for image pattern recognition

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01114281A (ja) * 1987-10-28 1989-05-02 Canon Inc 画像符号化方法
JPH0327670A (ja) * 1989-06-26 1991-02-06 Hitachi Ltd 画像データのベクトル量子化器
WO1991014342A1 (en) * 1990-03-16 1991-09-19 Information Technologies Research, Inc. Method and apparatus for vector quantization
JPH066316A (ja) * 1992-06-18 1994-01-14 Matsushita Electric Ind Co Ltd コードブック作成装置及びベクトル量子化装置
JPH0765168A (ja) * 1993-08-31 1995-03-10 Hitachi Ltd 関数近似装置及び方法
JPH09259187A (ja) * 1996-03-18 1997-10-03 Sony Corp 自動検査方法及びその装置
JP2001505730A (ja) * 1996-10-23 2001-04-24 ユニバーシティ オブ ストラスクライド ベクトル量子化コードブックの生成方法
US20010017941A1 (en) * 1997-03-14 2001-08-30 Navin Chaddha Method and apparatus for table-based compression with embedded coding
JPH11211988A (ja) * 1998-01-29 1999-08-06 Nippon Telegr & Teleph Corp <Ntt> 顕微鏡画像遠隔制御システム
JPH11283031A (ja) * 1998-03-27 1999-10-15 Toshiba Corp 物体認識装置及びその方法
JP2000201078A (ja) * 1998-04-17 2000-07-18 Tadahiro Omi デ―タ圧縮装置および方法、デ―タ伸長装置および方法、デ―タ圧縮伸長システムおよび方法、コ―ドブックの作成方法、記録媒体
JP2000155840A (ja) * 1998-11-18 2000-06-06 Olympus Optical Co Ltd 画像処理方法
JP2001076141A (ja) * 1999-08-31 2001-03-23 Konica Corp 画像認識方法および画像処理装置
JP2001224576A (ja) * 2000-02-18 2001-08-21 Konica Corp 画像処理方法および画像処理装置
JP2002044644A (ja) * 2000-05-27 2002-02-08 Leica Microsystems Wetzler Gmbh 顕微鏡の生画像を符号化する方法および装置

Also Published As

Publication number Publication date
EP1599824A1 (en) 2005-11-30
CA2516894A1 (en) 2004-09-16
US20090169118A1 (en) 2009-07-02
JP2011040073A (ja) 2011-02-24
US7844125B2 (en) 2010-11-30
US20070274603A1 (en) 2007-11-29
JP5113227B2 (ja) 2013-01-09
US20040170325A1 (en) 2004-09-02
US7502519B2 (en) 2009-03-10
EP1599824A4 (en) 2008-02-27
US7257268B2 (en) 2007-08-14
JP4607100B2 (ja) 2011-01-05
WO2004079636A1 (en) 2004-09-16

Similar Documents

Publication Publication Date Title
JP4607100B2 (ja) 画像パターン認識システム及び方法
US10706542B2 (en) Systems and methods for detection of structures and/or patterns in images
US8600143B1 (en) Method and system for hierarchical tissue analysis and classification
KR102108050B1 (ko) 증강 컨볼루션 네트워크를 통한 유방암 조직학 이미지 분류 방법 및 그 장치
US9684960B2 (en) Automated histological diagnosis of bacterial infection using image analysis
CN111915596A (zh) 一种肺结节良恶性预测方法及装置
US9996924B2 (en) Systems and methods for spectral unmixing of microscopic images using pixel grouping
Hipp et al. Spatially invariant vector quantization: a pattern matching algorithm for multiple classes of image subject matter including pathology
Song et al. Hybrid deep autoencoder with Curvature Gaussian for detection of various types of cells in bone marrow trephine biopsy images
Kanwal et al. Quantifying the effect of color processing on blood and damaged tissue detection in whole slide images
Chang et al. Multireference level set for the characterization of nuclear morphology in glioblastoma multiforme
CN116843974A (zh) 基于残差神经网络的乳腺癌病理图像分类方法
Guerrero et al. Improvements in lymphocytes detection using deep learning with a preprocessing stage
WO2014053520A1 (en) Targeting cell nuclei for the automation of raman spectroscopy in cytology
US20230395238A1 (en) System and method for virtual and chemical staining of tissue samples
EP4372379A1 (en) Pathology image analysis method and system
Raj et al. A Pioneering and Streamlined Pixel Based Approach of Hyperspectral Image Classification for White Blood Cell Using Convolution Neural Network
Julia Chung et al. When AI Meets Digital Pathology
Li Circular probabilistic based color processing: applications in digital pathology image analysis
Zhang et al. SegET: Deep Neural Network with Rich Contextual Features for Cellular Structures Segmentation in Electron Tomography Image
Wu et al. Image quantification of high-throughput tissue microarray
CN117237341A (zh) 基于高光谱图像的人体外周血样本检测方法及***
Blackledge et al. Pattern Recognition in Cytopathology for Papanicolaou Screening
Wu et al. Image capture, analysis and quantification
Bose et al. A Class of Point Dissipative n-Dimensional Dynamical Systems

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20061219

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20061219

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20070802

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20070802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20070809

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070809

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100223

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100521

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100528

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100623

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100630

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100720

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100727

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100820

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100928

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101006

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4607100

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131015

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees