JP5878981B2 - 医療診断支援のための画像評価装置、医療診断支援システムおよびその操作制御方法 - Google Patents

医療診断支援のための画像評価装置、医療診断支援システムおよびその操作制御方法 Download PDF

Info

Publication number
JP5878981B2
JP5878981B2 JP2014530815A JP2014530815A JP5878981B2 JP 5878981 B2 JP5878981 B2 JP 5878981B2 JP 2014530815 A JP2014530815 A JP 2014530815A JP 2014530815 A JP2014530815 A JP 2014530815A JP 5878981 B2 JP5878981 B2 JP 5878981B2
Authority
JP
Japan
Prior art keywords
image
stained
specimen
dye
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014530815A
Other languages
English (en)
Other versions
JP2014526700A (ja
Inventor
由香子 八木
由香子 八木
武 大塚
武 大塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Hospital Corp
Original Assignee
General Hospital Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Hospital Corp filed Critical General Hospital Corp
Publication of JP2014526700A publication Critical patent/JP2014526700A/ja
Application granted granted Critical
Publication of JP5878981B2 publication Critical patent/JP5878981B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

関連出願の相互参照
本出願は、2011年9月15日付で出願された「医療診断支援のためのシステムおよび方法」と題する米国特許出願第13/233,786号からの利点および優先権を主張するものであり、その開示は参照によりあらゆる目的について本明細書に完全に援用される。
本発明は、包括的に、病理標本を示す形態学的データの判定に基づいた医療診断支援のための装置および方法に関し、特に、従来法により作製した標本の評価を自動化し、さらなる特殊作製標本作製に進むか否かを決定して、評価および診断への病理学者による介入が1回だけで済むようにした方法およびシステムに関するものである。
異常生体組織または病変生体組織は、例えば、生検標本の病理組織学的検討等の組織病理学により診断およびモニタされることが多い。生体分子(例えば、核酸、タンパク質、脂質等)の存在、濃度、および分布、または、組織の種々の部分や構造は、化学染色および固定剤の特定の組み合わせを選択することにより特定することができる。生体組織標本における組織学的構造を可視化することは、例えば、腎臓病や肝臓病等の患者が罹患した可能性のある病気について特定の診断に至るまでに病理学者が行う基本の手順である。特に、病理学者は、組織の種々の要素の形態的構造における任意の変化、すなわち、形状および大きさの異常等を評価して、変化が認められれば、それを特定の疾病と関連づける。通常、病理学者は、物理的に染色した組織標本(例えば、色素により染色した標本)を用い、色を手がかりにそのような組織の質感および形態構造を分析解釈して、診断を下す。未染色の組織標本では、組織構造が明確に識別されておらず、顕微鏡下で観察すると一般に無色に見えるが、それと比較して、染色した組織標本では、組織構造が明瞭に示されるだけでなく、種々の組織要素をはっきりと視覚的に区別することができる。組織標本の染色には様々な種類の色素が利用可能であるが、各色素は組織構造をそれぞれ識別する色でラベル付け(labeling)することにより、各組織要素の差異を強調している。主に、診断においてどの組織構造を評価しようとするかによって、使用する色素の種類を選択する。染色における一般的な慣例としては、例えば、核領域と細胞質と結合組織の区別を容易にするヘマトキシリン−エオジン(HE)色素がある。ヘマチン(ヘマトキシリンの酸化物)は、好塩基性の色素であり、細胞核のDNA等、負に帯電した物質との結合に親和性を有する。細胞をヘマトキシリンで処理すると、その結果、細胞核の色が青紫色に変色する。一方、エオジンは、好酸性の色素であり、正に帯電した物質と結合する。細胞質に含まれるタンパク質は、エオジンで染色すると赤から薄赤に染色される。
熟練した組織病理学者は、細胞の色、形状、染色の度合い、および種々の染色のパターンに基づいて、組織疾病の診断および疾病の重症度を測ることができる。図1は、被検標本について従来行われている病理学的評価の流れの一例を模式的に示すフローチャートである。図1を参照すると、HE染色した標本の評価に基づいて、標本の状態についての初期診断を行う。図示したように、ステップ104で作製した生体標本を、続くステップ108において、HE染色する。この染色手順は、利用可能な施設によってばらつきがあるが、従来、数日(例えば、Δt1日〜3日)を要する。そして、病理学者は、ステップ112において、HE染色した標本を評価して初期診断を下すが、その際に、例えば、病変等の問題が発覚することがある。そのような、問題の「陽性」所見が一旦得られると、ステップ116において、示唆された問題を特定する(例えば、標本の対象病変の場所を突き止める)ため、さらなる評価を行う必要性を促す。この場合、ステップ120にて同じ生体組織の標本を作製するが、この標本作製はいわゆる「特殊」染色で染色することにより行うものである。特殊染色(例えば、マッソントリクローム染色すなわちMT、ビクトリアン・ブルー染色すなわちVB、またはギムザ染色等)を適切に選択し、細胞の特定の(各)成分または各複合成分(例えば、酵素類、多糖類、脂質類、金属類、およびイオン類等)と化学反応させると、目的の問題のある物質の位置確認が容易になる。特殊染色標本の作製には数日以上を要する。したがって、最終的な評価ステップ124、すなわち、特殊染色標本の評価は数日後(例えば、Δt=1日〜3日)に病理学者が行うが、それとともに、ステップ128において、患者の状態に関する最終診断を下す。しかしながら、さらなる評価が必要なければ、ステップ132において、初期診断に基づいて最終診断を下すことができる。
したがって、患者の状態を診断するプロセスには多くの日数を要することがわかる。最終診断(ステップ128)に到達するまでに要する全体の期間Δt+Δtが長ければ長いほど、患者の肉体的および精神的負担が大きくなるおそれがある。関連の従来技術において示唆されるように、診断プロセスにおける遅延を低減する必要性に迫られて、場合によっては、必要または不要な特殊染色が何であるかにかかわらず、初期診断よりも前にHE染色標本および特殊染色標本を作製することが行われてきた。そうすることにより、組織病理学者は、オプションとして、必要とされる特殊染色標本を判定ステップ116の直後に使用できるが、その一方で、このような特殊染色標本の先行作製は、標本、染色にかかる手間、および組織病理学技術者の時間を必要以上に浪費してしまうことにつながる点で問題があり費用もかかる。したがって、標本の状態についての最終診断に到達するまでに要する時間を短縮するという課題が未解決である。
本発明の各実施形態は、生体標本画像の自動評価に基づき医療診断のプロセスを支援するように構成された画像評価装置を提供する。このような装置の一実施形態は、生体標本を表す撮像データを取得するように構成された結像光学系と、該装置を動作させるようにプログラムしたプロセッサを備える。特に、プロセッサは、取得された撮像データを入力部から受け取り、第1の選択色素に対する生体標本の反応を示す、第1の視認可能表示を生成し、第1の選択色素で生体標本を染色する要求を示す、第1のユーザー知覚可能出力を生成するようにプログラムされる。一実施形態において、プロセッサは、さらに、第1の選択色素の作用に応じて生じる生体標本の光学特性の変化を表す画像を生成させるように構成され、また、前記画像においてそのような変化を表す画像の第1の領域の、画像全体の領域に対する割合に対応づけた第1の指数を生成させるように構成されている。一実施形態において、装置は、さらに、有形のコンピュータ利用可能メモリ装置を備え、プロセッサは、第1の指標と、メモリ記憶装置に格納したトレーニングデータを用いて推定された第1の閾値との比較に少なくとも基づいて、前記第1のユーザー知覚可能出力を生成するように構成される。関連の実施形態において、装置は、さらに、プロセッサと連動可能に接続される表示装置であって、取得された撮像データに対応する画像および第1の選択色素の作用に応じて生じる該生体標本の光学特性における変化を表す画像の少なくとも一方を表示するように構成された表示装置を備える。代案として、または、追加として、装置は、第1の視認可能な表示を示すように構成された表示装置と、プロセッサと電気通信を行う電気回路部品と、を備え、プロセッサは、さらに、第1の選択色素により染色した前記生体標本の要求を示す信号を生成するように、表示装置に与えられたユーザー入力に応じて、電気回路部品に行わせるように構成されている。特定の実施形態において、表示装置は、(i)第2の選択色素に対する生体標本の反応を表す第2の視認可能な表示を生成させ、(ii)第1の選択色素と第2の選択色素とにより、生体標本を染色する必要性の優先順位を表す、ユーザー知覚可能出力を生成させるように、さらに構成された前記プロセッサにより制御され、ここで、必要性の優先順位は、少なくとも第1および第2の視認可能な表示にそれぞれ割り当てられた指標の比較に基づいて決定される。
本発明の各実施形態は、また、医療診断支援システムであって、生体標本の種類と該生体標本の暫定的な医学的状態とを表す入力データを取得するように構成された入力部と、該入力部と連動可能に接続され、取得された入力データとトレーニングデータとに少なくとも基づいて特殊色素を特定するように構成されたプロセッサと、第1の色素で染色された生体組織のマルチスペクトル画像を取得するように構成された光学系と、を備える医療診断支援システムを提供する。医療診断支援システムの一実施形態は、さらに、取得されたマルチスペクトル画像に対応する画像データを受け取り、特定された特殊色素で染色した組織のスペクトル反応をエミュレートするように構成された仮想染色画像に、取得されたマルチスペクトル画像を変換するように構成された第1のデータ処理装置をさらに備える。一実施形態は、さらに、仮想染色画像とトレーニングデータとの比較に少なくとも基づいて、特殊色素で染色された組織標本の優先要求を表す出力を生成するように構成された第2のデータ処理装置を備える。さらに、システムは、第1および第2のデータ処理装置のうち少なくとも一方と通信するユーザーインターフェイス(UI)を備え、ユーザーインターフェイスは、マルチスペクトル画像、仮想染色画像、および前記生成された出力のうち少なくとも1つを表示するように構成され、さらに、前記生成した出力を含むユーザー入力を受け取るように構成される。
さらに、本発明の各実施形態は、生体組織の病状を評価するコンピュータ支援システムの操作を制御する方法を提供する。本方法は、特殊色素に対する組織のスペクトル反応を示す分光透過率データをデジタルに生成し、組織の特定された病状を表す性能指数を決定するため、デジタルに生成された分光透過率データとトレーニングデータとを自動的に比較し、求められた性能指数に基づいて、特殊色素で染色された組織の標本を要求することを含む。一実施形態において、分光透過率データをデジタルに生成することは、少なくとも2組の分光透過率データを生成することを含み、自動的に評価することは、前記少なくとも2組の分光透過率データにそれぞれ対応する少なくとも2つの性能指数を求めることを含み、および、標本を要求することは、前記少なくとも2つの性能指数に基づき定義した対応する優先順に少なくとも2つの標本を要求することを含む。関連する実施形態において、本方法は、さらに、デジタルに生成された分光透過率データをRGB色空間に変換することおよび可視化のため変換した分光透過率データに対応する画像を表示することの少なくとも1つを含む。
関連する実施形態において、本方法は、例えばHE色素等の特殊色素で染色した組織標本を表す分光透過率データを取得することを含むことができる。分光透過率データをデジタルに作成するプロセスは、前記組織および前記特殊色素に対応付けたトレーニングデータに基づき、取得された分光透過率データをマッピングして変更分光透過率データとすることを含んでもよい。特定の実施形態において、代案または追加として、求めた性能指数に基づき標本を要求する行為は、求めた性能指数が、トレーニングデータにより定義された閾値以上の場合に標本を要求することを含む。
図1は、組織病理学的標本に基づく医療診断における従来のプロセスを示すフローチャートである。 図2は、本発明のシステムの一実施形態を示すブロック概略図である。 図3Aおよび3Bは、本発明の各実施形態と共に用いる画像取得システムの一般化した実施形態を示す図である。 図4は、図2に示す実施形態の画像取得サブシステムの具体的な実施態様を示す図である。 図5Aおよび図5Bは、図4に示す画像取得サブシステムと共に用いる光学フィルタの具体的な実施形態における分光透過率特性を示すグラフである。 図6は、図4に示す実施形態におけるトライバンド(RGB)カメラの分光感度特性を示すグラフである。 図7は、図2に示す実施形態の動作の各ステップを示すフローチャートである。 図8Aは、特殊染色標本に対する単一の要求を示すインジケータを有する表示装置の実施形態を示す図である。 図8Bは、特殊染色標本に対する単一の要求を示すインジケータを有する表示 図8Cは、特殊染色標本に対する複数の要求を優先順に示すディスプレイの別の実施形態を示す図である。装置の実施形態を示す図である。 図8Dは、特殊染色標本に対する複数の要求を優先順に示すディスプレイの別の実施形態を示す図である。 図9は、本発明の一実施形態による医療評価および診断アルゴリズムを説明するフローチャートである。
本発明の各実施形態は、医療診断に必要とされる標本評価を見込んで作製される特殊染色した病理学標本数を容易に削減しようとするものである。各実施形態は、さらに、最終的な判断の基準となる、組織病理学者による個々の診断評価開始以前に要する時間を短縮しようとするものである。
本明細書全体を通して記載される、「一実施形態」、「ある実施形態」、「関連の実施形態」、または同様の文言は、かくして言及された「実施形態」に関連して記載した、特定の特徴、構成、特性が、本発明の少なくとも一実施形態に含まれるものであることを意味するものである。したがって、本明細書全体を通じて記載される、「一実施形態において」、「ある実施形態において」、およびそれに類似の語句は、必ずしもすべてが同じ実施形態について言及するものではない。本開示のうち、単独および/または図面を参照して記載したいずれの部分も、本発明の全特徴点について完全に記載することを意図したものではないことを理解されたい。
さらに、本発明の特徴点を以下の開示において説明する際に参照する各図面において、同様の番号は、可能な限り同一または同様の要素を示す。各図において示した構成要素は、全体的として、正確な縮尺ではなく、強調または理解の目的で、特定の構成を拡大して示す。いずれの図面も、本発明の全ての特徴についての完全な記載を行うサポートとなることを意図したものではない。言い換えれば、ある特定の図面は、全体として、本発明の特徴点の全てではなく、一部のみを示すものである。ある所定の図面およびそのような図面に言及する記載を含む開示は、その図面および記載を簡潔にするため、一般に、特定の視野における全ての素子または該視野において提示されうるすべての特徴を含むものではなく、また、当該図面において特に注目した特定の素子に向けて記載をするものではない。
本発明は、1つまたはそれ以上の特別な特徴、素子、部品、構成、詳細、または特性がなくとも、または、その他の方法、部品、材料等を用いて実施可能であることを、当業者は理解されたい。したがって、本発明の一実施形態の特定の細部がその実施形態を示す各図面に必ずしも示されていなくとも、記載の文脈で特にその存在を否定するものがなければ、図面におけるこの細部の存在を示唆することができる。他の例では、考察中の本発明による一実施形態の態様が曖昧になるのを避けるため、既知の構成、細部、素材、動作については、所与の図面への図示または詳細な記載がされない場合もある。さらに、記載された本発明の特徴、構成、または特性は、1つまたは複数の実施形態において、適切な方法にて組み合わせてもよい。
またさらに、概略フローチャートを含む場合は、論理フローチャートとして広く定義する。そのため、論理フローの記載順および標示付きの各ステップは、提示された方法の一実施形態を示すものである。その他のステップおよび方法も、記載された方法における1つまたは複数のステップおよびその一部と同等の機能、論理、または効果を有しうる。その上、本明細書において用いた書式および記号は、本方法の論理ステップを説明するためのものであり、当該方法の範囲を限定するものではないことを理解されたい。各フローチャートにおいて、種々の矢印および線種を用いうるが、当該方法の範囲を制限するものではないことを理解されたい。さらに言えば、矢印およびその他のコネクタを用いて、本方法の論理フローのみを示すことができる。例えば、記載した方法において列挙したステップ間における不特定長さの待機時間または監視時間を示すのに矢印を用いることができる。一般性を失わなければ、各処理ステップまたは各個別の方法を行う順序は、図中の対応するステップの順番に厳密に従うものであっても、そうでなくてもよい。
本開示に添付した請求の範囲に記載した発明は、本開示を全体的に考慮して評価されることを意図したものである。
近年、デジタル技術の発展により、画像をデジタルに「染色」することが行われている。画像のデジタルステインとは、組織の原画像をデジタルに変換して、当該組織を仮に従来通り色素で染色した場合に観察されうる視覚的特徴を模した特徴を有する画像に変換するものである。デジタル技術によって発展してきた多くの従来の臨床応用の場合と同様、デジタルステインには多種多様な利点がある。例えば、デジタルステインにおいては定量的な結果が得られ、それは、診断の一助となり、熟練した組織病理学者が直接関与する時間を短縮し、かつ、組織病理学者間における診断のばらつき(差異)を減少することができる。デジタルステインにより、様々なデジタルステイン手法開発の機会が与えられ、従来の化学染色技法に比べて潜在的に大幅に安価であることが期待できる。さらに、デジタルステインは生体標本を破壊しないため、同じ標本を複数のデジタルステイン手順により分析することができる。最後に、デジタルステイン処理は毒性の高い化学色素を用いないため、ユーザーにとって本質的に無害である。本発明の実施形態は特定のデジタルステイン処理により変更されるものではないため、本明細書においては説明を省略する。
本発明の各実施形態によれば、特異染色した生体標本を余計に作製することを省略し、また、被検査標本に関する情報についての組織病理学者による最初の評価を最終的なものとして利用可能とすることで、従来、二次診断を行う以前に要していた時間が短縮される。本発明の概念は、次のような知見から生じたものである。すなわち、実際に(物理的に)染色した標本を組織病理学者によって評価するのとは対照的に、特異染色した病理標本の必要性を、デジタルステインを実施した画像の自動的な評価に基づいて、自動的に判断することができるというものである。換言すれば、図1のアルゴリズムとは対照的に、ステップ112における初期評価およびステップ116における決定は自動的に行われ、その際に臨床医が関与する必要がなく、対象標本を前もって染色する必要もないため、臨床医による標本の初期評価を事実上省略することができる。したがって、時間Δtの量は実質的にゼロに減少し、評価および診断の過程で臨床医の関与が必要とされるのは、唯一、実際に標本を染色するというシステムによる判断に基づいて実際に染色した標本の画像評価を行う時のみである。その結果、従来用いられる治療方法と比較して、本発明の一実施形態による全体的な治療過程の長さは大幅に短縮される。
図2に、本発明の治療方法を実施するように構成した医療診断支援システムの実施形態200を概略的に示す。実施形態200は、対象生体標本を撮像して、画像データを非一時的有形メモリ記憶装置214に登録するように構成した画像取得サブシステム210を備え、非一時的有形メモリ記憶装置は画像取得サブシステム210と連動可能に接続される。メモリ記憶装置214は、半導体メモリデバイス(例えば、RAM、ROM、PROM、EEPROM、またはプログラム可能なフラッシュRAM(Flash-Programmable RAM))、磁気メモリデバイス(例えば、ディスケットまたは固定ディスク)、光学メモリデバイス(例えば、CD−ROM)、およびPCカード(例えば、PCMCIA card)等、当該技術分野において既知の記憶装置のうち少なくとも1つを備える有形のコンピュータ利用可能記憶装置を含む。
本実施形態200は、さらに、画像取得サブシステム210およびメモリ記憶装置214と連動する制御部218(例えば、コンピュータプロセッサ等)を備える。制御部218は、画像取得サブシステム210の動作を制御し、メモリ記憶装置214に対するデータ転送を行うようにプログラム可能である。制御部218は、さらに、画像取得サブシステム210を用いて取得した病理標本画像の変換等を含む画像データ処理動作を行うように構成されるが、画像データの加工作業はそれに限定されない。一実施形態において、この画像変換は、取得した画像の仮想(デジタル)染色を介して取得した画像のスペクトル成分等の光学特性のうち少なくとも1つを変更することにより行う。画像処理動作は、さらに、仮想的に染色した画像に対応する色素を少なくとも1種類用いて病理標本の染色を実際に(物理的に)行う必要性を判断することを含む。このような判断の少なくとも一部は、システム200が作成した仮想(または、デジタル)染色画像に基づいて行う。
したがって、制御部218は、実施形態200の一部として、画像仮想染色部226および染色必要性判定部230を含むコンピュータにより実装したデータ処理装置222を構築するよう(コンピュータ判読可能なプログラムコードを有する、有形のコンピュータ使用可能な媒体を備えるコンピュータプログラム製品を介して)プログラム可能に構成される。コンピュータにより実装したデータ処理装置222は、また、以下に詳述する表示順序決定部234および標本要求部238を備える。
図2をさらに参照すると、制御部218は、外部入力(ユーザー入力等)に応答して制御部218に対する指示を生成して伝えるように構成した入力装置242と連動可能に接続される。一実施形態において、入力装置242は、キーボード、コンピュータマウス、タッチパネル、およびスイッチのうち少なくとも1つを備える。実施形態200は、さらに、制御部駆動の、例えばLCD(Liquid Crystal Display)装置等の表示装置246、EL(Electro Luminescence)表示装置、または光学画像を可視化および評価するために表示するように構成したCRT(Cathode Ray Tube)系表示装置を備える。実施形態200の各装置およびサブシステムは、さらに、一般に、制御部218とネットワーク254および通信サブシステム258を介して接続したローカルな(または、代案として、遠方に設置した)医療診断支援サーバ250と相互に通信可能に構成する。
図3〜図6を参照して、実施形態200に関して以下にさらに説明する。
図3Aおよび図3Bに、図2の実施形態200と共に使用可能な、2つの一般的なタイプのマルチスペクトル撮像(MSI)装置300および350を示す。MSIによれば、画像のスペクトル分布への画素レベルでのアクセスを可能とすることにより、コンピュータ化された顕微鏡型撮像システムを用いた病理標本分析を可能とするものである。マルチスペクトル撮像システムとして多くのものが存在するが、それらの各システムはすべて、マルチスペクトル画像を作製可能な点で動作態様が共通する。マルチスペクトル画像とは、電磁スペクトルにわたって、特定の波長または特定のスペクトル帯域幅で画像データを収集するものである。これらの各波長は、光学フィルタ、または赤外線(IR)等の、可視光範囲外の波長の電磁放射を含む所定のスペクトル成分を選択可能なその他の手段を用いることにより、選抜することができる。全色撮像(panchromatic imaging)と比較して、標準的なMSIシステムにおける複数のカラーチャネル(色成分)は、一般に、有効な分光データのうち小さな部分空間のみを表す。図3に示す装置300は、光学撮像システム304を備え、その一部として、個別の光学帯域の所定の数Nを定義するように調整可能な、スペクトル選択的システム308を備える。光学系304は、広帯域光源312を用いて透過照射した組織標本310を、光学検出器316上に結像する。図示したように、光学撮像システム304は、一実施形態において、例えば顕微鏡等の拡大システムを備えることができるが、光学系304の単一の光学出力322と空間的に概ね一線上に揃えた単一の光軸320を有する。システム304は、組織標本310の一連の画像を形成する一方で、スペクトル選択的システム308を(例えば、コンピュータプロセッサ326を用いて)調節または調整して、各画像をそれぞれ異なるスペクトル帯域において確実に取得するようにする。本装置300は、さらに、ディスプレイ322を備えることができ、該ディスプレイ上には取得された一連の画像のうち少なくとも1つの視認可能な画像が出現する。スペクトル選択的システム308は、ユーザー入力またはプログラムされたプロセッサ326からのコマンドのいずれかに応答して、光源312から送出され検出器に向けて標本310を透過した光のスペクトルから特定のパスバンドを選択するように構成した、回折格子等の光学的分散素子、薄膜干渉フィルタ等の光学フィルタの集合体、またはその他の任意のシステム等の光学分散素子を含むことができる。
いくつかのスペクトル帯域においてスペクトル的に個別の光学画像を複数同時に取得するように構成した装置の代替的な実施態様350を図3Bに示す。ここで、スペクトル選択的システム354は、N個の個別のスペクトル帯に対応するいくつかの光学出力を定義する。システム354は、光学系358からの透過出力光356を受光し、この出力光の少なくとも一部の向きを、N本の空間的に異なる光学路362−1〜362−Nに沿って空間的に変更して、特定のスペクトル帯における標本310を、この特定のスペクトル帯に対応する光学路に沿って、検出器システム366上に結像する。別の代替的な実施形態(図示せず)において、実施形態300および350それぞれの特徴を組み合わせてもよいことが理解されよう。
画像取得の実施例
図4に、生体標本402のマルチスペクトル画像を取得するのに用いた拡大撮像システム400の具体的な一実施形態を示す。拡大撮像システム400には、光406を発して、変位可能な(repositionable)光透過性支持台412に載置した標本402を照明するようにした照明部品408を設けた。標本402を透過した光416は、さらに、結像光学系420によりスペクトル選択的システム424を介して撮像カメラ428上に結像させた。図4に示すように、結像光学系420にはレンズを設けた。しかしながら、一般に、結像光学系は、レンズに代えて、または、レンズの他に、例えばミラー素子等の反射光学部品を備えていてもよい。
図5A、5Bに、軸430を中心に回転可能なスペクトル選択的システム424が備える光学フィルタ素子424A、424Bの分光補完透過率特性の可視スペクトル領域を、それぞれ示す。図示したように、光学フィルタ素子424Aの各通過帯域は、光学フィルタ素子424Bの阻止帯域にスペクトル的に一致し、また逆も同様であった。カメラ428には、図6に示すように、赤(R)、緑(G)、青(B)のスペクトル帯域に分光感度を有する、CCD(Charge Coupled Devices)またはCMOS(Complementary Metal Oxide Semiconductor)等の光学検出器(図示せず)を設けた。したがって、カメラ428に入射する結像光434のスペクトル成分は、使用したフィルタシステム(424Aまたは424B)の光透過特性およびカメラ428の光学検出器の感度特性の積により定義されたことがわかる。
図2および図4をさらに参照すると、動作中、あらかじめプログラムした制御部218により、まず、スペクトル選択的システム424のフィルタのうちの1つ(例えば、フィルタ424A)が光学系420を介して標本402から透過した光ビームと交差するまで、軸430を中心にスペクトル選択的システム424を回転させる。制御部218は、さらに、動画捕捉電気回路部品(図示せず)を動作させて、カメラ428により取得した撮像データを、今後の処理に備えて、メモリ記憶装置214に格納する。フィルタ424A(図5に図示)およびカメラ428(図6に図示)それぞれの光学特性により定義したスペクトル領域における標本402の画像を取得した後、制御部218によりシステム424の位置決めを再度行い、結像光416が別のフィルタ(例えば、フィルタ424B)を確実に通過するようにし、また、標本402の別のマルチスペクトル画像がカメラ428を用いて確実に登録され、記憶装置214に確実に格納されるようにする。したがって、全体として、本発明の画像取得サブシステムの実施形態400は、N=6スペクトル構造の画像を取得するように構成した。しかしながら、一般に、選択したMSIシステムにおいて、異なる数のスペクトルチャネルを用いることができ、フィルタのスペクトル域をスペクトルの近赤外(MR)部分まで可能な限り拡大することも本発明の範囲内である。代案として、画像取得サブシステム210は、スペクトル選択的システム424全体を省略して、カメラを特徴づけるスペクトル帯域幅(カメラ428の場合はR、G、B帯域)のみにおいて画像データを取得するように構成してもよい。
メモリ記憶装置214に読み込んだプログラムコードによりあらかじめプログラムした制御部218により駆動される、図2に示す実施形態200の動作の各ステップの例を、図7に示す。一実施の態様において、ステップ702において、HE染色した対象標本の作製、この被検査標本のマルチスペクトル画像の取得、および当該画像のデータ記憶装置214への格納を行った後、制御部218によりコンピュータにより実装した仮想染色装置226を起動して、ステップ704において、取得したマルチスペクトル画像、組織の種類、および予備診断において標本を冒していると診断された疾病の種類に基づいて、デジタルステイン画像を作成する。一実施形態において、標本画像の仮想(デジタル)染色は、特開2010−025758号公報に開示された画像処理方法により行う。
デジタルステイン画像の作製に続いて、制御部218は、デジタルステインを実施した標本に対応する画像データを染色必要性判定部230に処理させ、ステップ708で、デジタルステインを実施した画像に対応する特殊染色必要性指数(rating)Rを表す性能指数または指数を算出させる。性能指数は、病理疾病の存在を示す、デジタルステインに応じて変わる標本の光学特性の変化等を表す画像データに基づくものである。算出した染色必要性指数Rの少なくとも一部に基づいて、実施形態200は、次に、ステップ712において、実際に特殊染色した生物標本を作製して組織病理学者による評価を行うことが医療診断プロセスを完了させるために必要であるか否か、ユーザー(例えば、組織病理学者)に対して知らせる出力を生成する。本発明の方法の一般的なアルゴリズムを、図9を参照して、詳細に説明する。
特定の実施形態において、および図7をさらに参照すると、本システムは、標本に対して実施したデジタルステインが最終診断として十分であるか、または、特殊色素を用いて標本を実際に染色する必要性があるかを自動的に判断する。具体的には、ステップ704のデジタルステイン画像を表すデータを処理して、以下の数式(1)により、特殊染色必要性指数を求める。

数式(1)により、目下の画像における、組織の染色した部分に相当する全ての画素数の合計の、その組織を表す画像画素数の合計に対する比率を規定する。その後、特殊染色必要性指数Rの値を、所定の特殊染色基準値(定格閾値)RTHと比較する。この定格閾値は、経験的に収集された(例えば図2のサーバ250に格納した)トレーニングデータに基づき、任意の種類の組織および任意の特殊色素について定義され、種々の疾病を有する多くの種類の生体標本の光学特性における変化を表すものである。染色必要性指数RがRTH以上の場合、コンピュータにより実装した染色必要性判定部230は、特殊色素を用いて標本に特殊染色を施す必要がある旨をユーザーに通知する表示装置246に送付するための、例えば、視覚インジケータ等の出力を生成する。関連する実施形態(図示せず)において、そのような出力は音声として、適切に構成した音声サブシステム(図示せず)を介してユーザーに送信してもよい。一方、RTHの値が染色必要性指数Rの値よりも大きい場合は、特殊染色標本の作製は要求されない。
ここで、本発明のコンピュータ支援の医療評価および診断アルゴリズムについて、図9を参照して、さらに全般的な説明を行う。図9は、医療評価および診断プロセスの一実施形態を示すフローチャートであり、このプロセスは、標準色素(HE色素等)により染色した標本の評価が最終診断として十分とはいえない場合に、少なくとも1つの特殊色素により染色した標本に対応するスペクトルデータを評価することを含む。以下に記載の例示的な方法の少なくとも一部は、被検生体標本のデジタルステイン画像の自動的な評価に基づいて行われる。図9のアルゴリズムは、予備ステップ902にて開始し、本発明のシステムは、被検生体組織の種類および予備的臨床診断(すなわち、当該組織を冒したと考えられる疾病の種類)を少なくとも表すデータ入力(図示せず)に基づいて、病理標本評価に必要なスペクトルデータの種類を特定する。被検標本が肝生検標本であり、予備的臨床診断は肝硬変を示唆すると仮定する。コンピュータ制御されたシステムは、経験的に収集されたトレーニングデータに鑑みて、これらの初期データを前提として、肝標本をさらに評価するには、標準色素(例えば、HE色素による)による染色に対する肝標本のスペクトル反応が必要であること、および、オプションとして、特定の特殊色素(例えば、MT色素)による染色に対する肝標本のスペクトル反応が必要であることを導出する。このような導出により、どの種類の標本染色を決定することができ、したがって、染色標本を表す画像デ―タのうち、どのスペクトル帯域のデータを収集すべきかを決定することができる。
このような導出により、対象の生体標本を標準染色で染色する(この場合は、肝生検標本をHE色素で染色する)ことにより、ステップ904において、対象標本の作製を行う。作製した対象標本を、さらに、ステップ902において決定したスペクトル帯域内で、ステップ906において撮像する。そのような画像データ取得は、本発明のシステムにおける画像取得部、例えば図4に示す画像取得システムの実施形態400等を用いて実施する。
収集した画像データは、コンピュータ支援診断手順910においてさらに用いることができ、その診断手順に要する時間Δtは、関連データのコンピュータ処理に要する時間と実質的に同等である。
コンピュータ支援診断手順の一部として、取得した画像における染色部分の染色が不十分であったり目立たなかったりするときに、対象標本画像を、例えば、標本の染色部分を表す画像データ点のそれぞれの値をスケーリングする(対応する係数を乗じる)ことにより、任意に変換してもよい。一実施形態において、任意のスケーリング係数は、標準的な生体組織の様々な形態的特徴にそれぞれ対応するように選択した画像強度の所定の値に関連して定義する。このように、画像を任意に変更または標準化することにより、過剰に(または、不十分に)なりかねない標本染色を、画像取得後の段階で確実にデジタル補償して、異なる時間に撮像した同じ種類の標本の画像が、ほぼ同等の外観を有するようにする。例えば、図9においてステップ912を示すブロックの破線で示したように、ステップ906で取得した対象標本のマルチスペクトル画像を強調して標準化した色濃度を有するようにすることができる。
対象(HE染色)標本について取得した画像の少なくとも一部に基づき、ステップ914において、デジタルステイン画像を少なくとも1つ形成するが、その画像は、ステップ902において求めた特殊色素の効果を被検生体標本上でエミュレートするものである。特殊染色の効果をエミュレートする目的は、初期臨床診断(図示せず)のステップにおいて特定した疾病に冒された組織成分であって、HE染色標本画像では十分に識別できない組織成分を、視覚的に強調することにある。例えば、上述した肝生検標本の例において、MT色素によりデジタルステインを実施した標本の画像では、例えば、標本のうち、例えば、コラーゲン等の繊維を含む部分を視覚的に特定することが必要とされる。
ステップ916におけるデジタルステイン画像のコンピュータ支援評価により、評価したデジタルステイン画像の特殊染色必要性指数値またはスコア値を生成する。一実施形態において、スコアまたは必要性指数は、予備的臨床診断の段階で特定した病弊により冒された組織の画像の面積の割合を示す数である。例えば、染色必要性判定部230により、初期臨床診断において特定した疾病に冒されている組織と同じ分光特性を呈する、デジタルステイン画像の組織部分における画素数を算出する。別の実施形態において、スコアすなわち必要性指数は、そのような分光特性を呈する組織の個々の成分または素子の数を示す数である。例えば、特定した疾病に感染しやすいものが細胞の核であるとすると、ステップ902において、画像における核を評価する必要性を表す入力が与えられ、染色必要性判定部230は、デジタルステイン画像に存在する、デジタルステインに対する反応として生じた特定疾病を表す分光特性を有する核を検出し、その数を数える。
一般に、本システムは、確定した必要性指数またはスコアを組織病理学者に提供し、組織病理学者は、そのスコアに基づいて、特殊色素で実際に物理的に染色した組織標本が最終診断を到達するために必要か否かをステップ918において判断する。例えば、コンピュータ支援診断の結果、システムが特定のスコア値に到達した場合、組織病理学者は、そのスコア値が、ステップ904で作製したHE染色標本を評価することのみを必要とすることを示すものであると判断する。この場合、組織病理学者は、HE染色標本の評価に基づき、ステップ920において最終的な診断を行う。別の実施例において、必要性指数/スコアの値が極めて低い場合(これは、疾病がないことを示す場合だけでなく、システムがデジタルステイン画像の作製に失敗したことを表す場合もある)、組織病理学者は、ステップ914を再度繰り返す必要があると判断してもよく、または、特殊染色で染色した実際の標本をステップ922において作製し、ステップ924において評価してもよい。したがって、組織病理学者は、ステップ920において、実際に染色した標本の評価に基づき診断を行う。
特定の実施形態において、および図7を参照して述べたように、本システムは、ステップ916において特殊染色必要性指数を生成するだけでなく、自動的な判断を行って組織病理学者にその結果を示すように構成する。(そのような状況の一例としては、標本を染色するために割り当てた特殊色素が、がん組織の容易な認識を可能にする免疫化学物質を、物理的にせよデジタル的にせよ、含む場合が挙げられる。)この場合、特殊染色必要性指数と、染色必要性指数閾値(これは選択された特殊色素に対応するものであり、あらかじめ格納したトレーニングデータに基づいて決定される)との比較に基づき、選択された特殊色素により染色した標本を、さらなる評価および診断を行うため、作製する必要があるかどうかの判断をステップ918において自動的に行う。そのような染色がステップ918においてあらかじめ規定されている場合、特殊染色標本をステップ922において作製し、さらに、組織病理学者による評価をステップ924において行い、診断に到達する(ステップ920)。しかしながら、標本の作製および評価が不要な場合、組織病理学者は、ステップ904で取得したHE染色標本のマルチスペクトル画像を評価することにより、ステップ920において診断を行う。
図1に示す、従来行われている診断手順では、組織病理学者の介入を2回必要とする。1回目は、HE染色標本の画像を評価する段階、2回目は、特殊染色した標本を評価する段階である。さらに、図1に示す従来行われてきた手順においては、ユーザーが、HE染色標本の画像評価に基づいて特殊染色標本の作製を決定してから、標本の作製が行われることを意味する。従来のアプローチとは反対に、例えば、図2および図9に示す実施形態等、本発明の各実施形態においては、特殊染色標本の作製が必要か否かを判断する段階およびその段階に至るまでの各段階おける組織病理学者の介入が不要となる。具体的には、図9に示す過程のサブシーケンスを、組織病理学者の介入なしに自動かつコンピュータ支援により行うものであり、データ処理時間Δt13のほかは実質的に時間をほとんど要しない。したがって、本発明の各実施形態によれば、全体的な診断過程(Δt+Δt≒Δt)の所要時間短縮が容易になり、組織病理学者による画像評価を行う必要があるのはステップ920の1回限りである。
本発明のシステムの特定の実施形態における表示部を図8Aおよび図8Bに示し、図2、図7、および図9をさらに参照して説明する。染色必要性判定部230がデータ処理アルゴリズムの実施形態におけるステップ712において生成した出力に応答して、制御部218は、表示装置246にHE染色対象標本の画像802A(「HE染色画像」と表記)をディスプレイ804の対応箇所804Aに表示させる。
さらに、染色必要性指数RがRTH以上であると判断されたら、(図7の実装アルゴリズムにおけるステップ704において、画像802Aに対応する画像データの少なくとも一部に基づき仮想染色装置226が生成した)仮想染色画像802Bも、対応する表示用窓804Bに表示する。図8Aに示すように、仮想染色画像802B(「仮想MT染色画像」と表記)をマッソントリクローム(MT)画像として選択する。制御部218は、また、ディスプレイ804に指示(indicia)または挿入文(legend)810Bを表示させるが、この指示または挿入文810Bは、システム200による画像802Bの自動評価結果に相当するものであり、特殊染色した物理的標本の作製の要否に関する情報を含む。表示装置246が、タッチスクリーン式のディスプレイとして構成したディスプレイ804を備え、ディスプレイの一部がタッチ式注文用ボタン812Bとして機能するようにした、特定の実施形態において、ユーザーはタッチ式注文用ボタンを作動して制御部218にフィードバック信号を送信し、制御部は、コンピュータにより実装した対応する標本要求部238に、特殊染色標本の作製要求を配信先に対して登録、蓄積、および送信させる。一実施形態において、配信先はサーバ250であり、要求の送信は、制御部218、通信サブシステム258、およびネットワーク254を介して行う。
図8Aと比較すると、図8Bに示す状況は、(本発明による実装アルゴリズムのステップ712において)判定装置230が、最終的な評価および診断において特殊染色標本が不要であることを示す出力を生成した場合である。したがって、制御部218は表示装置246にHE染色した対象標本の画像802をディスプレイ804のそれぞれ対応する表示用窓804Aに表示させるが、それに対応する仮想染色画像802Bは表示用窓804Bに表示されない。(そのかわり、図8Bの例に図示したように、表示用窓804Bには「NO STAIN」と表示するように構成する。)さらに、挿入文810Bにおいて特殊染色が不要である旨を追加的に表示する。対応するタッチ式注文用ボタン812Bを適切に構成して、電気回路部品を動作させたり特殊染色標本に対する要求を開始したりすることのないようにする。
最終診断に到達するため、細胞病理学の実施にあたり、任意の一組織について、異なる色素で染色したいくつかの標本の評価を要する場合がある。そのような要求に応えるため、本発明のシステムの一実施形態を適切に構成して、被検標本について、当該標本を対応する種々の特殊色素で実際に染色した際の効果をエミュレートした複数のデジタルステイン画像を作成するようにする。この実施形態は、さらに、図7、図8A、および図8Bを参照して先に述べたように、各画像をそれぞれ自動的に評価し、i番目の画像にそれぞれ対応する染色必要性指数Riを生成し、対応する種々の色素で染色した実際の標本の作製要求の優先順位を示す出力を生成するように構成される。
そのような実施形態の表示用窓を図8Cに示す。各表示用窓804B、804C、および804Dを用いて、対応する各特殊色素で標本をデジタルステインした結果を表示する。図示したように、表示用窓804AにはHE染色標本画像802Aを表示し、表示用窓804BにはVB色素によるデジタルステイン画像802B(「仮想VB染色画像」と表記)を表示し、表示用窓804CにはMT色素によるデジタルステイン画像802C(「仮想MT染色画像」と表記)を表示する。指示810Bおよび810Cは、それぞれ、先に述べたように、画像802B、802Cについてのシステムによる自動評価の結果を表わし、組織病理学者によるさらなる評価を行うため、物理標本を特殊VB色素および特殊MT色素で実際に染色する必要が特にあることを示している。さらに、デジタルステイン画像802B、802Cのそれぞれについて、染色必要性判定部230Bは、対応する特殊染色必要性指数R802BおよびR802Cを求める。求めた各染色必要性指数(R802B>R802C)に基づいて、制御部218は、表示順序決定部234に、関連する画像(802B、802C)、指示(810B、810C)、およびタッチ式注文用ボタン(812B、812C)を、対応する染色必要性指数の降順で表示するように編成させる。また、制御部218は、表示装置246を制御して、そのディスプレイ804に、所与の画像に対応する特殊色素および確定した染色必要性指数をそれぞれ含む優先指示814B、814Cを表示させるようにプログラムされる。図8Cの例において、VB色素で仮想染色した標本には、MT色素で仮想染色した標本よりも高い優先順位が与えられ、それは、「優先順位1]と記載した優先指示814Bおよび「優先順位2」と記載した優先指示814Cとして反映されている。
図8Cに示すように、表示用窓804Dにはデジタルステイン標本の表示がないが、このことは、この画像に対応する特殊染色必要性指数R802Dが対応する閾値よりも低いとシステムが判断したこと、および最終診断において特殊染色した生体標本の作製を要しないことを意味する。
図2および図8Cをさらに参照すると、それぞれ対応するタッチ式注文用ボタン812B、812C、および812Dに接続した本実施形態による電気回路部品(図示せず)は、個々に対応する色素で染色した標本の作製要求を開始するように構成される。VB色素およびMT色素(図8Cの例で使用)によるデジタルステインの結果、異なる特殊染色必要性指数(図8Cの例では、R802B>R802C)が得られたため、タッチ式注文用ボタンの少なくとも1つに与えられたユーザー入力に応じて制御部218により起動した標本要求部238は、組織病理学者による初期診断を待つことなく、表示順序決定部234により設定された順序または優先順位で、要求を配信先に対して登録、蓄積、および送信する。
図8Cの表示装置部分に代わる、本システムの表示装置部分の実施態様を図8Dに模式的に示す。ここで、図8Aおよび図8Bを参照して説明した実施形態と同様に、図2に示す表示装置246のディスプレイ804は、本システムの実施形態により数枚のデジタルステイン画像が作成および評価された場合でも、一度に1枚だけデジタルステイン画像を表示するように構成する。(図示したように、VB色素に対応するデジタルステイン画像802Bを表示用窓804Bに表示する。)この場合、作成した各デジタルステイン画像、およびそれぞれに対応する各指示およびタッチ式注文用ボタンは、適切な方向ボタン820A、820Bの作動によって優先順位メニュー820をスクロールすることにより、(染色必要性判定装置により決定した)優先順に連続してディスプレイの同じ箇所に表示される。
図2〜図9を参照して説明した特定の実施形態によれば、病理画像の評価プロセスおよびそのような評価に基づき医療診断を行うプロセスを支援するシステムおよび方法が提供される。提示した各実施形態の変更例および変形例も、本発明の範囲に含まれるものとみなす。例えば、図8A〜図8Dを参照すると、代替的な実施形態において、タッチ式注文用ボタン812A、812B等に対するユーザー入力に応答して特殊染色標本作製を発注するのではなく、システムにより自動的に発注する。図2を参照すると、代替的な実施形態において、本発明のシステムは、画像取得サブシステム210、メモリ記憶およびデータ記憶装置214、入力装置242、および表示装置246の少なくとも1つを、顕微鏡およびコンピュータを含む独立した装置またはシステムとする。さらに、マルチスペクトル画像およびマルチスペクトル撮像システムについて説明したが、本方法は、例えば、TEMまたはSEM、内視鏡検査法、光コヒーレンス・トモグラフィー(OCT)、光周波数領域画像技術(OFDI)、共焦点顕微鏡法、超高解像度内視鏡観察用のスペクトル変調した全視野光コヒーレンス顕微鏡法(FFOCM)等を用いた撮像、または、末梢血腫瘍細胞(CTC)等の適切なチップホスティングを確認した生体物質の画像分析等を含むその他の撮像手段に適用可能である。

Claims (16)

  1. 生体標本画像の自動評価に基づき医療診断のプロセスを支援するように構成された画像評価装置であって、
    生体標本を示す撮像データを取得するように構成した結像光学系と、
    前記光学系と連動するプロセッサであって、
    取得された撮像データを前記結像光学系から受け取り、
    第1の選択色素に対する前記生体標本の反応を示す、第1の視認可能表示を行わせるようにした表示信号を仮想的に生成し、
    前記第1の選択色素で染色された前記生体標本の作製の要求を示す、第1のユーザー知覚可能出力を生成するようにプログラムされたプロセッサと、
    を備える、画像評価装置。
  2. 前記プロセッサは、さらに、
    第1の選択色素の作用に応じて生じる前記生体標本の光学特性における変化を表す画像を仮想的に生成し、
    前記光学特性の変化を表す前記画像の第1の領域と、前記画像の全体領域と、の割合に対応づけた第1の指数を求める、
    ようにプログラムされている、
    請求項1に記載の画像評価装置。
  3. トレーニングデータを格納した、有形のコンピュータ利用可能メモリ記憶部をさらに備え、
    前記プロセッサは、
    前記有形のコンピュータ利用可能メモリ記憶部にアクセスし、
    少なくとも前記第1の指数と前記トレーニングデータを用いて推定された第1の閾値との比較に基づいて、前記第1のユーザー知覚可能出力を生成させる、
    ようにプログラムされている、
    請求項2に記載の画像評価装置。
  4. 前記プロセッサから前記表示信号を受け取り、前記取得された撮像データに関する画像と前記第1の選択色素に対する生体標本の反応を示す前記第1の表示に関する画像とのうち少なくとも一方を表示する、ように構成された表示装置と、
    をさらに備える請求項1に記載の画像評価装置。
  5. ユーザー入力を前記プロセッサに伝える入力装置と、
    前記プロセッサと電気通信を行う電子回路と、
    をさらに備え、
    前記プロセッサは、さらに、前記入力装置からのユーザー入力に応じて、前記第1の選択色素により染色した前記生体標本の作製の要求を示す信号を生成するように、前記電子回路に行わせる、ようにプログラムされている、
    請求項1に記載の画像評価装置。
  6. 前記プロセッサにより制御される表示装置をさらに備え、
    第2の選択色素に対する生体標本の反応を示す、第2の視認可能な表示を仮想的に生成させ、
    前記第1の選択色素と前記第2の選択色素とにより、前記生体標本を染色した標本作製の必要性の第1の指標および第2の指標を求め、
    少なくとも前記第1の指標および前記第2の指標の比較に基づき決定される前記生体標本を染色した標本作製の必要性の優先順位を示す、ユーザー知覚可能出力を生成させ、前記第1の指標は、前記第1の選択色素に対する前記生体標本の反応の仮想的な測定値を含み、前記第2の指標は、前記第2の選択色素に対する前記生体標本の反応の仮想的な測定値を含む、
    ように前記プロセッサに更に適合させる
    請求項1に記載の画像評価装置。
  7. 生体組織の種類と該生体組織の暫定的な医学的状態とを示す入力データを取得するように構成された入力部と、
    前記入力部と連動可能に接続され、前記取得された入力データとトレーニングデータとの少なくとも一方に基づいて少なくとも1つの特殊色素での染色を特定するように構成されたプロセッサと、
    標準色素で染色された前記生体組織のマルチスペクトル画像を取得するように構成された光学系と、
    前記マルチスペクトル画像に対応する画像データを受け取り、特定された少なくとも1つの特殊色素で染色した前記組織のスペクトル反応をエミュレートするように構成された少なくとも1つの仮想染色画像に、前記マルチスペクトル画像を変換する、ように構成された第1のデータ処理装置と、
    前記少なくとも1つの仮想染色画像データと前記トレーニングデータとの比較に基づいて、前記少なくとも1つの特殊色素で染色された前記生体組織標本の作製の優先要求を表す、少なくとも1つの出力を生成するように構成された第2のデータ処理装置と、
    前記第1のデータ処理装置と前記第2のデータ処理装置とのうち少なくとも一方と通信するユーザーインターフェース(UI)と、を備え、
    前記UIは、前記マルチスペクトル画像と、前記少なくとも1つの仮想染色画像と、および前記少なくとも1つの生成された特殊色素で染色された前記生体組織標本の作製の優先要求を表す出力と、のうち少なくとも1つを表示するように構成され、
    前記UIは、さらに、前記少なくとも1つの特殊色素で染色された前記生体組織標本の作製の優先要求を表す出力を生成させるためのユーザー入力を受信するように構成される、
    ことを特徴とする医療診断支援システム。
  8. 前記少なくとも1つの出力は、前記暫定的な医学的状態を示す撮像された生体組織分光透過率パラメータの一部を表す番号を含む、
    請求項7に記載の支援システム。
  9. 前記第2のデータ処理装置は、前記仮想染色画像データの特性と前記トレーニングデータに基づき定義された閾値特性との比較に基づいて、少なくとも1つの出力を生成するように構成される、
    請求項7に記載の支援システム。
  10. 前記少なくとも1つの仮想染色画像は複数の仮想染色画像を含み、前記少なくとも1つの生成された出力は、複数の生成された出力を含み、
    前記UIは、前記複数の仮想染色画像および前記複数の生成された出力を、優先要求に対応する順に表示するように構成される、
    請求項7に記載の支援システム。
  11. 特殊色素での染色に対する前記組織のスペクトル反応を表す分光透過率データをデジタルに生成し、
    前記スペクトル反応を表す前記分光透過率データの第1の領域と、前記分光透過率データの全体領域と、の割合に対応づけた性能指数を求め、
    前記求められた性能指数に基づいて、特殊色素で染色された前記組織の標本の作製を要求する、
    ことを備える染色必要性判定方法
  12. デジタルに生成することは、分光透過率データの第1のセットと第2のセットとをデジタルに生成することを含み、
    性能指数を求めることは、前記分光透過率データの前記第1のセットと第2のセットとに対応する第1の性能指数と第2の性能指数とをそれぞれ求めることを含み、
    前記標本の作製を要求することは、前記第1の性能指数と第2の性能指数とにより定義された第1の必要性指数と第2の必要性指数との順に、第1の標本と第2の標本との作製を要求することを含む、
    請求項11の方法。
  13. 前記求められた性能指数に基づいて標本の作製を要求することは、前記求められた性能指数がトレーニングデータにより定義された閾値以上であるときに、標本の作製を要求することを含む、
    請求項12の方法。
  14. 前記デジタルに生成された分光透過率データをRGB色空間に変換すること、そして、可視化のため、変換された分光透過率データに対応する画像を表示すること、
    のうち少なくとも一方をさらに含む、請求項11の方法。
  15. 殊色素で染色された前記組織の標本を表す分光透過率データを取得すること、
    をさらに含む、請求項11の方法。
  16. 前記デジタルに作成することは、前記組織と前記特殊色素に対応付けたトレーニングデータに基づく、前記取得された分光透過率データを、変更された分光透過率データにマッピングすることを含む、
    請求項15の方法。
JP2014530815A 2011-09-15 2012-09-14 医療診断支援のための画像評価装置、医療診断支援システムおよびその操作制御方法 Expired - Fee Related JP5878981B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/233,786 US8977017B2 (en) 2011-09-15 2011-09-15 System and method for support of medical diagnosis
US13/233,786 2011-09-15
PCT/US2012/055316 WO2013040300A2 (en) 2011-09-15 2012-09-14 System and method for support of medical diagnosis

Publications (2)

Publication Number Publication Date
JP2014526700A JP2014526700A (ja) 2014-10-06
JP5878981B2 true JP5878981B2 (ja) 2016-03-08

Family

ID=47880701

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014530815A Expired - Fee Related JP5878981B2 (ja) 2011-09-15 2012-09-14 医療診断支援のための画像評価装置、医療診断支援システムおよびその操作制御方法

Country Status (3)

Country Link
US (1) US8977017B2 (ja)
JP (1) JP5878981B2 (ja)
WO (1) WO2013040300A2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8705833B2 (en) * 2011-04-25 2014-04-22 The General Hospital Corporation Computer-aided staining of multispectral images
EP2827772B1 (en) * 2012-03-19 2023-10-04 Genetic Innovations Inc. Devices, systems, and methods for virtual staining
JP6128204B2 (ja) * 2013-02-26 2017-05-17 日本電気株式会社 診断支援システム、診断支援方法及びそのプログラム
US20150269314A1 (en) 2014-03-20 2015-09-24 Rudjer Boskovic Institute Method and apparatus for unsupervised segmentation of microscopic color image of unstained specimen and digital staining of segmented histological structures
WO2015199067A1 (ja) * 2014-06-24 2015-12-30 株式会社ニコン 画像解析装置、撮像システム、手術支援システム、画像解析方法、及び画像解析プログラム
CN109414151B (zh) 2016-05-18 2022-11-25 国立大学法人三重大学 癌症检测装置、癌症检测方法和用于癌症检测的染色剂
JP6901072B2 (ja) * 2017-08-30 2021-07-14 学校法人 埼玉医科大学 画像処理装置、画像処理方法、画像処理プログラム
GB2567155B (en) 2017-10-02 2022-03-02 Room4 Group Ltd Histopathological image analysis
JP7116175B2 (ja) 2018-08-22 2022-08-09 オリンパス株式会社 画像処理装置、撮像システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム
WO2020243193A1 (en) 2019-05-28 2020-12-03 PAIGE.AI, Inc. Systems and methods for processing images to prepare slides for processed images for digital pathology
US11455724B1 (en) * 2021-05-12 2022-09-27 PAIGE.AI, Inc. Systems and methods to process electronic images to adjust attributes of the electronic images

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6459805B1 (en) * 1996-03-26 2002-10-01 Childrens Hospital Los Angeles Fluorescence digital imaging microscopy system
US7558598B2 (en) * 1999-12-01 2009-07-07 Silverbrook Research Pty Ltd Dialling a number via a coded surface
US7171030B2 (en) * 2000-11-30 2007-01-30 University Of Medicine & Denistry Of New Jersey Systems for analyzing microtissue arrays
US7133547B2 (en) * 2002-01-24 2006-11-07 Tripath Imaging, Inc. Method for quantitative video-microscopy and associated system and computer software program product
AU2003270687B2 (en) * 2002-09-13 2008-05-08 Life Technologies Corporation Interactive and automated tissue image analysis with global training database and variable-abstraction processing in cytological specimen classification and laser capture microdissection applications
US7587078B2 (en) * 2005-05-02 2009-09-08 Cytyc Corporation Automated image analysis
US7697714B2 (en) * 2005-09-19 2010-04-13 Silverbrook Research Pty Ltd Associating an object with a sticker and a surface
US7657070B2 (en) * 2006-01-20 2010-02-02 Sakura Finetek U.S.A., Inc. Automated system of processing biological specimens and method
US7764831B1 (en) 2006-04-10 2010-07-27 Randal Pick System and method for creating, selecting and matching a stain color for wood
JP4740068B2 (ja) * 2006-08-24 2011-08-03 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5131431B2 (ja) 2007-01-26 2013-01-30 日本電気株式会社 病理画像評価装置、病理画像評価方法、及び病理画像評価プログラム
EP2227774B1 (en) * 2007-12-04 2014-07-09 University College Dublin, National University of Ireland Dublin Method and system for image analysis
JP2010025758A (ja) * 2008-07-18 2010-02-04 Olympus Corp 画像処理装置および画像処理方法
EP2327040B1 (en) * 2008-08-15 2013-12-18 Visiopharm A/s A method and a system for determining a target in a biological sample by image analysis
US8340389B2 (en) 2008-11-26 2012-12-25 Agilent Technologies, Inc. Cellular- or sub-cellular-based visualization information using virtual stains
JP2010169467A (ja) * 2009-01-21 2010-08-05 Olympus Corp 画像処理装置、データセット生成装置、画像処理プログラムおよびデータセット生成プログラム
US20100201800A1 (en) 2009-02-09 2010-08-12 Olympus Corporation Microscopy system
JP5185151B2 (ja) * 2009-02-09 2013-04-17 オリンパス株式会社 顕微鏡観察システム
WO2010123043A1 (ja) * 2009-04-21 2010-10-28 日本電気株式会社 癌の評価方法
FR2944898B1 (fr) * 2009-04-23 2018-03-16 Lvmh Recherche Procede et appareil de caracterisation des imperfections de la peau et procede d'appreciation de l'effet anti-vieillissement d'un produit cosmetique
JP2011002341A (ja) * 2009-06-18 2011-01-06 Olympus Corp 顕微鏡システム、標本観察方法およびプログラム
JP5498129B2 (ja) 2009-11-09 2014-05-21 オリンパス株式会社 バーチャル顕微鏡システム
JP5490568B2 (ja) * 2010-02-26 2014-05-14 オリンパス株式会社 顕微鏡システム、標本観察方法およびプログラム
JP2011181015A (ja) * 2010-03-03 2011-09-15 Olympus Corp 診断情報配信装置および病理診断システム
JP5631682B2 (ja) * 2010-09-30 2014-11-26 オリンパス株式会社 顕微鏡システムおよび配信システム
US8705833B2 (en) * 2011-04-25 2014-04-22 The General Hospital Corporation Computer-aided staining of multispectral images
US8639013B2 (en) * 2011-08-17 2014-01-28 General Electric Company System and methods for generating a brightfield image using fluorescent images
US9740912B2 (en) * 2011-12-20 2017-08-22 Definiens Ag Evaluation of co-registered images of differently stained tissue slices

Also Published As

Publication number Publication date
US20130071002A1 (en) 2013-03-21
JP2014526700A (ja) 2014-10-06
US8977017B2 (en) 2015-03-10
WO2013040300A3 (en) 2013-05-10
WO2013040300A2 (en) 2013-03-21

Similar Documents

Publication Publication Date Title
JP5878981B2 (ja) 医療診断支援のための画像評価装置、医療診断支援システムおよびその操作制御方法
US9262697B2 (en) Sample imaging and classification
JP5490568B2 (ja) 顕微鏡システム、標本観察方法およびプログラム
US20100201800A1 (en) Microscopy system
JP4740068B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP6772066B2 (ja) 画像を処理して解析するための検査装置
JP2012122852A (ja) 画像処理装置、画像処理方法および画像処理プログラム
US8503743B2 (en) Image processing system, image processing device and image processing terminal
EP2544141A1 (en) Diagnostic information distribution device and pathology diagnosis system
JP5508792B2 (ja) 画像処理方法、画像処理装置および画像処理プログラム
JP5154844B2 (ja) 画像処理装置および画像処理プログラム
JP5442542B2 (ja) 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体
JP2011095225A (ja) 画像処理装置、画像処理方法および顕微鏡システム
EP3475919A1 (en) Complementary color flashing for multichannel image presentation
JP2010169467A (ja) 画像処理装置、データセット生成装置、画像処理プログラムおよびデータセット生成プログラム
US20180068444A1 (en) Disease diagnostic apparatus, image processing method in the same apparatus, and medium storing program associated with the same method
US9406118B2 (en) Stain image color correcting apparatus, method, and system
JP2010261762A (ja) 標本作成装置および標本作成方法
JP5137481B2 (ja) 画像処理装置、画像処理プログラム、および画像処理方法
EP2927684B1 (en) Image measuring device and image measuring method
JP2008216077A (ja) 染色組織標本の陽性細胞の自動検出法
JP2008304205A (ja) 分光特性推定装置および分光特性推定プログラム
Şerbănescu et al. A hardware approach for histological and histopathological digital image stain normalization
EP3023936B1 (en) Diagnostic apparatus and image processing method in the same apparatus
WO2012147492A1 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140421

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150414

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160129

R150 Certificate of patent or registration of utility model

Ref document number: 5878981

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees