JP6342810B2 - 画像処理 - Google Patents

Description

本発明は画像処理に関する。

デジタル病理検査では標本からデジタル顕微鏡写真が作製される。次に、得られたデジタル画像が病理医に提示されて評価を受ける。デジタル病理検査は、標本を顕微鏡で直接観察する従来の病理検査に比べていくつかの利点をもつ。第一に、デジタル病理検査は処理能力を高めることができる。病理医の作業量は増えているため、該当する状況はますます増えている。第二に、デジタル病理検査は診断の質を高める手段を提供できる。病理医がコンピュータアルゴリズムの助けを借りる場合、複数の病理医の間で診断の整合性が大幅に改善できることが研究によって示されている。

しかしながら、デジタル病理検査にはいくつかの欠点もありうる。現時点での欠点の１つは焦点面が固定されていることである。デジタルスキャナは通常、組織に対して１枚の画像を取得するだけである。それ以降に焦点面を変更することはできない。これは焦点外れアーチファクト（ａｒｔｉｆａｃｔ）の原因となる。ただし、異なる焦点面を用いて複数の異なる画像を得ることも可能である。

この焦点問題以外にも、デジタル病理検査画像には、病理検査で普通に生じるその他のアーチファクトも発生する。そのようなアーチファクトとして以下のものがありうる。
・圧力効果
・固定アーチファクト（例えば、誤った固定液の使用、汚染、酸性ホルマリンヘマチン色素の形成）
・脱水不足（例えば、組織内に捕捉されたままの水）
・染色アーチファクト（例えば、非清浄な水浴または不均一な染色による）
・意図せず画像中に現れる物体（例えば、微生物や髪の毛）
・焦点ずれアーチファクト
・センサノイズ

病理医はこのようなアーチファクトを経験によって識別でき、画像解釈に際してそれらを無視することができる。しかし、自動画像解析プログラムは１つ以上のアーチファクトを含む画像の処理が難しいことがある。

現在利用できるデジタル解析手法は、組織全体または少なくとも視野全体に対して正規化と核検出を行う。

米国特許出願公開第２００６／００１４２３８号は、免疫組織化学化合物が適用された生物標本のデジタル画像を強調補正するステップと、強調補正したデジタル画像中にある所定の種類の不要な細胞を検討対象から外すステップと、強調補正したデジタル画像において関心のある複数の細胞を特定するステップと、強調補正したデジタル画像において関心エリアを１つ以上特定するステップと、特定された１つ以上の関心エリアにある細胞アーチファクトを検討対象から外し、それによって、医療の診断もしくは予後診断の作成に用いる、１つ以上の強調補正された関心エリアを自動的に生成するステップとを開示している。

Ｍ．Ｍａｃｅｎｋｏ、Ｍ．Ｎｉｅｔｈａｍｍｅｒ、Ｊ．Ｓ．Ｍａｒｒｏｎ、Ｄ．Ｂｏｒｌａｎｄ、Ｊ．Ｔ．Ｗｏｏｓｌｅｙ、Ｘ．Ｇｕａｎ、Ｃ．Ｓｃｈｍｉｔｔ、およびＮ．Ｅ．Ｔｈｏｍａｓ「Ａ Ｍｅｔｈｏｄ ｆｏｒ Ｎｏｒｍａｌｉｚｉｎｇ Ｈｉｓｔｏｌｏｇｙ Ｓｌｉｄｅｓ ｆｏｒ Ｑｕａｎｔｉｔａｔｉｖｅ Ａｎａｌｙｓｉｓ」（ＩＥＥＥ Ｉｎｔ．Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ、２００９）（以下では「Ｍａｃｅｎｋｏら」という）は、染色過程における不整合を解決し、それによって、異なる条件下で処理もしくは保存されたスライドを共通の正規化空間に置き、定量分析を改善可能にする２つの仕組みを開示している。この論文は、画像に対して正しい染料ベクタを自動的に見つけた後にカラーデコンボリューションを実施するアルゴリズムを開示している。

米国特許出願公開第２００６／００１４２３８号明細書

Ｍ．Ｍａｃｅｎｋｏ、Ｍ．Ｎｉｅｔｈａｍｍｅｒ、Ｊ．Ｓ．Ｍａｒｒｏｎ、Ｄ．Ｂｏｒｌａｎｄ、Ｊ．Ｔ．Ｗｏｏｓｌｅｙ、Ｘ．Ｇｕａｎ、Ｃ．Ｓｃｈｍｉｔｔ、およびＮ．Ｅ．Ｔｈｏｍａｓ「Ａ Ｍｅｔｈｏｄ ｆｏｒ Ｎｏｒｍａｌｉｚｉｎｇ Ｈｉｓｔｏｌｏｇｙ Ｓｌｉｄｅｓ ｆｏｒ Ｑｕａｎｔｉｔａｔｉｖｅ Ａｎａｌｙｓｉｓ」（ＩＥＥＥ Ｉｎｔ．Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ、２００９）

他の種類の画像処理においても、不適切な領域を含む画像の処理に際して問題が発生しうる。

画像処理を改善すると有利である。この課題により良く対処するため、本発明の第１の態様は、アーチファクトを含む領域を画像内に検出するアーチファクト検出部を備えた領域検出部と、検出された領域を除外した画像の一部に基づいてパラメータを決定するパラメータ決定部と、導出されたパラメータを用いて画像を処理する画像処理モジュールとを備えたシステムを提供する。

上記システムは、検出された領域を除外した画像の一部に対してパラメータを決定するという利点がある。従って、検出された領域の望ましくない、もしくは無関係な属性によってパラメータが歪曲されることがない。その後、導出されたパラメータを用いて画像が処理される。従って、検出された領域の属性によって歪曲されていないパラメータを用いて画像処理が行われる。このように、画像の関連部分に基づいてパラメータが決定できるため、画像処理の向上が実現される。

デジタル病理検査画像などの画像の局部エリアにはアーチファクトを含みうるものがいくつかあり、そのような局部エリアは解析から除外するべきである。さもなければ、正規化などの画像処理操作は最適以下のものとなってしまう。従って、パラメータを決定する際にはアーチファクトを含む領域を除外するのが有益である。その後、画像はこのパラメータを用いて処理できる。

なお、Ｍａｃｅｎｋｏらでは、特異値分解を実施する際、実質的に染色のない画素を安定性のために排除している。しかし、病理検査標本には、染色がほとんど、あるいは全くなくても有効な領域がありうるため、染色のない画素はアーチファクトではない。

デジタル画像処理のメリットは、画像中のムラに対する明示的な対処手法にある。例えば、コンピュータを用いた組織の解析（例えば、核検出、分類、正規化など）では、信頼できる結果を得るためにアーチファクト（例えば、標本作製やスキャン手続きによって生じるもの）を除去することが重要でありうる。

システムは、処理を終えた画像を表示する表示部を備えていてもよい。さらに、表示部は、アーチファクトを含む検出された領域の印を表示するように構成されてもよい。それにより、パラメータの決定時にどの領域が除外されたかをユーザは見ることができる。

システムは、表示部による検出された領域の印の表示をユーザが制御可能にするユーザインターフェイスを備えていてもよい。ユーザに適した可視化形態を実現可能にする選択肢をいくつか提供してもよい。複数の可視化形態をユーザが比較できるよう、より多種類の可視化形態をユーザの制御下で生成してもよい。

ユーザインターフェイスは、検出された領域の印をユーザがオンまたはオフに切り替えられるように構成されてもよい。これは、検出された領域の印が不要なときに画面を邪魔することなく、検出された領域の位置を必要時に素早くチェックするのに役立つ。このように、ユーザは、検出された領域の印を表示および非表示にした状態のいずれでも、処理を終えた画像を閲覧しうる。従って、ユーザは、処理を終えた画像のみを表示するようにシステムを制御しうるほか、処理を終えた画像を、パラメータの決定時に除外された領域の印とともに表示するようにシステムを制御することもできる。それによってシステムが柔軟に使用可能になる。

ユーザインターフェイスは、検出された領域の印の外観をユーザが変更できるように構成されてもよい。これによって柔軟性が高まるうえ、必要に応じて印を調整することができる。例えば、ユーザは、以下の１つまたは組み合わせの中から選択を行いうる。印の色の選択、検出された領域の外枠の表示、ある特定色またはある特定パターンで埋めることによる検出された領域の強調表示、または、矢印などの記号による領域の指示、である。

パラメータ決定部は、検出された領域を除外した画像の部分に基づいて正規化パラメータを決定するように構成されてもよい。画像処理モジュールは、画像の正規化を正規化パラメータに従って実施するように構成されてもよい。従って、検出された領域を除外した画像の一部に基づいて決定されたパラメータを用いて画像全体が正規化されうる。これにより、同じ正規化パラメータを画像全体に適用しながらパラメータの決定精度を高めることができる。均一な正規化を提供しながら、検出された領域を除外した画像の一部に対して正規化パラメータを最適化しうる。

システムは、検出された領域を示すマスクを生成するマスク部を備えていてもよい。パラメータ決定部は、マスクに基づいてパラメータを決定するように構成されてもよい。特に、パラメータ決定部は除外された領域を定義するためにマスクを使用してもよい。これは効率的なシステム実装に対する１つの可能性である。

画像は病理検査画像を含みうる。病理検査においてはアーチファクトが常に発生する。従って、本システムを病理検査画像に適応できれば好都合である。

画像処理モジュールは、検出された領域も導出されたパラメータを用いて処理するように構成されてよい。これにより、画像の関連部分に基づいてパラメータを決定することができる。同時に、同じ導出されたパラメータを、検出された領域にも適用することで画像が統一的に処理される。

アーチファクト検出部は、焦点外れアーチファクト、染色アーチファクト、圧力アーチファクト、および固定アーチファクトの少なくとも１つを含むアーチファクトを検出するように構成されてもよい。これらは病理検査画像に現れる重要なアーチファクトの例であり、これらのアーチファクトは、これらの画像に対する画像処理パラメータを決定することによって除外できる。

アーチファクト検出部は、物体検出法の適用によってアーチファクトを検出するように構成されてもよい。例えば、アーチファクトは、物体検出法を用いて検出可能なある特定の外観を有することが知られうる。かかる物体検出法は、当業者によってそれ自体公知である。かかる物体検出法は当該領域を検出および／または輪郭表示する１つの効率的な方法でありうる。

別の態様において、本発明は上記システムを備えるデジタル顕微鏡を提供する。かかるデジタル顕微鏡は、画像を取得するデジタルカメラ、領域検出部を実現するプロセッサとメモリ、パラメータ決定部、および画像処理モジュールをさらに備えていてもよい。例えば、デジタル顕微鏡はデジタル病理検査顕微鏡である。

別の態様において、本発明は上記システムを備えるワークステーションを提供する。

さらに別の態様において、本発明は、画像を処理する方法であって、アーチファクトを含む領域を画像内に検出するステップと、検出された領域を除外した画像の一部に基づいてパラメータを決定するステップと、導出されたパラメータを用いて画像を処理するステップとを含む方法を提供する。

別の態様において、本発明は、上記方法をプロセッサシステムに実行させる命令を含むコンピュータプログラム製品を提供する。

本発明の上記の実施形態、実装、および／または態様の２つ以上を、有用と思われる任意の方法で組み合わせうることは当業者には理解されるだろう。

本明細書に開示される手法が２次元、３次元、および／またはより高次元の画像データに適用されうることは当業者に理解されるだろう。さらに、本明細書に開示される手法が写真撮影、顕微鏡検査、コンピュータ断層撮影（ＣＴ）、Ｘ線、磁気共鳴、またはその他のあらゆる種類の画像収集モダリティから得られる画像データに適用されうることが、当業者に理解されるだろう。さらに、本明細書に開示される手法が病理検査画像および顕微鏡画像のみならず、写真画像や医療画像など他の種類の画像にも適用されうることは当業者に理解されるだろう。

記載される本システムの改変および変形に対応する、画像収集装置、ワークステーション、システム、方法、および／またはコンピュータプログラム製品の改変および変形は、本説明を元に当業者が実施できる。

本発明のこれらおよび他の態様は下記の実施形態から明らかであり、またそれらを参照することによって明確になる。
画像を処理するシステムのブロック図である。 画像を処理する方法のフローチャートである。 病理検査画像の４つの例を示す図である。 アーチファクトを含む領域に対応するマスクを示す図である。

病理検査画像は手動で分析されることがある。手動分析では、標本処理アーチファクトと組織アーチファクトが病理医によって無視される。また顕微鏡の焦準ハンドルを回すことにより、病理医は画像の関連部分に焦点を合わせうる。最近の傾向は、病理検査が近い将来にデジタル化されることを示している。デジタル病理検査を用いる場合、解析の少なくとも一部（例えば、核検出、核分類、ＨＥＲ２値など）はコンピュータによって実施される。しかし、知られているコンピュータ解析は、アーチファクトや焦点外れエリアによって不正確な結果をもたらすことがある。

分析結果は、最初にアーチファクトおよび焦点外れエリアを局所的に検出した後、それらのエリアを分析時に廃棄することによって改善しうる。これは病理検査画像だけでなく、ＣＴ画像、Ｘ線画像、磁気共鳴画像、およびその他の種類の画像などの医療画像を含むその他の種類の画像にも当てはまる。医療画像におけるアーチファクトの例として、インプラントや再構成アーチファクトがある。デジタル写真などの他の画像は、ＪＰＥＧアーチファクト等の圧縮アーチファクトなどのアーチファクトも含みうる。

図１は画像処理システムの諸態様を示す。本システムは、適切にプログラムされたコンピュータまたはプロセッサによって少なくとも部分的には実現されうる。あるいは、本システムの一部または全部の特徴を実現するために専用の電子回路を備えてもよい。本システムはワークステーションによって実現されうる。画像に対する処理操作の開始など、システム制御のためのユーザからの入力を受信するため、本システムは、キーボード、マウスデバイス、ディスプレイ、および／またはタッチセンサ式ディスプレイなどのユーザ・インターフェイス・ハードウェアも備えうる。さらに、かかるユーザ・インターフェイス・ハードウェアは、処理を終えた画像などのシステムの結果を表示するために使用されうる。本システムは、画像収集装置またはデジタル画像保管庫といった他の機器との通信を行う通信ポートも備えうる。

システムは画像受信部４を備えうる。この画像受信部４は通信ポートと機能的に接続されうる。画像受信部４は別の機器（例えば画像の格納手段を備えたサーバ）から１枚以上の画像を受信するように構成されうる。画像受信部４は、画像収集装置（図示せず）と直接通信するように構成されてもよい。本明細書に別途記載するように、画像は例えば組織画像や他の種類の画像を含みうる。

システムは領域検出部１を備えうる。領域検出部１は、ある特定の基準を満たす画像内領域、特に、アーチファクトを含む領域を検出するように構成される。かかるアーチファクトは、虫もしくは微生物もしくは髪の毛などの有機物体でありうる。アーチファクトはまた人工物体でありうる。本パラグラフで述べるアーチファクトの例は病理検査画像において生じうる。病理検査の撮影では、組織標本の特性に関心が向けられる。アーチファクトが存在する画像内領域にそれらの特性を認めることは難しい可能性がある。しかし、アーチファクトは他の適用分野においても発生しうる。

別の種類のアーチファクトは組織の物理的取り扱いによって生じる。例えば、組織の一部に圧力が加えられる場合、組織のその部分は変形しうる。例えば、細胞構造が破壊されうる。また別の種類のアーチファクトは、焦点および／または絞りなどの顕微鏡の光学的設定によって生じる。また別の種類のアーチファクトは、デジタル画像圧縮などの画像のデジタル前処理によって生じる。

システムは、アーチファクトを画像中に検出するアーチファクト検出部７を備えうる。アーチファクト検出部７は、ある特定種類のアーチファクトを検出するように特化されていてもよい。例えば、アーチファクト検出部７は、虫の形状モデルおよび／または物体認識手法に基づいてある特定種類の虫を検出するように構成されてもよい。そのような手法は当技術分野においてそれ自体公知である。システムはかかるアーチファクト検出部７を複数備えていてもよく、アーチファクト検出部７のそれぞれは異なる種類のアーチファクトを検出するように構成されてもよい。例えば、異なる虫を異なる形状モデルを用いて検出してもよい。髪の毛は別の形状モデルを用いて検出しうる。また、他の複数種類の物体を別々にモデル化してもよい。光学的な歪みおよび／またはデジタル画像処理の異常など、他の種類のアーチファクトを検出するために複数の異なるアーチファクト検出部を実装してもよい。かかるアーチファクト検出部は当技術分野においてそれ自体公知である。領域検出部１は、アーチファクト検出部７によって検出されたアーチファクトを含む領域の表現を生成する。

システムは、検出された領域を除外した画像の一部に基づいてパラメータを決定する、パラメータ決定部２を備えうる。かかるパラメータは、自体公知の方法で画像の残り部分を解析することによって決定しうる。このパラメータの決定方法は実施する画像処理の種類に依存する。アーチファクトを含む領域の表現を領域検出部１から受信するために、パラメータ決定部２は領域検出部１に機能的に結合されうる。かかる表現はアーチファクトの囲み枠の座標の形態でありうる。マスク画像など、その他の表現も可能である。

システムは、導出されたパラメータを用いて画像を処理する画像処理モジュール３を備えうる。その目的のために、所望する任意の適切な画像処理操作が使用できる。例えば、ヒストグラムの平坦化を実施しうる（ヒストグラムのビン（ｂｉｎ）をパラメータとして使用）、正規化を実施しうる（最大画素値をパラメータとして使用）、物体カウントを例えば物体検出用のしきい値を用いて実施しうる。このとき、しきい値は、検出部分を除外した画像の部分のヒストグラムに基づく。その他の種類の処理も、本開示に基づいて当業者が適宜なしうる。

システムは、処理を終えた画像を表示する表示部５を備えうる。表示部５は、処理を終えた画像の表示に加えて、生の（未処理の）画像の表示に使用しうる。さらに、表示部５は、検出された領域の印を示すように構成されうる。例えば、検出された領域は当該領域を囲む輪郭線によって輪郭を示してもよいし、検出された領域は特有の色で示してもよい。検出された領域は未処理の画像および／または処理を終えた画像の中に示してもよい。表示部５は、例えば外部表示装置を制御するソフトウェアユニットとして実装してもよい。

さらに、システムはユーザインターフェイス８を備えうる。ユーザインターフェイス８はユーザがシステムを制御できるように構成されうる。他の多くの用途に加え、ユーザインターフェイス８は、表示部による検出された領域の印の表示をユーザが制御できるように構成されうる。ユーザインターフェイスは、画像と、前記画像の処理に際して廃棄されたアーチファクトとの両方をユーザが可視化／表示できるように構成されうる。例えば、検出された領域の印をユーザがオンまたはオフに切り替えられるように、グラフィカル・ユーザ・インターフェイス上のボタンを備えてもよい。このように、処理を終えた画像および／または未処理の画像は、検出された領域の印がない状態で表示されうる。ユーザがボタンの押下を選択すると、同じ画像が、検出された領域の印とともに表示されうる。かかる表示は、検出された領域の位置および／または範囲および／または形状を示すものでありうる。さらに、ユーザインターフェイス８は、検出された領域の印の外観をユーザが変更できるように構成されうる。例えば、ユーザがいくつかの選択肢の一覧を与えられ、ユーザが前記選択肢の中から選択を行えるようにしてもよい。例えば、ユーザは、検出された領域の外枠表示と検出された領域の着色との間で選択を行いうる。かかる着色は完全に不透明でもいいし、半透明でもいい。色および／または不透明度はユーザ選択可能であってもよい。ユーザはさらに、検出された領域の位置を示す記号の表示が選択可能でありうる。かかる記号は、矢印もしくは点、またはあらゆるその他のアイコンを含みうる。

例えば、ユーザインターフェイスは、上記目的に対して１つ以上のユーザインターフェイス要素を備える。かかるユーザインターフェイス要素は、グラフィカル・ユーザ・インターフェイスのウィジェットを含みうる。ハードウェアボタンなど、別の種類のユーザインターフェイス要素を使用してもよい。このように、ユーザは処理を終えた画像を、検出された領域の印を表示した状態または表示しない状態のいずれで閲覧したいかを選択しうる。同様に、検出された領域の印を表示した状態または表示しない状態のいずれかでユーザが元の（未処理の）画像を可視化可能にするユーザインターフェイス要素を備えてもよい。画像処理の種類の１つは正規化である。従って、パラメータ決定部２は、正規化に用いる１つ以上のパラメータを決定するように構成されてもよい。正規化操作に使用できるパラメータの例として、ヒストグラムの平均強度、最大強度、またはビン値などがある。画像処理モジュール３は、画像の正規化を正規化パラメータに従って実施するように構成されうる。例えば、補正係数の適用によって強度レベルを調整し、平均強度を変更し、あるいは使用強度の範囲を所定範囲に収めたりすることができる。ヒストグラムの平坦化も可能である。

システムは、検出された領域を示すマスクを生成するマスク部６を備えうる。かかるマスクは画像の形状でありえ、例えば、検出された領域の部分である画素に対して第１の画素値を用いて、検出された領域の部分ではない画素に対して第１の画素値とは異なる第２の画素値を用いるバイナリ画像である。パラメータ決定部２は、マスクに基づいてパラメータを決定するように構成されうる。具体的には、例えば、検出された領域の部分であることがマスク画像によって示されていない、未処理画像の画素のみを評価する。

画像処理モジュール３は、検出された領域も導出されたパラメータを用いて処理するように構成されうる。そのため、パラメータ値は、検出された領域を除外した画像の一部に基づいてパラメータ決定部２によって決定されたが、画像処理モジュールは、画像の統一的な取り扱いが行われるよう、導出された画像全体のパラメータに基づいて上記処理ステップを実施しうる。あるいは、画像処理モジュール３は、検出された領域を除外した画像の一部に対してのみ上記処理ステップを適用するように構成されうる。

アーチファクト検出部７は、焦点外れアーチファクト、染色アーチファクト、圧力アーチファクト、および固定アーチファクトを検出するように構成されうる。ある特定種類のアーチファクトを検出するように特化された複数の異なるアーチファクト検出部７を使用してもよい。

アーチファクト検出部７は、物体検出法の適用によってアーチファクトを検出するように構成しうる。例えば、ある特定の形状および／または色および／またはテクスチャなど、特定の属性を有することがわかっているアーチファクトの検出には、形状モデルまたはテンプレートマッチング法を用いることができる。

システムはデジタル顕微鏡内に組み込まれうる。かかる顕微鏡は関心領域を拡大する光学サブシステム、および光学サブシステムから得た光信号をデジタル画像に変換するデジタルカメラを備えうる。デジタル画像は、システムが本明細書中に記載の方法で取り扱うように画像受信部４に供給されうる。

代替的に、システムはワークステーション内に組み込まれうる。かかるワークステーションは、デジタル顕微鏡によって取り込まれた画像を受信しうる。

システムは顕微鏡画像に限定されない。システムは他の種類の画像に対しても最適化しうる。

図２は画像処理方法の諸態様を示す。本方法は、画像内のある領域を基準に基づいて検出するステップ２０１を含む。この基準は、領域内におけるアーチファクトの存在でありうる。領域の範囲は検出されるアーチファクトにちょうど対応しうる。あるいは、領域の範囲はアーチファクトの凸閉包、またはアーチファクトの境界ボックスに対応しうる。この領域はアーチファクトの周囲のマージンを含みうる。これらの可能性は領域検出部１によって検出される領域にも適用される。領域の検出後、本方法は、検出された領域を除外した画像の一部に基づいてパラメータを決定するステップ２０２に進む。パラメータの決定後、本方法は、導出されたパラメータを用いて画像を処理するステップ２０３に進む。その後、本方法は、処理を終えた画像を表示装置に表示するステップ２０４に進む。代替的または追加的に、画像を記憶媒体に格納してもよい。本方法は、プロセッサシステムに記載の方法を実行させる命令を含むコンピュータプログラム製品内に含まれてもよい。

本方法は、本明細書中に記載するシステムの機能の説明に鑑みて当業者によって改変および／または拡張されうる。

病理検査のデジタル化にはいくつかの利点がある。第一に、処理能力の向上が可能である。米国では病理医の作業量が増えているため、該当する状況はますます増えている。その原因は一方では人々の高齢化に帰することができるが、他方では病理医の卒業者数が米国において年々微減している点に帰することができる。第二に、デジタル病理検査は診断の質を高める手段を提供する。病理医がコンピュータアルゴリズムの助けを借りる場合、病理医の間で診断の整合性が大幅に改善できることが研究によって示されている。しかしながら、デジタル病理検査にはいくつかの欠点もある。一番の欠点は、焦点面が固定されていることである。デジタルスキャナは通常、組織に対して１枚の画像を与えるだけである。従って、焦点面を調整することができない。ただし、異なる焦点面を用いて複数の画像を記録することは可能である。

デジタル病理検査はデジタルスキャナそのものによって生じるアーチファクトにのみ直面するのではない。以下に示すのは、あらゆる種類の病理検査画像に生じうるアーチファクトの例である。
・圧力効果
・固定アーチファクト（例えば、誤った固定液の使用、汚染、および／または酸性ホルマリンヘマチン色素の形成）
・脱水不足（組織内に捕捉されたままの水）
・染色アーチファクト（非清浄な水浴または不均一な染色）
・インクアーチファクト、例えば、外科切除端の印を付けるために医療提供者によって使用されるインク

従来型の病理検査におけるアーチファクトの概要は、Ｅ．ＭｃＩｎｎｅｓ「Ａｒｔｉｆａｃｔｓ ｉｎ ｈｉｓｔｏｐａｔｈｏｌｏｇｙ」（Ｃｏｍｐ Ｃｌｉｎ Ｐａｔｈ（２００５）１３：１００〜１０８に収録）に開示されている。

病理医は病理検査標本を解釈する際にアーチファクトを無視するように日頃から訓練されている。しかし、デジタル病理検査システムには効果的かつ明示的な戦略が必要である。コンピュータを用いた組織の解析（すなわち、核検出、分類、正規化など）では、結果の信頼性および／または再現性を高めるために、あらゆるアーチファクト（標本作製ならびにスキャン手続きによって生じるもの）を除去することが重要である。

生じうるアーチファクトの例として、検死の際に解剖者の持つ鉗子によって新鮮組織が固定前に過剰に引きずられ、それによって肺に生じうる鉗子傷がある。酸性ホルマリンヘマチン色素は暗褐色の異方性・微晶質かつ鉄が負に帯電した色素であり、非緩衝ホルマリン由来のギ酸が酸性ｐＨにおいてヘモグロビンのヘムと反応して生成される。脊髄の白質に染色の薄いエリアが生じうるのは、脱水不足によって水が組織内に捕捉されたままとなり、組織の一部が染色されないためである。非清浄な水浴には以前の組織が残留していることがある。それは肺の中に存在する肝臓組織のように、現在の組織切片に混入しうる。組織切片の焦点面の上方にエオシン薄片が見えうるのは、無濾過の原液から生じる沈殿染料のためである。

正規化と核検出は組織全体または少なくとも視野全体に対して実施されうる。しかし、上記の例で示すように、一部の局部エリアは信頼できないか、または解析に関係しないため、解析から除外するべきである。さもなければ正規化は最善以下のものとなりえ、自動核検出および／または自動核カウントといった自動解析の結果は多くの偽陽性および／または偽陰性を示しかねない。現在の実務では、標準的な画像正規化手法としてヒストグラムの平坦化がある。

アーチファクト（焦点外れや染色アーチファクトなど）がある位置は局所的に決定することができる。かかるアーチファクトは画像の解析中に廃棄しうる。廃棄されたアーチファクトは解析結果の可視化時に示しうる。

組織のデジタル化画像にはいくつかの種類のアーチファクトが生じうる。Ｙ．Ｓｕｎ、Ｓ．Ｄｕｔｈａｌｅｒ、およびＢ．Ｊ．Ｎｅｌｓｏｎ「Ａｕｔｏｆｏｃｕｓｉｎｇ Ａｌｇｏｒｉｔｈｍ Ｓｅｌｅｃｔｉｏｎ ｉｎ Ｃｏｍｐｕｔｅｒ Ｍｉｃｒｏｓｃｏｐｙ」（Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍｓ、２００５に収録）は、焦点の合ったアーチファクトと焦点外れアーチファクトを検出する手法を開示している。（修正）ラプラスやエネルギーラプラスの和のような微分によるアプローチ、または分散や自己相関の手法などの統計に基づくアルゴリズムを使用しうる。関連方法は染色アーチファクトを検出できうる。これは、染色アーチファクトが染色液の不鮮明なしみとして生じうるためである。固定および圧力アーチファクトも検出されうる。

アーチファクトが検出された後で、バイナリマスクを用いて解析を実施しうる。バイナリマスクは、どの画素を解析に使用するべきか、および／またはどの画素を解析に使用するべきでないかを示す。アーチファクトを含む領域の可視化は、例えば、画像の関連エリアの網掛けによって行うことができる。

画像正規化に先立ち、アーチファクト（焦点外れや染色アーチファクトなど）がある位置を最初に局所的に決定してもよい。発見されたアーチファクトは正規化パラメータの確立時に廃棄してもよい。正規化はアーチファクトを除外した領域にのみ適用してもよい。あるいは、正規化は、アーチファクトを除外した画像の領域に基づいて決定された正規化パラメータを用いて画像全体に適用してもよい。あるいは、除去済み領域と画像の残り部分との境界において正規化パラメータが急に変化しないよう、例えば正規化パラメータのフェーディング技法または段階的変化を除去済み領域内に適用することにより、検出されたアーチファクトを画像の残り部分と組み合わせてもよい。

図３は、同じ切片による２枚の免疫組織化学（ＩＨＣ）染色画像を示す。ＩＨＣは組織切片の細胞の解析に使用しうる公知の技法である。左上の画像は、デジタル病理検査スキャナを用いて取得した第１の画像を示す。右上の画像は、デジタル病理検査スキャナを用いて取得した第２の画像を示す。左下の画像は正規化後の第１の画像を示す。右下の画像は正規化後の第２の画像を示す。図４は、第１の画像に対するマスク画像を示す。図４の黒い領域は、デジタル病理検査スキャナで取得した画像においてアーチファクトが検出された、第１の画像内の領域に対応する。第１の画像に対する正規化パラメータはデジタル病理検査スキャナで取得した第１の画像に基づいて決定されたが、図４に示すマスク画像に従ってマスク領域が除去されている。画像は得られた正規化パラメータを用いて正規化された。その結果が図３に示す左下の画像である。

本発明が、本発明を実現するように適応したコンピュータプログラム、特にキャリア上もしくはキャリア内のコンピュータプログラムにも適用されることが理解されるだろう。プログラムはソースコード、オブジェクトコード、部分コンパイル形態などのソースコードとオブジェクトコードの中間のコードの形態、または本発明による方法の実装に用いるのに適したあらゆる形態でありうる。かかるプログラムが多様なアーキテクチャ設計を有しうることも理解されるだろう。例えば、本発明による方法またはシステムの機能を実現するプログラムコードは１つ以上のサブルーチンに分割しうる。それらのサブルーチン間に機能を分配する多様なやり方は当業者にとって明らかであろう。サブルーチンは１つの実行可能ファイルにまとめて格納して自己完結型のプログラムを形成してもよい。かかる実行可能ファイルは、例えばプロセッサ命令および／またはインタプリタ命令（例えばＪａｖａ（登録商標）インタプリタ命令）などの、コンピュータで実行可能な命令を含みうる。あるいは、サブルーチンの１つ以上または全てを少なくとも１つの外部ライブラリファイルに格納し、メインプログラムと静的もしくは動的に（例えば実行時に）リンクさせてもよい。メインプログラムはサブルーチンの少なくとも１つに対する少なくとも１つの呼び出しを含む。サブルーチンは互いに対する呼び出しも含んでよい。コンピュータプログラム製品に関連する実施形態は、本明細書に記載する方法の少なくとも１つにおける各処理ステップに対応する、コンピュータで実行可能な命令を含む。それらの命令は、サブルーチンに分割しうる、および／または静的もしくは動的にリンクされうる１つ以上のファイルに格納されうる。コンピュータプログラム製品に関連する別の実施形態は、本明細書に記載するシステムおよび／または製品の少なくとも１つにおける各手段に対応する、コンピュータで実行可能な命令を含む。それらの命令は、サブルーチンに分割しうる、および／または静的もしくは動的にリンクされうる１つ以上のファイルに格納されうる。

コンピュータプログラムのキャリアはプログラムを輸送可能なあらゆるエンティティもしくはデバイスでありうる。例えば、キャリアはＲＯＭ（例えば、ＣＤ ＲＯＭもしくは半導体ＲＯＭ）などの記憶媒体、または例えばフラッシュドライブもしくはハードディスクなどの磁気記録媒体を含みうる。さらに、キャリアは電気信号もしくは光信号など、電気もしくは光ケーブルを介して、または無線などの手段によって搬送しうる、伝送可能なキャリアでありうる。プログラムをかかる信号において実現する場合、キャリアはかかるケーブルまたはその他のデバイスもしくは手段によって構成されてもよい。あるいは、キャリアはプログラムが埋め込まれる集積回路であって、関連する方法を実施するように、あるいはその実施に使用されるようにされた集積回路であってもよい。

なお、上記の実施形態は発明を説明するものであって限定するものではなく、当業者は添付の特許請求の範囲の範囲を逸脱することなく多くの代替的な実施形態を設計できるだろう。特許請求の範囲では括弧内の参照符号は当該請求項を限定するものと解釈してはならない。動詞「備える」、「含む」、およびその活用形の使用は、請求項に記載されない要素もしくは方法の存在を排除するものではない。要素が単数として記載されていても、かかる要素が複数存在することを排除するものではない。本発明は異なる要素をいくつか含むハードウェアによって、および適切にプログラムされたコンピュータによって実現してもよい。複数の手段を列挙する装置請求項において、それらの手段のいくつかは同一のハードウェアのアイテムによって実現されてもよい。互いに異なる従属請求項にある方策が列挙されるというだけでは、それらの方策を組み合わせて使用することが有用ではないことにはならない。

Claims (17)

1. 生物標本の顕微鏡画像を処理する顕微鏡システムであって、
   前記顕微鏡画像内におけるアーチファクトを含む領域を検出するためのアーチファクト検出部を備えた領域検出部であり、前記アーチファクトは、標本作製または物理的取り扱いによって生じる、領域検出部と、
   前記検出された領域を除外した前記顕微鏡画像に係る部分に基づいて、パラメータを決定するためのパラメータ決定部と、
   前記決定されたパラメータを使用して、前記顕微鏡画像を処理するための画像処理モジュールと、
   を備え、前記システムは、さらに、
   ユーザが、前記顕微鏡画像及び前記顕微鏡画像の処理の最中に除外されたアーチファクトの両方を可視化できるようにするユーザインターフェイスを備える、
   ことを特徴とするシステム。
2. 前記システムは、さらに、
   前記処理を終えた画像を前記検出された領域の印と供に表示するための表示部を備える、
   請求項１に記載のシステム。
3. 前記システムは、さらに、
   ユーザが、前記表示部による前記検出された領域の印の前記表示を制御できるようにするためのユーザインターフェイスを備える、
   請求項２に記載のシステム。
4. 前記ユーザインターフェイスは、前記ユーザが、前記検出された領域の印をオンまたはオフに切り替えられるように構成されている、
   請求項３に記載のシステム。
5. 前記ユーザインターフェイスは、前記ユーザが、前記検出された領域の印の外観を変更できるように構成されている、
   請求項３に記載のシステム。
6. 前記パラメータ決定部によって決定された前記パラメータは、正規化パラメータを含み、
   前記画像処理モジュールは、前記正規化パラメータに従って、前記顕微鏡画像の正規化を実行するように構成されている、
   請求項１に記載のシステム。
7. 前記システムは、さらに、
   前記検出された領域を示すマスクを生成するためのマスク部を備え、
   前記パラメータ決定部は、前記マスクに基づいて、前記パラメータを決定するように構成されている、
   請求項１に記載のシステム。
8. 前記顕微鏡画像は、病理検査画像を含む、
   請求項１に記載のシステム。
9. 前記画像処理モジュールは、前記決定されたパラメータを使用して、前記検出された領域も処理するように構成されている、
   請求項１に記載のシステム。
10. 前記アーチファクト検出部は、焦点外れアーチファクト、染色アーチファクト、圧力アーチファクト、および、固定アーチファクト、のうち少なくとも１つを検出するように構成されている、
    請求項１に記載のシステム。
11. 前記アーチファクト検出部は、物体検出法を適用することにより、前記アーチファクトを検出するように構成されている、
    請求項１に記載のシステム。
12. 前記領域検出部は、アーチファクトの種類に対応する複数の異なるアーチファクト検出部、を含む、
    請求項１に記載のシステム。
13. 前記ユーザインターフェイスは、、
    前記画像処理モジュールによって処理された画像及び前記画像の処理の最中に除外されたアーチファクトの両方を可視化する、
    請求項１に記載のシステム。
14. 請求項１に記載のシステムを備えたデジタル顕微鏡。
15. 請求項１に記載のシステムを備えたワークステーション。
16. 生物標本の顕微鏡画像を処理する方法であって、
    前記顕微鏡画像内におけるアーチファクトを含む領域を検出するステップであり、前記アーチファクトは、標本作製または物理的取り扱いによって生じる、ステップと、
    前記検出された領域を除外した前記顕微鏡画像に係る部分に基づいて、パラメータを決定するステップと、
    前記決定されたパラメータを使用して、前記顕微鏡画像を処理するステップと、
    を含み、さらに、
    前記顕微鏡画像及び前記顕微鏡画像の処理の最中に除外されたアーチファクトの両方を可視化するステップと、を含む、
    ことを特徴とする方法。
17. 請求項１６に記載の方法をプロセッサシステムに実行させるための命令を含む、コンピュータプログラム。

Images