JPWO2017150194A1 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

本発明の課題は、生体物質を撮影した画像の画像処理において、画像に適した画像処理を効率良く実施可能な画像処理装置、画像処理方法及びプログラムを提供することである。
本発明の画像処理装置２Ａは、生体物質が撮影された画像の画像処理を行う画像処理装置であって、前記画像を入力する入力手段と、前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出手段と、前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出手段により抽出された前記画像の特徴量に対応する画像パターンを判定する判定手段と、前記判定手段により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定手段と、前記設定手段により設定された前記パラメータを用いて前記画像の画像処理を行う処理手段と、を備えることを特徴とする。

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関し、特に病理診断に用いられる画像処理に関する。

人や動物等の生物から採取された組織切片を顕微鏡で観察して病変の有無や病変の種類について診断する、いわゆる病理診断が盛んに行われている。病理診断では、まず採取した組織を固定するために脱水し、パラフィンによるブロック化といった処理を行った後、２〜８μｍの厚さの薄片に切り、パラフィンを取り除き、染色して顕微鏡観察して画像データ（細胞画像）を生成し、細胞の核の大きさや形の変化、組織としてのパターンの変化等の形態学的な情報、染色情報を解析して診断を行う。かかる細胞画像から例えば細胞の領域などを抽出する画像処理を手作業で行うと、膨大な手間がかかり、また、作業者ごとの誤差も大きい。

近年では、例えば組織切片を撮影した画像から癌細胞の領域を効率よく把握できるようにするための画像処理を自動的に行う技術が数多く提案されている。

例えば、特許文献１には、画像内の対象物を識別するための画像処理において、閾値を順次変化させて、識別された対象物の特徴を閾値ごとに評価した結果に基づいて、画像から対象物が撮影された領域を抽出する技術が記載されている。

特表２００８−５２７５４６号公報

病理画像は、撮影された標本における、細胞や癌の種類、標本の染色方法、作成方法及び保存方法、画像の取得方法、等の多くの要因によって、画像ごとに特徴が大きく異なる。
例えば、図６に示されるように、細胞核を染色した組織標本を撮影した病理画像は、標本の取得方法及び組織の種類に応じて、特徴が大きく異なる。図６は、細胞核の染色状態及び密集度に基づいて１０のパターンに分類された画像の代表例を示す。
このような画像の特徴の差異に伴い、病理診断のための画像処理に用いられる適切なパラメータは、画像ごとに大きくばらつくことが知られている。例えば、染色された細胞核を示す画像を抽出する際に、細胞核が密集している標本を撮影した画像に対しては、強い分割処理を行う必要がある。また、細胞核の染色ムラが大きい標本を撮影した画像に対しては、例えば色ムラを低減するための平均化フィルタ処理を行う必要がある。

特許文献１に記載されるような従来の自動的な画像処理では、このようなばらつきを補正して、病理画像ごとに適切な画像処理を施すことは困難であった。また、画像処理に用いられるパラメータの種類は多岐にわたるため、全てのパラメータを変化させて組み合わせて用いた画像処理を行うことは非効率的であり、そのような画像処理によって作成される膨大な数の画像から適切な画像を選択することも困難であった。

本発明の主な目的は、生体物質を撮影した画像の画像処理において、画像に適した画像処理を効率良く実施可能な画像処理装置、画像処理方法及びプログラムを提供することにある。

本発明の上記課題を解決するため、本発明の一側面を反映した画像処理装置は、生体物質が撮影された画像の画像処理を行う画像処理装置であって、
前記画像を入力する入力手段と、
前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出手段と、
前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出手段により抽出された前記画像の特徴量に対応する画像パターンを判定する判定手段と、
前記判定手段により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定手段と、
前記設定手段により設定された前記パラメータを用いて前記画像の画像処理を行う処理手段と、
を備えることを特徴とする。

本発明の一側面を反映した画像処理方法は、生体物質が撮影された画像の画像処理を行う画像処理方法において、
前記画像を入力する入力工程、
前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出工程、
前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出工程により抽出された前記画像の特徴量に対応する画像パターンを判定する判定工程、
前記判定工程により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定工程、
前記設定工程により設定された前記パラメータを用いて前記画像の画像処理を行う処理工程、
を備えることを特徴とする。

本発明の一側面を反映したプログラムは、生体物質が撮影された画像の画像処理を行うコンピュータを、
前記画像を入力する入力手段、
前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出手段、
前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出手段により抽出された前記画像の特徴量に対応する画像パターンを判定する判定手段、
前記判定手段により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定手段、
前記設定手段により設定された前記パラメータを用いて前記画像の画像処理を行う処理手段、
として機能させることを特徴とする。

本発明によれば、生体物質を撮影した画像の画像処理において、画像に適した画像処理を効率良く実施可能な画像処理装置、画像処理方法及びプログラムを提供することができる。

病理診断支援システムの構成を概略的に示す図である。 画像処理装置の機能的構成を概略的に示すブロック図である。 実施例における画像解析処理の流れを概略的に示すフローチャートである。 ステップＳ６の画像処理の具体例を概略的に示すフローチャートである。 明視野画像の一例である。 ステップＳ２で初期抽出された画像の一例である。 画像パターンの例を示す模式図である。 変形例１の設定工程を説明する模式図である。 分割された画像の例を示す模式図である。 分割された画像毎に判定された画像パターンを示す模式図である。

以下、図面を参照しながら本発明の好ましい形態について説明する。
＜病理診断支援システム１０の構成＞
図１に、本発明の画像処理装置を備えた病理診断支援システム１０の全体構成例を示す。
病理診断支援システム１０は、所定の染色試薬で染色された人体の組織切片の顕微鏡画像を取得し、取得された顕微鏡画像を解析することにより、観察対象の組織切片における特定の生体物質の発現を定量的に表す特徴量を出力するシステムである。

図１に示すように、病理診断支援システム１０は、顕微鏡画像取得装置１Ａと、画像処理装置２Ａと、がケーブル３Ａなどのインターフェースを介してデータ送受信可能に接続されて構成されている。病理診断支援システム１０は、顕微鏡画像取得装置１Ａと画像処理装置２Ａが一体に形成された装置でもよい。
顕微鏡画像取得装置１Ａと画像処理装置２Ａとの接続方式は特に限定されない。たとえば、顕微鏡画像取得装置１Ａと画像処理装置２ＡはＬＡＮ（Local Area Network）により接続されることとしてもよいし、無線により接続される構成としてもよい。

顕微鏡画像取得装置１Ａは、公知のカメラ付き光学顕微鏡であり、スライド固定ステージ上に載置されたスライド上の組織切片の顕微鏡画像を取得し、画像処理装置２Ａに送信するものである。
顕微鏡画像取得装置１Ａは、照射手段、結像手段、撮像手段、通信Ｉ／Ｆなどを備えて構成されている。照射手段は、光源、フィルタなどにより構成され、スライド固定ステージに載置されたスライド上の組織切片に光を照射する。結像手段は、接眼レンズ、対物レンズなどにより構成され、照射した光によりスライド上の組織切片から発せられる透過光、反射光、または蛍光を結像する。撮像手段は、ＣＣＤ(Charge Coupled Device)センサーなどを備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データを生成する顕微鏡設置カメラである。通信Ｉ／Ｆは、生成された顕微鏡画像の画像データを画像処理装置２Ａに送信する。
顕微鏡画像取得装置１Ａでは、明視野観察に適した照射手段および結像手段を組み合わせた明視野ユニット、蛍光観察に適した照射手段および結像手段を組み合わせた蛍光ユニットが備えられており、ユニットを切り替えることにより明視野／蛍光を切り替えることが可能である。

なお、顕微鏡画像取得装置１Ａとしては、カメラ付き顕微鏡に限定されず、たとえば、顕微鏡のスライド固定ステージ上のスライドをスキャンして組織切片全体の顕微鏡画像を取得するバーチャル顕微鏡スライド作成装置（たとえば、特表２００２−５１４３１９号公報参照）などを用いてもよい。バーチャル顕微鏡スライド作成装置によれば、スライド上の組織切片全体像を表示部で一度に閲覧可能な画像データを取得することができる。

画像処理装置２Ａは、顕微鏡画像取得装置１Ａから送信された顕微鏡画像を解析する。
図２に示すように、画像処理装置２Ａは、制御部２１、操作部２２、表示部２３、通信Ｉ／Ｆ２４、記憶部２５などを備えて構成され、各部はバス２６を介して接続されている。

制御部２１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）などを備えて構成され、記憶部２５に記憶されている各種プログラムとの協働により各種処理を実行し、画像処理装置２Ａの動作を統括的に制御する。
たとえば、制御部２１は、記憶部２５に記憶されている画像処理プログラムとの協働により画像解析処理（図３参照）を実行し、特徴量抽出手段、判定手段、設定手段、処理手段、分割手段、としての機能を実現する。

操作部２２は、文字入力キー、数字入力キー、各種機能キーなどを備えたキーボードと、マウスやタッチペンなどのポインティングデバイスを備えて構成され、キーボードで押下操作されたキーの押下信号とマウスやタッチペンによる操作信号とを、入力信号として制御部２１に出力する。

表示部２３は、たとえばＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）などのモニタを備えて構成されており、制御部２１から入力される表示信号の指示に従って、各種画面を表示する表示手段としての機能を実現する。

通信Ｉ／Ｆ２４は、顕微鏡画像取得装置１Ａをはじめとする外部機器との間でデータ送受信を行なうためのインターフェースである。通信Ｉ／Ｆ２４は、入力手段として機能する。

記憶部２５は、たとえばＨＤＤ（Hard Disk Drive）や半導体の不揮発性メモリーなどで構成されている。記憶部２５には、前述のように各種プログラムや各種データなどが記憶されている。
その他、画像処理装置２Ａは、ＬＡＮアダプターやルーターなどを備え、ＬＡＮなどの通信ネットワークを介して外部機器と接続される構成としてもよい。

本実施形態では、画像処理装置２Ａは、顕微鏡画像取得装置１Ａから送信された画像を用いて解析を行うようになっている。
本実施形態で解析される画像は、人体から採取した組織切片等、公知の方法により作製された任意の組織標本における生体物質を撮影した画像である。生体物質の具体例としては、細胞核、細胞膜、等の生体物質が挙げられる。生体物質は染色されていても染色されていなくてもよく、染色を行う場合、染色に用いる試薬や染色方法は、公知の任意のものを用いてよい。

例えば、ヘマトキシリン染色試薬（Ｈ染色試薬）、ヘマトキシリン−エオジン染色試薬（ＨＥ染色試薬）を用いて染色された組織標本を、顕微鏡画像取得装置１Ａにおいて明視野で拡大結像および撮影することにより得られる顕微鏡画像である。ヘマトキシリン（Ｈ）は青紫色の色素であり、細胞核、骨組織、軟骨組織の一部、漿液成分など（好塩基性の組織など）の生体物質を染色する。エオジン（Ｅ）は赤〜ピンク色の色素であり、細胞質、軟部組織の結合組織、赤血球、線維素、内分泌顆粒など（好酸性の組織など）の生体物質を染色する。
また、本実施形態で解析される画像は、生体物質が蛍光物質により染色された組織標本を、蛍光顕微鏡を用いて撮影して取得した得た蛍光画像でもよい。

＜病理診断支援システム１０の動作（画像処理方法を含む。）＞
以下、病理診断支援システム１０において、上記説明した画像を取得して本発明の画像処理方法を用いて画像処理を行う動作について説明する。
ここでは、生体物質として細胞核が撮影された明視野画像から、細胞核を示す画像を抽出する画像処理を行う場合を例にとって説明する。本実施形態の明視野画像は、例えば、以下のようにＨＥ染色を施された乳癌組織の組織切片を撮影して取得される。

まず、操作者は、組織切片をスライドに載置して、ＨＥ染色試薬を用いて染色する。
その後、顕微鏡画像取得装置１Ａを用いて、以下の手順により明視野画像を取得する。
（ａ１）操作者は、スライドを顕微鏡画像取得装置１Ａのスライド固定ステージに設置する。
（ａ２）明視野ユニットに設定し、撮影倍率及びピントの調整を行い、組織切片上の観察対象の領域を視野に納める。
（ａ３）撮像手段で撮影を行って明視野画像の画像データを生成し、画像処理装置２Ａに画像データを送信する。

その後、画像処理装置２Ａにおいて、制御部２１と記憶部２５に記憶されている画像処理プログラムとの協働により、図３に示される画像解析処理が実行される。
通信Ｉ／Ｆ２４により顕微鏡画像取得装置１Ａから画像が入力されると（ステップＳ１：入力工程）、入力された画像(以下、入力画像)における生体物質（ここでは、細胞核）を公知の任意の方法によって初期抽出した画像が作成される（ステップＳ２：初期抽出工程）。
初期抽出工程では、例えば、グレースケール変換された入力画像（図５Ａ）に対して所定の閾値を用いた二値化処理が施されることにより、ＨＥ染色によって濃い青色に染色された部分を抽出した画像が作成される。図５Ａの入力画像から細胞核を抽出すると、実際は、図５Ｂのような画像が得られる。しかし、例えば、染色ムラにより１つの細胞核が複数に分かれて抽出されたり、近接した（又は重なって撮影された）複数の細胞核が１つの領域として抽出されたりするため、ステップＳ２の初期抽出工程で作成される画像は、実際の細胞核の領域を示す画像に対して誤差が大きい。

次いで、初期抽出工程により作成された画像に基づいて、入力画像の特徴量が抽出される（ステップＳ３：特徴量抽出工程）。特徴量は、細胞核に関するものであれば任意であり、例えば、細胞核の円形度、凸包面積比、色の濃さ、色のムラ、大きさ及び細胞核の密集度、を定量的に示す値である。さらに具体的には、例えば以下のものが挙げられるがこれらに限定されない。
円形度は、初期抽出された細胞核の面積をＳ、周囲長をＬとした場合に、式：「４πＳ／Ｌ^２」で算出される。凸包面積比は、初期抽出された細胞核の面積と、初期抽出された細胞核を包含する凸包多角形の面積の比である。細胞核が正確に抽出されている場合、円形度及び／又は凸包面積比は１に近いと考えられる。
色の濃さは、初期抽出された細胞核中の各画素のＲＧＢ値、ＨＳＶ値、輝度値、等の平均値である。色のムラは、初期抽出された細胞核中の各画素のＲＧＢ値、ＨＳＶ値、又は輝度値、等の標準偏差により表される。
大きさは、初期抽出された細胞核中の面積、長径、短径、周囲長、等である。密度は、入力画像全体の面積に対する、初期抽出された細胞核の面積の割合、又は初期抽出された細胞核の数である。

ステップＳ３で抽出される特徴量は上記の例に限定されるものではなく、複数種類の特徴量を抽出してもよい。また、例えばノイズによる誤差を減らすことなどを目的として、初期抽出された細胞核のうち、面積が所定値よりも大きいもののみに関する特徴量を抽出してもよい。

次いで、予め準備された複数の画像パターンに基づいて、ステップＳ３で抽出された特徴量に対応する画像パターンが判定される（ステップＳ４：判定工程）。複数の画像パターンは、特徴量に基づいて分類されている。
図６は、染色状態及び密集度に基づいて分類された１０の画像パターンＡ〜Ｊの例を示す。図６では、各パターンは、色の濃さ及び色のムラに基づいて、染色状態が「色が濃く、ムラが少ない」「色のムラが大きい」「中抜け」「色が薄く、ムラが少ない」の４つに分類され、密度及び面積に基づいて、細胞核の密集度が「高：細胞核の数が多い、及び／又は密集している」、「中：細胞核の数及び／又は密集が中程度である」、「低：細胞核の数が少なく、疎らである」の何れかに分類されている。
各画像パターンに対応付けられている特徴量の数、各項目における分類の基準、分類の段階数、等は任意である。

図６に示されるような各画像パターンには、対応する特徴量が予め任意の方法で設定されている。具体的には、例えば、各画像パターンに該当する入力画像の特徴量が数値化されて、その平均値や分散に基づいて、特徴量の範囲及び基準値が設定される。記憶部２５には、各画像パターンと特徴量の範囲又は基準値を対応づけるテーブルが予め記憶されており、制御部２１は、テーブルを参照して、ステップＳ３で抽出された特徴量に対応する画像パターンを判定する。

ステップＳ４では、例えば、各画像パターンに対応する特徴量の範囲が予め設定されている場合、ステップＳ３で抽出された特徴量を範囲内に含む画像パターンが判定される。

また、例えば、各画像パターンに対応する特徴量の基準値が予め設定されている場合、ステップＳ３で抽出された特徴量と各基準値との間の差を示す特徴量距離が算出され、当該距離が最短となる画像パターンが判定される。

特徴量距離は、例えば、ユークリッド距離又はマハラノビス距離を用いることができる。

次いで、画像パターンに基づいて、画像処理に用いられるパラメータが設定される（ステップＳ５：設定工程）。
各画像パターンには、対応するパラメータが予め設定されている。具体的には、例えば、画像パターンごとに定められた定数、又は画像パターンごとに定められた特徴量の関数がパラメータとして設定される。記憶部２５には、各画像パターンとパラメータを対応づけるテーブルが予め記憶されており、制御部２１は、テーブルを参照してステップＳ４で判定された画像パターンに対応するパラメータを探し、画像処理に用いるパラメータとして設定する。
ステップＳ４において、入力画像の特徴量に対応する何れか１つの画像パターンが判定された場合には、判定された１つの画像パターンに対応づけられたパラメータが設定される。

生体物質を表す画像を抽出する画像処理に用いられるパラメータの具体例には、２値化処理に用いられる閾値、色の平均化フィルタ、エッジ強調フィルタ、分割サイズ、統合サイズ、等がある。
例えば、２値化処理に用いられる閾値の設定により、入力画像の色の濃さに応じた二値化処理が可能となる。また、色の平均化フィルタの設定により、染色ムラが大きい場合であっても入力画像の色ムラが低減可能である。エッジ強調フィルタの設定により、生体物質が薄く染色された場合に生体物質の輪郭が強調して表示される。分割サイズの設定により、生体物質が密集している場合に、個々の生体物質を分割して表示することが可能となる。統合サイズの設定により、染色の中抜けや色ムラにより１つの生体物質が分割して抽出された場合に、生体物質を好ましい統合サイズに統合して表示することが可能となる。

このように、パラメータの設定により、入力画像に応じた画像処理が可能となり、その結果、例えば生体物質を示す画像の抽出精度が高まるという効果がある。なお、各パラメータを用いた画像処理については、続くステップＳ６の工程の説明において、さらに詳細に説明する。
なお、ステップＳ５において設定されるパラメータは上述のものに限定されるものではなく、また、設定されるパラメータの数は任意である。

次いで、ステップＳ５において設定されたパラメータを用いた画像処理が施される（ステップＳ６：処理工程）。以下の（１）〜（４）は画像処理の具体例であるが、画像処理はこれらに限定されない。
（１）フィルタ処理
（１−１）生体物質の染色ムラが多い画像パターン（例えば、図６のＤ、Ｅ、Ｆ等）に対しては、平均化フィルタをかけてぼかすことにより、色のムラが均一化される。これにより、続く二値化処理において、１つの生体物質が複数に分割されて抽出されることを防ぐことができる。
（１−２）生体物質の染色が薄い画像パターン（例えば、図６のＪ）に対しては、強いエッジ強調処理を行うことにより、生体物質の輪郭が明確化される。
（２）二値化処理
（２−１）生体物質の密度が高く、濃く染色されている画像パターン（例えば、図６のＣ）に対しては、特に入力画像のコントラストが低い場合には、比較的薄い（染色された生体物質よりも背景色に近い）色を閾値として用いて二値化処理を行うことにより、隣接した生体物質が分離して抽出される。
（２−２）生体物質が薄く染色されている画像パターン（例えば、図６のＪ）に対しては、比較的濃い（背景色よりも染色された生体物質に近い）色を閾値として用いて二値化処理を行うことにより、隣接した生体物質が分離して抽出される。
（３）分割処理
（３−１）生体物質の密度が高く、濃く染色されている画像パターン（例えば、図６のＣ）は、複数の生体物質が個々に分割されずにまとめて抽出されやすいが、エッジ強調等を行って積極的に分割処理を行うことにより、個々の生体物質が分離して抽出される。
（３−２）生体物質の面積が小さい画像パターン（例えば、図６のＢ）に対しては、小さく設定された分割サイズに基づいて分割処理を行うことにより、複数の生体物質が個々に分離して抽出される。
（４）統合処理
（４−１）生体物質の染色ムラが多い画像パターン（例えば、図６のＤ、Ｅ、Ｆ）に対しては、設定された統合サイズに達するまで統合処理を繰り返すことにより、１つの生体物質が分割して抽出されることを防ぐことができる。
（４−２）生体物質が薄く染色されている画像パターン（例えば、図６のＪ）又は生体物質の輪郭のみが染色されている画像パターン（例えば、図６のＧ、Ｈ、Ｉ）に対しては、生体物質が過剰に分割されて抽出されやすいが、大きく設定された統合サイズの閾値に基づいて統合処理を行うことにより、１つの生体物質が分割して抽出されることを防ぐことができる。

例えば、図４のフローチャートに従って図６のＪのような入力画像から細胞核を示す画像を抽出する画像処理が施される場合、まず、フィルタ処理が実行されてエッジが強調された画像が作成され（上記（１−２）、ステップＳ６１）、比較的濃い色を閾値とした二値化処理によって、濃く染色された領域を抽出した画像が作成され（上記（２−２）、ステップＳ６２）、大きく設定された統合サイズに基づいて、ステップＳ６１で作成された画像の統合処理が行われて（上記（４−２）、ステップＳ６４）、細胞核を示す画像が抽出される。

なお、（１）〜（４）等の画像処理は適宜組み合わせて施される。実行する画像処理の種類（例えば、図４のフローチャートにおいて、分割処理又は統合処理の何れを実行するか）は、ステップＳ４で判定された画像パターンに基づいて決定されることが好ましい。

以上の実施形態によれば、入力画像の特徴量から判定された画像パターンに基づいてパラメータが設定された後、そのパラメータを用いた画像処理が行われるため、入力画像ごとに適切なパラメータを用いた画像処理が効率よく実行される。すなわち、病理画像の自動的な画像処理が安定して高精度に実行されるため、高効率かつ迅速な病理診断が可能となる。

（変形例１：複数の画像パターンに基づくパラメータ設定）
上記実施例の変形例１として、判定工程において何れか１つの画像パターンを判定せずに、複数の画像パターンの組み合わせを判定する例を説明する。
変形例１のステップＳ４（判定工程）では、例えば、各画像パターンに対応する特徴量の基準値が予め設定されている場合、ステップＳ３で抽出された特徴量と各基準値との間の特徴量距離を算出し、当該距離が短い画像パターンが複数個選択される。好ましくは、特徴量距離が最も短いものから順に複数の画像パターンが選択される。選択された複数の画像パターンは、例えば特徴量距離によって重みづけされて、複数の画像パターンの組み合わせが判定される。

次いで、変形例１のステップＳ５（設定工程）では、ステップＳ４の判定結果（複数の画像パターン及び特徴量距離の情報を含む）及び各画像パターンに設定されているパラメータを用いて、画像処理に用いるパラメータが設定される。

図７は、２種類のパラメータＸ及びＹをそれぞれ軸とする２次元座標における、画像パターンＡ〜Ｊにそれぞれ対応づけられたパラメータＡ_ｐ〜Ｊ_ｐの例を示す。
例えば、入力画像の特徴量が画像パターンＤ、Ｅ及びＨの特徴量の基準値の間であり、入力画像と画像パターンＤ、Ｅ及びＨの特徴量距離が短い場合、ステップＳ５（設定工程）では、画像パターンＤ、Ｅ及びＨとの特徴量距離に基づいて、これらの画像パターンに対応するパラメータＤ_ｐ、Ｅ_ｐ、及びＨ_ｐが内挿（補間）されて、画像処理に用いるパラメータが設定される。パラメータは、例えば、パラメータＤ_ｐ及びＥ_ｐの点を通るベクトルと、パラメータＤ_ｐ及びＨ_ｐの点を通るベクトルのそれぞれを特徴量距離で重みづけして定められた座標Ｐ_ｐによって示される（図７参照）。

また、例えば、入力画像と画像パターンＧ、Ｈ及びＪの特徴量距離が短い場合、ステップＳ５（設定工程）では、画像パターンＧ、Ｈ及びＪとの特徴量距離に基づいて、これらの画像パターンに対応するパラメータＧ_ｐ、Ｈ_ｐ及びＪ_ｐが内挿（補間）されて、画像処理に用いるパラメータが設定される。パラメータは、例えば、パラメータＧ_ｐ及びＨ_ｐの点を通るベクトルと、パラメータＧ_ｐ及びＪ_ｐの点を通るベクトルのそれぞれを特徴量距離で重みづけして定められた座標Ｑ_ｐによって示される（図７参照）。
また、入力画像の特徴量が画像パターンの範囲外である場合であっても、例えば、特徴量距離が短いＦ、Ｈ及びＩに対応するパラメータＦ_ｐ、Ｈ_ｐ及びＩ_ｐの外挿により、入力画像のパラメータＲ_ｐが設定される（図７参照）。

なお、図７では２次元座標上のパラメータを例示したが、次元数（すなわち、パラメータの数）は任意である。また、内挿、外挿以外のアルゴリズムを用いてもよい。
また、入力画像と画像パターンの特徴量距離の最短値が所定の値を超える場合にのみ、変形例１の判定工程及び設定工程を実施することとしてもよい。

以上の変形例１により、ステップＳ３で抽出された特徴量と予め準備された画像パターンの特徴量のずれが大きい場合であっても、適切なパラメータを設定して画像処理を行うことができる。

（変形例２：分割工程を備えた画像処理）
上記実施例において、入力画像を図８Ａのように複数の矩形に分割した分割画像を作成する工程（分割工程）を備えてもよい。分割の方法は任意であり、例えば、図８Ａのように分割された画像のうち、所定の特徴量を備えたもののみを分割画像としてもよい。

変形例２の１態様によれば、例えば、実施例のステップＳ１〜Ｓ２の工程の後、ステップＳ３（特徴量抽出工程）において分割画像ごとに特徴量が抽出される。次いで、ステップＳ４（判定工程）では、各分割画像の特徴量を用いて、分割画像ごとに画像パターン（分割画像パターン）が判定され、これらの分割画像パターンに基づいて入力画像全体の画像パターンが判定される。ステップＳ５以降の工程は、上記実施例と同様に行われる。
本態様のステップＳ４では、例えば、図８Ｂのように、各分割画像パターンが図６の画像パターンＡ〜Ｊの何れかに判定された後、最も多くの分割画像パターンとして判定された画像パターンＡが入力画像全体の画像パターンとして判定される。

変形例２の上記態様によれば、例えば入力画像の一部にノイズがあった場合、ノイズを含む少数の分割画像のパターンは、全分割画像のパターンに対して数が少ないため、入力画像全体のパターンを判定する際に外れパターンとして無視されると考えられる。つまり、画像パターンの判定においてノイズの影響が低減されるため、適切な画像処理が可能となる。

変形例２の別の態様によれば、例えば、実施例のステップＳ１〜Ｓ２の工程の後、ステップＳ３（特徴量抽出工程）において分割画像ごとに特徴量が抽出される。次いで、ステップＳ４（判定工程）では、各分割画像の特徴量を用いて、図８Ｂのように分割画像ごとに画像パターンが判定され、ステップＳ５（設定工程）では、各分割画像のパターンに基づいて、画像処理に用いられるパラメータが分割画像ごとに設定される。ステップＳ６の工程においては、分割画像ごとに、上記実施例と同様の画像処理が行われる。

変形例２の上記態様によれば、分割画像ごとに、適した画像処理を行うことができる。そのため、例えば、血管、結合組織、等の複数種類の組織が１つの入力画像に撮影されている場合でも、組織ごとに適した画像処理が可能となる。

（変形例３：機械学習を用いた判定工程）
上記実施例のステップＳ４（判定工程）では、例えば、機械学習を用いて画像パターンが判定されることとしてもよい。機械学習は、例えば、ＳＶＭ、ランダムフォレスト、ディープラーニング等、公知の任意のものを用いることができる。

ランダムフォレストは、機械学習アルゴリズムの一例であり、サンプルデータを用いたアンサンブル学習により作成された複数の決定木（識別性能の低い弱識別器）を用いて、高精度なパターン識別、クラスタリング、等が行われる。
本発明においてランダムフォレストを用いる場合、例えば、入力画像の特徴量と画像パターン（例えば、図６のＡ〜Ｊ）を対応付ける複数の決定木が予め準備される。各決定木は、特徴量が入力されると、該当する画像パターンを出力する。ステップＳ４（判定工程）では、まず、ステップＳ３で抽出された特徴量が各決定木に入力される。次いで、全ての決定木の出力結果の統計に基づいて、各画像パターンに該当する確率（スコア）が算出され、最大スコアとなる画像パターンが判定される。

以上の変形例３のような機械学習を用いた画像パターン判定により、効率よく高精度な画像パターン判定が可能となる。

なお、以上の本実施例及び変形例は本発明の好適な一例であり、これに限定されるものではない。
各変形例は、適宜組み合わせて実行してもよい。例えば、変形例２の分割工程を備えた画像処理における各分割画像の画像パターン判定を、変形例３のように機械学習を用いて行ってもよい。

また、本実施形態では、人体から採取した組織切片を撮影した画像の画像処理を行うことしたが、当該組織には培養組織も含まれるし、当該組織に代えて、当該組織から分離した細胞や培養細胞、血液（例えば、赤血球、白血球、血小板等の細胞）、尿沈渣等を使用することも可能である。

また、本発明で行われる画像処理は、入力された画像から生体物質を示す画像を抽出する画像処理に限られるものではなく、例えば、生体物質の数の計測、生体物質の大きさ（面積、長径、等）の計測、生体物質の位置（例えば、各生体物質の重心等）の抽出、等、任意の画像処理が含まれる。

上記の説明では、本発明にかかる画像処理プログラムのコンピュータ読み取り可能な媒体としてＨＤＤや半導体の不揮発性メモリーなどを使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、ＣＤ-ＲＯＭなどの可搬型記録媒体を適用することも可能である。本発明にかかる画像処理プログラムのデータを、通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も適用される。
その他、病理診断支援システム１０を構成する各装置の細部構成および細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。

以上説明したように本発明の画像処理装置は、生体物質が撮影された画像の画像処理を行う画像処理装置であって、
前記画像を入力する入力手段と、
前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出手段と、
前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出手段により抽出された前記画像の特徴量に対応する画像パターンを判定する判定手段と、
前記判定手段により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定手段と、
前記設定手段により設定された前記パラメータを用いて前記画像の画像処理を行う処理手段と、
を備えることを特徴とする。

本発明の画像処理装置において、前記生体物質は、細胞核又は細胞膜であることが好ましい。

本発明の画像処理装置において、前記生体物質に関する前記特徴量は、生体物質の色の濃さ、生体物質の色のムラ、生体物質の大きさ及び前記画像における生体物質の密度、の少なくとも一つであることが好ましい。

本発明の画像処理装置において、前記画像パターン毎に、対応する前記特徴量の範囲が設定されており、
前記判定手段は、前記画像の特徴量が属する画像パターンを判定することが好ましい。

本発明の画像処理装置において、前記画像パターン毎に、対応する前記特徴量の基準値が設定されており、
前記判定手段は、前記画像の特徴量と前記基準値との間の特徴量距離が最短となる基準値が設定された画像パターンを判定することが好ましい。

本発明の画像処理装置において、前記画像パターン毎に、対応する前記特徴量の基準値が設定されており、
前記画像の特徴量と前記基準値との間の特徴量距離の最短値が所定の値よりも大きい場合に、
前記設定手段は、前記特徴量距離が最短値となる前記画像パターンから前記特徴量距離が短い順に２以上の所定数の前記画像パターンに設定されているパラメータを内挿又は外挿して、画像処理用のパラメータを設定することが好ましい。

本発明の画像処理装置において、前記特徴量距離は、ユークリッド距離又はマハラノビス距離であることが好ましい。

本発明の画像処理装置において、前記画像を分割して分割画像を作成する分割手段を備え、
前記特徴量抽出手段は、前記分割画像の各々から前記特徴量を抽出し、
前記判定手段は、前記分割画像毎に画像パターンを判定し、全ての前記分割画像の画像パターンに基づいて前記画像全体の画像パターンを判定することが好ましい。

本発明の画像処理装置において、前記画像を分割して分割画像を作成する分割手段を備え、
前記特徴量抽出手段は、前記分割画像の各々から前記特徴量を抽出し、
前記判定手段は、前記分割画像毎に画像パターンを判定し、
前記設定手段は、前記分割画像毎に判定された画像パターンに基づいて、前記分割画像毎に画像処理用のパラメータを設定し、
前記処理手段は、前記分割画像毎に設定されたパラメータを用いて、前記分割画像毎に画像処理を行うことが好ましい。

本発明の画像処理装置において、前記判定手段は、機械学習を用いて前記画像パターンを判定することが好ましい。

本発明の画像処理装置において、前記パラメータは、前記画像における前記生体物質の色ムラを低減する平均化フィルタ、輪郭を強調するエッジ強調フィルタ、色の濃さに応じた２値化処理を行う閾値、複数の隣接した生体物質を分割する際に用いられる分割サイズ及び分割して抽出された１つの前記生体物質を統合する統合サイズ、の少なくとも１つを変化させるパラメータであることが好ましい。

本発明の画像処理方法は、生体物質が撮影された画像の画像処理を行う画像処理方法において、
前記画像を入力する入力工程、
前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出工程、
前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出工程により抽出された前記画像の特徴量に対応する画像パターンを判定する判定工程、
前記判定工程により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定工程、
前記設定工程により設定された前記パラメータを用いて前記画像の画像処理を行う処理工程、
を備えることを特徴とする。

本発明のプログラムは、生体物質が撮影された画像の画像処理を行うコンピュータを、
前記画像を入力する入力手段、
前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出手段、
前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出手段により抽出された前記画像の特徴量に対応する画像パターンを判定する判定手段、
前記判定手段により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定手段、
前記設定手段により設定された前記パラメータを用いて前記画像の画像処理を行う処理手段、
として機能させることを特徴とする。

本発明は、生体物質を撮影した画像の画像処理に利用することができる。

１Ａ 顕微鏡画像取得装置
２Ａ 画像処理装置
３Ａ ケーブル
１０ 病理診断支援システム
２１ 制御部（特徴量抽出手段、判定手段、設定手段、処理手段、分割手段）
２２ 操作部
２３ 表示部
２４ 通信Ｉ／Ｆ（入力手段）
２５ 記憶部
２６ バス

Claims (13)

1. 生体物質が撮影された画像の画像処理を行う画像処理装置において、
   前記画像を入力する入力手段と、
   前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出手段と、
   前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出手段により抽出された前記画像の特徴量に対応する画像パターンを判定する判定手段と、
   前記判定手段により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定手段と、
   前記設定手段により設定された前記パラメータを用いて前記画像の画像処理を行う処理手段と、
   を備えることを特徴とする画像処理装置。
2. 前記生体物質は、細胞核又は細胞膜である
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記生体物質に関する前記特徴量は、生体物質の色の濃さ、生体物質の色のムラ、生体物質の大きさ、及び前記画像における生体物質の密度、の少なくとも一つである
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記画像パターン毎に、対応する前記特徴量の範囲が設定されており、
   前記判定手段は、前記画像の特徴量が属する画像パターンを判定する
   ことを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
5. 前記画像パターン毎に、対応する前記特徴量の基準値が設定されており、
   前記判定手段は、前記画像の特徴量と前記基準値との間の特徴量距離が最短となる基準値が設定された画像パターンを判定する
   ことを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
6. 前記画像パターン毎に、対応する前記特徴量の基準値が設定されており、
   前記画像の特徴量と前記基準値との間の特徴量距離の最短値が所定の値よりも大きい場合に、
   前記設定手段は、前記特徴量距離が最短値となる前記画像パターンから前記特徴量距離が短い順に２以上の所定数の前記画像パターンに設定されているパラメータを内挿又は外挿して、画像処理用のパラメータを設定する
   ことを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
7. 前記特徴量距離は、ユークリッド距離又はマハラノビス距離である
   ことを特徴とする請求項５又は６に記載の画像処理装置。
8. 前記画像を分割して分割画像を作成する分割手段を備え、
   前記特徴量抽出手段は、前記分割画像の各々から前記特徴量を抽出し、
   前記判定手段は、前記分割画像毎に画像パターンを判定し、全ての前記分割画像の画像パターンに基づいて前記画像全体の画像パターンを判定する
   ことを特徴とする請求項１〜７の何れか一項に記載の画像処理装置。
9. 前記画像を分割して分割画像を作成する分割手段を備え、
   前記特徴量抽出手段は、前記分割画像の各々から前記特徴量を抽出し、
   前記判定手段は、前記分割画像毎に画像パターンを判定し、
   前記設定手段は、前記分割画像毎に判定された画像パターンに基づいて、前記分割画像毎に画像処理用のパラメータを設定し、
   前記処理手段は、前記分割画像毎に設定されたパラメータを用いて、前記分割画像毎に画像処理を行う
   ことを特徴とする請求項１〜７の何れか一項に記載の画像処理装置。
10. 前記判定手段は、機械学習を用いて前記画像パターンを判定する
    ことを特徴とする請求項１〜９の何れか一項に記載の画像処理装置。
11. 前記パラメータは、前記画像における前記生体物質の色ムラを低減する平均化フィルタ、輪郭を強調するエッジ強調フィルタ、色の濃さに応じた２値化処理を行う閾値、複数の隣接した生体物質を分割する際に用いられる分割サイズ、及び分割して抽出された１つの前記生体物質を統合する統合サイズ、の少なくとも１つを変化させるパラメータである
    ことを特徴とする請求項１〜１０の何れか一項に記載の画像処理装置。
12. 生体物質が撮影された画像の画像処理を行う画像処理方法において、
    前記画像を入力する入力工程、
    前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出工程、
    前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出工程により抽出された前記画像の特徴量に対応する画像パターンを判定する判定工程、
    前記判定工程により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定工程、
    前記設定工程により設定された前記パラメータを用いて前記画像の画像処理を行う処理工程、
    を備えることを特徴とする画像処理方法。
13. 生体物質が撮影された画像の画像処理を行うコンピュータを、
    前記画像を入力する入力手段、
    前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出手段、
    前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出手段により抽出された前記画像の特徴量に対応する画像パターンを判定する判定手段、
    前記判定手段により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定手段、
    前記設定手段により設定された前記パラメータを用いて前記画像の画像処理を行う処理手段、
    として機能させることを特徴とするプログラム。

Images