JP6746310B2 - 画像処理装置、撮像システム、画像処理方法 - Google Patents

Description

本発明はマルチバンド画像から分光画像を生成する技術に関する。

分光画像（Spectral image）とは各画素が被写体の分光情報を保持した画像のことである。分光画像から現像したＲＧＢ画像は、一般的なＲＧＢカメラにより取得したＲＧＢ画像よりも色再現性に優れている。また、分光画像は通常用いられるＲＧＢ画像より多くの情報を持つ。分光画像は、リモートセンシングやデジタルカメラの色設計などの様々な分野に応用されている。

従来、被写体の分光画像を取得する様々な方法が知られている。そのうち、実用的な分光画像取得方法として、統計的手法を用いて、少数のマルチバンド画像より分光画像を推定する方法が考案されている。マルチバンド画像とは、異なる透過波長帯域をもつ複数の光学フィルタで被写体を撮像して得られる画像群のことである。以後、マルチバンド画像における各透過波長帯で撮像した画像を「バンド画像」、マルチバンド画像を撮像することを「マルチバンド撮像」と呼ぶ。

特開２００４−３３６６５７号公報 特開２０１０−１８１８３３号公報 特開２０１０−２６４２７６号公報

被写体によっては、注目部位とその隣接部位のあいだの色の差異が小さいために、注目部位の視認性が低い（つまり目視では注目部位の詳細構造が識別し難い）ことがある。例えば、染色された病理標本において、隣接する複数の組織同士が同じ色素によって濃く染まっていると、その領域の色が潰れ、目視では組織ごとの構造（例えば核の内部構造）を確認しづらい場合がある。

特許文献１では、分光画像の撮像時に使用するフィルタの組み合わせを、分光特性の真値と推定値との誤差が抑制されるように選択する方法を提案している。しかしながら、特許文献１の手法では分光画像の推定精度は高いものの、上述した色潰れは改善できない。

特許文献２では、注目部位に特徴的な波長特性を持つ部分を抽出することで、注目部位の識別性を高める方法を提案している。しかしながら、色潰れが生じる領域では注目部位と隣接部位の特徴的な波長（色）が同じであるため、特許文献２の方法でも、上述した色潰れは改善できない。

特許文献３では、標本の分光画像から寄与率の高い主成分を差し引いた分光画像を利用することで、色の潰れた部位を構成する組織の微小な分光特性の差を検出し、視認性を向上させる手法が提案されている。しかしながら、特許文献３の手法では、分光特性の差の検出は可能であるが、注目部位の色を再現することができない。

本発明は上記課題に鑑み、色潰れを抑制した視認性の高い画像を取得するための技術を提供することを目的とする。

本発明の第１態様は、分光画像を生成する画像処理装置であって、透過中心波長が互いに異なる複数のフィルタを用いて被写体を撮像することにより得られた複数のバンド画像を取得する取得手段と、前記複数のバンド画像から、視認性を向上すべき対象領域が検出された第１のバンド画像を選択する第１の選択手段と、前記複数のバンド画像から、前記対象領域内において前記被写体の構造に由来する情報を前記第１のバンド画像より多く含んでいる第２のバンド画像を選択し、前記複数のフィルタから該第２のバンド画像を取得するためのフィルタを選択する第２の選択手段と、前記複数のバンド画像のうち少なくとも２以上のバンド画像数のバンド画像から前記バンド画像数より多い分光特性の要素数を
有する分光画像データを生成する生成手段と、を有し、前記生成手段は、前記選択されたフィルタを用いて取得したバンド画像を少なくとも用いて、前記被写体、又は、前記被写体と共通する分光特性をもつ他の被写体の分光画像データ、を生成することを特徴とする画像処理装置を提供する。

本発明の第２態様は、透過中心波長が異なる複数のフィルタを用いて被写体のバンド画像を撮像するマルチバンド撮像装置と、前記マルチバンド撮像装置で撮像された前記被写体の複数のバンド画像を取得し、分光画像を生成する本発明の第１態様に係る画像処理装置と、を有する撮像システムを提供する。

本発明の第３態様は、分光画像を生成する画像処理方法であって、透過中心波長が互いに異なる複数のフィルタを用いて被写体を撮像することにより得られた複数のバンド画像を取得するステップと、前記複数のバンド画像から、視認性を向上すべき対象領域が検出された第１のバンド画像を選択するステップと、前記複数のバンド画像から、前記対象領域内に前記被写体の構造に由来する情報を前記第１のバンド画像より多く含んでいる第２のバンド画像を選択するステップと、前記複数のフィルタから前記第２のバンド画像を取得するためのフィルタを選択するステップと、前記複数のバンド画像のうち少なくとも２以上のバンド画像数のバンド画像から前記バンド画像数より多い分光特性の要素数を有する分光画像データを生成するステップと、を有し、前記分光画像データを生成するステップは、前記選択されたフィルタを用いて取得されたバンド画像を少なくとも使用して、前記被写体、又は、前記被写体と共通する分光特性をもつ他の被写体の分光画像データを生成することを特徴とする画像処理方法を提供する。
本発明の第４態様は、画像処理装置であって、透過中心波長が互いに異なる複数のフィルタを用いて被写体を撮像することにより得られた複数のバンド画像を取得する取得手段と、前記複数のバンド画像から、視認性を向上すべき対象領域が検出された第１のバンド画像を選択する第１の選択手段と、前記複数のバンド画像から、前記対象領域内に前記被写体の構造に由来する情報を前記第１のバンド画像より多く含んでいる第２のバンド画像を選択し、該第２のバンド画像を得るためのフィルタを前記複数のフィルタから選択する第２の選択手段と、前記被写体または前記被写体と共通する分光特性をもつ他の被写体を撮像して得た一つもしくは複数のバンド画像に基づいて、前記選択されたフィルタを用いて撮像されたバンド画像の成分が強調された表示用画像を生成する生成手段と、を有することを特徴とする画像処理装置を提供する。
本発明の第５態様は、透過中心波長が互いに異なる複数のフィルタを用いて被写体のバンド画像を撮像するマルチバンド撮像装置と、前記マルチバンド撮像装置で撮像された前記被写体の複数のバンド画像を取得し、表示用画像を生成する、本発明の第４態様に係る画像処理装置と、を有する撮像システムを提供する。
本発明の第６態様は、画像処理方法であって、透過中心波長が互いに異なる複数のフィルタを用いて被写体を撮像することにより得られた複数のバンド画像を取得するステップと、前記複数のバンド画像から、視認性を向上すべき対象領域が検出された第１のバンド画像を選択するステップと、前記複数のバンド画像から、前記対象領域内に前記被写体の構造に由来する情報を前記第１のバンド画像より多く含んでいる第２のバンド画像を選択するステップと、前記第２のバンド画像を得るためのフィルタを前記複数のフィルタから選択するステップと、前記被写体または前記被写体と共通する分光特性をもつ他の被写体を撮像して得た一つもしくは複数のバンド画像に基づいて、前記選択されたフィルタを用いて撮像されたバンド画像の成分が強調された表示用画像を生成するステップと、を含むことを特徴とする画像処理方法を提供する。

本発明によれば、色潰れを抑制した視認性の高い画像を取得することができる。

本発明の実施形態に係る分光画像取得方法を示す図。 色再現画像現像処理と局所コントラスト画像算出処理のフローチャート。 第１実施形態に係るマルチバンド撮像システムの構成図。 第１実施形態に係るＧＵＩの画面表示例。 第１実施形態に係るコンピュータのハードウェアのブロック図。 第１実施形態に係るマルチバンド撮像システムのフローチャート。 第１実施形態に係る前処理のフローチャート。 第２実施形態に係るＧＵＩの画面表示例。 第２実施形態に係るマルチバンド撮像システムのフローチャート。 第２実施形態に係る前処理のフローチャート。 第３実施形態に係るマルチバンド撮像システムのフローチャート。 第３実施形態に係る後処理のフローチャート。 第４実施形態に係るマルチバンド撮像システムのフローチャート。 第４実施形態に係る後処理のフローチャート。

初めに本発明の実施形態に共通する用語である「分光画像」、「バンド画像」、「分光画像推定」、「色再現画像」、「局所コントラスト値」、「局所コントラスト画像」の意味を説明する。

「分光画像」は、分光特性データ（分光放射輝度分布、分光透過率分布、分光反射率分布等を波長毎にサンプリングした値）を画素毎に保持する画像データである。例えば、分光特性データが要素数５０の配列（５０波長でサンプリングした値）で与えられ、画素数が２０００×１０００の場合には、「分光画像」は、２０００×１０００×５０の３次元配列、あるいは、５０枚の画像データ集合として表される。

「バンド画像」は、一種類のカラーフィルタを通して（あるいは、色の付いた照明光により照明して）撮像した単色の画像データである。例えば、中心波長５５０ｎｍ、透過帯域幅２０ｎｍの狭帯域フィルタを通して、モノクロカメラで取得した単色の標本画像は「バンド画像」である。本実施形態では分光画像における分光特性の要素数はバンド画像数（カラーフィルタ数や狭帯域フィルタ数）よりも多い。複数のバンド画像は一般にマルチバンド画像と呼ばれる。分光画像と混同されることがあるが、本実施形態では要素数の違いにより両者は一致しないものとして定義する。

「分光画像推定」は、分光特性の要素数より少ない複数のバンド画像データから分光画像データを取得する方法である。分光画像推定では、統計的手法である主成分分析やウイナー推定を用いてバンド画像の画素値と分光画像の分光特性を対応づける行列を算出する。以後、上記行列を分光推定行列と呼ぶ。主成分分析を用いて分光推定行列を算出する式は特許文献１にその詳細が記されているように、数式１で与えられる。

ここでｒは分光画像の任意の画素点における標本の分光透過率ベクトル、Ｄは分光推定行列、ｖはマルチバンド画像の同一画素点における画素値ベクトルである。Ｂは複数の主成分を縦ベクトルとした行列、Ｔはフィルタの透過率を列ベクトルとした行列、Ｅは光源の分光放射輝度分布ベクトル、Ｓは撮像系の総合分光感度である。

上記主成分分析を用いた方法の代わりに、ウイナー推定により分光推定行列を算出しても良い。

「色再現画像」は、表示装置上で分光画像と同じ測色値を得られるカラー画像のことである。色再現画像の色空間は任意であるが、本実施形態ではＲＧＢ画像を用いる。

色再現画像を分光画像より現像（生成）する処理を図２Ａのフローチャートに従って説明する。図２Ａの処理は、コンピュータあるいは画像処理プロセッサなどで構成される画像処理装置で実行される処理である。

ステップＳ１０１（ＸＹＺ変換）では、画像処理装置が、分光画像の各画素の分光特性をＸＹＺ三刺激値に変換する。変換式は例えば数式２で与えられる。

ここでＸ、Ｙ、ＺはＸＹＺ三刺激値、ｘ、ｙ、ｚはｘｙｚの等色関数ベクトルである（右肩の「’」は転置ベクトルを意味する）。

ステップＳ１０２（ＲＧＢ変換）では、画像処理装置が、ＸＹＺ三刺激値を表示装置のＲＧＢ値に変換する。表示装置の色空間がｓＲＧＢである場合は、変換式は例えば数式３によって与えられる。

Ｌ_０はモニタの輝度（ｃｄ／ｍ^２）である。ＸＹＺ三刺激値と表示装置のＲＧＢ値の変換は、事前にＬＵＴ（ルックアップテーブル）や近似変換式を作成しておくことによっても可能である。

ステップＳ１０３では、画像処理装置が、全画素についてＲＧＢ変換Ｓ１０２を終えたかを判断する。未処理の画素がなくなるまで、ＸＹＺ変換Ｓ１０１及びＲＧＢ変換Ｓ１０２が繰り返し実行される。以上の工程により、分光画像から色再現画像が現像（生成）さ
れる。

「局所コントラスト値」は、バンド画像の各画素の近傍エリア内における局所的なコントラスト値である。「局所コントラスト画像」は、バンド画像データと同一サイズの画像データであり、「局所コントラスト値」を画素値として持つ画像データである。

バンド画像データより局所コントラスト画像データを算出する処理の流れを図２Ｂのフローチャートを用いて説明する。図２Ｂの処理も画像処理装置で実行される処理である。
ステップＳ２０１（初期化）では、画像処理装置が、局所コントラスト画像データを保持するためのメモリ領域として、バンド画像データと同じ画像サイズをもつ２次元配列を確保する。配列の全要素は０で初期化される。

ステップＳ２０２（局所コントラスト値算出）では、画像処理装置が、バンド画像データの各画素の局所コントラスト値を求め、上記画素に該当する配列要素に算出した値を代入する。

例えば、局所コントラスト値を算出する範囲として注目画素（ｊ，ｋ）を中心とした３×３画素の範囲を設定し、一般的なＭｉｃｈｅｌｓｏｎコントラスト式を用いて、局所コントラスト画像データのインデックス（ｊ，ｋ）の配列要素を求める方法を説明する。まず、画像処理装置は、バンド画像データの画素（ｊ−１，ｋ−１）と（ｊ＋１，ｋ＋１）を対角とした３×３画素の範囲内で最大値Ｌｍａｘ、最小値Ｌｍｉｎを求める。Ｍｉｃｈｅｌｓｏｎコントラストの値ｃは数式４によって与えられる。

この数式４により、注目画素（ｊ，ｋ）に対応する局所コントラスト値（局所コントラスト画像データの画素値）が求められる。ここでは注目画素を中心とする３×３画素の局所範囲から局所コントラスト値を算出したが、局所範囲のサイズや形状は、標本種、組織の大きさなどによって適宜に設定すれば良い。

ステップＳ２０３では、画像処理装置が、全画素について局所コントラスト値の算出を終えたかを判断する。未処理の画素がなくなるまで、局所コントラスト値算出Ｓ２０３が繰り返し実行される。

ステップＳ２０４（局所コントラスト画像規格化）では、画像処理装置が、局所コントラスト画像内の最小値が０、最大値が２５５となるように、局所コントラスト画像を規格化する。ただし、０〜２５５のレンジは局所コントラスト画像の各画素を８ｂｉｔで表示することを想定した例である。１６ｂｉｔの場合は、最小値が０、最大値が６５５３５となるように局所コントラスト画像を規格化するとよい。このように画素の量子化ビット数に応じた規格化が為される。
以上の処理が、マルチバンド画像データに含まれる複数のバンド画像データのそれぞれに対し実行され、複数のバンド画像にそれぞれ対応する複数の局所コントラスト画像が得られる。

図１を用いて本発明の実施形態に係る分光画像取得方法について説明する。図１は、標本、バンド画像、局所コントラスト画像、分光画像、及び、色再現画像の例を模式的に示す図である。

例えば、ＨＥ（ヘマトキシリン・エオジン）染色された標本１０では、ヘマトキシリンにより細胞核が青紫色に、エオジンにより細胞質がピンク色に着色される。標本の染色状態によっては核全体が濃い青紫色に染められるため、一般的な光学顕微鏡像では、いわゆる色潰れにより核の内部構造は視認しにくい場合がある。画像１１〜１３は、透過中心波長が異なる複数の狭帯域フィルタを用いて標本１０を撮像することにより取得された、異なる波長域のバンド画像である。バンド画像１１は透過中心波長：４００ｎｍのフィルタで撮像された画像であり、バンド画像１２は透過中心波長：５３０ｎｍのフィルタ、バンド画像１３は透過中心波長：７００ｎｍのフィルタで撮像された画像である。波長域ごとに得られる画像に違いがあることがわかる。

画像１４〜１６は、図２Ｂの処理によってバンド画像１１〜１３からそれぞれ生成された局所コントラスト画像である。局所コントラスト画像の明るさ（局所コントラスト値の大きさ）は、バンド画像に含まれる標本１０の構造に由来する情報（以後「構造情報」と呼ぶ）の多さを表している。つまり、局所コントラスト画像内の明るい領域（局所コントラスト値が大きい領域）は、バンド画像の同じ領域内に構造情報が含まれていることを示す。逆に、局所コントラスト画像内の暗い領域（局所コントラスト値が小さい領域）は、バンド画像の同じ領域内に構造情報がほとんど含まれていないことを示す。例えば、５３０ｎｍの局所コントラスト画像１５では核の輪郭（核と細胞核の境界）で局所コントラスト値が大きく、それ以外の部分（核内部、細胞質）では局所コントラスト値が小さい。したがって、５３０ｎｍのバンド画像１２は、核の輪郭の構造情報は含むが、核の内部構造や細胞質の情報はほとんど含んでいないことがわかる。一方、７００ｎｍの局所コントラスト画像１６では核の輪郭及び核内部の両方で局所コントラスト値が大きくなっている。これから、７００ｎｍのバンド画像１３は、核の輪郭だけでなく、核内部の構造情報も含んでいることがわかる。この例に示すように、標本１０の吸収ピーク波長（つまり染色色素の吸収ピーク波長）とは異なる波長域のバンド画像の方が、標本の構造情報の取得に適していることがある。

そこで本発明の実施形態では、標本１０の分光画像を（分光画像推定によって）生成する際に、少なくとも、色潰れによる視認性が低下している領域（つまり視認性を向上すべき領域）内に構造情報を含んでいるバンド画像１３を使用する。具体的には、分光画像推定時に用いる数式１のベクトルｖの要素の一つとして、バンド画像１３の情報を用いる。これにより、核の内部構造の情報をできるだけ含んだ分光画像１７を得ることができる。その結果、分光画像１７より現像（生成）される色再現画像１８に、バンド画像１３に含まれていた構造情報を効果的に反映させることができ、核内部の色潰れを抑制した視認性の高い色再現画像１８を得ることができる。

なお、本実施形態では、視認性を向上すべき領域の検出や構造情報の有無の評価に「局所コントラスト値」を用いるが、各画素の近傍エリア内の複数の画素における画素値のばらつきを表す指標であればどのような指標を用いてもよい。画素値のばらつきを表す指標としては、他のコントラスト計算手法で求めた値、画素値の分散、エッジ強度などを用いることができる。

＜第１実施形態＞
色潰れによる視認性の低下が生じる色相は、染色種（用いる色素の種類）によって異なり得る。また、標本種（臓器の違いなど）によって発色（標本の染まり方）に違いがでるため、標本種によっても視認性の低下が生じる色相が異なり得る。それゆえ、分光画像の生成に用いるバンド画像の波長域（フィルタ）は、染色種、標本種、又は、その両方に応じて、適切に選択するべきである。

本発明の第１実施形態では、実際の標本の撮像に先立ち、標本と共通する分光特性をもつテストターゲットを用いて適切なフィルタの組み合わせを選択する。その後、選択したフィルタの組み合わせで標本のマルチバンド撮像を行い、得られた複数のバンド画像に基づき分光画像の生成及び色再現画像の生成を行う。これにより、色潰れが改善され、視認性の向上した色再現画像をユーザーに提示できる。なお、同じ染色種・標本種の標本に対しては、同じフィルタの組み合わせを適用することができるので、テストターゲットを用いたフィルタ選択処理は新規の染色種・標本種の標本が与えられたときに１回だけ実施すればよい。

本発明の実施形態に係る画像処理装置を備えたマルチバンド撮像システムについて、図３を用いて説明する。

マルチバンド撮像システムは、表示装置３０１、キーボード３０２、マウス３０３、記憶装置３０５、コンピュータ３０６、画像サーバ３０７、マルチバンド撮像装置３０８、撮像用フィルタ３０９、テストターゲット３１０を有する。記憶装置３０５はコンピュータ３０６に組み込まれている。本実施形態では、コンピュータ３０６が必要なプログラムを実行することによって、各種の画像処理を行う画像処理装置として機能する。ただし、画像処理装置の機能の全部又は一部をＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）に置き換えたり、画像サーバ３０７又はマルチバンド撮像装置３０８に代替させたりしてもよい。あるいは、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの画像処理プロセッサをコンピュータ３０６に組み込んでもよい。

表示装置３０１、キーボード３０２、マウス３０３、画像サーバ３０７、マルチバンド撮像装置３０８とコンピュータ３０６は汎用のＩ／Ｆケーブルで接続される。画像サーバ３０７、コンピュータ３０６はＬＡＮで接続されているが、ネットワークに接続されていてもよい。

表示装置３０１は、例えば液晶、ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）等を用いた表示デバイスである。当該表示装置３０１は、標本のバンド画像、分光画像、色再現画像を表示するために利用される。また、コンピュータ３０６で実行される画像処理プログラムが、表示装置３０１に染色種選択ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示する。ＧＵＩの詳細については後述する。キーボード３０２またはマウス３０３は染色種選択ＧＵＩの指示操作に用いる。

記憶装置３０５は、コンピュータ３０６で実行されるＯＳ及びプログラム、ＯＳ及びプログラムが参照する各種パラメータ、画像データなどが非一時的に記憶されている記憶媒体である。記憶装置３０５には、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの磁気ディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）などの半導体デバイスが用いられる。

記憶装置３０５には、後述する分光推定行列算出に必要な光源の分光放射輝度分布データ、マルチバンド撮像装置３０８の光学特性データ、狭帯域フィルタの分光透過率データ、露光時間などの撮像パラメータなどが記憶されている。また、記憶装置３０５には、マルチバンド撮像装置３０８に内蔵されている全てのテストターゲットの名称とそのテストターゲットの染色色素のピーク波長のデータセット、図２Ａの色再現画像算出処理で使用するｘｙｚ等色関数データが記憶されている。
画像サーバ３０７は、コンピュータ３０６の外部で画像データの保存や各種処理を行うことができるコンピュータである。

マルチバンド撮像装置３０８は、病理標本の拡大像を撮像し、高解像度のデジタル病理画像データの取得・保存をするための装置であり、ＷＳＩ（Ｗｈｏｌｅ Ｓｌｉｄｅ Ｉｍａｇｉｎｇ）装置やデジタル顕微鏡などと呼ばれる。本実施形態のマルチバンド撮像装置３０８は、標本のマルチバンド撮像を行うため、少なくとも可視光の波長帯域（例えば３８０〜７８０ｎｍ）をカバーするようにｍ枚の狭帯域の撮像用フィルタ３０９を内蔵している。フィルタ数ｍは任意であるが、例えば、十数枚から数十枚の撮像用フィルタ３０９を内蔵可能である。

染色種選択ＧＵＩについて図４を用いて説明する。染色種選択ＧＵＩは、テストターゲットとして用いる染色種・標本種をユーザーに指定させるためのＧＵＩである。染色種選択ＧＵＩ４０１は、テストターゲットのリスト４０２と、テストターゲットの選択に用いるラジオボタン４０４と、開始ボタン４０５とを有する。リスト４０２には、各テストターゲットの染色種名と標本種名と染色色素の吸収ピーク波長が表示されている。吸収ピーク波長が複数存在する場合には、複数のピーク波長が表示される。なお、テストターゲットが染色種のみで決まる場合は、標本種名は空欄となる。同様に、テストターゲットが標本種のみで決まる場合は、染色種名は空欄となる。ユーザーがキーボード３０２またはマウス３０３によってポインタ４０３を操作し、用いるテストターゲットのラジオボタン４０４を指定し、開始ボタン４０５を押すと、テストターゲットの選択が完了する。

次にコンピュータ３０６のハードウェア構成を、図５のブロック図を用いて説明する。コンピュータ３０６は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０２、記憶装置３０５、データ入出力Ｉ／Ｆ５０４、及びこれらを互いに接続する内部バス５０３を備える。ＣＰＵ５０１は、必要に応じてＲＡＭ５０２等に適宜アクセスし、各種演算処理を行いながらコンピュータ３０６の各ブロック全体を統括的に制御する。ＲＡＭ５０２は、ＣＰＵ５０１の作業用領域等として用いられ、ＯＳ、実行中の各種プログラムや処理の対象となるバンド画像データやフィルタ透過波長データなどの各種データを一時的に保持する。データ入出力Ｉ／Ｆ５０４には、ＬＡＮ Ｉ／Ｆ５０５を介して画像サーバ３０７が、グラフィ
クスボード５０６を介して表示装置３０１が、外部装置Ｉ／Ｆ５０７を介してマルチバンド撮像装置３０８が接続される。前述した記憶装置３０５に記憶してある各種データは、当該画像サーバ３０７やマルチバンド撮像装置３０８に記憶していても良い。また、操作Ｉ／Ｆ５０８を介してキーボード３０２やマウス３０３が接続される。

表示装置３０１は、外部装置として接続される形態を想定しているが、表示装置と一体化したコンピュータを用いてもよい。例えばノートＰＣがこれに該当する。入力デバイスとしてキーボード３０２やマウス３０３等のポインティングデバイスを想定しているが、タッチパネルを用いることも可能である。その場合、タッチパネルは表示装置３０１と一体となり得る。

以上の構成において、コンピュータ３０６がマルチバンド撮像ソフトウェア（プログラム）を実行し、必要なハードウェア資源を制御することで、本発明の実施形態に係る画像処理装置及び画像処理方法が実現される。

本実施形態の全体の処理の流れを図６のフローチャートに基づいて説明する。図６の処理は、コンピュータ３０６（画像処理装置）によって実行される処理である。
ステップＳ６０１（前処理）では、画像処理装置が、マルチバンド撮像で用いるフィルタの選択と分光推定行列の算出を行う。前処理（Ｓ６０１）の流れの詳細を図７のフローチャートに基づいて説明する。

ステップＳ７０１（テストターゲット選択）では、画像処理装置が、図４の染色種選択ＧＵＩを表示装置３０１に表示し、ユーザーにテストターゲットを指定させる。ユーザーがマウス３０３などを利用して、撮像したい標本と同じ染色種・標本種のテストターゲットを選択すると、その情報が画像処理装置に取り込まれる。本実施形態ではテストターゲットを選択したが、撮像する標本の一部をテストターゲットとして利用しても良い。

ステップＳ７０２（テストターゲット撮像）では、画像処理装置が、記憶装置３０５より各フィルタの露光時間データを読み込み、露光時間データとステップＳ７０１で選択されたテストターゲットの情報をマルチバンド撮像装置３０８へ送信する。マルチバンド撮像装置３０８は、それらの情報に基づき、内蔵されているｍ枚の撮像用フィルタ３０９でテストターゲット３１０のマルチバンド撮像を行う。取得されたマルチバンド画像データ（ｍ枚のバンド画像のデータ）は、画像処理装置に取り込まれる。同じテストターゲット３１０のマルチバンド撮像が実行済みであり、そのマルチバンド画像データが記憶装置３０５又は画像サーバ３０７から取得可能な場合には、ステップＳ７０２の処理をスキップしてもよい。

ステップＳ７０３（参照用分光画像算出）では、画像処理装置が、取得したマルチバンド画像データと、記憶装置３０５より読み込んだ光源の分光放射輝度分布データより、テストターゲットの分光画像データを算出する。狭帯域フィルタで得られた多数のバンド画像データから分光画像データを算出する方法はよく知られている。例えば、透過中心波長ａのフィルタで得られたバンド画像の画素値（輝度値）と、光源の分光放射輝度分布における波長ａの分光放射輝度とから、当該画素の波長ａに対する分光放射輝度が求まる。これを、ｍ枚のバンド画像の同一箇所の画素のそれぞれについて計算することで、ｍ個の波長に対する分光放射輝度が離散的に求まる。そして、ｍ個の波長の間の分光放射輝度を直線補間又は曲線補間により計算することで、１画素の分光放射輝度分布が得られる。この処理を画像内の全ての画素に対して行うことで、分光画像データが得られる。

本実施形態では狭帯域フィルタを用いたため、上記のような方法で分光画像データを取得するが、記憶装置３０５にテストターゲットの主成分や分光推定行列を予め記憶してあれば数式１の分光推定方法で分光画像データを作成しても良い。その場合、マルチバンド撮像装置３０８内の撮像用フィルタ３０９として、狭帯域フィルタだけでなく広帯域フィルタを用いても良い。以後、ステップＳ７０３で算出した分光画像を「参照用分光画像」と呼ぶ。

ステップＳ７０４（参照用色再現画像現像処理）では、画像処理装置が、参照用分光画像から色再現画像を生成する。その処理の流れは図２Ａの色再現画像算出処理と同じである。ＸＹＺ変換（ステップＳ１０１）では、画像処理装置は、記憶装置３０５に記憶してある等色関数を読み込んで使用する。以後、ステップＳ７０４で算出した色再現画像を「参照用色再現画像」と呼ぶ。

ステップＳ７０５（主成分算出）では、画像処理装置が、参照用分光画像の複数の画素点の分光特性をサンプルとして主成分分析を行う。そして、画像処理装置は、求めた主成分のうち寄与率の大きな主成分をｐ（ｍ≧ｐ）種選択する。本実施形態では主成分分析を用いたが、特異値分解などのように分光特性を主成分との線形結合で表せる方法であれば、どのような方法を用いても良い。
ステップＳ７０６（局所コントラスト画像算出）では、画像処理装置が、ステップＳ７０２で取得したバンド画像から局所コントラスト画像を算出する。その処理の流れは図２Ｂの局所コントラスト画像算出処理と同じである。画像処理装置は、ｍ枚のバンド画像の全てについて局所コントラスト画像を生成するまで、ステップＳ７０６の処理を繰り返す（ステップＳ７０７）。

ステップＳ７０８（比較対象バンド画像選択）では、画像処理装置が、ステップＳ７０１で選択されたテストターゲット（染色種・標本種）の吸収ピーク波長を、記憶装置３０５より読み込む。そして、画像処理装置は、吸収ピーク波長に対応するバンド画像を選択する。ここで「吸収ピーク波長に対応するバンド画像」とは、吸収ピーク波長と同じか又は最も近い透過中心波長をもつフィルタで撮像されたバンド画像である。以後、ステップＳ７０８で選択された、吸収ピーク波長に対応するバンド画像を「比較対象バンド画像」と呼び、比較対象バンド画像の局所コントラスト画像を「比較対象局所コントラスト画像」と呼ぶ。本実施形態の比較対象バンド画像が本発明の「第１のバンド画像」に対応する。

本実施形態では、吸収ピーク波長の情報を記憶装置３０５から取得しているが、ユーザーに吸収ピーク波長（もしくは透過中心波長）の値を入力させても良い。または、画像処理装置が、ｍ枚のバンド画像のそれぞれについて画像全体のコントラスト値を求め、コントラスト値が最も高いバンド画像を比較対象バンド画像に選んでもよい。画像全体のコントラスト値は、例えば、局所コントラスト値の画像全体での合計値や平均値であってもよい。あるいは、予め決められた波長のバンド画像を比較対象バンド画像に選択する、ユーザーが比較対象バンド画像を指定するなど、どのような方法で比較対象バンド画像を選択してもよい。

ステップＳ７０９（低コントラスト領域抽出）では、比較対象バンド画像内の「視認性を向上すべき対象領域」を検出する処理が行われる。具体的には、画像処理装置が、比較対象局所コントラスト画像を用い、比較対象局所コントラスト画像内の低コントラスト領域を「視認性を向上すべき対象領域」として検出する。低コントラスト領域とは、局所コントラスト値が閾値以下の領域である。例えば、図１の画像１５が比較対象局所コントラスト画像であるとしたら、低コントラスト領域は、画像１５内の黒画素で示される領域であり、色潰れにより視認性が低下している細胞核の内部領域を含むことがわかる。閾値は低コントラスト領域を抽出するために予め設定された値であり、任意の値に設定できる。閾値は、局所コントラスト画像のｂｉｔ数やテストターゲットの種類ごとに設定しておけばよく、ユーザーがＧＵＩ等を使用して毎回値を設定する構成でもよい。また、比較対象コントラスト画像内にて局所コントラスト値が閾値以上の領域も、低コントラスト領域で囲まれている場合は低コントラスト領域に含んでも良い。

ステップＳ７１０（局所コントラストＲＭＳ算出）では、画像処理装置が、比較対象局所コントラスト画像以外の（ｍ−１）枚の局所コントラスト画像のそれぞれについて、低コントラスト領域に対応する領域内の局所コントラスト値のＲＭＳ値を求める。ＲＭＳ値とは、二乗平均平方根（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ）である。本実施形態ではＲＭＳ値を用いたが、平均値や最大値など、他の統計量でも良い。

ステップＳ７１１（高コントラストフィルタ選択）では、比較対象バンド画像以外のバンド画像群のなかから、視認性を向上すべき対象領域内に構造情報を含んでいるバンド画像を選択する処理が行われる。具体的には、画像処理装置が、比較対象局所コントラスト画像以外の（ｍ−１）枚の局所コントラスト画像の中から、ＲＭＳ値が最も高い局所コントラスト画像を選択する。ＲＭＳ値は、低コントラスト領域に対応する領域内の局所コントラスト値の高さ、言い換えると、バンド画像の同領域内に含まれる構造情報の多さを表している。したがって、ＲＭＳ値が最も高い局所コントラスト画像に対応するバンド画像（以後、「高コントラストバンド画像」と呼ぶ）を用いれば、比較対象バンド画像では失われている低コントラスト領域内の構造情報を再現することができる。画像処理装置は、高コントラストバンド画像の撮像に用いたフィルタ２０９（以後、「高コントラストフィルタ」と呼ぶ）を、標本のマルチバンド撮像で使用するフィルタの一つに選択する。例え
ば図１の例では、核内部のコントラストが現れている画像１６のＲＭＳ値が最も高くなるため、バンド画像１３が高コントラストバンド画像に選ばれ、７００ｎｍのフィルタが高コントラストフィルタに選ばれる。本実施形態の高コントラストバンド画像が本発明の「第２のバンド画像」に対応する。

テストターゲットの吸収ピーク波長が複数存在する場合（吸収ピーク波長の数ｑ＞１の場合）、画像処理装置は、各々の吸収ピーク波長についてステップＳ７０８〜Ｓ７１１の処理を繰り返す（ステップＳ７１２）。なお、ステップＳ７１１において、高コントラストフィルタが既に選択済みのフィルタであった場合には、次にＲＭＳ値が高くなるフィルタを選択すればよい。以上の処理によって、少なくともｑ枚のフィルタが選択される。

ここで、吸収ピーク波長の数ｑ、マルチバンド撮像装置内のフィルタ総数ｍ、標本のマルチバンド撮像で使用するフィルタ数ｎ、分光推定行列算出に用いる因子数ｐの大小関係はｍ≧ｎ≧ｐ＞ｑとなる。マルチバンド撮像には処理時間がかかるため、使用するフィルタの数ｎはできるだけ少なくすることが望まれる。本実施形態では、マルチバンド撮像装置３０８には十数枚から数十枚のフィルタ２０９を内蔵するが、標本のマルチバンド撮像には５〜１０枚程度のフィルタ２０９だけを使用することを想定している。

ステップＳ７１３（他フィルタ選択）では、画像処理装置が、標本のマルチバンド撮像で使用する残りのフィルタを選択する。ステップＳ７１２でｑ枚のフィルタが選択済みのため、残りは、（ｎ−ｑ）枚である。フィルタの選択方法としては、たとえば特許文献２に記載の方法を用いればよい。具体的には、画像処理装置は、選択済みのｑ枚のフィルタと任意に選んだ（ｎ−ｑ）枚のフィルタとを組み合わせ、ｎ枚のフィルタの組を作る。画像処理装置は、ｎ枚のフィルタに対応するｎ枚のバンド画像を用いて、数式１により分光推定行例及び分光画像を計算し、図２Ａの処理により分光画像から色再現画像を計算する。次に、画像処理装置は、計算した色再現画像と、ステップＳ７０４でｍ枚のバンド画像から生成した参照用色再現画像とを比較し、２つの色再現画像の差を評価する。評価値としては、画像中の一部または全部の画素間の色差の統計値（合計値、平均値、最大値など）を用いればよい。以上の処理をｎ枚のフィルタの組み合わせの候補のそれぞれについて行い、色再現画像の差が最も小さくなるフィルタの組み合わせを、標本のマルチバンド撮像で使用するｎ枚のフィルタとして選択する。

本実施形態では、色再現画像間の色差を評価値に選んだが、ｎ枚のバンド画像から求めた分光画像と参照用分光画像との間の分光残差を評価値に用いても良い。あるいは、色差に閾値を設け、その値以下となるフィルタの組み合わせのうち分光残差が最小になるように選択しても良い。または閾値以下のフィルタの組み合わせのうち、ステップＳ７１０で算出したＲＭＳ値が高いフィルタをより多く含むように組み合わせを選択しても良い。

または計算時間短縮のために、ステップＳ７１１で選択したｑ枚のフィルタ以外の残りのフィルタとして、標本の吸収ピーク波長又は光源のピーク波長と同一あるいは近い透過中心波長をもつフィルタを選択してもよい。あるいは、ステップＳ７０５で得られた標本（またはテストターゲット）の分光分布の主成分に対応する波長と同一あるいは近い透過中心波長をもつフィルタを選択してもよい。ここで「吸収ピーク波長と近い」とは、吸収ピーク波長での分光特性と実質的に等しい分光特性が得られる範囲を意味する。フィルタの帯域にはある程度の幅があるため、吸収ピーク波長を中心とする所定範囲（例えば±３０ｎｍ）内にフィルタの透過中心波長があれば、実質的に等しい分光特性が得られるものと期待できる。「光源のピーク波長と近い」、「主成分に対応する波長と近い」についても同様である。上記所定範囲内に含まれるフィルタのうち、吸収ピーク波長等に最も近いものから順に１つないし複数のフィルタを選択してもよいし、上記所定範囲内に含まれるフィルタの中で上記色差や分光残差が小さくなるフィルタを選択してもよい。

ステップＳ７１４（分光推定行列算出）では、画像処理装置は、ステップＳ７０５で算出した標本の主成分、選択したｎ枚のフィルタの透過特性、光源の分光放射輝度分布、マルチバンド撮像装置の光学特性を基に、数式１により分光推定行列Ｄを算出する。フィルタの透過特性のデータ、光源の分光放射輝度分布のデータ、マルチバンド撮像装置の光学特性のデータなどは、記憶装置３０５から読み込まれる。
以上の工程により、標本のマルチバンド撮像に用いるｎ枚のフィルタと、分光推定行列Ｄとが決定される。これらの情報は記憶装置３０５に格納される。その後、図６のステップＳ６０２に処理が進む。

ステップＳ６０２（標本撮像処理）では、画像処理装置がマルチバンド撮像装置３０８を制御し、選択したｎ枚のフィルタで標本をマルチバンド撮像する。得られたマルチバンド画像（ｎ枚のバンド画像）のデータは画像処理装置に取り込まれる。
ステップＳ６０３（分光画像算出処理）では、画像処理装置が、取得したマルチバンド画像と、前処理（ステップＳ６０１）で算出した分光推定行列Ｄとから、数式１に従って、標本の分光画像を算出する。本処理では、各フィルタの画素値を定数倍し、任意の波長成分に強弱をつけても良い。例えば、ステップＳ７１１（高コントラストフィルタ選択）で選択したフィルタを使用して得たバンド画像の画素値に１より大きい定数を乗じることで、分光画像における当該バンド画像の寄与度合を高めても良い。
ステップＳ６０４（色再現画像現像処理）では、画像処理装置が、分光画像を表示装置３０１用の色再現画像に変換する。その処理の流れは図２Ａに示した色再現画像現像処理と同じである。ＸＹＺ変換（ステップＳ１０１）では、画像処理装置は、記憶装置３０５に記憶してある等色関数を読み込んで使用する。
ステップＳ６０５（色再現画像表示）では、画像処理装置が、ステップＳ６０４で生成した色再現画像を表示装置３０１に表示する。

以上述べた本実施形態の構成によれば、テストターゲットのマルチバンド画像データを用いて、色潰れにより視認性が低下するおそれのある領域を自動で検出することができる。そして、その領域の視認性を向上するようにマルチバンド撮像用のフィルタが自動で選択され、一般的な光学顕微鏡での観察に比べて、色潰れが少なく、視認性の向上した色再現画像を現像可能な分光画像の取得が可能になる。

なお、ＨＥ染色標本を用いた実験では、エオジンの吸収ピーク波長に対応するバンド画像が比較対象バンド画像に選ばれ、７００ｎｍに透過中心波長をもつフィルタで撮像されたバンド画像で局所コントラストＲＭＳが最大となることを確認している。また、その７００ｎｍのバンド画像を含むｎ枚のバンド画像から分光画像を生成し、その分光画像から色再現画像を生成したところ、目視での構造把握が困難であった核内の視認性が向上したことを確認している。

＜第２実施形態＞
本発明の第２実施形態に係る画像処理装置を備えたマルチバンド撮像システムについて説明する。
第１実施形態では、局所コントラスト画像内で視認性の悪い領域を検出し、同領域の視認性を向上させるフィルタを、同領域から求めた局所コントラストＲＭＳ値より選択し、標本の視認性を向上させた色再現画像をユーザーに提示した。この第１実施形態の手法では、比較対象局所コントラスト画像内で閾値以上の配列要素値である領域（低コントラスト領域以外の領域）は、色の潰れた領域とは判断されない。

第２実施形態では、視認性を向上させる領域をユーザーが指定する事を特徴とする。その結果、ユーザーが指定した領域について視認性の高まった色再現画像を生成可能な分光
画像を取得する事が可能になる。

マルチバンド撮像システムの装置構成は第１実施形態の構成と同じであるが、画像処理プログラムが染色種選択ＧＵＩに加え、領域指定ＧＵＩを表示装置３０１に表示する点が第１実施形態と異なる。

領域指定ＧＵＩについて図８を用いて説明する。領域指定ＧＵＩ８０１は、標本画像８０３が表示される領域８０２と、決定ボタン８０６とを有する。ユーザーはキーボードまたはマウスによってポインタ８０４を操作し、標本画像８０３内の視認性を向上させたい一部の領域８０５をマウスドラッグ等で指定することができる。指定が終われば決定ボタン８０６をクリックすることで領域指定を完了する。この機能が本発明の「領域指定手段」に対応する。

本実施形態の全体の処理の流れを図９のフローチャートに基づいて説明する。図９の処理は、コンピュータ３０６（画像処理装置）によって実行される処理である。
ステップＳ９０１（領域指定前処理）では、画像処理装置が、撮像で用いるフィルタの選択と分光推定行列の算出を行う。領域指定前処理（Ｓ９０１）の処理の流れを図１０のフローチャートに基づいて説明する。
ステップＳ１００１、Ｓ１００２、Ｓ１００３、Ｓ１００４、Ｓ１００５、Ｓ１００６、Ｓ１００７は、図７のステップＳ７０１、Ｓ７０２、Ｓ７０３、Ｓ７０４、Ｓ７０５、Ｓ７０６、Ｓ７０７と同じ処理である。

ステップＳ１００８（参照用色再現画像表示）では、画像処理装置が、図８の領域指定ＧＵＩ８０１を表示装置３０１に表示し、領域８０２に参照用色再現画像を表示する。本実施形態では参照用色再現画像を領域指定ＧＵＩ８０１に表示するが、ステップＳ１００２において複数の広帯域フィルタでも撮像を行った場合、一般的なＲＧＢ画像の取得方法を用いて複数のバンド画像データからＲＧＢ画像を算出し、表示しても良い。

ステップＳ１００９（領域指定）では、画像処理装置が、ユーザーに領域の指定を促す。ユーザーがキーボード３０２またはマウス３０３を用いて、視認性を向上させたい領域を指定すると、その情報が画像処理装置に取り込まれる。以後、本ステップで指定された領域を「指定領域」と呼ぶ。

ステップＳ１０１０は、図７のＳ７０８と同じ処理である。ステップＳ１００９（低コントラスト領域抽出）では、画像処理装置が、比較対象コントラスト画像の指定領域内の局所コントラスト値を、最小値が０、最大値が２５５となるように、再度規格化する。そして、指定領域の内部で且つ局所コントラスト値が閾値以下の領域を低コントラスト領域として抽出する。規格化のレンジは、ステップＳ２０３と同じく局所コントラスト画像のｂｉｔ数に応じて変更してもよい。また、閾値は図７のステップＳ７０９と同じく、低コントラスト領域を抽出するために予め設定された任意の値である。

以降のステップＳ１０１２，Ｓ１０１３、Ｓ１０１４、Ｓ１０１５、Ｓ１０１６は、図７のステップＳ７１０、Ｓ７１１、Ｓ７１２、Ｓ７１３、Ｓ７１４と同じ処理である。以上の工程により、標本のマルチバンド撮像に用いるｎ枚のフィルタと、分光推定行列Ｄとが決定される。これらの情報は記憶装置３０５に格納される。その後、図９のステップＳ９０２に処理が進む。ステップＳ９０２、Ｓ９０３、Ｓ９０４は、図６のステップＳ６０２、Ｓ６０３、Ｓ６０４と同じ処理である。ステップＳ９０５では、画像処理装置が、ステップＳ１００９で指定された領域の視認性を向上させた色再現画像を表示装置３０１に表示する。

以上述べた本実施形態の構成によれば、ユーザーがテストターゲット上で指定した領域の視認性を向上するようにマルチバンド撮像用のフィルタが自動で選択される。そして、一般的な光学顕微鏡での観察に比べて、色潰れが少なく、視認性の向上した色再現画像を現像可能な分光画像の取得が可能になる。

＜第３実施形態＞
本発明の第３実施形態に係る画像処理装置を備えたマルチバンド撮像システムについて説明する。
第１実施形態と第２実施形態では、標本の撮像を行う前にテストターゲットのマルチバンド撮像を行い、視認性の向上するフィルタの組み合わせの選択と対応する分光推定行列を算出していた。これに対し、第３実施形態では、撮像済みの標本のマルチバンド画像から色の潰れた部位の視認性を向上した色再現画像を現像することを目的とする。
本実施形態におけるマルチバンド撮像システムの装置構成は第１実施形態の構成と基本的に同じであるため、説明を割愛する。

本実施形態の処理の流れを図１１のフローチャートに基づいて説明する。図１１の処理は、コンピュータ３０６（画像処理装置）によって実行される処理である。
ステップＳ１１０１（標本撮像）では、画像処理装置がマルチバンド撮像装置３０８を制御し、ｍ枚のフィルタ全てで標本のマルチバンド撮像を行う。本実施形態ではマルチバンド撮像を行うが、標本のマルチバンド画像データを画像サーバ３０７や記憶装置３０５から取得してもよい。

ステップＳ１１０２（後処理）では、画像処理装置が、色の潰れた部位の視認性を向上した色再現画像を現像するためのバンド画像の組み合わせと分光推定行列を算出する。ステップＳ１１０２の処理の流れを図１２のフローチャートに基づいて説明する。

ステップＳ１２０１（参照用標本分光画像算出）では、画像処理装置が、取得した標本のマルチバンド画像から標本全体の分光画像を生成する。またステップＳ１２０２（参照用色再現画像現像処理）では、画像処理装置が、ステップＳ１２０１で生成した分光画像から色再現画像を生成する。ステップＳ１２０１、Ｓ１２０２の処理の流れは図７のステップＳ７０４、Ｓ７０５と同じである。

ステップＳ１２０３〜Ｓ１２１２は、図７のステップＳ７０５〜Ｓ７１４と基本的には同じ処理である。ただし、図７のステップＳ７１１とＳ７１３では標本の撮像に使用するフィルタを選択したのに対し、図１２のステップＳ１２０９とＳ１２１１では分光画像の算出に使用するバンド画像を選択する点のみ、異なる。

以上の工程により、標本の分光画像の算出に用いるバンド画像と、分光推定行列とが決定される。これらの情報は記憶装置３０５に格納される。その後、図１１のステップＳ１１０３に処理が進む。ステップＳ１１０３、Ｓ１１０４、Ｓ１１０５は、図６のステップＳ６０３、Ｓ６０４、Ｓ６０５と同じ処理である。

以上述べた本実施形態の構成によれば、取得済みの標本のマルチバンド画像の中から視認性の向上するバンド画像の組み合わせを自動で選択することが可能になる。したがって、視認性の向上した分光画像を取得するために、新たにマルチバンド画像を撮像する必要がない。また、標本がなくとも、マルチバンド画像データさえあれば、視認性の向上した分光画像を生成することができる。さらに、予め複数のマルチバンド画像を撮像しておくことで、視認性向上の対象に合わせてバンド画像の選択が任意に行える効果もある。第１及び第２実施形態と比較して、色再現画像を得るまでの時間の短縮や利便性の向上が図れるという利点もある。

＜第４実施形態＞
本発明の第４実施形態に係る、視認性の悪い部位の視認性を向上させた画像を作成する画像処理装置について説明する。
第１実施形態から第３実施形態では、対象領域内に構造情報を多く含むバンド画像を取得可能なフィルタ（高コントラストフィルタ）を用いてマルチバンド撮像を行い、複数のバンド画像から対象領域の視認性を向上させた分光画像を生成する。これに対し、第４実施形態では、上記実施形態と同じように選択したフィルタを用いて撮像を行うが、分光画像は生成せずに、バンド画像から対象領域の視認性を向上させた表示用画像（観察用画像）を直接生成する。本実施形態における画像処理装置の構成は第１実施形態の構成と同じである。

本実施形態の処理の流れを図１３のフローチャートに基づいて説明する。図１３の処理はコンピュータ３０６（画像処理装置）によって実行される処理である。ステップＳ１３０１（前処理）では、画像処理装置が、マルチバンド撮像で用いるフィルタの選択を行う。前処理（Ｓ１３０１）の流れの詳細を図１４のフローチャートに基づいて説明する。
ステップＳ１４０１〜Ｓ１４０２は、図７のステップＳ７０１〜Ｓ７０２と、また、ステップＳ１４０３〜Ｓ１４０９は図７のステップＳ７０８〜Ｓ７１２と同一である。
ステップＳ１４１０（撮像用フィルタ選択）では、画像処理装置が、ステップＳ１４０８で選択されたフィルタ以外に撮像に用いるフィルタを必要に応じて選択する。

ステップＳ１３０２（標本撮像処理）では、画像処理装置が、選択した一つまたは複数のフィルタで標本の撮像処理を行う。
ステップＳ１３０３（表示用画像現像処理）では、画像処理装置が、撮像した一つまたは複数のバンド画像から表示装置３０１に表示する表示用画像を現像（生成）する。この際、画像処理装置は、ステップＳ１４０８（高コントラストフィルタ選択）で選択したフィルタを使用して得たバンド画像の成分が強調されるように表示用画像を現像（生成）する。
例えば撮像したバンド画像が一つである場合は、モノクロ画像や疑似カラー画像として表示装置３０１の規格に合わせて表示用画像を現像（生成）しても良い。複数のバンド画像データがある場合は、複数のバンド画像から現像したカラー画像内のうち、ステップＳ１４０８で選択したフィルタで得たバンド画像の成分の輝度や色を強調しても良い。例えば、ステップＳ１４０８で選択したフィルタで得たバンド画像内で画素値が閾値以下の領域を所定の色に置き換えたカラー画像を表示用画像として生成しても良い。
ステップＳ１３０４（表示用画像表示）では、画像処理装置が、ステップＳ６０５（色再現画像表示）と同様にステップＳ１３０３で現像した表示用画像を表示する。

以上述べた本実施形態の構成によれば、テストターゲットのマルチバンド画像を用いて、色潰れにより視認性が低下するおそれのある部位を自動で検出することができる。そしてその領域の視認性が向上する画像データを現像可能なフィルタを自動で選択し、前記部位の視認性の高まった画像を表示することができる。

本実施形態においても、第２実施形態のようにテストターゲットのマルチバンド撮像後に、ユーザーがテストターゲットの画像データを上で視認性を向上させる領域を指定させてもよい。また、第３実施形態のように、取得済みの標本のマルチバンド画像の中から視認性の向上する表示用画像を算出可能なバンド画像の組み合わせを自動で選択させても良い。

１０：標本、１１〜１２：バンド画像、１４〜１６：局所コントラスト画像、１７：分光
画像、１８：色再現画像、３０６：コンピュータ（画像処理装置、３０８：マルチバンド撮像装置

Claims (15)

1. 分光画像を生成する画像処理装置であって、
   透過中心波長が互いに異なる複数のフィルタを用いて被写体を撮像することにより得られた複数のバンド画像を取得する取得手段と、
   前記複数のバンド画像から、視認性を向上すべき対象領域が検出された第１のバンド画像を選択する第１の選択手段と、
   前記複数のバンド画像から、前記対象領域内において前記被写体の構造に由来する情報を前記第１のバンド画像より多く含んでいる第２のバンド画像を選択し、前記複数のフィルタから該第２のバンド画像を取得するためのフィルタを選択する第２の選択手段と、
   前記複数のバンド画像のうち少なくとも２以上のバンド画像数のバンド画像から、前記バンド画像数より多い分光特性の要素数を有する分光画像データを生成する生成手段と、を有し、
   前記生成手段は、前記選択されたフィルタを用いて取得したバンド画像を少なくとも用いて、前記被写体、又は、前記被写体と共通する分光特性をもつ他の被写体の分光画像データ、を生成する
   ことを特徴とする画像処理装置。
2. 各バンド画像の各画素について、当該画素の近傍エリア内の複数の画素における画素値のばらつきを表す指標を算出する算出手段をさらに有し、
   前記第１の選択手段は、前記第１のバンド画像内で前記指標に基づいて前記対象領域を検出する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記被写体の画像を表示装置に表示し、その表示された画像内の一部の領域をユーザーに指定させる領域指定手段をさらに有し、
   前記第１の選択手段は、前記第１のバンド画像の前記一部の領域の内部で且つ前記指標が閾値より小さい領域を前記対象領域として検出する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記第２の選択手段は、前記対象領域内の前記指標の統計値が前記第１のバンド画像よりも大きいバンド画像を前記第２のバンド画像として選択する
   ことを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記第２の選択手段は、前記対象領域内の前記指標の統計値が最も大きいバンド画像を前記第２のバンド画像として選択する
   ことを特徴とする請求項２又は３に記載の画像処理装置。
6. 前記統計値は、ＲＭＳ値、平均値、又は、最大値である
   ことを特徴とする請求項４又は５に記載の画像処理装置。
7. 前記指標は、前記近傍エリアにおける局所的なコントラスト値である
   ことを特徴とする請求項２〜６のうちいずれか１項に記載の画像処理装置。
8. 前記第１の選択手段は、前記被写体の吸収ピーク波長に対応するバンド画像を前記第１のバンド画像として選択する
   ことを特徴とする請求項１〜７のうちいずれか１項に記載の画像処理装置。
9. 前記生成手段は、前記被写体の分光画像、又は、前記被写体と共通する分光特性をもつ他の被写体の分光画像を生成する際に、
   前記第２のバンド画像と同じフィルタを用いて撮像されたバンド画像と、
   前記被写体の吸収ピーク波長、バンド画像の撮像に用いる光源のピーク波長、及び、前記被写体の分光分布の主成分に対応する波長のうちのいずれかを中心とする所定範囲内に透過中心波長を有するフィルタを用いて撮像されたバンド画像と、
   を少なくとも使用する
   ことを特徴とする請求項１〜８のうちいずれか１項に記載の画像処理装置。
10. 前記被写体は病理標本である
    ことを特徴とする請求項１〜９のうちいずれか１項に記載の画像処理装置。
11. 透過中心波長が異なる複数のフィルタを用いて被写体のバンド画像を撮像するマルチバンド撮像装置と、
    前記マルチバンド撮像装置で撮像された前記被写体の複数のバンド画像を取得し、分光画像を生成する、請求項１〜１０のうちいずれか１項に記載の画像処理装置と、
    を有する撮像システム。
12. 分光画像を生成する画像処理方法であって、
    透過中心波長が互いに異なる複数のフィルタを用いて被写体を撮像することにより得られた複数のバンド画像を取得するステップと、
    前記複数のバンド画像から、視認性を向上すべき対象領域が検出された第１のバンド画像を選択するステップと、
    前記複数のバンド画像から、前記対象領域内に前記被写体の構造に由来する情報を前記第１のバンド画像より多く含んでいる第２のバンド画像を選択するステップと、
    前記複数のフィルタから前記第２のバンド画像を取得するためのフィルタを選択するステップと、
    前記複数のバンド画像のうち少なくとも２以上のバンド画像数のバンド画像から、前記バンド画像数より多い分光特性の要素数を有する分光画像データを生成するステップと、を有し、
    前記分光画像データを生成するステップは、前記選択されたフィルタを用いて取得されたバンド画像を少なくとも使用して、前記被写体、又は、前記被写体と共通する分光特性
    をもつ他の被写体の分光画像データを生成する
    ことを特徴とする画像処理方法。
13. 画像処理装置であって、
    透過中心波長が互いに異なる複数のフィルタを用いて被写体を撮像することにより得られた複数のバンド画像を取得する取得手段と、
    前記複数のバンド画像から、視認性を向上すべき対象領域が検出された第１のバンド画像を選択する第１の選択手段と、
    前記複数のバンド画像から、前記対象領域内に前記被写体の構造に由来する情報を前記第１のバンド画像より多く含んでいる第２のバンド画像を選択し、該第２のバンド画像を得るためのフィルタを前記複数のフィルタから選択する第２の選択手段と、
    前記被写体または前記被写体と共通する分光特性をもつ他の被写体を撮像して得た一つもしくは複数のバンド画像に基づいて、前記選択されたフィルタを用いて撮像されたバンド画像の成分が強調された表示用画像を生成する生成手段と、
    を有することを特徴とする画像処理装置。
14. 透過中心波長が互いに異なる複数のフィルタを用いて被写体のバンド画像を撮像するマルチバンド撮像装置と、
    前記マルチバンド撮像装置で撮像された前記被写体の複数のバンド画像を取得し、表示用画像を生成する、請求項１３に記載の画像処理装置と、
    を有する撮像システム。
15. 画像処理方法であって、
    透過中心波長が互いに異なる複数のフィルタを用いて被写体を撮像することにより得られた複数のバンド画像を取得するステップと、
    前記複数のバンド画像から、視認性を向上すべき対象領域が検出された第１のバンド画像を選択するステップと、
    前記複数のバンド画像から、前記対象領域内に前記被写体の構造に由来する情報を前記第１のバンド画像より多く含んでいる第２のバンド画像を選択するステップと、
    前記第２のバンド画像を得るためのフィルタを前記複数のフィルタから選択するステップと、
    前記被写体または前記被写体と共通する分光特性をもつ他の被写体を撮像して得た一つもしくは複数のバンド画像に基づいて、前記選択されたフィルタを用いて撮像されたバンド画像の成分が強調された表示用画像を生成するステップと、
    を含むことを特徴とする画像処理方法。

Images