JP6305175B2 - 画像処理装置、画像処理方法、画像処理システム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、画像処理システムに関する。

スライド（プレパラートとも呼ぶ）上の染色された生体試料をデジタル顕微鏡で撮像することでバーチャル・スライド画像データを取得し、これをモニターに表示して観察することが可能なバーチャル・スライドシステムが注目されている（特許文献１）。
また、厚みのある生体試料を撮像する場合に、デジタル顕微鏡を用いて光軸方向の焦点位置を変えながら、試料内の異なる深さにピントを合わせた複数のレイヤー画像データを取得する技術が知られている（特許文献２）。複数のレイヤー画像データで構成される３次元画像データはＺスタック画像データと呼ばれる。
また、複数のレイヤー画像データから焦点の合っている合焦点領域を抽出し、これら合焦点領域を合成して全ての領域で焦点の合っている２次元深度合成画像データを生成する技術が知られている（特許文献３）。
また、光学系の合焦位置付近の前後２枚の画像を利用して位相分布像を再生する技術が知られている（特許文献４）。

特開２０１１−１１８１０７号公報 特開２０１０−１９１０００号公報 特開２０００−１６２５０４号公報 特開２００８−１０２２９４号公報

生体試料は細胞核や細胞質、細胞膜など複数種類の構成要素を含んでおり、構成要素の種類ごとに光の屈折率が異なる。そのため、特許文献２で示された技術で取得した複数のレイヤー画像データには、位相コントラストの影響を受けた２種類のレイヤー画像データが混在することになる。位相コントラスト（ｐｈａｓｅ ｃｏｎｔｒａｓｔ）とは、物体を光が透過するときに屈折により位相のずれ（ｐｈａｓｅ ｓｈｉｆｔ）が生じ、これが画像のコントラストとなって現れることをいう。２種類のレイヤー画像データとは、ポジティブコントラスト（ダークコントラスト）の影響を受けたレイヤー画像データとネガティブコントラスト（ブライトコントラスト）の影響を受けたレイヤー画像データである。生体試料の立体的構造を把握するために、複数のレイヤー画像データを表示装置に連続的に表示して観察する際に、この位相コントラストに起因するレイヤー画像データの輝度変化がアーチファクトとして認識される可能性がある。

また、特許文献３で示された深度合成画像データ生成技術においても、位相コントラストの異なるレイヤー画像データの影響により、過剰にコントラストが強調された深度合成画像データが生成される可能性がある。

特許文献４で示された位相情報可視化技術により、弱位相近似が適用できる範囲においては、染色されていない無色透明な生体試料の位相情報を可視化することができる。しかし、特許文献４には、染色された生体試料に対して、位相コントラストを低減した複数のレイヤー画像データを生成する技術は開示されていない。

そこで、本発明は、位相コントラストによるアーチファクトを低減した画像データを生成するための技術を提供することを目的とする。

本発明の第一態様は、標本内の異なる深さに焦点位置を合わせてそれぞれ取得された複数枚のレイヤー画像データのなかから、前記標本内の基準深さを中心として正方向と負方向にそれぞれ同じ距離だけ焦点位置がずれた２枚のレイヤー画像データの組を、少なくとも１組以上、選択する選択手段と、前記選択手段で選択された各組の２枚のレイヤー画像データに対し、２枚のレイヤー画像データのあいだの位相コントラスト成分の差を小さくする補正処理を行う、位相コントラスト補正手段と、を有することを特徴とする画像処理装置である。

本発明の第二態様は、標本内の異なる深さに焦点位置を合わせてそれぞれ取得された複数枚のレイヤー画像データを深度合成することにより深度合成画像データを生成する深度合成手段と、前記複数枚のレイヤー画像データのなかから１枚の代表レイヤー画像データを取得する取得手段と、前記深度合成画像データを位相物体領域とそれ以外の領域に分け、前記位相物体領域内のデータを前記代表レイヤー画像データを用いて補正する位相コントラスト補正手段と、を有することを特徴とする画像処理装置である。

本発明の第三態様は、標本内の異なる深さに焦点位置を合わせてそれぞれ撮影を行うことにより複数枚のレイヤー画像データを取得する撮像装置と、前記撮像装置で取得された前記複数枚のレイヤー画像データを処理する、本発明に係る画像処理装置と、を有する画像処理システムである。

本発明の第四態様は、コンピュータが、標本内の異なる深さに焦点位置を合わせてそれぞれ取得された複数枚のレイヤー画像データのなかから、前記標本内の基準深さを中心として正方向と負方向にそれぞれ同じ距離だけ焦点位置がずれた２枚のレイヤー画像データの組を、少なくとも１組以上、選択するステップと、コンピュータが、前記選択された各組の２枚のレイヤー画像データに対し、２枚のレイヤー画像データのあいだの位相コントラスト成分の差を小さくする補正処理を行うステップと、を有することを特徴とする画像処理方法である。

本発明の第五態様は、コンピュータが、標本内の異なる深さに焦点位置を合わせてそれぞれ取得された複数枚のレイヤー画像データを深度合成することにより深度合成画像データを生成するステップと、コンピュータが、前記複数枚のレイヤー画像データのなかから１枚の代表レイヤー画像データを取得するステップと、コンピュータが、前記深度合成画像データを位相物体領域とそれ以外の領域に分け、前記位相物体領域内のデータを前記代表レイヤー画像データを用いて補正するステップと、を有することを特徴とする画像処理方法である。

本発明の第六態様は、本発明に係る画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラムである。

本発明により、位相コントラストによるアーチファクトを低減した画像データを生成することができる。

画像処理システムの装置構成の全体図。 画像表示アプリケーションの表示例。 画像処理システムにおける撮像装置の機能ブロック図。 画像処理装置のハードウェア構成図。 標本（生体試料）が載置されたスライドを示す模式図。 染色標本（生体試料）を説明する模式図。 焦点位置とＺ軸符号を説明する模式図。 顕微鏡の光学系の基本構造を説明する模式図。 染色標本の振幅変化と位相変化を説明する模式図。 瞳面での回折像を説明する模式図。 染色標本のコントラスト変化を説明する模式図。 位相コントラストの空間周波数依存性、Ｚ位置依存性を説明する模式図。 深度合成における過剰コントラスト強調を説明する模式図。 第１実施形態の２次元深度合成画像データ生成処理のフローチャート。 第１実施形態の位相コントラスト低減処理のフローチャート。 第１実施形態の位相コントラスト低減処理の効果を説明する模式図。 第１実施形態の位相コントラスト反転処理のフローチャート。 第１実施形態の位相コントラスト反転処理の効果を説明する模式図。 第１実施形態の位相コントラスト反転処理の効果を説明する模式図。 第１実施形態の位相コントラスト反転処理の効果を説明する模式図。 第２実施形態の位相コントラスト低減／反転処理のフローチャート。 第３実施形態の２次元深度合成画像データ生成処理のフローチャート。 第３実施形態の位相情報抽出処理のフローチャート。 第４実施形態の２次元深度合成画像データ生成処理のフローチャート。

以下、図面を参照しながら本発明の実施の形態を説明する。

＜第１実施形態＞
（画像処理システムの装置構成）
本発明の実施形態に係る画像処理装置は、撮像装置と表示装置を備えた画像処理システムにおいて用いることができる。この画像処理システムの構成を、図１を用いて説明する。画像処理システムは、撮像装置（デジタル顕微鏡装置、またはバーチャル・スライド・スキャナ）１０１、画像処理装置１０２、表示装置１０３、データサーバ１０４を有し、撮像対象となる標本の２次元画像を取得し表示する機能を有するシステムである。撮像装置１０１と画像処理装置１０２との間は、専用もしくは汎用Ｉ／Ｆのケーブル１０５で接続され、画像処理装置１０２と表示装置１０３の間は、汎用のＩ／Ｆのケーブル１０６で接続される。データサーバ１０４と画像処理装置１０２との間は、ネットワーク１０７を介して、汎用Ｉ／ＦのＬＡＮケーブル１０８で接続される。

撮像装置１０１は、複数枚の２次元画像データを取得し、デジタル画像を出力する機能を持つバーチャル・スライド・スキャナである。撮像装置１０１では、標本全体を複数の領域（タイル、ブロックとも呼ぶ）に分け、各々の領域で光軸方向（標本の深さ方向；Ｚ方向）の焦点位置を変えた複数枚の２次元画像データ（レイヤー画像データ）が取得される。２次元画像データの取得にはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の固体撮像素子が用いられる。なお、バーチャル・スライド・スキャナの代わりに、通常の光学顕微鏡の接眼部にデジタルカメラを取り付けたデジタル顕微鏡装置により、撮像装置１０１を構成することもできる。

画像処理装置１０２は、撮像装置１０１から取得した複数枚の原画像データ（レイヤー画像データ）から、表示装置１０３に表示するデータを、ユーザからの要求に応じて生成
する機能等を持つ装置である。画像処理装置１０２は、ＣＰＵ（中央演算処理装置）、ＲＡＭ、記憶装置、操作部、各種Ｉ／Ｆなどのハードウェア資源を備えた、汎用のコンピュータやワークステーションで構成される。記憶装置は、ハードディスクドライブなどの大容量情報記憶装置であり、後述する各処理を実現するためのプログラムやデータ、ＯＳ（オペレーティングシステム）などが格納されている。後述する各機能は、ＣＰＵが記憶装置からＲＡＭに必要なプログラムおよびデータをロードし、当該プログラムを実行することにより実現される。操作部は、キーボードやマウスなどにより構成され、ユーザが各種の指示を入力するために利用される。

表示装置１０３は、画像処理装置１０２が演算処理した結果である観察用画像データを表示するディスプレイであり、液晶ディスプレイ等により構成される。
データサーバ１０４は、画像処理装置１０２が演算処理した結果である観察用画像データが格納されているサーバである。

図１の例では、撮像装置１０１、画像処理装置１０２、表示装置１０３とデータサーバ１０４の４つの装置により画像処理システムが構成されているが、本発明の構成はこの構成に限定されるものではない。例えば、表示装置と一体化した画像処理装置を用いてもよいし、画像処理装置の機能を撮像装置に組み込んでもよい。また撮像装置、画像処理装置、表示装置、データサーバの機能を１つの装置で実現することもできる。また逆に、画像処理装置等の機能を分割して複数の装置によって実現しても良い。

（表示画面）
図２は、予め撮影した染色標本（生体試料）の画像データを、画像表示アプリケーションを通じて、表示装置１０３に表示した場合の一例である。

図２は画像表示アプリケーションの画面レイアウトの基本構成である。表示画面の全体ウィンドウ２０１内に、表示や操作のステータスと各種画像の情報を示す情報エリア２０２、観察対象の標本の全体画像２０３、標本画像データの詳細観察用の表示領域２０５、表示領域２０５の表示倍率２０６、が配置されている。全体画像２０３上に描画された枠線２０４は、詳細観察用の表示領域２０５に拡大表示している領域の位置および大きさを示している。この全体画像２０３と枠線２０４によって、ユーザは標本画像データ全体中のどの部分を観察しているのかを容易に把握できる。

詳細観察用の表示領域２０５に表示される画像データは、入力操作デバイスによる移動指示や拡大・縮小指示に対応して更新される。例えば、移動は画面上でのマウスのドラッグ操作により、拡大縮小はマウスホイールの回転等によって実現できる（例えば、ホイールの前方回転を拡大、後方回転を縮小に割り当てる）。また、焦点位置の異なる画像データへの切り替えは、所定のキー（例えばＣｔｒｌキー）を押しながらのマウスホイールの回転等で実現できる（例えば、ホイールの前方回転を奥行きが深い画像への移動に、後方回転を奥行きが浅い画像への移動に割り当てる）。上記のようなユーザの表示画像データの変更操作に伴い、表示領域２０５、表示倍率２０６、全体画像２０３内の枠線２０４が更新される。このようにして、ユーザは所望する面内位置、奥行き位置、倍率の画像データを観察できる。

詳細観察用の表示領域２０５に深度合成処理などの画像処理を行った画像データを表示させることもできる。例えば、画像表示アプリケーションで表示画像中の領域２０７をマウスで選択した後、マウスの右クリックで表示される機能拡張メニュー２０８から「深度合成処理」（不図示）の項目を選択する。それに対応して深度合成処理後の画像データが領域２０７に表示される。また、深度合成処理前後の画像データを、詳細観察用の表示領域２０５ではなく、新規ウィンドウ（不図示）に表示させることもできる。

（撮像装置の機能構成）
図３は、撮像装置１０１の機能構成を示すブロック図である。撮像装置１０１は、概略、照明ユニット３０１、ステージ３０２、ステージ制御ユニット３０５、結像光学系３０７、撮像ユニット３１０、現像処理ユニット３１９、プレ計測ユニット３２０、メイン制御系３２１、外部装置Ｉ／Ｆ３２２を有する。

照明ユニット３０１は、ステージ３０２上に配置されたスライド３０６に対して均一に光を照射する手段であり、光源、照明光学系、および光源駆動の制御系から構成される。ステージ３０２は、ステージ制御ユニット３０５によって駆動制御され、ＸＹＺの３軸方向への移動が可能である。スライド３０６は、観察対象となる組織の切片をスライドグラス上に貼り付け、封入剤とともにカバーグラスの下に固定した部材である。

ステージ制御ユニット３０５は、駆動制御系３０３とステージ駆動機構３０４を有する。駆動制御系３０３は、メイン制御系３２１の指示を受け、ステージ３０２の駆動制御を行う。ステージ３０２の移動方向、移動量などは、プレ計測ユニット３２０によって計測した標本の位置情報および厚み情報（距離情報）と、必要に応じてユーザからの指示とに基づいて決定される。ステージ駆動機構３０４は、駆動制御系３０３の指示に従い、ステージ３０２を駆動する。

結像光学系３０７は、スライド３０６の標本の光学像を撮像センサ３０８へ結像するためのレンズ群である。

撮像ユニット３１０は、撮像センサ３０８とアナログフロントエンド（ＡＦＥ）３０９を有する。撮像センサ３０８は、２次元の光学像を光電変換によって電気的な物理量へ変える１次元もしくは２次元のイメージセンサであり、例えば、ＣＣＤやＣＭＯＳデバイスが用いられる。１次元センサの場合、走査方向へ電気的にスキャンするとともに、副走査方向へステージ３０２を移動させることで２次元画像が得られる。撮像センサ３０８からは、光の強度に応じた電圧値をもつ電気信号が出力される。カラー画像データが所望される場合は、例えば、Ｂａｙｅｒ配列のカラーフィルタが取り付けられた単板のイメージセンサを用いたり、ＲＧＢの三板式のイメージセンサを用いたりすればよい。撮像ユニット３１０は、ステージ３０２をＸＹ軸方向に駆動させることにより、標本の分割画像データを取得する。

ＡＦＥ３０９は、撮像センサ３０８の動作を制御する回路、及び、撮像センサ３０８から出力されたアナログ信号をデジタル信号へ変換する回路である。ＡＦＥ３０９は、Ｈ／Ｖドライバ、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）、アンプ、ＡＤ変換器およびタイミングジェネレータによって構成される。Ｈ／Ｖドライバは、撮像センサ３０８を駆動するための垂直同期信号および水平同期信号を、センサ駆動に必要な電位に変換する。ＣＤＳは、固定パターンのノイズを除去する相関２重サンプリング回路である。アンプは、ＣＤＳでノイズ除去されたアナログ信号のゲインを調整するアナログアンプである。ＡＤ変換器は、アナログ信号をデジタル信号に変換する。撮像装置最終段での出力が８ビットの場合、後段の処理を考慮して、ＡＤ変換器はアナログ信号を１０ビットから１６ビット程度に量子化されたデジタルデータへ変換し、出力する。変換されたセンサ出力データはＲＡＷデータと呼ばれる。ＲＡＷデータは後段の現像処理ユニット３１９で現像処理される。タイミングジェネレータは、撮像センサ３０８のタイミングおよび後段の現像処理ユニット３１９のタイミングを調整する信号を生成する。撮像センサ３０８としてＣＣＤを用いる場合、上記ＡＦＥ３０９は必須となるが、デジタル出力可能なＣＭＯＳイメージセンサの場合は、上記ＡＦＥ３０９の機能をセンサに内包することになる。

現像処理ユニット３１９は、黒補正部３１１、デモザイキング処理部３１２、ホワイトバランス調整部３１３、画像合成処理部３１４、フィルタ処理部３１６、ガンマ補正部３１７および圧縮処理部３１８を有する。黒補正部３１１は、ＲＡＷデータの各画素の値から、バックグラウンド（遮光時に得られた黒補正データ）を減算する処理を行う。デモザイキング処理部３１２は、Ｂａｙｅｒ配列のＲＡＷデータから、ＲＧＢ各色の画像データを生成する処理を行う。デモザイキング処理部３１２は、ＲＡＷデータにおける周辺画素（同色の画素と他色の画素を含む）の値を補間することによって、注目画素のＲＧＢ各色の値を計算する。また、デモザイキング処理部３１２は、欠陥画素の補正処理（補間処理）も実行する。なお、撮像センサ３０８がカラーフィルタを有しておらず、単色の画像データが得られている場合、デモザイキング処理は不要となり、欠陥画素の補正処理を実行する。三板式の撮像センサ３０８を用いた場合もデモザイキング処理は不要である。ホワイトバランス調整部３１３は、照明ユニット３０１の光の色温度に応じて、ＲＧＢ各色のゲインを調整することによって、望ましい白色を再現する処理を行う。

画像合成処理部３１４は、撮像センサ３０８によって分割して撮像された複数の分割画像データをつなぎ合わせて所望の撮像範囲の大サイズ画像データを生成する処理を行う。一般に、既存のイメージセンサによって１回の撮像で取得できる撮像範囲より標本の存在範囲が広いため、１枚の２次元画像データを複数の分割画像データのつなぎ合わせによって生成する。例えば、０．２５μｍの分解能でスライド３０６上の１０ｍｍ角の範囲を撮像すると仮定した場合、一辺の画素数は１０ｍｍ／０．２５μｍの４万画素となり、トータルの画素数はその自乗である１６億画素となる。１０Ｍ（１０００万）の画素数を持つ撮像センサ３０８を用いて１６億画素の画像データを取得するには、１６億／１０００万の１６０個に領域を分割して撮像を行う必要がある。なお、複数の画像データをつなぎ合わせる方法としては、ステージ３０２の位置情報に基づいて位置合わせをしてつなぐ方法や、複数の分割画像の対応する点または線を対応させてつなぐ方法などがある。つなぎ合わせの際、０次補間、線形補間、高次補間等の補間処理により滑らかにつなげることができる。

フィルタ処理部３１６は、画像に含まれる高周波成分の抑制、ノイズ除去、解像感強調を実現するデジタルフィルタである。ガンマ補正部３１７は、画像に一般的な表示デバイスの階調表現特性の逆特性を付加する処理を実行したり、高輝度部の階調圧縮や暗部処理によって人間の視覚特性に合わせた階調変換を実行したりする。本実施形態では形態観察を目的とした画像取得のため、後段の合成処理や表示処理に適した階調変換が画像データに対して適用される。圧縮処理部３１８は、大容量の２次元画像データの伝送の効率化および保存する際の容量削減が目的で行われる圧縮の符号化処理を実行する。静止画像の圧縮手法として、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＪＰＥＧを改良、進化させたＪＰＥＧ２０００やＪＰＥＧ ＸＲ等の規格化された符号化方式が広く一般に知られている。

プレ計測ユニット３２０は、スライド３０６上の標本の位置情報、所望の焦点位置までの距離情報、および標本厚みに起因する光量調整用のパラメータを算出するための事前計測を行うユニットである。本計測（撮像画像データの取得）の前にプレ計測ユニット３２０によって情報を取得することで、無駄のない撮像を実施することが可能となる。２次元平面の位置情報取得には、撮像センサ３０８より解像力の低い２次元撮像センサが用いられる。プレ計測ユニット３２０は、取得した画像データから標本のＸＹ平面上での位置を把握する。距離情報および厚み情報の取得には、レーザー変位計などの計測器が用いられる。

メイン制御系３２１は、これまで説明してきた各種ユニットの制御を行う機能である。
メイン制御系３２１および現像処理ユニット３１９の制御機能は、ＣＰＵとＲＯＭとＲＡＭを有する制御回路により実現される。すなわち、ＲＯＭ内にプログラムおよびデータが格納されており、ＣＰＵがＲＡＭをワークメモリとして使いプログラムを実行することで、メイン制御系３２１および現像処理ユニット３１９の機能が実現される。ＲＯＭには例えばＥＥＰＲＯＭやフラッシュメモリなどのデバイスが用いられ、ＲＡＭには例えばＤＤＲ３などのＤＲＡＭデバイスが用いられる。なお、現像処理ユニット３１９の機能を専用のハードウェアデバイスとしてＡＳＩＣ化したもので置き換えても良い。

外部装置Ｉ／Ｆ３２２は、現像処理ユニット３１９によって生成された画像データを画像処理装置１０２に送るためのインターフェースである。撮像装置１０１と画像処理装置１０２とは、光通信のケーブルにより接続される。あるいは、ＵＳＢやＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）等の汎用インターフェースが使用される。

（画像処理装置のハードウェア構成）
図４は、画像処理装置１０２のハードウェア構成を示すブロック図である。画像処理を行う装置として、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）が用いられる。ＰＣは、ＣＰＵ４０１、メインメモリ４０２、演算処理ボード４０３、グラフィックスボード４０４、これらを互いに接続する内部バス４０５を備える。またＰＣは、ＬＡＮ Ｉ／Ｆ４０６、記憶装置Ｉ／Ｆ４０７、外部装置Ｉ／Ｆ４０９、操作Ｉ／Ｆ４１０、入出力Ｉ／Ｆ４１３を備える。

ＣＰＵ４０１は、必要に応じてメインメモリ４０２に格納されているプログラムやデータを用いてＰＣの各ブロック全体を統括的に制御する。メインメモリ４０２はＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）により構成される。メインメモリ４０２は、ＣＰＵ４０１の作業用領域等として用いられ、ＯＳ、実行中の各種プログラム、表示用データの生成など処理の対象となる各種データを一時的に保持する。また、メインメモリ４０２は、画像データの格納領域としても用いられる。ＣＰＵ４０１のＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）機能により、メインメモリ４０２とグラフィックスボード４０４の間の画像データの高速転送を実現できる。グラフィックスボード４０４は、表示装置１０３に画像処理結果を出力する。表示装置１０３は、例えば液晶、ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）等を用いた表示デバイスである。当該表示装置１０３は、外部装置として接続される形態を想定しているが、表示装置と一体化したＰＣを想定してもよい。例えばノートＰＣがこれに該当する。演算処理ボード４０３は、画像処理など特定の演算機能が強化されたプロセッサおよびバッファメモリ（不図示）を備えている。以降の説明では各種演算処理、データ処理にはＣＰＵ４０１を、メモリ領域としてメインメモリ４０２を用いるとして説明するが、演算処理ボード内のプロセッサやバッファメモリを用いることも可能であり、本発明の範疇とする。

入出力Ｉ／Ｆ４１３には、ＬＡＮ Ｉ／Ｆ４０６を介してデータサーバ１０４が、記憶装置Ｉ／Ｆ４０７を介して記憶装置４０８が、外部装置Ｉ／Ｆ４０９を介して撮像装置１０１がそれぞれ接続される。また、操作Ｉ／Ｆ４１０を介してキーボード４１１やマウス４１２などの入力デバイスが、入出力Ｉ／Ｆ４１３に接続される。記憶装置４０８は、ＣＰＵ４０１が実行するＯＳ、プログラム、ファームウェアや、各種パラメータなどの情報を固定的に記憶している補助記憶装置である。また、記憶装置４０８は、撮像装置１０１から送られてきた画像データの格納領域としても用いられる。記憶装置４０８には、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気ディスクドライブや、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、Ｆｌａｓｈメモリ等の半導体デバイスが用いられる。入力デバイスとしてキーボード４１１やマウス４１２等のポインティングデバイスを想定しているが、タッチパネルのように表示装置１０３の画面が直接入力デバイスとなる構成を採ることも可能である。その場合、タッチパネルは表示装置１０３と一体となり得る。

（スライド）
図５は、標本（生体試料）５０１が載置されたスライド３０６を示す模式図である。病理標本のスライドでは、スライドグラス５０２上に載置した標本５０１が封入剤（不図示）とその上に載せるカバーグラス５０３によって固定されている。標本５０１の大きさや厚みは検体毎によって異なっている。更にスライドグラス５０２上には標本に関する情報が記録されたラベルエリア５０４が存在する。ラベルエリア５０４への情報の記録は、ペンによる記入でもよいし、バーコードや２次元コードの印刷でもよい。また電気的、磁気的、または光学的な方法により情報を記憶可能な記憶媒体をラベルエリア５０４に設けてもよい。以降の実施形態では、被写体として図５に示す病理標本のスライドを例に説明する。

（染色標本）
図６は、染色標本（生体試料）を説明する模式図である。病理標本では、標本（生体試料）５０１は厚さ４〜５μｍ程度で、２〜３ｉｎｃｈのスライドに収まる程度の大きさである。標本（生体試料）５０１を拡大すると組織に応じた細胞６０１の配列が観察できる。細胞６０１は核６０２と細胞質６０３とで構成される。組織に応じて細胞の配列や大きさ、細胞を構成する核の形・大きさなどは異なる。例えば、肝細胞であれば細胞直径は約２０μｍ、核の大きさは約５〜１５μｍである。生体試料は無色透明であり、そのまま観察したのでは組織構造が分かりにくい。そのため、標本の組織構造を観察しやすくするために、病理標本では染色が行われる。病理組織診では、基本的にはＨＥ（ヘマトキシリン・エオシン）染色が行われるが、診断目的に応じて免疫染色、ＦＩＳＨ（蛍光 ｉｎ ｓｉｔｕ ハイブリダイゼーション）法なども行われる。本実施の形態では、病理組織診で一般的に行われるＨＥ染色を例に説明する。ＨＥ染色では核内のクロマチンを濃青色に、細胞質を淡赤色に染め分ける。

（焦点位置とＺ軸符号）
図７（ａ）〜図７（ｃ）は、焦点位置とＺ軸符号を説明する模式図である。本実施の形態では、Ｚ軸は光源側（照明ユニット３０１側）を正（＋）方向、対物レンズ側（結像光学系３０７側）を負（−）方向とする。また、焦点位置７０１とは、撮像センサ３０８の撮像面と光学的共役な関係にある面の位置とする。

図７（ａ）は、焦点位置７０１に対して標本（生体試料）５０１の厚み中心のＺ位置が−側にある様子を示している。透過率変化が小さく且つ屈折率変化が小さい標本（生体試料）であれば、ネガティブ（ブライト）コントラストを有するネガティブ（ブライト）像が得られる。ネガティブ（ブライト）像とは、屈折率が高い領域が明るく、屈折率が低い領域が暗く結像された像である。図７（ｂ）は、焦点位置７０１に標本（生体試料）５０１の厚み中心のＺ位置がある様子を示している。透過率変化が小さく且つ屈折率変化が小さい標本（生体試料）であれば、像は得られない。図７（ｃ）は、焦点位置７０１に対して標本（生体試料）５０１の厚み中心のＺ位置が＋側にある様子を示している。透過率変化が小さく且つ屈折率変化が小さい標本（生体試料）であれば、ポジティブ（ダーク）コントラストを有するポジティブ（ダーク）像が得られる。ポジティブ（ダーク）像とは、屈折率が高い領域が暗く、屈折率が低い領域が明るく結像された像である。

（顕微鏡の光学系の基本構造）
図８は、顕微鏡の光学系の基本構造を説明する模式図である。顕微鏡の光学系は、照明ユニット３０１、結像光学系３０７、撮像センサ３０８から構成される。照明ユニット３０１はケーラー照明系であり、光源面８０１上の面光源と照明レンズ８０３から成る。光源面８０１に、光源面８０１と光軸８０２の交点を中心とする面光源が設けられる。結像光学系３０７は、対物レンズ８０４、瞳面８０５、結像レンズ８０６を有する。結像光学
系３０７により、標本（生体試料）５０１の像が像面８０７に形成される。光源面８０１、照明レンズ８０３、標本（生体試料）５０１、対物レンズ８０４、瞳面８０５、結像レンズ８０６、像面８０７が距離Ｌの間隔で配置される。距離Ｌは照明レンズ８０３、対物レンズ８０４、結像レンズ８０６の焦点距離である。
以降の説明では、焦点位置７０１での面内座標をｘ、瞳面８０５での面内座標をＸ、像面８０７での面内座標をｘ´と表記する。また、説明の簡単のため１次元（ｘ、Ｘ、又は、ｘ´）の画像で説明するが、２次元（ｘｙ、ＸＹ、又は、ｘ´ｙ´）の画像の場合も同じように考えることができる。

（染色標本の振幅変化と位相変化）
図９（ａ）、図９（ｂ）は、染色標本の振幅変化と位相変化を説明する模式図である。ここで、標本（生体試料）の複素振幅分布ｕ（ｘ）を、

と表現する。Ａ（ｘ）は振幅変化を表す式であり、Ｐ（ｘ）は位相変化を表す式である。ｘは１次元座標上の位置である。ａ、ｂは、それぞれ、振幅変化量、位相変化量を示すパラメータである。μ_１、μ_２は、それぞれ、振幅変化の空間周波数、位相変化の空間周波数である。ｉは虚数単位である。この表式では、病理で対象とする染色標本での振幅変化、位相変化が緩やかであり正弦波で近似できることを仮定している。また、位相変化がπより十分小さいことを仮定している。病理で対象とする染色標本（生体試料）では、振幅・位相ともに急峻な変化はなく、弱位相物体であることが知られているので、これらは妥当な仮定である。これ以降、簡単のため全て、標本の振幅変化、位相変化を、それぞれ、単一空間周波数μ_１、μ_２で説明する。

図９（ａ）は、ＨＥ染色における核６０２の振幅変化と位相変化を説明する模式図であり、上段は図６に対応する細胞の模式図、中段は核６０２の振幅変化を示すグラフ、下段は核６０２の位相変化を示すグラフである。ＨＥ染色では核６０２内のクロマチンは濃青色に染められており、細胞質と比較すると振幅変化量が比較的大きい。図９（ａ）中段は、核６０２内のクロマチン分布を模擬しており、クロマチンが凝集するところの透過率が低いことを示している。図９（ａ）下段はクロマチンの凝集と屈折率が相関しており、クロマチンが凝集するところの屈折率が高いことを示している。これ以降、核６０２の複素振幅分布モデルのパラメータを、それぞれ、振幅変化量ａ＝−０．３２、位相変化量ｂ＝０．３６、μ_１＝０．２０（／μｍ）、μ_２＝０．２０（／μｍ）として説明する。

図９（ｂ）は、ＨＥ染色における細胞質６０３の振幅変化と位相変化を説明する模式図であり、上段は図６に対応する細胞の模式図、中段は細胞質６０３の振幅変化を示すグラフ、下段は細胞質６０３の位相変化を示すグラフである。ＨＥ染色では細胞質６０３は淡赤色に染められており、核と比較すると振幅変化量が小さい。図９（ｂ）中段は、細胞質６０３内の細胞小器官の分布を模擬しており、細胞小器官が凝集するところの透過率が低いことを示している。図９（ｂ）下段は細胞小器官の凝集と屈折率が相関しており、細胞小器官が凝集するところの屈折率が高いことを示している。これ以降、細胞質６０３の複素振幅分布モデルのパラメータを、それぞれ、振幅変化量ａ＝−０．０２、位相変化量ｂ＝０．３６、μ_１＝０．２０（／μｍ）、μ_２＝０．２０（／μｍ）として説明する。

図９（ａ）、図９（ｂ）で説明したＨＥ染色における生体細胞の振幅変化と位相変化を単純化して考えるならば、濃く染まって透過率が小さい領域の屈折率が大きく、染まって
いないか、薄く染まって透過率が高い領域の屈折率が小さい。

（回折像）
図１０（ａ）、図１０（ｂ）は、瞳面８０５での回折像を説明する模式図である。縦軸は複素振幅、横軸は空間周波数である。図１０（ａ）は局所的に核６０２の領域に着目した場合の瞳面８０５での回折像である。顕微鏡では、一般に面光源で部分コヒーレント結像のため広がりを有する回折像となるが、ここでは回折像の中心点のみ図示している。また、光源の波長をλとする。これ以降、簡単のため全て単一波長λで説明する。複素振幅分布ｕ（ｘ）では瞳面８０５に９つの回折像が形成される。回折像の一般的性質を明示するため、μ_１−μ_２＜μ_２＜μ_１＜μ_１＋μ_２、として図示したが、大小関係が入れ替わっても以降の説明に不都合は生じない。例えば、μ_１＝０．２０（／μｍ）、μ_２＝０．２０（／μｍ）の場合には、瞳面８０５の空間周波数が０とμ_１−μ_２の回折像は、空間周波数が０のところに重なって形成されることになる。±１次光、±２次光、±４次光には虚数単位ｉが示されているが、これらの回折像は、０次光、±３次光に対して位相がπ／２ずれていることを示している。

図１０（ａ）から、核６０２の複素振幅分布モデルでは、０次光以外では比較的大きな±２次光、±３次光が得られることがわかる。±２次光は位相変化を反映する回折像であり、±３次光は振幅変化を反映する回折像である。これは、振幅変化と位相変化が同等に結像に寄与することを示唆している。同様に、図１０（ｂ）は局所的に細胞質６０３の領域に着目した場合の瞳面８０５での回折像である。細胞質６０３の複素振幅分布モデルでは、０次光以外では±２次光のみが比較的大きい。これは、位相変化が主に結像に寄与することを示唆している。

顕微鏡では、一般に、コントラストと解像度のバランスの良い部分コヒーレント照明法が用いられるが、照明絞りを操作することでコヒーレント照明、インコヒーレント照明も可能である。照明絞りを絞った状態（コヒーレンスファクターσ≒０）がコヒーレント照明に相当し、照明絞りを開放した状態（コヒーレンスファクターσ≒１）がインコヒーレント照明に相当する。コヒーレンスファクターσとは照明光源が成す開口数と結像光学系が成す開口数との比である。本発明は、照明法にかかわらず、部分コヒーレント照明、コヒーレント照明、インコヒーレント照明のいずれにも適用可能である。

（像面強度分布）
像面８０７では、これらの９つの広がりを有する回折像の干渉による像が形成される。標本（生体試料）の強度分布は、

と表現できる。ｄはデフォーカス量（μｍ）であり、焦点位置と標本の厚み中心のＺ方向（光軸方向）のずれ量を表す。左辺は標本（生体試料）の強度分布を示す。右辺の１番目の項は、空間周波数０の成分の強度分布を示す項である。０次光の絶対値自乗、＋１次光の絶対値自乗、・・・、など９つの項の和であり、これは定数となる。右辺の２番目の項は、空間周波数差の絶対値の等しい２組で、且つ、位相差π／２の２つの回折像の干渉による強度分布を示す項である。０次光と±１次光、±２次光と±３次光、・・・など９つの項の和である。右辺の３番目の項は、空間周波数差の絶対値の等しい２組で、且つ、位相差０の２つの回折像の干渉による強度分布を示す項である。０次光と±３次光、±１次光と±２次光、・・・など７つの項の和である。右辺の４番目の項は、空間周波数の絶対値が等しい２つの回折像の干渉による強度分布を示す項である。＋１次光と−１次光、・
・・など４つの項の和である。

ここで、干渉に関わる２つの回折像を、それぞれ、

と表現する。ただし、図１０（ａ）、図１０（ｂ）と同様に、回折像の広がりは無視し、回折像の中心点のみを考慮した表式である。Ｐ_ｈｓ１、Ｐ_ｈｓ２は、それぞれ、回折像の位相であり、π／２、もしくは、０である。Ａ_ｍｐ１、Ａ_ｍｐ２は、それぞれ、回折像の大きさである。δはディラックのδ関数である。ｆ_１、ｆ_２は、それぞれ、回折像の空間周波数である。図１０（ａ）、図１０（ｂ）の＋１次光を例にすると、Ｐ_ｈｓ１＝π／２（ｅｘｐ（ｉ・Ｐ_ｈｓ１）＝ｉ）、Ａ_ｍｐ１＝ａｂ／４，ｆ_１＝μ_１−μ_２である。

空間周波数差の絶対値の等しい２組で、且つ、位相差π／２の２つの回折像の干渉による強度分布は、上述の干渉に関わる２つの回折像の表式を利用し、

と表現できる。空間周波数差の絶対値の等しい２組で、且つ、位相差π／２の２つの回折像とは、例えば、＋３次光と＋１次光の組、及び、−３次光と−１次光の組である。ただし、

である。また、Ｊ１は第１種１次ベッセル関数である。σはコヒーレンスファクター、ＮＡは結像光学系の開口数である。Ｓは瞳での広がりを有する回折像のけられを示す関数である。

同様に、空間周波数差の絶対値の等しい２組で、且つ、位相差０の２つの回折像の干渉による強度分布は、

と表現できる。空間周波数差の絶対値の等しい２組で、且つ、位相差０の２つの回折像とは、例えば、＋２次光と＋１次光の組、及び、−２次光と−１次光の組である。

また、空間周波数の絶対値が等しい２つの回折像の干渉による強度分布は、

と表現できる。空間周波数の絶対値が等しい２つの回折像とは、例えば、＋１次光と−１次光である。

空間周波数差の絶対値の等しい２組で、且つ、位相差π／２の２つの回折像の干渉による強度分布はｄに関して奇関数であるため、

と表現し直す。同様に、空間周波数差の絶対値の等しい２組で、且つ、位相差０の２つの回折像の干渉による強度分布、及び、空間周波数の絶対値が等しい２つの回折像の干渉による強度分布はｄに関して偶関数であるため、

と表現し直す。

これまでの結果を用いて標本（生体試料）の強度分布を表現し直すと、

となる。Ｃｏｎｓｔ．は定数を意味する記号である。

（染色標本のコントラスト変化）
図１１（ａ）〜図１１（ｆ）は、染色標本のコントラスト変化を説明する模式図である。
図１１（ａ）、図１１（ｂ）、図１１（ｃ）は、図９（ａ）で説明した核６０２の複素振幅分布モデルでの光強度である。図１１（ａ）、図１１（ｂ）、図１１（ｃ）は、それぞれ、デフォーカス量ｄ＝＋１（μｍ）、ｄ＝０（μｍ）、ｄ＝−１（μｍ）に対応する。核６０２の複素振幅分布モデルでは、ｄ＝０（μｍ）で３者のうち最もコントラストの高い光強度が得られるが、ｄ＝＋１（μｍ）でもｄ＝０（μｍ）とほぼ同等のコントラストが得られる。一方、ｄ＝−１（μｍ）ではコントラストが前者２者と比較すると低くなる。デフォーカス量ｄの絶対値が等しいとして、正のＺ方向へのデフォーカスと負のＺ方向へのデフォーカスを比較すると、正のデフォーカス量のほうがコントラストは高いという傾向を示す。これは、核６０２の複素振幅分布モデルでは、クロマチンの凝集と屈折率が相関しており、クロマチンが凝集する透過率の低い領域の屈折率が高いことに起因する。図１１（ａ）では、図７（ｃ）で説明したポジティブ（ダーク）コントラストの影響の
ため、図１１（ｃ）と比べてコントラストの高い光強度が得られる。すなわち、振幅変化に起因するコントラストと位相変化に起因するコントラストが互いに強め合って、高いコントラストを得ている。また、デフォーカス量ｄの絶対値を大きくすると、上述の傾向を保持したままコントラストは低下する。デフォーカス量ｄを大きくするとコントラストが低下するのは、デフォーカス位置では画像がボケることに対応する。

図１１（ｄ）、図１１（ｅ）、図１１（ｆ）は、図９（ｂ）で説明した細胞質６０３の複素振幅分布モデルでの光強度である。図１１（ｄ）、図１１（ｅ）、図１１（ｆ）は、それぞれ、デフォーカス量ｄ＝＋１（μｍ）、ｄ＝０（μｍ）、ｄ＝−１（μｍ）に対応する。細胞質６０３の複素振幅分布モデルでは、ｄ＝＋１（μｍ）で高いコントラストの光強度が得られ、ｄ＝−１（μｍ）では低いコントラストの光強度となる。ｄ＝０（μｍ）でもコントラストが得られる。デフォーカス量ｄの絶対値が等しいとして、正のＺ方向へのデフォーカスと負のＺ方向へのデフォーカスを比較すると、正のデフォーカス量のほうがコントラストは高いという傾向を示す。これは、細胞質６０３の複素振幅分布モデルでは、細胞小器官の凝集と屈折率が相関しており、細胞小器官が凝集するところの屈折率が高いことに起因する。図１１（ｄ）では、図７（ｃ）で説明したポジティブ（ダーク）コントラストの影響のため、図１１（ｆ）と比べてコントラストの高い光強度が得られる。核６０２の複素振幅分布モデルと同様に、振幅変化に起因するコントラストと位相変化に起因するコントラストが互いに強め合って、高いコントラストを得ている。図７（ａ）と図７（ｃ）では、標本（生体試料）５０１の厚み中心のＺ位置が＋側にあるか、−側にあるかで、コントラストが反転することを説明したが、図１１（ｄ）と図１１（ｆ）ではコントラストは反転していない。これは、空間周波数μ_２として低い空間周波数を想定しているためである。コントラスト変化の空間周波数依存性は図１２で説明する。また、図７（ｂ）では、透過率変化が小さく、屈折率変化が小さい標本（生体試料）であれば、像は得られないことを説明したが、細胞質６０３の複素振幅分布モデルでは屈折率変化が比較的大きいため、ｄ＝０（μｍ）でも像が得られている。

（位相コントラスト）
図１２は、位相コントラストの空間周波数依存性、Ｚ位置依存性を説明する模式図である。縦軸は位相コントラスト、横軸はデフォーカス量ｄ（μｍ）である。位相コントラストとは、位相差π／２の２つの回折像の干渉による強度分布を示す表式に含まれるＳＩＮ関数であり、

と表現できる。細胞質６０３の複素振幅分布モデルを考えると、図１０（ｂ）に示すように０次光、±２次光が支配的である。そのため、

として図示した。

図１２より、デフォーカス量ｄ＝０（μｍ）を境に位相コントラストの符号が正から負に変わることが分かる。これは、デフォーカス量ｄ＝０（μｍ）を境にコントラストが反転することを示す。デフォーカス量ｄ＞０では図７（ｃ）のポジティブ（ダーク）コントラストとなり、デフォーカス量ｄ＜０では図７（ａ）のネガティブ（ブライト）コントラストとなることに対応する。また、空間周波数（ｆ_１ ^２−ｆ_２ ^２）が大きいとき、及び、デフォーカス量ｄが大きいときにコントラスト反転の影響が大きくなることが分かる。図
１１（ｄ）と図１１（ｆ）ではコントラストは反転していないが、これは位相コントラストの影響が少ないためである。空間周波数μ_２が高くなる、もしくは、デフォーカス量ｄが大きくなると、コントラスト反転が発生する。

（深度合成での過剰コントラスト強調）
図１３（ａ）、図１３（ｂ）は、深度合成における過剰コントラスト強調を説明する模式図である。図１３（ａ）は、図９（ｂ）で説明した細胞質６０３の複素振幅分布モデルでの光強度である。図１３（ａ）の上段、中段、下段のグラフは、それぞれ、図１１（ｄ）、図１１（ｅ）、図１１（ｆ）と同じである。ここで、異なる焦点位置で（つまり、標本内の異なる深さに焦点位置を合わせて）取得した複数のレイヤー画像データをもとに、深度合成処理を行うことを考える。深度合成処理は、全領域で合焦した１枚の画像データ（全焦点画像データとも呼ばれる）を得たいときに有効な処理である。例えば、標本内に複数の核がＺ方向に離散的に分布しているときに、深度合成処理によって、全ての核に合焦した画像データを生成することができる。

各レイヤー画像データには、通常、核６０２と細胞質６０３が含まれている。ここでは、細胞質６０３の領域の深度合成処理について説明する。深度合成処理では、例えば、レイヤー画像データのＸＹ面を複数の小領域に分割し、各小領域について最もコントラストの高いＺ位置のレイヤー画像データを選択する。そして、各小領域で選ばれた画像データを貼り合わせる（繋ぎ合わせる）ことで、全領域で合焦した１枚の画像データを生成する。

図１３（ａ）は、デフォーカス量ｄ＝＋１（μｍ）、ｄ＝０（μｍ）、ｄ＝−１（μｍ）の３つのＺ位置のレイヤー画像データを用いた深度合成処理の例を示す。小領域として、領域１、領域２、領域３、領域４、領域５の５つの領域を考える。領域１、領域３、領域５では、コントラストの高いＺ位置としてｄ＝−１（μｍ）が選択される。領域２、領域４では、コントラストの高いＺ位置としてｄ＝＋１（μｍ）が選択される。このようにして領域１〜５で選択したＺ位置のデータを貼り合わせると図１３（ｂ）に示す光強度を示す画像データが生成される。

図１３（ｂ）は、コントラストの高い領域の貼り合わせにより、過剰にコントラストが強調された光強度が生成されたことを示す例である。２次元画像データとしては、核の領域は自然な深度合成画像データが生成される一方で、細胞質の領域は不自然にコントラストが強調された深度合成画像データが生成されることになる。１枚の深度合成画像データにおいてコントラスト強調が領域によって異なる不自然な画像データが生成される可能性がある。

深度合成処理としては、上記のレイヤー画像データのコントラストの高い領域を貼り合わせる手法の他に、フーリエ変換したレイヤー画像データに２次元、もしくは、３次元のフィルタ処理を施すことで焦点深度の深い画像データを生成する手法がある。本発明は、深度合成処理の手法に依らず、適用することができる。

（第１実施形態における深度合成画像データ生成処理）
以下、第１実施形態に係る画像処理装置１０２により実行される２次元深度合成画像データ生成処理とその効果について、図１４から図２０（ｃ）を用いて説明する。

図１４は、第１実施形態における２次元深度合成画像データ生成処理の全体フローを示すフローチャートである。このフローチャートに示す各ステップの処理は、画像処理装置１０２のＣＰＵ４０１が画像処理プログラムを実行することにより実現されるものである。
ステップＳ１４００では、記憶装置４０８又はデータサーバ１０４から標本のＺスタック画像データを取得する。Ｚスタック画像データは、標本内の異なる深さ（Ｚ位置）に焦点位置を合わせてそれぞれ撮影された複数枚のレイヤー画像データを含むデータである。このＺスタック画像データには、標本内のある深さ（基準深さ）を中心として正（＋）方向と負（−）方向にそれぞれ同じ距離だけ焦点位置がずれた２枚のレイヤー画像データの組が１組以上含まれている。以降の説明では、観察すべき物体（核、細胞質）が標本の厚み中心のＺ位置に存在すると仮定し、焦点位置が標本の厚み中心に一致した状態を合焦位置とする。そして、この合焦位置を基準深さ（デフォーカス量ｄ＝０）とし、正方向と負方向にそれぞれ所定のピッチで焦点位置をずらして（デフォーカスして）複数枚のレイヤー画像データが得られているものとする。なお、合焦位置（あるいは標本の厚み中心のＺ位置）については、プレ計測ユニット３２０によって計測された標本の厚み情報や、プレ計測ユニット３２０又は撮像ユニット３１０によるオートフォーカス処理によって決定することができる。

ステップＳ１４０１では、Ｓ１４００で取得した元のＺスタック画像データに対し、位相コントラスト補正処理を行う。位相コントラスト補正処理としては、位相コントラスト低減処理、第１の位相コントラスト反転処理、第２の位相コントラスト反転処理、の３つの処理方法がある。位相コントラスト低減処理の処理フローは図１５で、第１、及び、第２の位相コントラスト反転処理の処理フローは図１７で説明する。なお、ステップＳ１４０１の処理は、元のＺスタック画像データから、位相コントラストの影響が低減ないし除去されたＺスタック画像データを生成する、Ｚスタック画像データの補正処理ないし変換処理ということもできる。

ステップＳ１４０２では、補正後（変換後）のＺスタック画像データを用いて深度合成処理を行う。深度合成処理は、図１３（ａ）で説明した処理と同様である。
以上の処理ステップに従えば、ステップＳ１４０１により位相コントラストの影響が抑えられるため、過剰コントラスト強調を低減する深度合成画像データ生成処理を実行することができる。ステップＳ１４０１の処理の詳細を以下に説明する。

（位相コントラスト低減処理）
図１５は、第１実施形態における位相コントラスト低減処理の処理フローを示すフローチャートである。

ステップＳ１５０１では、合焦位置（ｄ＝０）に対して対称なＺ位置（デフォーカス量ｄ＝±ｄ）の２枚のレイヤー画像データの組を選択する。
ステップＳ１５０２では、ステップＳ１５０１で選択した２枚のレイヤー画像データに対して色空間変換を行う。本実施形態では、ＲＧＢ色空間を有するレイヤー画像データをＨＳＶ色空間に変換する。ＨＳＶ色空間は、色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）から成る色空間である。ＨＳＶ色空間の画像データの各画素の色相成分（Ｈ成分）、彩度成分（Ｓ成分）、明度成分（Ｖ成分）をそれぞれ、色相信号（Ｈ信号）、彩度信号（Ｓ信号）、明度信号（Ｖ信号）と呼ぶ。
ステップＳ１５０３では、Ｓ１５０２で取得したＨＳＶ色空間を有する画像データから明度信号（Ｖ信号）を抽出する。

ステップＳ１５０４では、明度信号（Ｖ信号）に対して位相コントラスト低減処理を行う。デフォーカス量ｄ＝＋ｄ、ｄ＝−ｄにおけるレイヤー画像データの明度信号（Ｖ信号）を、それぞれ、｜ｕ´（ｘ´，ｄ_＋）｜^２、｜ｕ´（ｘ´，ｄ₋）｜^２、とすると、位相コントラスト低減処理は、

と表現できる。すなわち、本実施形態の位相コントラスト低減処理は、デフォーカス量ｄ＝＋ｄ、ｄ＝−ｄにおける２枚のレイヤー画像データの明度信号（Ｖ信号）を、それらのレイヤー画像データの明度信号の平均値で置き換える処理である。これにより２枚のレイヤー画像データのあいだの位相コントラスト成分の差が元よりも小さくなる。

ステップＳ１５０５では、Ｓ１５０２で取得した色相信号（Ｈ信号）、彩度信号（Ｓ信号）と、Ｓ１５０４で取得した補正後の明度信号（Ｖ信号）とから、デフォーカス量ｄ＝±ｄそれぞれのレイヤー画像データ（明度補正レイヤー画像データ）を生成する。そして、ＨＳＶ色空間の明度補正レイヤー画像データをＲＧＢ色空間の明度補正レイヤー画像データに変換する。

元のＺスタック画像データのなかに、基準深さ（合焦位置ｄ＝０）に対するデフォーカス量ｄの絶対値が等しい２枚のレイヤー画像データの組が複数組存在する場合には、ステップＳ１５０１からＳ１５０５の処理を全組に対して実行する。
以上の処理ステップに従えば、位相コントラストを低減した複数のレイヤー画像データを生成することができる。

（位相コントラスト低減処理の第１の効果）
図１６（ａ）、図１６（ｂ）は、図１５に示す位相コントラスト低減処理の効果を説明する模式図である。図１６（ａ）は、核６０２の複素振幅分布モデルでの光強度に対して位相コントラスト低減処理を実行した結果である。ｄ＝±１（μｍ）のデフォーカス量では同じ光強度となることが分かる。図１１（ａ）、図１１（ｃ）と比較すると、図１６（ａ）上段では図１１（ａ）、図１１（ｃ）を平均化したコントラストが得られていることが分かる。図１６（ｂ）は、細胞質６０３の複素振幅分布モデルでの光強度に対して位相コントラスト低減処理を実行した結果である。図１６（ａ）と同様に、ｄ＝±１（μｍ）のデフォーカス量では同じ光強度となることが分かる。図１１（ｄ）、図１１（ｆ）と比較すると、図１６（ｂ）上段では図１１（ｄ）、図１１（ｆ）を平均化したコントラストが得られていることが分かる。位相コントラスト低減処理後には、デフォーカス量ｄ＝±ｄ（μｍ）での光強度は同じとなるため、図１３（ａ）で説明した過剰コントラスト強調を抑制することができる。

ここで、位相コントラスト低減処理での物理的背景について説明する。標本（生体試料）の強度分布を再掲すると、

である。まず、デフォーカス量ｄ＝＋ｄ、ｄ＝−ｄにおけるレイヤー画像データの明度信号（Ｖ信号）の差分画像データ

について考える。差分画像データでは、標本の強度分布の式の右辺の第１項と第３項は消去され、下記式のように第２項の奇関数が２倍された画像データが得られる。

Ｆ_{ｏｄｄ｜ｄ}（ｘ´，ｄ_＋）、Ｆ_{ｏｄｄ｜ｄ}（ｘ´，ｄ₋）は位相コントラスト成分を含む項であり、差分画像により位相コントラスト成分を含む項が抽出できることを意味する。

位相コントラスト低減処理では、レイヤー画像データの明度信号からこれらの位相コントラスト成分を含む項を除去する。ｄ＞０のレイヤー画像データに対する位相コントラスト低減処理は、

となる。同様に、ｄ＜０のレイヤー画像データに対する位相コントラスト低減処理は、

となる。本実施形態の位相コントラスト低減処理とは、標本（生体試料）の強度分布の奇関数の項を消去する処理に相当する。図１０（ａ）、図１０（ｂ）を参照すると、本実施形態の位相コントラスト低減処理は、位相差π／２の２つの回折像の干渉による強度分布を消去する処理に相当するともいえる。

核６０２の複素振幅分布モデルを考えると、図１０（ａ）に示すように０次光、±２次光、±３次光が支配的であるため、これらの５つの回折像について考える。０次光と±２次光、±２次光と±３次光は位相差π／２であるため、核６０２の領域では位相差により生じる光強度成分がある程度低減されることになる。ある程度低減されるというのは、＋２次光と−２次光の回折像の干渉による強度分布は消去されずに残るためである。

細胞質６０３の複素振幅分布モデルを考えると、図１０（ｂ）に示すように０次光、±２次光が支配的であるため、これらの３つの回折像について考える。０次光と±２次光は位相差π／２であるため、細胞質６０３の領域では位相差により生じる光強度成分がある程度低減されることになる。ある程度低減されるというのは、＋２次光と−２次光の回折像の干渉による強度分布は消去されずに残るためである。

以上説明したように、位相コントラスト低減処理の第１の効果として、位相コントラスト成分（位相差により生じる光強度成分）を低減することができ、デフォーカス方向（Ｚ軸正方向、Ｚ軸負方向）に依存するコントラストの非対称性を改善できる。それにより、深度合成処理での過剰コントラスト強調を回避することができる。

（位相コントラスト低減処理の第２の効果）
更に、位相コントラスト低減処理の第２の効果として、明度信号と色信号（色相信号、彩度信号）を別々に処理することで、色に関する物体の３次元的な構造を保存することができる。例えば、デフォーカス量ｄ＝＋ｄ、ｄ＝−ｄにおける像にそれぞれ異なるクロマチンが含まれる場合に、位相コントラスト低減処理後でもそれぞれのクロマチンの色信号は保存される。そのため、深度合成処理により、それぞれのクロマチンに合焦した画像データを生成することができる。

（位相コントラスト反転処理）
図１７は、第１実施形態における位相コントラスト反転処理の処理フローを示すフローチャートである。図１４で説明したのと同様、標本内の基準深さ（厚み中心又は合焦位置）を中心として、正方向と負方向にそれぞれ所定のピッチで焦点位置をずらして撮影された複数枚のレイヤー画像データが得られているものとする。

ステップＳ１７０１からＳ１７０３の処理は、図１５のステップＳ１５０１からＳ１５０３の処理と同じであるため、説明を省略する。
ステップＳ１７０４では、明度信号（Ｖ信号）に対して位相コントラスト反転処理を行う。以下、第１の位相コントラスト反転処理と第２の位相コントラスト反転処理の２種類の処理を説明するが、ステップＳ１７０４ではいずれの処理を行ってもよい。
デフォーカス量ｄ＝＋ｄ、ｄ＝−ｄにおけるレイヤー画像データの明度信号（Ｖ信号）を、それぞれ、｜ｕ´（ｘ´，ｄ_＋）｜^２、｜ｕ´（ｘ´，ｄ₋）｜^２、とする。第１の位相コントラスト反転処理は、デフォーカス量ｄ＝±ｄにおけるレイヤー画像データそれぞれの明度信号（Ｖ信号）を

とする処理である。また、第２の位相コントラスト反転処理は、デフォーカス量ｄ＝±ｄにおけるレイヤー画像データそれぞれの明度信号（Ｖ信号）を

とする処理である。すなわち、本実施形態の位相コントラスト反転処理は、デフォーカス量ｄ＝±ｄの２枚のレイヤー画像データのうちの一方の画像データの明度信号を、他方の画像データの明度信号で置き換える処理である。これにより２枚のレイヤー画像データのあいだの位相コントラスト成分の差が元よりも小さくなる。

ステップＳ１７０５では、Ｓ１７０２で取得した色相信号（Ｈ信号）、彩度信号（Ｓ信号）と、Ｓ１７０４で取得した補正後の明度信号（Ｖ信号）とから、デフォーカス量ｄ＝±ｄそれぞれのレイヤー画像データ（明度補正レイヤー画像データ）を生成する。そして、ＨＳＶ色空間の明度補正レイヤー画像データをＲＧＢ色空間の明度補正レイヤー画像データに変換する。
なお、第１の位相コントラスト反転処理の場合は、デフォーカス量ｄ＝＋ｄのレイヤー画像データは元のままなので、ステップＳ１７０４とＳ１７０５の処理はデフォーカス量ｄ＝−ｄのレイヤー画像データに対してのみ行えばよい。逆に、第２の位相コントラスト反転処理の場合は、ステップＳ１７０４とＳ１７０５の処理はデフォーカス量ｄ＝＋ｄのレイヤー画像データに対してのみ行えばよい。

元のＺスタック画像データのなかに、基準深さ（合焦位置ｄ＝０）に対するデフォーカス量ｄの絶対値が等しい２枚のレイヤー画像データの組が複数組存在する場合には、ステ
ップＳ１７０１からＳ１７０５の処理を全組に対して実行する。
以上の処理ステップに従えば、２枚のレイヤー画像データのうち一方の位相コントラストを反転した複数のレイヤー画像データを生成することができる。

（位相コントラスト反転処理の第１の効果）
図１８（ａ）〜図１８（ｃ）は、図１７に示す位相コントラスト反転処理の効果を説明する模式図である。図１８（ａ）は、細胞質６０３の複素振幅分布モデルでの光強度である。ある程度高い空間周波数領域において位相コントラスト反転処理の効果が顕著に確認できるため、振幅変化の空間周波数μ_１＝０．５０（／μｍ）、位相変化の空間周波数μ_２＝０．５０（／μｍ）として説明する。図１８（ａ）の上段、中段、下段は、それぞれ、デフォーカス量ｄ＝＋１（μｍ）、ｄ＝０（μｍ）、ｄ＝−１（μｍ）に対応する。

細胞質６０３の複素振幅分布モデルでは、ｄ＝＋１（μｍ）とｄ＝−１（μｍ）とでコントラストの反転した光強度が得られる。ｄ＝０（μｍ）ではコントラストがほとんど得られない。これは、図７（ａ）、図７（ｃ）で説明したポジティブ（ダーク）コントラストとネガティブ（ブライト）コントラストの関係と同様である。また、デフォーカス量ｄの絶対値が等しいとして、正のＺ方向へのデフォーカスと負のＺ方向へのデフォーカスを比較すると、正のデフォーカス量のほうがコントラストは高いという傾向は、図１１（ｄ）、図１１（ｆ）と同様である。

図１８（ｂ）は細胞質６０３の複素振幅分布モデルでの光強度に対して第１の位相コントラスト反転処理を実行した結果である。図１８（ｂ）の上段は、デフォーカス量ｄ＝＋１（μｍ）とｄ＝−１（μｍ）に対応し、中段はｄ＝０（μｍ）に対応する。ｄ＝±１（μｍ）のデフォーカス量での光強度は、図１８（ａ）のｄ＝＋１（μｍ）のデフォーカス量での光強度と同じになり、２枚のレイヤー画像データのコントラストが揃っていることが分かる。

図１８（ｃ）は細胞質６０３の複素振幅分布モデルでの光強度に対して第２の位相コントラスト反転処理を実行した結果である。図１８（ｃ）の上段は、デフォーカス量ｄ＝＋１（μｍ）とｄ＝−１（μｍ）に対応し、中段はｄ＝０（μｍ）に対応する。ｄ＝±１（μｍ）のデフォーカス量での光強度は、図１８（ａ）のｄ＝−１（μｍ）のデフォーカス量での光強度と同じになり、２枚のレイヤー画像データのコントラストが揃っていることが分かる。

ここで、位相コントラスト反転処理での物理的背景について説明する。デフォーカス量ｄ＝＋ｄ、ｄ＝−ｄにおけるレイヤー画像データの明度信号（Ｖ信号）の差分画像データは、

である。Ｆ_{ｏｄｄ｜ｄ}（ｘ´，ｄ_＋）、Ｆ_{ｏｄｄ｜ｄ}（ｘ´，ｄ₋）は位相コントラスト成分を含む項であり、差分画像データにより位相コントラスト成分を含む項が抽出できることを意味する。位相コントラスト反転処理では、レイヤー画像データの明度信号の位相コントラスト成分を含む項の符号を一致させる。ｄ＜０のレイヤー画像データに対する第１の位相コントラスト反転処理は、

となる。第１の位相コントラスト反転処理とは、標本（生体試料）の強度分布の奇関数のｄに関する対称性を消去する処理である。すなわち、Ｚ軸負方向のレイヤー画像データの明度信号の位相コントラストを、Ｚ軸正方向のレイヤー画像データの明度信号の位相コントラストに合わせる処理である。

同様に、ｄ＞０のレイヤー画像データに対する第２の位相コントラスト反転処理は、

となる。第２の位相コントラスト反転処理とは、標本（生体試料）の強度分布の奇関数のｄに関する対称性を消去する処理である。すなわち、Ｚ軸正方向のレイヤー画像データの明度信号の位相コントラストを、Ｚ軸負方向のレイヤー画像データの明度信号の位相コントラストに合わせる処理である。

以上説明したように、位相コントラスト反転処理の第１の効果として、位相コントラスト成分（位相差により生じる光強度成分）に起因するコントラスト反転を解消することができる。その結果、デフォーカス方向（Ｚ軸正方向、Ｚ軸負方向）に依存するコントラストの非対称性を改善できる。

（位相コントラスト反転処理の第２の効果）
図１９（ａ）、図１９（ｂ）は、第１実施形態における位相コントラスト反転処理の効果（位相コントラストの高空間周波数成分の保存）を説明する模式図である。図１８（ａ）と同様に、振幅変化の空間周波数μ_１＝０．５０（／μｍ）、位相変化の空間周波数μ_２＝０．５０（／μｍ）として説明する。図１９（ａ）は細胞質６０３の複素振幅分布モデルでの光強度に対して第１の位相コントラスト反転処理を実行した結果であり、図１８（ｂ）と同様である。図１９（ｂ）は細胞質６０３の複素振幅分布モデルでの光強度に対して位相コントラスト低減処理を実行した結果である。図１８（ａ）の上段と下段に示すようにｄ＝＋１（μｍ）とｄ＝−１（μｍ）の位相がずれている場合、位相コントラスト低減処理によって両者の平均を計算すると、光強度が互いに打ち消しあい、図１９（ｂ）上段のようにコントラストが失われてしまう。図１９（ａ）上段と図１９（ｂ）上段を比較すると、位相コントラスト反転処理では位相コントラスト低減処理に比べて位相コントラスト成分が保存されていることが分かる。以上説明したように、位相コントラスト反転処理の第２の効果として、位相コントラスト成分が保存されるため、深度合成処理において位相コントラスト成分を含む画像データを生成することができる。

（位相コントラスト反転処理の第３の効果）
図２０（ａ）〜図２０（ｃ）は、第１実施形態における位相コントラスト反転処理の効果（染色法との親和性）を説明する模式図である。図１８（ａ）、図１９（ａ）と同様に、振幅変化の空間周波数μ_１＝０．５０（／μｍ）、位相変化の空間周波数μ_２＝０．５０（／μｍ）として説明する。図２０（ａ）は細胞質６０３の複素振幅分布モデルでの光強度に対して第１の位相コントラスト反転処理を実行した結果であり、図１８（ｂ）と同様である。図２０（ｂ）は細胞質６０３の振幅変化量を模した振幅物体（振幅のみが変化する物体）の光強度である。図２０（ｃ）は細胞質６０３の位相変化量を模した位相物体
（位相のみが変化する物体）の光強度である。

図２０（ｂ）上段のデフォーカス量ｄ＝±１（μｍ）の光強度と、図２０（ｃ）上段のデフォーカス量ｄ＝＋１（μｍ）の光強度と比較すると、位相が揃っていることが分かる。一方、図２０（ｂ）上段のデフォーカス量ｄ＝±１（μｍ）の光強度と、図２０（ｃ）下段のデフォーカス量ｄ＝−１（μｍ）の光強度と比較すると、位相が反転していることが分かる。これは、細胞質６０３の複素振幅分布モデルではＨＥ染色を想定しており、細胞小器官が凝集するところの屈折率が高いことに起因する。図２０（ｃ）上段のデフォーカス量ｄ＝＋１（μｍ）の光強度では、図７（ｃ）で説明したポジティブ（ダーク）コントラストとなる。図２０（ｃ）下段のデフォーカス量ｄ＝−１（μｍ）の光強度では、図７（ａ）で説明したネガティブ（ブライト）コントラストとなる。Ｚ軸正方向のデフォーカスでは、振幅変化に起因する位相と位相変化に起因する位相が一致するため、振幅変化に起因する光強度と位相変化に起因する光強度の傾向が一致し、直観的に自然な画像データとなる（明るい領域が明るく観察される）。一方、Ｚ軸負方向のデフォーカスでは、振幅変化に起因する位相と位相変化に起因する位相が反転するため、振幅変化に起因する光強度と位相変化に起因する光強度の傾向が一致せず、直観的に不自然な画像データとなる（明るい領域が暗く観察される）。

以上の考察より、ＨＥ染色のように屈折率の高い領域が染まる染色法では、第１の位相コントラスト反転処理が適すると考えられる。また、屈折率の低い領域が染まる染色法では、第２の位相コントラスト反転処理が適すると考えられる。したがって、画像処理装置において位相コントラスト反転処理を行う際に、標本に施された染色法を特定し、染色法に応じて第１の位相コントラスト反転処理と第２の位相コントラスト反転処理のいずれを実行するかを自動選択するとよい。染色法を特定する方法は、例えば、画像データの色分布を解析することで染色法を推定する方法、ユーザにより指定させる方法、画像データのヘッダやメタデータに染色情報を記録する方法、スライドのラベルエリアに記録する方法など、どのような方法でもよい。以上説明したように、位相コントラスト反転処理の第３の効果として、染色法の性質に適した位相コントラスト反転処理を施すことで、明るい領域が明るく観察される直観的に自然な画像データを生成することができる。

（位相コントラスト反転処理の第４の効果）
更に、位相コントラスト反転処理の第４の効果として、明度信号と色信号（色相信号、彩度信号）を別々に処理することで、色に関する物体の３次元的な構造を保存することができる。例えば、デフォーカス量ｄ＝＋ｄ、ｄ＝−ｄにおける像にそれぞれ異なるクロマチンが含まれる場合に、位相コントラスト低減処理後でもそれぞれのクロマチンの色信号は保存される。そのため、深度合成処理により、それぞれのクロマチンに合焦した画像データを生成することができる。

以上の説明では、１次元空間で説明したが、２次元空間（画像データ）にもそのまま適用できる。また、標本（生体試料）の振幅変化、位相変化が単一空間周波数として説明したが、標本（生体試料）が有する振幅変化、位相変化の空間周波数は、複数の単一空間周波数の和（積分）で表現できるため、以上の議論は一般性を失わない。また、単一波長で説明したが、可視光の波長は複数の単一波長の重み付け和（積分）で表現できるため、以上の議論は一般性を失わない。また、標本（生体試料）の位相変化を表す式として、

と表現したが、位相変化が大きい場合には位相変化の展開式の（虚数の）項を増やして、

と表現できる。これにより、図１０（ａ）、図１０（ｂ）に示す回折像が増えるが、位相コントラスト低減処理、位相コントラスト反転処理などに関わる議論は、そのまま適用できる。すなわち、標本（生体試料）の位相変化が大きい場合でも、本発明を適用することができる。

また、物理的背景の説明では、核６０２や細胞質６０３は標本（生体試料）５０１の厚み中心のＺ位置に存在すると仮定した。標本（生体試料）５０１の厚さを考慮し、核６０２や細胞質６０３はＺ軸方向に一様な構造で分布すると考える場合でも、コントラストの低下などの影響はあるものの、位相コントラスト低減処理、位相コントラスト反転処理などに関わる議論を適用できる。本発明では深度合成処理を考えているので、核６０２内のクロマチンが３次元的な構造を有する（デフォーカス量ｄ＝＋ｄ、ｄ＝−ｄにおける像にそれぞれ異なるクロマチンが含まれる）場合により効果的な手法である。その場合には、図１１（ａ）〜図１１（ｃ）や図１６（ａ）で示した核の光強度が、ｄ＝０ではなくｄ＝±ｄでコントラストが最大になると考えれば良い。

（第１実施形態の変形例）
第１実施形態ではレイヤー画像データの明度信号に対して位相コントラスト低減／反転処理を行う手法を説明したが、各カラープレーン（ＲＧＢ画像データであれば、Ｒプレーン、Ｇプレーン、Ｂプレーン）に対して上記処理を行う形態も考えられる。各カラープレーンに対して位相コントラスト低減処理を行う操作は、ｄ＝±ｄの２枚のレイヤー画像データをそれらの平均画像データで置き換える操作に相当する。また、各カラープレーンに対して第１の位相コントラスト反転処理を行う操作は、ｄ＝−ｄのレイヤー画像データをｄ＝＋ｄのレイヤー画像データで置き換える操作に相当する。また、各カラープレーンに対して第２の位相コントラスト反転処理を行う操作は、ｄ＝＋ｄのレイヤー画像データをｄ＝−ｄのレイヤー画像データで置き換える操作に相当する。いずれの処理でも、補正後の２枚のレイヤー画像データは同じ画像データになる。

＜第２実施形態＞
第１実施形態ではレイヤー画像データのＸＹ領域全体に対して処理を行う手法を説明したが、第２実施形態ではレイヤー画像データのＸＹ領域を核の領域と細胞質の領域に分けて処理する手法について説明する。
図９（ａ）〜図９（ｂ）、図１０（ａ）〜図１０（ｂ）、図１１（ａ）〜図１１（ｆ）で説明したように、核の領域と細胞質の領域はそれぞれ異なる結像をし、Ｚ軸方向に対する光強度の性質も異なる。具体的には、核の領域では透過光の振幅変化が大きいため、位相コントラストの影響は目立たないのに対し、細胞質の領域は透過率が高いため、振幅変化が小さく、位相コントラストの影響が大きく現れる。つまり、位相コントラストの影響はレイヤー画像データの全域で問題となるわけではなく、位相物体に近い特性をもつ細胞質の領域において顕著となる（位相物体と同じか近い特性をもち、位相コントラストの影響が強く現れる領域を「位相物体領域」と呼ぶ）。そこで本実施形態では、レイヤー画像データを位相物体領域（細胞質の領域）とそれ以外（核の領域）に分け、位相物体領域に対してのみ位相コントラスト低減／反転処理を行う。これにより、位相コントラストによるアーチファクトを低減しつつ、明度と色に関わる核（クロマチン）の３次元的な構造を保存することができる。すなわち、実施例２では、実施例１の位相コントラスト低減処理の第２の効果、及び、位相コントラスト反転処理の第４の効果を補強する効果が得られる。図１から図１４までは実施例１と同じであるため、説明を省略する。

（第２実施形態における深度合成画像データ生成処理）
図２１は、第２実施形態における位相コントラスト低減処理、位相コントラスト反転処理の処理フローを示すフローチャートである。図１４で説明したのと同様、標本内の基準深さ（厚み中心又は合焦位置）を中心として、正方向と負方向にそれぞれ所定のピッチで焦点位置をずらして撮影された複数枚のレイヤー画像データが得られているものとする。

ステップＳ２１０１からＳ２１０３の処理は、図１５のステップＳ１５０１からＳ１５０３の処理と同じであるため、説明を省略する。
ステップＳ２１０４では、Ｓ２１０３で取得した明度信号（Ｖ信号）を利用してマスク画像データを生成する。マスク画像データは、デフォーカス量ｄ＝＋ｄ、ｄ＝−ｄにおけるレイヤー画像データの明度信号（Ｖ信号）の差分画像データに対して閾値処理をすることで生成される。差分画像データは、

と表現でき、位相コントラスト成分が２倍された画像データとなる。図１０（ａ）〜図１０（ｂ）、図１１（ａ）〜図１１（ｆ）で説明したように細胞質６０３は核６０２に対して位相コントラストの影響（位相変化の影響）が大きいため、細胞質６０３の領域を抽出することができる。マスク画像データは、細胞質６０３の領域（位相物体領域）以外がマスクされた画像データとなる。なお、閾値は、複数のサンプル画像データを用いて実験的に決めてもよいし、処理対象のレイヤー画像データ又は差分画像データの明度分布に応じて動的に（適応的に）決定してもよい。

ステップＳ２１０５では、Ｓ２１０４で取得したマスク画像データに対して位相コントラスト低減処理、または、位相コントラスト反転処理を行う。位相コントラスト低減処理、位相コントラスト反転処理は、図１５から図１９（ｂ）で説明した内容と同様であるため、説明を省略する。
ステップＳ２１０６の処理は、図１５のステップＳ１５０５又は図１７のステップＳ１７０５の処理と同様である。
元のＺスタック画像データのなかに、基準深さ（合焦位置ｄ＝０）に対するデフォーカス量ｄの絶対値が等しい２枚のレイヤー画像データの組が複数組存在する場合には、ステップＳ２１０１からＳ２１０６の処理を全組に対して実行する。
以上の処理ステップに従えば、２枚のレイヤー画像データの位相コントラストを低減した、または、２枚のレイヤー画像データのうち一方の位相コントラストを反転した複数のレイヤー画像データを生成することができる。

以上説明したように、位相コントラスト低減処理の効果として、位相コントラスト成分（位相差により生じる光強度成分）を低減することができ、デフォーカス方向（Ｚ軸正方向、Ｚ軸負方向）に依存するコントラストの非対称性を改善できる。それにより、深度合成処理での過剰コントラスト強調を回避することができる。また、位相コントラスト反転処理の効果として、位相コントラスト成分（位相差により生じる光強度成分）に起因するコントラスト反転を解消することができ、デフォーカス方向（Ｚ軸正方向、Ｚ軸負方向）に依存するコントラストの非対称性を改善できる。

また、明度、色に関する物体の３次元的な構造を保存することができる。例えば、デフ
ォーカス量ｄ＝＋ｄ、ｄ＝−ｄにおける像にそれぞれ異なるクロマチンが含まれる場合に、位相コントラスト低減処理後でもそれぞれのクロマチンの明度信号、及び、色信号は保存される。そのため、深度合成処理により、それぞれのクロマチンに合焦した画像データを生成することができる。

（第２実施形態の変形例）
第２実施形態では細胞質６０３領域の明度信号に対して位相コントラスト低減／反転処理を行ったが、細胞質６０３領域の各カラープレーン（ＲＧＢ画像データであれば、Ｒプレーン、Ｇプレーン、Ｂプレーン）に対して上記処理を行う形態も考えられる。

＜第３実施形態＞
第２実施形態ではレイヤー画像データの組ごとに位相物体領域（細胞質の領域）の抽出を行う処理について説明した。第３実施形態では、複数のレイヤー画像データのなかから選んだ代表レイヤー画像データから位相物体領域（細胞質の領域）を抽出し、この位相物体領域をすべてのレイヤー画像データの位相コントラスト補正処理で利用する簡易的手法について説明する。

図９（ａ）〜図９（ｂ）、図１０（ａ）〜図１０（ｂ）、図１１（ａ）〜図１１（ｆ）で説明したように、核の領域と細胞質の領域はそれぞれ異なる結像をし、Ｚ軸方向に対する光強度の性質も異なる。そのため、レイヤー画像データを核の領域と細胞質の領域に分けて処理しても、第１実施形態と同様の効果が得られる。図１から図１３（ｂ）までは第１実施形態と同じであるため、説明を省略する。

（第３実施形態における深度合成画像データ生成処理）
図２２は、第３実施形態における２次元深度合成画像データ生成処理の全体フローを示すフローチャートである。

ステップＳ２２００では、記憶装置４０８又はデータサーバ１０４から標本のＺスタック画像データを取得する。図１４で説明したのと同様、標本内の基準深さ（厚み中心又は合焦位置）を中心として、正方向と負方向にそれぞれ所定のピッチで焦点位置をずらして撮影された複数枚のレイヤー画像データが得られているものとする。
ステップＳ２２０１では、位相情報抽出処理を行う。位相情報抽出処理については、図２３で説明する。位相情報抽出処理により、細胞質の領域に対するマスク画像データを生成する。
ステップＳ２２０２の処理は、図１４のステップＳ１４０１の処理と基本的に同じであり、位相コントラスト低減処理（図１５）、第１又は第２の位相コントラスト反転処理（図１７）を利用できる点も同様である。ただし、ステップＳ２２０１で生成したマスク画像データを用いて、細胞質の領域に対してのみ位相コントラスト低減／反転処理を行う点のみ異なる。マスク画像データを用いた処理については第２実施形態のものと同様のため、説明は省略する。
ステップＳ２２０３では、深度合成処理を行う。深度合成処理は、図１３（ａ）で説明した処理と同様である。
以上の処理ステップに従えば、過剰コントラスト強調を低減する深度合成画像データ生成処理を実行することができる。

（第３実施形態における位相情報抽出処理）
図２３（ａ）は、第３実施形態における第１の位相情報抽出処理の処理フローを示すフローチャートである。
ステップＳ２３０１では、染色情報を取得する。染色情報とは、染色法（例えば、ＨＥ染色、マッソン・トリクローム染色など）を特定するための情報である。例えば、バーコ
ードや２次元コードとしてラベルエリア５０４に染色情報が記録されている場合には、それらを読み取ることで標本（生体試料）５０１の染色情報を取得することができる。他の方法としては、例えば、画像データの色分布を解析することで染色法を推定する方法、ユーザにより指定させる方法、画像データのヘッダやメタデータに染色情報を記録する方法などを採ることもできる。

ステップＳ２３０２では、位相物体領域の情報を取得する。ＨＥ染色であれば、図９（ｂ）と図１１（ｄ）〜図１１（ｆ）で説明したように、エオシン染色領域が位相コントラスト特性を強く示す領域である。位相物体領域とは位相コントラスト特性を強く示す領域である。位相物体領域では、位相コントラストの影響により、合焦位置から正方向にデフォーカスしたとき（ｄ＞０）と負方向にデフォーカスしたとき（ｄ＜０）とで、レイヤー画像データの明るさが反転する。位相物体領域の情報とは、位相コントラスト特性を強く示す領域の色条件（色相及び彩度の範囲）であり、ＨＥ染色の場合には、エオシンの色（淡赤色）の色相及び彩度の範囲を表す色条件である。例えば、染色法と位相物体領域の情報（色条件）とを対応付けたテーブルを予め記憶装置に用意しておき、ステップＳ２３０１で特定された染色法に対応する色条件をテーブルから読み込めばよい。

ステップＳ２３０３では、位相物体領域を抽出する。位相物体領域抽出処理の処理フローは、図２３（ｂ）で説明する。
ステップＳ２３０４では、位相物体領域の抽出に用いる代表レイヤー画像データを取得する。本実施形態では、合焦位置（ｄ＝０）のレイヤー画像データを用いる。
ステップＳ２３０５では、合焦位置（ｄ＝０）のレイヤー画像データに対して色空間変換を行う。ＲＧＢ色空間を有するレイヤー画像データをＨＳＶ色空間に変換する。ＨＳＶ色空間は、色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）から成る色空間である。
ステップＳ２３０６では、Ｓ２３０５で取得したＨＳＶ色空間のＨＳ色空間から、Ｓ２３０２で取得した色条件（ＨＥ染色の場合にはエオシンのＨ（色相）とＳ（彩度）の範囲）に合致する領域（画素群）を抽出する。
ステップＳ２３０７では、Ｓ２３０６で抽出された領域（画素群）以外をマスクしたマスク画像データを生成する。ＨＥ染色の場合には、エオシン染色領域以外がマスクされたマスク画像データが得られる。
以上の処理ステップに従えば、位相コントラスト特性を強く示す領域の抽出処理を実行することができる。そして、ここで得られたマスク画像データを用いて、各レイヤー画像データに対し図２２のステップＳ２２０２における位相コントラスト低減／反転処理を行うことで、細胞質である蓋然性の高い領域の位相コントラストの影響を低減できる。

以上説明したように、位相コントラスト低減処理の効果として、位相コントラスト成分（位相差により生じる光強度成分）を低減することができ、デフォーカス方向（Ｚ軸正方向、Ｚ軸負方向）に依存するコントラストの非対称性を改善できる。それにより、深度合成処理での過剰コントラスト強調を回避することができる。また、位相コントラスト反転処理の効果として、位相コントラスト成分（位相差により生じる光強度成分）に起因するコントラスト反転を解消することができ、デフォーカス方向（Ｚ軸正方向、Ｚ軸負方向）に依存するコントラストの非対称性を改善できる。
また、本実施形態では、１つの代表レイヤー画像データを用いてマスク画像データを作成し、これを全てのレイヤー画像データの位相コントラスト低減／反転処理に利用したので、第２実施形態の方法よりも処理の高速化を図ることができる。本実施形態では、合焦位置（ｄ＝０）のレイヤー画像データを代表レイヤー画像データとして用いたが、いずれのレイヤー画像データを代表レイヤー画像データとして用いても構わない。

＜第４実施形態＞
第３実施形態では、代表レイヤー画像データから生成したマスク画像データをすべての
レイヤー画像データの補正に利用する簡易的手法を説明した。第４実施形態では、核の領域の深度合成に重点を置いて、先に深度合成を行い、深度合成画像データのなかの位相物体領域に対し位相コントラスト補正を行う、更に簡易的な手法について説明する。
図９（ａ）〜図９（ｂ）、図１０（ａ）〜図１０（ｂ）、図１１（ａ）〜図１１（ｆ）で説明したように、核の領域と細胞質の領域はそれぞれ異なる結像をし、Ｚ軸方向に対する光強度の性質も異なる。そのため、レイヤー画像データを核の領域と細胞質の領域に分けて処理しても、第１実施形態と同様の効果が得られる。図１から図１３（ｂ）までは第１実施形態と同じであるため、説明を省略する。

図２４（ａ）は、第４実施形態における第２の２次元深度合成画像データ生成処理の全体フローを示すフローチャートである。
ステップＳ２４００では、記憶装置４０８又はデータサーバ１０４から標本のＺスタック画像データを取得する。図１４で説明したのと同様、標本内の基準深さ（厚み中心又は合焦位置）を中心として、正方向と負方向にそれぞれ所定のピッチで焦点位置をずらして撮影された複数枚のレイヤー画像データが得られているものとする。
ステップＳ２４０１では、位相情報抽出処理を行い、位相物体領域のマスク画像データを得る。位相情報抽出処理については、図２３（ａ）、図２３（ｂ）で説明した処理を適用することができる。
ステップＳ２４０２では、深度合成処理を行う。深度合成処理は、図１３（ａ）で説明した処理と同様である。これにより深度合成画像データが得られる。
ステップＳ２４０３では、位相コントラスト補正処理を行う。位相コントラスト補正処理は図２４（ｂ）で説明する。
ステップＳ２４０４では、位相コントラスト補正に用いる代表レイヤー画像データを取得する。本実施形態では、合焦位置（ｄ＝０）のレイヤー画像データを用いる。
ステップＳ２４０５では、Ｓ２４０１で生成したマスク画像データを用い、深度合成画像データのうち位相コントラスト特性を強く示す領域（ＨＥ染色ではエオシン染色領域）のデータを合焦位置（ｄ＝０）のレイヤー画像データのものに置き換える。
以上の処理ステップに従えば、過剰コントラスト強調を低減する深度合成画像データ生成処理を実行することができる。

＜その他の実施形態＞
以上、本発明の好ましい実施形態について説明したが、これらは本発明の一具体例にすぎず、本発明の範囲をこれらの具体例に限定する趣旨のものではない。
例えば、上記実施形態では、標本の厚み中心を合焦位置と仮定し、標本の厚み中心を基準深さとして位相コントラストの補正を行った。しかし、合焦位置ないし基準深さの決め方はこれに限らない。プレ計測ユニット３２０又は撮像ユニット３１０によるオートフォーカス処理によって、標本に対し最もピントが合う焦点位置（例えば最も高コントラストのレイヤー画像データが得られる位置）を合焦位置とし、この合焦位置を基準深さ（ｄ＝０）としてもよい。あるいは単純に、撮像装置１０１から得られた複数枚のレイヤー画像データのうち、真ん中のＺ位置のものを基準深さ（ｄ＝０）のレイヤー画像データとみなしてもよい。

第１から第３実施形態では、補正後のＺスタック画像データを用いて深度合成画像データを生成したが、深度合成画像データの生成は必須ではない。例えば、表示装置に表示するレイヤー画像データを連続的に切り替えることで、光学顕微鏡における焦点位置の昇降操作を模擬し、物体の３次元構造の把握などを行うことがある。このような場合に、補正後のＺスタック画像データを表示に用いれば、レイヤー画像データを切り替えたときに位相コントラストに起因する輝度変化が現れることを抑制できるため、適切な物体観察が可能となる。

第２から第４実施形態では、核の領域と細胞質の領域に異なる処理を適用している。もし核の領域と細胞質の領域の境界において処理が変わることに起因するアーチファクトが出る場合には、境界近傍において２つの処理結果をブレンドすることでアーチファクトを低減してもよい。例えば、マスク画像データとして２値画像データではなく、０．０〜１．０の係数（ブレンド率）を定義した多値のマスク画像データを用い、核と細胞質の境界近傍の係数を滑らかに変化させることで、実現できる。

第２から第４実施形態では、染色情報をもとに位相物体領域（位相コントラストの影響が強く現れる領域）を抽出し、位相物体領域に対してのみ位相コントラスト補正を行っている。しかし、位相物体領域を抽出する方法はこれに限らない。例えば、画像データの明度成分や彩度成分を評価することにより、明度が所定値より高く且つ彩度が所定値より低いという色条件を満たす領域（つまり無色透明に近い領域）を位相物体領域として抽出してもよい。このような方法によれば、染色情報が無くても位相コントラスト補正を施すべき領域を特定できる。

第４実施形態では、深度合成画像データの一部（位相物体領域）を代表レイヤー画像データのものに置き換えたが、置き換えではなく、位相物体領域内の深度合成合成データと代表レイヤー画像データを重み付け合成（ブレンド）してもよい。また、合焦位置以外のレイヤー画像データを代表レイヤー画像データとして用いて位相物体領域の置き換え又はブレンドを行っても同様の効果が得られる。
また第４実施形態では、代表レイヤー画像データを用いてマスク画像データを生成したが、ステップＳ２４０１とＳ２４０２の順番を入れ替え、深度合成画像データを用いてマスク画像データを生成してもよい。

上記実施形態では、画像データの明度成分を抽出するためにＨＳＶ色空間を利用したが、ＣＩＥ−Ｌａｂ色空間など他の色空間を用いてもよい。
上記実施形態では、病理標本を例に挙げたが、位相物体又は弱位相物体としての特性を示す領域を含む標本であれば、本発明を好ましく適用可能である。

１０１：撮像装置
１０２：画像処理装置

Claims (20)

1. 標本内の異なる深さに焦点位置を合わせてそれぞれ取得された複数枚のレイヤー画像データのなかから、前記標本内の基準深さを中心として正方向と負方向にそれぞれ同じ距離だけ焦点位置がずれた２枚のレイヤー画像データの組を、少なくとも１組以上、選択する選択手段と、
   前記選択手段で選択された各組の２枚のレイヤー画像データに対し、２枚のレイヤー画像データのあいだの位相コントラスト成分の差を小さくする補正処理を行う、位相コントラスト補正手段と、
   を有することを特徴とする画像処理装置。
2. 前記補正処理が行われた複数枚のレイヤー画像データを深度合成することにより深度合成画像データを生成する深度合成手段をさらに有する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記補正処理は、前記２枚のレイヤー画像データそれぞれの明度信号を、前記２枚のレイヤー画像データの明度信号の平均値で置き換える処理である
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記補正処理は、前記２枚のレイヤー画像データを、前記２枚のレイヤー画像データの平均画像データで置き換える処理である
   ことを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記補正処理は、前記２枚のレイヤー画像データのうちの一方のレイヤー画像データの明度信号を、他方のレイヤー画像データの明度信号で置き換える処理である
   ことを特徴とする請求項１又は２に記載の画像処理装置。
6. 前記補正処理は、前記２枚のレイヤー画像データのうちの一方のレイヤー画像データを、他方のレイヤー画像データで置き換える処理である
   ことを特徴とする請求項１又は２に記載の画像処理装置。
7. 前記位相コントラスト補正手段は、処理対象のレイヤー画像データを位相物体領域とそれ以外の領域に分け、前記位相物体領域に対してのみ前記補正処理を行う
   ことを特徴とする請求項１〜６のうちいずれか１項に記載の画像処理装置。
8. 前記位相コントラスト補正手段は、前記２枚のレイヤー画像データそれぞれの明度信号のあいだの差分が閾値より大きい領域を前記位相物体領域とする
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記位相コントラスト補正手段は、前記複数枚のレイヤー画像データのなかから選んだ１枚の代表レイヤー画像データから位相物体領域を抽出し、前記代表レイヤー画像データから抽出した位相物体領域をすべてのレイヤー画像データの補正処理で利用する
   ことを特徴とする請求項７に記載の画像処理装置。
10. 前記位相コントラスト補正手段は、前記代表レイヤー画像データのうちから所定の色条件に合致する領域を前記位相物体領域として抽出する
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記位相コントラスト補正手段は、前記標本に施された染色法に基づいて前記所定の色条件を決定する
    ことを特徴とする請求項１０に記載の画像処理装置。
12. 前記位相物体領域は、前記基準深さから正方向に焦点位置がずれたときと負方向に焦点位置がずれたときとで、レイヤー画像データの明るさが反転する領域である
    ことを特徴とする請求項７〜１１のうちいずれか１項に記載の画像処理装置。
13. 前記標本は、複数の細胞を含む標本であり、
    前記位相物体領域は、細胞質の領域である
    ことを特徴とする請求項７〜１２のうちいずれか１項に記載の画像処理装置。
14. 前記基準深さは、前記標本の厚み中心、又は、前記標本に対し最もピントが合う焦点位置である
    ことを特徴とする請求項１〜１３のうちいずれか１項に記載の画像処理装置。
15. 標本内の異なる深さに焦点位置を合わせてそれぞれ取得された複数枚のレイヤー画像データを深度合成することにより深度合成画像データを生成する深度合成手段と、
    前記複数枚のレイヤー画像データのなかから１枚の代表レイヤー画像データを取得する取得手段と、
    前記深度合成画像データを位相物体領域とそれ以外の領域に分け、前記位相物体領域内のデータを前記代表レイヤー画像データを用いて補正する位相コントラスト補正手段と、を有することを特徴とする画像処理装置。
16. 前記位相コントラスト補正手段は、前記深度合成画像データのうち前記位相物体領域内のデータを、前記代表レイヤー画像データのものに置き換える
    ことを特徴とする請求項１５に記載の画像処理装置。
17. 標本内の異なる深さに焦点位置を合わせてそれぞれ撮影を行うことにより複数枚のレイヤー画像データを取得する撮像装置と、
    前記撮像装置で取得された前記複数枚のレイヤー画像データを処理する、請求項１〜１６のうちいずれか１項に記載の画像処理装置と、
    を有する画像処理システム。
18. コンピュータが、標本内の異なる深さに焦点位置を合わせてそれぞれ取得された複数枚のレイヤー画像データのなかから、前記標本内の基準深さを中心として正方向と負方向にそれぞれ同じ距離だけ焦点位置がずれた２枚のレイヤー画像データの組を、少なくとも１組以上、選択するステップと、
    コンピュータが、前記選択された各組の２枚のレイヤー画像データに対し、２枚のレイヤー画像データのあいだの位相コントラスト成分の差を小さくする補正処理を行うステップと、
    を有することを特徴とする画像処理方法。
19. コンピュータが、標本内の異なる深さに焦点位置を合わせてそれぞれ取得された複数枚のレイヤー画像データを深度合成することにより深度合成画像データを生成するステップと、
    コンピュータが、前記複数枚のレイヤー画像データのなかから１枚の代表レイヤー画像データを取得するステップと、
    コンピュータが、前記深度合成画像データを位相物体領域とそれ以外の領域に分け、前記位相物体領域内のデータを前記代表レイヤー画像データを用いて補正するステップと、を有することを特徴とする画像処理方法。
20. 請求項１８又は１９に記載の画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラム。

Images