JP2015057682A - 画像生成装置および画像生成方法 - Google Patents
画像生成装置および画像生成方法 Download PDFInfo
- Publication number
- JP2015057682A JP2015057682A JP2013204636A JP2013204636A JP2015057682A JP 2015057682 A JP2015057682 A JP 2015057682A JP 2013204636 A JP2013204636 A JP 2013204636A JP 2013204636 A JP2013204636 A JP 2013204636A JP 2015057682 A JP2015057682 A JP 2015057682A
- Authority
- JP
- Japan
- Prior art keywords
- image
- viewpoint
- observation
- scattered
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Microscoopes, Condenser (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】被写体を撮影して得られた元画像から、画像処理によって、被写体の観察や診断に適した観察用画像を生成するための新規な技術を提供する。
【解決手段】被写体を撮影して得られた元画像から、観察用画像を生成する画像生成装置であって、前記元画像を用いて、互いに視線方向が異なる複数の視点画像を生成する視点画像生成手段と、前記複数の視点画像を用いて、元画像に含まれる散乱光成分を抽出または強調した画像を観察用画像として生成する観察用画像生成手段と、を有する。観察用画像は、例えば、複数の視点画像のあいだの差異を抽出または強調することで生成する。
【選択図】図9
【解決手段】被写体を撮影して得られた元画像から、観察用画像を生成する画像生成装置であって、前記元画像を用いて、互いに視線方向が異なる複数の視点画像を生成する視点画像生成手段と、前記複数の視点画像を用いて、元画像に含まれる散乱光成分を抽出または強調した画像を観察用画像として生成する観察用画像生成手段と、を有する。観察用画像は、例えば、複数の視点画像のあいだの差異を抽出または強調することで生成する。
【選択図】図9
Description
本発明は、被写体を撮影して得られた画像から観察に適した画像を生成する画像生成装置および画像生成方法に関する。
病理分野において、病理診断のツールである光学顕微鏡の代替として、プレパラートに載置された被検試料を撮像しデジタル化してディスプレイ上での病理診断を可能とするバーチャル・スライド・システムがある。バーチャル・スライド・システムによる病理診断画像のデジタル化により、従来の被検試料の光学顕微鏡像をデジタルデータとして取り扱える。それによって、遠隔診断の迅速化、デジタル画像を使った患者への説明、希少症例の共有化、教育・実習の効率化、などのメリットが得られる。
またデジタルデータに対しては様々な画像処理が可能で、バーチャル・スライド・システムで撮影した画像に対し、病理医の診断を支援する種々の診断支援機能が提案されている。
またデジタルデータに対しては様々な画像処理が可能で、バーチャル・スライド・システムで撮影した画像に対し、病理医の診断を支援する種々の診断支援機能が提案されている。
従来、診断支援機能の一例として、以下の提案がされている。
非特許文献1は、がんを診断する上で重要な所見であるN/C比(細胞質に対して核が占める比率)を算出することを目標とし、デジタル画像処理技術を用いて肝臓の病理組織標本画像から細胞膜を抽出する方法を開示している。非特許文献1では明視野、暗視野、位相差の3種類の観察像の色情報を組み合わせることで、明視野観察像単独の場合に比べて細胞膜の抽出正解率を向上させている。
非特許文献1は、がんを診断する上で重要な所見であるN/C比(細胞質に対して核が占める比率)を算出することを目標とし、デジタル画像処理技術を用いて肝臓の病理組織標本画像から細胞膜を抽出する方法を開示している。非特許文献1では明視野、暗視野、位相差の3種類の観察像の色情報を組み合わせることで、明視野観察像単独の場合に比べて細胞膜の抽出正解率を向上させている。
また、細胞膜に限らず、細胞境界(細胞と細胞の間の細胞境界には細胞膜以外にも細胞間物質(間質)などが存在)や細胞と管や腔との境界を明瞭にすることは、診断を行う上で大きな意味がある。明瞭な境界は、医師が標本から複雑な肝臓の3次元構造を推測することを容易にするので、限られた情報からより精度の高い診断が実現できる。
また、細胞と管や腔との境界はN/C比を精度良く算出する上でも有用な情報である。例えば、肝臓の病理組織標本には、大別して核と細胞質からなる細胞の領域、肝細胞へ物質を供給する血管である類洞の領域があり、正しいN/C比を算出するには細胞が存在しない類洞の領域を正しく除外する必要がある。
また、細胞と管や腔との境界はN/C比を精度良く算出する上でも有用な情報である。例えば、肝臓の病理組織標本には、大別して核と細胞質からなる細胞の領域、肝細胞へ物質を供給する血管である類洞の領域があり、正しいN/C比を算出するには細胞が存在しない類洞の領域を正しく除外する必要がある。
鳥澤奈美子,高橋正信,中野雅行,"肝病理組織標本画像中の細胞膜抽出におけるマルチイメージング利用の検討",電子情報通信学会総合大会,D−16−9,2009/3
児玉和也,久保田彰,"単一のレンズ系からの多様なボケ味の生成",映像情報メディア学会誌65(3),pp.372−381,2011年3月
児玉和也,久保田彰,"周波数領域上での線型結合に基づくScene Refocusing",映像メディア処理シンポジウム(IMPS2012),I−3.02,pp.45−46,2012年10月
しかしながら上述した従来の技術においては、以下のような問題があった。
非特許文献1では、明視野、暗視野、位相差観察像を取得するために、明視野顕微鏡に対して位相差用対物レンズや共用コンデンサを装備し、それらを切り替えて撮影している。その為、明視野観察用の光学顕微鏡に追加の部品が必要になるというコスト的な課題、撮影時に光学系および露出条件の変更の手間が発生するという課題があった。
非特許文献1では、明視野、暗視野、位相差観察像を取得するために、明視野顕微鏡に対して位相差用対物レンズや共用コンデンサを装備し、それらを切り替えて撮影している。その為、明視野観察用の光学顕微鏡に追加の部品が必要になるというコスト的な課題、撮影時に光学系および露出条件の変更の手間が発生するという課題があった。
本発明は、このような問題点に鑑みてなされたものであり、被写体を撮影して得られた元画像から、画像処理によって、被写体の観察や診断に適した観察用画像を生成するための新規な技術を提供することを目的とする。
本発明の第一態様は、被写体を撮影して得られた元画像から、観察用画像を生成する画像生成装置であって、前記元画像を用いて、互いに視線方向が異なる複数の視点画像を生成する視点画像生成手段と、前記複数の視点画像を用いて、元画像に含まれる散乱光成分を抽出または強調した画像を観察用画像として生成する観察用画像生成手段と、を有する画像生成装置である。
本発明の第二態様は、被写体を撮影して得られた元画像から、観察用画像を生成する画像生成装置であって、前記元画像を用いて、互いに視線方向が異なる複数の視点画像を生成する視点画像生成手段と、前記複数の視点画像を用いて、前記複数の視点画像のあいだの差異を抽出または強調した画像を観察用画像として生成する観察用画像生成手段と、を有する画像生成装置である。
本発明の第三態様は、被写体を撮影して得られた元画像から、コンピュータにより観察用画像を生成する画像生成方法であって、前記元画像を用いて、互いに視線方向が異なる複数の視点画像を生成するステップと、前記複数の視点画像を用いて、元画像に含まれる散乱光成分を抽出または強調した画像を観察用画像として生成するステップと、を有する画像生成方法である。
本発明の第四態様は、被写体を撮影して得られた元画像から、コンピュータにより観察用画像を生成する画像生成方法であって、前記元画像を用いて、互いに視線方向が異なる複数の視点画像を生成するステップと、前記複数の視点画像を用いて、前記複数の視点画像のあいだの差異を抽出または強調した画像を観察用画像として生成するステップと、を有する画像生成方法である。
本発明の第五態様は、本発明に係る画像生成方法の各ステップをコンピュータに実行させるプログラムである。
本発明によれば、被写体を撮影して得られた元画像から、画像処理によって、被写体の観察や診断に適した観察用画像を生成することができる。
(全体構成)
図1は、本発明の実施形態に係る画像生成および表示システムの構成を示している。
画像生成装置(ホストコンピュータ)100には、ユーザからの入力を受け付ける入力操作デバイス110と、画像生成装置100から出力される画像などをユーザに提示するためのディスプレイ120が接続される。入力操作デバイス110としては、キーボード111、マウス112、ユーザの操作性を高めるための専用コントローラ113(例えばトラックボール、タッチパッド)などを利用できる。また画像生成装置100には、ハードディスクや光学ドライブ、フラッシュメモリ等の記憶装置130、ネットワークI/Fを通じてアクセスできる他のコンピュータシステム140が接続されている。なお、図1では記憶装置130は画像生成装置100の外部に存在するが、画像生成装置100に内蔵しても良い。
図1は、本発明の実施形態に係る画像生成および表示システムの構成を示している。
画像生成装置(ホストコンピュータ)100には、ユーザからの入力を受け付ける入力操作デバイス110と、画像生成装置100から出力される画像などをユーザに提示するためのディスプレイ120が接続される。入力操作デバイス110としては、キーボード111、マウス112、ユーザの操作性を高めるための専用コントローラ113(例えばトラックボール、タッチパッド)などを利用できる。また画像生成装置100には、ハードディスクや光学ドライブ、フラッシュメモリ等の記憶装置130、ネットワークI/Fを通じてアクセスできる他のコンピュータシステム140が接続されている。なお、図1では記憶装置130は画像生成装置100の外部に存在するが、画像生成装置100に内蔵しても良い。
画像生成装置100は、入力操作デバイス110から入力されたユーザの制御信号に従い、記憶装置130から画像データを取得し、画像処理を適用することによって観察に適した観察用画像を生成したり、診断に必要な情報を抽出したりする。
画像表示アプリケーションおよび画像生成プログラム(いずれも不図示)は画像生成装置100で実行されるコンピュータプログラムである。これらのプログラムは画像生成装置100内の内部記憶装置(不図示)または記憶装置130に格納されている。後述する画像生成に関わる機能は画像生成プログラムによって提供されるものであり、画像生成プログラムの各機能は画像表示アプリケーションを介して呼び出す(利用する)ことができる。画像生成プログラムの処理結果(例えば生成された観察用画像)は、画像表示アプリケーションを介して、ユーザに提示される。
(表示画面)
図2は、予め撮影した検体の画像データを、画像表示アプリケーションを通じて、ディスプレイ120に表示した場合の一例である。
図2は、予め撮影した検体の画像データを、画像表示アプリケーションを通じて、ディスプレイ120に表示した場合の一例である。
図2は画像表示アプリケーションの画面レイアウトの基本構成である。表示画面の全体
ウィンドウ201内に、表示や操作のステータスと各種画像の情報を示す情報エリア202、観察対象の検体のサムネイル画像203、検体画像データの詳細観察用の表示領域205、表示領域205の表示倍率206、が配置されている。サムネイル画像203上に描画された枠線204は、詳細観察用の表示領域205に拡大表示している領域の位置および大きさを示している。このサムネイル画像203と枠線204によって、ユーザは検体画像データ全体中のどの部分を観察しているのかを容易に把握できる。
ウィンドウ201内に、表示や操作のステータスと各種画像の情報を示す情報エリア202、観察対象の検体のサムネイル画像203、検体画像データの詳細観察用の表示領域205、表示領域205の表示倍率206、が配置されている。サムネイル画像203上に描画された枠線204は、詳細観察用の表示領域205に拡大表示している領域の位置および大きさを示している。このサムネイル画像203と枠線204によって、ユーザは検体画像データ全体中のどの部分を観察しているのかを容易に把握できる。
詳細観察用の表示領域205に表示する画像は、入力操作デバイス110による移動操作や拡大・縮小操作によって設定、更新できる。例えば、移動は画面上でのマウスのドラッグ操作により、拡大縮小はマウスホイールの回転等によって実現できる(例えば、ホイールの前方回転を拡大、後方回転を縮小に割り当てる)。また、焦点位置の異なる画像への切り替えは、所定のキー(例えばCtrlキー)を押しながらのマウスホイールの回転等で実現できる(例えば、ホイールの前方回転を奥行きが深い画像への移動に、後方回転を奥行きが浅い画像への移動に割り当てる)。上記のようなユーザの表示画像の変更操作に伴い、表示領域205、表示倍率206、サムネイル画像203内の枠線204が更新される。このようにして、ユーザは所望する面内位置、奥行き位置、倍率の画像を観察できる。
(画像生成装置)
図3は画像生成装置100の内部構成を示す図である。
CPU301はメインメモリ302に格納されているプログラムやデータを用いて画像生成装置全体の制御を行う。またCPU301は、以降の実施例で説明する各種演算処理、データ処理、例えば、視点散乱画像抽出処理や視点散乱画像統合処理等を行う。
図3は画像生成装置100の内部構成を示す図である。
CPU301はメインメモリ302に格納されているプログラムやデータを用いて画像生成装置全体の制御を行う。またCPU301は、以降の実施例で説明する各種演算処理、データ処理、例えば、視点散乱画像抽出処理や視点散乱画像統合処理等を行う。
メインメモリ302は記憶装置130からロードされたプログラムやデータ、他のコンピュータシステム140からネットワークI/F(インターフェース)304を介してダウンロードしたプログラムやデータを一時的に記憶するエリアを備える。またメインメモリ302は、CPU301が各種の処理を行うために必要とするワークエリアを備える。
操作入力デバイス110はキーボード102、マウス103、専用コントローラ113などCPU301に各種の指示を入力することのできるデバイスにより構成される。ユーザは画像生成装置100の動作を制御する情報を操作入力デバイス110により入力する。305は操作入力デバイス110を介して入力された各種の指示等をCPU301に通知するためのI/Oである。
記憶装置130はハードディスクなどの大容量情報記憶装置であり、OS(オペレーティングシステム)や以降の実施例で説明する処理をCPU301に実行させるためのプログラムや画像データなどを記憶する。記憶装置130への情報の書き込みや記憶装置130からの情報の読み出しはI/O306を介して行われる。
ディスプレイ制御装置307は画像や文字等をディスプレイ120に表示させるための制御処理を行う。ディスプレイ120はユーザに入力を求めるための画面表示を行うとともに、記憶装置130や他のコンピュータシステム140から取得しCPU301で処理した画像データに基づく画像を表示する。
演算処理ボード303は、画像処理など特定の演算機能が強化されたプロセッサおよびバッファメモリ(不図示)を備えている。以降の説明では各種演算処理、データ処理にはCPU301を、メモリ領域としてメインメモリ302を用いるとして説明するが、演算処理ボード内のプロセッサやバッファメモリを用いることも可能であり、本発明の範疇とする。
(被写体)
図4は被写体の一例である病理標本のプレパラート(スライドとも呼ぶ)を表す。病理標本のプレパラートでは、スライドグラス410上に載置した検体400が封入剤(不図示)とその上に載せるカバーグラス411によって封入されている。検体400の大きさや厚みは検体毎によって異なっている。更にスライドグラス410上には検体に関する情報が記録されたラベルエリア412が存在する。ラベルエリア412への情報の記録は、ペンによる記入でもよいし、バーコードや2次元コードの印刷でもよい。また電気的、磁気的、または光学的な方法により情報を記憶可能な記憶媒体をラベルエリア412に設けてもよい。以降の実施形態では、被写体として図4に示す病理標本のプレパラートを例に説明する。
図4は被写体の一例である病理標本のプレパラート(スライドとも呼ぶ)を表す。病理標本のプレパラートでは、スライドグラス410上に載置した検体400が封入剤(不図示)とその上に載せるカバーグラス411によって封入されている。検体400の大きさや厚みは検体毎によって異なっている。更にスライドグラス410上には検体に関する情報が記録されたラベルエリア412が存在する。ラベルエリア412への情報の記録は、ペンによる記入でもよいし、バーコードや2次元コードの印刷でもよい。また電気的、磁気的、または光学的な方法により情報を記憶可能な記憶媒体をラベルエリア412に設けてもよい。以降の実施形態では、被写体として図4に示す病理標本のプレパラートを例に説明する。
(撮像装置)
図5は被写体を撮影しデジタル画像を取得する撮像装置の構成の一部を模式的に表す。図5に示すように、本実施形態では、検体400の表面に平行にx軸とy軸をとり、検体400の深さ方向(光学系の光軸方向)にz軸をとる。
図5は被写体を撮影しデジタル画像を取得する撮像装置の構成の一部を模式的に表す。図5に示すように、本実施形態では、検体400の表面に平行にx軸とy軸をとり、検体400の深さ方向(光学系の光軸方向)にz軸をとる。
プレパラート(検体400)をステージ502上に置き、照明ユニット501から光を照射する。検体400を透過した光は、撮像光学系503によって拡大され、撮像センサ504の受光面に結像する。撮像センサ504は複数の光電変換素子を有する一次元ラインセンサまたは二次元エリアセンサである。検体400の光像は撮像センサ504により電気信号に変換され、デジタルデータとして出力される。
一回の撮影で検体全体の画像を取得できない場合には、ステージ502をx方向および/またはy方向に移動しながら複数回の分割撮影を行い、得られた複数の分割画像を合成(繋ぎ合わせ)して検体全体の画像を生成する。また、ステージ502をz方向に移動しつつ複数回の撮影を行うことで、光軸方向(深さ方向)の焦点位置が異なる複数枚の画像(レイヤー画像と呼ぶ)を取得する。本明細書では、光軸方向(深さ方向)の焦点位置が異なる複数枚のレイヤー画像からなる画像群を「Zスタック画像」または「Zスタック画像データ」と呼ぶ。また、被写体を撮影することによって取得された画像であるレイヤー画像やZスタック画像を「元画像」と呼ぶ。
図2の表示倍率206に表示される倍率の値は、撮像光学系503の倍率に画像表示アプリケーション上での拡大/縮小率を掛けた値である。なお、撮像光学系503の倍率は固定でも良いし、対物レンズの交換によって可変であっても良い。
(視点画像を生成する技術の説明)
画像生成装置100では、暗視野観察や位相差観察など光学系に変更を加える観察・撮像方法を必要としない代わりに、Zスタック画像から画像処理によって中間画像(視点画像)を生成し、その中間画像を用いて観察や診断に適した観察用画像を生成する。まずは、Zスタック画像から中間画像としての視点画像を生成する処理に利用可能な技術について説明する。
画像生成装置100では、暗視野観察や位相差観察など光学系に変更を加える観察・撮像方法を必要としない代わりに、Zスタック画像から画像処理によって中間画像(視点画像)を生成し、その中間画像を用いて観察や診断に適した観察用画像を生成する。まずは、Zスタック画像から中間画像としての視点画像を生成する処理に利用可能な技術について説明する。
光軸方向の焦点位置を変えて撮影した複数枚の画像(Zスタック画像)を元に、任意の方向から観察した視点画像(任意視点画像)を生成できることが知られている。ここで、視点画像とは所定の観察方向(即ち視点)から被写体を観察した画像を表す。
例えば特開2007−128009号公報(以降、特許文献1と呼ぶ)には、ピント位置を変えて撮影した焦点ぼけ画像群から、任意の視点や任意のぼけの画像を生成する方法が開示されている。この方法は、焦点ぼけ画像群に対し、3次元的な焦点ぼけがXYZ位置で不変になるように座標変換処理を施し、得られた直交座標系(XYZ)において3次
元のフィルタ処理を適用することで視点やぼけを変更した画像を得る、というものである。
また、非特許文献2には、特許文献1の方法の改良が開示されている。非特許文献2では、視点から視線方向を求め、Zスタック画像を視線方向に積算することで積算画像を生成するとともに、同じように3次元ぼけの視線方向の積算画像も生成する。その後、Zスタック画像の積算画像に対し3次元ぼけの積算画像を逆フィルタ処理することにより、Z方向(レイヤー画像の枚数)の制約による影響を抑制し、高画質な視点画像を生成することができる。
また、非特許文献3には、非特許文献2の計算を高速化する方法が開示されている。非特許文献3の方法では、被写体(シーン)に依存せずに予め定まるフィルタと焦点ぼけ画像群の各Z位置のフーリエ変換画像の線型結合によって、周波数領域上での任意視点画像や任意焦点ぼけ画像が効率的に計算できる。
例えば特開2007−128009号公報(以降、特許文献1と呼ぶ)には、ピント位置を変えて撮影した焦点ぼけ画像群から、任意の視点や任意のぼけの画像を生成する方法が開示されている。この方法は、焦点ぼけ画像群に対し、3次元的な焦点ぼけがXYZ位置で不変になるように座標変換処理を施し、得られた直交座標系(XYZ)において3次
元のフィルタ処理を適用することで視点やぼけを変更した画像を得る、というものである。
また、非特許文献2には、特許文献1の方法の改良が開示されている。非特許文献2では、視点から視線方向を求め、Zスタック画像を視線方向に積算することで積算画像を生成するとともに、同じように3次元ぼけの視線方向の積算画像も生成する。その後、Zスタック画像の積算画像に対し3次元ぼけの積算画像を逆フィルタ処理することにより、Z方向(レイヤー画像の枚数)の制約による影響を抑制し、高画質な視点画像を生成することができる。
また、非特許文献3には、非特許文献2の計算を高速化する方法が開示されている。非特許文献3の方法では、被写体(シーン)に依存せずに予め定まるフィルタと焦点ぼけ画像群の各Z位置のフーリエ変換画像の線型結合によって、周波数領域上での任意視点画像や任意焦点ぼけ画像が効率的に計算できる。
以降の説明では、光軸方向の焦点位置を変えて撮影した複数枚の画像(Zスタック画像)を元に、任意の方向から観察した視点画像(任意視点画像)を生成することや、任意の焦点ぼけを持つ画像を生成する手法を総称して、MFI(マルチフォーカスイメージング)任意視点/焦点ぼけ画像生成法と呼ぶこととする。
なお、両側テレセントリックな光学系を持つ顕微鏡でピント位置を変えて撮影したZスタック画像は3次元的な焦点ぼけがXYZ位置で不変である。よって、両側テレセントリックな光学系で撮影したZスタック画像にMFI任意視点/焦点ぼけ画像生成法を適用する場合は、座標変換処理および座標変換処理に伴う画像の拡縮処理は不要である。
なお、両側テレセントリックな光学系を持つ顕微鏡でピント位置を変えて撮影したZスタック画像は3次元的な焦点ぼけがXYZ位置で不変である。よって、両側テレセントリックな光学系で撮影したZスタック画像にMFI任意視点/焦点ぼけ画像生成法を適用する場合は、座標変換処理および座標変換処理に伴う画像の拡縮処理は不要である。
ライトフィールドと呼ばれる4次元の情報(XYの2次元画像に視点位置の自由度を加えた情報)が記録された画像を1回の撮影で取得可能な撮像装置が知られている。このような撮像装置はライトフィールドカメラやライトフィールド顕微鏡と呼ばれる。これらの装置では、本来結像面となる位置にレンズアレイが配置されており、それよりも後方のイメージセンサでライトフィールドを撮影する。ライトフィールドが記録された元画像からも、公知の技術を用いて、任意の焦点位置の画像や任意の方向から観察した視点画像(任意視点画像)を生成できる。
本実施例では、撮像装置の被写体に対する方向を物理的に変えることなく、Zスタック画像又はライトフィールドなどの撮像画像を元に、デジタル画像処理によって生成される任意の観察方向の画像を「視点画像」とよぶ。この視点画像は、被写体の撮影に用いる撮像光学系を通る任意の光線を主光線とし、その主光線を中心とする光束によって撮像面に形成される画像を模擬した画像である。主光線の方向が観察方向に対応する。主光線の方向は任意に設定できる。また光束の大きさ(NA)も任意に設定できる。画像診断等が目的の場合には、視点画像の被写界深度は深いことが望ましいので、視点画像に対応する光束のNAは0.1以下が望ましい。
なお、デジタル画像処理によって生成(計算)した視点画像は、撮像光学系の露出条件(絞りの位置・大きさ)や光軸方向やレンズ等を物理的に変えて撮影した画像とは、必ずしも一致しない。しかし、現実に撮影した画像と一致していなくても、視点を変えて被写体を観察したのと同様の特徴を有する画像であれば(つまり、観察方向を変えるのと同様の効果をデジタル画像処理によって与えることができれば)、画像観察や画像診断等には有用である。従って、現実に光軸方向等を変えて撮影した画像とは厳密には一致しないが、そのような画像と同様の特徴が現れるようにデジタル画像処理された画像も、本実施例の視点画像に含まれる。
特許文献1によれば、座標変換を施した焦点ぼけ画像群から、実空間上のレンズ面(瞳面に相当)上にある原点O(x,y,z)=(0,0,0)から視点(x,y,z)=(
s,t,0)だけズレた位置のピンホールを通して観察した視点画像を生成できる。MFI任意視点/焦点ぼけ画像生成法では、レンズ面上の視点の位置を変えることで被写体を観察する観察方向、すなわち視線方向を変化させることができる。
s,t,0)だけズレた位置のピンホールを通して観察した視点画像を生成できる。MFI任意視点/焦点ぼけ画像生成法では、レンズ面上の視点の位置を変えることで被写体を観察する観察方向、すなわち視線方向を変化させることができる。
視線方向は、結像した像に対応する被写体の所定の位置から発する光束の中で、レンズ面上の視点の位置(x,y,z)=(s,t,0)を通る直線の傾きである、と定義できる。視線方向は様々な方法で表現可能である。例えば、直線の進行方向を示す3次元的なベクトルによる表現でも良いし、前述の3次元的なベクトルが光軸となす角(観察角)と光軸に垂直な平面に射影したときのベクトルがX軸となす角(偏角)による表現でも良い。
撮像光学系が両側テレセントリックではない場合、撮像面における3次元的な焦点ぼけは、合焦した被写体の空間的な位置(xyz座標内の位置)によって変化し、レンズ面上の視点の位置(x,y,z)=(s,t,0)を通る直線の傾きは一定とはならない。その場合、特許文献1に記載の座標変換後の直交座標系(XYZ)の上で視線方向を定義すると良く、視線方向は(X,Y,Z)=(−s,−t,1)のベクトルで表すことができる。以下、座標変換後の視線方向の求め方を説明する。
特許文献1には、撮像光学系の焦点が合った任意の位置と撮像装置のレンズ面(瞳面に相当)上の同一の視点の位置(x,y,z)=(s,t,0)を結ぶ光線は、座標変換後の直交座標系(XYZ)では全て互いに平行な光線となることが記載されている。(特許文献1の図1〜3およびその説明を参照)
特許文献1には、撮像光学系の焦点が合った任意の位置と撮像装置のレンズ面(瞳面に相当)上の同一の視点の位置(x,y,z)=(s,t,0)を結ぶ光線は、座標変換後の直交座標系(XYZ)では全て互いに平行な光線となることが記載されている。(特許文献1の図1〜3およびその説明を参照)
透視座標系(座標変換前の実空間)の被写体のある点から出た光は、(p+s,q+t,f)(fは焦点距離)を通過し、視点の位置(x,y,z)=(s,t,0)で屈折する。この直線は以下の式で表される。
数1の直線は座標変換後の直交座標系(XYZ)では以下の式で表される。
数2にZ=0(z=f)、Z=1(z=∞)を代入すると、それぞれ(X,Y,Z)=(p+s,q+t,0)、(X,Y,Z)=(p,q,1)となることから、直交座標系(X,Y,Z)での直線の傾きは(−s,−t,1)で表される。
従って、座標変換後の直交座標系での視線方向を表すベクトルは(X,Y,Z)=(−s,−t,1)となる。
従って、座標変換後の直交座標系での視線方向を表すベクトルは(X,Y,Z)=(−s,−t,1)となる。
なお、撮像光学系が両側テレセントリックである場合、奥行き方向に焦点を変えて撮影した複数枚の画像(Zスタック画像)中の3次元的な焦点ぼけはZの位置によらず不変となる。
従って、空間的な位置によらず3次元的な焦点ぼけを不変とするための座標変換は必要ない。実空間においてピントが合った被写体の所定の位置(x,y,z)=(0,0,za)とレンズ面上の視点の位置(x,y,z)=(s,t,0)を結ぶ直線の傾き(−s,−t,za)をそのまま視線方向と見なしても良い。
従って、空間的な位置によらず3次元的な焦点ぼけを不変とするための座標変換は必要ない。実空間においてピントが合った被写体の所定の位置(x,y,z)=(0,0,za)とレンズ面上の視点の位置(x,y,z)=(s,t,0)を結ぶ直線の傾き(−s,−t,za)をそのまま視線方向と見なしても良い。
(視点と実際に標本を観察したときの偏角θ及び観察角φの対応関係)
図13(a)は実空間上の視点の位置(x,y,z)=(s,t,0)を表す模式図であり、図13(b)は直交座標系(XYZ)において視点の位置(x,y,z)=(s,
t,0)を通る光線を表す模式図である。
図13(a)は実空間上の視点の位置(x,y,z)=(s,t,0)を表す模式図であり、図13(b)は直交座標系(XYZ)において視点の位置(x,y,z)=(s,
t,0)を通る光線を表す模式図である。
図13(a)で示す点線の円はレンズ面上(z=0)で光線が通過可能な範囲を表している。偏角θをレンズ面上の視点の位置(x,y,z)=(s,t,0)がレンズ面上(z=0)のx軸となす角、あるいは視線(−s,−t,1)をxy平面に射影したときの直線がx軸となす角と定義すると、偏角θは下記の式で求められる。
ただし、θはt,sの符号に応じて−180〜+180度の範囲に収まるように調整する。
続いて、図13(b)を用いて視線と変換座標上の観察角φTの関係について説明する。
図13(b)では、数2で示す直線と数2に光軸上の点p=0、q=0を代入した場合の直線を太字の矢印で示している。
特許文献1によれば、直交座標系(XYZ)のZ=0は透視座標系(xyz)のz=f(またはz=−∞)に対応し、Z=1はz=∞(またはz=−f)に対応している。そのため、図13(b)は直交座標系XYZにおいて無限遠(Z=1)からの光束が、レンズ面上の手前の焦点面(Z=0)で広がりを持つことを示している。(特許文献1の図3およびその説明を参照)
ここで、変換座標上の観察角φTを、視線(−s,−t,1)と光軸(Z軸)がなす角と定義すると、図13(b)からも明らかなように視線は、被写体の位置に依存しないので、観察角φTは以下の式で求められる。
なお、図13(b)の2本の点線はレンズ面上の最も端を通る光線を示しており、座標変換前の透視座標系(xyz)でのレンズの絞り半径をraとすると、視点の位置(x,y,z)=(s,t,0)が半径raの内部にある場合のみ視点画像は計算できる。
図13(b)では、数2で示す直線と数2に光軸上の点p=0、q=0を代入した場合の直線を太字の矢印で示している。
特許文献1によれば、直交座標系(XYZ)のZ=0は透視座標系(xyz)のz=f(またはz=−∞)に対応し、Z=1はz=∞(またはz=−f)に対応している。そのため、図13(b)は直交座標系XYZにおいて無限遠(Z=1)からの光束が、レンズ面上の手前の焦点面(Z=0)で広がりを持つことを示している。(特許文献1の図3およびその説明を参照)
ここで、変換座標上の観察角φTを、視線(−s,−t,1)と光軸(Z軸)がなす角と定義すると、図13(b)からも明らかなように視線は、被写体の位置に依存しないので、観察角φTは以下の式で求められる。
次に、実際に標本を観察したときの視線に対応する偏角θ、観察角φについて述べる。スネルの法則では屈折率の異なる境界に光線が入射したとき、光線の入射角と入射側の媒質の屈折率の積は、光線の屈折角と屈折側の媒体の屈折率の積に等しい。標本の屈折率は空気の屈折率よりも大きいことから、空気中の観察角に比べ標本中の観察角は小さくなっている。そのため、屈折した光線で構成される、標本中の3次元的な焦点ぼけは、空気中での3次元的な焦点ぼけよりも小さくなっている。しかし、本実施例では標本と標本中での3次元的な焦点ぼけによる3次元的な結像関係に基づいて視点の位置を計算しているため、標本の屈折率の影響は考える必要はなく、偏角θおよび観察角φはそのまま標本中での観察方向を表している。
撮像光学系が両側テレセントリックである場合には、座標変換を必要としないため、x方向とy方向のセンサ画素ピッチが等しいとすれば、観察角φは、x方向のセンサ画素ピッチΔxと、z方向の移動間隔Δz(単位はμm)を用いて、下記式で表現できる。
なお、撮像光学系が両側テレセントリックでない場合には、数5でΔxとΔzの代わりに、直交座標系(XYZ)におけるX方向のセンサ画素ピッチΔXとZ方向の移動間隔ΔZを用いれば観察角φが求められる。
以上で、実際に標本を観察したときの視線に対応する偏角θ、観察角φについて説明した。
以降の説明では、レンズ面上の視点の位置(x,y,z)=(s,t,0)を視点(s,t)と略して記載する。また、以降の説明では、直交座標系(XYZ)上での画像処理を前提として説明するため、視点の位置(s,t)に言及する場合のみ透視座標系(座標変換前の実空間)での位置を表すものとし、その他は特に断りが無い限りは、直交座標系(XYZ)での位置を表すとする。
撮像光学系が両側テレセントリックである場合には、座標変換を必要としないため、x方向とy方向のセンサ画素ピッチが等しいとすれば、観察角φは、x方向のセンサ画素ピッチΔxと、z方向の移動間隔Δz(単位はμm)を用いて、下記式で表現できる。
以上で、実際に標本を観察したときの視線に対応する偏角θ、観察角φについて説明した。
以降の説明では、レンズ面上の視点の位置(x,y,z)=(s,t,0)を視点(s,t)と略して記載する。また、以降の説明では、直交座標系(XYZ)上での画像処理を前提として説明するため、視点の位置(s,t)に言及する場合のみ透視座標系(座標変換前の実空間)での位置を表すものとし、その他は特に断りが無い限りは、直交座標系(XYZ)での位置を表すとする。
図5の撮像装置で取得したZスタック画像に対し特許文献1の方法を適用すると、視点の位置、即ち観察方向を変えた視点画像を生成することが出来る。
特許文献1の方法で計算する視点画像には、主に2つの特徴がある。1つは視点画像が非常に深い(無限大の)被写界深度を持ち、透過率が異なる標本内の物質の境界が明瞭に見える点である。もう1つは、視点画像は、照明の一部領域から標本を照らして得る偏斜照明の観察像に近く、XY平面での視線方向に沿って変化する凹凸が強調され、標本が立体的に見える点である。視点画像では偏斜照明の像と同様、光軸に対して視線方向が傾くほど、即ち、視線の観察角φが大きくなるほど、標本表面の凹凸のコントラストが高くなり、標本表面が立体的に見える。
(ただし、物理的には偏斜照明の像と視点画像は異なっている。偏斜照明の像はフォーカス位置の変更に伴って光学的なぼけが発生するが、視点画像はフォーカス位置の変更によらず被写界深度は非常に深いままであるという違いがある。なお、視点画像はピントを合わせるZスタック画像のZ位置Zfによって変化するが、その変化はXY方向の平行移動で表される。)
特許文献1の方法で計算する視点画像には、主に2つの特徴がある。1つは視点画像が非常に深い(無限大の)被写界深度を持ち、透過率が異なる標本内の物質の境界が明瞭に見える点である。もう1つは、視点画像は、照明の一部領域から標本を照らして得る偏斜照明の観察像に近く、XY平面での視線方向に沿って変化する凹凸が強調され、標本が立体的に見える点である。視点画像では偏斜照明の像と同様、光軸に対して視線方向が傾くほど、即ち、視線の観察角φが大きくなるほど、標本表面の凹凸のコントラストが高くなり、標本表面が立体的に見える。
(ただし、物理的には偏斜照明の像と視点画像は異なっている。偏斜照明の像はフォーカス位置の変更に伴って光学的なぼけが発生するが、視点画像はフォーカス位置の変更によらず被写界深度は非常に深いままであるという違いがある。なお、視点画像はピントを合わせるZスタック画像のZ位置Zfによって変化するが、その変化はXY方向の平行移動で表される。)
次に、1つ目の特徴である、透過率が異なる物質の境界が明瞭に見える理由について説明する。
図6(a)は、直交座標系(XYZ)での光学系の3次元的な焦点ぼけを表す図である。600は3次元的な焦点ぼけ形状を示し、ピント位置(2つの円錐の頂点)では焦点ぼけは僅かだが、Z位置がピント位置から離れるに従い、焦点ぼけが広がる様子を示している。特許文献1の方法を用いれば、Zスタック画像から円錐600の内部を通る任意の視線方向(例えば直線610)の光線で構成される視点画像を生成することが出来る。
図6(a)は、直交座標系(XYZ)での光学系の3次元的な焦点ぼけを表す図である。600は3次元的な焦点ぼけ形状を示し、ピント位置(2つの円錐の頂点)では焦点ぼけは僅かだが、Z位置がピント位置から離れるに従い、焦点ぼけが広がる様子を示している。特許文献1の方法を用いれば、Zスタック画像から円錐600の内部を通る任意の視線方向(例えば直線610)の光線で構成される視点画像を生成することが出来る。
図6(b)は、直交座標系(XYZ)での病理標本(検体)を異なる方向から見た様子を示す。図6(b)の標本620の内部には斜め方向の空洞630が存在している。
方向631から観察すると空洞630以外の部位が透けて見える為、空洞630の壁面のコントラストは明瞭ではない。また方向632から観察した場合も同様で空洞630のコントラストは不明瞭である。しかし空洞630の壁面に沿った方向633から観察する場合、他の部位の影響を受けないので、空洞630の壁面のコントラストは明瞭となる。なお、視線方向が多少空洞の壁面の方向と異なってもコントラストは比較的高い状態を維持できる。
方向631から観察すると空洞630以外の部位が透けて見える為、空洞630の壁面のコントラストは明瞭ではない。また方向632から観察した場合も同様で空洞630のコントラストは不明瞭である。しかし空洞630の壁面に沿った方向633から観察する場合、他の部位の影響を受けないので、空洞630の壁面のコントラストは明瞭となる。なお、視線方向が多少空洞の壁面の方向と異なってもコントラストは比較的高い状態を維持できる。
一方、標本620のZスタック画像においては、いずれのZ位置(焦点位置)のレイヤー画像においても、方向631〜633の光線を含む多方向の光束の影響を受ける為、空洞の壁面のコントラストは方向633からの観察像に比べて明瞭にはならない。この現象は空洞に限らず、核や細胞膜、線維等においても同様である。
以上、視点画像において標本内の透過率が異なる物質の境界が明瞭に見える現象について説明した。
以上、視点画像において標本内の透過率が異なる物質の境界が明瞭に見える現象について説明した。
病理標本は半透明の物体であり、透過光以外にも散乱光が存在している。その散乱光の存在が視点画像の2つ目の特徴を生んでいる。
次に、標本での散乱光により、視線の観察角φが大きくなるほど、標本表面の凹凸のコントラストが高くなる理由について説明する。
次に、標本での散乱光により、視線の観察角φが大きくなるほど、標本表面の凹凸のコントラストが高くなる理由について説明する。
図14の1400はプレパラート内の病理標本の表面に存在する凹凸を示す模式図である。図14に示すxz平面の凹凸は奥行き方向であるy方向にも続いているとする。
組織診用の病理標本はパラフィンで固定された後、マイクロトームで均一な厚みにスライスされ、その後染色が施されている。しかし、病理標本は完全に均一ではなく、細胞と管や腔の境界、核と細胞質の間の境界などでは組織の構造や物質の成分に起因する凹凸が存在し、病理標本の表面には図14に示すような起伏のある構造が存在している。
(図14は簡易的なモデルであり、実際の標本の凹凸には図14のようにとがった部分は少ない。また図14のような凸の構造だけでなく標本内部に凹んだ構造も存在する。また表面が平らでも内部に屈折率が異なる物質が存在する場合は光学的な距離が変わるため、標本内部の屈折率の不連続は表面凹凸と見なすことができる。)
なお、実際のプレパラートでは、カバーグラスと標本の間に透明な封入剤が存在している。しかし、封入剤の屈折率と標本の屈折率の差は僅かで影響は少ないため、以降、両者の屈折率は同一として説明する。
組織診用の病理標本はパラフィンで固定された後、マイクロトームで均一な厚みにスライスされ、その後染色が施されている。しかし、病理標本は完全に均一ではなく、細胞と管や腔の境界、核と細胞質の間の境界などでは組織の構造や物質の成分に起因する凹凸が存在し、病理標本の表面には図14に示すような起伏のある構造が存在している。
(図14は簡易的なモデルであり、実際の標本の凹凸には図14のようにとがった部分は少ない。また図14のような凸の構造だけでなく標本内部に凹んだ構造も存在する。また表面が平らでも内部に屈折率が異なる物質が存在する場合は光学的な距離が変わるため、標本内部の屈折率の不連続は表面凹凸と見なすことができる。)
なお、実際のプレパラートでは、カバーグラスと標本の間に透明な封入剤が存在している。しかし、封入剤の屈折率と標本の屈折率の差は僅かで影響は少ないため、以降、両者の屈折率は同一として説明する。
図14の1411は凹凸の無い面、1412は右上がりの斜面、1413は右下がりの斜面を示す。斜面1412、斜面1413がx軸となす傾斜角はそれぞれα(α>0)である。
図15は図14の1411〜1413の面での観察角φにおける散乱光の強度を示す模式図である。図15の(a)、(b)、(c)はそれぞれ平面1411、斜面1412、1413での光の散乱を示している。それぞれの面に接する円は、標本表面での光の拡散特性を完全拡散透過面と仮定した場合の散乱方向による散乱光の強度を示す。円内の太い矢印の線は光軸(z軸)からφだけ傾けた角度から観察した場合の散乱光の強度を示している。(実際には標本表面は完全拡散透過面ではなく、光の入射方向・観察方向による強度依存性があるが、説明を簡略化するため、ここでは完全拡散透過面と仮定して説明する。)
図15は図14の1411〜1413の面での観察角φにおける散乱光の強度を示す模式図である。図15の(a)、(b)、(c)はそれぞれ平面1411、斜面1412、1413での光の散乱を示している。それぞれの面に接する円は、標本表面での光の拡散特性を完全拡散透過面と仮定した場合の散乱方向による散乱光の強度を示す。円内の太い矢印の線は光軸(z軸)からφだけ傾けた角度から観察した場合の散乱光の強度を示している。(実際には標本表面は完全拡散透過面ではなく、光の入射方向・観察方向による強度依存性があるが、説明を簡略化するため、ここでは完全拡散透過面と仮定して説明する。)
完全拡散透過面では、面と直交する法線方向の光の強度をI0、観察方向と面の法線のなす角をδとすると、δ方向の散乱光の強度I(δ)はI(δ)=I0cosδで表せる。
図15の(a)、(b)、(c)において、観察方向と面の法線のなす角δはそれぞれφ、φ+α、φ−αで表せるため、それぞれの散乱光の強度は、
I0cosφ、I0cos(φ+α)、I0cos(φ−α)
となる。
なお、観察方向から見てzの値が増加する斜面(上りの斜面)では傾斜角αを正とし、zの値が減少する斜面(下りの斜面)では傾斜角αを負とすれば、いずれの面でも散乱光の強度は、I0cos(φ−α)で表せる。
図15の(a)、(b)、(c)において、観察方向と面の法線のなす角δはそれぞれφ、φ+α、φ−αで表せるため、それぞれの散乱光の強度は、
I0cosφ、I0cos(φ+α)、I0cos(φ−α)
となる。
なお、観察方向から見てzの値が増加する斜面(上りの斜面)では傾斜角αを正とし、zの値が減少する斜面(下りの斜面)では傾斜角αを負とすれば、いずれの面でも散乱光の強度は、I0cos(φ−α)で表せる。
表1にφおよびαを変えたコントラストC(φ,α)の値を示す。
表1より、観察角φが小さいときは、傾斜角αが大きくとも斜面1412、1413の間のコントラストは低いため観察しづらく、観察角φが大きくなるに従い、傾斜角αが小さくてもコントラストは大きくなり、観察しやすくなることが分かる。
以上、標本での散乱光により、視線の観察角φが大きくなるほど、標本表面の凹凸のコントラストが高くなる理由について説明した。
以上、標本での散乱光により、視線の観察角φが大きくなるほど、標本表面の凹凸のコントラストが高くなる理由について説明した。
(視点を変えたときの散乱光強度の変化)
次に視点を変えたときの標本表面の散乱光強度の変化について説明する。
図14は表面凹凸のエッジに垂直な方向(輝度変化の方向)と視点の偏角θ(θ=0)が一致した場合の図である。表面凹凸のエッジに垂直な方向とx軸とのなす角を凹凸方向角βとすると、凹凸方向角βと偏角θが一致しない場合には、表面凹凸1400を斜め方向から観察することになる。このとき、偏角θ−βの角度を持つ観察方向から見た、斜面1413とその反対方向の斜面1412の見かけ上の傾斜角α’は
で求まる。数7から、見かけ上の傾斜角α’はαより小さくなり、凹凸方向角βと偏角θの差|θ−β|によって、コントラストCが低下することが分かる。
ここで、|θ−β|が90度を境に、傾斜角αおよびα’の符号は正から負、あるいは負から正に切り替わる点に注意する。これは、視点の偏角を変えた観察方向によって上りの斜面と下りの斜面が変わることに対応する。傾斜角α’は−α〜+αの範囲を取り、例えば、斜面1413では視点の偏角が|θ−β|=0のときα’=α(観察方向から見て上りの斜面)、|θ−β|=πのときα’=−α(下りの斜面)となる。
次に視点を変えたときの標本表面の散乱光強度の変化について説明する。
図14は表面凹凸のエッジに垂直な方向(輝度変化の方向)と視点の偏角θ(θ=0)が一致した場合の図である。表面凹凸のエッジに垂直な方向とx軸とのなす角を凹凸方向角βとすると、凹凸方向角βと偏角θが一致しない場合には、表面凹凸1400を斜め方向から観察することになる。このとき、偏角θ−βの角度を持つ観察方向から見た、斜面1413とその反対方向の斜面1412の見かけ上の傾斜角α’は
で求まる。数7から、見かけ上の傾斜角α’はαより小さくなり、凹凸方向角βと偏角θの差|θ−β|によって、コントラストCが低下することが分かる。
ここで、|θ−β|が90度を境に、傾斜角αおよびα’の符号は正から負、あるいは負から正に切り替わる点に注意する。これは、視点の偏角を変えた観察方向によって上りの斜面と下りの斜面が変わることに対応する。傾斜角α’は−α〜+αの範囲を取り、例えば、斜面1413では視点の偏角が|θ−β|=0のときα’=α(観察方向から見て上りの斜面)、|θ−β|=πのときα’=−α(下りの斜面)となる。
次に、視点の偏角がθ−βの方向から観察した斜面1413の散乱光強度を平面1411で観察される光の強度で正規化した、散乱光正規化強度V(φ,α)について考える。
平面1411で観察される光の強度をIts(φ)で表し、透過光の強度および散乱光の強度の和で構成される観察角φの関数とする。前記より、散乱光正規化強度V(φ,α)は以下の式で表せる。
病理標本では表面凹凸の傾斜角αは十分に小さいと推定できるため、cosα=1、sinα=αの近似式を用いて、数8は以下のように近似できる。
平面1411で観察される光の強度をIts(φ)で表し、透過光の強度および散乱光の強度の和で構成される観察角φの関数とする。前記より、散乱光正規化強度V(φ,α)は以下の式で表せる。
続いて、A(φ)およびB(φ)のとる値について述べる。
光の強度Its(φ)は照明光学系の特性から一般に観察角φに従って減少する傾向があるため、仮にIts(φ)=I1cosφとして近似した場合、A(φ)=I0/I1と
なる。散乱光が透過光に比べて小さい場合、A(φ)は比較的小さな定数とみなすことができる。一方、B(φ)は、φ=0のとき、sinφ=0よりB(φ)=0となる。観察角
φの増加に従ってsinφは増加し、また光の強度Its(φ)は減少すると見なせること
から、B(φ)は増加関数となる。Its(φ)=I1cosφと仮定すれば、B(φ)=
I0/I1×tanφとなる。
光の強度Its(φ)は照明光学系の特性から一般に観察角φに従って減少する傾向があるため、仮にIts(φ)=I1cosφとして近似した場合、A(φ)=I0/I1と
なる。散乱光が透過光に比べて小さい場合、A(φ)は比較的小さな定数とみなすことができる。一方、B(φ)は、φ=0のとき、sinφ=0よりB(φ)=0となる。観察角
φの増加に従ってsinφは増加し、また光の強度Its(φ)は減少すると見なせること
から、B(φ)は増加関数となる。Its(φ)=I1cosφと仮定すれば、B(φ)=
I0/I1×tanφとなる。
特許文献1の方法で計算する視点画像では、平均を維持する周波数フィルタ処理により、視点にかかわらず画像の平均輝度は変化しない。従って、視点画像での斜面1413の輝度から染色部位の透過率の影響を受けた透過光強度を除いた値は、正規化強度V(φ,α)にほぼ等しいと考えることができる。
(視点を変えたときの透過光強度の変化)
次に、視点が異なる視点画像での透過光強度の変化について考える。
観察する標本において、隣接する物質との輝度差が少ない領域(細胞質や細胞境界)では視線方向が違っても輝度差は少なく、透過光の強度には影響が少ない。また、組織診病理標本のように厚みが4μm程度の比較的薄い標本では、標本表面にピントを合わせて計算した視点画像では観察される標本内部の物体の位置は大きくは変わらない。(特許文献1の方法で計算される視点画像ではピントを合わせたZスタック画像のZ位置Zfの近傍に存在する物体は、視点によらずほぼ同一の視点画像のXY位置に現れる。それは複数視点の視点画像を統合した画像においてXY位置に差がないため、ぼけが少なくなることからも理解できる。)
従って、視点の位置を変えて求めた視点画像間での透過光強度の差は僅かと見なすことができ、散乱光正規化強度間の差分と視点画像間の差分はほぼ等しいと考えることができる。
次に、視点が異なる視点画像での透過光強度の変化について考える。
観察する標本において、隣接する物質との輝度差が少ない領域(細胞質や細胞境界)では視線方向が違っても輝度差は少なく、透過光の強度には影響が少ない。また、組織診病理標本のように厚みが4μm程度の比較的薄い標本では、標本表面にピントを合わせて計算した視点画像では観察される標本内部の物体の位置は大きくは変わらない。(特許文献1の方法で計算される視点画像ではピントを合わせたZスタック画像のZ位置Zfの近傍に存在する物体は、視点によらずほぼ同一の視点画像のXY位置に現れる。それは複数視点の視点画像を統合した画像においてXY位置に差がないため、ぼけが少なくなることからも理解できる。)
従って、視点の位置を変えて求めた視点画像間での透過光強度の差は僅かと見なすことができ、散乱光正規化強度間の差分と視点画像間の差分はほぼ等しいと考えることができる。
(視点の偏角θを変えた視点画像からの標本表面の散乱光の情報の抽出)
続いて、偏角θを変えた視点画像間の演算により、標本表面の散乱光の情報を抽出することを考える。
図14の1413に示す傾斜角αの所定の表面凹凸において、数7より、凹凸方向角βと偏角θの差|θ−β|が0度の場合、傾斜角はαであり、散乱光正規化強度V(φ,α)は最大となる。一方、|θ−β|が180度の場合、見かけ上の傾斜角α’は−αとな
り、散乱光正規化強度V(φ,α’)は最小となる。
従って、|θ−β|が0になる視点画像と|θ−β|が180度となる視点画像の間で減算をすれば、効率的に標本表面の散乱光の情報(の一部)が抽出できることが分かる。以下に式を示す。
続いて、偏角θを変えた視点画像間の演算により、標本表面の散乱光の情報を抽出することを考える。
図14の1413に示す傾斜角αの所定の表面凹凸において、数7より、凹凸方向角βと偏角θの差|θ−β|が0度の場合、傾斜角はαであり、散乱光正規化強度V(φ,α)は最大となる。一方、|θ−β|が180度の場合、見かけ上の傾斜角α’は−αとな
り、散乱光正規化強度V(φ,α’)は最小となる。
従って、|θ−β|が0になる視点画像と|θ−β|が180度となる視点画像の間で減算をすれば、効率的に標本表面の散乱光の情報(の一部)が抽出できることが分かる。以下に式を示す。
標本の表面凹凸の傾斜角α、凹凸方向角βは様々であるため、偏角θを変えた様々な視点において偏角θが180度異なる視点の視点画像間で差分を求め、その結果を集めれば、標本表面の散乱光の情報が抽出できることが分かる。
なお、数10より、偏角θが180度異なる視点の視点画像間以外の演算であっても、散乱光の情報の抽出は可能であることが分かる。例えば、|θ−β|=π/2のときα’=0であり、視点画像間の差分からα×B(φ)が抽出できる。
また、減算だけでなく除算でも標本表面の散乱光の情報が抽出できる。すなわち、V(φ,α)/V(φ,α’)の値も傾斜角αに応じて変化するので、散乱光の情報を表す指標といえる。
なお、数10より、偏角θが180度異なる視点の視点画像間以外の演算であっても、散乱光の情報の抽出は可能であることが分かる。例えば、|θ−β|=π/2のときα’=0であり、視点画像間の差分からα×B(φ)が抽出できる。
また、減算だけでなく除算でも標本表面の散乱光の情報が抽出できる。すなわち、V(φ,α)/V(φ,α’)の値も傾斜角αに応じて変化するので、散乱光の情報を表す指標といえる。
(視点の観察角φを変えた視点画像からの標本表面の散乱光の情報の抽出)
続いて、前述の偏角θの場合と同様に、観察角φを変えた視点画像間の演算により、標本表面の散乱光の情報を抽出することを考える。
観察角がφとφ’の2つの視点画像間の減算は下記の式で表現できる。(ただし、A(φ)=A(φ’)と近似)
続いて、前述の偏角θの場合と同様に、観察角φを変えた視点画像間の演算により、標本表面の散乱光の情報を抽出することを考える。
観察角がφとφ’の2つの視点画像間の減算は下記の式で表現できる。(ただし、A(φ)=A(φ’)と近似)
既に述べたように、B(φ)はφの増加に伴って増加する関数であることから、観察角φを変えた2枚の視点画像間の演算により、標本表面の散乱光の情報(の一部)が抽出できることが分かる。B(φ)はφ=0のとき0となるため、観察角φの視点画像と観察角φ’が0になる視点の視点画像との減算が最も効果的である。つまり、2つの視点画像から散乱光を抽出する場合、一方が観察角の大きさが0度の視点画像であり、他方が観察角の大きさが0度でない視点画像であるとよい。
前述の偏角θの場合と同様、標本中の凹凸方向角βは様々であるため、観察角φだけでなく、偏角θを変えた様々な視点において視点画像間で差分を求め、その結果を集めれば、標本表面の散乱光の情報が抽出できることが分かる。
前述の偏角θの場合と同様、標本中の凹凸方向角βは様々であるため、観察角φだけでなく、偏角θを変えた様々な視点において視点画像間で差分を求め、その結果を集めれば、標本表面の散乱光の情報が抽出できることが分かる。
また、減算だけでなく除算でも標本表面の散乱光の情報が抽出できる。これまでの説明から、観察角φにおける視点画像の輝度は、α×B(φ)+D(Dは定数)で近似できるため、観察角φを変えた視点画像間の輝度の除算は、
で表現できる。
DIV(φ,φ’)は、αが0のとき1となり、αが0でないときはαの大きさに応じて強度が変わる。よって、除算DIV(φ,φ’)によっても、傾斜角αの情報が抽出で
きることになる。
減算の場合と同様に、観察角φだけでなく、偏角θを変えた様々な視点において視点画像間で除算をし、その結果を集めれば、標本表面の散乱光の情報が抽出できる。
DIV(φ,φ’)は、αが0のとき1となり、αが0でないときはαの大きさに応じて強度が変わる。よって、除算DIV(φ,φ’)によっても、傾斜角αの情報が抽出で
きることになる。
減算の場合と同様に、観察角φだけでなく、偏角θを変えた様々な視点において視点画像間で除算をし、その結果を集めれば、標本表面の散乱光の情報が抽出できる。
本実施例のように透過型の顕微鏡により撮影した画像(顕微鏡画像)には、標本を透過した光による透過光成分と、標本の表面等で散乱した光による散乱光成分とが含まれる。透過光成分の強度は標本の光の透過率に依存するので、標本内の色の違いや屈折率の違いなどを表している。一方、散乱光成分の強度は、前述のように、主に標本表面の凹凸(表面形状)に依存する。元画像としての顕微鏡画像では透過光成分が支配的なため散乱光成分は殆ど認識できないが、上記のように観察方向の異なる複数の視点画像の間の差異を抽出ないし強調することで、散乱光成分を抽出ないし強調できる。言い換えれば、観察方向の異なる2つの視点画像の「差(差分)」および「比」は、元画像に含まれる散乱光成分(散乱光の情報)を表している特徴量といえる。
なお、「強調」とは、ある部分を(元の状態よりも)目立たせる操作であり、「抽出」とは、ある部分のみを取り出す操作であるが、ある部分に注目するという点では同じ操作であるため、本明細書では二つの用語を特に区別せずに用いる場合もある。また、散乱光成分の強調という操作には、画像中の散乱光成分の強度を上げる操作だけでなく、画像中の透過光成分の強度を下げることで散乱光成分の強度を相対的に上げる操作も該当する。以降、画像に含まれる散乱光成分(散乱光の情報)を抽出ないし強調して得られる画像を散乱画像とよび、元画像から散乱画像を生成する操作を散乱画像の抽出とよぶ。なお、視点画像の差異を抽出ないし強調する演算として減算と除算を例示したが、画像の差異を強調できればどのような演算を用いてもよい。
なお、「強調」とは、ある部分を(元の状態よりも)目立たせる操作であり、「抽出」とは、ある部分のみを取り出す操作であるが、ある部分に注目するという点では同じ操作であるため、本明細書では二つの用語を特に区別せずに用いる場合もある。また、散乱光成分の強調という操作には、画像中の散乱光成分の強度を上げる操作だけでなく、画像中の透過光成分の強度を下げることで散乱光成分の強度を相対的に上げる操作も該当する。以降、画像に含まれる散乱光成分(散乱光の情報)を抽出ないし強調して得られる画像を散乱画像とよび、元画像から散乱画像を生成する操作を散乱画像の抽出とよぶ。なお、視点画像の差異を抽出ないし強調する演算として減算と除算を例示したが、画像の差異を強調できればどのような演算を用いてもよい。
散乱画像は、標本表面の凹凸(表面形状)の観察及びそれに基づく診断に適した観察用画像として利用価値があるものと期待される。例えば、標本内のある領域の表面に凹凸があったとしても、その領域内の透過率がほぼ均一な場合には、元画像ではその領域の輝度又は色は一様になるため、目視では凹凸を認識できない。散乱画像はこのような表面凹凸(輝度や色の変化として現れない表面凹凸)を可視化するのに特に有効である。また、細胞境界や細胞と類洞の境目なども凹凸があるので、散乱画像はこれらの境界を明瞭化する効果もある。なお、画像特徴を抽出ないし強調する処理の一つにエッジ抽出(強調)処理があるが、画像の輝度や色の変化として現れない表面凹凸については、エッジ抽出(強調)では可視化できない。よって、標本のどのような構造ないし特徴を観察したいかに応じて、散乱画像抽出とエッジ抽出を使い分けるとよい。
以下、画像生成装置100の具体的な実施例について説明する。
[実施例1]
(散乱画像抽出設定画面)
図7(a)、図7(b)は実施例1における散乱画像抽出機能の設定画面の一例である。図2の画像表示アプリケーションで表示画像中の領域207をマウスで選択した後、マウスの右クリックで表示される機能拡張メニュー208から「視点分解散乱画像抽出」(不図示)の項目を選択する。それに対応して散乱画像抽出処理前後の画像を示す新規ウィンドウ700(図7(a))および散乱画像抽出機能の設定画面703(図7(b))が表示される。ウィンドウ700の左側領域701には領域207内の画像が表示され、右側領域702には散乱画像抽出処理結果の画像が表示される。
(散乱画像抽出設定画面)
図7(a)、図7(b)は実施例1における散乱画像抽出機能の設定画面の一例である。図2の画像表示アプリケーションで表示画像中の領域207をマウスで選択した後、マウスの右クリックで表示される機能拡張メニュー208から「視点分解散乱画像抽出」(不図示)の項目を選択する。それに対応して散乱画像抽出処理前後の画像を示す新規ウィンドウ700(図7(a))および散乱画像抽出機能の設定画面703(図7(b))が表示される。ウィンドウ700の左側領域701には領域207内の画像が表示され、右側領域702には散乱画像抽出処理結果の画像が表示される。
散乱画像抽出機能の設定を変更する場合には、設定画面703を操作する。ユーザがマウスにより視点分解設定ボタン704を押下すると、散乱画像抽出に用いる視点画像の方向(3次元的な観察方向)を決める為の設定画面が表示される。なお、視点の数は1つでも複数でも良い。詳細は後述する。ユーザが視点散乱画像抽出設定ボタン705を押下す
ると、視点画像から散乱画像を抽出する方法やパラメータを設定する視点散乱画像抽出設定画面が表示される。散乱画像を抽出する方法としては種々の方法が選択可能であり、詳細は後述する。ユーザが視点散乱画像統合設定ボタン706を押下すると、視点画像から抽出された散乱画像(以降、視点散乱画像又は視点散乱画像抽出像と呼ぶ)を統合した画像(以降、視点散乱画像統合像と呼ぶ)を生成するための設定画面が表示される。ここでは各視点散乱画像抽出像に対する重み付けの設定を行う。また必要ならばオプションで視点散乱画像抽出像を統合した後のノイズ除去パラメータ等の設定を行うことも可能である。詳細は後述する。オーバーレイ表示707はチェックボックスであり、この設定を有効にすると右側領域702には選択領域207内の画像と散乱画像抽出像が重ね合わせて表示される。ユーザが、必要に応じて上記設定を行い、実行ボタン708を押すと、視点画像の生成と散乱画像の抽出が行われ、処理結果が表示される。詳細は後述する。
ると、視点画像から散乱画像を抽出する方法やパラメータを設定する視点散乱画像抽出設定画面が表示される。散乱画像を抽出する方法としては種々の方法が選択可能であり、詳細は後述する。ユーザが視点散乱画像統合設定ボタン706を押下すると、視点画像から抽出された散乱画像(以降、視点散乱画像又は視点散乱画像抽出像と呼ぶ)を統合した画像(以降、視点散乱画像統合像と呼ぶ)を生成するための設定画面が表示される。ここでは各視点散乱画像抽出像に対する重み付けの設定を行う。また必要ならばオプションで視点散乱画像抽出像を統合した後のノイズ除去パラメータ等の設定を行うことも可能である。詳細は後述する。オーバーレイ表示707はチェックボックスであり、この設定を有効にすると右側領域702には選択領域207内の画像と散乱画像抽出像が重ね合わせて表示される。ユーザが、必要に応じて上記設定を行い、実行ボタン708を押すと、視点画像の生成と散乱画像の抽出が行われ、処理結果が表示される。詳細は後述する。
710はウィンドウ700内で右クリックすることで呼び出し可能な機能拡張メニューである。機能拡張メニュー710の中にはN/C比算出(不図示)等の画像解析の項目が並んでいる。項目を選択すると、画像解析処理の設定画面(不図示)が表示され、ウィンドウ内の選択領域あるいは全体に対して解析処理を実行し、処理結果を表示する。詳細は後述する。
(散乱画像抽出処理)
図8は前述の実行ボタン708を押下した際に実行される散乱画像抽出処理のフローを示す。この処理は、画像表示アプリケーションとそこから呼び出される画像生成プログラムによって実現されるものである。
図8は前述の実行ボタン708を押下した際に実行される散乱画像抽出処理のフローを示す。この処理は、画像表示アプリケーションとそこから呼び出される画像生成プログラムによって実現されるものである。
Zスタック画像取得ステップS801では、画像表示アプリケーションで表示中の画像選択領域207の座標を元に、メインメモリ302または記憶装置130に格納されたZスタック画像から必要な範囲のデータを取得する。なお、Zスタック画像が他のコンピュータシステム140に存在する場合にはネットワークI/F304を通じてデータを取得し、メインメモリ302に格納する。
続いて、視点分解散乱画像抽出・統合処理ステップS802では、被写体に対する視線方向(観察方向)を決める視点の情報に基づき、Zスタック画像から複数の視点に対する視点画像を生成する(この操作を視点画像への分解ともいう)。そして、各視点画像から散乱画像を抽出して視点散乱画像抽出像を生成し、それらを統合して視点散乱画像統合像を生成する。詳細は後述する。
続いて、輪郭抽出処理ステップS803では、視点散乱画像統合像から輪郭を抽出した輪郭抽出像を生成する。なお、ステップS803の処理は必須ではなく、不図示の設定に従って適用/不適用が変更できる。詳細は後述する。
最後に、画像表示処理ステップS804では、輪郭抽出像、視点散乱画像抽出像、あるいは視点散乱画像統合像を画像表示アプリケーションの表示倍率に合わせて拡大/縮小し、右側領域702に表示する。オーバーレイ表示707が有効である場合、選択領域207内の画像に輪郭抽出像、視点散乱画像抽出像、あるいは視点散乱画像統合像を重ね合わせて表示する。この際、選択領域207内の画像に対し、対応する位置の視点散乱画像抽出像あるいは視点散乱画像統合像を合成(加算や減算など)した画像を右側領域702に表示しても良い。またさらに合成した画像を、選択領域207内の画像と明るさが近くなるように諧調補正した画像を右側領域702に表示しても良い。複数の視点散乱画像抽出像を一定の時間間隔で切り替えるアニメーション表示を行ってもよい。このとき、輪郭抽出像、視点散乱画像抽出像、あるいは視点散乱画像統合像はチャネル(RGB)毎に色を付けて表示しても良いし、標本の色と重ならない別の色に変更しても良い。ここで表示に
用いられる画像(輪郭抽出像、視点散乱画像抽出像、視点散乱画像統合像、又は、それらを元画像に合成した画像)は、いずれも画像観察や画像診断に適した観察用画像である。
用いられる画像(輪郭抽出像、視点散乱画像抽出像、視点散乱画像統合像、又は、それらを元画像に合成した画像)は、いずれも画像観察や画像診断に適した観察用画像である。
(視点分解散乱画像抽出・統合処理)
図9は視点分解散乱画像抽出・統合処理S802の内部処理を示すフローチャートである。
まず、視点取得処理ステップS901では、後段のステップS902において視点画像の生成に必要な視点の位置情報を取得する。ステップS901では予め定められた視点の位置情報を、メインメモリ302や記憶装置130、他のコンピュータシステム140から取得しても良い。またステップS901では画像表示アプリケーション上で設定した情報に基づき視点の位置情報を計算して求めても良い。詳細は後述する。
図9は視点分解散乱画像抽出・統合処理S802の内部処理を示すフローチャートである。
まず、視点取得処理ステップS901では、後段のステップS902において視点画像の生成に必要な視点の位置情報を取得する。ステップS901では予め定められた視点の位置情報を、メインメモリ302や記憶装置130、他のコンピュータシステム140から取得しても良い。またステップS901では画像表示アプリケーション上で設定した情報に基づき視点の位置情報を計算して求めても良い。詳細は後述する。
続いて、視点画像生成ステップS902では、ステップS801で取得した選択領域207のZスタック画像を元に、ステップS901で求めた視点に対応する視点画像の生成を行う。画像生成装置100(CPU301)が実行するこの機能を視点画像生成手段とよぶ。なお、Zスタック画像から任意の視点画像を生成する手法(MFI任意視点/焦点ぼけ画像生成法)には、前述の特許文献1、非特許文献2、3等の方法をはじめとして、如何なる方法を用いてもよい。
続いて、視点散乱画像抽出処理ステップS903では、生成した視点画像に対し、視点散乱画像抽出設定(705)に基づき、散乱画像抽出処理を行う。視点が複数存在する場合は、視点数分の視点散乱画像抽出処理を実行する。続いて、視点散乱画像統合像生成ステップS904では、視点散乱画像統合設定(706)に基づき、ステップS903で生成した複数の視点散乱画像抽出像を合成し、視点散乱画像統合像を生成する。画像生成装置100(CPU301)が実行するステップS903−S904の機能を観察用画像生成手段とよぶ。詳細は後述する。
以下、視点取得処理ステップS901、視点散乱画像抽出処理ステップS903、視点散乱画像統合像生成ステップS904の詳細を説明する。
以下、視点取得処理ステップS901、視点散乱画像抽出処理ステップS903、視点散乱画像統合像生成ステップS904の詳細を説明する。
(視点取得処理ステップS901)
以下、視点分解設定(704)に基づき、視点取得処理ステップS901で視点の位置情報を計算する場合について説明する。
図10(a)の視点分解設定画面1001は、視点分解設定ボタン704の押下時に表示される設定画面の一例である。ここでは散乱画像抽出に用いる視点画像の視点位置を設定する。
設定画面1001では視点の設定方法として直接設定とメッシュ設定の2つが選択できる。直接設定では、視点数と視点の位置(s,t)をユーザに直接指定させる。一方、メッシュ設定では、外径、内径(中心遮蔽)、離散化ステップをユーザに指定させ、これらの指定値から各視点の位置を計算する。
以下、視点分解設定(704)に基づき、視点取得処理ステップS901で視点の位置情報を計算する場合について説明する。
図10(a)の視点分解設定画面1001は、視点分解設定ボタン704の押下時に表示される設定画面の一例である。ここでは散乱画像抽出に用いる視点画像の視点位置を設定する。
設定画面1001では視点の設定方法として直接設定とメッシュ設定の2つが選択できる。直接設定では、視点数と視点の位置(s,t)をユーザに直接指定させる。一方、メッシュ設定では、外径、内径(中心遮蔽)、離散化ステップをユーザに指定させ、これらの指定値から各視点の位置を計算する。
「外径」には、計算する視点の最大のズレ量を指定し、「内径(中心遮蔽)」には、計算する視点の最小のズレ量(つまり計算しない視点の最大のズレ量)を指定する。ここでは、レンズ面上の原点を中心とする距離(半径)によって、外径および内径(中心遮蔽)の値を設定する。なお、外径にはレンズ面上での光学系の半径raを越える値は設定できない。「離散化ステップ」は、「外径」で規定される円から「内径」で規定される円を除いたドーナツ状の領域内に、視点画像を生成する視点の位置を離散的に設定するための刻み間隔である。離散化ステップが細かい程、計算する視点数は増加する。
なお上述の円以外にも様々な形状の設定が可能である。例えば、半径の異なる複数の同心円や中心から放射線上に伸びる直線が設定できる。同心円設定の場合、各々の円の半径
、各々の円上の視点の密度を決める離散化ステップ(例えば、角度間隔の設定)が設定できる。また中心から放射線上に伸びる直線の場合、線の間隔(例えば、角度間隔の設定)や放射線上の視点の密度を決める離散化ステップが設定できる。
、各々の円上の視点の密度を決める離散化ステップ(例えば、角度間隔の設定)が設定できる。また中心から放射線上に伸びる直線の場合、線の間隔(例えば、角度間隔の設定)や放射線上の視点の密度を決める離散化ステップが設定できる。
(視点散乱画像抽出処理ステップS903)
図10(b)の視点散乱画像抽出設定画面1002は、視点散乱画像抽出設定ボタン705押下時に表示する設定画面の一例である。ここでは視点画像から散乱画像抽出を行う際に用いる散乱画像抽出方式やパラメータを設定する。
設定画面1002の方式欄では、視点散乱画像抽出処理ステップS903で用いる散乱画像の抽出方法が選択できる。また、視点散乱画像抽出設定画面1002ではノイズ除去設定が可能である。ノイズ除去設定としては、閾値による2値化や、メディアンフィルタ、エッジを保ったノイズ除去が可能なバイラテラルフィルタなどが適用できる。この処理により明瞭なコントラストを持つ散乱画像を抽出し、よりN/C比を検出しやすくすることができる。
図10(b)の視点散乱画像抽出設定画面1002は、視点散乱画像抽出設定ボタン705押下時に表示する設定画面の一例である。ここでは視点画像から散乱画像抽出を行う際に用いる散乱画像抽出方式やパラメータを設定する。
設定画面1002の方式欄では、視点散乱画像抽出処理ステップS903で用いる散乱画像の抽出方法が選択できる。また、視点散乱画像抽出設定画面1002ではノイズ除去設定が可能である。ノイズ除去設定としては、閾値による2値化や、メディアンフィルタ、エッジを保ったノイズ除去が可能なバイラテラルフィルタなどが適用できる。この処理により明瞭なコントラストを持つ散乱画像を抽出し、よりN/C比を検出しやすくすることができる。
次に、視点散乱画像抽出処理ステップS903における視点毎の散乱画像の抽出方法を説明する。
既に数10で説明したように、所定の視点(s、t)の視点画像と、同一の観察角φで偏角θが180度異なる視点の視点画像との間で減算すると、標本の透過率の違いによる濃淡の情報は打ち消され、効率的に散乱画像を抽出することが出来る。
既に数10で説明したように、所定の視点(s、t)の視点画像と、同一の観察角φで偏角θが180度異なる視点の視点画像との間で減算すると、標本の透過率の違いによる濃淡の情報は打ち消され、効率的に散乱画像を抽出することが出来る。
図11は本実施例における視点散乱画像抽出処理S903の内部処理を示すフローチャートである。以下、図11を用いて、視点画像毎の散乱画像の抽出方法を説明する。
まず偏角回転視点算出ステップS1101では、処理対象の視点に対し、偏角θが所定の角度だけ回転した位置にある、偏角回転視点を算出する。なお、回転角度としては180度が最も好ましいため、以降は180度の場合について説明する。
図13(a)に示す座標系において、処理対象の視点P0の座標を(x,y)=(sp,tp)とすると、180度回転した偏角回転視点P1の座標は(x,y)=(−sp,−tp)となる。
まず偏角回転視点算出ステップS1101では、処理対象の視点に対し、偏角θが所定の角度だけ回転した位置にある、偏角回転視点を算出する。なお、回転角度としては180度が最も好ましいため、以降は180度の場合について説明する。
図13(a)に示す座標系において、処理対象の視点P0の座標を(x,y)=(sp,tp)とすると、180度回転した偏角回転視点P1の座標は(x,y)=(−sp,−tp)となる。
次に、偏角回転視点画像生成ステップS1102ではステップS1101で計算した偏角回転視点P1から観察した視点画像を生成する。視点画像の生成方法は視点画像生成ステップS902で既に説明したため、省略する。なお、視点画像生成ステップS902で既に、偏角回転視点P1を計算済みの場合には、改めて計算せずに、画像生成装置100の記憶装置130やメインメモリ303に存在するデータを読み出して利用する。
次に視点散乱画像生成ステップS1103では、処理対象の視点P0の視点画像と偏角回転視点P1の視点画像の間で画像の演算を行い、視点P0からの観察方向で観察される標本表面の散乱光の情報を抽出し、視点散乱画像として出力する。
次に視点散乱画像生成ステップS1103では、処理対象の視点P0の視点画像と偏角回転視点P1の視点画像の間で画像の演算を行い、視点P0からの観察方向で観察される標本表面の散乱光の情報を抽出し、視点散乱画像として出力する。
以下、ステップS1103での演算方法を述べる。
視点P0の視線方向からZ=Zfの位置がピント位置となるように観察した視点画像(第1の視点画像)をIP0(X,Y,Zf)、偏角回転視点P1の視線方向からZ=Zfの位置がピント位置となるように観察した視点画像(第2の視点画像)をIP1(X,Y,Zf)とし、視点散乱画像(第1の観察用画像)をSP0(X,Y,Zf)とすると、演算は下記の式で表される。
視点P0の視線方向からZ=Zfの位置がピント位置となるように観察した視点画像(第1の視点画像)をIP0(X,Y,Zf)、偏角回転視点P1の視線方向からZ=Zfの位置がピント位置となるように観察した視点画像(第2の視点画像)をIP1(X,Y,Zf)とし、視点散乱画像(第1の観察用画像)をSP0(X,Y,Zf)とすると、演算は下記の式で表される。
以下、数13の演算式により、標本表面の散乱光の情報が抽出できる理由を説明する。既に述べたように、視点を変えたときの視点画像の透過光の強度変化は少ない一方、標本表面の散乱光による輝度変化は偏角θに従って大きく変化する。従って、視点を変えた視点画像間の減算により、画像中の透過光成分はキャンセルされ、散乱光成分(散乱光の情報)が抽出できる。透過光成分は完全にキャンセルできなくてもよい。画像中の透過光成分の強度が弱められ、相対的に画像中の散乱光成分が強調された画像を得ることができれば、そのような操作も散乱画像の抽出ということができる。
偏角回転角が180度である場合、視点P0の偏角で散乱光が最大となる凹凸方向角を持つ表面凹凸の散乱光は、視点P1の偏角で最小となる。同様に、視点P1の偏角で散乱光が最大となる凹凸方向角を持つ表面凹凸の散乱光は視点P0の偏角で最小となる。
従って、視点P0の視点画像と視点P1の視点画像の差分D1(X,Y,Zf)を求めれば、視点P0およびP1の偏角で散乱光が最大となる凹凸方向角を持つ表面凹凸の散乱光の情報を画像として抽出できる。
視点散乱画像生成ステップS1103では、SP0(X,Y,Zf)を処理対象の視点P0における視点散乱画像(視点散乱画像抽出像)として出力する。
偏角回転角が180度である場合、視点P0の偏角で散乱光が最大となる凹凸方向角を持つ表面凹凸の散乱光は、視点P1の偏角で最小となる。同様に、視点P1の偏角で散乱光が最大となる凹凸方向角を持つ表面凹凸の散乱光は視点P0の偏角で最小となる。
従って、視点P0の視点画像と視点P1の視点画像の差分D1(X,Y,Zf)を求めれば、視点P0およびP1の偏角で散乱光が最大となる凹凸方向角を持つ表面凹凸の散乱光の情報を画像として抽出できる。
視点散乱画像生成ステップS1103では、SP0(X,Y,Zf)を処理対象の視点P0における視点散乱画像(視点散乱画像抽出像)として出力する。
数13において、視点散乱画像SP0(X,Y,Zf)の計算に差分D1(X,Y,Zf)の絶対値を用いる理由は、視点画像から視点散乱画像を演算するための関数に非線型性を持たせるためである。絶対値をとらない場合、様々な視点で視点画像間の差を求めた後に、ステップS904でその差分の和を取る操作は、様々な視点の視点画像の和を取った後に差を取る操作と等しくなる。その場合、視点画像同士が互いに打ち消し合って、得られる統合像は実質的に0となる。従って、視点散乱画像SP0(X,Y,Zf)では前記の打ち消し合いを防ぐため、非線型な関数を用いている。
なお、非線型な関数とは以下の式に示すように、所定の画像(視点画像)に関数を適用した後で複数加算した結果と、所定の画像(視点画像)を複数加算した後で関数を適用した結果とが、一致しない性質をもつ関数であるとする。
ただし、Nは視点の数、D(i)は視点iにおける視点画像と偏角回転視点画像の差分画像、S()は関数である。
なお、非線型な関数とは以下の式に示すように、所定の画像(視点画像)に関数を適用した後で複数加算した結果と、所定の画像(視点画像)を複数加算した後で関数を適用した結果とが、一致しない性質をもつ関数であるとする。
なお、数13はあくまで散乱画像を生成するための視点画像間の演算の一例であり、その他、様々な演算が利用できる。
例えば、偏角回転視点算出ステップS1101で視点偏角θを±90度した偏角回転視点を求めるとき、偏角回転視点は+方向と−方向の2つあり、それぞれP1=(−tp,sp)およびP2=(tp,−sp)が設定できる。その場合、視点散乱画像生成ステップS1103では、数13の代わりに下記を用いて視点散乱画像を生成すると良い。
例えば、偏角回転視点算出ステップS1101で視点偏角θを±90度した偏角回転視点を求めるとき、偏角回転視点は+方向と−方向の2つあり、それぞれP1=(−tp,sp)およびP2=(tp,−sp)が設定できる。その場合、視点散乱画像生成ステップS1103では、数13の代わりに下記を用いて視点散乱画像を生成すると良い。
この他にも、SP0(X,Y,Zf)として様々な非線型な関数を用いることができる。例えば、D1(X,Y,Zf)、D2(X,Y,Zf)のそれぞれの絶対値から対応する画素の最大値を選択しても良い。あるいは、前述のように、IP0(X,Y,Zf)と
IP1(X,Y,Zf)の差分ではなく、除算(比率)を用いてもよい。
また、数15は90度以外の回転角にも適用でき、そのとき+方向と−方向で異なる角度の回転角を選んでも良い。また2つ以上の偏角回転視点を用いて視点散乱画像を求めることも可能である。ユーザは設定画面1002で偏角回転視点の回転角や視点散乱画像の演算方法を選択できる。
なお、数10の説明でも述べたが、偏角回転視点として様々な回転角を取ることができ、観察角φの大きさも影響するが、45度の回転角であっても散乱画像は抽出できる。従って、偏角回転視点の回転角としてどのような値を用いる場合でも本発明の範疇である。
IP1(X,Y,Zf)の差分ではなく、除算(比率)を用いてもよい。
また、数15は90度以外の回転角にも適用でき、そのとき+方向と−方向で異なる角度の回転角を選んでも良い。また2つ以上の偏角回転視点を用いて視点散乱画像を求めることも可能である。ユーザは設定画面1002で偏角回転視点の回転角や視点散乱画像の演算方法を選択できる。
なお、数10の説明でも述べたが、偏角回転視点として様々な回転角を取ることができ、観察角φの大きさも影響するが、45度の回転角であっても散乱画像は抽出できる。従って、偏角回転視点の回転角としてどのような値を用いる場合でも本発明の範疇である。
(視点散乱画像統合像生成ステップS904)
図10(c)の視点散乱画像統合設定画面1003は視点散乱画像統合設定ボタン706押下時に表示する設定画面の一例である。ここでは視点散乱画像抽出像を統合する際の合成方法を設定する。
設定画面1003には各々の散乱画像抽出像を統合する際の合成方法を選択するリストボックスがあり、「均等」、「ガウスぼけ」、「最大値の選択・合成」など、様々な合成方法を選択可能となっている。ここで「均等」は等しい重み付けで、「ガウスぼけ」は各視点の原点(光軸上)からの距離に従ってガウス関数で求めた重み付けで各々の散乱画像抽出像を合成する方法を示す。また「最大値の選択・合成」は各々の散乱画像抽出像の同位置の画素値を比較し、最大の画素値を選択することで各々の散乱画像抽出像と同じサイズの合成像を作る方法を示す。
図10(c)の視点散乱画像統合設定画面1003は視点散乱画像統合設定ボタン706押下時に表示する設定画面の一例である。ここでは視点散乱画像抽出像を統合する際の合成方法を設定する。
設定画面1003には各々の散乱画像抽出像を統合する際の合成方法を選択するリストボックスがあり、「均等」、「ガウスぼけ」、「最大値の選択・合成」など、様々な合成方法を選択可能となっている。ここで「均等」は等しい重み付けで、「ガウスぼけ」は各視点の原点(光軸上)からの距離に従ってガウス関数で求めた重み付けで各々の散乱画像抽出像を合成する方法を示す。また「最大値の選択・合成」は各々の散乱画像抽出像の同位置の画素値を比較し、最大の画素値を選択することで各々の散乱画像抽出像と同じサイズの合成像を作る方法を示す。
視点散乱画像統合像生成ステップS904では、複数の視点散乱画像抽出像を統合し、視点散乱画像統合像(第2の観察用画像)を生成する。
また、視点散乱画像統合像生成ステップS904では、視点散乱画像抽出処理ステップS903同様に散乱画像抽出像に含まれるノイズを除去する為、ノイズ除去を行っても良い。その場合、設定画面1003でノイズ除去設定を行う。
なお、図10(a)〜図10(c)に示す設定画面はあくまで一例である。ユーザである病理医が設定に煩わされずに素早く観察・診断できるよう、デフォルトの設定や自動的に最適値が設定される機能を備えることが望ましい。
また、視点散乱画像統合像生成ステップS904では、視点散乱画像抽出処理ステップS903同様に散乱画像抽出像に含まれるノイズを除去する為、ノイズ除去を行っても良い。その場合、設定画面1003でノイズ除去設定を行う。
なお、図10(a)〜図10(c)に示す設定画面はあくまで一例である。ユーザである病理医が設定に煩わされずに素早く観察・診断できるよう、デフォルトの設定や自動的に最適値が設定される機能を備えることが望ましい。
以上、本実施例における視点分解散乱画像抽出・統合処理(図8のS802)について述べた。
(輪郭抽出処理)
続いて輪郭抽出処理(図8のS803)の一例について述べる。
視点散乱画像統合像では散乱画像が強調されているものの、ノイズや信号の強弱が存在する。そこで、より輪郭を見やすくするために、輪郭抽出処理を行う。例えば、視点散乱画像統合像を2値化し(2値化の閾値は予め決められた値を用いても良いし、動的に決めても良い)、その後、膨張・縮小処理を繰り返すことにより、輪郭を抽出できる。他にも輪郭抽出方法には様々な公知の技術があり、ここではいずれの方法も適用できる。またさらに細線化処理を追加することで輪郭が存在する位置精度を高めることができる。処理の結果、視点散乱画像統合像から輪郭抽出像が得られる。
続いて輪郭抽出処理(図8のS803)の一例について述べる。
視点散乱画像統合像では散乱画像が強調されているものの、ノイズや信号の強弱が存在する。そこで、より輪郭を見やすくするために、輪郭抽出処理を行う。例えば、視点散乱画像統合像を2値化し(2値化の閾値は予め決められた値を用いても良いし、動的に決めても良い)、その後、膨張・縮小処理を繰り返すことにより、輪郭を抽出できる。他にも輪郭抽出方法には様々な公知の技術があり、ここではいずれの方法も適用できる。またさらに細線化処理を追加することで輪郭が存在する位置精度を高めることができる。処理の結果、視点散乱画像統合像から輪郭抽出像が得られる。
(画像の表示・解析)
続いて画像表示処理S804を経て、画像表示アプリケーション上に視点散乱画像、視点散乱画像統合像、あるいは輪郭抽出像を示すことで、細胞と細胞の間の細胞境界、細胞と類洞の境目などを分かりやすくできる。それによって病理医は患部組織の3次元構造をイメージしやすくなる。
続いて画像表示処理S804を経て、画像表示アプリケーション上に視点散乱画像、視点散乱画像統合像、あるいは輪郭抽出像を示すことで、細胞と細胞の間の細胞境界、細胞と類洞の境目などを分かりやすくできる。それによって病理医は患部組織の3次元構造をイメージしやすくなる。
さらに、ウィンドウ700内でマウスを右クリックすることにより機能拡張メニュー7
10を呼び出し、N/C比(核/細胞質比)算出等の項目を選択することで、画像解析を行うことが出来る。
10を呼び出し、N/C比(核/細胞質比)算出等の項目を選択することで、画像解析を行うことが出来る。
図12はN/C比算出の処理フローの一例である。
N/C比算出にあたっては左側領域702内の選択領域207の画像と輪郭抽出像の2枚の画像を用いることを前提とする。以下、画像中の核の部分を核領域、核を取り巻く細胞質の部分を細胞質領域、核領域と細胞質領域を合わせた全体を細胞領域と呼ぶ。
N/C比算出にあたっては左側領域702内の選択領域207の画像と輪郭抽出像の2枚の画像を用いることを前提とする。以下、画像中の核の部分を核領域、核を取り巻く細胞質の部分を細胞質領域、核領域と細胞質領域を合わせた全体を細胞領域と呼ぶ。
まず、核領域決定処理ステップS1201では核領域の決定を行う。例としては以下の方法がある。HE染色では核内は濃青に染色される為、輪郭抽出像内の該当閉領域内に位置する選択領域207内の画素が一定以上の比率で所定の範囲の色域に属すか否かで、核領域か否かを判別できる。判別に用いる比率及び色域は、予め複数のサンプルを用いて学習すれば良い。
続いて、細胞質領域決定処理ステップS1202では細胞質領域の決定を行う。HE染色では細胞質はピンク色に染色される。従って、核領域決定処理と同様、輪郭抽出像内の該当閉領域内に位置する選択領域207内の画素が一定以上の比率で所定の範囲の色域に属すか否かで、細胞領域か否かを判別できる。その後、細胞領域から、ステップS1201で核領域と見なされた閉領域を除外することにより、細胞質領域を特定する。ここでの判別に用いる比率及び色域も、予め複数のサンプルを用いて学習すれば良い。
自動処理では十分な精度が出ない場合には、ユーザが介在(補助)して領域決定を行っても良い。その場合、ステップS1202の後、GUIでユーザに輪郭、核領域、細胞領域を修正できる設定画面を表示する。
最後にN/C比算出処理ステップS1203では、上記で求めた核領域の面積を細胞質領域の面積で割り、N/C比を求める。
上記で述べたN/C比算出フローはあくまで一例であり、その他、様々な変形や改良が可能である。
上記で述べたN/C比算出フローはあくまで一例であり、その他、様々な変形や改良が可能である。
(本実施例の利点)
以上述べたように、本実施例では視点の偏角θが異なる視点画像の間で標本表面の散乱光の強度が大きく変化する性質を利用し、Zスタック画像から標本の散乱画像を抽出することができる。そのため、光学系や露出条件の変更を行うことなく、標本を観察する上で有用な細胞膜や細胞境界、細胞と管や腔との境界を明瞭にすることができる。さらに、輝度や色の変化としてほとんど現れない表面凹凸についても、コントラストを高めて可視化することができるという効果もある。それにより診断に有用な画像の提示、N/C比の算出等の診断支援機能が実現できる。
以上述べたように、本実施例では視点の偏角θが異なる視点画像の間で標本表面の散乱光の強度が大きく変化する性質を利用し、Zスタック画像から標本の散乱画像を抽出することができる。そのため、光学系や露出条件の変更を行うことなく、標本を観察する上で有用な細胞膜や細胞境界、細胞と管や腔との境界を明瞭にすることができる。さらに、輝度や色の変化としてほとんど現れない表面凹凸についても、コントラストを高めて可視化することができるという効果もある。それにより診断に有用な画像の提示、N/C比の算出等の診断支援機能が実現できる。
なお、本実施例では実行ボタン708が押されたときに視点分解散乱画像抽出・統合処理を実行するようにしたが、図7(b)、図10(a)〜図10(c)に示す設定パラメータが変更される度に視点分解散乱画像抽出・統合処理を実行するようにしても良い。そうすると、設定パラメータの変更に同期してリアルタイムに処理結果が表示されることとなる。この構成の場合には、図7(b)、図10(a)〜図10(c)に示す設定項目を1つの設定画面内に展開して配置すると良い。このような実装形態も本発明の範疇となる。
[実施例2]
本実施例では、視点散乱画像抽出処理ステップS903において、同一の偏角θで観察角φが異なる複数の視点の視点画像の間の演算により、視点散乱画像を抽出する方法につ
いて述べる。
既に数11を用いて説明したように、所定の視点(s,t)の視点画像と、同一の偏角θで観察角が異なる視点の視点画像の間で減算すると、標本の透過率の違いによる濃淡の情報は打ち消され、散乱画像を効率的に抽出することが出来る。
本実施例では、視点散乱画像抽出処理ステップS903において、同一の偏角θで観察角φが異なる複数の視点の視点画像の間の演算により、視点散乱画像を抽出する方法につ
いて述べる。
既に数11を用いて説明したように、所定の視点(s,t)の視点画像と、同一の偏角θで観察角が異なる視点の視点画像の間で減算すると、標本の透過率の違いによる濃淡の情報は打ち消され、散乱画像を効率的に抽出することが出来る。
図16は本実施例における視点散乱画像抽出処理S903の内部処理を示すフローチャートである。以下、図16を用いて、視点画像毎の散乱画像の抽出方法を説明する。
まず観察角変更視点算出ステップS1601では、処理対象の視点に対し、観察角が異なる位置にある、観察角変更視点を算出する。
図13(a)に示す座標系において、処理対象の視点P0の座標を(x,y)=(sp,tp)とすると、その観察角変更視点は光軸(0,0)と視点P0を結ぶ直線上に設定できる。様々な視点の位置が選択可能だが、ここでは観察角変更視点としてP1=(0,0)を選択する。
まず観察角変更視点算出ステップS1601では、処理対象の視点に対し、観察角が異なる位置にある、観察角変更視点を算出する。
図13(a)に示す座標系において、処理対象の視点P0の座標を(x,y)=(sp,tp)とすると、その観察角変更視点は光軸(0,0)と視点P0を結ぶ直線上に設定できる。様々な視点の位置が選択可能だが、ここでは観察角変更視点としてP1=(0,0)を選択する。
次に、観察角変更視点画像生成ステップS1602では、ステップS1601で計算した観察角変更視点P1の視線方向からZ=Zfの位置がピント位置となるように観察した視点画像を生成する。視点画像の生成方法は視点画像生成ステップS902で既に説明したため、省略する。なお、実施例1と同様、既に観察角変更視点P1の視点画像を計算済みの場合には、改めて計算せずに、画像生成装置100の記憶装置130やメインメモリ303に存在するデータを読み出して利用する。
次に視点散乱画像生成ステップS1603では、処理対象の視点P0の視点画像(第1の視点画像)と観察角変更視点P1の視点画像(第2の視点画像)の間で画像の演算を行う。この演算により、視点P0からの観察方向で観察される標本表面の散乱光の情報を抽出し、視点散乱画像(第1の観察用画像)として出力する。
次に視点散乱画像生成ステップS1603では、処理対象の視点P0の視点画像(第1の視点画像)と観察角変更視点P1の視点画像(第2の視点画像)の間で画像の演算を行う。この演算により、視点P0からの観察方向で観察される標本表面の散乱光の情報を抽出し、視点散乱画像(第1の観察用画像)として出力する。
視点P0、観察角変更視点P1の視線方向からZ=Zfの位置がピント位置となるように観察した視点画像をそれぞれIP0(X,Y,Zf)、IP1(X,Y,Zf)とし、視点散乱画像をSP0(X,Y,Zf)とすると、演算は実施例1と同様に数13で表せる。視点散乱画像SP0(X,Y,Zf)により標本表面の散乱光の情報が得られる理由については、数11の説明で述べたとおりである。
また既に数12の説明で述べたが、視点画像間の除算によっても散乱画像の情報が抽出できる。その場合には例えば以下の演算を用いればよい。
また既に数12の説明で述べたが、視点画像間の除算によっても散乱画像の情報が抽出できる。その場合には例えば以下の演算を用いればよい。
なお、数13および数16は視点散乱画像を生成するための視点画像間の演算の一例であり、実施例1と同様、様々な演算が利用できる。
また、観察角変更視点P1は(x,y)=(0,0)以外の位置でも良く、複数取得しても良い。例えば、観察角変更視点P2として、光軸(0,0)と視点P0を結ぶ直線上で光軸から所定の距離にある視点や所定の比率(例えば半分や1/4)にある視点を選択しても良い。その場合、視点散乱画像を求める演算式として数15を用いることができる。
さらには観察角変更視点が複数ある場合にも、数16のように各視点画像間の除算を実行し、各々の結果の絶対値の平均をSP0(X,Y,Zf)としても良い。実施例1と同様、ユーザは設定画面1002で観察角変更視点の数や様々な演算式を選択できる。
また、観察角変更視点P1は(x,y)=(0,0)以外の位置でも良く、複数取得しても良い。例えば、観察角変更視点P2として、光軸(0,0)と視点P0を結ぶ直線上で光軸から所定の距離にある視点や所定の比率(例えば半分や1/4)にある視点を選択しても良い。その場合、視点散乱画像を求める演算式として数15を用いることができる。
さらには観察角変更視点が複数ある場合にも、数16のように各視点画像間の除算を実行し、各々の結果の絶対値の平均をSP0(X,Y,Zf)としても良い。実施例1と同様、ユーザは設定画面1002で観察角変更視点の数や様々な演算式を選択できる。
(本実施例の利点)
以上述べたように、本実施例では視点の観察角φが異なる視点画像の間で標本表面の散乱光の強度が大きく変化する性質を利用し、Zスタック画像から標本の散乱画像を抽出することができる。よって本実施例の方法でも、実施例1と同様、観察や診断に適した観察用画像を得ることができる。
以上述べたように、本実施例では視点の観察角φが異なる視点画像の間で標本表面の散乱光の強度が大きく変化する性質を利用し、Zスタック画像から標本の散乱画像を抽出することができる。よって本実施例の方法でも、実施例1と同様、観察や診断に適した観察用画像を得ることができる。
[実施例3]
実施例1、2では視点散乱画像統合像の計算方法について説明した。本実施例では、元画像(Zスタック画像中のフォーカス位置であるZ=Zfにおけるレイヤー画像)に視点散乱画像統合像を合成することで、散乱光の情報が強調され且つ被写界深度が拡大された観察用画像を生成する方法について述べる。
実施例1では、視点を変えたときの視点画像間の透過光強度の変化は僅かであり、視点画像の差分をとることで表面凹凸を表す散乱画像を生成できると説明した。しかし、標本の厚みが大きいと、ピントを合わせた位置(フォーカス位置Zf)とは異なる深さに存在する物体が増え、その物体のぼけの情報が散乱画像の中に残ることがある。また視点の観察角φが大きくなる場合でも物体が存在する深さ方向の位置とフォーカス位置Zfの差が僅かであっても物体のぼけが大きくなり、同様の現象が発生する。
以下、散乱画像中の、ピントを合わせた位置から離れた位置に物体が存在する場合の散乱画像中の影響について説明する。
実施例1、2では視点散乱画像統合像の計算方法について説明した。本実施例では、元画像(Zスタック画像中のフォーカス位置であるZ=Zfにおけるレイヤー画像)に視点散乱画像統合像を合成することで、散乱光の情報が強調され且つ被写界深度が拡大された観察用画像を生成する方法について述べる。
実施例1では、視点を変えたときの視点画像間の透過光強度の変化は僅かであり、視点画像の差分をとることで表面凹凸を表す散乱画像を生成できると説明した。しかし、標本の厚みが大きいと、ピントを合わせた位置(フォーカス位置Zf)とは異なる深さに存在する物体が増え、その物体のぼけの情報が散乱画像の中に残ることがある。また視点の観察角φが大きくなる場合でも物体が存在する深さ方向の位置とフォーカス位置Zfの差が僅かであっても物体のぼけが大きくなり、同様の現象が発生する。
以下、散乱画像中の、ピントを合わせた位置から離れた位置に物体が存在する場合の散乱画像中の影響について説明する。
はじめに、MFI任意視点/焦点ぼけ画像生成法における3次元的な結像関係について説明する。
MFI任意視点/焦点ぼけ画像生成法では、座標変換を施した焦点ぼけ画像群(Zスタック画像)が3次元的な被写体と3次元的な焦点ぼけのコンボリューションによって表される関係が成立している。3次元被写体をf(X,Y,Z)、3次元的な焦点ぼけをh(X,Y,Z)、座標変換を施した焦点ぼけ画像群(Zスタック画像)をg(X,Y,Z)とすると以下の式が成立する。
MFI任意視点/焦点ぼけ画像生成法では、座標変換を施した焦点ぼけ画像群(Zスタック画像)が3次元的な被写体と3次元的な焦点ぼけのコンボリューションによって表される関係が成立している。3次元被写体をf(X,Y,Z)、3次元的な焦点ぼけをh(X,Y,Z)、座標変換を施した焦点ぼけ画像群(Zスタック画像)をg(X,Y,Z)とすると以下の式が成立する。
図18(a)〜図18(f)は3次元被写体の異なるZ位置に物体が存在する場合のZスタック画像の違いを示す模式図である。3次元被写体1801はZ=Zfの位置に物体が存在し、3次元被写体1811ではZ=Zoの位置に物体が存在する。
3次元的な焦点ぼけ1802を持つ光学系を用いてZ方向のピント位置を変えながら、3次元被写体1801、1811を撮影することで、それぞれZスタック画像1803、1813が得られる。(なお、3次元的な焦点ぼけh(X,Y,Z)は座標変換によってシフト不変に変換されるため、同一である。)自明だが、Zスタック画像1803ではZ=Zfの位置で、Zスタック画像1813ではZ=Zoの位置で最も焦点ぼけが少ない画像が得られる。
3次元的な焦点ぼけ1802を持つ光学系を用いてZ方向のピント位置を変えながら、3次元被写体1801、1811を撮影することで、それぞれZスタック画像1803、1813が得られる。(なお、3次元的な焦点ぼけh(X,Y,Z)は座標変換によってシフト不変に変換されるため、同一である。)自明だが、Zスタック画像1803ではZ=Zfの位置で、Zスタック画像1813ではZ=Zoの位置で最も焦点ぼけが少ない画像が得られる。
次に、MFI任意視点/焦点ぼけ画像生成法における任意視点画像と任意焦点ぼけ画像の関係について説明する。
図19(a)〜図19(h)は、3次元被写体の異なるZ位置に物体が存在する場合のMFI任意視点/焦点ぼけ画像生成法で求める任意視点画像と任意焦点ぼけ画像の関係を示す模式図である。
図19(a)の1900、図19(e)の1910は3次元被写体であり、それぞれ図18(a)の1801、図18(d)の1811と等しい。3次元被写体1900および1910中の実線で表す光線は、被写体中の物体を通り、かつ光学系のレンズ面上のそれ
ぞれに対応した所定の視点を通る光線を表す。なお、図19(e)中の破線は図19(a)中の実線に対応している。
光線1900aおよび1910aはレンズ面上のある視点aを通る光線であり、視点に対応する視線方向からZ=Zfの位置がピント位置となるように観察した視点画像はそれぞれ、図19(b)の1901、図19(f)の1911となる。また同様に光線1900bおよび1910bはレンズ面上のある視点bを通る光線であり、それぞれのZ=Zfの位置がピント位置となるように観察した視点画像は図19(c)の1902、図19(g)の1912となる。
図19(a)〜図19(h)は、3次元被写体の異なるZ位置に物体が存在する場合のMFI任意視点/焦点ぼけ画像生成法で求める任意視点画像と任意焦点ぼけ画像の関係を示す模式図である。
図19(a)の1900、図19(e)の1910は3次元被写体であり、それぞれ図18(a)の1801、図18(d)の1811と等しい。3次元被写体1900および1910中の実線で表す光線は、被写体中の物体を通り、かつ光学系のレンズ面上のそれ
ぞれに対応した所定の視点を通る光線を表す。なお、図19(e)中の破線は図19(a)中の実線に対応している。
光線1900aおよび1910aはレンズ面上のある視点aを通る光線であり、視点に対応する視線方向からZ=Zfの位置がピント位置となるように観察した視点画像はそれぞれ、図19(b)の1901、図19(f)の1911となる。また同様に光線1900bおよび1910bはレンズ面上のある視点bを通る光線であり、それぞれのZ=Zfの位置がピント位置となるように観察した視点画像は図19(c)の1902、図19(g)の1912となる。
視点画像1901、1902では物体の像は同一の位置に現れる。これに対し、視点画像1911、1912では物体の像の位置は同一の位置に現れず、それぞれ、ZfとZoの間の距離dZ(=Zo−Zf)と視線方向で決まる量だけシフトして現れる。
MFI任意視点/焦点ぼけ画像生成法では、Zスタック画像のZ=Zfの位置のレイヤー画像gは以下の式で表現できる。
MFI任意視点/焦点ぼけ画像生成法では、Zスタック画像のZ=Zfの位置のレイヤー画像gは以下の式で表現できる。
ここで、k(s,t)は撮像光学系の3次元的な焦点ぼけを間接的に表す関数で、レンズ面上の各視点(s,t)を通る光線の相対強度分布を表している。k(s,t)とh(X,Y,Z)の間には以下の関係が成立する。
k(s,t)は以下の式に示すように、レンズ面上に存在する全ての視点(s,t)での総和が1になるように規格化されているものとする。
また、数18においてas,t(X,Y,Zf)はZ=Zfにおける視点画像を表す。
数18から、MFI任意視点/焦点ぼけ画像生成法を用いれば、所定のZ位置(Z=Zf)における多数の視点画像から、所定のZ位置の任意焦点ぼけ画像を再構成できることが分かる。
数18から、MFI任意視点/焦点ぼけ画像生成法を用いれば、所定のZ位置(Z=Zf)における多数の視点画像から、所定のZ位置の任意焦点ぼけ画像を再構成できることが分かる。
以降の説明では、k(s,t)のように、複数の画像を統合する際の視点(s,t)ごと(視線方向ごと)の重みを定義する関数を「視点重み関数」とよぶ。視点重み関数は、被写体上のある点から発し視点(s,t)を通る光線の相対強度分布を表しているともいえる。上記のk(s,t)は、被写体の撮影に用いた撮像光学系の3次元的な焦点ぼけに対応する特性をもつ視点重み関数である。なお、視点重み関数としては、どのような関数を用いてもよい。例えば、MFI任意視点/焦点ぼけ画像生成法で任意焦点ぼけ画像を生成するための、任意の3次元的な焦点ぼけに対応するka(s,t)も視点重み関数として用いることができる。また、後述の実施例で例示する円柱形のような任意の形状の関数を視点重み関数として用いることもできる。視点重み関数は、実施例1で述べた視点散乱画像統合設定画面1003で選択する重み付けの設定と対応している。
なお、数18の式は連続的な値の積分を意味するインテグラル∫で表記されているが、実際の画像処理では離散的な(有限個の)複数の視点(s,t)に対する演算であるため
シグマΣで表記するのが正しい。しかし、インテグラル∫の方が数式として見やすく、また一般化できるため、以降の説明でもインテグラル∫を用いて説明する。なお、視点が離散的(有限個)である場合では、数20は演算で用いる全ての視点重み関数k(s,t)あるいはka(s,t)の和が1となるように規格化することを表す。
なお、数18の式は連続的な値の積分を意味するインテグラル∫で表記されているが、実際の画像処理では離散的な(有限個の)複数の視点(s,t)に対する演算であるため
シグマΣで表記するのが正しい。しかし、インテグラル∫の方が数式として見やすく、また一般化できるため、以降の説明でもインテグラル∫を用いて説明する。なお、視点が離散的(有限個)である場合では、数20は演算で用いる全ての視点重み関数k(s,t)あるいはka(s,t)の和が1となるように規格化することを表す。
(Z=Zfにおけるぼけ像)
次に、MFI任意視点/焦点ぼけ画像生成法を用いて、Z=Zfにおける視点画像からZスタック画像のZ=Zfの位置のレイヤー画像を求める。
ここで、3次元被写体1801および1811において、点物体が光学系の光軸上に存在し、光軸を通る視点から見た視点画像(全焦点画像)が以下の式で表されるとする。
ただし、関数δはディラックのδ関数である。aは点物体の強度(画素値)であり、bは背景の強度である。
次に、MFI任意視点/焦点ぼけ画像生成法を用いて、Z=Zfにおける視点画像からZスタック画像のZ=Zfの位置のレイヤー画像を求める。
ここで、3次元被写体1801および1811において、点物体が光学系の光軸上に存在し、光軸を通る視点から見た視点画像(全焦点画像)が以下の式で表されるとする。
以下、数18を用いて、3次元被写体1801および1811を撮影したときの、Zスタック画像のZ=Zfの位置のレイヤー画像を求める。
(3次元被写体1801のZ=Zfにおけるレイヤー画像)
物体の厚みが無視できるとすると、数18の視点画像as,t(X,Y,Zf)は視点の位置(s,t)にかかわらず、I(X,Y,Zf)で表せる。従って、数21を数18に代入し、変形すると以下の式で表されるレイヤー画像が得られる。
物体の厚みが無視できるとすると、数18の視点画像as,t(X,Y,Zf)は視点の位置(s,t)にかかわらず、I(X,Y,Zf)で表せる。従って、数21を数18に代入し、変形すると以下の式で表されるレイヤー画像が得られる。
(3次元被写体1811のZ=Zfにおけるレイヤー画像)
同様に、物体の厚みが無視できるとすると、数18の視点画像as,t(X,Y,Zf)はI(X,Y,Zf)の平行移動で表せるとし、数21を数18に代入し、数19、数20を用いて変形すると以下の式となる。フォーカス位置からのずれdZによるぼけが含まれることがわかる。
同様に、物体の厚みが無視できるとすると、数18の視点画像as,t(X,Y,Zf)はI(X,Y,Zf)の平行移動で表せるとし、数21を数18に代入し、数19、数20を用いて変形すると以下の式となる。フォーカス位置からのずれdZによるぼけが含まれることがわかる。
図19(d)および図19(h)の焦点ぼけ画像(レイヤー画像)1903、1913は、レンズ面上に設定した多数の視点に対応する複数の視点画像から求めた、Z=Zfにおけるレイヤー画像の模式図である。レイヤー画像1903は数22に対応する画像を表し、1913は数23に対応する画像を表している。
レイヤー画像1903ではそれぞれの視点画像において物体の像の位置がシフトしないため、ぼけの無い像が得られる。一方、レイヤー画像1913では視点画像中の物体の位置がシフトするため、光学系のぼけを含んだ像が得られている。
レイヤー画像1903ではそれぞれの視点画像において物体の像の位置がシフトしないため、ぼけの無い像が得られる。一方、レイヤー画像1913では視点画像中の物体の位置がシフトするため、光学系のぼけを含んだ像が得られている。
以下、上記で述べたMFI任意視点/焦点ぼけ画像生成法における任意視点画像と任意焦点ぼけ画像の関係を踏まえ、実施例1で説明した視点散乱画像統合像の画像の特性について説明する。
(視点散乱画像統合像)
実施例1と同じように、複数の視点P0と対応する偏角回転視点P1を求め、それぞれの視点画像間で下記の式に示す演算を実施し、複数の視点P0の視点散乱画像SP0を加算した視点散乱画像統合像について考える。
k(s,t)は撮像光学系のぼけに対応する視点重み関数である。(実施例1では視点P0とP1の位置は光軸上の原点から等しい距離にあるため、光軸に対して回転対称な光学系では視点P0とP1での視点重み関数の値は等しくなる。)1/2を乗じるのは視点画像IP1(X,Y,Zf)とIP0(X,Y,Zf)の散乱光成分の平均強度を抽出するためで、視点P0およびP1で同一の計算を行ったときに強度が2倍になることを防ぐ。
実施例1と同じように、複数の視点P0と対応する偏角回転視点P1を求め、それぞれの視点画像間で下記の式に示す演算を実施し、複数の視点P0の視点散乱画像SP0を加算した視点散乱画像統合像について考える。
数24から、3次元被写体1801および1811におけるZ=Zfにおける視点散乱画像統合像DS(X,Y,Zf)は以下の式で計算できる。
物体の厚みが無視できる場合、3次元被写体1801では、視点画像IP1(X,Y,Zf)とIP0(X,Y,Zf)は同一と見なせるので、視点散乱画像統合像は0となる。
次に、3次元被写体1801では、IP1(X,Y,Zf)、IP0(X,Y,Zf)はI(X,Y,Zf)の平行移動で表されるとし、数25を変形すると下記の式となる。
数26の積分内の式はs=t=0のとき0となり、それ以外は、
となるので、数26は以下のように変形できる。
(点物体が周囲よりも暗い物体の場合)
次に、数28で表される視点散乱画像統合像における|a−b|について考える。
3次元被写体1811にある点物体が背景よりも暗い物体の場合、例えば、明視野観察のように透過率が低い物体を観察する場合には、数21では0<a<bの関係が成立すると見なすことができる。従って、数28は以下の式に変形できる。
次に、数28で表される視点散乱画像統合像における|a−b|について考える。
3次元被写体1811にある点物体が背景よりも暗い物体の場合、例えば、明視野観察のように透過率が低い物体を観察する場合には、数21では0<a<bの関係が成立すると見なすことができる。従って、数28は以下の式に変形できる。
(Zスタック画像のZ=Zfのレイヤー画像と視点散乱画像統合像の加算)
続いて、3次元被写体1811を撮像したZスタック画像のZ=Zfにおけるレイヤー画像g(数23)と視点散乱画像統合像DS(数29)を加算した合成画像の特徴を考える。合成画像ADDは以下の式で表される。
h(0,0,dZ)は3次元的な焦点ぼけの焦点位置からdZ離れた位置の焦点ぼけh(X,Y,dZ)の中心部の強度だけを持ち、点像に近いことから、数30によって得られる像の被写界深度は極めて深いことが分かる。
従って、明視野観察のように透過率が低い物体(0<a<bの場合)の焦点ぼけ画像がZ=Zfのレイヤー画像に含まれる場合でも、視点散乱画像統合像の加算により、被写界深度を拡大することが出来る。
続いて、3次元被写体1811を撮像したZスタック画像のZ=Zfにおけるレイヤー画像g(数23)と視点散乱画像統合像DS(数29)を加算した合成画像の特徴を考える。合成画像ADDは以下の式で表される。
従って、明視野観察のように透過率が低い物体(0<a<bの場合)の焦点ぼけ画像がZ=Zfのレイヤー画像に含まれる場合でも、視点散乱画像統合像の加算により、被写界深度を拡大することが出来る。
次に、前記の式による説明を分かりやすくするため、図20(a)〜図20(f)を用いて説明する。
図20(d)の画像2011は3次元被写体1811を撮像したZスタック画像のZ=Zfにおけるレイヤー画像を表し、数23の式に対応している。図20(e)の画像2012は3次元被写体1811を撮像したZスタック画像のZ=Zfにおける視点散乱画像統合像を表し、数29の式に対応している。図20(f)の画像2013はZ=Zfにおけるレイヤー画像に視点散乱画像統合像を加算した画像を表し、数30の式に対応している。
図20(a)の2001、図20(b)の2002、図20(c)の2003はそれぞれ画像2011、2012、2013のX方向の輝度断面を表している。
図20(d)の画像2011は3次元被写体1811を撮像したZスタック画像のZ=Zfにおけるレイヤー画像を表し、数23の式に対応している。図20(e)の画像2012は3次元被写体1811を撮像したZスタック画像のZ=Zfにおける視点散乱画像統合像を表し、数29の式に対応している。図20(f)の画像2013はZ=Zfにおけるレイヤー画像に視点散乱画像統合像を加算した画像を表し、数30の式に対応している。
図20(a)の2001、図20(b)の2002、図20(c)の2003はそれぞれ画像2011、2012、2013のX方向の輝度断面を表している。
レイヤー画像2011では撮像光学系の焦点ぼけh(X,Y,dZ)によって画像の中心から輝度が緩やかに上昇しているが、逆に視点散乱画像統合像2012では画像の中心の輝度が0であることを除き、画像の中心から輝度が緩やかに減少している。従って、レイヤー画像2011に視点散乱画像統合像2012を加算すると、断面2003に示すように、3次元的な焦点ぼけによる輝度変化が打ち消され、画像の中心部にある物体が明瞭に観察できる合成画像2013が得られる。
なお、点物体がZ=Zfに存在する3次元被写体1801の場合には、Z=Zfにおけるレイヤー画像は数22で表され、視点散乱画像統合像は0になることから、両者の加算結果はZ=Zfにおけるレイヤー画像のままである。
なお、点物体がZ=Zfに存在する3次元被写体1801の場合には、Z=Zfにおけるレイヤー画像は数22で表され、視点散乱画像統合像は0になることから、両者の加算結果はZ=Zfにおけるレイヤー画像のままである。
従って、視点散乱画像統合像に標本の表面凹凸による散乱光の情報が含まれており、さらにZ=Zfにおけるレイヤー画像に物体のぼけ像が存在する場合でも、レイヤー画像と視点散乱画像統合像の加算によって、散乱光の強調と被写界深度の拡大が実現できる。これにより、例えば細胞核などの周囲よりも暗い物体を明瞭にする効果が得られ、診断や画像解析において有用な画像となる。
(点物体が周囲よりも明るい物体の場合)
3次元被写体1811にある点物体が背景よりも明るい物体、例えば蛍光観察のように自ら発光する蛍光体を観察する場合には、数21では0<b<aの関係が成立すると見なすことができる。従って、数28は以下の式に変形できる。
3次元被写体1811にある点物体が背景よりも明るい物体、例えば蛍光観察のように自ら発光する蛍光体を観察する場合には、数21では0<b<aの関係が成立すると見なすことができる。従って、数28は以下の式に変形できる。
(Zスタック画像のZ=Zfのレイヤー画像と視点散乱画像統合像の減算)
続いて、3次元被写体1811を撮像したZスタック画像のZ=Zfにおけるレイヤー画像g(数23)から視点散乱画像統合像DS(数31)を減算した合成画像の特徴を考える。合成画像SUBは以下の式で表される。
上記の式は、数30と同じで、蛍光観察のように自ら発光する蛍光物体(0<b<aの場合)の焦点ぼけ画像がZ=Zfのレイヤー画像に含まれる場合でも、視点散乱画像統合像の減算により、被写界深度を拡大することが出来る。
続いて、3次元被写体1811を撮像したZスタック画像のZ=Zfにおけるレイヤー画像g(数23)から視点散乱画像統合像DS(数31)を減算した合成画像の特徴を考える。合成画像SUBは以下の式で表される。
同様に、図21(a)〜図21(f)を用いて説明する。
図21(d)の画像2111は3次元被写体1811を撮像したZスタック画像のZ=Zfにおけるレイヤー画像を表し、数23の式に対応している。図21(e)の画像2112は3次元被写体1811を撮像したZスタック画像のZ=Zfの位置における視点散乱画像統合像を表し、数31の式に対応している。図21(f)の画像2113はZ=Zfにおけるレイヤー画像から視点散乱画像統合像を減算した画像を表し、数32の式に対応している。
図21(a)の2101、図21(b)の2102、図21(c)の2103はそれぞれ画像2111、2112、2113のX方向の輝度断面を表している。
図21(d)の画像2111は3次元被写体1811を撮像したZスタック画像のZ=Zfにおけるレイヤー画像を表し、数23の式に対応している。図21(e)の画像2112は3次元被写体1811を撮像したZスタック画像のZ=Zfの位置における視点散乱画像統合像を表し、数31の式に対応している。図21(f)の画像2113はZ=Zfにおけるレイヤー画像から視点散乱画像統合像を減算した画像を表し、数32の式に対応している。
図21(a)の2101、図21(b)の2102、図21(c)の2103はそれぞれ画像2111、2112、2113のX方向の輝度断面を表している。
レイヤー画像2111では撮像光学系の焦点ぼけh(X,Y,dZ)によって画像の中心から輝度が緩やかに減少している。視点散乱画像統合像2112では画像の中心の輝度が0であることを除き、画像の中心から輝度が緩やかに減少する。従って、レイヤー画像2111から視点散乱画像統合像2112を減算すると、断面2103に示すように、3次元的な焦点ぼけによる輝度変化が打ち消され、画像の中心部にある物体が明瞭に観察できる合成画像2113が得られる。
なお、点物体がZ=Zfに存在する3次元被写体1801の場合には、Z=Zfにおけるレイヤー画像は数22で表され、視点散乱画像統合像は0になることから、両者の減算結果はZ=Zfにおけるレイヤー画像のままである。
なお、視点散乱画像統合像の減算により、標本の表面凹凸による散乱光の情報は弱められるように思われるが、視点散乱画像統合像を生成する際の視点重み関数の変更や強度の調整により、散乱光の強い部分を逆に周囲よりも暗くすることが可能である。従って減算の場合にも散乱光の強い部分を目立たせることが可能である。
なお、点物体がZ=Zfに存在する3次元被写体1801の場合には、Z=Zfにおけるレイヤー画像は数22で表され、視点散乱画像統合像は0になることから、両者の減算結果はZ=Zfにおけるレイヤー画像のままである。
なお、視点散乱画像統合像の減算により、標本の表面凹凸による散乱光の情報は弱められるように思われるが、視点散乱画像統合像を生成する際の視点重み関数の変更や強度の調整により、散乱光の強い部分を逆に周囲よりも暗くすることが可能である。従って減算の場合にも散乱光の強い部分を目立たせることが可能である。
視点散乱画像統合像に標本の表面凹凸による散乱光の情報が含まれており、さらにZ=Zfにおけるレイヤー画像に物体のぼけ像が存在する場合でも、レイヤー画像と視点散乱画像統合像の減算によって、散乱光の強調と被写界深度の拡大が実現できる。これにより、例えば蛍光物体などの周囲よりも明るい物体を明瞭にする効果が得られ、診断や画像解析において有用な画像となる。
(演算式24の変形例)
数24の視点画像間の演算式では、視点重み関数として、撮像光学系の3次元的な焦点ぼけh(X,Y,Z)に対応するk(s,t)を用いたが、それ以外の所望の3次元的な
焦点ぼけha(X,Y,Z)に対応するka(s,t)を用いることも可能である。ha(X,Y,Z)とka(s,t)には数19,数20同様、以下の関係が成立する。
数24の視点画像間の演算式では、視点重み関数として、撮像光学系の3次元的な焦点ぼけh(X,Y,Z)に対応するk(s,t)を用いたが、それ以外の所望の3次元的な
焦点ぼけha(X,Y,Z)に対応するka(s,t)を用いることも可能である。ha(X,Y,Z)とka(s,t)には数19,数20同様、以下の関係が成立する。
その場合、視点散乱画像統合像2012(あるいは2112)の輝度断面2002(あるいは2102)にka(s,t)から求まるha(X,Y,dZ)に対応する焦点ぼけが現れる。よって、合成画像2013(あるいは2113)の輝度断面2003(あるいは2103)には、被写界深度拡大を抑える効果やエッジ強調のような効果を生むことができる。
また、数24の視点P0およびP1は互いに視点の偏角θが180度異なる関係になくても良い。また数15のように視点位置P0、P1、P2のように3つ以上の視点画像を用いて視点散乱画像を計算しても良い。いずれの場合でも数26は数28に変形でき、レイヤー画像中の物体の焦点ぼけを抑える効果が得られる。
以上で、実施例3および実施例4で生成する、Zスタック画像中のフォーカス位置の画像(Z=Zfにおけるレイヤー画像)と視点散乱画像統合像を合成した合成画像の特徴について説明した。以下、この合成画像を、フォーカス位置散乱画像合成像とよぶ。
続いて、本実施例におけるフォーカス位置散乱画像合成像(第3の観察用画像)を生成する処理フローについて述べる。
(画像合成処理の概要)
図17は本実施例のフォーカス位置散乱画像合成像を生成する全体フローを示すフローチャートである。
まず、Zスタック画像取得ステップS1701では、図8のステップS801と同一の処理を行い、以降の計算で必要となる範囲のZスタック画像のデータを取得する。
次に、視点分解散乱画像抽出・統合処理ステップS1702では、ステップS802と同一の処理を行う。まず視点分解設定(704)に基づきZスタック画像から複数の視点に対する視点画像を生成し、視点散乱画像抽出設定(705)に基づき視点画像間の演算を行って視点散乱画像を生成する。そして最後に、視点散乱画像統合設定(706)に基づき、複数の視点散乱画像を統合した視点散乱画像統合像を生成する。
次に、輪郭抽出処理ステップS1703では、ステップS803と同一の処理を行い、視点散乱画像統合像から輪郭を抽出した輪郭抽出像を生成する。ステップS803と同様、必須の処理ではない。
図17は本実施例のフォーカス位置散乱画像合成像を生成する全体フローを示すフローチャートである。
まず、Zスタック画像取得ステップS1701では、図8のステップS801と同一の処理を行い、以降の計算で必要となる範囲のZスタック画像のデータを取得する。
次に、視点分解散乱画像抽出・統合処理ステップS1702では、ステップS802と同一の処理を行う。まず視点分解設定(704)に基づきZスタック画像から複数の視点に対する視点画像を生成し、視点散乱画像抽出設定(705)に基づき視点画像間の演算を行って視点散乱画像を生成する。そして最後に、視点散乱画像統合設定(706)に基づき、複数の視点散乱画像を統合した視点散乱画像統合像を生成する。
次に、輪郭抽出処理ステップS1703では、ステップS803と同一の処理を行い、視点散乱画像統合像から輪郭を抽出した輪郭抽出像を生成する。ステップS803と同様、必須の処理ではない。
次に、本実施例の特徴的な構成である画像合成処理ステップS1704では、Zスタック画像中のフォーカス位置の画像(Z=Zfにおけるレイヤー画像)に視点散乱画像統合像を合成した画像であるフォーカス位置散乱画像合成像を生成する。詳細は後述する。
最後に、画像表示処理ステップS1705では、ステップS804と同様に、ウィンドウ700の右側領域702にステップS1704で求めたフォーカス位置散乱画像合成像を表示する。この例では、フォーカス位置散乱画像合成像が画像観察や画像診断に適した観察用画像である。ステップS804と同様、ウィンドウ700の左側領域701のフォ
ーカス位置の像、右側領域702のフォーカス位置散乱画像合成像が表示されるため、対比較して観察できる。また、さらにウィンドウ内の所定の領域を選択し、N/C比算出等の画像解析を実行することもできる。
最後に、画像表示処理ステップS1705では、ステップS804と同様に、ウィンドウ700の右側領域702にステップS1704で求めたフォーカス位置散乱画像合成像を表示する。この例では、フォーカス位置散乱画像合成像が画像観察や画像診断に適した観察用画像である。ステップS804と同様、ウィンドウ700の左側領域701のフォ
ーカス位置の像、右側領域702のフォーカス位置散乱画像合成像が表示されるため、対比較して観察できる。また、さらにウィンドウ内の所定の領域を選択し、N/C比算出等の画像解析を実行することもできる。
以降、画像合成処理ステップS1704の内部処理を詳しく説明する。
図22は画像合成処理ステップS1704の内部処理を示すフローチャートである。
まずフォーカス位置像読み出しステップS2201では、Zスタック画像からZスタック画像中のZ方向の観察対象位置(フォーカス位置)Z=Zfにあるレイヤー画像を読み出す。なお、以降の説明では、Zスタック画像中のZ方向の観察対象位置Z=Zfにあるレイヤー画像のことを、フォーカスを合わせた位置の画像と言う意味でフォーカス位置像と呼ぶ。詳細は後述する。
次に、画像合成設定読み出しステップS2202では、後段のフォーカス位置散乱画像合成像生成処理ステップS2204の計算条件を決める画像合成設定を読み出す。詳細は後述する。
次に、画像合成演算方法決定ステップS2203では、後段のステップS2204の計算条件の1つである画像合成演算方法を決定する。なお、S2203の処理はオプションであり必須ではない。詳細は後述する。
次に、フォーカス位置散乱画像合成像生成処理ステップS2204では、ステップS2201で読みだしたフォーカス位置像とステップS1702で計算した視点散乱画像統合像との間で画像合成演算を実施し、フォーカス位置散乱画像合成像を生成する。この合成像生成処理において、視点散乱画像統合像のかわりに、ステップS1703の輪郭抽出処理を施した画像をフォーカス位置像に合成してもよい。詳細は後述する。
最後に諧調補正ステップS2205では、フォーカス位置像(ウィンドウ700の左側領域701に表示)とフォーカス位置散乱画像合成像(ウィンドウ700の右側領域702に表示)を比較しやすくするために、諧調補正を実行する。なおステップS2204の処理はオプションであり必須ではない。
図22は画像合成処理ステップS1704の内部処理を示すフローチャートである。
まずフォーカス位置像読み出しステップS2201では、Zスタック画像からZスタック画像中のZ方向の観察対象位置(フォーカス位置)Z=Zfにあるレイヤー画像を読み出す。なお、以降の説明では、Zスタック画像中のZ方向の観察対象位置Z=Zfにあるレイヤー画像のことを、フォーカスを合わせた位置の画像と言う意味でフォーカス位置像と呼ぶ。詳細は後述する。
次に、画像合成設定読み出しステップS2202では、後段のフォーカス位置散乱画像合成像生成処理ステップS2204の計算条件を決める画像合成設定を読み出す。詳細は後述する。
次に、画像合成演算方法決定ステップS2203では、後段のステップS2204の計算条件の1つである画像合成演算方法を決定する。なお、S2203の処理はオプションであり必須ではない。詳細は後述する。
次に、フォーカス位置散乱画像合成像生成処理ステップS2204では、ステップS2201で読みだしたフォーカス位置像とステップS1702で計算した視点散乱画像統合像との間で画像合成演算を実施し、フォーカス位置散乱画像合成像を生成する。この合成像生成処理において、視点散乱画像統合像のかわりに、ステップS1703の輪郭抽出処理を施した画像をフォーカス位置像に合成してもよい。詳細は後述する。
最後に諧調補正ステップS2205では、フォーカス位置像(ウィンドウ700の左側領域701に表示)とフォーカス位置散乱画像合成像(ウィンドウ700の右側領域702に表示)を比較しやすくするために、諧調補正を実行する。なおステップS2204の処理はオプションであり必須ではない。
(フォーカス位置像読み出しステップS2201)
ステップS2201では、ステップS1701で取得したZスタック画像から、ウィンドウ700の左側領域701に表示されている観察対象位置(Z=Zf)にあるレイヤー画像を読み出す。なお、それ以外の方法でフォーカス位置像を選択することも可能である。例えば、合成画像の生成に用いるフォーカス位置像(ウィンドウ700の左側領域に表示されている観察対象位置のレイヤー画像とは異なっていてもよい)を、ユーザに指定させても良い。また、Zスタック画像のZ方向の輝度変化を調べ、多数の画素で輝度変化(コントラスト)が最も大きなZ位置(Z=Zf)を自動的に選択し、そのZ位置にあるレイヤー画像をフォーカス位置像としても良い。前記以外にも様々なフォーカス位置像の選択が可能である。なお、ステップS2201で決定するフォーカス位置像のZスタック画像中のZ位置と、ステップS1702の視点散乱画像統合像の視点画像の計算に用いるZ位置は一致させる必要がある。
ステップS2201では、ステップS1701で取得したZスタック画像から、ウィンドウ700の左側領域701に表示されている観察対象位置(Z=Zf)にあるレイヤー画像を読み出す。なお、それ以外の方法でフォーカス位置像を選択することも可能である。例えば、合成画像の生成に用いるフォーカス位置像(ウィンドウ700の左側領域に表示されている観察対象位置のレイヤー画像とは異なっていてもよい)を、ユーザに指定させても良い。また、Zスタック画像のZ方向の輝度変化を調べ、多数の画素で輝度変化(コントラスト)が最も大きなZ位置(Z=Zf)を自動的に選択し、そのZ位置にあるレイヤー画像をフォーカス位置像としても良い。前記以外にも様々なフォーカス位置像の選択が可能である。なお、ステップS2201で決定するフォーカス位置像のZスタック画像中のZ位置と、ステップS1702の視点散乱画像統合像の視点画像の計算に用いるZ位置は一致させる必要がある。
(画像合成設定読み出しステップS2202)
画像合成設定読み出しステップS2202では後段のステップS2204で用いる画像合成設定を読み出す。本ステップS2202で読みだす画像合成設定は、予め、散乱画像抽出機能の設定画面を介して入力した情報である。以下、本実施例における散乱画像抽出機能の設定画面で設定する項目について説明する。
画像合成設定読み出しステップS2202では後段のステップS2204で用いる画像合成設定を読み出す。本ステップS2202で読みだす画像合成設定は、予め、散乱画像抽出機能の設定画面を介して入力した情報である。以下、本実施例における散乱画像抽出機能の設定画面で設定する項目について説明する。
(画像合成設定)
図23(a)は本実施例における散乱画像抽出・統合の設定画面を示し、図23(b)は画像合成設定画面を示す。設定ダイアログ2300のオーバーレイ表示2307のチェックボックスを有効にすると、画像合成設定ボタン2308の設定ボタンが有効となり、
2320に示す画像合成設定ダイアログボックスを用いて画像合成設定が可能となる。なお、視点分解設定2304、視点散乱画像抽出設定2305、視点散乱画像統合設定2306の設定画面は、それぞれ図7(b)における同一名称の設定と同じであるため、説明は省略する。
図23(a)は本実施例における散乱画像抽出・統合の設定画面を示し、図23(b)は画像合成設定画面を示す。設定ダイアログ2300のオーバーレイ表示2307のチェックボックスを有効にすると、画像合成設定ボタン2308の設定ボタンが有効となり、
2320に示す画像合成設定ダイアログボックスを用いて画像合成設定が可能となる。なお、視点分解設定2304、視点散乱画像抽出設定2305、視点散乱画像統合設定2306の設定画面は、それぞれ図7(b)における同一名称の設定と同じであるため、説明は省略する。
画像合成設定2320では、後段のステップS2204での画像合成演算方法を定めるための設定やステップS2205の諧調補正で用いる設定を入力する。
例えば、画像合成設定2320の演算方法(2321)ではドロップダウンリストから「加算」、「減算」、「自動判定」などの画像合成の演算方法が選択できる。
演算方法(2321)で「自動判定」を選んだ場合、自動判定(2322)のドロップダウンリストから自動判定する条件を選択する。自動判定の条件としては、「標本観察条件」や「画像情報」などが選択できる。
合成強度(2323)ではエディットボックス内にフォーカス位置散乱画像合成像生成処理S2204における、視点散乱画像統合像の合成強度を数字で入力する。
諧調補正(2324)ではフォーカス位置像に視点散乱画像統合像を合成した後の諧調補正方式を選択する。ドロップダウンリストには何も処理をしない場合の「補正しない」、合成前後の輝度平均値を維持する「平均値維持」、合成前後のヒストグラムの最頻値を維持する「最頻値維持」などが選択できる。
画像合成設定読み出しステップS2202では、以上で述べた画像合成設定2320で予め設定した設定情報を読み出す。
例えば、画像合成設定2320の演算方法(2321)ではドロップダウンリストから「加算」、「減算」、「自動判定」などの画像合成の演算方法が選択できる。
演算方法(2321)で「自動判定」を選んだ場合、自動判定(2322)のドロップダウンリストから自動判定する条件を選択する。自動判定の条件としては、「標本観察条件」や「画像情報」などが選択できる。
合成強度(2323)ではエディットボックス内にフォーカス位置散乱画像合成像生成処理S2204における、視点散乱画像統合像の合成強度を数字で入力する。
諧調補正(2324)ではフォーカス位置像に視点散乱画像統合像を合成した後の諧調補正方式を選択する。ドロップダウンリストには何も処理をしない場合の「補正しない」、合成前後の輝度平均値を維持する「平均値維持」、合成前後のヒストグラムの最頻値を維持する「最頻値維持」などが選択できる。
画像合成設定読み出しステップS2202では、以上で述べた画像合成設定2320で予め設定した設定情報を読み出す。
(画像合成演算方法決定S2203)
画像合成演算方法決定ステップS2203では、ステップS2202で読み出した画像合成設定の演算方法(2321)が「自動判定」の場合に、自動判定(2322)で設定した条件を元に、画像合成の演算方法を決定する処理を行う。
自動判定(2322)で「標本観察条件」を選択した場合、標本からZスタック画像を取得するときの撮像装置の条件、例えば、「明視野観察」や「蛍光観察」などの情報を元に、画像合成の演算方法を決定する。
画像合成演算方法決定ステップS2203では、ステップS2202で読み出した画像合成設定の演算方法(2321)が「自動判定」の場合に、自動判定(2322)で設定した条件を元に、画像合成の演算方法を決定する処理を行う。
自動判定(2322)で「標本観察条件」を選択した場合、標本からZスタック画像を取得するときの撮像装置の条件、例えば、「明視野観察」や「蛍光観察」などの情報を元に、画像合成の演算方法を決定する。
なお、Zスタック画像を撮影した条件は、どのような方法で取得してもよい。例えば、Zスタック画像のデータを格納するファイルフォーマット内の所定の箇所に記載される場合もあれば、バーチャル・スライド・システムから画像生成装置100にZスタック画像を伝送する際に、別データとして同時に送信される場合もある。その場合には、Zスタック画像のファイルフォーマットまたは画像生成装置100から「標本観察設定」の情報を取得する。
また、図4に示す病理標本のプレパラートのラベルエリア412に記載された2次元バーコードやプレパラートに添付されたICチップ(不図示)を利用する方法も好ましい。例えば、標本観察条件を示す情報をバーコードやICチップに記録してもよい。あるいは、プレパラートのID情報をバーコードやICチップに記録し、このID情報と標本観察条件の関連付けを他のコンピュータシステム140のデータベースに記憶する構成も好ましい。その場合にはプレパラートのID情報を元に、他のコンピュータシステム140にアクセスし、標本観察条件を取得すると良い。
また、図4に示す病理標本のプレパラートのラベルエリア412に記載された2次元バーコードやプレパラートに添付されたICチップ(不図示)を利用する方法も好ましい。例えば、標本観察条件を示す情報をバーコードやICチップに記録してもよい。あるいは、プレパラートのID情報をバーコードやICチップに記録し、このID情報と標本観察条件の関連付けを他のコンピュータシステム140のデータベースに記憶する構成も好ましい。その場合にはプレパラートのID情報を元に、他のコンピュータシステム140にアクセスし、標本観察条件を取得すると良い。
ステップS2203では、取得した「標本観察条件」が「明視野観察」である場合、透過率の低い物体が観察対象であると判断し、画像合成演算方法として「加算」を自動的に選択する。また、取得した「標本観察条件」が「蛍光観察」である場合、自発光の物体が観察対象であると判断し、画像合成演算方法として「減算」を自動的に選択することが望ましい。
自動判定(2322)で「画像情報」を選択した場合、ステップS2203ではZスタ
ック画像の輝度情報の解析を行い、その結果に応じて画像合成演算方法を自動的に決定する。画像の解析方法には様々な方法が存在するが、例えば、Zスタック画像全体の平均輝度を求め、平均輝度が所定の閾値より高い場合には、画像合成演算方法として「加算」を自動的に選択する。逆に、平均輝度が閾値より低い場合には、画像合成演算方法として「減算」を自動的に選択する。他の解析方法として、例えば、Zスタック画像の輝度ヒストグラムから動的閾値法などを用いて輝度ヒストグラムの谷を求め、低輝度領域に谷が位置する場合は「加算」、高輝度領域に谷が位置する場合は「減算」を選択する方法でもよい。なお、解析に用いる画像は、Zスタック画像に含まれるすべてのレイヤー画像でもよいし、一部のレイヤー画像でもよい。また、レイヤー画像の全領域を解析に用いてもよいし、一部の領域のみを解析に用いてもよい。
ック画像の輝度情報の解析を行い、その結果に応じて画像合成演算方法を自動的に決定する。画像の解析方法には様々な方法が存在するが、例えば、Zスタック画像全体の平均輝度を求め、平均輝度が所定の閾値より高い場合には、画像合成演算方法として「加算」を自動的に選択する。逆に、平均輝度が閾値より低い場合には、画像合成演算方法として「減算」を自動的に選択する。他の解析方法として、例えば、Zスタック画像の輝度ヒストグラムから動的閾値法などを用いて輝度ヒストグラムの谷を求め、低輝度領域に谷が位置する場合は「加算」、高輝度領域に谷が位置する場合は「減算」を選択する方法でもよい。なお、解析に用いる画像は、Zスタック画像に含まれるすべてのレイヤー画像でもよいし、一部のレイヤー画像でもよい。また、レイヤー画像の全領域を解析に用いてもよいし、一部の領域のみを解析に用いてもよい。
(フォーカス位置散乱画像合成像生成処理ステップS2204)
フォーカス位置散乱画像合成像生成処理ステップS2204では、ステップS2202の設定(およびステップS2203で決定した画像合成演算方式)に基づき、フォーカス位置像と視点散乱画像統合像の合成演算を実行する。
既に述べたように、フォーカス位置像をg(X,Y,Zf)とし、視点散乱画像統合像(第2の観察用画像)をDS(X,Y,Zf)とすると、ステップS2204で計算するフォーカス位置散乱画像合成像(第3の観察用画像)Comp(X,Y,Zf)は以下の式で表せる。
合成係数αの絶対値は、図23(b)の合成強度(2323)で設定した値である。合成係数αの符号は、画像合成演算方式が「加算」の場合に「+(正)」となり、「減算」の場合に「−(負)」となる。
フォーカス位置散乱画像合成像生成処理ステップS2204では、ステップS2202の設定(およびステップS2203で決定した画像合成演算方式)に基づき、フォーカス位置像と視点散乱画像統合像の合成演算を実行する。
既に述べたように、フォーカス位置像をg(X,Y,Zf)とし、視点散乱画像統合像(第2の観察用画像)をDS(X,Y,Zf)とすると、ステップS2204で計算するフォーカス位置散乱画像合成像(第3の観察用画像)Comp(X,Y,Zf)は以下の式で表せる。
(諧調補正ステップS2205)
続いて、諧調補正ステップS2205ではステップS2202で読み出した画像合成設定の諧調補正(2324)の設定に従い、フォーカス位置散乱画像合成像の諧調を補正する。例えば、諧調補正(2324)で「平均値維持」となっている場合には以下の演算により、補正されたフォーカス位置散乱画像合成像Comp’(X,Y,Zf)を得る。
mDSは視点散乱画像統合像DS(X,Y,Zf)の画素の平均値である。合成係数αは数35のαと同じである。すなわち、画像合成演算方式が「加算」の場合は、ステップS2204で得られた合成像の全画素から平均値mDSを一律に減算し、「減算」の場合は、合成像の全画素に平均値mDSを一律に加算する。この演算により、視点散乱画像統合像DS(X,Y,Zf)の加算(または減算)による合成像Comp(X,Y,Zf)の輝度増加(または輝度低下)がキャンセルされる。よって、フォーカス位置像g(X,Y,Zf)と補正された合成像Comp’(X,Y,Zf)の輝度バランスを合わせることができ、比較観察がやりやすくなる。なお、RGBのチャネル毎にmDSを求め、補正しても良い。
続いて、諧調補正ステップS2205ではステップS2202で読み出した画像合成設定の諧調補正(2324)の設定に従い、フォーカス位置散乱画像合成像の諧調を補正する。例えば、諧調補正(2324)で「平均値維持」となっている場合には以下の演算により、補正されたフォーカス位置散乱画像合成像Comp’(X,Y,Zf)を得る。
なお、数35および数36の演算では、0より小さい画素値は0とし、最大諧調(例えば8ビットなら255)より大きい画素値は255としても良い。あるいは、0および最大諧調の近傍では、線型ではないトーンカーブを用いて徐々に0または最大諧調に収めても良い。
なお、数35と数36は一つの式に統合できるため、ステップS2204でステップS2205の諧調補正処理も同時に実行しても良い。
なお、数35と数36は一つの式に統合できるため、ステップS2204でステップS2205の諧調補正処理も同時に実行しても良い。
また、諧調補正(2324)で「最頻値維持」を選択した場合は、ヒストグラムの最頻値(ピーク)がフォーカス位置像g(X,Y,Zf)のものと一致するように、フォーカス位置散乱画像合成像Comp(X,Y,Zf)の諧調を補正する。このとき、RGBのチャネルごとにヒストグラムの最頻値を求め、チャネルごとに諧調を補正しても良いし、輝度ヒストグラムの最頻値を一致させるように諧調を補正してもよい。このような諧調補正によっても、フォーカス位置像g(X,Y,Zf)と補正された合成像Comp’(X,Y,Zf)の輝度バランスや色バランスを合わせることができ、比較観察がやりやすくなる。
なお、諧調補正(2324)で「補正しない」を選択した場合には、ステップS2205では処理を行わない。
なお、諧調補正(2324)で「補正しない」を選択した場合には、ステップS2205では処理を行わない。
(本実施例の利点)
本実施例の構成によれば、元画像であるフォーカス位置像(Z=Zfのレイヤー画像)のなかに物体(例えば細胞核など)の焦点ぼけ像が含まれている場合でも、視点散乱画像統合像を合成することで焦点ぼけを改善できる。これにより、元画像よりも被写界深度の深い(フォーカス位置から外れた物体のシャープネスが向上した)観察用画像が得られ、画像診断や画像解析をしやすくすることができる。一般的な焦点合成法(フォーカススタッキング)により得られる全焦点画像は奥行き方向にある物体の焦点ぼけを解消することができるが、立体感が失われるという課題がある。これに対し、本実施例のフォーカス位置散乱画像合成像では、散乱光の情報が強調されるため、全焦点画像とは異なり、立体感が失われることはない。
本実施例の構成によれば、元画像であるフォーカス位置像(Z=Zfのレイヤー画像)のなかに物体(例えば細胞核など)の焦点ぼけ像が含まれている場合でも、視点散乱画像統合像を合成することで焦点ぼけを改善できる。これにより、元画像よりも被写界深度の深い(フォーカス位置から外れた物体のシャープネスが向上した)観察用画像が得られ、画像診断や画像解析をしやすくすることができる。一般的な焦点合成法(フォーカススタッキング)により得られる全焦点画像は奥行き方向にある物体の焦点ぼけを解消することができるが、立体感が失われるという課題がある。これに対し、本実施例のフォーカス位置散乱画像合成像では、散乱光の情報が強調されるため、全焦点画像とは異なり、立体感が失われることはない。
[実施例4]
MFI任意視点/焦点ぼけ画像生成法(非特許文献2または3の方法)では、複数の視点画像を統合する際に用いる視点重み関数を変えることで任意の焦点ぼけを持つ画像を生成できる。その際、撮像光学系の3次元的な焦点ぼけに対応する相対強度分布を表す視点重み関数(以降、「撮像光学系重み関数」とよぶ)を用いれば、複数の視点画像から元のフォーカス位置像(レイヤー画像)を再構成できる。
本発明者は、観察角φが比較的大きな視点に対する重みが、撮像光学系重み関数に比べて大きい、視点重み関数を用いることで、元のレイヤー画像よりも標本の表面凹凸の散乱光のコントラストが大きな画像を再構成できることを見出した。数6や数9で説明したように観察角φが大きな画像では散乱光のコントラストが高くなるからである。このような性質を利用し、レイヤー画像の代わりに、視点重み関数を変更して生成した任意焦点ぼけ画像を利用することで、実施例3の方法に比べ、散乱光の情報をより強調することができる。
また、上記実施例3の方法では、フォーカス位置像に含まれる撮像光学系の焦点ぼけをキャンセルするために、できるだけ多くの(あらゆる偏角および観察角の)視点画像から求めた視点散乱画像統合像をフォーカス位置像に合成することが好ましい。しかし、視点画像の数(視点数)が多くなるほど、フォーカス位置散乱画像合成像の生成に要する時間が長くなる。
そこで実施例4では、視点毎に視点画像と視点散乱画像を合成し、それらを独自の視点重み関数を用いて統合することにより、少ない視点数で、かつ実施例3よりも散乱光のコントラストが大きなフォーカス位置散乱画像合成像を生成する方法について説明する。
MFI任意視点/焦点ぼけ画像生成法(非特許文献2または3の方法)では、複数の視点画像を統合する際に用いる視点重み関数を変えることで任意の焦点ぼけを持つ画像を生成できる。その際、撮像光学系の3次元的な焦点ぼけに対応する相対強度分布を表す視点重み関数(以降、「撮像光学系重み関数」とよぶ)を用いれば、複数の視点画像から元のフォーカス位置像(レイヤー画像)を再構成できる。
本発明者は、観察角φが比較的大きな視点に対する重みが、撮像光学系重み関数に比べて大きい、視点重み関数を用いることで、元のレイヤー画像よりも標本の表面凹凸の散乱光のコントラストが大きな画像を再構成できることを見出した。数6や数9で説明したように観察角φが大きな画像では散乱光のコントラストが高くなるからである。このような性質を利用し、レイヤー画像の代わりに、視点重み関数を変更して生成した任意焦点ぼけ画像を利用することで、実施例3の方法に比べ、散乱光の情報をより強調することができる。
また、上記実施例3の方法では、フォーカス位置像に含まれる撮像光学系の焦点ぼけをキャンセルするために、できるだけ多くの(あらゆる偏角および観察角の)視点画像から求めた視点散乱画像統合像をフォーカス位置像に合成することが好ましい。しかし、視点画像の数(視点数)が多くなるほど、フォーカス位置散乱画像合成像の生成に要する時間が長くなる。
そこで実施例4では、視点毎に視点画像と視点散乱画像を合成し、それらを独自の視点重み関数を用いて統合することにより、少ない視点数で、かつ実施例3よりも散乱光のコントラストが大きなフォーカス位置散乱画像合成像を生成する方法について説明する。
まず、撮像光学系重み関数k(s,t)よりも、観察角φが大きな視点で相対強度が大きくなる視点重み関数について、具体的に説明する。なお、観察角φは数4や数5に示すように視点の原点からの距離(=(s2+t2)1/2)に伴って増加する。ここでは、観察角φが同じ視点(視線方向)に対して同じ重みを与えるので、視点重み関数は光軸まわりに回転対称な形状をもつ。したがって、視点重み関数を観察角φの関数k(φ)で定
義してもよい。
義してもよい。
(観察角φが大きな視点位置で相対強度が大きくなる視点重み関数について)
図25(a)と図25(b)に観察角φに対する相対強度が異なる2つの視点重み関数の断面図を示す。
図25(a)はガウス関数で表される視点重み関数、図25(b)は円柱形で表される視点重み関数である。rmは任意焦点ぼけ画像の生成に用いる視点のうち、レンズ面上で最も外側の視点の原点(0,0)からの距離を表す。
図25(a)と図25(b)に観察角φに対する相対強度が異なる2つの視点重み関数の断面図を示す。
図25(a)はガウス関数で表される視点重み関数、図25(b)は円柱形で表される視点重み関数である。rmは任意焦点ぼけ画像の生成に用いる視点のうち、レンズ面上で最も外側の視点の原点(0,0)からの距離を表す。
図25(a)に模式的な断面図を示すように、数37で表される視点重み関数は視点(s,t)の原点からの距離(=(s2+t2)1/2)が大きくなるに従い、相対強度が小さくなる。一方、図25(b)に示すように、数38で表される視点重み関数は視点(s,t)の原点からの距離にかかわらず一定の相対強度を持つ。縦軸に示す相対強度が、重みの大きさに対応する。
仮に、撮像光学系重み関数が数37で表され、MFI任意視点/焦点ぼけ画像生成法で計算する任意焦点ぼけ画像の視点重み関数が数38で表されるとする。その場合、任意焦点ぼけ画像では、元のフォーカス位置像に比べて観察角φの大きな視点画像の影響が大きくなり、散乱光成分が強く現れる。
なお、撮像光学系の3次元的な焦点ぼけは、波動光学的なぼけや各種収差の影響により、厳密に数37の視点重み関数で表現できる訳ではないが、数37の視点重み関数により比較的良く近似できる。
仮に、撮像光学系重み関数が数37で表され、MFI任意視点/焦点ぼけ画像生成法で計算する任意焦点ぼけ画像の視点重み関数が数38で表されるとする。その場合、任意焦点ぼけ画像では、元のフォーカス位置像に比べて観察角φの大きな視点画像の影響が大きくなり、散乱光成分が強く現れる。
なお、撮像光学系の3次元的な焦点ぼけは、波動光学的なぼけや各種収差の影響により、厳密に数37の視点重み関数で表現できる訳ではないが、数37の視点重み関数により比較的良く近似できる。
(本実施例の計算概要)
本実施例では実施例3の数35のフォーカス位置像g(X,Y,Zf)の代わりに任意焦点ぼけ画像a(X,Y,Zf)を用いる。本実施例のフォーカス位置散乱画像合成像(第4の観察用画像)は以下の式で表現できる。
本実施例では実施例3の数35のフォーカス位置像g(X,Y,Zf)の代わりに任意焦点ぼけ画像a(X,Y,Zf)を用いる。本実施例のフォーカス位置散乱画像合成像(第4の観察用画像)は以下の式で表現できる。
a(X,Y,Zf)およびDS(X,Y,Zf)はそれぞれ以下の式で表現できる。
なお、IP0(X,Y,Zf)とIP1(X,Y,Zf)はそれぞれ視点P0およびP1の視線方向からZ=Zfの位置がピント位置となるように観察した視点画像である。
即ち、本実施例の処理は、視点毎に視点画像(第1の視点画像)と視点散乱画像(第1の観察用画像)を合成して視点毎のフォーカス位置散乱画像合成像(合成画像)CP0(X,Y,Zf)を生成し、それらに視点重み関数ka(s,t)を掛け算したものを統合することでフォーカス位置散乱画像合成像(第4の観察用画像)Comp(X,Y,Zf)を生成する処理と等価である。言い換えると、本実施例の観察用画像生成処理は、視点画像に対し視点散乱画像を合成する処理を、(視点散乱画像の生成に用いる)2つの視点画像の組み合わせを変えて、複数回行い、得られた複数の合成画像を統合する処理と等価である。
全体の処理フローは、実施例1(図8)とほぼ同じである。ただし、ステップS802の代わりに、本実施例では、図24に示すフォーカス位置散乱画像合成像生成処理を実行する。
(フォーカス位置散乱画像合成像生成処理)
図24は本実施例におけるフォーカス位置散乱画像合成像生成処理を示すフローチャートである。図24に示すフローチャートの各ステップの処理は、視点毎フォーカス位置散乱画像合成像生成処理S2403を除き、実施例1で説明した図9の処理とほぼ同一となっている。
図24は本実施例におけるフォーカス位置散乱画像合成像生成処理を示すフローチャートである。図24に示すフローチャートの各ステップの処理は、視点毎フォーカス位置散乱画像合成像生成処理S2403を除き、実施例1で説明した図9の処理とほぼ同一となっている。
まず、視点取得処理ステップS2401では、ステップS901と同様、視点画像の生成に必要な視点の位置情報を取得する。
次に、視点画像生成ステップS2402では、ステップS902と同様、ステップS2401で取得した複数の視点にそれぞれ対応する複数の視点画像を生成する。
次に、視点画像生成ステップS2402では、ステップS902と同様、ステップS2401で取得した複数の視点にそれぞれ対応する複数の視点画像を生成する。
次に、視点毎フォーカス位置散乱画像合成像生成処理ステップS2403では、ステップS2402で生成した視点画像のそれぞれに対し、視点散乱画像抽出設定(705)での設定に基づき、対応する視点散乱画像を合成する。その結果、視点毎のフォーカス位置散乱画像合成像が得られる。視点P0のフォーカス位置散乱画像合成像CP0(X,Y,Zf)は前述の数43を用いて計算できる。
数43のIP0(X,Y,Zf)とIP1(X,Y,Zf)はそれぞれ視点P0およびP1における視点画像である。1/2×|IP1(X,Y,Zf)―IP0(X,Y,Z
f)|は視点P0の視点散乱画像である。合成係数αの符号および絶対値は、実施例3と同様、図23(b)の画像合成設定2320の演算方法(2321)および合成強度(2323)に基づき決定する。(図24では省略したが、図22のステップS2202,S2203,S2204の処理と同じ処理をステップS2403において行えばよい。)
数43のIP0(X,Y,Zf)とIP1(X,Y,Zf)はそれぞれ視点P0およびP1における視点画像である。1/2×|IP1(X,Y,Zf)―IP0(X,Y,Z
f)|は視点P0の視点散乱画像である。合成係数αの符号および絶対値は、実施例3と同様、図23(b)の画像合成設定2320の演算方法(2321)および合成強度(2323)に基づき決定する。(図24では省略したが、図22のステップS2202,S2203,S2204の処理と同じ処理をステップS2403において行えばよい。)
ステップS2401で設定した全ての視点に対し、ステップS2403の計算を終えた後、フォーカス位置散乱画像合成像生成ステップS2404に進む。フォーカス位置散乱画像合成像生成ステップS2404では、複数の視点毎のフォーカス位置散乱画像合成像を統合し、フォーカス位置散乱画像合成像を生成する。実施例1のステップS904では視点散乱画像抽出像を統合するが、ステップS2404では視点毎のフォーカス位置散乱画像合成像を統合する点が異なる。ステップS2404の処理は前述の数42で表せる。
なお、ステップS2403およびステップS2404の処理は以下のように複合的に実現しても良い。まず視点ループに入る前にフォーカス位置散乱画像合成像を格納する画像バッファを作成し、0で初期化する。次にステップS2403において視点毎のフォーカス位置散乱画像合成像CP0(X,Y,Zf)とそれに対応する視点重み関数ka(s,t)の積を求め、得られた画素値を画像バッファに累積加算する。全ての視点に対して処理が完了すれば、前記のバッファ内にはフォーカス位置散乱合成像が格納される。この方法はソフトウェア処理において、使用メモリを削減するのに好適な方法である。
ka(s,t)は、図10(c)の散乱画像統合設定画面1003での重み付けの設定値に対応する。図示しないが、設定画面1003では、様々な所望の焦点ぼけに対応する重み付けが選択できる。例えば、重み付けとして、撮像光学系重み関数、撮像光学系よりも焦点ぼけの大きな3次元的な焦点ぼけに対応する視点重み関数(σを変えた数37の式)、視点によらず一律の重みの視点重み関数(数38の式)、などが選択できる。このとき、観察角φが大きい部分での重みが、撮像光学系重み関数に比べて大きい視点重み関数を選択すれば、フォーカス位置散乱画像合成像の標本の表面凹凸による散乱光の情報をより一層強調できる。
以上の処理により、本実施例でのフォーカス位置散乱画像合成像が生成できる。
以上の処理により、本実施例でのフォーカス位置散乱画像合成像が生成できる。
なお、本実施例ではステップS2403で視点毎のフォーカス位置散乱画像合成像を生成し、それらをステップS2404で統合した。しかし、ステップS2403では視点毎の視点散乱画像を生成し、ステップS2404で、視点毎の視点画像と視点散乱画像を合成し、フォーカス位置散乱画像合成像を生成しても良い。
(本実施例の利点)
本実施例では、実施例3の方法よりも少ない視点数でフォーカス位置散乱画像合成像を生成できるので、高速処理が実現できる。加えて、視点重み関数を適宜設計(選択)することで、フォーカス位置散乱画像合成像における散乱光の強調度合を制御できる。特に、観察角φが大きな視点位置に対する重みが撮像光学系重み関数のものよりも大きい視点重み関数を用いることで、実施例3の方法よりも散乱光のコントラストを高め、標本表面凹凸を観察しやすくできる。また実施例3と同様に、元画像に含まれる撮像光学系の焦点ぼけが改善された(フォーカス位置から外れた物体のシャープネスが向上した)観察用画像が得られ、画像診断や画像解析をしやすくすることができる。また、本実施例のフォーカス位置散乱画像合成像も、実施例3の場合と同様、被写界深度の深さと、散乱光の情報の強調によって発生する立体感を兼ね備える。
本実施例では、実施例3の方法よりも少ない視点数でフォーカス位置散乱画像合成像を生成できるので、高速処理が実現できる。加えて、視点重み関数を適宜設計(選択)することで、フォーカス位置散乱画像合成像における散乱光の強調度合を制御できる。特に、観察角φが大きな視点位置に対する重みが撮像光学系重み関数のものよりも大きい視点重み関数を用いることで、実施例3の方法よりも散乱光のコントラストを高め、標本表面凹凸を観察しやすくできる。また実施例3と同様に、元画像に含まれる撮像光学系の焦点ぼけが改善された(フォーカス位置から外れた物体のシャープネスが向上した)観察用画像が得られ、画像診断や画像解析をしやすくすることができる。また、本実施例のフォーカス位置散乱画像合成像も、実施例3の場合と同様、被写界深度の深さと、散乱光の情報の強調によって発生する立体感を兼ね備える。
[実施例5]
実施例3の冒頭で説明したように、Zスタック画像のフォーカス位置から外れる位置に物体が存在する場合には、視点散乱画像統合像に前記物体の焦点ぼけの像が含まれる。
本実施例では実施例4で述べたフォーカス位置散乱画像合成像の特徴を生かし、視点散乱画像統合像に含まれるフォーカス位置から外れた物体の焦点ぼけの影響を抑制する方法について述べる。
実施例3の冒頭で説明したように、Zスタック画像のフォーカス位置から外れる位置に物体が存在する場合には、視点散乱画像統合像に前記物体の焦点ぼけの像が含まれる。
本実施例では実施例4で述べたフォーカス位置散乱画像合成像の特徴を生かし、視点散乱画像統合像に含まれるフォーカス位置から外れた物体の焦点ぼけの影響を抑制する方法について述べる。
実施例4では、撮像光学系の3次元的な焦点ぼけとは異なる特性をもつ視点重み関数ka(s,t)を用いることで、フォーカス位置散乱画像合成像の被写界深度を深めつつ、より一層、散乱光の情報を強めることができることを述べた。
実施例4で得られるフォーカス位置散乱画像合成像の特徴を分析すると、興味深い現象が起きていることが分かる。数43でα=1とし、視点重み関数ka(s,t)を変更して生成した2枚のフォーカス位置散乱画像合成像を比較したとき、散乱光の強度は異なるにもかかわらず、焦点ぼけはいずれもキャンセルされ、被写界深度が非常に深くなっている。
即ち、視点重み関数ka(s,t)を変更して生成した2枚のフォーカス位置散乱画像合成像の間で差を取れば、視点散乱画像統合像に含まれる焦点ぼけの影響を低減し、標本の表面凹凸による散乱光の情報を精度良く抽出できる。また、後述するように、2枚のフォーカス位置散乱画像合成像の間の比を取ることによっても、散乱光の情報を抽出できる。
実施例4で得られるフォーカス位置散乱画像合成像の特徴を分析すると、興味深い現象が起きていることが分かる。数43でα=1とし、視点重み関数ka(s,t)を変更して生成した2枚のフォーカス位置散乱画像合成像を比較したとき、散乱光の強度は異なるにもかかわらず、焦点ぼけはいずれもキャンセルされ、被写界深度が非常に深くなっている。
即ち、視点重み関数ka(s,t)を変更して生成した2枚のフォーカス位置散乱画像合成像の間で差を取れば、視点散乱画像統合像に含まれる焦点ぼけの影響を低減し、標本の表面凹凸による散乱光の情報を精度良く抽出できる。また、後述するように、2枚のフォーカス位置散乱画像合成像の間の比を取ることによっても、散乱光の情報を抽出できる。
(本実施例の計算概要)
以下、数式を用いて説明する。
実施例4において異なる視点重み関数ka1(s,t)、ka2(s,t)を用いて得られるフォーカス位置散乱画像合成像は、それぞれ以下の式で表される。
なお、本実施例では数43でα=1の場合を考えるため、CP0(X,Y,Zf)は以下の式になる。数45は、視点P0の視点画像(第1の視点画像)IP0(X,Y,Zf)に対し視点散乱画像(第1の観察用画像)を合成して、視点毎のフォーカス位置散乱画像合成像(合成画像)CP0(X,Y,Zf)を生成する処理を示している。
以下、数式を用いて説明する。
実施例4において異なる視点重み関数ka1(s,t)、ka2(s,t)を用いて得られるフォーカス位置散乱画像合成像は、それぞれ以下の式で表される。
視点P1は視点P0に対し、観察角が同一で、偏角が異なる視点であるとする。偏角の差はどのような値に設定しても良いが、既に述べたように180度異なる場合が最も効果が大きい。数44の第1の重みka1(s,t)は第2の重みka2(s,t)と比較し、観察角が所定の値以上の領域で関数の総和が大きいとする。数式で表現すると以下の式となる。
ただし、outr(s,t)は以下の式で表され、rthはrm以下の所定の値とする。
仮にka1(s,t)およびka2(s,t)がそれぞれ数38、数37で表され、図25(b)、図25(a)に示すような相対強度を持ち、かつ、rthをrm/2とする場合、数46は成立する。
本実施例における視点散乱画像統合像(第5の観察用画像)DS(X,Y,Zf)を、以下の式のように第1の重みka1(s,t)を用いて生成した第1の画像Compa1(X,Y,Zf)と第2の重みka2(s,t)を用いて生成した第2の画像Compa2(X,Y,Zf)の差分とする。
数48に数44および数45を代入し、変形すると以下の式となる。
kex(s,t)は散乱光情報抽出用の視点重み関数であり、以下の式で表される。
ka1(s,t)およびka2(s,t)のそれぞれの積分は1である条件から、kex(s,t)の積分(つまり統合される全ての視線方向に対する重みの合計)は0となる。
また、数46の変形からkex(s,t)は以下の条件を満たす。
ここで数49において、数45で計算するCP0(X,Y,Zf)を実施例1における視点散乱画像SP0(X,Y,Zf)と見なし、またkex(s,t)を視点散乱画像生成ステップS904で選択する視点重み関数と見なす。すると、実施例1と同一の構成で、焦点ぼけの影響を抑えた精度の良い視点散乱画像統合像が生成できることが分かる。
また数49からkex(s,t)は数51および数52の条件を満たせば、自由に設計することが可能であることが分かる。
また数49からkex(s,t)は数51および数52の条件を満たせば、自由に設計することが可能であることが分かる。
図26(a)と図26(b)に散乱光情報抽出用の視点重み関数kex(s,t)の例を示す。図26(a)は図25(b)に示す視点重み関数から図25(a)に示す視点重み関数を減算して得られる散乱光情報抽出用の視点重み関数である。また図26(b)は
視点の原点からの距離に応じて0、負、正の値を持つように設計した散乱光情報抽出用の視点重み関数である。いずれも数52の条件を満たしている。原点から離れた位置の視点の相対強度が大きいほど、標本の表面凹凸による散乱光の情報をより強く抽出できる。
なお、kex(s,t)においてkex(0,0)=0とすることはより効果を高める。数30で説明したように、α=1に設定したフォーカス位置散乱画像統合像の焦点ぼけはキャンセルされるが、3次元的な焦点ぼけの中心部の強度h(0,0,dZ)は視点重み関数の原点の値の影響を受けるためである。
視点の原点からの距離に応じて0、負、正の値を持つように設計した散乱光情報抽出用の視点重み関数である。いずれも数52の条件を満たしている。原点から離れた位置の視点の相対強度が大きいほど、標本の表面凹凸による散乱光の情報をより強く抽出できる。
なお、kex(s,t)においてkex(0,0)=0とすることはより効果を高める。数30で説明したように、α=1に設定したフォーカス位置散乱画像統合像の焦点ぼけはキャンセルされるが、3次元的な焦点ぼけの中心部の強度h(0,0,dZ)は視点重み関数の原点の値の影響を受けるためである。
以上、述べたように、本実施例による焦点ぼけの影響を抑えた精度の良い視点散乱画像統合像は、実施例1の構成に適用可能である。
以下、数45および数49で述べる演算を実施例1の構成に適用する場合について述べる。図9に示す視点分解散乱画像抽出・統合処理ステップS802のフローチャートを用いて処理を説明する。
以下、数45および数49で述べる演算を実施例1の構成に適用する場合について述べる。図9に示す視点分解散乱画像抽出・統合処理ステップS802のフローチャートを用いて処理を説明する。
まず、視点取得処理ステップS901では、視点分解設定(1001)を通じ、視点画像の生成に必要な視点の位置情報を取得する。後段のステップS902では視点P0だけでなく、視点P1の視点位置も必要となるため、視点P0の位置から視点P1の位置も合わせて計算する。
次に、視点画像生成ステップS902ではステップS901で取得した全ての視点P0の視点画像を計算する。また、各視点P0に対応する視点P1についても視点画像を計算する。詳細は省略する。
次に、視点散乱画像抽出処理ステップS903では、数45のCP0(X,Y,Zf)を視点P0毎の視点散乱画像SP0(X,Y,Zf)と見なし、以下の計算を行う。
ステップS901で求めた全ての視点P0に対して、ステップS903の処理を終えたら、視点散乱画像統合像生成ステップS904に進む。
次に、視点画像生成ステップS902ではステップS901で取得した全ての視点P0の視点画像を計算する。また、各視点P0に対応する視点P1についても視点画像を計算する。詳細は省略する。
次に、視点散乱画像抽出処理ステップS903では、数45のCP0(X,Y,Zf)を視点P0毎の視点散乱画像SP0(X,Y,Zf)と見なし、以下の計算を行う。
視点散乱画像統合像生成ステップS904では、予めメインメモリ302や記憶装置130に格納した所定のkex(s,t)を取得し、全ての視点P0の視点散乱画像SP0(X,Y,Zf)を統合し、焦点ぼけの影響を抑えた視点散乱画像統合像DS(X,Y,Zf)を生成する。すなわち、以下の演算を実行する。
なお、kex(s,t)は散乱画像統合設定(1003)での設定(不図示)に基づいて取得または生成しても良い。また、得られた視点散乱画像統合像DS(X,Y,Zf)をより見やすくするため、ステップS904において輝度変倍や諧調補正を行うことも可能である。これらの設定は図示しないが、散乱画像統合設定(1003)で設定することができる。
また、実施例1へ適用する場合には、以下のような除算に基づく構成を取ることも可能である。その場合には、視点散乱画像抽出処理ステップS903では、数53を用いることで、視点P0毎に視点散乱画像SP0(X,Y,Zf)を計算する。
そして視点散乱画像統合像生成ステップS904では、以下に示す演算により、焦点ぼけの影響を抑えた視点散乱画像統合像DS(X,Y,Zf)を生成する。
そして視点散乱画像統合像生成ステップS904では、以下に示す演算により、焦点ぼけの影響を抑えた視点散乱画像統合像DS(X,Y,Zf)を生成する。
すなわち、2つの視点重み関数ka1(s,t)およびka2(s,t)ごとに視点散乱画像SP0(X,Y,Zf)を積分し、それらを除算する。
なお、2つの視点重み関数ka1(s,t)およびka2(s,t)は予めメインメモリ302等に格納した所定の設定を用いても良いし、散乱画像統合設定(1003)での設定(不図示)に基づいて取得または生成しても良い。
なお、2つの視点重み関数ka1(s,t)およびka2(s,t)は予めメインメモリ302等に格納した所定の設定を用いても良いし、散乱画像統合設定(1003)での設定(不図示)に基づいて取得または生成しても良い。
なお、本実施例の構成は実施例3または4にも適用可能である。すなわち、Zスタック画像のZ=Zfのレイヤー画像(フォーカス位置像)または任意焦点ぼけ画像に、本実施例の視点散乱画像統合像DS(X,Y,Zf)を合成することで、散乱光成分が強調された画像を生成できる。
また、本実施例で生成した視点散乱画像統合像は様々な画像と合成し表面凹凸による散乱光を増やすことでさらなる立体感を与えることができる。例えば、全焦点画像のように表面凹凸による散乱光が弱く、平坦な印象を与える画像に対し、本実施例で計算した視点散乱画像統合像を加算することで、被写界深度の深さと散乱光による立体感を両立した画像を生成することができる。
また、本実施例で生成した視点散乱画像統合像は様々な画像と合成し表面凹凸による散乱光を増やすことでさらなる立体感を与えることができる。例えば、全焦点画像のように表面凹凸による散乱光が弱く、平坦な印象を与える画像に対し、本実施例で計算した視点散乱画像統合像を加算することで、被写界深度の深さと散乱光による立体感を両立した画像を生成することができる。
(本実施例の利点)
本実施例の方法によれば、2種類のフォーカス位置散乱画像統合像の間でさらに演算(減算、除算など)あるいはその変形に基づく画像合成演算を行うことで、視点散乱画像統合像に含まれる焦点ぼけの成分を除去ないし低減することができる。これにより、実施例1または2で得られる視点散乱画像統合像に比べて、散乱光成分をより一層強調ないし抽出した観察用画像を得ることができる。この画像を用いることで、例えば、標本の表面凹凸に注目した画像診断や画像解析を行いたいというユーザの要望にも応えることができる。
本実施例の方法によれば、2種類のフォーカス位置散乱画像統合像の間でさらに演算(減算、除算など)あるいはその変形に基づく画像合成演算を行うことで、視点散乱画像統合像に含まれる焦点ぼけの成分を除去ないし低減することができる。これにより、実施例1または2で得られる視点散乱画像統合像に比べて、散乱光成分をより一層強調ないし抽出した観察用画像を得ることができる。この画像を用いることで、例えば、標本の表面凹凸に注目した画像診断や画像解析を行いたいというユーザの要望にも応えることができる。
[実施例6]
本実施例では、実施例5と同様、視点散乱画像統合像に含まれるフォーカス位置から外れた物体の焦点ぼけの影響を抑制する方法について述べる。
以下、2つの視点散乱画像統合像の間で演算を実行することで、視点散乱画像統合像に含まれるフォーカス位置から外れた物体の焦点ぼけの影響を抑えられる理由について説明する。
本実施例では、実施例5と同様、視点散乱画像統合像に含まれるフォーカス位置から外れた物体の焦点ぼけの影響を抑制する方法について述べる。
以下、2つの視点散乱画像統合像の間で演算を実行することで、視点散乱画像統合像に含まれるフォーカス位置から外れた物体の焦点ぼけの影響を抑えられる理由について説明する。
既に数10や数11で述べたように、実施例1、2では視点位置の差によって散乱光の強度が変化する性質を利用し、視点位置が異なる視点画像間で演算をすることで、標本の表面凹凸の情報を抽出する。
一方で実施例3の冒頭で説明したように、Zスタック画像のフォーカス位置から外れる位置に物体が存在する場合には、視点散乱画像統合像に前記物体の焦点ぼけの像が含まれる。
一方で実施例3の冒頭で説明したように、Zスタック画像のフォーカス位置から外れる位置に物体が存在する場合には、視点散乱画像統合像に前記物体の焦点ぼけの像が含まれる。
ここで視点位置が異なる3つの視点P0、P1、P2について考える。
視点P0、P1、P2の観察角φは等しいが、それぞれ異なる偏角θ0、θ1、θ2を持っており、視点P0、P1、P2の間の偏角の差はあらかじめ決まっているとする。即ち、視点P0の位置を変化させるとき、視点P1、P2の位置は、それぞれの偏角がθ1=θ0+t1、θ2=θ0+t2の相対的な関係を保ちながら、変化する。(なお、t1
、t2の角度を−180度から180度で表す時、|t1|>|t2|とする。すなわち、θ1−θ0の方がθ2−θ0よりも偏角の差が大きい。)
t1、t2の値は任意に設定可能だが、本実施例では、t1=180度、t2=90度とする。このとき、視点P0の視点位置を(s,t)とすれば、視点P1の視点位置は(−s,−t)、視点P2の視点位置は(−t,s)となる。視点P0と視点P1の偏角の差は180度であり、視点P0と視点P2の偏角の差は90度である。
視点P0、P1、P2の観察角φは等しいが、それぞれ異なる偏角θ0、θ1、θ2を持っており、視点P0、P1、P2の間の偏角の差はあらかじめ決まっているとする。即ち、視点P0の位置を変化させるとき、視点P1、P2の位置は、それぞれの偏角がθ1=θ0+t1、θ2=θ0+t2の相対的な関係を保ちながら、変化する。(なお、t1
、t2の角度を−180度から180度で表す時、|t1|>|t2|とする。すなわち、θ1−θ0の方がθ2−θ0よりも偏角の差が大きい。)
t1、t2の値は任意に設定可能だが、本実施例では、t1=180度、t2=90度とする。このとき、視点P0の視点位置を(s,t)とすれば、視点P1の視点位置は(−s,−t)、視点P2の視点位置は(−t,s)となる。視点P0と視点P1の偏角の差は180度であり、視点P0と視点P2の偏角の差は90度である。
実施例1で説明した数13を用いて、視点P0における視点散乱画像を求めると、以下の式に示す2つの視点散乱画像が計算できる。
数10で説明したように、2つの視点の偏角の差が大きいほど(180度に近いほど)、視点画像の減算ないし除算で抽出できる散乱光成分の強度が大きくなる。数56の場合、θ1−θ0が180度でありθ2−θ0が90度であることから、画像に含まれる散乱光成分の強度は、視点散乱画像Sa(X,Y,Zf)の方が視点散乱画像Sb(X,Y,Zf)よりも大きい。
視点P0,P1,P2の位置を変えながら、様々な視点に対して視点散乱画像Sa(X,Y,Zf)およびSb(X,Y,Zf)を計算し、それぞれを統合して視点散乱画像統合像DSa(X,Y,Zf)およびDSb(X,Y,Zf)を生成する。画像に含まれる散乱光成分の強度は、当然のことながら、視点散乱画像統合像DSa(X,Y,Zf)の方が視点散乱画像統合像DSb(X,Y,Zf)よりも大きくなる。
次に、視点散乱画像統合像DSa(X,Y,Zf)およびDSb(X,Y,Zf)における、フォーカス位置から外れた物体の焦点ぼけの影響について考える。実施例3で述べたように、視点散乱画像統合像を求める数26の式は数28に変形できる。この式から、視点散乱画像統合像における撮像光学系の焦点ぼけの影響は、視点散乱画像を計算する2つの視点の偏角の差に依存しないことが分かる。言い換えると、フォーカス位置から外れた物体の焦点ぼけの成分は、視点散乱画像統合像DSa(X,Y,Zf)とDSb(X,Y,Zf)とでほとんど変わらない。
このように、視点散乱画像統合像DSa(X,Y,Zf)とDSb(X,Y,Zf)は、標本表面の凹凸による散乱光成分の強度は異なるが、撮像光学系による焦点ぼけ成分の強度はほとんど同じという特性を持つ。従って、以下の数57または数58に示す演算、すなわち第1の統合像DSa(X,Y,Zf)と第2の統合像DSb(X,Y,Zf)との間の差または比を求めることにより、焦点ぼけの低減、および、表面凹凸による散乱光の情報の抽出あるいは強調がされた画像DS(X,Y,Zf)(第7の観察用画像)を生成できる。
なお、θ1−θ0の方がθ2−θ0よりも視点の偏角の差が大きいことから、散乱光の強度はDSa(X,Y,Zf)>DSb(X,Y,Zf)となる。従って、数57の演算で0より小さくなった画素の値は0とするとよい。これにより、散乱光の情報とは関係の
ないノイズ成分を抑制できる。
ないノイズ成分を抑制できる。
以下、数56〜数58で述べる演算を実施例1の構成に適用する場合について述べる。
図9に示す視点分解散乱画像抽出・統合処理ステップS802のフローチャートを用いて処理を説明する。
まず、視点取得処理ステップS901では、視点分解設定(1001)を通じ、視点画像の生成に必要な視点の位置情報を取得する。後段のステップS902では視点P0だけでなく、視点P1、視点P2の視点位置も必要となるため、視点P0の位置からP1、P2の位置も合わせて計算する。視点P0とP1の偏角の差であるt1、視点P0とP2の偏角の差であるt2は固定値(予め決まった値)でもよいし、ユーザにより指定可能でも良い。
次に、視点画像生成ステップS902ではステップS901で取得した全ての視点P0の視点画像を計算する。また、各視点P0に対応する視点P1およびP2についても視点画像を計算する。詳細は省略する。
図9に示す視点分解散乱画像抽出・統合処理ステップS802のフローチャートを用いて処理を説明する。
まず、視点取得処理ステップS901では、視点分解設定(1001)を通じ、視点画像の生成に必要な視点の位置情報を取得する。後段のステップS902では視点P0だけでなく、視点P1、視点P2の視点位置も必要となるため、視点P0の位置からP1、P2の位置も合わせて計算する。視点P0とP1の偏角の差であるt1、視点P0とP2の偏角の差であるt2は固定値(予め決まった値)でもよいし、ユーザにより指定可能でも良い。
次に、視点画像生成ステップS902ではステップS901で取得した全ての視点P0の視点画像を計算する。また、各視点P0に対応する視点P1およびP2についても視点画像を計算する。詳細は省略する。
次に、視点散乱画像抽出処理ステップS903では、数56を用いることで、視点P0毎に2つの視点散乱画像Sa(X,Y,Zf)およびSb(X,Y,Zf)を計算する。数56以外の演算式も散乱画像抽出設定(1002)を通じて設定することができる。ステップS901で求めた全ての視点P0に対して、ステップS903の処理を終えたら、視点散乱画像統合像生成ステップS904に進む。
視点散乱画像統合像生成ステップS904では、散乱画像統合設定(1003)での設定に基づき、全ての視点P0の視点散乱画像Sa(X,Y,Zf)を統合して視点散乱画像統合像DSa(X,Y,Zf)を生成する。また、全ての視点P0の視点散乱画像Sb(X,Y,Zf)を統合して視点散乱画像統合像DSb(X,Y,Zf)を生成する。その後、数57または数58に示す演算を実行し、フォーカス位置から外れた位置にある物体の焦点ぼけの影響を抑えた、新たな視点散乱画像統合像DS(X,Y,Zf)を生成する。
なお、得られた視点散乱画像統合像DS(X,Y,Zf)をより見やすくするため、ステップS904において輝度変倍や諧調補正を行うことも可能である。これらの設定は図示しないが、散乱画像統合設定(1003)で設定することができる。
視点散乱画像統合像生成ステップS904では、散乱画像統合設定(1003)での設定に基づき、全ての視点P0の視点散乱画像Sa(X,Y,Zf)を統合して視点散乱画像統合像DSa(X,Y,Zf)を生成する。また、全ての視点P0の視点散乱画像Sb(X,Y,Zf)を統合して視点散乱画像統合像DSb(X,Y,Zf)を生成する。その後、数57または数58に示す演算を実行し、フォーカス位置から外れた位置にある物体の焦点ぼけの影響を抑えた、新たな視点散乱画像統合像DS(X,Y,Zf)を生成する。
なお、得られた視点散乱画像統合像DS(X,Y,Zf)をより見やすくするため、ステップS904において輝度変倍や諧調補正を行うことも可能である。これらの設定は図示しないが、散乱画像統合設定(1003)で設定することができる。
また、実施例1へ適用する場合には、視点散乱画像抽出処理ステップS903において数13の代わりに以下の式を用いることで、数57の演算と同等の処理が実現できる。数59は、第1の視点画像IP0(X,Y,Zf)と第2の視点画像IP1(X,Y,Zf)から求まる視点散乱画像(第1の中間画像)と、第1の視点画像IP0(X,Y,Zf)と第3の視点画像IP2(X,Y,Zf)から求まる視点散乱画像(第2の中間画像)のあいだの差を求める処理を示す。
数58の演算と同等の処理を実現するには、数59の右辺を2つの視点散乱画像の差(減算)の代わりに、2つの視点散乱画像の比(除算)にすればよい。また、数59では、2つの視点画像の差(減算)により視点散乱画像を計算しているが、2つの視点画像の比(除算)により視点散乱画像を計算してもよい。また、数59の演算で得られる画像S(X,Y,Zf)を観察用画像(第6の観察用画像)として用いてもよい。
なお、本実施例の構成は実施例3または4にも適用可能である。すなわち、Zスタック画像のZ=Zfのレイヤー画像(フォーカス位置像)または任意焦点ぼけ画像に、本実施例の視点散乱画像統合像DS(X,Y,Zf)を合成することで、散乱光成分が強調された画像を生成できる。また、本実施例で生成した視点散乱画像統合像は、実施例5と同様、全焦点画像などの様々な画像と合成し、表面凹凸による散乱光を増やすことで立体感を
与えることができる。
なお、本実施例の構成は実施例3または4にも適用可能である。すなわち、Zスタック画像のZ=Zfのレイヤー画像(フォーカス位置像)または任意焦点ぼけ画像に、本実施例の視点散乱画像統合像DS(X,Y,Zf)を合成することで、散乱光成分が強調された画像を生成できる。また、本実施例で生成した視点散乱画像統合像は、実施例5と同様、全焦点画像などの様々な画像と合成し、表面凹凸による散乱光を増やすことで立体感を
与えることができる。
(本実施例の利点)
本実施例の方法によれば、2種類の視点散乱画像統合像の間でさらに演算(減算、除算など)を行うことで、視点散乱画像統合像に含まれる焦点ぼけの成分を除去ないし低減することができる。これにより、実施例5と同様の効果を得ることができる。
本実施例の方法によれば、2種類の視点散乱画像統合像の間でさらに演算(減算、除算など)を行うことで、視点散乱画像統合像に含まれる焦点ぼけの成分を除去ないし低減することができる。これにより、実施例5と同様の効果を得ることができる。
[実施例7]
実施例3、4ではフォーカス位置散乱画像合成像の生成方法について説明した。本実施例では、実施例3、4の画像に対し、さらに実施例5、6で説明した焦点ぼけの成分を抑制した視点散乱画像統合像を合成することで、フォーカス位置散乱画像合成像における焦点ぼけ低減と散乱光の情報の強調の調整の自由度を高める方法を述べる。
実施例3、4ではフォーカス位置散乱画像合成像の生成方法について説明した。本実施例では、実施例3、4の画像に対し、さらに実施例5、6で説明した焦点ぼけの成分を抑制した視点散乱画像統合像を合成することで、フォーカス位置散乱画像合成像における焦点ぼけ低減と散乱光の情報の強調の調整の自由度を高める方法を述べる。
既に説明したように、実施例3および実施例4で生成するフォーカス位置散乱画像合成像はそれぞれ数35、数39で表される。
本実施例では数35および数39の右辺に、実施例5または6で計算する焦点ぼけを低減した視点散乱画像統合像に合成係数βを掛けたものを加算し、フォーカス位置散乱画像合成像を求める。式で表現すると下記となる。
上記の式ではDS(X,Y,Zf)は実施例1の方法で計算する視点散乱画像統合像であり、DSX(X,Y,Zf)は実施例5または6の方法で計算する視点散乱画像統合像であるとする。なお、g(X,Y,Zf)はフォーカス位置像、a(X,Y,Zf)はZ=Zfにおける任意焦点ぼけ画像である。
本実施例では数35および数39の右辺に、実施例5または6で計算する焦点ぼけを低減した視点散乱画像統合像に合成係数βを掛けたものを加算し、フォーカス位置散乱画像合成像を求める。式で表現すると下記となる。
以降、実施例3および4の構成に従って、本実施例のフォーカス位置散乱画像合成像の生成方法を説明する。
(実施例3の構成に適用する場合)
実施例3の構成に適用する場合には、画像合成処理ステップS1704の内部のフォーカス位置散乱画像合成像生成処理ステップS2204において数60の演算を実行する。
なお、数60の演算に必要な合成係数βやDSX(X,Y,Z)の計算に必要な値(例えば、散乱光情報抽出用の視点重み関数kex(s,t)など)は、画像合成設定2320内の設定項目(不図示)を通じて設定可能である。
実施例3の構成に適用する場合には、画像合成処理ステップS1704の内部のフォーカス位置散乱画像合成像生成処理ステップS2204において数60の演算を実行する。
なお、数60の演算に必要な合成係数βやDSX(X,Y,Z)の計算に必要な値(例えば、散乱光情報抽出用の視点重み関数kex(s,t)など)は、画像合成設定2320内の設定項目(不図示)を通じて設定可能である。
(実施例4の構成に適用する場合)
実施例4の構成に適用する場合、例えば、視点毎のフォーカス位置散乱画像合成像CP0(X,Y,Zf)が数43で表され、焦点ぼけを低減した視点散乱画像SP0(X,Y,Zf)が数53で表される場合には、フォーカス位置散乱画像合成像Comp(X,Y,Zf)は以下のように変形できる。
ただし、CP0(X,Y,Zf)は以下の式となる。
実施例4の構成に適用する場合、例えば、視点毎のフォーカス位置散乱画像合成像CP0(X,Y,Zf)が数43で表され、焦点ぼけを低減した視点散乱画像SP0(X,Y,Zf)が数53で表される場合には、フォーカス位置散乱画像合成像Comp(X,Y,Zf)は以下のように変形できる。
よって、本実施例ではフォーカス位置散乱画像合成像生成処理ステップS2204の内部の視点毎のステップS2403において数63で示す演算を実行し、視点毎のフォーカス位置散乱画像合成像CP0(X,Y,Zf)を求める。
ステップS2401で設定した全ての視点に対し、ステップS2403の計算を終えた後、フォーカス位置散乱画像合成像生成ステップS2404に進み、数62の演算を実行する。
なお、上記の処理フローは一例であり、実施例5または6で述べた演算が適用可能である。
ステップS2401で設定した全ての視点に対し、ステップS2403の計算を終えた後、フォーカス位置散乱画像合成像生成ステップS2404に進み、数62の演算を実行する。
なお、上記の処理フローは一例であり、実施例5または6で述べた演算が適用可能である。
上記で述べた構成では、合成係数αは焦点ぼけをキャンセルするためのパラメータ、合成係数βは表面凹凸の散乱光の情報を強調するためのパラメータとして使用できる。
例えば、実施例3または4で「標本観察条件」として「明視野観察」を設定する場合に、表面凹凸の散乱光の情報を強調するために、合成係数αを大きくすると過剰なエッジ強調が発生する。しかし、本実施例の方法ではαを1近傍に設定し、βを大きくすることで焦点ぼけのキャンセルと表面凹凸の散乱光の情報の強調が両立できる。
また、実施例3で「標本観察条件」として「蛍光観察」を設定する場合に、合成係数αの変更だけでは焦点ぼけのキャンセルと表面凹凸の散乱光の加算が同時には実現できなかった。しかし、本実施例の方法ではαを−1近傍に設定し、βを適切な値に調整することで、焦点ぼけのキャンセルと表面凹凸の散乱光の加算が同時に実現できる。
例えば、実施例3または4で「標本観察条件」として「明視野観察」を設定する場合に、表面凹凸の散乱光の情報を強調するために、合成係数αを大きくすると過剰なエッジ強調が発生する。しかし、本実施例の方法ではαを1近傍に設定し、βを大きくすることで焦点ぼけのキャンセルと表面凹凸の散乱光の情報の強調が両立できる。
また、実施例3で「標本観察条件」として「蛍光観察」を設定する場合に、合成係数αの変更だけでは焦点ぼけのキャンセルと表面凹凸の散乱光の加算が同時には実現できなかった。しかし、本実施例の方法ではαを−1近傍に設定し、βを適切な値に調整することで、焦点ぼけのキャンセルと表面凹凸の散乱光の加算が同時に実現できる。
(本実施例の利点)
本実施例の方法によれば、実施例3または4で述べたフォーカス位置散乱画像合成像に、焦点ぼけの成分を抑制した視点散乱画像統合像を合成することで、焦点ぼけの低減と表面凹凸の散乱光の情報の強調の調整の自由度を高めることができる。これにより、実施例3または4で得られるフォーカス位置散乱画像合成像に比べて、散乱光の情報をより一層強調ないし抽出した観察用画像を得ることができる。この画像を用いることで、例えば、焦点ぼけを抑えつつ、標本の表面凹凸の情報を強調して画像診断や画像解析を行いたいというユーザの要望にも応えることができる。
本実施例の方法によれば、実施例3または4で述べたフォーカス位置散乱画像合成像に、焦点ぼけの成分を抑制した視点散乱画像統合像を合成することで、焦点ぼけの低減と表面凹凸の散乱光の情報の強調の調整の自由度を高めることができる。これにより、実施例3または4で得られるフォーカス位置散乱画像合成像に比べて、散乱光の情報をより一層強調ないし抽出した観察用画像を得ることができる。この画像を用いることで、例えば、焦点ぼけを抑えつつ、標本の表面凹凸の情報を強調して画像診断や画像解析を行いたいというユーザの要望にも応えることができる。
以上、本発明の好適な実施例を説明したが、本発明の構成はこれらの実施例に限られない。
例えば、上記実施例では明視野顕微鏡で撮影されたZスタック画像を元画像として用いた場合について説明したが、本発明は、落射照明型顕微鏡、ライトフィールドカメラ、ライトフィールド顕微鏡等で撮影された画像に対しても適用可能である。
例えば、上記実施例では明視野顕微鏡で撮影されたZスタック画像を元画像として用いた場合について説明したが、本発明は、落射照明型顕微鏡、ライトフィールドカメラ、ライトフィールド顕微鏡等で撮影された画像に対しても適用可能である。
また上記実施例では被写体として病理標本を例に説明してきたが、被写体はそれに限定されない。落射照明型顕微鏡の観察対象である金属等の反射物体でも構わない。また透過観察型顕微鏡の観察対象である透明な生物標本でも良い。いずれの場合においても特許文献1等で開示される技術を用いれば、被写体の深さ方向の焦点位置を変えて撮影した複数枚のレイヤー画像群から任意の視点画像が生成でき、本発明が適用できる。反射物体を撮影した元画像を用いる場合、元画像には反射光(鏡面反射)成分の像と散乱光成分の像とが含まれるが、紙のように光沢が少ない被写体では散乱光が支配的となる。その場合、上記実施例と同様の処理を行うことで、散乱光成分を抽出ないし強調することができる。
また各実施例で説明した構成を互いに組み合わせてもよい。例えば、視点散乱画像抽出
処理ステップS903で視点散乱画像を抽出する際、処理対象の視点と偏角回転視点と観察角変更視点を用いて、それぞれの視点散乱画像を求め、両者の間で加算等を行って、視点散乱画像の強度や信頼度を高めても良い。
処理ステップS903で視点散乱画像を抽出する際、処理対象の視点と偏角回転視点と観察角変更視点を用いて、それぞれの視点散乱画像を求め、両者の間で加算等を行って、視点散乱画像の強度や信頼度を高めても良い。
また上記実施例では、視点画像や視点散乱画像の生成などを実空間で演算することを想定しているが、同様の処理を周波数空間で演算することもできる。すなわち、本明細書において、画像という用語は、実空間の画像と周波数空間の画像のいずれも含む概念である。
また上記各実施例では、画像の演算を数式で表現しているが、実際の処理では数式どおりの計算を必ずしも行う必要はない。数式で表現された演算結果に相当する画像が得られるのであれば、具体的な処理やアルゴリズムはどのように設計してもよい。
また上記各実施例では、画像の演算を数式で表現しているが、実際の処理では数式どおりの計算を必ずしも行う必要はない。数式で表現された演算結果に相当する画像が得られるのであれば、具体的な処理やアルゴリズムはどのように設計してもよい。
100:画像生成装置
Claims (33)
- 被写体を撮影して得られた元画像から、観察用画像を生成する画像生成装置であって、
前記元画像を用いて、互いに視線方向が異なる複数の視点画像を生成する視点画像生成手段と、
前記複数の視点画像を用いて、元画像に含まれる散乱光成分を抽出または強調した画像を観察用画像として生成する観察用画像生成手段と、を有する
ことを特徴とする画像生成装置。 - 被写体を撮影して得られた元画像から、観察用画像を生成する画像生成装置であって、
前記元画像を用いて、互いに視線方向が異なる複数の視点画像を生成する視点画像生成手段と、
前記複数の視点画像を用いて、前記複数の視点画像のあいだの差異を抽出または強調した画像を観察用画像として生成する観察用画像生成手段と、を有する
ことを特徴とする画像生成装置。 - 前記観察用画像は、前記元画像に比べて、前記被写体の表面の凹凸のコントラストが高められた画像である
ことを特徴とする請求項1または2に記載の画像生成装置。 - 前記観察用画像生成手段は、
第1の視点画像と前記第1の視点画像とは視線方向が異なる第2の視点画像のあいだの差もしくは比
に相当する画像を、第1の観察用画像として生成する
ことを特徴とする請求項1〜3のうちいずれか1項に記載の画像生成装置。 - 前記観察用画像生成手段は、
前記第1の視点画像と前記第2の視点画像の組み合わせが異なる複数の第1の観察用画像を統合した結果
に相当する画像を、第2の観察用画像として生成する
ことを特徴とする請求項4に記載の画像生成装置。 - 前記第2の観察用画像は、
前記複数の第1の観察用画像を、各第1の観察用画像の生成に用いた第1の視点画像の視線方向に応じた重みを付けて、統合した結果
に相当する画像である
ことを特徴とする請求項5に記載の画像生成装置。 - 前記観察用画像生成手段は、
前記元画像から前記被写体の深さ方向のある位置にフォーカスを合わせたフォーカス位置像を取得し、前記フォーカス位置像に対し前記第2の観察用画像を合成した結果
に相当する画像を、第3の観察用画像として生成する
ことを特徴とする請求項5または6に記載の画像生成装置。 - 前記第3の観察用画像は、
前記フォーカス位置像に対し、合成係数を乗じた前記第2の観察用画像を加算した結果
に相当する画像である
ことを特徴とする請求項7に記載の画像生成装置。 - 前記観察用画像生成手段は、前記第3の観察用画像に対し諧調補正を行うことにより、
前記フォーカス位置像と補正された前記第3の観察用画像の輝度バランスを合わせる
ことを特徴とする請求項7または8に記載の画像生成装置。 - 前記観察用画像生成手段は、
前記第1の視点画像に対し前記第1の観察用画像を合成する処理を、前記第1の視点画像と前記第2の視点画像の組み合わせを変えて、複数回行い、得られた複数の合成画像を統合した結果
に相当する画像を、第4の観察用画像として生成する
ことを特徴とする請求項4に記載の画像生成装置。 - 前記第4の観察用画像は、
前記複数の合成画像を、各合成画像の生成に用いた第1の視点画像の視線方向に応じた重みを付けて、統合した結果
に相当する画像である
ことを特徴とする請求項10に記載の画像生成装置。 - 前記被写体の深さ方向に平行な軸と視線方向とがなす角を観察角とよび、
視線方向ごとの重みを定義する関数を視点重み関数とよび、
前記元画像の撮影に用いた撮像光学系の3次元的な焦点ぼけに対応する特性をもつ視点重み関数を撮像光学系重み関数とよぶときに、
前記観察用画像生成手段は、観察角が大きい部分での重みが前記撮像光学系重み関数に比べて大きくなるように設計された視点重み関数による重みを用いて、前記第4の観察用画像を生成する
ことを特徴とする請求項11に記載の画像生成装置。 - 前記合成画像は、前記第1の視点画像に、合成係数を乗じた前記第1の観察用画像を加算した画像である
ことを特徴とする請求項10〜12のうちいずれか1項に記載の画像生成装置。 - 前記元画像において前記被写体が背景よりも暗い物体である場合は、前記合成係数の符号は正であり、
前記元画像において前記被写体が背景よりも明るい物体である場合は、前記合成係数の符号は負である
ことを特徴とする請求項8、9、または13に記載の画像生成装置。 - 前記観察用画像生成手段は、前記元画像の輝度情報を解析した結果に応じて、前記合成係数の符号を正にするか負にするかを自動的に決定する
ことを特徴とする請求項8、9、または13に記載の画像生成装置。 - 前記観察用画像生成手段は、
前記第1の視点画像に対し前記第1の観察用画像を合成する処理を、前記第1の視点画像と前記第2の視点画像の組み合わせを変えて複数回行うことにより、複数の合成画像を生成し、
前記複数の合成画像を、各合成画像の生成に用いた第1の視点画像の視線方向に応じた第1の重みを付けて、統合することにより得られる第1の画像と、前記複数の合成画像を、前記第1の重みとは異なる第2の重みを付けて、統合することにより得られる第2の画像と、のあいだの差または比
に相当する画像を、第5の観察用画像として生成する
ことを特徴とする請求項4に記載の画像生成装置。 - 前記観察用画像生成手段は、
前記第1の視点画像に対し前記第1の観察用画像を合成する処理を、前記第1の視点画像と前記第2の視点画像の組み合わせを変えて、複数回行うことにより、複数の合成画像を生成し、
前記複数の合成画像を、各合成画像の生成に用いた第1の視点画像の視線方向に応じた重みを付けて、統合することにより、第5の観察用画像を生成するものであり、
前記被写体の深さ方向に平行な軸と視線方向とがなす角を観察角とよぶときに、
前記視線方向に応じた重みは、統合される全ての視線方向に対する重みの合計が0となり、かつ、観察角が所定の値以上の視線方向に対する重みの合計が0より大きくなるように、設計されている
ことを特徴とする請求項4に記載の画像生成装置。 - 前記視線方向に応じた重みは、観察角が0の視線方向に対する重みが0となるように、設計されている
ことを特徴とする請求項17に記載の画像生成装置。 - 前記観察用画像生成手段は、
前記第1の視点画像と前記第1の視点画像とは視線方向が異なる第2の視点画像のあいだの差もしくは比に相当する第1の中間画像と、前記第1の視点画像と前記第1および第2の視点画像のいずれとも視線方向が異なる第3の視点画像のあいだの差もしくは比に相当する第2の中間画像と、のあいだの差または比
に相当する画像を、第6の観察用画像として生成する
ことを特徴とする請求項1〜3のうちいずれか1項に記載の画像生成装置。 - 前記観察用画像生成手段は、
前記第1の視点画像と前記第2の視点画像の組み合わせが異なる複数の第1の中間画像を統合した結果に相当する第1の統合像と、前記第1の視点画像と前記第3の視点画像の組み合わせが異なる複数の第2の中間画像を統合した結果に相当する第2の統合像と、のあいだの差または比
に相当する画像を、第7の観察用画像として生成する
ことを特徴とする請求項19に記載の画像生成装置。 - 前記観察用画像生成手段は、異なる方法で生成された複数の観察用画像を合成することにより、新たな観察用画像を生成する
ことを特徴とする請求項1〜20のうちいずれか1項に記載の画像生成装置。 - 前記観察用画像生成手段は、前記観察用画像に対し輪郭抽出処理を行うことにより、新たな観察用画像を生成する
ことを特徴とする請求項1〜21のうちいずれか1項に記載の画像生成装置。 - 前記被写体の深さ方向に平行な軸まわりの角を偏角とよぶときに、
前記第1の視点画像と前記第2の視点画像は、視線方向の偏角の大きさが互いに異なる視点画像である
ことを特徴とする請求項4〜18のうちいずれか1項に記載の画像生成装置。 - 前記第1の視点画像と前記第2の視点画像は、視線方向の偏角の大きさが180度異なる
ことを特徴とする請求項23に記載の画像生成装置。 - 前記被写体の深さ方向に平行な軸と視線方向とがなす角を観察角とよぶときに、
前記第1の視点画像と前記第2の視点画像は、視線方向の観察角の大きさが互いに異なる視点画像を含む
ことを特徴とする請求項4〜18のうちいずれか1項に記載の画像生成装置。 - 前記第1の視点画像と前記第2の視点画像のうちの一方は、視線方向の観察角の大きさが0度の視点画像であり、他方は視線方向の観察角の大きさが0度でない視点画像であることを特徴とする請求項25に記載の画像生成装置。
- 前記被写体の深さ方向に平行な軸まわりの角を偏角とよぶときに、
前記第1の視点画像と前記第2の視点画像と前記第3の視点画像は、視線方向の偏角の大きさが互いに異なる視点画像である
ことを特徴とする請求項19または20に記載の画像生成装置。 - 前記元画像は、深さ方向の焦点位置を変えて前記被写体を撮影して得られた複数のレイヤー画像である
ことを特徴とする請求項1〜27のうちいずれか1項に記載の画像生成装置。 - 前記元画像は、ライトフィールドが記録された画像である
ことを特徴とする請求項1〜27のうちいずれか1項に記載の画像生成装置。 - 前記被写体は、プレパラートであり、
前記元画像は、前記プレパラートを顕微鏡で撮影して得られた画像である
ことを特徴とする請求項1〜29のうちいずれか1項に記載の画像生成装置。 - 被写体を撮影して得られた元画像から、コンピュータにより観察用画像を生成する画像生成方法であって、
前記元画像を用いて、互いに視線方向が異なる複数の視点画像を生成するステップと、前記複数の視点画像を用いて、元画像に含まれる散乱光成分を抽出または強調した画像を観察用画像として生成するステップと、を有する
ことを特徴とする画像生成方法。 - 被写体を撮影して得られた元画像から、コンピュータにより観察用画像を生成する画像生成方法であって、
前記元画像を用いて、互いに視線方向が異なる複数の視点画像を生成するステップと、
前記複数の視点画像を用いて、前記複数の視点画像のあいだの差異を抽出または強調した画像を観察用画像として生成するステップと、を有する
ことを特徴とする画像生成方法。 - 請求項31または32に記載の画像生成方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013204636A JP2015057682A (ja) | 2013-08-12 | 2013-09-30 | 画像生成装置および画像生成方法 |
US14/649,181 US9881373B2 (en) | 2012-12-07 | 2013-11-28 | Image generating apparatus and image generating method |
EP13811016.8A EP2929508A1 (en) | 2012-12-07 | 2013-11-28 | Image generating apparatus and image generating method |
PCT/JP2013/082650 WO2014088048A1 (en) | 2012-12-07 | 2013-11-28 | Image generating apparatus and image generating method |
EP13811015.0A EP2929507A1 (en) | 2012-12-07 | 2013-11-28 | Image generating apparatus and image generating method |
PCT/JP2013/082652 WO2014088049A1 (en) | 2012-12-07 | 2013-11-28 | Image generating apparatus and image generating method |
US14/649,330 US20150310613A1 (en) | 2012-12-07 | 2013-11-28 | Image generating apparatus and image generating method |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013167437 | 2013-08-12 | ||
JP2013167437 | 2013-08-12 | ||
JP2013204636A JP2015057682A (ja) | 2013-08-12 | 2013-09-30 | 画像生成装置および画像生成方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015057682A true JP2015057682A (ja) | 2015-03-26 |
Family
ID=52815754
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013204636A Pending JP2015057682A (ja) | 2012-12-07 | 2013-09-30 | 画像生成装置および画像生成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015057682A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017098587A1 (ja) * | 2015-12-08 | 2017-06-15 | オリンパス株式会社 | 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム |
WO2018096638A1 (ja) * | 2016-11-24 | 2018-05-31 | 株式会社ニコン | 画像処理装置、顕微鏡システム、画像処理方法、およびコンピュータプログラム |
WO2018131172A1 (ja) * | 2017-01-16 | 2018-07-19 | 株式会社ニコン | 画像処理装置、顕微鏡システム、画像処理方法、及びプログラム |
US10055829B2 (en) | 2015-10-15 | 2018-08-21 | Samsung Electronics Co., Ltd. | Method of measuring thickness, method of processing image and electronic system performing the same |
JP2021099354A (ja) * | 2017-04-13 | 2021-07-01 | 浜松ホトニクス株式会社 | 画像取得システム及び画像取得方法 |
-
2013
- 2013-09-30 JP JP2013204636A patent/JP2015057682A/ja active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10055829B2 (en) | 2015-10-15 | 2018-08-21 | Samsung Electronics Co., Ltd. | Method of measuring thickness, method of processing image and electronic system performing the same |
WO2017098587A1 (ja) * | 2015-12-08 | 2017-06-15 | オリンパス株式会社 | 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム |
JPWO2017098587A1 (ja) * | 2015-12-08 | 2018-09-20 | オリンパス株式会社 | 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム |
US10721413B2 (en) | 2015-12-08 | 2020-07-21 | Olympus Corporation | Microscopy system, microscopy method, and computer readable recording medium |
WO2018096638A1 (ja) * | 2016-11-24 | 2018-05-31 | 株式会社ニコン | 画像処理装置、顕微鏡システム、画像処理方法、およびコンピュータプログラム |
JPWO2018096638A1 (ja) * | 2016-11-24 | 2019-10-17 | 株式会社ニコン | 画像処理装置、顕微鏡システム、画像処理方法、およびコンピュータプログラム |
WO2018131172A1 (ja) * | 2017-01-16 | 2018-07-19 | 株式会社ニコン | 画像処理装置、顕微鏡システム、画像処理方法、及びプログラム |
JPWO2018131172A1 (ja) * | 2017-01-16 | 2019-12-12 | 株式会社ニコン | 画像処理装置、顕微鏡システム、画像処理方法、及びプログラム |
US11442262B2 (en) | 2017-01-16 | 2022-09-13 | Nikon Corporation | Image processing device, microscope system, image processing method, and program |
JP2021099354A (ja) * | 2017-04-13 | 2021-07-01 | 浜松ホトニクス株式会社 | 画像取得システム及び画像取得方法 |
JP7216753B2 (ja) | 2017-04-13 | 2023-02-01 | 浜松ホトニクス株式会社 | 画像取得システム及び画像取得方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9881373B2 (en) | Image generating apparatus and image generating method | |
US20150279033A1 (en) | Image data generating apparatus and image data generating method | |
US9933363B2 (en) | System and method for dense-stochastic-sampling imaging | |
JP2021515240A (ja) | 定量的バイオマーカデータのオーバレイを有する病理学用拡張現実顕微鏡 | |
US10930061B2 (en) | Three-dimensional image processing to locate nanoparticles in biological and nonbiological media | |
Kandel et al. | Label-free tissue scanner for colorectal cancer screening | |
US20120327211A1 (en) | Diagnostic information distribution device and pathology diagnosis system | |
Chieco et al. | Image cytometry: protocols for 2D and 3D quantification in microscopic images | |
JP2015057682A (ja) | 画像生成装置および画像生成方法 | |
JP6362062B2 (ja) | 画像生成装置および画像生成方法 | |
US20210049338A1 (en) | System, method, and computer-accessible medium for processing brain images and extracting neuronal structures | |
CN114365179A (zh) | 无载玻片组织学成像方法和*** | |
Prigent et al. | SPITFIR (e): a supermaneuverable algorithm for fast denoising and deconvolution of 3D fluorescence microscopy images and videos | |
JP2015191362A (ja) | 画像データ生成装置および画像データ生成方法 | |
Wouterlood | 3‐D reconstruction of neurons from multichannel confocal laser scanning image series | |
Koho et al. | A software tool for tomographic axial superresolution in STED microscopy | |
WO2021100328A1 (ja) | 画像処理方法、画像処理装置および画像処理システム | |
Prigent et al. | SPITFIR (e): A supermaneuverable algorithm for restoring 2D-3D fluorescence images and videos, and background subtraction | |
Trusk | 3D reconstruction of confocal image data | |
Pronichev et al. | Cytology 3D structure formation based on optical microscopy images | |
US20240233158A9 (en) | Method and device for light field microscopy | |
US11428920B2 (en) | Information processing device, information processing method, information processing program, and microscope for displaying a plurality of surface images | |
US20230058111A1 (en) | Systems and methods for providing live sample monitoring information with parallel imaging systems | |
Li | THE NOISE AND INFLUENCE ON FLUORESCENCE MICROSCOPY | |
WO2023180289A1 (en) | Controller for an imaging system, system and corresponding method |