JP6305175B2 - 画像処理装置、画像処理方法、画像処理システム - Google Patents
画像処理装置、画像処理方法、画像処理システム Download PDFInfo
- Publication number
- JP6305175B2 JP6305175B2 JP2014081236A JP2014081236A JP6305175B2 JP 6305175 B2 JP6305175 B2 JP 6305175B2 JP 2014081236 A JP2014081236 A JP 2014081236A JP 2014081236 A JP2014081236 A JP 2014081236A JP 6305175 B2 JP6305175 B2 JP 6305175B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- layer image
- phase
- phase contrast
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 226
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000000034 method Methods 0.000 claims description 129
- 230000008569 process Effects 0.000 claims description 89
- 238000003384 imaging method Methods 0.000 claims description 57
- 238000012937 correction Methods 0.000 claims description 46
- 230000015572 biosynthetic process Effects 0.000 claims description 31
- 239000002131 composite material Substances 0.000 claims description 31
- 238000003786 synthesis reaction Methods 0.000 claims description 31
- 238000007447 staining method Methods 0.000 claims description 13
- 239000000203 mixture Substances 0.000 claims description 10
- 230000001086 cytosolic effect Effects 0.000 claims description 8
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims 3
- 230000008859 change Effects 0.000 description 84
- 238000009826 distribution Methods 0.000 description 57
- 210000000805 cytoplasm Anatomy 0.000 description 52
- 210000004940 nucleus Anatomy 0.000 description 41
- 239000012472 biological sample Substances 0.000 description 40
- 230000000694 effects Effects 0.000 description 34
- 238000010586 diagram Methods 0.000 description 33
- 230000009467 reduction Effects 0.000 description 29
- 230000006870 function Effects 0.000 description 24
- 238000005286 illumination Methods 0.000 description 24
- 230000003287 optical effect Effects 0.000 description 24
- 108010077544 Chromatin Proteins 0.000 description 20
- 210000003483 chromatin Anatomy 0.000 description 20
- 238000011946 reduction process Methods 0.000 description 20
- 239000000523 sample Substances 0.000 description 19
- 238000003860 storage Methods 0.000 description 18
- 238000007490 hematoxylin and eosin (H&E) staining Methods 0.000 description 15
- 238000010186 staining Methods 0.000 description 13
- 238000000605 extraction Methods 0.000 description 10
- 238000005259 measurement Methods 0.000 description 10
- 210000001747 pupil Anatomy 0.000 description 10
- 238000002834 transmittance Methods 0.000 description 9
- 210000004027 cell Anatomy 0.000 description 8
- 238000011161 development Methods 0.000 description 8
- 210000003463 organelle Anatomy 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000001427 coherent effect Effects 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 6
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000001575 pathological effect Effects 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 5
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 4
- 238000004043 dyeing Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 2
- 239000006059 cover glass Substances 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 239000008393 encapsulating agent Substances 0.000 description 2
- 238000012333 histopathological diagnosis Methods 0.000 description 2
- 238000005304 joining Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007170 pathology Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000276498 Pollachius virens Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000170 cell membrane Anatomy 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000003494 hepatocyte Anatomy 0.000 description 1
- 238000012744 immunostaining Methods 0.000 description 1
- 238000007901 in situ hybridization Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
- G02B21/08—Condensers
- G02B21/14—Condensers affording illumination for phase-contrast observation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10148—Varying focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20216—Image averaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Microscoopes, Condenser (AREA)
- Image Processing (AREA)
Description
本発明は、画像処理装置、画像処理方法、画像処理システムに関する。
スライド(プレパラートとも呼ぶ)上の染色された生体試料をデジタル顕微鏡で撮像することでバーチャル・スライド画像データを取得し、これをモニターに表示して観察することが可能なバーチャル・スライドシステムが注目されている(特許文献1)。
また、厚みのある生体試料を撮像する場合に、デジタル顕微鏡を用いて光軸方向の焦点位置を変えながら、試料内の異なる深さにピントを合わせた複数のレイヤー画像データを取得する技術が知られている(特許文献2)。複数のレイヤー画像データで構成される3次元画像データはZスタック画像データと呼ばれる。
また、複数のレイヤー画像データから焦点の合っている合焦点領域を抽出し、これら合焦点領域を合成して全ての領域で焦点の合っている2次元深度合成画像データを生成する技術が知られている(特許文献3)。
また、光学系の合焦位置付近の前後2枚の画像を利用して位相分布像を再生する技術が知られている(特許文献4)。
また、厚みのある生体試料を撮像する場合に、デジタル顕微鏡を用いて光軸方向の焦点位置を変えながら、試料内の異なる深さにピントを合わせた複数のレイヤー画像データを取得する技術が知られている(特許文献2)。複数のレイヤー画像データで構成される3次元画像データはZスタック画像データと呼ばれる。
また、複数のレイヤー画像データから焦点の合っている合焦点領域を抽出し、これら合焦点領域を合成して全ての領域で焦点の合っている2次元深度合成画像データを生成する技術が知られている(特許文献3)。
また、光学系の合焦位置付近の前後2枚の画像を利用して位相分布像を再生する技術が知られている(特許文献4)。
生体試料は細胞核や細胞質、細胞膜など複数種類の構成要素を含んでおり、構成要素の種類ごとに光の屈折率が異なる。そのため、特許文献2で示された技術で取得した複数のレイヤー画像データには、位相コントラストの影響を受けた2種類のレイヤー画像データが混在することになる。位相コントラスト(phase contrast)とは、物体を光が透過するときに屈折により位相のずれ(phase shift)が生じ、これが画像のコントラストとなって現れることをいう。2種類のレイヤー画像データとは、ポジティブコントラスト(ダークコントラスト)の影響を受けたレイヤー画像データとネガティブコントラスト(ブライトコントラスト)の影響を受けたレイヤー画像データである。生体試料の立体的構造を把握するために、複数のレイヤー画像データを表示装置に連続的に表示して観察する際に、この位相コントラストに起因するレイヤー画像データの輝度変化がアーチファクトとして認識される可能性がある。
また、特許文献3で示された深度合成画像データ生成技術においても、位相コントラストの異なるレイヤー画像データの影響により、過剰にコントラストが強調された深度合成画像データが生成される可能性がある。
特許文献4で示された位相情報可視化技術により、弱位相近似が適用できる範囲においては、染色されていない無色透明な生体試料の位相情報を可視化することができる。しかし、特許文献4には、染色された生体試料に対して、位相コントラストを低減した複数のレイヤー画像データを生成する技術は開示されていない。
そこで、本発明は、位相コントラストによるアーチファクトを低減した画像データを生成するための技術を提供することを目的とする。
本発明の第一態様は、標本内の異なる深さに焦点位置を合わせてそれぞれ取得された複数枚のレイヤー画像データのなかから、前記標本内の基準深さを中心として正方向と負方向にそれぞれ同じ距離だけ焦点位置がずれた2枚のレイヤー画像データの組を、少なくとも1組以上、選択する選択手段と、前記選択手段で選択された各組の2枚のレイヤー画像データに対し、2枚のレイヤー画像データのあいだの位相コントラスト成分の差を小さくする補正処理を行う、位相コントラスト補正手段と、を有することを特徴とする画像処理装置である。
本発明の第二態様は、標本内の異なる深さに焦点位置を合わせてそれぞれ取得された複数枚のレイヤー画像データを深度合成することにより深度合成画像データを生成する深度合成手段と、前記複数枚のレイヤー画像データのなかから1枚の代表レイヤー画像データを取得する取得手段と、前記深度合成画像データを位相物体領域とそれ以外の領域に分け、前記位相物体領域内のデータを前記代表レイヤー画像データを用いて補正する位相コントラスト補正手段と、を有することを特徴とする画像処理装置である。
本発明の第三態様は、標本内の異なる深さに焦点位置を合わせてそれぞれ撮影を行うことにより複数枚のレイヤー画像データを取得する撮像装置と、前記撮像装置で取得された前記複数枚のレイヤー画像データを処理する、本発明に係る画像処理装置と、を有する画像処理システムである。
本発明の第四態様は、コンピュータが、標本内の異なる深さに焦点位置を合わせてそれぞれ取得された複数枚のレイヤー画像データのなかから、前記標本内の基準深さを中心として正方向と負方向にそれぞれ同じ距離だけ焦点位置がずれた2枚のレイヤー画像データの組を、少なくとも1組以上、選択するステップと、コンピュータが、前記選択された各組の2枚のレイヤー画像データに対し、2枚のレイヤー画像データのあいだの位相コントラスト成分の差を小さくする補正処理を行うステップと、を有することを特徴とする画像処理方法である。
本発明の第五態様は、コンピュータが、標本内の異なる深さに焦点位置を合わせてそれぞれ取得された複数枚のレイヤー画像データを深度合成することにより深度合成画像データを生成するステップと、コンピュータが、前記複数枚のレイヤー画像データのなかから1枚の代表レイヤー画像データを取得するステップと、コンピュータが、前記深度合成画像データを位相物体領域とそれ以外の領域に分け、前記位相物体領域内のデータを前記代表レイヤー画像データを用いて補正するステップと、を有することを特徴とする画像処理方法である。
本発明の第六態様は、本発明に係る画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラムである。
本発明により、位相コントラストによるアーチファクトを低減した画像データを生成することができる。
以下、図面を参照しながら本発明の実施の形態を説明する。
<第1実施形態>
(画像処理システムの装置構成)
本発明の実施形態に係る画像処理装置は、撮像装置と表示装置を備えた画像処理システムにおいて用いることができる。この画像処理システムの構成を、図1を用いて説明する。画像処理システムは、撮像装置(デジタル顕微鏡装置、またはバーチャル・スライド・スキャナ)101、画像処理装置102、表示装置103、データサーバ104を有し、撮像対象となる標本の2次元画像を取得し表示する機能を有するシステムである。撮像装置101と画像処理装置102との間は、専用もしくは汎用I/Fのケーブル105で接続され、画像処理装置102と表示装置103の間は、汎用のI/Fのケーブル106で接続される。データサーバ104と画像処理装置102との間は、ネットワーク107を介して、汎用I/FのLANケーブル108で接続される。
(画像処理システムの装置構成)
本発明の実施形態に係る画像処理装置は、撮像装置と表示装置を備えた画像処理システムにおいて用いることができる。この画像処理システムの構成を、図1を用いて説明する。画像処理システムは、撮像装置(デジタル顕微鏡装置、またはバーチャル・スライド・スキャナ)101、画像処理装置102、表示装置103、データサーバ104を有し、撮像対象となる標本の2次元画像を取得し表示する機能を有するシステムである。撮像装置101と画像処理装置102との間は、専用もしくは汎用I/Fのケーブル105で接続され、画像処理装置102と表示装置103の間は、汎用のI/Fのケーブル106で接続される。データサーバ104と画像処理装置102との間は、ネットワーク107を介して、汎用I/FのLANケーブル108で接続される。
撮像装置101は、複数枚の2次元画像データを取得し、デジタル画像を出力する機能を持つバーチャル・スライド・スキャナである。撮像装置101では、標本全体を複数の領域(タイル、ブロックとも呼ぶ)に分け、各々の領域で光軸方向(標本の深さ方向;Z方向)の焦点位置を変えた複数枚の2次元画像データ(レイヤー画像データ)が取得される。2次元画像データの取得にはCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子が用いられる。なお、バーチャル・スライド・スキャナの代わりに、通常の光学顕微鏡の接眼部にデジタルカメラを取り付けたデジタル顕微鏡装置により、撮像装置101を構成することもできる。
画像処理装置102は、撮像装置101から取得した複数枚の原画像データ(レイヤー画像データ)から、表示装置103に表示するデータを、ユーザからの要求に応じて生成
する機能等を持つ装置である。画像処理装置102は、CPU(中央演算処理装置)、RAM、記憶装置、操作部、各種I/Fなどのハードウェア資源を備えた、汎用のコンピュータやワークステーションで構成される。記憶装置は、ハードディスクドライブなどの大容量情報記憶装置であり、後述する各処理を実現するためのプログラムやデータ、OS(オペレーティングシステム)などが格納されている。後述する各機能は、CPUが記憶装置からRAMに必要なプログラムおよびデータをロードし、当該プログラムを実行することにより実現される。操作部は、キーボードやマウスなどにより構成され、ユーザが各種の指示を入力するために利用される。
する機能等を持つ装置である。画像処理装置102は、CPU(中央演算処理装置)、RAM、記憶装置、操作部、各種I/Fなどのハードウェア資源を備えた、汎用のコンピュータやワークステーションで構成される。記憶装置は、ハードディスクドライブなどの大容量情報記憶装置であり、後述する各処理を実現するためのプログラムやデータ、OS(オペレーティングシステム)などが格納されている。後述する各機能は、CPUが記憶装置からRAMに必要なプログラムおよびデータをロードし、当該プログラムを実行することにより実現される。操作部は、キーボードやマウスなどにより構成され、ユーザが各種の指示を入力するために利用される。
表示装置103は、画像処理装置102が演算処理した結果である観察用画像データを表示するディスプレイであり、液晶ディスプレイ等により構成される。
データサーバ104は、画像処理装置102が演算処理した結果である観察用画像データが格納されているサーバである。
データサーバ104は、画像処理装置102が演算処理した結果である観察用画像データが格納されているサーバである。
図1の例では、撮像装置101、画像処理装置102、表示装置103とデータサーバ104の4つの装置により画像処理システムが構成されているが、本発明の構成はこの構成に限定されるものではない。例えば、表示装置と一体化した画像処理装置を用いてもよいし、画像処理装置の機能を撮像装置に組み込んでもよい。また撮像装置、画像処理装置、表示装置、データサーバの機能を1つの装置で実現することもできる。また逆に、画像処理装置等の機能を分割して複数の装置によって実現しても良い。
(表示画面)
図2は、予め撮影した染色標本(生体試料)の画像データを、画像表示アプリケーションを通じて、表示装置103に表示した場合の一例である。
図2は、予め撮影した染色標本(生体試料)の画像データを、画像表示アプリケーションを通じて、表示装置103に表示した場合の一例である。
図2は画像表示アプリケーションの画面レイアウトの基本構成である。表示画面の全体ウィンドウ201内に、表示や操作のステータスと各種画像の情報を示す情報エリア202、観察対象の標本の全体画像203、標本画像データの詳細観察用の表示領域205、表示領域205の表示倍率206、が配置されている。全体画像203上に描画された枠線204は、詳細観察用の表示領域205に拡大表示している領域の位置および大きさを示している。この全体画像203と枠線204によって、ユーザは標本画像データ全体中のどの部分を観察しているのかを容易に把握できる。
詳細観察用の表示領域205に表示される画像データは、入力操作デバイスによる移動指示や拡大・縮小指示に対応して更新される。例えば、移動は画面上でのマウスのドラッグ操作により、拡大縮小はマウスホイールの回転等によって実現できる(例えば、ホイールの前方回転を拡大、後方回転を縮小に割り当てる)。また、焦点位置の異なる画像データへの切り替えは、所定のキー(例えばCtrlキー)を押しながらのマウスホイールの回転等で実現できる(例えば、ホイールの前方回転を奥行きが深い画像への移動に、後方回転を奥行きが浅い画像への移動に割り当てる)。上記のようなユーザの表示画像データの変更操作に伴い、表示領域205、表示倍率206、全体画像203内の枠線204が更新される。このようにして、ユーザは所望する面内位置、奥行き位置、倍率の画像データを観察できる。
詳細観察用の表示領域205に深度合成処理などの画像処理を行った画像データを表示させることもできる。例えば、画像表示アプリケーションで表示画像中の領域207をマウスで選択した後、マウスの右クリックで表示される機能拡張メニュー208から「深度合成処理」(不図示)の項目を選択する。それに対応して深度合成処理後の画像データが領域207に表示される。また、深度合成処理前後の画像データを、詳細観察用の表示領域205ではなく、新規ウィンドウ(不図示)に表示させることもできる。
(撮像装置の機能構成)
図3は、撮像装置101の機能構成を示すブロック図である。撮像装置101は、概略、照明ユニット301、ステージ302、ステージ制御ユニット305、結像光学系307、撮像ユニット310、現像処理ユニット319、プレ計測ユニット320、メイン制御系321、外部装置I/F322を有する。
図3は、撮像装置101の機能構成を示すブロック図である。撮像装置101は、概略、照明ユニット301、ステージ302、ステージ制御ユニット305、結像光学系307、撮像ユニット310、現像処理ユニット319、プレ計測ユニット320、メイン制御系321、外部装置I/F322を有する。
照明ユニット301は、ステージ302上に配置されたスライド306に対して均一に光を照射する手段であり、光源、照明光学系、および光源駆動の制御系から構成される。ステージ302は、ステージ制御ユニット305によって駆動制御され、XYZの3軸方向への移動が可能である。スライド306は、観察対象となる組織の切片をスライドグラス上に貼り付け、封入剤とともにカバーグラスの下に固定した部材である。
ステージ制御ユニット305は、駆動制御系303とステージ駆動機構304を有する。駆動制御系303は、メイン制御系321の指示を受け、ステージ302の駆動制御を行う。ステージ302の移動方向、移動量などは、プレ計測ユニット320によって計測した標本の位置情報および厚み情報(距離情報)と、必要に応じてユーザからの指示とに基づいて決定される。ステージ駆動機構304は、駆動制御系303の指示に従い、ステージ302を駆動する。
結像光学系307は、スライド306の標本の光学像を撮像センサ308へ結像するためのレンズ群である。
撮像ユニット310は、撮像センサ308とアナログフロントエンド(AFE)309を有する。撮像センサ308は、2次元の光学像を光電変換によって電気的な物理量へ変える1次元もしくは2次元のイメージセンサであり、例えば、CCDやCMOSデバイスが用いられる。1次元センサの場合、走査方向へ電気的にスキャンするとともに、副走査方向へステージ302を移動させることで2次元画像が得られる。撮像センサ308からは、光の強度に応じた電圧値をもつ電気信号が出力される。カラー画像データが所望される場合は、例えば、Bayer配列のカラーフィルタが取り付けられた単板のイメージセンサを用いたり、RGBの三板式のイメージセンサを用いたりすればよい。撮像ユニット310は、ステージ302をXY軸方向に駆動させることにより、標本の分割画像データを取得する。
AFE309は、撮像センサ308の動作を制御する回路、及び、撮像センサ308から出力されたアナログ信号をデジタル信号へ変換する回路である。AFE309は、H/Vドライバ、CDS(Correlated Double Sampling)、アンプ、AD変換器およびタイミングジェネレータによって構成される。H/Vドライバは、撮像センサ308を駆動するための垂直同期信号および水平同期信号を、センサ駆動に必要な電位に変換する。CDSは、固定パターンのノイズを除去する相関2重サンプリング回路である。アンプは、CDSでノイズ除去されたアナログ信号のゲインを調整するアナログアンプである。AD変換器は、アナログ信号をデジタル信号に変換する。撮像装置最終段での出力が8ビットの場合、後段の処理を考慮して、AD変換器はアナログ信号を10ビットから16ビット程度に量子化されたデジタルデータへ変換し、出力する。変換されたセンサ出力データはRAWデータと呼ばれる。RAWデータは後段の現像処理ユニット319で現像処理される。タイミングジェネレータは、撮像センサ308のタイミングおよび後段の現像処理ユニット319のタイミングを調整する信号を生成する。撮像センサ308としてCCDを用いる場合、上記AFE309は必須となるが、デジタル出力可能なCMOSイメージセンサの場合は、上記AFE309の機能をセンサに内包することになる。
現像処理ユニット319は、黒補正部311、デモザイキング処理部312、ホワイトバランス調整部313、画像合成処理部314、フィルタ処理部316、ガンマ補正部317および圧縮処理部318を有する。黒補正部311は、RAWデータの各画素の値から、バックグラウンド(遮光時に得られた黒補正データ)を減算する処理を行う。デモザイキング処理部312は、Bayer配列のRAWデータから、RGB各色の画像データを生成する処理を行う。デモザイキング処理部312は、RAWデータにおける周辺画素(同色の画素と他色の画素を含む)の値を補間することによって、注目画素のRGB各色の値を計算する。また、デモザイキング処理部312は、欠陥画素の補正処理(補間処理)も実行する。なお、撮像センサ308がカラーフィルタを有しておらず、単色の画像データが得られている場合、デモザイキング処理は不要となり、欠陥画素の補正処理を実行する。三板式の撮像センサ308を用いた場合もデモザイキング処理は不要である。ホワイトバランス調整部313は、照明ユニット301の光の色温度に応じて、RGB各色のゲインを調整することによって、望ましい白色を再現する処理を行う。
画像合成処理部314は、撮像センサ308によって分割して撮像された複数の分割画像データをつなぎ合わせて所望の撮像範囲の大サイズ画像データを生成する処理を行う。一般に、既存のイメージセンサによって1回の撮像で取得できる撮像範囲より標本の存在範囲が広いため、1枚の2次元画像データを複数の分割画像データのつなぎ合わせによって生成する。例えば、0.25μmの分解能でスライド306上の10mm角の範囲を撮像すると仮定した場合、一辺の画素数は10mm/0.25μmの4万画素となり、トータルの画素数はその自乗である16億画素となる。10M(1000万)の画素数を持つ撮像センサ308を用いて16億画素の画像データを取得するには、16億/1000万の160個に領域を分割して撮像を行う必要がある。なお、複数の画像データをつなぎ合わせる方法としては、ステージ302の位置情報に基づいて位置合わせをしてつなぐ方法や、複数の分割画像の対応する点または線を対応させてつなぐ方法などがある。つなぎ合わせの際、0次補間、線形補間、高次補間等の補間処理により滑らかにつなげることができる。
フィルタ処理部316は、画像に含まれる高周波成分の抑制、ノイズ除去、解像感強調を実現するデジタルフィルタである。ガンマ補正部317は、画像に一般的な表示デバイスの階調表現特性の逆特性を付加する処理を実行したり、高輝度部の階調圧縮や暗部処理によって人間の視覚特性に合わせた階調変換を実行したりする。本実施形態では形態観察を目的とした画像取得のため、後段の合成処理や表示処理に適した階調変換が画像データに対して適用される。圧縮処理部318は、大容量の2次元画像データの伝送の効率化および保存する際の容量削減が目的で行われる圧縮の符号化処理を実行する。静止画像の圧縮手法として、JPEG(Joint Photographic Experts Group)、JPEGを改良、進化させたJPEG2000やJPEG XR等の規格化された符号化方式が広く一般に知られている。
プレ計測ユニット320は、スライド306上の標本の位置情報、所望の焦点位置までの距離情報、および標本厚みに起因する光量調整用のパラメータを算出するための事前計測を行うユニットである。本計測(撮像画像データの取得)の前にプレ計測ユニット320によって情報を取得することで、無駄のない撮像を実施することが可能となる。2次元平面の位置情報取得には、撮像センサ308より解像力の低い2次元撮像センサが用いられる。プレ計測ユニット320は、取得した画像データから標本のXY平面上での位置を把握する。距離情報および厚み情報の取得には、レーザー変位計などの計測器が用いられる。
メイン制御系321は、これまで説明してきた各種ユニットの制御を行う機能である。
メイン制御系321および現像処理ユニット319の制御機能は、CPUとROMとRAMを有する制御回路により実現される。すなわち、ROM内にプログラムおよびデータが格納されており、CPUがRAMをワークメモリとして使いプログラムを実行することで、メイン制御系321および現像処理ユニット319の機能が実現される。ROMには例えばEEPROMやフラッシュメモリなどのデバイスが用いられ、RAMには例えばDDR3などのDRAMデバイスが用いられる。なお、現像処理ユニット319の機能を専用のハードウェアデバイスとしてASIC化したもので置き換えても良い。
メイン制御系321および現像処理ユニット319の制御機能は、CPUとROMとRAMを有する制御回路により実現される。すなわち、ROM内にプログラムおよびデータが格納されており、CPUがRAMをワークメモリとして使いプログラムを実行することで、メイン制御系321および現像処理ユニット319の機能が実現される。ROMには例えばEEPROMやフラッシュメモリなどのデバイスが用いられ、RAMには例えばDDR3などのDRAMデバイスが用いられる。なお、現像処理ユニット319の機能を専用のハードウェアデバイスとしてASIC化したもので置き換えても良い。
外部装置I/F322は、現像処理ユニット319によって生成された画像データを画像処理装置102に送るためのインターフェースである。撮像装置101と画像処理装置102とは、光通信のケーブルにより接続される。あるいは、USBやGigabitEthernet(登録商標)等の汎用インターフェースが使用される。
(画像処理装置のハードウェア構成)
図4は、画像処理装置102のハードウェア構成を示すブロック図である。画像処理を行う装置として、例えばPC(Personal Computer)が用いられる。PCは、CPU401、メインメモリ402、演算処理ボード403、グラフィックスボード404、これらを互いに接続する内部バス405を備える。またPCは、LAN I/F406、記憶装置I/F407、外部装置I/F409、操作I/F410、入出力I/F413を備える。
図4は、画像処理装置102のハードウェア構成を示すブロック図である。画像処理を行う装置として、例えばPC(Personal Computer)が用いられる。PCは、CPU401、メインメモリ402、演算処理ボード403、グラフィックスボード404、これらを互いに接続する内部バス405を備える。またPCは、LAN I/F406、記憶装置I/F407、外部装置I/F409、操作I/F410、入出力I/F413を備える。
CPU401は、必要に応じてメインメモリ402に格納されているプログラムやデータを用いてPCの各ブロック全体を統括的に制御する。メインメモリ402はRAM(Random Access Memory)により構成される。メインメモリ402は、CPU401の作業用領域等として用いられ、OS、実行中の各種プログラム、表示用データの生成など処理の対象となる各種データを一時的に保持する。また、メインメモリ402は、画像データの格納領域としても用いられる。CPU401のDMA(Direct Memory Access)機能により、メインメモリ402とグラフィックスボード404の間の画像データの高速転送を実現できる。グラフィックスボード404は、表示装置103に画像処理結果を出力する。表示装置103は、例えば液晶、EL(Electro−Luminescence)等を用いた表示デバイスである。当該表示装置103は、外部装置として接続される形態を想定しているが、表示装置と一体化したPCを想定してもよい。例えばノートPCがこれに該当する。演算処理ボード403は、画像処理など特定の演算機能が強化されたプロセッサおよびバッファメモリ(不図示)を備えている。以降の説明では各種演算処理、データ処理にはCPU401を、メモリ領域としてメインメモリ402を用いるとして説明するが、演算処理ボード内のプロセッサやバッファメモリを用いることも可能であり、本発明の範疇とする。
入出力I/F413には、LAN I/F406を介してデータサーバ104が、記憶装置I/F407を介して記憶装置408が、外部装置I/F409を介して撮像装置101がそれぞれ接続される。また、操作I/F410を介してキーボード411やマウス412などの入力デバイスが、入出力I/F413に接続される。記憶装置408は、CPU401が実行するOS、プログラム、ファームウェアや、各種パラメータなどの情報を固定的に記憶している補助記憶装置である。また、記憶装置408は、撮像装置101から送られてきた画像データの格納領域としても用いられる。記憶装置408には、HDD(Hard Disk Drive)等の磁気ディスクドライブや、SSD(Solid State Drive)、Flashメモリ等の半導体デバイスが用いられる。入力デバイスとしてキーボード411やマウス412等のポインティングデバイスを想定しているが、タッチパネルのように表示装置103の画面が直接入力デバイスとなる構成を採ることも可能である。その場合、タッチパネルは表示装置103と一体となり得る。
(スライド)
図5は、標本(生体試料)501が載置されたスライド306を示す模式図である。病理標本のスライドでは、スライドグラス502上に載置した標本501が封入剤(不図示)とその上に載せるカバーグラス503によって固定されている。標本501の大きさや厚みは検体毎によって異なっている。更にスライドグラス502上には標本に関する情報が記録されたラベルエリア504が存在する。ラベルエリア504への情報の記録は、ペンによる記入でもよいし、バーコードや2次元コードの印刷でもよい。また電気的、磁気的、または光学的な方法により情報を記憶可能な記憶媒体をラベルエリア504に設けてもよい。以降の実施形態では、被写体として図5に示す病理標本のスライドを例に説明する。
図5は、標本(生体試料)501が載置されたスライド306を示す模式図である。病理標本のスライドでは、スライドグラス502上に載置した標本501が封入剤(不図示)とその上に載せるカバーグラス503によって固定されている。標本501の大きさや厚みは検体毎によって異なっている。更にスライドグラス502上には標本に関する情報が記録されたラベルエリア504が存在する。ラベルエリア504への情報の記録は、ペンによる記入でもよいし、バーコードや2次元コードの印刷でもよい。また電気的、磁気的、または光学的な方法により情報を記憶可能な記憶媒体をラベルエリア504に設けてもよい。以降の実施形態では、被写体として図5に示す病理標本のスライドを例に説明する。
(染色標本)
図6は、染色標本(生体試料)を説明する模式図である。病理標本では、標本(生体試料)501は厚さ4〜5μm程度で、2〜3inchのスライドに収まる程度の大きさである。標本(生体試料)501を拡大すると組織に応じた細胞601の配列が観察できる。細胞601は核602と細胞質603とで構成される。組織に応じて細胞の配列や大きさ、細胞を構成する核の形・大きさなどは異なる。例えば、肝細胞であれば細胞直径は約20μm、核の大きさは約5〜15μmである。生体試料は無色透明であり、そのまま観察したのでは組織構造が分かりにくい。そのため、標本の組織構造を観察しやすくするために、病理標本では染色が行われる。病理組織診では、基本的にはHE(ヘマトキシリン・エオシン)染色が行われるが、診断目的に応じて免疫染色、FISH(蛍光 in situ ハイブリダイゼーション)法なども行われる。本実施の形態では、病理組織診で一般的に行われるHE染色を例に説明する。HE染色では核内のクロマチンを濃青色に、細胞質を淡赤色に染め分ける。
図6は、染色標本(生体試料)を説明する模式図である。病理標本では、標本(生体試料)501は厚さ4〜5μm程度で、2〜3inchのスライドに収まる程度の大きさである。標本(生体試料)501を拡大すると組織に応じた細胞601の配列が観察できる。細胞601は核602と細胞質603とで構成される。組織に応じて細胞の配列や大きさ、細胞を構成する核の形・大きさなどは異なる。例えば、肝細胞であれば細胞直径は約20μm、核の大きさは約5〜15μmである。生体試料は無色透明であり、そのまま観察したのでは組織構造が分かりにくい。そのため、標本の組織構造を観察しやすくするために、病理標本では染色が行われる。病理組織診では、基本的にはHE(ヘマトキシリン・エオシン)染色が行われるが、診断目的に応じて免疫染色、FISH(蛍光 in situ ハイブリダイゼーション)法なども行われる。本実施の形態では、病理組織診で一般的に行われるHE染色を例に説明する。HE染色では核内のクロマチンを濃青色に、細胞質を淡赤色に染め分ける。
(焦点位置とZ軸符号)
図7(a)〜図7(c)は、焦点位置とZ軸符号を説明する模式図である。本実施の形態では、Z軸は光源側(照明ユニット301側)を正(+)方向、対物レンズ側(結像光学系307側)を負(−)方向とする。また、焦点位置701とは、撮像センサ308の撮像面と光学的共役な関係にある面の位置とする。
図7(a)〜図7(c)は、焦点位置とZ軸符号を説明する模式図である。本実施の形態では、Z軸は光源側(照明ユニット301側)を正(+)方向、対物レンズ側(結像光学系307側)を負(−)方向とする。また、焦点位置701とは、撮像センサ308の撮像面と光学的共役な関係にある面の位置とする。
図7(a)は、焦点位置701に対して標本(生体試料)501の厚み中心のZ位置が−側にある様子を示している。透過率変化が小さく且つ屈折率変化が小さい標本(生体試料)であれば、ネガティブ(ブライト)コントラストを有するネガティブ(ブライト)像が得られる。ネガティブ(ブライト)像とは、屈折率が高い領域が明るく、屈折率が低い領域が暗く結像された像である。図7(b)は、焦点位置701に標本(生体試料)501の厚み中心のZ位置がある様子を示している。透過率変化が小さく且つ屈折率変化が小さい標本(生体試料)であれば、像は得られない。図7(c)は、焦点位置701に対して標本(生体試料)501の厚み中心のZ位置が+側にある様子を示している。透過率変化が小さく且つ屈折率変化が小さい標本(生体試料)であれば、ポジティブ(ダーク)コントラストを有するポジティブ(ダーク)像が得られる。ポジティブ(ダーク)像とは、屈折率が高い領域が暗く、屈折率が低い領域が明るく結像された像である。
(顕微鏡の光学系の基本構造)
図8は、顕微鏡の光学系の基本構造を説明する模式図である。顕微鏡の光学系は、照明ユニット301、結像光学系307、撮像センサ308から構成される。照明ユニット301はケーラー照明系であり、光源面801上の面光源と照明レンズ803から成る。光源面801に、光源面801と光軸802の交点を中心とする面光源が設けられる。結像光学系307は、対物レンズ804、瞳面805、結像レンズ806を有する。結像光学
系307により、標本(生体試料)501の像が像面807に形成される。光源面801、照明レンズ803、標本(生体試料)501、対物レンズ804、瞳面805、結像レンズ806、像面807が距離Lの間隔で配置される。距離Lは照明レンズ803、対物レンズ804、結像レンズ806の焦点距離である。
以降の説明では、焦点位置701での面内座標をx、瞳面805での面内座標をX、像面807での面内座標をx´と表記する。また、説明の簡単のため1次元(x、X、又は、x´)の画像で説明するが、2次元(xy、XY、又は、x´y´)の画像の場合も同じように考えることができる。
図8は、顕微鏡の光学系の基本構造を説明する模式図である。顕微鏡の光学系は、照明ユニット301、結像光学系307、撮像センサ308から構成される。照明ユニット301はケーラー照明系であり、光源面801上の面光源と照明レンズ803から成る。光源面801に、光源面801と光軸802の交点を中心とする面光源が設けられる。結像光学系307は、対物レンズ804、瞳面805、結像レンズ806を有する。結像光学
系307により、標本(生体試料)501の像が像面807に形成される。光源面801、照明レンズ803、標本(生体試料)501、対物レンズ804、瞳面805、結像レンズ806、像面807が距離Lの間隔で配置される。距離Lは照明レンズ803、対物レンズ804、結像レンズ806の焦点距離である。
以降の説明では、焦点位置701での面内座標をx、瞳面805での面内座標をX、像面807での面内座標をx´と表記する。また、説明の簡単のため1次元(x、X、又は、x´)の画像で説明するが、2次元(xy、XY、又は、x´y´)の画像の場合も同じように考えることができる。
(染色標本の振幅変化と位相変化)
図9(a)、図9(b)は、染色標本の振幅変化と位相変化を説明する模式図である。ここで、標本(生体試料)の複素振幅分布u(x)を、
と表現する。A(x)は振幅変化を表す式であり、P(x)は位相変化を表す式である。xは1次元座標上の位置である。a、bは、それぞれ、振幅変化量、位相変化量を示すパラメータである。μ1、μ2は、それぞれ、振幅変化の空間周波数、位相変化の空間周波数である。iは虚数単位である。この表式では、病理で対象とする染色標本での振幅変化、位相変化が緩やかであり正弦波で近似できることを仮定している。また、位相変化がπより十分小さいことを仮定している。病理で対象とする染色標本(生体試料)では、振幅・位相ともに急峻な変化はなく、弱位相物体であることが知られているので、これらは妥当な仮定である。これ以降、簡単のため全て、標本の振幅変化、位相変化を、それぞれ、単一空間周波数μ1、μ2で説明する。
図9(a)、図9(b)は、染色標本の振幅変化と位相変化を説明する模式図である。ここで、標本(生体試料)の複素振幅分布u(x)を、
と表現する。A(x)は振幅変化を表す式であり、P(x)は位相変化を表す式である。xは1次元座標上の位置である。a、bは、それぞれ、振幅変化量、位相変化量を示すパラメータである。μ1、μ2は、それぞれ、振幅変化の空間周波数、位相変化の空間周波数である。iは虚数単位である。この表式では、病理で対象とする染色標本での振幅変化、位相変化が緩やかであり正弦波で近似できることを仮定している。また、位相変化がπより十分小さいことを仮定している。病理で対象とする染色標本(生体試料)では、振幅・位相ともに急峻な変化はなく、弱位相物体であることが知られているので、これらは妥当な仮定である。これ以降、簡単のため全て、標本の振幅変化、位相変化を、それぞれ、単一空間周波数μ1、μ2で説明する。
図9(a)は、HE染色における核602の振幅変化と位相変化を説明する模式図であり、上段は図6に対応する細胞の模式図、中段は核602の振幅変化を示すグラフ、下段は核602の位相変化を示すグラフである。HE染色では核602内のクロマチンは濃青色に染められており、細胞質と比較すると振幅変化量が比較的大きい。図9(a)中段は、核602内のクロマチン分布を模擬しており、クロマチンが凝集するところの透過率が低いことを示している。図9(a)下段はクロマチンの凝集と屈折率が相関しており、クロマチンが凝集するところの屈折率が高いことを示している。これ以降、核602の複素振幅分布モデルのパラメータを、それぞれ、振幅変化量a=−0.32、位相変化量b=0.36、μ1=0.20(/μm)、μ2=0.20(/μm)として説明する。
図9(b)は、HE染色における細胞質603の振幅変化と位相変化を説明する模式図であり、上段は図6に対応する細胞の模式図、中段は細胞質603の振幅変化を示すグラフ、下段は細胞質603の位相変化を示すグラフである。HE染色では細胞質603は淡赤色に染められており、核と比較すると振幅変化量が小さい。図9(b)中段は、細胞質603内の細胞小器官の分布を模擬しており、細胞小器官が凝集するところの透過率が低いことを示している。図9(b)下段は細胞小器官の凝集と屈折率が相関しており、細胞小器官が凝集するところの屈折率が高いことを示している。これ以降、細胞質603の複素振幅分布モデルのパラメータを、それぞれ、振幅変化量a=−0.02、位相変化量b=0.36、μ1=0.20(/μm)、μ2=0.20(/μm)として説明する。
図9(a)、図9(b)で説明したHE染色における生体細胞の振幅変化と位相変化を単純化して考えるならば、濃く染まって透過率が小さい領域の屈折率が大きく、染まって
いないか、薄く染まって透過率が高い領域の屈折率が小さい。
いないか、薄く染まって透過率が高い領域の屈折率が小さい。
(回折像)
図10(a)、図10(b)は、瞳面805での回折像を説明する模式図である。縦軸は複素振幅、横軸は空間周波数である。図10(a)は局所的に核602の領域に着目した場合の瞳面805での回折像である。顕微鏡では、一般に面光源で部分コヒーレント結像のため広がりを有する回折像となるが、ここでは回折像の中心点のみ図示している。また、光源の波長をλとする。これ以降、簡単のため全て単一波長λで説明する。複素振幅分布u(x)では瞳面805に9つの回折像が形成される。回折像の一般的性質を明示するため、μ1−μ2<μ2<μ1<μ1+μ2、として図示したが、大小関係が入れ替わっても以降の説明に不都合は生じない。例えば、μ1=0.20(/μm)、μ2=0.20(/μm)の場合には、瞳面805の空間周波数が0とμ1−μ2の回折像は、空間周波数が0のところに重なって形成されることになる。±1次光、±2次光、±4次光には虚数単位iが示されているが、これらの回折像は、0次光、±3次光に対して位相がπ/2ずれていることを示している。
図10(a)、図10(b)は、瞳面805での回折像を説明する模式図である。縦軸は複素振幅、横軸は空間周波数である。図10(a)は局所的に核602の領域に着目した場合の瞳面805での回折像である。顕微鏡では、一般に面光源で部分コヒーレント結像のため広がりを有する回折像となるが、ここでは回折像の中心点のみ図示している。また、光源の波長をλとする。これ以降、簡単のため全て単一波長λで説明する。複素振幅分布u(x)では瞳面805に9つの回折像が形成される。回折像の一般的性質を明示するため、μ1−μ2<μ2<μ1<μ1+μ2、として図示したが、大小関係が入れ替わっても以降の説明に不都合は生じない。例えば、μ1=0.20(/μm)、μ2=0.20(/μm)の場合には、瞳面805の空間周波数が0とμ1−μ2の回折像は、空間周波数が0のところに重なって形成されることになる。±1次光、±2次光、±4次光には虚数単位iが示されているが、これらの回折像は、0次光、±3次光に対して位相がπ/2ずれていることを示している。
図10(a)から、核602の複素振幅分布モデルでは、0次光以外では比較的大きな±2次光、±3次光が得られることがわかる。±2次光は位相変化を反映する回折像であり、±3次光は振幅変化を反映する回折像である。これは、振幅変化と位相変化が同等に結像に寄与することを示唆している。同様に、図10(b)は局所的に細胞質603の領域に着目した場合の瞳面805での回折像である。細胞質603の複素振幅分布モデルでは、0次光以外では±2次光のみが比較的大きい。これは、位相変化が主に結像に寄与することを示唆している。
顕微鏡では、一般に、コントラストと解像度のバランスの良い部分コヒーレント照明法が用いられるが、照明絞りを操作することでコヒーレント照明、インコヒーレント照明も可能である。照明絞りを絞った状態(コヒーレンスファクターσ≒0)がコヒーレント照明に相当し、照明絞りを開放した状態(コヒーレンスファクターσ≒1)がインコヒーレント照明に相当する。コヒーレンスファクターσとは照明光源が成す開口数と結像光学系が成す開口数との比である。本発明は、照明法にかかわらず、部分コヒーレント照明、コヒーレント照明、インコヒーレント照明のいずれにも適用可能である。
(像面強度分布)
像面807では、これらの9つの広がりを有する回折像の干渉による像が形成される。標本(生体試料)の強度分布は、
と表現できる。dはデフォーカス量(μm)であり、焦点位置と標本の厚み中心のZ方向(光軸方向)のずれ量を表す。左辺は標本(生体試料)の強度分布を示す。右辺の1番目の項は、空間周波数0の成分の強度分布を示す項である。0次光の絶対値自乗、+1次光の絶対値自乗、・・・、など9つの項の和であり、これは定数となる。右辺の2番目の項は、空間周波数差の絶対値の等しい2組で、且つ、位相差π/2の2つの回折像の干渉による強度分布を示す項である。0次光と±1次光、±2次光と±3次光、・・・など9つの項の和である。右辺の3番目の項は、空間周波数差の絶対値の等しい2組で、且つ、位相差0の2つの回折像の干渉による強度分布を示す項である。0次光と±3次光、±1次光と±2次光、・・・など7つの項の和である。右辺の4番目の項は、空間周波数の絶対値が等しい2つの回折像の干渉による強度分布を示す項である。+1次光と−1次光、・
・・など4つの項の和である。
像面807では、これらの9つの広がりを有する回折像の干渉による像が形成される。標本(生体試料)の強度分布は、
と表現できる。dはデフォーカス量(μm)であり、焦点位置と標本の厚み中心のZ方向(光軸方向)のずれ量を表す。左辺は標本(生体試料)の強度分布を示す。右辺の1番目の項は、空間周波数0の成分の強度分布を示す項である。0次光の絶対値自乗、+1次光の絶対値自乗、・・・、など9つの項の和であり、これは定数となる。右辺の2番目の項は、空間周波数差の絶対値の等しい2組で、且つ、位相差π/2の2つの回折像の干渉による強度分布を示す項である。0次光と±1次光、±2次光と±3次光、・・・など9つの項の和である。右辺の3番目の項は、空間周波数差の絶対値の等しい2組で、且つ、位相差0の2つの回折像の干渉による強度分布を示す項である。0次光と±3次光、±1次光と±2次光、・・・など7つの項の和である。右辺の4番目の項は、空間周波数の絶対値が等しい2つの回折像の干渉による強度分布を示す項である。+1次光と−1次光、・
・・など4つの項の和である。
ここで、干渉に関わる2つの回折像を、それぞれ、
と表現する。ただし、図10(a)、図10(b)と同様に、回折像の広がりは無視し、回折像の中心点のみを考慮した表式である。Phs1、Phs2は、それぞれ、回折像の位相であり、π/2、もしくは、0である。Amp1、Amp2は、それぞれ、回折像の大きさである。δはディラックのδ関数である。f1、f2は、それぞれ、回折像の空間周波数である。図10(a)、図10(b)の+1次光を例にすると、Phs1=π/2(exp(i・Phs1)=i)、Amp1=ab/4,f1=μ1−μ2である。
と表現する。ただし、図10(a)、図10(b)と同様に、回折像の広がりは無視し、回折像の中心点のみを考慮した表式である。Phs1、Phs2は、それぞれ、回折像の位相であり、π/2、もしくは、0である。Amp1、Amp2は、それぞれ、回折像の大きさである。δはディラックのδ関数である。f1、f2は、それぞれ、回折像の空間周波数である。図10(a)、図10(b)の+1次光を例にすると、Phs1=π/2(exp(i・Phs1)=i)、Amp1=ab/4,f1=μ1−μ2である。
空間周波数差の絶対値の等しい2組で、且つ、位相差π/2の2つの回折像の干渉による強度分布は、上述の干渉に関わる2つの回折像の表式を利用し、
と表現できる。空間周波数差の絶対値の等しい2組で、且つ、位相差π/2の2つの回折像とは、例えば、+3次光と+1次光の組、及び、−3次光と−1次光の組である。ただし、
である。また、J1は第1種1次ベッセル関数である。σはコヒーレンスファクター、NAは結像光学系の開口数である。Sは瞳での広がりを有する回折像のけられを示す関数である。
と表現できる。空間周波数差の絶対値の等しい2組で、且つ、位相差π/2の2つの回折像とは、例えば、+3次光と+1次光の組、及び、−3次光と−1次光の組である。ただし、
である。また、J1は第1種1次ベッセル関数である。σはコヒーレンスファクター、NAは結像光学系の開口数である。Sは瞳での広がりを有する回折像のけられを示す関数である。
同様に、空間周波数差の絶対値の等しい2組で、且つ、位相差0の2つの回折像の干渉による強度分布は、
と表現できる。空間周波数差の絶対値の等しい2組で、且つ、位相差0の2つの回折像とは、例えば、+2次光と+1次光の組、及び、−2次光と−1次光の組である。
と表現できる。空間周波数差の絶対値の等しい2組で、且つ、位相差0の2つの回折像とは、例えば、+2次光と+1次光の組、及び、−2次光と−1次光の組である。
空間周波数差の絶対値の等しい2組で、且つ、位相差π/2の2つの回折像の干渉による強度分布はdに関して奇関数であるため、
と表現し直す。同様に、空間周波数差の絶対値の等しい2組で、且つ、位相差0の2つの回折像の干渉による強度分布、及び、空間周波数の絶対値が等しい2つの回折像の干渉による強度分布はdに関して偶関数であるため、
と表現し直す。
と表現し直す。同様に、空間周波数差の絶対値の等しい2組で、且つ、位相差0の2つの回折像の干渉による強度分布、及び、空間周波数の絶対値が等しい2つの回折像の干渉による強度分布はdに関して偶関数であるため、
と表現し直す。
(染色標本のコントラスト変化)
図11(a)〜図11(f)は、染色標本のコントラスト変化を説明する模式図である。
図11(a)、図11(b)、図11(c)は、図9(a)で説明した核602の複素振幅分布モデルでの光強度である。図11(a)、図11(b)、図11(c)は、それぞれ、デフォーカス量d=+1(μm)、d=0(μm)、d=−1(μm)に対応する。核602の複素振幅分布モデルでは、d=0(μm)で3者のうち最もコントラストの高い光強度が得られるが、d=+1(μm)でもd=0(μm)とほぼ同等のコントラストが得られる。一方、d=−1(μm)ではコントラストが前者2者と比較すると低くなる。デフォーカス量dの絶対値が等しいとして、正のZ方向へのデフォーカスと負のZ方向へのデフォーカスを比較すると、正のデフォーカス量のほうがコントラストは高いという傾向を示す。これは、核602の複素振幅分布モデルでは、クロマチンの凝集と屈折率が相関しており、クロマチンが凝集する透過率の低い領域の屈折率が高いことに起因する。図11(a)では、図7(c)で説明したポジティブ(ダーク)コントラストの影響の
ため、図11(c)と比べてコントラストの高い光強度が得られる。すなわち、振幅変化に起因するコントラストと位相変化に起因するコントラストが互いに強め合って、高いコントラストを得ている。また、デフォーカス量dの絶対値を大きくすると、上述の傾向を保持したままコントラストは低下する。デフォーカス量dを大きくするとコントラストが低下するのは、デフォーカス位置では画像がボケることに対応する。
図11(a)〜図11(f)は、染色標本のコントラスト変化を説明する模式図である。
図11(a)、図11(b)、図11(c)は、図9(a)で説明した核602の複素振幅分布モデルでの光強度である。図11(a)、図11(b)、図11(c)は、それぞれ、デフォーカス量d=+1(μm)、d=0(μm)、d=−1(μm)に対応する。核602の複素振幅分布モデルでは、d=0(μm)で3者のうち最もコントラストの高い光強度が得られるが、d=+1(μm)でもd=0(μm)とほぼ同等のコントラストが得られる。一方、d=−1(μm)ではコントラストが前者2者と比較すると低くなる。デフォーカス量dの絶対値が等しいとして、正のZ方向へのデフォーカスと負のZ方向へのデフォーカスを比較すると、正のデフォーカス量のほうがコントラストは高いという傾向を示す。これは、核602の複素振幅分布モデルでは、クロマチンの凝集と屈折率が相関しており、クロマチンが凝集する透過率の低い領域の屈折率が高いことに起因する。図11(a)では、図7(c)で説明したポジティブ(ダーク)コントラストの影響の
ため、図11(c)と比べてコントラストの高い光強度が得られる。すなわち、振幅変化に起因するコントラストと位相変化に起因するコントラストが互いに強め合って、高いコントラストを得ている。また、デフォーカス量dの絶対値を大きくすると、上述の傾向を保持したままコントラストは低下する。デフォーカス量dを大きくするとコントラストが低下するのは、デフォーカス位置では画像がボケることに対応する。
図11(d)、図11(e)、図11(f)は、図9(b)で説明した細胞質603の複素振幅分布モデルでの光強度である。図11(d)、図11(e)、図11(f)は、それぞれ、デフォーカス量d=+1(μm)、d=0(μm)、d=−1(μm)に対応する。細胞質603の複素振幅分布モデルでは、d=+1(μm)で高いコントラストの光強度が得られ、d=−1(μm)では低いコントラストの光強度となる。d=0(μm)でもコントラストが得られる。デフォーカス量dの絶対値が等しいとして、正のZ方向へのデフォーカスと負のZ方向へのデフォーカスを比較すると、正のデフォーカス量のほうがコントラストは高いという傾向を示す。これは、細胞質603の複素振幅分布モデルでは、細胞小器官の凝集と屈折率が相関しており、細胞小器官が凝集するところの屈折率が高いことに起因する。図11(d)では、図7(c)で説明したポジティブ(ダーク)コントラストの影響のため、図11(f)と比べてコントラストの高い光強度が得られる。核602の複素振幅分布モデルと同様に、振幅変化に起因するコントラストと位相変化に起因するコントラストが互いに強め合って、高いコントラストを得ている。図7(a)と図7(c)では、標本(生体試料)501の厚み中心のZ位置が+側にあるか、−側にあるかで、コントラストが反転することを説明したが、図11(d)と図11(f)ではコントラストは反転していない。これは、空間周波数μ2として低い空間周波数を想定しているためである。コントラスト変化の空間周波数依存性は図12で説明する。また、図7(b)では、透過率変化が小さく、屈折率変化が小さい標本(生体試料)であれば、像は得られないことを説明したが、細胞質603の複素振幅分布モデルでは屈折率変化が比較的大きいため、d=0(μm)でも像が得られている。
(位相コントラスト)
図12は、位相コントラストの空間周波数依存性、Z位置依存性を説明する模式図である。縦軸は位相コントラスト、横軸はデフォーカス量d(μm)である。位相コントラストとは、位相差π/2の2つの回折像の干渉による強度分布を示す表式に含まれるSIN関数であり、
と表現できる。細胞質603の複素振幅分布モデルを考えると、図10(b)に示すように0次光、±2次光が支配的である。そのため、
として図示した。
図12は、位相コントラストの空間周波数依存性、Z位置依存性を説明する模式図である。縦軸は位相コントラスト、横軸はデフォーカス量d(μm)である。位相コントラストとは、位相差π/2の2つの回折像の干渉による強度分布を示す表式に含まれるSIN関数であり、
と表現できる。細胞質603の複素振幅分布モデルを考えると、図10(b)に示すように0次光、±2次光が支配的である。そのため、
として図示した。
図12より、デフォーカス量d=0(μm)を境に位相コントラストの符号が正から負に変わることが分かる。これは、デフォーカス量d=0(μm)を境にコントラストが反転することを示す。デフォーカス量d>0では図7(c)のポジティブ(ダーク)コントラストとなり、デフォーカス量d<0では図7(a)のネガティブ(ブライト)コントラストとなることに対応する。また、空間周波数(f1 2−f2 2)が大きいとき、及び、デフォーカス量dが大きいときにコントラスト反転の影響が大きくなることが分かる。図
11(d)と図11(f)ではコントラストは反転していないが、これは位相コントラストの影響が少ないためである。空間周波数μ2が高くなる、もしくは、デフォーカス量dが大きくなると、コントラスト反転が発生する。
11(d)と図11(f)ではコントラストは反転していないが、これは位相コントラストの影響が少ないためである。空間周波数μ2が高くなる、もしくは、デフォーカス量dが大きくなると、コントラスト反転が発生する。
(深度合成での過剰コントラスト強調)
図13(a)、図13(b)は、深度合成における過剰コントラスト強調を説明する模式図である。図13(a)は、図9(b)で説明した細胞質603の複素振幅分布モデルでの光強度である。図13(a)の上段、中段、下段のグラフは、それぞれ、図11(d)、図11(e)、図11(f)と同じである。ここで、異なる焦点位置で(つまり、標本内の異なる深さに焦点位置を合わせて)取得した複数のレイヤー画像データをもとに、深度合成処理を行うことを考える。深度合成処理は、全領域で合焦した1枚の画像データ(全焦点画像データとも呼ばれる)を得たいときに有効な処理である。例えば、標本内に複数の核がZ方向に離散的に分布しているときに、深度合成処理によって、全ての核に合焦した画像データを生成することができる。
図13(a)、図13(b)は、深度合成における過剰コントラスト強調を説明する模式図である。図13(a)は、図9(b)で説明した細胞質603の複素振幅分布モデルでの光強度である。図13(a)の上段、中段、下段のグラフは、それぞれ、図11(d)、図11(e)、図11(f)と同じである。ここで、異なる焦点位置で(つまり、標本内の異なる深さに焦点位置を合わせて)取得した複数のレイヤー画像データをもとに、深度合成処理を行うことを考える。深度合成処理は、全領域で合焦した1枚の画像データ(全焦点画像データとも呼ばれる)を得たいときに有効な処理である。例えば、標本内に複数の核がZ方向に離散的に分布しているときに、深度合成処理によって、全ての核に合焦した画像データを生成することができる。
各レイヤー画像データには、通常、核602と細胞質603が含まれている。ここでは、細胞質603の領域の深度合成処理について説明する。深度合成処理では、例えば、レイヤー画像データのXY面を複数の小領域に分割し、各小領域について最もコントラストの高いZ位置のレイヤー画像データを選択する。そして、各小領域で選ばれた画像データを貼り合わせる(繋ぎ合わせる)ことで、全領域で合焦した1枚の画像データを生成する。
図13(a)は、デフォーカス量d=+1(μm)、d=0(μm)、d=−1(μm)の3つのZ位置のレイヤー画像データを用いた深度合成処理の例を示す。小領域として、領域1、領域2、領域3、領域4、領域5の5つの領域を考える。領域1、領域3、領域5では、コントラストの高いZ位置としてd=−1(μm)が選択される。領域2、領域4では、コントラストの高いZ位置としてd=+1(μm)が選択される。このようにして領域1〜5で選択したZ位置のデータを貼り合わせると図13(b)に示す光強度を示す画像データが生成される。
図13(b)は、コントラストの高い領域の貼り合わせにより、過剰にコントラストが強調された光強度が生成されたことを示す例である。2次元画像データとしては、核の領域は自然な深度合成画像データが生成される一方で、細胞質の領域は不自然にコントラストが強調された深度合成画像データが生成されることになる。1枚の深度合成画像データにおいてコントラスト強調が領域によって異なる不自然な画像データが生成される可能性がある。
深度合成処理としては、上記のレイヤー画像データのコントラストの高い領域を貼り合わせる手法の他に、フーリエ変換したレイヤー画像データに2次元、もしくは、3次元のフィルタ処理を施すことで焦点深度の深い画像データを生成する手法がある。本発明は、深度合成処理の手法に依らず、適用することができる。
(第1実施形態における深度合成画像データ生成処理)
以下、第1実施形態に係る画像処理装置102により実行される2次元深度合成画像データ生成処理とその効果について、図14から図20(c)を用いて説明する。
以下、第1実施形態に係る画像処理装置102により実行される2次元深度合成画像データ生成処理とその効果について、図14から図20(c)を用いて説明する。
図14は、第1実施形態における2次元深度合成画像データ生成処理の全体フローを示すフローチャートである。このフローチャートに示す各ステップの処理は、画像処理装置102のCPU401が画像処理プログラムを実行することにより実現されるものである。
ステップS1400では、記憶装置408又はデータサーバ104から標本のZスタック画像データを取得する。Zスタック画像データは、標本内の異なる深さ(Z位置)に焦点位置を合わせてそれぞれ撮影された複数枚のレイヤー画像データを含むデータである。このZスタック画像データには、標本内のある深さ(基準深さ)を中心として正(+)方向と負(−)方向にそれぞれ同じ距離だけ焦点位置がずれた2枚のレイヤー画像データの組が1組以上含まれている。以降の説明では、観察すべき物体(核、細胞質)が標本の厚み中心のZ位置に存在すると仮定し、焦点位置が標本の厚み中心に一致した状態を合焦位置とする。そして、この合焦位置を基準深さ(デフォーカス量d=0)とし、正方向と負方向にそれぞれ所定のピッチで焦点位置をずらして(デフォーカスして)複数枚のレイヤー画像データが得られているものとする。なお、合焦位置(あるいは標本の厚み中心のZ位置)については、プレ計測ユニット320によって計測された標本の厚み情報や、プレ計測ユニット320又は撮像ユニット310によるオートフォーカス処理によって決定することができる。
ステップS1400では、記憶装置408又はデータサーバ104から標本のZスタック画像データを取得する。Zスタック画像データは、標本内の異なる深さ(Z位置)に焦点位置を合わせてそれぞれ撮影された複数枚のレイヤー画像データを含むデータである。このZスタック画像データには、標本内のある深さ(基準深さ)を中心として正(+)方向と負(−)方向にそれぞれ同じ距離だけ焦点位置がずれた2枚のレイヤー画像データの組が1組以上含まれている。以降の説明では、観察すべき物体(核、細胞質)が標本の厚み中心のZ位置に存在すると仮定し、焦点位置が標本の厚み中心に一致した状態を合焦位置とする。そして、この合焦位置を基準深さ(デフォーカス量d=0)とし、正方向と負方向にそれぞれ所定のピッチで焦点位置をずらして(デフォーカスして)複数枚のレイヤー画像データが得られているものとする。なお、合焦位置(あるいは標本の厚み中心のZ位置)については、プレ計測ユニット320によって計測された標本の厚み情報や、プレ計測ユニット320又は撮像ユニット310によるオートフォーカス処理によって決定することができる。
ステップS1401では、S1400で取得した元のZスタック画像データに対し、位相コントラスト補正処理を行う。位相コントラスト補正処理としては、位相コントラスト低減処理、第1の位相コントラスト反転処理、第2の位相コントラスト反転処理、の3つの処理方法がある。位相コントラスト低減処理の処理フローは図15で、第1、及び、第2の位相コントラスト反転処理の処理フローは図17で説明する。なお、ステップS1401の処理は、元のZスタック画像データから、位相コントラストの影響が低減ないし除去されたZスタック画像データを生成する、Zスタック画像データの補正処理ないし変換処理ということもできる。
ステップS1402では、補正後(変換後)のZスタック画像データを用いて深度合成処理を行う。深度合成処理は、図13(a)で説明した処理と同様である。
以上の処理ステップに従えば、ステップS1401により位相コントラストの影響が抑えられるため、過剰コントラスト強調を低減する深度合成画像データ生成処理を実行することができる。ステップS1401の処理の詳細を以下に説明する。
以上の処理ステップに従えば、ステップS1401により位相コントラストの影響が抑えられるため、過剰コントラスト強調を低減する深度合成画像データ生成処理を実行することができる。ステップS1401の処理の詳細を以下に説明する。
(位相コントラスト低減処理)
図15は、第1実施形態における位相コントラスト低減処理の処理フローを示すフローチャートである。
図15は、第1実施形態における位相コントラスト低減処理の処理フローを示すフローチャートである。
ステップS1501では、合焦位置(d=0)に対して対称なZ位置(デフォーカス量d=±d)の2枚のレイヤー画像データの組を選択する。
ステップS1502では、ステップS1501で選択した2枚のレイヤー画像データに対して色空間変換を行う。本実施形態では、RGB色空間を有するレイヤー画像データをHSV色空間に変換する。HSV色空間は、色相(H)、彩度(S)、明度(V)から成る色空間である。HSV色空間の画像データの各画素の色相成分(H成分)、彩度成分(S成分)、明度成分(V成分)をそれぞれ、色相信号(H信号)、彩度信号(S信号)、明度信号(V信号)と呼ぶ。
ステップS1503では、S1502で取得したHSV色空間を有する画像データから明度信号(V信号)を抽出する。
ステップS1502では、ステップS1501で選択した2枚のレイヤー画像データに対して色空間変換を行う。本実施形態では、RGB色空間を有するレイヤー画像データをHSV色空間に変換する。HSV色空間は、色相(H)、彩度(S)、明度(V)から成る色空間である。HSV色空間の画像データの各画素の色相成分(H成分)、彩度成分(S成分)、明度成分(V成分)をそれぞれ、色相信号(H信号)、彩度信号(S信号)、明度信号(V信号)と呼ぶ。
ステップS1503では、S1502で取得したHSV色空間を有する画像データから明度信号(V信号)を抽出する。
ステップS1504では、明度信号(V信号)に対して位相コントラスト低減処理を行う。デフォーカス量d=+d、d=−dにおけるレイヤー画像データの明度信号(V信号)を、それぞれ、|u´(x´,d+)|2、|u´(x´,d−)|2、とすると、位相コントラスト低減処理は、
と表現できる。すなわち、本実施形態の位相コントラスト低減処理は、デフォーカス量d=+d、d=−dにおける2枚のレイヤー画像データの明度信号(V信号)を、それらのレイヤー画像データの明度信号の平均値で置き換える処理である。これにより2枚のレイヤー画像データのあいだの位相コントラスト成分の差が元よりも小さくなる。
と表現できる。すなわち、本実施形態の位相コントラスト低減処理は、デフォーカス量d=+d、d=−dにおける2枚のレイヤー画像データの明度信号(V信号)を、それらのレイヤー画像データの明度信号の平均値で置き換える処理である。これにより2枚のレイヤー画像データのあいだの位相コントラスト成分の差が元よりも小さくなる。
ステップS1505では、S1502で取得した色相信号(H信号)、彩度信号(S信号)と、S1504で取得した補正後の明度信号(V信号)とから、デフォーカス量d=±dそれぞれのレイヤー画像データ(明度補正レイヤー画像データ)を生成する。そして、HSV色空間の明度補正レイヤー画像データをRGB色空間の明度補正レイヤー画像データに変換する。
元のZスタック画像データのなかに、基準深さ(合焦位置d=0)に対するデフォーカス量dの絶対値が等しい2枚のレイヤー画像データの組が複数組存在する場合には、ステップS1501からS1505の処理を全組に対して実行する。
以上の処理ステップに従えば、位相コントラストを低減した複数のレイヤー画像データを生成することができる。
以上の処理ステップに従えば、位相コントラストを低減した複数のレイヤー画像データを生成することができる。
(位相コントラスト低減処理の第1の効果)
図16(a)、図16(b)は、図15に示す位相コントラスト低減処理の効果を説明する模式図である。図16(a)は、核602の複素振幅分布モデルでの光強度に対して位相コントラスト低減処理を実行した結果である。d=±1(μm)のデフォーカス量では同じ光強度となることが分かる。図11(a)、図11(c)と比較すると、図16(a)上段では図11(a)、図11(c)を平均化したコントラストが得られていることが分かる。図16(b)は、細胞質603の複素振幅分布モデルでの光強度に対して位相コントラスト低減処理を実行した結果である。図16(a)と同様に、d=±1(μm)のデフォーカス量では同じ光強度となることが分かる。図11(d)、図11(f)と比較すると、図16(b)上段では図11(d)、図11(f)を平均化したコントラストが得られていることが分かる。位相コントラスト低減処理後には、デフォーカス量d=±d(μm)での光強度は同じとなるため、図13(a)で説明した過剰コントラスト強調を抑制することができる。
図16(a)、図16(b)は、図15に示す位相コントラスト低減処理の効果を説明する模式図である。図16(a)は、核602の複素振幅分布モデルでの光強度に対して位相コントラスト低減処理を実行した結果である。d=±1(μm)のデフォーカス量では同じ光強度となることが分かる。図11(a)、図11(c)と比較すると、図16(a)上段では図11(a)、図11(c)を平均化したコントラストが得られていることが分かる。図16(b)は、細胞質603の複素振幅分布モデルでの光強度に対して位相コントラスト低減処理を実行した結果である。図16(a)と同様に、d=±1(μm)のデフォーカス量では同じ光強度となることが分かる。図11(d)、図11(f)と比較すると、図16(b)上段では図11(d)、図11(f)を平均化したコントラストが得られていることが分かる。位相コントラスト低減処理後には、デフォーカス量d=±d(μm)での光強度は同じとなるため、図13(a)で説明した過剰コントラスト強調を抑制することができる。
ここで、位相コントラスト低減処理での物理的背景について説明する。標本(生体試料)の強度分布を再掲すると、
である。まず、デフォーカス量d=+d、d=−dにおけるレイヤー画像データの明度信号(V信号)の差分画像データ
について考える。差分画像データでは、標本の強度分布の式の右辺の第1項と第3項は消去され、下記式のように第2項の奇関数が2倍された画像データが得られる。
Fodd|d(x´,d+)、Fodd|d(x´,d−)は位相コントラスト成分を含む項であり、差分画像により位相コントラスト成分を含む項が抽出できることを意味する。
である。まず、デフォーカス量d=+d、d=−dにおけるレイヤー画像データの明度信号(V信号)の差分画像データ
について考える。差分画像データでは、標本の強度分布の式の右辺の第1項と第3項は消去され、下記式のように第2項の奇関数が2倍された画像データが得られる。
Fodd|d(x´,d+)、Fodd|d(x´,d−)は位相コントラスト成分を含む項であり、差分画像により位相コントラスト成分を含む項が抽出できることを意味する。
位相コントラスト低減処理では、レイヤー画像データの明度信号からこれらの位相コントラスト成分を含む項を除去する。d>0のレイヤー画像データに対する位相コントラスト低減処理は、
となる。同様に、d<0のレイヤー画像データに対する位相コントラスト低減処理は、
となる。本実施形態の位相コントラスト低減処理とは、標本(生体試料)の強度分布の奇関数の項を消去する処理に相当する。図10(a)、図10(b)を参照すると、本実施形態の位相コントラスト低減処理は、位相差π/2の2つの回折像の干渉による強度分布を消去する処理に相当するともいえる。
となる。同様に、d<0のレイヤー画像データに対する位相コントラスト低減処理は、
となる。本実施形態の位相コントラスト低減処理とは、標本(生体試料)の強度分布の奇関数の項を消去する処理に相当する。図10(a)、図10(b)を参照すると、本実施形態の位相コントラスト低減処理は、位相差π/2の2つの回折像の干渉による強度分布を消去する処理に相当するともいえる。
核602の複素振幅分布モデルを考えると、図10(a)に示すように0次光、±2次光、±3次光が支配的であるため、これらの5つの回折像について考える。0次光と±2次光、±2次光と±3次光は位相差π/2であるため、核602の領域では位相差により生じる光強度成分がある程度低減されることになる。ある程度低減されるというのは、+2次光と−2次光の回折像の干渉による強度分布は消去されずに残るためである。
細胞質603の複素振幅分布モデルを考えると、図10(b)に示すように0次光、±2次光が支配的であるため、これらの3つの回折像について考える。0次光と±2次光は位相差π/2であるため、細胞質603の領域では位相差により生じる光強度成分がある程度低減されることになる。ある程度低減されるというのは、+2次光と−2次光の回折像の干渉による強度分布は消去されずに残るためである。
以上説明したように、位相コントラスト低減処理の第1の効果として、位相コントラスト成分(位相差により生じる光強度成分)を低減することができ、デフォーカス方向(Z軸正方向、Z軸負方向)に依存するコントラストの非対称性を改善できる。それにより、深度合成処理での過剰コントラスト強調を回避することができる。
(位相コントラスト低減処理の第2の効果)
更に、位相コントラスト低減処理の第2の効果として、明度信号と色信号(色相信号、彩度信号)を別々に処理することで、色に関する物体の3次元的な構造を保存することができる。例えば、デフォーカス量d=+d、d=−dにおける像にそれぞれ異なるクロマチンが含まれる場合に、位相コントラスト低減処理後でもそれぞれのクロマチンの色信号は保存される。そのため、深度合成処理により、それぞれのクロマチンに合焦した画像データを生成することができる。
更に、位相コントラスト低減処理の第2の効果として、明度信号と色信号(色相信号、彩度信号)を別々に処理することで、色に関する物体の3次元的な構造を保存することができる。例えば、デフォーカス量d=+d、d=−dにおける像にそれぞれ異なるクロマチンが含まれる場合に、位相コントラスト低減処理後でもそれぞれのクロマチンの色信号は保存される。そのため、深度合成処理により、それぞれのクロマチンに合焦した画像データを生成することができる。
(位相コントラスト反転処理)
図17は、第1実施形態における位相コントラスト反転処理の処理フローを示すフローチャートである。図14で説明したのと同様、標本内の基準深さ(厚み中心又は合焦位置)を中心として、正方向と負方向にそれぞれ所定のピッチで焦点位置をずらして撮影された複数枚のレイヤー画像データが得られているものとする。
図17は、第1実施形態における位相コントラスト反転処理の処理フローを示すフローチャートである。図14で説明したのと同様、標本内の基準深さ(厚み中心又は合焦位置)を中心として、正方向と負方向にそれぞれ所定のピッチで焦点位置をずらして撮影された複数枚のレイヤー画像データが得られているものとする。
ステップS1701からS1703の処理は、図15のステップS1501からS1503の処理と同じであるため、説明を省略する。
ステップS1704では、明度信号(V信号)に対して位相コントラスト反転処理を行う。以下、第1の位相コントラスト反転処理と第2の位相コントラスト反転処理の2種類の処理を説明するが、ステップS1704ではいずれの処理を行ってもよい。
デフォーカス量d=+d、d=−dにおけるレイヤー画像データの明度信号(V信号)を、それぞれ、|u´(x´,d+)|2、|u´(x´,d−)|2、とする。第1の位相コントラスト反転処理は、デフォーカス量d=±dにおけるレイヤー画像データそれぞれの明度信号(V信号)を
とする処理である。また、第2の位相コントラスト反転処理は、デフォーカス量d=±dにおけるレイヤー画像データそれぞれの明度信号(V信号)を
とする処理である。すなわち、本実施形態の位相コントラスト反転処理は、デフォーカス量d=±dの2枚のレイヤー画像データのうちの一方の画像データの明度信号を、他方の画像データの明度信号で置き換える処理である。これにより2枚のレイヤー画像データのあいだの位相コントラスト成分の差が元よりも小さくなる。
ステップS1704では、明度信号(V信号)に対して位相コントラスト反転処理を行う。以下、第1の位相コントラスト反転処理と第2の位相コントラスト反転処理の2種類の処理を説明するが、ステップS1704ではいずれの処理を行ってもよい。
デフォーカス量d=+d、d=−dにおけるレイヤー画像データの明度信号(V信号)を、それぞれ、|u´(x´,d+)|2、|u´(x´,d−)|2、とする。第1の位相コントラスト反転処理は、デフォーカス量d=±dにおけるレイヤー画像データそれぞれの明度信号(V信号)を
とする処理である。また、第2の位相コントラスト反転処理は、デフォーカス量d=±dにおけるレイヤー画像データそれぞれの明度信号(V信号)を
とする処理である。すなわち、本実施形態の位相コントラスト反転処理は、デフォーカス量d=±dの2枚のレイヤー画像データのうちの一方の画像データの明度信号を、他方の画像データの明度信号で置き換える処理である。これにより2枚のレイヤー画像データのあいだの位相コントラスト成分の差が元よりも小さくなる。
ステップS1705では、S1702で取得した色相信号(H信号)、彩度信号(S信号)と、S1704で取得した補正後の明度信号(V信号)とから、デフォーカス量d=±dそれぞれのレイヤー画像データ(明度補正レイヤー画像データ)を生成する。そして、HSV色空間の明度補正レイヤー画像データをRGB色空間の明度補正レイヤー画像データに変換する。
なお、第1の位相コントラスト反転処理の場合は、デフォーカス量d=+dのレイヤー画像データは元のままなので、ステップS1704とS1705の処理はデフォーカス量d=−dのレイヤー画像データに対してのみ行えばよい。逆に、第2の位相コントラスト反転処理の場合は、ステップS1704とS1705の処理はデフォーカス量d=+dのレイヤー画像データに対してのみ行えばよい。
なお、第1の位相コントラスト反転処理の場合は、デフォーカス量d=+dのレイヤー画像データは元のままなので、ステップS1704とS1705の処理はデフォーカス量d=−dのレイヤー画像データに対してのみ行えばよい。逆に、第2の位相コントラスト反転処理の場合は、ステップS1704とS1705の処理はデフォーカス量d=+dのレイヤー画像データに対してのみ行えばよい。
元のZスタック画像データのなかに、基準深さ(合焦位置d=0)に対するデフォーカス量dの絶対値が等しい2枚のレイヤー画像データの組が複数組存在する場合には、ステ
ップS1701からS1705の処理を全組に対して実行する。
以上の処理ステップに従えば、2枚のレイヤー画像データのうち一方の位相コントラストを反転した複数のレイヤー画像データを生成することができる。
ップS1701からS1705の処理を全組に対して実行する。
以上の処理ステップに従えば、2枚のレイヤー画像データのうち一方の位相コントラストを反転した複数のレイヤー画像データを生成することができる。
(位相コントラスト反転処理の第1の効果)
図18(a)〜図18(c)は、図17に示す位相コントラスト反転処理の効果を説明する模式図である。図18(a)は、細胞質603の複素振幅分布モデルでの光強度である。ある程度高い空間周波数領域において位相コントラスト反転処理の効果が顕著に確認できるため、振幅変化の空間周波数μ1=0.50(/μm)、位相変化の空間周波数μ2=0.50(/μm)として説明する。図18(a)の上段、中段、下段は、それぞれ、デフォーカス量d=+1(μm)、d=0(μm)、d=−1(μm)に対応する。
図18(a)〜図18(c)は、図17に示す位相コントラスト反転処理の効果を説明する模式図である。図18(a)は、細胞質603の複素振幅分布モデルでの光強度である。ある程度高い空間周波数領域において位相コントラスト反転処理の効果が顕著に確認できるため、振幅変化の空間周波数μ1=0.50(/μm)、位相変化の空間周波数μ2=0.50(/μm)として説明する。図18(a)の上段、中段、下段は、それぞれ、デフォーカス量d=+1(μm)、d=0(μm)、d=−1(μm)に対応する。
細胞質603の複素振幅分布モデルでは、d=+1(μm)とd=−1(μm)とでコントラストの反転した光強度が得られる。d=0(μm)ではコントラストがほとんど得られない。これは、図7(a)、図7(c)で説明したポジティブ(ダーク)コントラストとネガティブ(ブライト)コントラストの関係と同様である。また、デフォーカス量dの絶対値が等しいとして、正のZ方向へのデフォーカスと負のZ方向へのデフォーカスを比較すると、正のデフォーカス量のほうがコントラストは高いという傾向は、図11(d)、図11(f)と同様である。
図18(b)は細胞質603の複素振幅分布モデルでの光強度に対して第1の位相コントラスト反転処理を実行した結果である。図18(b)の上段は、デフォーカス量d=+1(μm)とd=−1(μm)に対応し、中段はd=0(μm)に対応する。d=±1(μm)のデフォーカス量での光強度は、図18(a)のd=+1(μm)のデフォーカス量での光強度と同じになり、2枚のレイヤー画像データのコントラストが揃っていることが分かる。
図18(c)は細胞質603の複素振幅分布モデルでの光強度に対して第2の位相コントラスト反転処理を実行した結果である。図18(c)の上段は、デフォーカス量d=+1(μm)とd=−1(μm)に対応し、中段はd=0(μm)に対応する。d=±1(μm)のデフォーカス量での光強度は、図18(a)のd=−1(μm)のデフォーカス量での光強度と同じになり、2枚のレイヤー画像データのコントラストが揃っていることが分かる。
ここで、位相コントラスト反転処理での物理的背景について説明する。デフォーカス量d=+d、d=−dにおけるレイヤー画像データの明度信号(V信号)の差分画像データは、
である。Fodd|d(x´,d+)、Fodd|d(x´,d−)は位相コントラスト成分を含む項であり、差分画像データにより位相コントラスト成分を含む項が抽出できることを意味する。位相コントラスト反転処理では、レイヤー画像データの明度信号の位相コントラスト成分を含む項の符号を一致させる。d<0のレイヤー画像データに対する第1の位相コントラスト反転処理は、
となる。第1の位相コントラスト反転処理とは、標本(生体試料)の強度分布の奇関数のdに関する対称性を消去する処理である。すなわち、Z軸負方向のレイヤー画像データの明度信号の位相コントラストを、Z軸正方向のレイヤー画像データの明度信号の位相コントラストに合わせる処理である。
である。Fodd|d(x´,d+)、Fodd|d(x´,d−)は位相コントラスト成分を含む項であり、差分画像データにより位相コントラスト成分を含む項が抽出できることを意味する。位相コントラスト反転処理では、レイヤー画像データの明度信号の位相コントラスト成分を含む項の符号を一致させる。d<0のレイヤー画像データに対する第1の位相コントラスト反転処理は、
となる。第1の位相コントラスト反転処理とは、標本(生体試料)の強度分布の奇関数のdに関する対称性を消去する処理である。すなわち、Z軸負方向のレイヤー画像データの明度信号の位相コントラストを、Z軸正方向のレイヤー画像データの明度信号の位相コントラストに合わせる処理である。
同様に、d>0のレイヤー画像データに対する第2の位相コントラスト反転処理は、
となる。第2の位相コントラスト反転処理とは、標本(生体試料)の強度分布の奇関数のdに関する対称性を消去する処理である。すなわち、Z軸正方向のレイヤー画像データの明度信号の位相コントラストを、Z軸負方向のレイヤー画像データの明度信号の位相コントラストに合わせる処理である。
となる。第2の位相コントラスト反転処理とは、標本(生体試料)の強度分布の奇関数のdに関する対称性を消去する処理である。すなわち、Z軸正方向のレイヤー画像データの明度信号の位相コントラストを、Z軸負方向のレイヤー画像データの明度信号の位相コントラストに合わせる処理である。
以上説明したように、位相コントラスト反転処理の第1の効果として、位相コントラスト成分(位相差により生じる光強度成分)に起因するコントラスト反転を解消することができる。その結果、デフォーカス方向(Z軸正方向、Z軸負方向)に依存するコントラストの非対称性を改善できる。
(位相コントラスト反転処理の第2の効果)
図19(a)、図19(b)は、第1実施形態における位相コントラスト反転処理の効果(位相コントラストの高空間周波数成分の保存)を説明する模式図である。図18(a)と同様に、振幅変化の空間周波数μ1=0.50(/μm)、位相変化の空間周波数μ2=0.50(/μm)として説明する。図19(a)は細胞質603の複素振幅分布モデルでの光強度に対して第1の位相コントラスト反転処理を実行した結果であり、図18(b)と同様である。図19(b)は細胞質603の複素振幅分布モデルでの光強度に対して位相コントラスト低減処理を実行した結果である。図18(a)の上段と下段に示すようにd=+1(μm)とd=−1(μm)の位相がずれている場合、位相コントラスト低減処理によって両者の平均を計算すると、光強度が互いに打ち消しあい、図19(b)上段のようにコントラストが失われてしまう。図19(a)上段と図19(b)上段を比較すると、位相コントラスト反転処理では位相コントラスト低減処理に比べて位相コントラスト成分が保存されていることが分かる。以上説明したように、位相コントラスト反転処理の第2の効果として、位相コントラスト成分が保存されるため、深度合成処理において位相コントラスト成分を含む画像データを生成することができる。
図19(a)、図19(b)は、第1実施形態における位相コントラスト反転処理の効果(位相コントラストの高空間周波数成分の保存)を説明する模式図である。図18(a)と同様に、振幅変化の空間周波数μ1=0.50(/μm)、位相変化の空間周波数μ2=0.50(/μm)として説明する。図19(a)は細胞質603の複素振幅分布モデルでの光強度に対して第1の位相コントラスト反転処理を実行した結果であり、図18(b)と同様である。図19(b)は細胞質603の複素振幅分布モデルでの光強度に対して位相コントラスト低減処理を実行した結果である。図18(a)の上段と下段に示すようにd=+1(μm)とd=−1(μm)の位相がずれている場合、位相コントラスト低減処理によって両者の平均を計算すると、光強度が互いに打ち消しあい、図19(b)上段のようにコントラストが失われてしまう。図19(a)上段と図19(b)上段を比較すると、位相コントラスト反転処理では位相コントラスト低減処理に比べて位相コントラスト成分が保存されていることが分かる。以上説明したように、位相コントラスト反転処理の第2の効果として、位相コントラスト成分が保存されるため、深度合成処理において位相コントラスト成分を含む画像データを生成することができる。
(位相コントラスト反転処理の第3の効果)
図20(a)〜図20(c)は、第1実施形態における位相コントラスト反転処理の効果(染色法との親和性)を説明する模式図である。図18(a)、図19(a)と同様に、振幅変化の空間周波数μ1=0.50(/μm)、位相変化の空間周波数μ2=0.50(/μm)として説明する。図20(a)は細胞質603の複素振幅分布モデルでの光強度に対して第1の位相コントラスト反転処理を実行した結果であり、図18(b)と同様である。図20(b)は細胞質603の振幅変化量を模した振幅物体(振幅のみが変化する物体)の光強度である。図20(c)は細胞質603の位相変化量を模した位相物体
(位相のみが変化する物体)の光強度である。
図20(a)〜図20(c)は、第1実施形態における位相コントラスト反転処理の効果(染色法との親和性)を説明する模式図である。図18(a)、図19(a)と同様に、振幅変化の空間周波数μ1=0.50(/μm)、位相変化の空間周波数μ2=0.50(/μm)として説明する。図20(a)は細胞質603の複素振幅分布モデルでの光強度に対して第1の位相コントラスト反転処理を実行した結果であり、図18(b)と同様である。図20(b)は細胞質603の振幅変化量を模した振幅物体(振幅のみが変化する物体)の光強度である。図20(c)は細胞質603の位相変化量を模した位相物体
(位相のみが変化する物体)の光強度である。
図20(b)上段のデフォーカス量d=±1(μm)の光強度と、図20(c)上段のデフォーカス量d=+1(μm)の光強度と比較すると、位相が揃っていることが分かる。一方、図20(b)上段のデフォーカス量d=±1(μm)の光強度と、図20(c)下段のデフォーカス量d=−1(μm)の光強度と比較すると、位相が反転していることが分かる。これは、細胞質603の複素振幅分布モデルではHE染色を想定しており、細胞小器官が凝集するところの屈折率が高いことに起因する。図20(c)上段のデフォーカス量d=+1(μm)の光強度では、図7(c)で説明したポジティブ(ダーク)コントラストとなる。図20(c)下段のデフォーカス量d=−1(μm)の光強度では、図7(a)で説明したネガティブ(ブライト)コントラストとなる。Z軸正方向のデフォーカスでは、振幅変化に起因する位相と位相変化に起因する位相が一致するため、振幅変化に起因する光強度と位相変化に起因する光強度の傾向が一致し、直観的に自然な画像データとなる(明るい領域が明るく観察される)。一方、Z軸負方向のデフォーカスでは、振幅変化に起因する位相と位相変化に起因する位相が反転するため、振幅変化に起因する光強度と位相変化に起因する光強度の傾向が一致せず、直観的に不自然な画像データとなる(明るい領域が暗く観察される)。
以上の考察より、HE染色のように屈折率の高い領域が染まる染色法では、第1の位相コントラスト反転処理が適すると考えられる。また、屈折率の低い領域が染まる染色法では、第2の位相コントラスト反転処理が適すると考えられる。したがって、画像処理装置において位相コントラスト反転処理を行う際に、標本に施された染色法を特定し、染色法に応じて第1の位相コントラスト反転処理と第2の位相コントラスト反転処理のいずれを実行するかを自動選択するとよい。染色法を特定する方法は、例えば、画像データの色分布を解析することで染色法を推定する方法、ユーザにより指定させる方法、画像データのヘッダやメタデータに染色情報を記録する方法、スライドのラベルエリアに記録する方法など、どのような方法でもよい。以上説明したように、位相コントラスト反転処理の第3の効果として、染色法の性質に適した位相コントラスト反転処理を施すことで、明るい領域が明るく観察される直観的に自然な画像データを生成することができる。
(位相コントラスト反転処理の第4の効果)
更に、位相コントラスト反転処理の第4の効果として、明度信号と色信号(色相信号、彩度信号)を別々に処理することで、色に関する物体の3次元的な構造を保存することができる。例えば、デフォーカス量d=+d、d=−dにおける像にそれぞれ異なるクロマチンが含まれる場合に、位相コントラスト低減処理後でもそれぞれのクロマチンの色信号は保存される。そのため、深度合成処理により、それぞれのクロマチンに合焦した画像データを生成することができる。
更に、位相コントラスト反転処理の第4の効果として、明度信号と色信号(色相信号、彩度信号)を別々に処理することで、色に関する物体の3次元的な構造を保存することができる。例えば、デフォーカス量d=+d、d=−dにおける像にそれぞれ異なるクロマチンが含まれる場合に、位相コントラスト低減処理後でもそれぞれのクロマチンの色信号は保存される。そのため、深度合成処理により、それぞれのクロマチンに合焦した画像データを生成することができる。
以上の説明では、1次元空間で説明したが、2次元空間(画像データ)にもそのまま適用できる。また、標本(生体試料)の振幅変化、位相変化が単一空間周波数として説明したが、標本(生体試料)が有する振幅変化、位相変化の空間周波数は、複数の単一空間周波数の和(積分)で表現できるため、以上の議論は一般性を失わない。また、単一波長で説明したが、可視光の波長は複数の単一波長の重み付け和(積分)で表現できるため、以上の議論は一般性を失わない。また、標本(生体試料)の位相変化を表す式として、
と表現したが、位相変化が大きい場合には位相変化の展開式の(虚数の)項を増やして、
と表現できる。これにより、図10(a)、図10(b)に示す回折像が増えるが、位相コントラスト低減処理、位相コントラスト反転処理などに関わる議論は、そのまま適用できる。すなわち、標本(生体試料)の位相変化が大きい場合でも、本発明を適用することができる。
と表現したが、位相変化が大きい場合には位相変化の展開式の(虚数の)項を増やして、
と表現できる。これにより、図10(a)、図10(b)に示す回折像が増えるが、位相コントラスト低減処理、位相コントラスト反転処理などに関わる議論は、そのまま適用できる。すなわち、標本(生体試料)の位相変化が大きい場合でも、本発明を適用することができる。
また、物理的背景の説明では、核602や細胞質603は標本(生体試料)501の厚み中心のZ位置に存在すると仮定した。標本(生体試料)501の厚さを考慮し、核602や細胞質603はZ軸方向に一様な構造で分布すると考える場合でも、コントラストの低下などの影響はあるものの、位相コントラスト低減処理、位相コントラスト反転処理などに関わる議論を適用できる。本発明では深度合成処理を考えているので、核602内のクロマチンが3次元的な構造を有する(デフォーカス量d=+d、d=−dにおける像にそれぞれ異なるクロマチンが含まれる)場合により効果的な手法である。その場合には、図11(a)〜図11(c)や図16(a)で示した核の光強度が、d=0ではなくd=±dでコントラストが最大になると考えれば良い。
(第1実施形態の変形例)
第1実施形態ではレイヤー画像データの明度信号に対して位相コントラスト低減/反転処理を行う手法を説明したが、各カラープレーン(RGB画像データであれば、Rプレーン、Gプレーン、Bプレーン)に対して上記処理を行う形態も考えられる。各カラープレーンに対して位相コントラスト低減処理を行う操作は、d=±dの2枚のレイヤー画像データをそれらの平均画像データで置き換える操作に相当する。また、各カラープレーンに対して第1の位相コントラスト反転処理を行う操作は、d=−dのレイヤー画像データをd=+dのレイヤー画像データで置き換える操作に相当する。また、各カラープレーンに対して第2の位相コントラスト反転処理を行う操作は、d=+dのレイヤー画像データをd=−dのレイヤー画像データで置き換える操作に相当する。いずれの処理でも、補正後の2枚のレイヤー画像データは同じ画像データになる。
第1実施形態ではレイヤー画像データの明度信号に対して位相コントラスト低減/反転処理を行う手法を説明したが、各カラープレーン(RGB画像データであれば、Rプレーン、Gプレーン、Bプレーン)に対して上記処理を行う形態も考えられる。各カラープレーンに対して位相コントラスト低減処理を行う操作は、d=±dの2枚のレイヤー画像データをそれらの平均画像データで置き換える操作に相当する。また、各カラープレーンに対して第1の位相コントラスト反転処理を行う操作は、d=−dのレイヤー画像データをd=+dのレイヤー画像データで置き換える操作に相当する。また、各カラープレーンに対して第2の位相コントラスト反転処理を行う操作は、d=+dのレイヤー画像データをd=−dのレイヤー画像データで置き換える操作に相当する。いずれの処理でも、補正後の2枚のレイヤー画像データは同じ画像データになる。
<第2実施形態>
第1実施形態ではレイヤー画像データのXY領域全体に対して処理を行う手法を説明したが、第2実施形態ではレイヤー画像データのXY領域を核の領域と細胞質の領域に分けて処理する手法について説明する。
図9(a)〜図9(b)、図10(a)〜図10(b)、図11(a)〜図11(f)で説明したように、核の領域と細胞質の領域はそれぞれ異なる結像をし、Z軸方向に対する光強度の性質も異なる。具体的には、核の領域では透過光の振幅変化が大きいため、位相コントラストの影響は目立たないのに対し、細胞質の領域は透過率が高いため、振幅変化が小さく、位相コントラストの影響が大きく現れる。つまり、位相コントラストの影響はレイヤー画像データの全域で問題となるわけではなく、位相物体に近い特性をもつ細胞質の領域において顕著となる(位相物体と同じか近い特性をもち、位相コントラストの影響が強く現れる領域を「位相物体領域」と呼ぶ)。そこで本実施形態では、レイヤー画像データを位相物体領域(細胞質の領域)とそれ以外(核の領域)に分け、位相物体領域に対してのみ位相コントラスト低減/反転処理を行う。これにより、位相コントラストによるアーチファクトを低減しつつ、明度と色に関わる核(クロマチン)の3次元的な構造を保存することができる。すなわち、実施例2では、実施例1の位相コントラスト低減処理の第2の効果、及び、位相コントラスト反転処理の第4の効果を補強する効果が得られる。図1から図14までは実施例1と同じであるため、説明を省略する。
第1実施形態ではレイヤー画像データのXY領域全体に対して処理を行う手法を説明したが、第2実施形態ではレイヤー画像データのXY領域を核の領域と細胞質の領域に分けて処理する手法について説明する。
図9(a)〜図9(b)、図10(a)〜図10(b)、図11(a)〜図11(f)で説明したように、核の領域と細胞質の領域はそれぞれ異なる結像をし、Z軸方向に対する光強度の性質も異なる。具体的には、核の領域では透過光の振幅変化が大きいため、位相コントラストの影響は目立たないのに対し、細胞質の領域は透過率が高いため、振幅変化が小さく、位相コントラストの影響が大きく現れる。つまり、位相コントラストの影響はレイヤー画像データの全域で問題となるわけではなく、位相物体に近い特性をもつ細胞質の領域において顕著となる(位相物体と同じか近い特性をもち、位相コントラストの影響が強く現れる領域を「位相物体領域」と呼ぶ)。そこで本実施形態では、レイヤー画像データを位相物体領域(細胞質の領域)とそれ以外(核の領域)に分け、位相物体領域に対してのみ位相コントラスト低減/反転処理を行う。これにより、位相コントラストによるアーチファクトを低減しつつ、明度と色に関わる核(クロマチン)の3次元的な構造を保存することができる。すなわち、実施例2では、実施例1の位相コントラスト低減処理の第2の効果、及び、位相コントラスト反転処理の第4の効果を補強する効果が得られる。図1から図14までは実施例1と同じであるため、説明を省略する。
(第2実施形態における深度合成画像データ生成処理)
図21は、第2実施形態における位相コントラスト低減処理、位相コントラスト反転処理の処理フローを示すフローチャートである。図14で説明したのと同様、標本内の基準深さ(厚み中心又は合焦位置)を中心として、正方向と負方向にそれぞれ所定のピッチで焦点位置をずらして撮影された複数枚のレイヤー画像データが得られているものとする。
図21は、第2実施形態における位相コントラスト低減処理、位相コントラスト反転処理の処理フローを示すフローチャートである。図14で説明したのと同様、標本内の基準深さ(厚み中心又は合焦位置)を中心として、正方向と負方向にそれぞれ所定のピッチで焦点位置をずらして撮影された複数枚のレイヤー画像データが得られているものとする。
ステップS2101からS2103の処理は、図15のステップS1501からS1503の処理と同じであるため、説明を省略する。
ステップS2104では、S2103で取得した明度信号(V信号)を利用してマスク画像データを生成する。マスク画像データは、デフォーカス量d=+d、d=−dにおけるレイヤー画像データの明度信号(V信号)の差分画像データに対して閾値処理をすることで生成される。差分画像データは、
と表現でき、位相コントラスト成分が2倍された画像データとなる。図10(a)〜図10(b)、図11(a)〜図11(f)で説明したように細胞質603は核602に対して位相コントラストの影響(位相変化の影響)が大きいため、細胞質603の領域を抽出することができる。マスク画像データは、細胞質603の領域(位相物体領域)以外がマスクされた画像データとなる。なお、閾値は、複数のサンプル画像データを用いて実験的に決めてもよいし、処理対象のレイヤー画像データ又は差分画像データの明度分布に応じて動的に(適応的に)決定してもよい。
ステップS2104では、S2103で取得した明度信号(V信号)を利用してマスク画像データを生成する。マスク画像データは、デフォーカス量d=+d、d=−dにおけるレイヤー画像データの明度信号(V信号)の差分画像データに対して閾値処理をすることで生成される。差分画像データは、
と表現でき、位相コントラスト成分が2倍された画像データとなる。図10(a)〜図10(b)、図11(a)〜図11(f)で説明したように細胞質603は核602に対して位相コントラストの影響(位相変化の影響)が大きいため、細胞質603の領域を抽出することができる。マスク画像データは、細胞質603の領域(位相物体領域)以外がマスクされた画像データとなる。なお、閾値は、複数のサンプル画像データを用いて実験的に決めてもよいし、処理対象のレイヤー画像データ又は差分画像データの明度分布に応じて動的に(適応的に)決定してもよい。
ステップS2105では、S2104で取得したマスク画像データに対して位相コントラスト低減処理、または、位相コントラスト反転処理を行う。位相コントラスト低減処理、位相コントラスト反転処理は、図15から図19(b)で説明した内容と同様であるため、説明を省略する。
ステップS2106の処理は、図15のステップS1505又は図17のステップS1705の処理と同様である。
元のZスタック画像データのなかに、基準深さ(合焦位置d=0)に対するデフォーカス量dの絶対値が等しい2枚のレイヤー画像データの組が複数組存在する場合には、ステップS2101からS2106の処理を全組に対して実行する。
以上の処理ステップに従えば、2枚のレイヤー画像データの位相コントラストを低減した、または、2枚のレイヤー画像データのうち一方の位相コントラストを反転した複数のレイヤー画像データを生成することができる。
ステップS2106の処理は、図15のステップS1505又は図17のステップS1705の処理と同様である。
元のZスタック画像データのなかに、基準深さ(合焦位置d=0)に対するデフォーカス量dの絶対値が等しい2枚のレイヤー画像データの組が複数組存在する場合には、ステップS2101からS2106の処理を全組に対して実行する。
以上の処理ステップに従えば、2枚のレイヤー画像データの位相コントラストを低減した、または、2枚のレイヤー画像データのうち一方の位相コントラストを反転した複数のレイヤー画像データを生成することができる。
以上説明したように、位相コントラスト低減処理の効果として、位相コントラスト成分(位相差により生じる光強度成分)を低減することができ、デフォーカス方向(Z軸正方向、Z軸負方向)に依存するコントラストの非対称性を改善できる。それにより、深度合成処理での過剰コントラスト強調を回避することができる。また、位相コントラスト反転処理の効果として、位相コントラスト成分(位相差により生じる光強度成分)に起因するコントラスト反転を解消することができ、デフォーカス方向(Z軸正方向、Z軸負方向)に依存するコントラストの非対称性を改善できる。
また、明度、色に関する物体の3次元的な構造を保存することができる。例えば、デフ
ォーカス量d=+d、d=−dにおける像にそれぞれ異なるクロマチンが含まれる場合に、位相コントラスト低減処理後でもそれぞれのクロマチンの明度信号、及び、色信号は保存される。そのため、深度合成処理により、それぞれのクロマチンに合焦した画像データを生成することができる。
ォーカス量d=+d、d=−dにおける像にそれぞれ異なるクロマチンが含まれる場合に、位相コントラスト低減処理後でもそれぞれのクロマチンの明度信号、及び、色信号は保存される。そのため、深度合成処理により、それぞれのクロマチンに合焦した画像データを生成することができる。
(第2実施形態の変形例)
第2実施形態では細胞質603領域の明度信号に対して位相コントラスト低減/反転処理を行ったが、細胞質603領域の各カラープレーン(RGB画像データであれば、Rプレーン、Gプレーン、Bプレーン)に対して上記処理を行う形態も考えられる。
第2実施形態では細胞質603領域の明度信号に対して位相コントラスト低減/反転処理を行ったが、細胞質603領域の各カラープレーン(RGB画像データであれば、Rプレーン、Gプレーン、Bプレーン)に対して上記処理を行う形態も考えられる。
<第3実施形態>
第2実施形態ではレイヤー画像データの組ごとに位相物体領域(細胞質の領域)の抽出を行う処理について説明した。第3実施形態では、複数のレイヤー画像データのなかから選んだ代表レイヤー画像データから位相物体領域(細胞質の領域)を抽出し、この位相物体領域をすべてのレイヤー画像データの位相コントラスト補正処理で利用する簡易的手法について説明する。
第2実施形態ではレイヤー画像データの組ごとに位相物体領域(細胞質の領域)の抽出を行う処理について説明した。第3実施形態では、複数のレイヤー画像データのなかから選んだ代表レイヤー画像データから位相物体領域(細胞質の領域)を抽出し、この位相物体領域をすべてのレイヤー画像データの位相コントラスト補正処理で利用する簡易的手法について説明する。
図9(a)〜図9(b)、図10(a)〜図10(b)、図11(a)〜図11(f)で説明したように、核の領域と細胞質の領域はそれぞれ異なる結像をし、Z軸方向に対する光強度の性質も異なる。そのため、レイヤー画像データを核の領域と細胞質の領域に分けて処理しても、第1実施形態と同様の効果が得られる。図1から図13(b)までは第1実施形態と同じであるため、説明を省略する。
(第3実施形態における深度合成画像データ生成処理)
図22は、第3実施形態における2次元深度合成画像データ生成処理の全体フローを示すフローチャートである。
図22は、第3実施形態における2次元深度合成画像データ生成処理の全体フローを示すフローチャートである。
ステップS2200では、記憶装置408又はデータサーバ104から標本のZスタック画像データを取得する。図14で説明したのと同様、標本内の基準深さ(厚み中心又は合焦位置)を中心として、正方向と負方向にそれぞれ所定のピッチで焦点位置をずらして撮影された複数枚のレイヤー画像データが得られているものとする。
ステップS2201では、位相情報抽出処理を行う。位相情報抽出処理については、図23で説明する。位相情報抽出処理により、細胞質の領域に対するマスク画像データを生成する。
ステップS2202の処理は、図14のステップS1401の処理と基本的に同じであり、位相コントラスト低減処理(図15)、第1又は第2の位相コントラスト反転処理(図17)を利用できる点も同様である。ただし、ステップS2201で生成したマスク画像データを用いて、細胞質の領域に対してのみ位相コントラスト低減/反転処理を行う点のみ異なる。マスク画像データを用いた処理については第2実施形態のものと同様のため、説明は省略する。
ステップS2203では、深度合成処理を行う。深度合成処理は、図13(a)で説明した処理と同様である。
以上の処理ステップに従えば、過剰コントラスト強調を低減する深度合成画像データ生成処理を実行することができる。
ステップS2201では、位相情報抽出処理を行う。位相情報抽出処理については、図23で説明する。位相情報抽出処理により、細胞質の領域に対するマスク画像データを生成する。
ステップS2202の処理は、図14のステップS1401の処理と基本的に同じであり、位相コントラスト低減処理(図15)、第1又は第2の位相コントラスト反転処理(図17)を利用できる点も同様である。ただし、ステップS2201で生成したマスク画像データを用いて、細胞質の領域に対してのみ位相コントラスト低減/反転処理を行う点のみ異なる。マスク画像データを用いた処理については第2実施形態のものと同様のため、説明は省略する。
ステップS2203では、深度合成処理を行う。深度合成処理は、図13(a)で説明した処理と同様である。
以上の処理ステップに従えば、過剰コントラスト強調を低減する深度合成画像データ生成処理を実行することができる。
(第3実施形態における位相情報抽出処理)
図23(a)は、第3実施形態における第1の位相情報抽出処理の処理フローを示すフローチャートである。
ステップS2301では、染色情報を取得する。染色情報とは、染色法(例えば、HE染色、マッソン・トリクローム染色など)を特定するための情報である。例えば、バーコ
ードや2次元コードとしてラベルエリア504に染色情報が記録されている場合には、それらを読み取ることで標本(生体試料)501の染色情報を取得することができる。他の方法としては、例えば、画像データの色分布を解析することで染色法を推定する方法、ユーザにより指定させる方法、画像データのヘッダやメタデータに染色情報を記録する方法などを採ることもできる。
図23(a)は、第3実施形態における第1の位相情報抽出処理の処理フローを示すフローチャートである。
ステップS2301では、染色情報を取得する。染色情報とは、染色法(例えば、HE染色、マッソン・トリクローム染色など)を特定するための情報である。例えば、バーコ
ードや2次元コードとしてラベルエリア504に染色情報が記録されている場合には、それらを読み取ることで標本(生体試料)501の染色情報を取得することができる。他の方法としては、例えば、画像データの色分布を解析することで染色法を推定する方法、ユーザにより指定させる方法、画像データのヘッダやメタデータに染色情報を記録する方法などを採ることもできる。
ステップS2302では、位相物体領域の情報を取得する。HE染色であれば、図9(b)と図11(d)〜図11(f)で説明したように、エオシン染色領域が位相コントラスト特性を強く示す領域である。位相物体領域とは位相コントラスト特性を強く示す領域である。位相物体領域では、位相コントラストの影響により、合焦位置から正方向にデフォーカスしたとき(d>0)と負方向にデフォーカスしたとき(d<0)とで、レイヤー画像データの明るさが反転する。位相物体領域の情報とは、位相コントラスト特性を強く示す領域の色条件(色相及び彩度の範囲)であり、HE染色の場合には、エオシンの色(淡赤色)の色相及び彩度の範囲を表す色条件である。例えば、染色法と位相物体領域の情報(色条件)とを対応付けたテーブルを予め記憶装置に用意しておき、ステップS2301で特定された染色法に対応する色条件をテーブルから読み込めばよい。
ステップS2303では、位相物体領域を抽出する。位相物体領域抽出処理の処理フローは、図23(b)で説明する。
ステップS2304では、位相物体領域の抽出に用いる代表レイヤー画像データを取得する。本実施形態では、合焦位置(d=0)のレイヤー画像データを用いる。
ステップS2305では、合焦位置(d=0)のレイヤー画像データに対して色空間変換を行う。RGB色空間を有するレイヤー画像データをHSV色空間に変換する。HSV色空間は、色相(H)、彩度(S)、明度(V)から成る色空間である。
ステップS2306では、S2305で取得したHSV色空間のHS色空間から、S2302で取得した色条件(HE染色の場合にはエオシンのH(色相)とS(彩度)の範囲)に合致する領域(画素群)を抽出する。
ステップS2307では、S2306で抽出された領域(画素群)以外をマスクしたマスク画像データを生成する。HE染色の場合には、エオシン染色領域以外がマスクされたマスク画像データが得られる。
以上の処理ステップに従えば、位相コントラスト特性を強く示す領域の抽出処理を実行することができる。そして、ここで得られたマスク画像データを用いて、各レイヤー画像データに対し図22のステップS2202における位相コントラスト低減/反転処理を行うことで、細胞質である蓋然性の高い領域の位相コントラストの影響を低減できる。
ステップS2304では、位相物体領域の抽出に用いる代表レイヤー画像データを取得する。本実施形態では、合焦位置(d=0)のレイヤー画像データを用いる。
ステップS2305では、合焦位置(d=0)のレイヤー画像データに対して色空間変換を行う。RGB色空間を有するレイヤー画像データをHSV色空間に変換する。HSV色空間は、色相(H)、彩度(S)、明度(V)から成る色空間である。
ステップS2306では、S2305で取得したHSV色空間のHS色空間から、S2302で取得した色条件(HE染色の場合にはエオシンのH(色相)とS(彩度)の範囲)に合致する領域(画素群)を抽出する。
ステップS2307では、S2306で抽出された領域(画素群)以外をマスクしたマスク画像データを生成する。HE染色の場合には、エオシン染色領域以外がマスクされたマスク画像データが得られる。
以上の処理ステップに従えば、位相コントラスト特性を強く示す領域の抽出処理を実行することができる。そして、ここで得られたマスク画像データを用いて、各レイヤー画像データに対し図22のステップS2202における位相コントラスト低減/反転処理を行うことで、細胞質である蓋然性の高い領域の位相コントラストの影響を低減できる。
以上説明したように、位相コントラスト低減処理の効果として、位相コントラスト成分(位相差により生じる光強度成分)を低減することができ、デフォーカス方向(Z軸正方向、Z軸負方向)に依存するコントラストの非対称性を改善できる。それにより、深度合成処理での過剰コントラスト強調を回避することができる。また、位相コントラスト反転処理の効果として、位相コントラスト成分(位相差により生じる光強度成分)に起因するコントラスト反転を解消することができ、デフォーカス方向(Z軸正方向、Z軸負方向)に依存するコントラストの非対称性を改善できる。
また、本実施形態では、1つの代表レイヤー画像データを用いてマスク画像データを作成し、これを全てのレイヤー画像データの位相コントラスト低減/反転処理に利用したので、第2実施形態の方法よりも処理の高速化を図ることができる。本実施形態では、合焦位置(d=0)のレイヤー画像データを代表レイヤー画像データとして用いたが、いずれのレイヤー画像データを代表レイヤー画像データとして用いても構わない。
また、本実施形態では、1つの代表レイヤー画像データを用いてマスク画像データを作成し、これを全てのレイヤー画像データの位相コントラスト低減/反転処理に利用したので、第2実施形態の方法よりも処理の高速化を図ることができる。本実施形態では、合焦位置(d=0)のレイヤー画像データを代表レイヤー画像データとして用いたが、いずれのレイヤー画像データを代表レイヤー画像データとして用いても構わない。
<第4実施形態>
第3実施形態では、代表レイヤー画像データから生成したマスク画像データをすべての
レイヤー画像データの補正に利用する簡易的手法を説明した。第4実施形態では、核の領域の深度合成に重点を置いて、先に深度合成を行い、深度合成画像データのなかの位相物体領域に対し位相コントラスト補正を行う、更に簡易的な手法について説明する。
図9(a)〜図9(b)、図10(a)〜図10(b)、図11(a)〜図11(f)で説明したように、核の領域と細胞質の領域はそれぞれ異なる結像をし、Z軸方向に対する光強度の性質も異なる。そのため、レイヤー画像データを核の領域と細胞質の領域に分けて処理しても、第1実施形態と同様の効果が得られる。図1から図13(b)までは第1実施形態と同じであるため、説明を省略する。
第3実施形態では、代表レイヤー画像データから生成したマスク画像データをすべての
レイヤー画像データの補正に利用する簡易的手法を説明した。第4実施形態では、核の領域の深度合成に重点を置いて、先に深度合成を行い、深度合成画像データのなかの位相物体領域に対し位相コントラスト補正を行う、更に簡易的な手法について説明する。
図9(a)〜図9(b)、図10(a)〜図10(b)、図11(a)〜図11(f)で説明したように、核の領域と細胞質の領域はそれぞれ異なる結像をし、Z軸方向に対する光強度の性質も異なる。そのため、レイヤー画像データを核の領域と細胞質の領域に分けて処理しても、第1実施形態と同様の効果が得られる。図1から図13(b)までは第1実施形態と同じであるため、説明を省略する。
図24(a)は、第4実施形態における第2の2次元深度合成画像データ生成処理の全体フローを示すフローチャートである。
ステップS2400では、記憶装置408又はデータサーバ104から標本のZスタック画像データを取得する。図14で説明したのと同様、標本内の基準深さ(厚み中心又は合焦位置)を中心として、正方向と負方向にそれぞれ所定のピッチで焦点位置をずらして撮影された複数枚のレイヤー画像データが得られているものとする。
ステップS2401では、位相情報抽出処理を行い、位相物体領域のマスク画像データを得る。位相情報抽出処理については、図23(a)、図23(b)で説明した処理を適用することができる。
ステップS2402では、深度合成処理を行う。深度合成処理は、図13(a)で説明した処理と同様である。これにより深度合成画像データが得られる。
ステップS2403では、位相コントラスト補正処理を行う。位相コントラスト補正処理は図24(b)で説明する。
ステップS2404では、位相コントラスト補正に用いる代表レイヤー画像データを取得する。本実施形態では、合焦位置(d=0)のレイヤー画像データを用いる。
ステップS2405では、S2401で生成したマスク画像データを用い、深度合成画像データのうち位相コントラスト特性を強く示す領域(HE染色ではエオシン染色領域)のデータを合焦位置(d=0)のレイヤー画像データのものに置き換える。
以上の処理ステップに従えば、過剰コントラスト強調を低減する深度合成画像データ生成処理を実行することができる。
ステップS2400では、記憶装置408又はデータサーバ104から標本のZスタック画像データを取得する。図14で説明したのと同様、標本内の基準深さ(厚み中心又は合焦位置)を中心として、正方向と負方向にそれぞれ所定のピッチで焦点位置をずらして撮影された複数枚のレイヤー画像データが得られているものとする。
ステップS2401では、位相情報抽出処理を行い、位相物体領域のマスク画像データを得る。位相情報抽出処理については、図23(a)、図23(b)で説明した処理を適用することができる。
ステップS2402では、深度合成処理を行う。深度合成処理は、図13(a)で説明した処理と同様である。これにより深度合成画像データが得られる。
ステップS2403では、位相コントラスト補正処理を行う。位相コントラスト補正処理は図24(b)で説明する。
ステップS2404では、位相コントラスト補正に用いる代表レイヤー画像データを取得する。本実施形態では、合焦位置(d=0)のレイヤー画像データを用いる。
ステップS2405では、S2401で生成したマスク画像データを用い、深度合成画像データのうち位相コントラスト特性を強く示す領域(HE染色ではエオシン染色領域)のデータを合焦位置(d=0)のレイヤー画像データのものに置き換える。
以上の処理ステップに従えば、過剰コントラスト強調を低減する深度合成画像データ生成処理を実行することができる。
<その他の実施形態>
以上、本発明の好ましい実施形態について説明したが、これらは本発明の一具体例にすぎず、本発明の範囲をこれらの具体例に限定する趣旨のものではない。
例えば、上記実施形態では、標本の厚み中心を合焦位置と仮定し、標本の厚み中心を基準深さとして位相コントラストの補正を行った。しかし、合焦位置ないし基準深さの決め方はこれに限らない。プレ計測ユニット320又は撮像ユニット310によるオートフォーカス処理によって、標本に対し最もピントが合う焦点位置(例えば最も高コントラストのレイヤー画像データが得られる位置)を合焦位置とし、この合焦位置を基準深さ(d=0)としてもよい。あるいは単純に、撮像装置101から得られた複数枚のレイヤー画像データのうち、真ん中のZ位置のものを基準深さ(d=0)のレイヤー画像データとみなしてもよい。
以上、本発明の好ましい実施形態について説明したが、これらは本発明の一具体例にすぎず、本発明の範囲をこれらの具体例に限定する趣旨のものではない。
例えば、上記実施形態では、標本の厚み中心を合焦位置と仮定し、標本の厚み中心を基準深さとして位相コントラストの補正を行った。しかし、合焦位置ないし基準深さの決め方はこれに限らない。プレ計測ユニット320又は撮像ユニット310によるオートフォーカス処理によって、標本に対し最もピントが合う焦点位置(例えば最も高コントラストのレイヤー画像データが得られる位置)を合焦位置とし、この合焦位置を基準深さ(d=0)としてもよい。あるいは単純に、撮像装置101から得られた複数枚のレイヤー画像データのうち、真ん中のZ位置のものを基準深さ(d=0)のレイヤー画像データとみなしてもよい。
第1から第3実施形態では、補正後のZスタック画像データを用いて深度合成画像データを生成したが、深度合成画像データの生成は必須ではない。例えば、表示装置に表示するレイヤー画像データを連続的に切り替えることで、光学顕微鏡における焦点位置の昇降操作を模擬し、物体の3次元構造の把握などを行うことがある。このような場合に、補正後のZスタック画像データを表示に用いれば、レイヤー画像データを切り替えたときに位相コントラストに起因する輝度変化が現れることを抑制できるため、適切な物体観察が可能となる。
第2から第4実施形態では、核の領域と細胞質の領域に異なる処理を適用している。もし核の領域と細胞質の領域の境界において処理が変わることに起因するアーチファクトが出る場合には、境界近傍において2つの処理結果をブレンドすることでアーチファクトを低減してもよい。例えば、マスク画像データとして2値画像データではなく、0.0〜1.0の係数(ブレンド率)を定義した多値のマスク画像データを用い、核と細胞質の境界近傍の係数を滑らかに変化させることで、実現できる。
第2から第4実施形態では、染色情報をもとに位相物体領域(位相コントラストの影響が強く現れる領域)を抽出し、位相物体領域に対してのみ位相コントラスト補正を行っている。しかし、位相物体領域を抽出する方法はこれに限らない。例えば、画像データの明度成分や彩度成分を評価することにより、明度が所定値より高く且つ彩度が所定値より低いという色条件を満たす領域(つまり無色透明に近い領域)を位相物体領域として抽出してもよい。このような方法によれば、染色情報が無くても位相コントラスト補正を施すべき領域を特定できる。
第4実施形態では、深度合成画像データの一部(位相物体領域)を代表レイヤー画像データのものに置き換えたが、置き換えではなく、位相物体領域内の深度合成合成データと代表レイヤー画像データを重み付け合成(ブレンド)してもよい。また、合焦位置以外のレイヤー画像データを代表レイヤー画像データとして用いて位相物体領域の置き換え又はブレンドを行っても同様の効果が得られる。
また第4実施形態では、代表レイヤー画像データを用いてマスク画像データを生成したが、ステップS2401とS2402の順番を入れ替え、深度合成画像データを用いてマスク画像データを生成してもよい。
また第4実施形態では、代表レイヤー画像データを用いてマスク画像データを生成したが、ステップS2401とS2402の順番を入れ替え、深度合成画像データを用いてマスク画像データを生成してもよい。
上記実施形態では、画像データの明度成分を抽出するためにHSV色空間を利用したが、CIE−Lab色空間など他の色空間を用いてもよい。
上記実施形態では、病理標本を例に挙げたが、位相物体又は弱位相物体としての特性を示す領域を含む標本であれば、本発明を好ましく適用可能である。
上記実施形態では、病理標本を例に挙げたが、位相物体又は弱位相物体としての特性を示す領域を含む標本であれば、本発明を好ましく適用可能である。
101:撮像装置
102:画像処理装置
102:画像処理装置
Claims (20)
- 標本内の異なる深さに焦点位置を合わせてそれぞれ取得された複数枚のレイヤー画像データのなかから、前記標本内の基準深さを中心として正方向と負方向にそれぞれ同じ距離だけ焦点位置がずれた2枚のレイヤー画像データの組を、少なくとも1組以上、選択する選択手段と、
前記選択手段で選択された各組の2枚のレイヤー画像データに対し、2枚のレイヤー画像データのあいだの位相コントラスト成分の差を小さくする補正処理を行う、位相コントラスト補正手段と、
を有することを特徴とする画像処理装置。 - 前記補正処理が行われた複数枚のレイヤー画像データを深度合成することにより深度合成画像データを生成する深度合成手段をさらに有する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記補正処理は、前記2枚のレイヤー画像データそれぞれの明度信号を、前記2枚のレイヤー画像データの明度信号の平均値で置き換える処理である
ことを特徴とする請求項1又は2に記載の画像処理装置。 - 前記補正処理は、前記2枚のレイヤー画像データを、前記2枚のレイヤー画像データの平均画像データで置き換える処理である
ことを特徴とする請求項1又は2に記載の画像処理装置。 - 前記補正処理は、前記2枚のレイヤー画像データのうちの一方のレイヤー画像データの明度信号を、他方のレイヤー画像データの明度信号で置き換える処理である
ことを特徴とする請求項1又は2に記載の画像処理装置。 - 前記補正処理は、前記2枚のレイヤー画像データのうちの一方のレイヤー画像データを、他方のレイヤー画像データで置き換える処理である
ことを特徴とする請求項1又は2に記載の画像処理装置。 - 前記位相コントラスト補正手段は、処理対象のレイヤー画像データを位相物体領域とそれ以外の領域に分け、前記位相物体領域に対してのみ前記補正処理を行う
ことを特徴とする請求項1〜6のうちいずれか1項に記載の画像処理装置。 - 前記位相コントラスト補正手段は、前記2枚のレイヤー画像データそれぞれの明度信号のあいだの差分が閾値より大きい領域を前記位相物体領域とする
ことを特徴とする請求項7に記載の画像処理装置。 - 前記位相コントラスト補正手段は、前記複数枚のレイヤー画像データのなかから選んだ1枚の代表レイヤー画像データから位相物体領域を抽出し、前記代表レイヤー画像データから抽出した位相物体領域をすべてのレイヤー画像データの補正処理で利用する
ことを特徴とする請求項7に記載の画像処理装置。 - 前記位相コントラスト補正手段は、前記代表レイヤー画像データのうちから所定の色条件に合致する領域を前記位相物体領域として抽出する
ことを特徴とする請求項9に記載の画像処理装置。 - 前記位相コントラスト補正手段は、前記標本に施された染色法に基づいて前記所定の色条件を決定する
ことを特徴とする請求項10に記載の画像処理装置。 - 前記位相物体領域は、前記基準深さから正方向に焦点位置がずれたときと負方向に焦点位置がずれたときとで、レイヤー画像データの明るさが反転する領域である
ことを特徴とする請求項7〜11のうちいずれか1項に記載の画像処理装置。 - 前記標本は、複数の細胞を含む標本であり、
前記位相物体領域は、細胞質の領域である
ことを特徴とする請求項7〜12のうちいずれか1項に記載の画像処理装置。 - 前記基準深さは、前記標本の厚み中心、又は、前記標本に対し最もピントが合う焦点位置である
ことを特徴とする請求項1〜13のうちいずれか1項に記載の画像処理装置。 - 標本内の異なる深さに焦点位置を合わせてそれぞれ取得された複数枚のレイヤー画像データを深度合成することにより深度合成画像データを生成する深度合成手段と、
前記複数枚のレイヤー画像データのなかから1枚の代表レイヤー画像データを取得する取得手段と、
前記深度合成画像データを位相物体領域とそれ以外の領域に分け、前記位相物体領域内のデータを前記代表レイヤー画像データを用いて補正する位相コントラスト補正手段と、を有することを特徴とする画像処理装置。 - 前記位相コントラスト補正手段は、前記深度合成画像データのうち前記位相物体領域内のデータを、前記代表レイヤー画像データのものに置き換える
ことを特徴とする請求項15に記載の画像処理装置。 - 標本内の異なる深さに焦点位置を合わせてそれぞれ撮影を行うことにより複数枚のレイヤー画像データを取得する撮像装置と、
前記撮像装置で取得された前記複数枚のレイヤー画像データを処理する、請求項1〜16のうちいずれか1項に記載の画像処理装置と、
を有する画像処理システム。 - コンピュータが、標本内の異なる深さに焦点位置を合わせてそれぞれ取得された複数枚のレイヤー画像データのなかから、前記標本内の基準深さを中心として正方向と負方向にそれぞれ同じ距離だけ焦点位置がずれた2枚のレイヤー画像データの組を、少なくとも1組以上、選択するステップと、
コンピュータが、前記選択された各組の2枚のレイヤー画像データに対し、2枚のレイヤー画像データのあいだの位相コントラスト成分の差を小さくする補正処理を行うステップと、
を有することを特徴とする画像処理方法。 - コンピュータが、標本内の異なる深さに焦点位置を合わせてそれぞれ取得された複数枚のレイヤー画像データを深度合成することにより深度合成画像データを生成するステップと、
コンピュータが、前記複数枚のレイヤー画像データのなかから1枚の代表レイヤー画像データを取得するステップと、
コンピュータが、前記深度合成画像データを位相物体領域とそれ以外の領域に分け、前記位相物体領域内のデータを前記代表レイヤー画像データを用いて補正するステップと、を有することを特徴とする画像処理方法。 - 請求項18又は19に記載の画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014081236A JP6305175B2 (ja) | 2014-04-10 | 2014-04-10 | 画像処理装置、画像処理方法、画像処理システム |
PCT/JP2015/061181 WO2015156378A1 (en) | 2014-04-10 | 2015-04-03 | Image processing apparatus, image processing method, and image processing system |
US15/301,794 US10269103B2 (en) | 2014-04-10 | 2015-04-03 | Image processing apparatus, image processing method, and image processing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014081236A JP6305175B2 (ja) | 2014-04-10 | 2014-04-10 | 画像処理装置、画像処理方法、画像処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015203704A JP2015203704A (ja) | 2015-11-16 |
JP6305175B2 true JP6305175B2 (ja) | 2018-04-04 |
Family
ID=54287950
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014081236A Active JP6305175B2 (ja) | 2014-04-10 | 2014-04-10 | 画像処理装置、画像処理方法、画像処理システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10269103B2 (ja) |
JP (1) | JP6305175B2 (ja) |
WO (1) | WO2015156378A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014178474A (ja) * | 2013-03-14 | 2014-09-25 | Sony Corp | デジタル顕微鏡装置、その合焦位置探索方法およびプログラム |
JP6455829B2 (ja) * | 2013-04-01 | 2019-01-23 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
WO2016120441A2 (en) * | 2015-01-30 | 2016-08-04 | Ventana Medical Systems, Inc. | Quality metrics for automatic evaluation of dual ish images |
JP6802636B2 (ja) * | 2016-03-25 | 2020-12-16 | オリンパス株式会社 | 顕微鏡システムおよび標本観察方法 |
US10302923B2 (en) * | 2016-10-26 | 2019-05-28 | Molecular Devices, Llc | Trans-illumination imaging with use of interference fringes to enhance contrast and find focus |
WO2018201072A2 (en) | 2017-04-28 | 2018-11-01 | 4D Path Inc. | Apparatus, systems, and methods for rapid cancer detection |
EP3422288B1 (en) | 2017-06-26 | 2020-02-26 | Tecan Trading Ag | Imaging a well of a microplate |
DE102018128083A1 (de) * | 2018-11-09 | 2020-05-14 | Leica Microsystems Cms Gmbh | Mikroskopisches Durchlichtkontrastierverfahren |
US10885631B2 (en) * | 2019-02-01 | 2021-01-05 | Essen Instruments, Inc. | Label-free cell segmentation using phase contrast and brightfield imaging |
US11803963B2 (en) | 2019-02-01 | 2023-10-31 | Sartorius Bioanalytical Instruments, Inc. | Computational model for analyzing images of a biological specimen |
DE202019105838U1 (de) * | 2019-10-21 | 2019-12-04 | Carl Zeiss Industrielle Messtechnik Gmbh | Anordnung mit einem Koordinatenmessgerät oder Mikroskop |
US11069044B1 (en) * | 2020-03-18 | 2021-07-20 | Adobe Inc. | Eliminating image artifacts using image-layer snapshots |
CN114153061B (zh) * | 2021-12-01 | 2023-08-08 | 天津大学 | 一种基于光片成像的激发光轴向强度可调拼接方法 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000162504A (ja) * | 1998-11-26 | 2000-06-16 | Sony Corp | 拡大観察装置 |
EP1602065A4 (en) | 2003-02-18 | 2009-01-07 | Oklahoma Med Res Found | EXPANSION DEPTH OF MICROSCOPY OF FOCUS |
JP4917404B2 (ja) * | 2006-10-18 | 2012-04-18 | オリンパス株式会社 | 位相物体の可視化方法とその顕微鏡システム |
JP2010191000A (ja) * | 2009-02-16 | 2010-09-02 | Nikon Corp | 顕微鏡および顕微鏡における画像取得方法 |
JP5672688B2 (ja) * | 2009-10-23 | 2015-02-18 | ソニー株式会社 | 合焦装置、合焦方法、合焦プログラム及び顕微鏡 |
JP2011118107A (ja) * | 2009-12-02 | 2011-06-16 | Olympus Corp | 顕微鏡システム |
JP2012008254A (ja) * | 2010-06-23 | 2012-01-12 | Shicoh Engineering Co Ltd | 撮影装置及びマイクロスコープ |
JP2012060394A (ja) | 2010-09-08 | 2012-03-22 | Canon Inc | 画像取得装置 |
JP2012138891A (ja) | 2010-12-08 | 2012-07-19 | Canon Inc | 撮像装置 |
JP5751986B2 (ja) | 2010-12-08 | 2015-07-22 | キヤノン株式会社 | 画像生成装置 |
US9041791B2 (en) * | 2011-02-01 | 2015-05-26 | Roche Diagnostics Hematology, Inc. | Fast auto-focus in imaging |
US10001622B2 (en) * | 2011-10-25 | 2018-06-19 | Sanford Burnham Medical Research Institute | Multifunction autofocus system and method for automated microscopy |
US20130162800A1 (en) * | 2011-12-22 | 2013-06-27 | General Electric Company | Quantitative phase microscopy for label-free high-contrast cell imaging using frequency domain phase shift |
WO2013148360A1 (en) * | 2012-03-30 | 2013-10-03 | Trustees Of Boston University | Phase contrast microscopy with oblique back-illumination |
JP2014130221A (ja) | 2012-12-28 | 2014-07-10 | Canon Inc | 画像処理装置、その制御方法、画像処理システム、及びプログラム |
US20150100278A1 (en) * | 2013-10-04 | 2015-04-09 | Georgia Tech Research Corporation | Systems and methods for quantitative phase imaging with partially coherent illumination |
JP2015103217A (ja) * | 2013-11-28 | 2015-06-04 | ソニー株式会社 | 画像処理装置および画像処理方法 |
-
2014
- 2014-04-10 JP JP2014081236A patent/JP6305175B2/ja active Active
-
2015
- 2015-04-03 US US15/301,794 patent/US10269103B2/en active Active
- 2015-04-03 WO PCT/JP2015/061181 patent/WO2015156378A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP2015203704A (ja) | 2015-11-16 |
US10269103B2 (en) | 2019-04-23 |
WO2015156378A1 (en) | 2015-10-15 |
US20170116715A1 (en) | 2017-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6305175B2 (ja) | 画像処理装置、画像処理方法、画像処理システム | |
Wen et al. | High-fidelity structured illumination microscopy by point-spread-function engineering | |
US10871745B2 (en) | Device and method for iterative phase recovery based on pixel super-resolved on-chip holography | |
JP5780865B2 (ja) | 画像処理装置、撮像システム、画像処理システム | |
WO2013100025A1 (ja) | 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム | |
JP2014071207A (ja) | 画像処理装置、撮像システム、画像処理システム | |
Klein et al. | Simulating low-cost cameras for augmented reality compositing | |
US20150279033A1 (en) | Image data generating apparatus and image data generating method | |
JP6598660B2 (ja) | 画像処理装置および画像処理方法 | |
WO2013099141A1 (en) | Image processing apparatus and system, method for processing image, and program | |
JP2013200640A (ja) | 画像処理装置、画像処理システム、画像処理方法、およびプログラム | |
US20120293650A1 (en) | Imaging system and image processing apparatus | |
JP2014130221A (ja) | 画像処理装置、その制御方法、画像処理システム、及びプログラム | |
JP2012173391A (ja) | 画像生成装置、及び、画像生成方法 | |
JP2019139247A (ja) | 反射を低減したコントラスト画像を生成するための方法およびこれに関連する装置 | |
WO2013100026A9 (ja) | 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム | |
JP2013182417A (ja) | 画像処理装置および画像処理方法 | |
Teranikar et al. | Correcting anisotropic intensity in light sheet images using dehazing and image morphology | |
JP2015191362A (ja) | 画像データ生成装置および画像データ生成方法 | |
WO2022113367A1 (ja) | 画像変換方法、プログラム、画像処理装置 | |
JP2016206228A (ja) | 合焦位置検出装置、合焦位置検出方法、撮像装置、撮像システム | |
US20230237651A1 (en) | Multi-channel extended depth-of-field method for automated digital cytology | |
Wang | Deep Learning-enabled Cross-modality Image Transformation and Early Bacterial Colony Detection | |
JP2016166941A (ja) | 合焦位置検出装置、合焦位置検出方法、撮像システム | |
Chlubna et al. | How color profile affects the visual quality in light field rendering and novel view synthesis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170331 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180306 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6305175 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |