JP2019058074A - 画像処理装置、細胞集塊認識装置、細胞集塊認識方法および細胞集塊認識プログラム - Google Patents
画像処理装置、細胞集塊認識装置、細胞集塊認識方法および細胞集塊認識プログラム Download PDFInfo
- Publication number
- JP2019058074A JP2019058074A JP2017183167A JP2017183167A JP2019058074A JP 2019058074 A JP2019058074 A JP 2019058074A JP 2017183167 A JP2017183167 A JP 2017183167A JP 2017183167 A JP2017183167 A JP 2017183167A JP 2019058074 A JP2019058074 A JP 2019058074A
- Authority
- JP
- Japan
- Prior art keywords
- cell
- image
- unit
- area
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 156
- 238000000034 method Methods 0.000 title claims description 75
- 238000009499 grossing Methods 0.000 claims abstract description 96
- 238000012937 correction Methods 0.000 claims description 64
- 230000008569 process Effects 0.000 claims description 35
- 238000003384 imaging method Methods 0.000 claims description 25
- 230000009467 reduction Effects 0.000 claims description 25
- 238000010606 normalization Methods 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 2
- 238000002360 preparation method Methods 0.000 abstract description 3
- 230000004931 aggregating effect Effects 0.000 abstract 1
- 210000004027 cell Anatomy 0.000 description 230
- 238000006243 chemical reaction Methods 0.000 description 36
- 230000002776 aggregation Effects 0.000 description 18
- 238000005054 agglomeration Methods 0.000 description 17
- 230000008859 change Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 239000003550 marker Substances 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000024245 cell differentiation Effects 0.000 description 2
- 238000004141 dimensional analysis Methods 0.000 description 2
- 238000005429 filling process Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 210000003771 C cell Anatomy 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000032823 cell division Effects 0.000 description 1
- 230000005859 cell recognition Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000009509 drug development Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 210000001671 embryonic stem cell Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000001723 extracellular space Anatomy 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 210000004263 induced pluripotent stem cell Anatomy 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 210000000130 stem cell Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Microscoopes, Condenser (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
Abstract
【課題】複数の細胞が塊状に集合した細胞集塊を撮影した細胞画像から、細胞間の空隙を排した塊状の領域を容易に抽出する。【解決手段】複数の細胞からなる細胞集塊を複数含む細胞画像の輝度値を平滑化し、各細胞集塊内の細胞間に存在する隙間を埋めた平滑化画像を生成する第1平滑化処理部11と、平滑化画像を細胞集塊の背景領域と非背景領域とに二値化するシード作成部13と、二値化された平滑化画像の非背景領域を細胞集塊ごとの領域に分割する領域拡張部23とを備える画像処理装置5を提供する。【選択図】図1
Description
本発明は、例えば蛍光顕微鏡等を用いた撮像により取得された細胞画像から複数の細胞が塊状に集合した細胞集塊を抽出する画像処理装置、細胞集塊認識装置、細胞集塊認識方法および細胞集塊認識プログラムに関するものである。
従来、医療・ライフサイエンス分野では、顕微鏡を通して撮影された細胞画像を用いた様々な細胞解析が行われている。例えば、ES細胞(Embryonic Stem Cells)、iPS細胞(Induced Pluripotent Stem Cell)等、幹細胞の研究においては、細胞分化メカニズムの解明や、創薬開発等を目的として、時系列で撮影された複数の細胞画像から細胞の分化過程や形態的特徴変化を観察し、細胞毎の性質の違いを調べるといった作業が一般的に行われている。さらに、より生体内に近い環境における医薬品等の効用を調べること等を目的として、細胞を立体的に培養する3次元培養が行われている。
複数の細胞が塊状に集合した細胞集塊の培養状態について調べるために、従来は研究者の手作業により解析が行われてきたが、3次元的解析の煩雑性や、処理対象構造の複雑性等から膨大な手間がかかっていた。近年では画像解析技術を応用することにより、3次元的解析を自動化し、細胞画像中に含まれる個々の細胞集塊を自動検出することで、細胞集塊の形態情報や個体数等を効率よく把握することが可能となりつつある(例えば、特許文献1参照。)。
特許文献1には、細胞集塊を含む画像から細胞集塊の体積を推定する処理の精度を向上するキャリブレーション方法を提供することを目的として、画像データから予め設定された閾値よりも高い濃度を有するピクセルを抽出することにより、細胞集塊(オブジェクト)領域を画像中から抽出する技術が開示されている。
しかしながら、細胞集塊は個々の細胞が寄り集まってできた塊状の領域であり、細胞どうしが隣接した空間内に何某かの空隙が含まれる場合が多いことから、特許文献1に記載の方法では、細胞集塊を構成する細胞間の空隙も抽出されてしまい、抽出した細胞集塊を正確に解析することができないことがあるという問題がある。
本発明は上述した事情に鑑みてなされたものであって、複数の細胞が塊状に集合した細胞集塊を撮影した細胞画像から、細胞間の空隙を排した塊状の領域を容易に抽出することができる画像処理装置、細胞集塊認識装置、細胞集塊認識方法および細胞集塊認識プログラムを提供することを目的としている。
上記目的を達成するために、本発明は以下の手段を提供する。
本発明の第1態様は、複数の細胞からなる細胞集塊を複数含む細胞画像の輝度値を平滑化し、各前記細胞集塊内の前記細胞間に存在する隙間を埋めた平滑化画像を生成する平滑化部と、前記平滑化画像を前記細胞集塊の背景領域と非背景領域とに二値化する二値化部と、二値化された前記平滑化画像の前記非背景領域を前記細胞集塊ごとの領域に分割する領域分割部とを備える画像処理装置である。
本発明の第1態様は、複数の細胞からなる細胞集塊を複数含む細胞画像の輝度値を平滑化し、各前記細胞集塊内の前記細胞間に存在する隙間を埋めた平滑化画像を生成する平滑化部と、前記平滑化画像を前記細胞集塊の背景領域と非背景領域とに二値化する二値化部と、二値化された前記平滑化画像の前記非背景領域を前記細胞集塊ごとの領域に分割する領域分割部とを備える画像処理装置である。
本態様によれば、平滑化部により、複数の細胞集塊を含む細胞画像の輝度値が平滑化されて各細胞集塊内の隙間が埋められた平滑化画像が生成され、二値化部により、その平滑化画像が細胞集塊の背景領域と非背景領域とに二値化される。そして、領域分割部により、二値化された平滑化画像の非背景領域が細胞集塊ごとの領域に分割されることで、複数の細胞集塊を撮影した細胞画像から細胞間の空隙を排した細胞集塊ごとの領域を容易に抽出することができる。
上記態様においては、前記平滑化部により平滑化する前の前記細胞画像における前記細胞集塊内の前記隙間に相当する画素の輝度値を増大させる階調補正処理を施す階調補正部を備えることとしてもよい。
細胞画像における細胞集塊内の隙間の画素は低中間輝度値であり、階調補正部によりこれらの画素の輝度値を増大させておくことで、平滑化部により細胞集塊内の隙間の画素値をより効率的に均質化・平坦化して隙間を埋めることができる。
細胞画像における細胞集塊内の隙間の画素は低中間輝度値であり、階調補正部によりこれらの画素の輝度値を増大させておくことで、平滑化部により細胞集塊内の隙間の画素値をより効率的に均質化・平坦化して隙間を埋めることができる。
上記態様においては、前記細胞画像が、複数の前記細胞集塊を3次元的に撮影した画像であってもよい。
このように構成することで、3次元的な細胞画像から細胞間の空隙を排した細胞集塊ごとの領域を容易に抽出することができる。
このように構成することで、3次元的な細胞画像から細胞間の空隙を排した細胞集塊ごとの領域を容易に抽出することができる。
上記態様においては、前記階調補正部が、所定の低輝度閾値以下の低輝度の画素、および、前記所定の低輝度閾値よりも高く所定の高輝度閾値以下の中間輝度の画素の少なくとも一方に前記階調補正処理を施すこととしてもよい。
このように構成することで、所定の低輝度閾値および所定の高輝度閾値を適切に設定しておくだけで、細胞集塊内の隙間の画素の輝度値を容易に増大させることができる。
このように構成することで、所定の低輝度閾値および所定の高輝度閾値を適切に設定しておくだけで、細胞集塊内の隙間の画素の輝度値を容易に増大させることができる。
上記態様においては、前記階調補正部が、前記細胞画像にヒストグラム均等化法による前記階調補正処理を施すこととしてもよいし、前記細胞画像に所定のガンマ曲線に基づく前記階調補正処理を施すこととしてもよい。
上記態様においては、前記二値化部が、前記細胞画像の画素値の分布に基づいて適応的な所定の二値化閾値を設定し、該二値化閾値に基づいて前記平滑化画像を二値化することとしてもよい。
このように構成することで、二値化部により二値化閾値が自動的に設定され、平滑化画像における非背景領域の抽出を容易にすることができる。
このように構成することで、二値化部により二値化閾値が自動的に設定され、平滑化画像における非背景領域の抽出を容易にすることができる。
上記態様においては、前記二値化部が、ユーザが設定する所定の二値化閾値に基づいて前記平滑化画像を二値化することとしてもよい。
このように構成することで、ユーザが所望する閾値に基づいて平滑化画像から非背景領域を抽出することができる。
このように構成することで、ユーザが所望する閾値に基づいて平滑化画像から非背景領域を抽出することができる。
上記態様においては、前記領域分割部が、前記非背景領域内の各画素に対して前記背景領域との境界からの距離値を算出する距離変換部と、該距離変換部により算出された前記距離値に基づいて個々の前記細胞集塊に対応する初期領域をそれぞれ設定する初期領域設定部と、各前記初期領域を拡張させて各前記細胞集塊の領域を画定する領域拡張部とを備えることとしてもよい。
複数の非背景領域が近接して繋がっているような場合は、各集塊領域の中央部付近ほど背景領域との境界からの距離値が大きく、非背景領域どうしが近接して繋がった部分は距離値が小さいことが多い。したがって、このように構成することで、距離変換部により算出される距離値に基づいて初期領域設定部により設定される個々の細胞集塊に対応するそれぞれの初期領域に従い、領域拡張部により各細胞集塊の領域を容易に画定することができる。
上記態様においては、前記初期領域設定部が、前記距離値が所定の距離閾値よりも大きい領域を前記初期領域として設定することとしてもよい。
このように構成することで、所定の距離閾値により、個々の前記細胞集塊に対応する初期領域を精度よく設定することができる。
このように構成することで、所定の距離閾値により、個々の前記細胞集塊に対応する初期領域を精度よく設定することができる。
上記態様においては、前記平滑化部により平滑化する前の前記細胞画像に対して各画素の輝度値を所定の階調幅に変換する正規化部を備えることとしてもよい。
このように構成することで、正規化部により、細胞画像のその後の処理を容易にすることができる。
このように構成することで、正規化部により、細胞画像のその後の処理を容易にすることができる。
上記態様においては、前記平滑化部により平滑化する前の前記細胞画像の情報量を所定の縮小率に基づいて縮小する縮小部と、前記領域分割部により前記細胞集塊ごとに領域が分割された前記平滑化画像の情報量を拡大する拡大部とを備えることとしてもよい。
このように構成することで、平滑化部および二値化部において、縮小部により情報量が縮小された細胞画像を処理すればいいので、処理速度を向上することができる。
このように構成することで、平滑化部および二値化部において、縮小部により情報量が縮小された細胞画像を処理すればいいので、処理速度を向上することができる。
上記態様においては、前記非背景領域を分割して得られた各前記細胞集塊の領域の大きさを計測する計測部と、該計測部により計測された大きさが所定の領域閾値よりも小さい前記細胞集塊の領域を除去するフィルタリング部とを備えることとしてもよい。
このように構成することで、計測部により計測される細胞集塊の領域の大きさに従い、細胞集塊の領域として抽出されるノイズをフィルタリング部により除去することができる。
このように構成することで、計測部により計測される細胞集塊の領域の大きさに従い、細胞集塊の領域として抽出されるノイズをフィルタリング部により除去することができる。
上記態様においては、前記平滑化部が、前記細胞画像を撮影した際の光学倍率が大きければ大きいほど平滑化の強度を強くすることとしてもよい。
このように構成することで、細胞画像を撮影した際の光学倍率に関わらず、細胞画像における各細胞集塊内の隙間をより確実に埋めた平滑化画像を生成することができる。
このように構成することで、細胞画像を撮影した際の光学倍率に関わらず、細胞画像における各細胞集塊内の隙間をより確実に埋めた平滑化画像を生成することができる。
本発明の第2態様は、複数の細胞からなる複数の細胞集塊を撮影して細胞画像を取得する撮像部と、該撮像部により取得された前記細胞画像の輝度値を平滑化し、各前記細胞集塊内の前記細胞間に存在する隙間を埋めた平滑化画像を生成する平滑化部と、前記平滑化画像を前記細胞集塊の背景領域と非背景領域とに二値化する二値化部と、二値化された前記平滑化画像の前記非背景領域を前記細胞集塊ごとの領域に分割する領域分割部とを備える細胞集塊認識装置である。
本態様によれば、撮像部により複数の細胞集塊を撮影した細胞画像から細胞間の空隙を排した細胞集塊ごとの領域を容易に抽出することができる。
本態様によれば、撮像部により複数の細胞集塊を撮影した細胞画像から細胞間の空隙を排した細胞集塊ごとの領域を容易に抽出することができる。
上記態様においては、前記平滑化部により平滑化する前の前記細胞画像における前記細胞集塊内の前記隙間に相当する画素の輝度値を増大させる階調補正処理を施す階調補正部を備えることとしてもよい。
このように構成することで、階調補正部により、細胞画像における細胞集塊内の隙間の画素の輝度値を増大させておき、平滑化部による細胞集塊内の隙間の画素値の均質化・平坦化を高効率にすることができる。
このように構成することで、階調補正部により、細胞画像における細胞集塊内の隙間の画素の輝度値を増大させておき、平滑化部による細胞集塊内の隙間の画素値の均質化・平坦化を高効率にすることができる。
上記態様においては、前記細胞画像が、複数の前記細胞集塊を3次元的に撮影した画像であってもよい。
このように構成することで、3次元的な細胞画像から細胞間の空隙を排した細胞集塊ごとの領域を容易に抽出することができる。
このように構成することで、3次元的な細胞画像から細胞間の空隙を排した細胞集塊ごとの領域を容易に抽出することができる。
本発明の第3態様は、複数の細胞からなる細胞集塊を複数含む細胞画像の画素値を平滑化し、各前記細胞集塊内の前記細胞間に存在する隙間を埋めた平滑化画像を生成する平滑化工程と、前記平滑化画像を前記細胞集塊の背景領域と非背景領域とに二値化する二値化工程と、二値化された前記平滑化画像の前記非背景領域を前記細胞集塊ごとの領域に分割する領域分割工程とを含む細胞集塊認識方法である。
本態様によれば、平滑化工程により、複数の細胞集塊を含む細胞画像の画素値が平滑化されて各細胞集塊内の隙間が埋められた平滑化画像が生成され、二値化工程により、その平滑化画像が細胞集塊の背景領域と非背景領域とに二値化される。そして、領域分割工程により、二値化された平滑化画像の非背景領域が細胞集塊ごとの領域に分割されることで、複数の細胞集塊を撮影した細胞画像から細胞間の空隙を排した細胞集塊ごとの領域を容易に抽出することができる。
本発明の第4態様は、複数の細胞からなる細胞集塊を複数含む細胞画像の画素値を平滑化し、各前記細胞集塊内の前記細胞間に存在する隙間を埋めた平滑化画像を生成する平滑化工程と、前記平滑化画像を前記細胞集塊の背景領域と非背景領域とに二値化する二値化工程と、二値化された前記平滑化画像の前記非背景領域を前記細胞集塊ごとの領域に分割する領域分割工程とをコンピュータに実行させる細胞集塊認識プログラムである。
本態様によれば、コンピュータの実行により、平滑化工程によって複数の細胞集塊を含む細胞画像の輝度値が平滑化されて各細胞集塊内の隙間が埋められた平滑化画像が生成され、二値化工程によって、その平滑化画像が細胞集塊の背景領域と非背景領域とに二値化され、領域分割工程により、二値化された平滑化画像の非背景領域が細胞集塊ごとの領域に分割される。したがって、コンピュータの実行により、複数の細胞集塊を撮影した細胞画像から細胞間の空隙を排した細胞集塊ごとの領域を容易に抽出することができる。
本発明によれば、複数の細胞が塊状に集合した細胞集塊を撮影した細胞画像から、細胞間の空隙を排した塊状の領域を容易に抽出することができるという効果を奏する。
〔第1実施形態〕
本発明の第1実施形態に係る画像処理装置、細胞集塊認識装置、細胞集塊認識方法および細胞集塊認識プログラムについて、図面を参照して以下に説明する。
本実施形態に係る細胞集塊認識装置1は、図1に示すように、複数の細胞からなる複数の細胞集塊を撮影して細胞画像を取得する撮像装置(撮像部)3と、撮像装置3により取得された細胞画像を処理する画像処理装置5とを備えている。
本発明の第1実施形態に係る画像処理装置、細胞集塊認識装置、細胞集塊認識方法および細胞集塊認識プログラムについて、図面を参照して以下に説明する。
本実施形態に係る細胞集塊認識装置1は、図1に示すように、複数の細胞からなる複数の細胞集塊を撮影して細胞画像を取得する撮像装置(撮像部)3と、撮像装置3により取得された細胞画像を処理する画像処理装置5とを備えている。
撮像装置3は、蛍光顕微鏡により撮影された細胞画像を取得するCCD等の撮像素子と、撮像素子により取得された細胞画像をデジタル信号に変換するA/D変換器等とを備え(いずれも図示略。)、例えば16bit(0−65535階調)の原画像信号を出力するようになっている。
また、撮像装置3は、鉛直方向に予め設定された所定の間隔おきに複数枚の細胞画像を撮影し、これら複数枚の細胞画像のセットからなる3次元Zスタック画像データを原画像信号として出力することができるようになっている。以下、鉛直方向をZ方向とし、Z方向に直交しかつ互いに直交する水平方向をそれぞれX方向およびY方向とする。
図2に3次元的に細胞が塊状に凝集した細胞集塊の一例としてスフェロイドを示す。また、図3(a)に所定間隔おきにスフェロイドを撮影した複数枚の画像セットからなるZスタック画像データの一例を示し、図3(b)にZスタック画像データに含まれる深さZ=z(3)における断面(スライス)画像の一例を示す。なお、スタック1枚(=2次元的な画像データ、Z方向深さ1。)でも処理可能である。図2および図3(a),(b)において、符号Cは細胞を示し、符号Sはスフェロイドを示している。撮像装置3から出力された原画像信号は画像処理装置5に転送されるようになっている。
画像処理装置5は、図1に示すように、正規化部7と、縮小部9と、第1平滑化処理部(平滑化部)11と、シード作成部(二値化部)13と、階調補正部15と、第2平滑化処理部(平滑化部)17と、概形領域作成部19と、領域拡張時参照画像作成部21と、領域拡張部(領域分割部)23と、拡大部25と、フィルタ部(計測部、フィルタリング部)27と、出力部29とを備えている。これら各処理部は、図示しないシステムコントローラに接続されて動作制御されるようになっている。また、これら各処理部は、例えばCPU(中央演算処理装置)と、演算プログラムを格納するRAM(Random Access Memory)やROM(Read Only Memory)等の記憶装置などから構成されていてもよい。この場合、ROMには、演算プログラムとしての細胞集塊認識プログラムが格納されることとすればよい。
正規化部7は、撮像装置3から送られてくる細胞集塊(スフェロイドS)を撮影した原画像信号(3次元Zスタック画像データ)を読み込み、各画素値を所定の階調幅、例えば12bit(0−4095階調)範囲に正規化して、正規化画像を生成するようになっている。正規化処理は、例えば、ヒストグラム拡張処理により行われるようになっている。
ヒストグラム拡張処理の手順は、まず、原画像信号(3次元Zスタック画像データ)中の輝度最小値levelMinおよび輝度最大値levelMaxを求めるようになっている。次に、全画素値に対して以下ゲインg(=4095/(levelMax−levelMin))を乗算するようになっている。なお、ユーザが上記パラメータlevelMin,levelMaxを任意に設定する機構を設け、正規化処理の拡張範囲を自由に調整できるようにしてもよい。正規化部7により12bitに正規化された正規化画像は縮小部9へ転送されるようになっている。
縮小部9は、正規化部7から送られてくる正規化画像に対して、処理高速化を行うための処理対象データの削減を目的としたサイズ変換(縮小処理)を行い、縮小画像を生成するようになっている。具体的には、縮小部9は、予め設定した各XYZに対するサイズ縮小率(例えば、0.5)に基づいて、正規化画像に公知の縮小・補間処理(例えばバイリニア補間処理等)を適用するようになっている。縮小部9により縮小された縮小画像は第1平滑化処理部11および階調補正部15へ転送されるようになっている。
第1平滑化処理部11は、シード作成部13による処理の前処理として、細胞集塊の領域(集塊領域)内の個々の細胞間に存在する隙間を埋めるために、縮小部9から送られてくる縮小画像に対してガウシアン平滑化処理を行い、平滑化画像を生成するようになっている。なお、ガウシアン平滑化処理により、さらに、縮小画像における微細な凹凸をならしたり微小なゴミ領域を除去したりすることとしてもよい。ただし、平滑化を強くかけすぎると、細胞間の隙間が埋まり易い利点があるものの、近接した集塊領域どうしが繋がり易くシード形成に失敗する可能性も大きくなるため、平滑化の程度を適切に調整する必要がある。
この第1平滑化処理部11は、画像の撮像条件である光学倍率に比例するようにガウシアン平滑化フィルタの効果が調整(標準偏差σ値を調整)されており、倍率が大きい程、すなわち被写体である細胞集塊および細胞の実サイズが相対的に大きい程、強く平滑化がかかるように調整されている。第1平滑化処理部11により平滑化された平滑化画像はシード作成部13に転送されるようになっている。
シード作成部13は、公知の輝度値ベースの閾値処理により、個々の集塊領域に対してできるだけ1対1に対応して存在するようなシード(初期領域)を作成するようになっている。シード作成に関しては、後述する概形領域作成時とは異なり、シード自体の領域形状の正確性を担保する必要は無い。
このシード作成部13は、まず、第1平滑化処理部11から送られてくる平滑化画像に対して、公知の閾値処理手法、例えば適応的閾値設定手法の1つである大津の方法を適用して二値化閾値を算出するようになっている。そして、シード作成部13は、算出した二値化閾値を用いて、平滑化画像を集塊領域の背景領域と非背景領域とに二値化する二値化処理を行うようになっている。そして、シード作成部13は、二値化後の閾値以上のより輝度の高い側の領域(非背景領域)に対するラベリング処理により、画像中に空間的に独立して存在する各非背景領域に対してユニークなラベル(領域番号)を設定し、ラベルを設定した非背景領域をシードとするようになっている。
大津の方法は、画像の輝度値ヒストグラムを基に、所定の閾値でヒストグラムを2つに分割した際の各ヒストグラム分散に基づき定義された分離度を最大化するように、適応的に二値化閾値を設定する手法である。なお、二値化閾値の設定をユーザが任意に調整できるように構成してもよい。シード作成部13により作成されたシードは領域拡張部23へ転送されるようになっている。
階調補正部15は、第2平滑化処理部17および概形領域作成部19による処理の前処理として、縮小部9から送られてくる縮小画像に対して階調補正処理を行い、画像中の低中間輝度値を増大させた階調補正画像を生成するようになっている。階調補正処理としては公知の手法を用いることができ、本実施形態においては、ヒストグラム均等化法による適応的階調補正処理が適用される。
ヒストグラム均等化法による適応的階調補正処理は、概形領域作成部19による後述する平滑化処理を低中間輝度値に対してより効果的に行うためのものである。細胞集塊における細胞間の隙間は、背景よりも明るく細胞よりも暗い低中間輝度であることが多いので、このような細胞間の隙間に相当する低中間輝度部の輝度値を持ち上げることで、細胞集塊内の画素値を均質・平坦化することができる等の効果がある。
この適応的階調補正処理は、輝度値ヒストグラムに関して各画素値の出現頻度(画素数)ができるだけ均一になるように画素値の変換を行う処理である。具体的には、輝度値ヒストグラムから累積ヒストグラムに基づく画素値変換ルックアップテーブル(LUT)を作成し、作成した画素値変換ルックアップテーブルを全画素に対して式(1)に従って適用するようになっている。
Pdst=LUT(Psrc)・・・(1)
ここで、Psrcは処理前の画素値を示し、Pdstは処理後の画素値を示している。
図4にヒストグラム均等化法による階調補正処理で用いる変換テーブルの例を示す。図4において、縦軸は処理後の画素値(Pdst)を示し、横軸は処理前の画素値(Psrc)を示している。図5も同様である。
Pdst=LUT(Psrc)・・・(1)
ここで、Psrcは処理前の画素値を示し、Pdstは処理後の画素値を示している。
図4にヒストグラム均等化法による階調補正処理で用いる変換テーブルの例を示す。図4において、縦軸は処理後の画素値(Pdst)を示し、横軸は処理前の画素値(Psrc)を示している。図5も同様である。
なお、階調補正処理として適応的階調補正処理ではなく、ユーザが任意に調整できるように構成することとしてもよい。例えば、ガンマ補正と同等の式(2)のようなガンマ曲線による画素値変換を全画素に対して適用することにより階調補正を行うようにしてもよい。この場合、ユーザが式(2)に従い入力パラメータとしてガンマ値coefGammaを任意に変更することで、補正効果を自由に調整できるようにしてもよい。
Pdst=Psrc(1/coefGamma)・・・(2)
図5にガンマ補正曲線の例を示す。
階調補正部15により階調補正された階調補正画像は第2平滑化処理部17および領域拡張時参照画像作成部21へ転送されるようになっている。
Pdst=Psrc(1/coefGamma)・・・(2)
図5にガンマ補正曲線の例を示す。
階調補正部15により階調補正された階調補正画像は第2平滑化処理部17および領域拡張時参照画像作成部21へ転送されるようになっている。
第2平滑化処理部17は、概形領域作成部19による処理の前処理として、階調補正部15から送られてくる階調補正画像に対して平滑化処理を行い、平滑化画像を生成するようになっている。第2平滑化処理部17による平滑化処理は、基本的に第1平滑化処理部11による平滑化処理と同等の処理で構わず、第1平滑化処理部11におけるガウシアン平滑化の標準偏差σ値と同様の平滑化処理を施せばよい。第2平滑化処理部17により平滑化された平滑化画像は概形領域作成部19に転送されるようになっている。
概形領域作成部19は、第2平滑化処理部17から送られてくる平滑化画像に対して、輝度値ベースの閾値処理を行うことで、各集塊領域の概略形状を表す概形領域を作成するようになっている。ここではシード作成部13でのシード作成時における閾値設定とは異なり、必ずしも各集塊領域の個々が空間的に独立している必要は無く、集塊領域どうしが近接して繋がっていてもよいが、できるだけ各集塊領域の形状が正確に形成できるように閾値を設定する必要がある。また、概形領域作成部19は、形成した概形領域内に存在する空隙を埋める穴埋め処理を施すこととしてもよい。概形領域作成部19により作成された概形領域は領域拡張部23へ転送されるようになっている。
領域拡張時参照画像作成部21は、領域拡張部23による後述する領域拡張時に参照される各集塊領域の拡張範囲を定めるための領域拡張時参照画像を作成するようになっている。具体的には、領域拡張時参照画像作成部21は、階調補正部15から送られてくる階調補正画像に対して、集塊領域内の凹凸をならし細胞間に存在する隙間を埋めることを目的とした平滑化処理を行うようになっている。
領域拡張時参照画像作成部21による平滑化処理の内容自体は基本的に第1平滑化処理部11と同様のガウシアン平滑化であるが、領域拡張部23における領域拡張時に参照する輝度値は、集塊領域内で輝度変化がより少ない平坦(かつ、領域境界上においてできるだけ輝度変化が急峻)な画像が理想的であり、更に強く平滑化を行う必要がある。そこで、領域拡張時参照画像作成部21による平滑化処理では、例えば、第1平滑化処理部11におけるガウシアン平滑化の標準偏差σ1に対し、その2倍の標準偏差σ2=2.0×σ1を設定した平滑化処理を施すようになっている。領域拡張時参照画像作成部21により作成された領域拡張時参照画像は領域拡張部23に転送されるようになっている。
領域拡張部23は、シード作成部13から送られてくるシードと、概形領域作成部19から送られてくる概形領域と、領域拡張時参照画像作成部21から送られてくる領域拡張時参照画像とを用いて、所定の領域拡張法による領域分割処理を行い、領域分割画像を生成するようになっている。領域分割手法としては、公知の手法を用いることができ、本実施形態ではマーカーコントロール付きWatershed領域分割手法により集塊領域の形成を行うようになっている。
Watershed(分水嶺)領域分割手法は、画像の輝度変化を「山」部および「谷」部に見立て、「山の嶺(Watershed)」が領域境界線となるように領域を形成するものである。このマーカーコントロール付きWatershed法は、初めにマーカーとしてシードを設定した後、各シードに対して、領域拡張時参照画像の各シード周辺画素の輝度変化を参照しながらその滑らかさも考慮に入れつつそれぞれシードを成長させていき、最終的に輝度の嶺(Watershed)部分が領域境界となるように、各集塊領域を分割するようになっている。これにより、分割される集塊領域の数(=シード数)を予め決めることができる。さらに、シードが拡張可能な範囲として、概形領域作成部19から送られてくる概形領域の内部に限定して各シードの領域拡張範囲に制約をかけ、最終的な分割(拡張)結果が概形領域に一致するよう補正するようになっている。
図6,7にマーカーコントロール付きWatershed法による領域拡張の1次元データによる例を示す。図6は領域分割前の状態であり、輝度値の1次元的な変化(明暗)を示すグラフに対し、概形領域外、すなわち非概形領域に相当する領域にラベル65535が設定され、それ以外の概形領域内部は領域拡張可能な範囲に相当し、ラベルL0が設定されている。また、2つのシードを表すラベルL1、ラベルL2が設定されている。
図7は各シードを拡張させた後の領域分割結果を表している。図6で設定したラベルL1、ラベルL2のシードが、ラベルL0の領域に対して領域の範囲を広げ、最終的に非概形領域との境界、またはWatershed(輝度グラフの峯)部でそれぞれのシードが接し、お互いの集塊領域としての領域が画定した様子が分かる。なお、領域拡張部23は、形成した各集塊領域内に存在する空隙を埋める穴埋め処理を施すこととしてもよい。領域拡張部23により領域分割された領域分割画像は拡大部25へ転送されるようになっている。
拡大部25は、領域拡張部23から送られてくる領域分割画像を入力時の原画像信号のサイズに合わせるためにサイズ変換(拡大処理)を行うようになっている。具体的には、拡大部25は、予め設定された縮小率に基づき、公知の補間処理(例えばバイリニア補間処理)による縮小処理の「逆」変換、すなわち拡大処理を実行するようになっている。拡大部25により拡大された領域分割画像はフィルタ部27へ転送されるようになっている。
フィルタ部27は、拡大部25から送られてくる領域分割画像において、各集塊領域のサイズ(画素数)に対するフィルタリング処理を行うようになっている。具体的には、フィルタ部27は、各集塊領域について領域内に属する画素数を算出し、各集塊領域の大きさを計測するようになっている。また、フィルタ部27は、算出した画素数が予め設定した下限閾値(領域閾値)〜上限閾値の範囲外にある場合に、領域分割画像中から当該領域を削除するようになっている。このようにすることで、画素数が予め設定した下限閾値〜上限閾値の範囲外にあるようなノイズを除去することができる。フィルタ部27によりフィルタリングされた領域分割画像は出力部29へ転送されるようになっている。
出力部29は、フィルタ部27から送られてくるフィルタリングされた領域分割画像(Zスタック画像データ)を、各細胞集塊が個別領域として分割された領域分割結果として、例えばTIFFフォーマット等の所定の画像形式に変換して出力し、フラッシュメモリ等の記録媒体に保存させるようになっている。図8(a)は生成された最終的な領域分割結果としてのZスタック画像データを示し、図8(b)はその所定断面Z=z(3)のスライス画像を示している。図8(a),(b)において符号Rは集塊領域を示している。
次に、本実施形態に係る細胞集塊認識方法について説明する。
本実施形態に係る細胞集塊認識方法は、図9のフローチャートに示されるように、複数の細胞からなる細胞集塊を複数含む細胞画像の画素値を平滑化し、各細胞集塊内の細胞間に存在する隙間を埋めた平滑化画像を生成する平滑化工程SA3,SA7と、平滑化画像を細胞集塊の背景領域と非背景領域とに二値化して、個々の集塊領域に対応するシードを作成するシード作成工程(二値化工程)SA4と、シードを成長させて、平滑化画像の非背景領域を細胞集塊ごとの領域に分割する領域拡張工程(領域分割工程)SA9とを含んでいる。
本実施形態に係る細胞集塊認識方法は、図9のフローチャートに示されるように、複数の細胞からなる細胞集塊を複数含む細胞画像の画素値を平滑化し、各細胞集塊内の細胞間に存在する隙間を埋めた平滑化画像を生成する平滑化工程SA3,SA7と、平滑化画像を細胞集塊の背景領域と非背景領域とに二値化して、個々の集塊領域に対応するシードを作成するシード作成工程(二値化工程)SA4と、シードを成長させて、平滑化画像の非背景領域を細胞集塊ごとの領域に分割する領域拡張工程(領域分割工程)SA9とを含んでいる。
このように構成された画像処理装置5、細胞集塊認識装置1および細胞集塊認識方法の作用について以下に説明する。
本実施形態に係る画像処理装置5、細胞集塊認識装置1および細胞集塊認識方法により細胞集塊を認識するには、図9のフローチャートに示されるように、撮像装置3により撮影された3次元的なZスタック画像データが領域分割対象となる原画像信号として画像処理装置5の正規化部7に入力される。
本実施形態に係る画像処理装置5、細胞集塊認識装置1および細胞集塊認識方法により細胞集塊を認識するには、図9のフローチャートに示されるように、撮像装置3により撮影された3次元的なZスタック画像データが領域分割対象となる原画像信号として画像処理装置5の正規化部7に入力される。
次いで、正規化部7により、撮像装置3から送られてきた原画像信号の各画素値が12bit(0−4095階調)範囲に正規化され、正規化画像が生成される(ステップSA1)。そして、正規化部7により生成された正規化画像が縮小部9に転送される。
次いで、縮小部9により、予め設定した縮小率に基づいて、正規化部7から送られてきた正規化画像に公知の縮小・補間処理が適用され、縮小処理が施された縮小画像が生成される(ステップSA2)。そして、縮小部9によりサイズ変換された縮小画像が第1平滑化処理部11および階調補正部15へ転送される。
次いで、第1平滑化処理部11により、縮小部9から送られてきた図10(a)に示すような縮小画像に対してガウシアン平滑化処理が施され、集塊領域内の個々の細胞間に存在する隙間が埋められた図10(b)に示すような平滑化画像が生成される(ステップSA3)。そして、第1平滑化処理部11により生成された平滑化画像がシード作成部13へ転送される。図10(a),(b)において、符号Rは集塊領域を示している。図10(c)も同様である。
次いで、シード作成部13により、第1平滑化処理部11から送られてきた平滑化画像が、二値化閾値を用いた公知の輝度値ベースの閾値処理によって、図10(c)に示すように、集塊領域の背景領域と非背景領域とに二値化される。この場合において、第1平滑化処理部11により平滑化画像において集塊領域内の細胞間に存在する隙間を埋めておくことで、平滑化画像を背景領域と非背景領域とに精度よく二値化することができる。
そして、シード作成部13により、非背景領域にラベリング処理が施され、個々の集塊領域に対してできるだけ1対1に対応して存在するようなシード(初期領域)が作成される(ステップSA4)。シード作成部13により作成されたシードは領域拡張部23へ転送される。
また、階調補正部15により、縮小部9から送られてきた縮小画像に階調補正処理が施され、画像中の細胞集塊における細胞間の隙間に相当する低中間輝度値が持ち上げられた階調補正画像が生成される(ステップSA5)。そして、階調補正部15により生成された階調補正画像が第2平滑化処理部17および領域拡張時参照画像作成部21へ転送される。
次いで、領域拡張時参照画像作成部21により、階調補正部15から送られてきた階調補正画像に平滑化処理が施され、集塊領域内の凹凸がならされて細胞間に存在する隙間が埋められた領域拡張時参照画像が作成される(ステップSA6)。そして、領域拡張時参照画像作成部21により作成された領域拡張時参照画像が領域拡張部23に転送される。
また、第2平滑化処理部17により、階調補正部15から送られてきた階調補正画像に第1平滑化処理部11と同様の平滑化処理が施され、平滑化画像が生成される(ステップSA7)。そして、第2平滑化処理部17により生成された平滑化画像が概形領域作成部19に転送される。
次いで、概形領域作成部19により、第2平滑化処理部17から送られてきた平滑化画像に対して輝度値ベースの閾値処理が行われ、各集塊領域の概略形状を表す概形領域が作成される(ステップSA8)。そして、概形領域作成部19により作成された概形領域が領域拡張部23に転送される。
次いで、領域拡張部23により、シード作成部13から送られてきたシードに対して、領域拡張時参照画像作成部21から送られてきた領域拡張時参照画像の各シード周辺画素の輝度変化が参照されつつ、概形領域作成部19から送られてきた概形領域の範囲内に制限が設けられた所定の領域拡張法により領域分割処理が施され、細胞集塊ごとに領域が分割された領域分割画像が生成される(ステップSA9)。そして、領域拡張部23により生成された領域分割画像が拡大部25へ転送される。
次いで、拡大部25により、領域拡張部23から送られてきた領域分割画像に拡大処理が施され、領域分割画像が入力時の原画像サイズに戻される(ステップSA10)。そして、拡大部25によりサイズ変換された領域分割画像がフィルタ部27に転送される。
次いで、フィルタ部27により、拡大部25から送られてきた領域分割画像において各集塊領域のサイズ(画素数)に対するフィルタリング処理が施され、画素数が予め設定された下限閾値〜上限閾値の範囲外にあるようなノイズが除去される(ステップSA11)。そして、フィルタ部27によりフィルタリング処理された領域分割画像が出力部29に転送される。
次いで、出力部29により、フィルタ部27から送られてきた各細胞集塊が個別領域として分割された領域分割画像が領域分割結果として出力されて、フラッシュメモリ等の記録媒体に保存される(ステップSA12)。
以上説明したように、本実施形態に係る画像処理装置5、細胞集塊認識装置1および細胞集塊認識方法によれば、第1平滑化部11により、各集塊領域内の隙間が埋められた平滑化画像が生成され、シード作成部13により、その平滑化画像が集塊領域の背景領域と非背景領域とに二値化されて、非背景領域から個々の集塊領域に対応するシードが作成される。そして、領域拡張部23により、シードが成長させられて非背景領域が細胞集塊ごとの領域に分割される。これにより、複数の細胞集塊を撮影した細胞画像から細胞間の空隙を排した細胞集塊ごとの領域を容易に抽出することができる。
〔第2実施形態〕
次に、本発明の第2実施形態に係る画像処理装置、細胞集塊認識装置および細胞集塊認識方法について説明する。
本実施形態に係る画像処理装置、細胞集塊認識装置および細胞集塊認識方法は、概形領域に基づいてシード作成を行う点で第1実施形態と異なる。
以下、第1実施形態に係る画像処理装置5、細胞集塊認識装置1および細胞認識方法と構成を共通する箇所には、同一符号を付して説明を省略する。
次に、本発明の第2実施形態に係る画像処理装置、細胞集塊認識装置および細胞集塊認識方法について説明する。
本実施形態に係る画像処理装置、細胞集塊認識装置および細胞集塊認識方法は、概形領域に基づいてシード作成を行う点で第1実施形態と異なる。
以下、第1実施形態に係る画像処理装置5、細胞集塊認識装置1および細胞認識方法と構成を共通する箇所には、同一符号を付して説明を省略する。
本実施形態に係る細胞集塊認識装置31は、図11に示すように、画像処理装置5が、正規化部7と、縮小部9と、階調補正部15と、領域拡張時参照画像作成部21と、第2平滑化処理部17と、概形領域作成部19と、第1平滑化処理部11およびシード作成部13に代わる距離変換処理部(距離変換部)33およびシード作成部(初期領域設定部)35と、領域拡張部23と、拡大部25と、フィルタ部27と、出力部29とを備えている。
これら各処理部は、図示しないシステムコントローラに接続されて動作制御されるようになっている。また、これら各処理部は、例えばCPU(中央演算処理装置)と演算プログラムを格納するRAM、ROM等の記憶装置などから構成されていてもよく、その場合は、ROMに演算プログラムとしての細胞集塊認識プログラムが格納されることとすればよい。
本実施形態では、概形領域作成部19により作成された概形領域は、領域拡張部23および距離変換処理部33へ転送されるようになっている。
距離変換処理部33は、概形領域作成部19から送られてくる概形領域(非背景領域)に対して距離変換処理を行うようになっている。距離変換処理は、各概形領域内の画素について、領域境界(背景領域との境界)からの最短距離(以下、距離値とする。)を算出するようになっている。そして、距離変換処理部33は、算出した距離値を画素値として用いて構成された距離変換画像を作成するようになっている。
距離変換処理部33は、概形領域作成部19から送られてくる概形領域(非背景領域)に対して距離変換処理を行うようになっている。距離変換処理は、各概形領域内の画素について、領域境界(背景領域との境界)からの最短距離(以下、距離値とする。)を算出するようになっている。そして、距離変換処理部33は、算出した距離値を画素値として用いて構成された距離変換画像を作成するようになっている。
図12(a),(b)は、2つの概形領域が近接している場合に行った距離変換処理の例を示している。図12(a)において2つの概形領域は近接し繋がっているが、距離変換処理を施した図12(b)では各概形領域の中央部付近の距離値が高く、近接し繋がった部分は逆に距離値が低い様子が分かる。図12(b)では距離値を輝度値で表している。図12(a),(b)において符号Dは概形領域を示している。距離変換処理部33により作成された距離変換画像はシード作成部35に転送されるようになっている。
シード作成部35は、距離変換処理部33から送られてくる距離変換画像に対して、空間的に独立・分離している概形領域毎に領域内に属する距離値の最大値maxDistを求めるようになっている。そして、シード作成部35は、距離値に対する所定の距離閾値を用いた閾値処理を行うことで、図12(c)に示すように、改めてシード(初期領域)を作成するようになっている。図12(c)において符号Fはシードを示している。
図13に、シード作成部35による閾値処理の1次元の例を示す。閾値thDistは、個々に独立した概形領域毎の距離値最大値maxDistを基準に、thDist=thCoef・maxDistのように設定される。
ここで、係数thCoefは予め設定されたユーザ調整用の係数である。図13において、縦軸は距離値を示している。
ここで、係数thCoefは予め設定されたユーザ調整用の係数である。図13において、縦軸は距離値を示している。
図13では概形領域G1に対して距離値最大値maxDist1であり、これを基準として閾値thDist1(=thCoef×maxDist1)が設定され、閾値処理の結果シードF1、シードF2が作成されている。シード作成部35により作成されたシードは領域拡張部23に転送されるようになっている。
このように構成された画像処理装置5、細胞集塊認識装置31および細胞集塊認識方法の作用について以下に説明する。
本実施形態に係る画像処理装置5、細胞集塊認識装置31および細胞集塊認識方法により細胞集塊を認識するには、図14のフローチャートに示されるように、撮像装置3により撮影された3次元的なZスタック画像が領域分割対象となる原画像信号として画像処理装置5に入力される。
本実施形態に係る画像処理装置5、細胞集塊認識装置31および細胞集塊認識方法により細胞集塊を認識するには、図14のフローチャートに示されるように、撮像装置3により撮影された3次元的なZスタック画像が領域分割対象となる原画像信号として画像処理装置5に入力される。
そして、画像処理装置5において、ステップSA1〜ステップSA8が行われた後、概形領域作成部19により作成された概形領域が、領域拡張部23および距離変換処理部33へ転送される。
次いで、距離変換処理部33により、概形領域作成部19から送られてきた概形領域に対して距離変換処理が行われて、各概形領域内の画素について距離値が算出される。そして、距離変換処理部33により、算出された距離値が画素値として用いられて構成された距離変換画像が作成される(ステップSB1)。距離変換処理部33により作成された距離変換画像はシード作成部35へ転送される。
次いで、シード作成部35により、距離変換処理部33から送られてきた距離変換画像に対して距離値に対する閾値処理が施され、図12(c)に符号Fで示すようなシードが作成される(ステップSB2)。シード作成部35により作成されたシードは領域拡張部23に転送される。そして、第1実施形態と同様に、ステップSA9〜ステップSA12が行われ、各細胞集塊が個別領域として分割された領域分割画像が生成されて、領域分割結果として保存される。
以上説明したように、複数の概形領域(非背景領域)が近接して繋がっているような場合は、各集塊領域の中央部付近ほど背景領域との境界からの距離値が大きく、概形領域どうしが近接して繋がった部分は距離値が小さいことが多い。本実施形態に係る画像処理装置5、細胞集塊認識装置31および細胞集塊認識方法によれば、距離変換処理部33により算出される距離値に基づいてシード作成部35により設定される個々の細胞集塊に対応するシードに従い、領域拡張部23により各細胞集塊の領域を容易に画定することができる。これにより、複数の細胞集塊を撮影した細胞画像から細胞間の空隙を排した細胞集塊ごとの領域を容易に抽出することができる。
上記各実施形態においては、階調補正部15が画像中の低中間輝度値の画素に対して階調補正処理を行うこととしたが、画像中の所定の低輝度閾値以下の低輝度の画素、および、所定の低輝度閾値よりも高く所定の高輝度閾値以下の中間輝度の画素の少なくとも一方に階調補正処理を施すこととすればよい。
このようにすることで、所定の低輝度閾値および所定の高輝度閾値を適切に設定しておくだけで、細胞集塊内の隙間の画素の輝度値を容易に増大させることができる。
このようにすることで、所定の低輝度閾値および所定の高輝度閾値を適切に設定しておくだけで、細胞集塊内の隙間の画素の輝度値を容易に増大させることができる。
上記各実施形態においては、画像処理方法をハードウェアによって実現する構成について説明したが、コンピュータにより実行可能な画像処理プログラムによって実現することとしてもよい。
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、本発明を上記各実施形態および変形例に適用したものに限定されることなく、これらの実施形態および変形例を適宜組み合わせた実施形態に適用してもよく、特に限定されるものではない。
1 細胞集塊認識装置
3 撮像装置(撮像部)
5 画像処理装置
7 正規化部
9 縮小部
11 第1平滑化処理部(平滑化部)
13 シード作成部(二値化部)
15 階調補正部
17 第2平滑化処理部(平滑化部)
23 領域拡張部(領域分割部)
25 拡大部
27 フィルタ部(計測部、フィルタリング部)
33 距離変換処理部(距離変換部)
35 シード作成部(初期領域設定部)
SA3,SA7 平滑化工程
SA4 シード作成工程(二値化工程)
SA9 領域拡張工程(領域分割工程)
C 細胞
S スフェロイド(細胞集塊)
3 撮像装置(撮像部)
5 画像処理装置
7 正規化部
9 縮小部
11 第1平滑化処理部(平滑化部)
13 シード作成部(二値化部)
15 階調補正部
17 第2平滑化処理部(平滑化部)
23 領域拡張部(領域分割部)
25 拡大部
27 フィルタ部(計測部、フィルタリング部)
33 距離変換処理部(距離変換部)
35 シード作成部(初期領域設定部)
SA3,SA7 平滑化工程
SA4 シード作成工程(二値化工程)
SA9 領域拡張工程(領域分割工程)
C 細胞
S スフェロイド(細胞集塊)
Claims (19)
- 複数の細胞からなる細胞集塊を複数含む細胞画像の輝度値を平滑化し、各前記細胞集塊内の前記細胞間に存在する隙間を埋めた平滑化画像を生成する平滑化部と、
前記平滑化画像を前記細胞集塊の背景領域と非背景領域とに二値化する二値化部と、
二値化された前記平滑化画像の前記非背景領域を前記細胞集塊ごとの領域に分割する領域分割部とを備える画像処理装置。 - 前記平滑化部により平滑化する前の前記細胞画像における前記細胞集塊内の前記隙間に相当する画素の輝度値を増大させる階調補正処理を施す階調補正部を備える請求項1に記載の画像処理装置。
- 前記細胞画像が、複数の前記細胞集塊を3次元的に撮影した画像である請求項1または請求項2に記載の画像処理装置。
- 前記階調補正部が、所定の低輝度閾値以下の低輝度の画素、および、前記所定の低輝度閾値よりも高く所定の高輝度閾値以下の中間輝度の画素の少なくとも一方に前記階調補正処理を施す請求項2に記載の画像処理装置。
- 前記階調補正部が、前記細胞画像にヒストグラム均等化法による前記階調補正処理を施す請求項2または請求項4に記載の画像処理装置。
- 前記階調補正部が、前記細胞画像に所定のガンマ曲線に基づく前記階調補正処理を施す請求項2または請求項4に記載の画像処理装置。
- 前記二値化部が、前記細胞画像の画素値の分布に基づいて適応的な所定の二値化閾値を設定し、該二値化閾値に基づいて前記平滑化画像を二値化する請求項1から請求項6のいずれかに記載の画像処理装置。
- 前記二値化部が、ユーザが設定する所定の二値化閾値に基づいて前記平滑化画像を二値化する請求項1から請求項6のいずれかに記載の画像処理装置。
- 前記領域分割部が、前記非背景領域内の各画素に対して前記背景領域との境界からの距離値を算出する距離変換部と、該距離変換部により算出された前記距離値に基づいて個々の前記細胞集塊に対応する初期領域をそれぞれ設定する初期領域設定部と、各前記初期領域を拡張させて各前記細胞集塊の領域を画定する領域拡張部とを備える請求項1から請求項8のいずれかに記載の画像処理装置。
- 前記初期領域設定部が、前記距離値が所定の距離閾値よりも大きい領域を前記初期領域として設定する請求項9に記載の画像処理装置。
- 前記平滑化部により平滑化する前の前記細胞画像に対して各画素の輝度値を所定の階調幅に変換する正規化部を備える請求項1から請求項10のいずれかに記載の画像処理装置。
- 前記平滑化部により平滑化する前の前記細胞画像の情報量を所定の縮小率に基づいて縮小する縮小部と、
前記領域分割部により前記細胞集塊ごとに領域が分割された前記平滑化画像の情報量を拡大する拡大部とを備える請求項1から請求項11に記載のいずれかに記載の画像処理装置。 - 前記非背景領域を分割して得られた各前記細胞集塊の領域の大きさを計測する計測部と、
該計測部により計測された大きさが所定の領域閾値よりも小さい前記細胞集塊の領域を除去するフィルタリング部とを備える請求項1から請求項12のいずれかに記載の画像処理装置。 - 前記平滑化部が、前記細胞画像を撮影した際の光学倍率が大きければ大きいほど平滑化の強度を強くする請求項1から請求項13のいずれかに記載の画像処理装置。
- 複数の細胞からなる複数の細胞集塊を撮影して細胞画像を取得する撮像部と、
該撮像部により取得された前記細胞画像の輝度値を平滑化し、各前記細胞集塊内の前記細胞間に存在する隙間を埋めた平滑化画像を生成する平滑化部と、
前記平滑化画像を前記細胞集塊の背景領域と非背景領域とに二値化する二値化部と、
二値化された前記平滑化画像の前記非背景領域を前記細胞集塊ごとの領域に分割する領域分割部とを備える細胞集塊認識装置。 - 前記平滑化部により平滑化する前の前記細胞画像における前記細胞集塊内の前記隙間に相当する画素の輝度値を増大させる階調補正処理を施す階調補正部を備える請求項15に記載の細胞集塊認識装置。
- 前記細胞画像が、複数の前記細胞集塊を3次元的に撮影した画像である請求項15または請求項16に記載の細胞集塊認識装置。
- 複数の細胞からなる細胞集塊を複数含む細胞画像の画素値を平滑化し、各前記細胞集塊内の前記細胞間に存在する隙間を埋めた平滑化画像を生成する平滑化工程と、
前記平滑化画像を前記細胞集塊の背景領域と非背景領域とに二値化する二値化工程と、
二値化された前記平滑化画像の前記非背景領域を前記細胞集塊ごとの領域に分割する領域分割工程とを含む細胞集塊認識方法。 - 複数の細胞からなる細胞集塊を複数含む細胞画像の画素値を平滑化し、各前記細胞集塊内の前記細胞間に存在する隙間を埋めた平滑化画像を生成する平滑化工程と、
前記平滑化画像を前記細胞集塊の背景領域と非背景領域とに二値化する二値化工程と、
二値化された前記平滑化画像の前記非背景領域を前記細胞集塊ごとの領域に分割する領域分割工程とをコンピュータに実行させる細胞集塊認識プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017183167A JP2019058074A (ja) | 2017-09-25 | 2017-09-25 | 画像処理装置、細胞集塊認識装置、細胞集塊認識方法および細胞集塊認識プログラム |
US16/122,185 US11010590B2 (en) | 2017-09-25 | 2018-09-05 | Image processing device, cell-cluster recognition apparatus, cell-cluster recognition method, and cell-cluster recognition program for binarizing and segmenting smoothed cell image in which gap between cells in each cell cluster is filled in |
DE102018215775.8A DE102018215775A1 (de) | 2017-09-25 | 2018-09-17 | Bildverarbeitungsvorrichtung, Zellen-Cluster-Erkennungsvorrichtung, Zellen-Cluster-Erkennungsverfahren und Zellen-Cluster-Erkennungsprogramm |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017183167A JP2019058074A (ja) | 2017-09-25 | 2017-09-25 | 画像処理装置、細胞集塊認識装置、細胞集塊認識方法および細胞集塊認識プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019058074A true JP2019058074A (ja) | 2019-04-18 |
Family
ID=65638737
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017183167A Pending JP2019058074A (ja) | 2017-09-25 | 2017-09-25 | 画像処理装置、細胞集塊認識装置、細胞集塊認識方法および細胞集塊認識プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11010590B2 (ja) |
JP (1) | JP2019058074A (ja) |
DE (1) | DE102018215775A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021124866A1 (ja) * | 2019-12-19 | 2021-06-24 | コニカミノルタ株式会社 | 画像処理方法、画像処理システム及びプログラム |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019058074A (ja) * | 2017-09-25 | 2019-04-18 | オリンパス株式会社 | 画像処理装置、細胞集塊認識装置、細胞集塊認識方法および細胞集塊認識プログラム |
WO2019143633A1 (en) * | 2018-01-18 | 2019-07-25 | Nantomics, Llc | Real-time whole slide pathology image cell counting |
CN110969583A (zh) * | 2019-09-11 | 2020-04-07 | 宁波江丰生物信息技术有限公司 | 一种图像背景处理方法及*** |
CN110838126B (zh) * | 2019-10-30 | 2020-11-17 | 东莞太力生物工程有限公司 | 细胞图像分割方法、装置、计算机设备和存储介质 |
CN111311557A (zh) * | 2020-01-23 | 2020-06-19 | 腾讯科技(深圳)有限公司 | 内窥镜图像处理方法、装置、电子设备及存储介质 |
CN113393401B (zh) * | 2021-06-24 | 2023-09-05 | 上海科技大学 | 物体检测硬件加速器、***、方法、设备和介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2791303B2 (ja) | 1995-11-18 | 1998-08-27 | 株式会社電脳技研 | 1つの連結領域が示すコロニーの個数を識別する識別方法及びこれを用いたコロニー計数装置 |
JP4558047B2 (ja) | 2008-01-23 | 2010-10-06 | オリンパス株式会社 | 顕微鏡システム、画像生成方法、及びプログラム |
JP5580267B2 (ja) * | 2011-09-08 | 2014-08-27 | 大日本スクリーン製造株式会社 | 検出方法 |
JP5771635B2 (ja) | 2013-02-01 | 2015-09-02 | 株式会社Screenホールディングス | キャリブレーション方法 |
WO2014171382A1 (ja) | 2013-04-17 | 2014-10-23 | 大日本印刷株式会社 | コロニー検出装置、培地情報登録システム、プログラム及び衛生管理システム |
JP6229365B2 (ja) | 2013-08-06 | 2017-11-15 | 富士通株式会社 | コロニーカウント装置、コロニーカウント方法、およびコロニーカウントプログラム |
US11004199B2 (en) * | 2016-11-11 | 2021-05-11 | University Of South Florida | Automated stereology for determining tissue characteristics |
JP2019058074A (ja) * | 2017-09-25 | 2019-04-18 | オリンパス株式会社 | 画像処理装置、細胞集塊認識装置、細胞集塊認識方法および細胞集塊認識プログラム |
-
2017
- 2017-09-25 JP JP2017183167A patent/JP2019058074A/ja active Pending
-
2018
- 2018-09-05 US US16/122,185 patent/US11010590B2/en active Active
- 2018-09-17 DE DE102018215775.8A patent/DE102018215775A1/de not_active Withdrawn
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021124866A1 (ja) * | 2019-12-19 | 2021-06-24 | コニカミノルタ株式会社 | 画像処理方法、画像処理システム及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
DE102018215775A1 (de) | 2019-03-28 |
US11010590B2 (en) | 2021-05-18 |
US20190095679A1 (en) | 2019-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019058074A (ja) | 画像処理装置、細胞集塊認識装置、細胞集塊認識方法および細胞集塊認識プログラム | |
JP5941674B2 (ja) | 細胞輪郭線形成装置及びその方法、細胞輪郭線形成プログラム | |
Hunnur et al. | Implementation of image processing for detection of brain tumors | |
CN102068281B (zh) | 一种占位性病变超声图像的处理方法 | |
CN101620727B (zh) | 红外图像加权直方图自适应增强算法 | |
RU2444786C2 (ru) | Устройство и способы для увеличения динамического диапазона в цифровых изображениях | |
JP6547386B2 (ja) | 画像処理装置及び方法 | |
KR101493375B1 (ko) | 화상처리장치, 화상처리방법, 및 컴퓨터 판독가능한 기억매체 | |
US10860835B2 (en) | Image processing device, cell recognition device, cell recognition method, and cell recognition program | |
CN106442526A (zh) | 一种基于matlab的活性污泥絮体分析方法 | |
CN107784637B (zh) | 一种红外图像增强的方法 | |
JP2009541838A (ja) | 画像値を含む画像において閾値を定めるための方法、システム及び計算機プログラム | |
JP2013105245A (ja) | 画像処理方法、装置及びプログラム | |
JP2017221555A (ja) | 角膜内皮細胞品質評価支援システム | |
JP2012014628A (ja) | 画像表示装置 | |
CN114418904A (zh) | 一种基于改进直方图均衡化和增强高通滤波的红外图像增强方法 | |
CN1670620A (zh) | 图像处理装置及方法 | |
CN117764994B (zh) | 基于人工智能的胆胰成像***及方法 | |
CN106691505B (zh) | 一种处理超声影像均匀性和对比度的方法和装置 | |
WO2020107308A1 (zh) | 一种基于Retinex的微光图像快速增强方法及其装置 | |
JP2018185265A (ja) | 情報処理装置、制御方法、及びプログラム | |
JP2012231301A (ja) | 係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体 | |
CN112734743A (zh) | 一种胎儿头围自动测量方法及装置 | |
CN102073991A (zh) | 增强图像中的空间局域化征兆的对比度的方法 | |
Jawdekar et al. | A review of image enhancement techniques in medical imaging |