JP3653804B2 - 粒子画像の領域分割方法及び装置 - Google Patents
粒子画像の領域分割方法及び装置 Download PDFInfo
- Publication number
- JP3653804B2 JP3653804B2 JP17178795A JP17178795A JP3653804B2 JP 3653804 B2 JP3653804 B2 JP 3653804B2 JP 17178795 A JP17178795 A JP 17178795A JP 17178795 A JP17178795 A JP 17178795A JP 3653804 B2 JP3653804 B2 JP 3653804B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- density
- value
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000002245 particle Substances 0.000 title claims description 242
- 238000000034 method Methods 0.000 title claims description 168
- 230000011218 segmentation Effects 0.000 title claims description 28
- 230000008859 change Effects 0.000 claims description 107
- 239000013049 sediment Substances 0.000 claims description 41
- 230000003287 optical effect Effects 0.000 claims description 31
- 230000002485 urinary effect Effects 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 2
- 210000004027 cell Anatomy 0.000 description 144
- 230000015654 memory Effects 0.000 description 89
- 238000012545 processing Methods 0.000 description 68
- 239000000523 sample Substances 0.000 description 59
- 238000004364 calculation method Methods 0.000 description 48
- 238000010186 staining Methods 0.000 description 41
- 238000012937 correction Methods 0.000 description 32
- 210000002700 urine Anatomy 0.000 description 32
- 230000008569 process Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 26
- 235000019646 color tone Nutrition 0.000 description 12
- 238000001514 detection method Methods 0.000 description 11
- 241000894006 Bacteria Species 0.000 description 10
- 239000006185 dispersion Substances 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 9
- 238000002372 labelling Methods 0.000 description 8
- 210000003743 erythrocyte Anatomy 0.000 description 7
- 239000000284 extract Substances 0.000 description 7
- 238000007447 staining method Methods 0.000 description 6
- 238000007796 conventional method Methods 0.000 description 5
- 239000012192 staining solution Substances 0.000 description 5
- 230000008719 thickening Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 239000012530 fluid Substances 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 239000007788 liquid Substances 0.000 description 4
- 238000007493 shaping process Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 3
- 239000008280 blood Substances 0.000 description 3
- 210000000601 blood cell Anatomy 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 210000000805 cytoplasm Anatomy 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000031700 light absorption Effects 0.000 description 3
- 239000000981 basic dye Substances 0.000 description 2
- 239000012472 biological sample Substances 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000004043 dyeing Methods 0.000 description 2
- 210000002919 epithelial cell Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- CXZRDVVUVDYSCQ-UHFFFAOYSA-M pyronin B Chemical compound [Cl-].C1=CC(=[N+](CC)CC)C=C2OC3=CC(N(CC)CC)=CC=C3C=C21 CXZRDVVUVDYSCQ-UHFFFAOYSA-M 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000233866 Fungi Species 0.000 description 1
- 101100161752 Mus musculus Acot11 gene Proteins 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 238000005119 centrifugation Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 239000000975 dye Substances 0.000 description 1
- 238000005429 filling process Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 210000000265 leukocyte Anatomy 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000002715 modification method Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 210000004085 squamous epithelial cell Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 239000013076 target substance Substances 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- C—CHEMISTRY; METALLURGY
- C04—CEMENTS; CONCRETE; ARTIFICIAL STONE; CERAMICS; REFRACTORIES
- C04B—LIME, MAGNESIA; SLAG; CEMENTS; COMPOSITIONS THEREOF, e.g. MORTARS, CONCRETE OR LIKE BUILDING MATERIALS; ARTIFICIAL STONE; CERAMICS; REFRACTORIES; TREATMENT OF NATURAL STONE
- C04B37/00—Joining burned ceramic articles with other burned ceramic articles or other articles by heating
- C04B37/001—Joining burned ceramic articles with other burned ceramic articles or other articles by heating directly with other burned ceramic articles
Landscapes
- Chemical & Material Sciences (AREA)
- Engineering & Computer Science (AREA)
- Ceramic Engineering (AREA)
- Materials Engineering (AREA)
- Structural Engineering (AREA)
- Organic Chemistry (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Description
【産業上の利用分野】
本発明は、色彩情報、及び濃度情報を用いた画像の領域分割方法に関し、特に血液や尿中の粒子像を分割するのに好適な領域分割方法、及び装置に関する。
【0002】
【従来の技術】
尿中の粒子を形態学的に検査するには、従来、目視で行なう方法では、尿試料を遠心分離し、沈渣物を染色してスライドガラス上に標本を作り、顕微鏡観察して行っていた。その際、遠心分離での試料の濃縮の度合い、及び観察する試料の量を一定にして、元の尿試料中の、沈渣物の種類とその濃度が求められていた。
【0003】
沈渣物の中には、血球細胞や細菌等のように、大きさが数マイクロメートルの粒子から、円柱などのように数百マイクロメートルの粒子まであり、顕微鏡の倍率を高倍率と低倍率に切り替えて、これら大きさの異なる粒子を観察していた。
【0004】
従来の、顕微鏡観察による目視の検査では、(1)スライドガラスを使用した方法ではスループットが悪く、(2)腐敗の早い尿標本の取り扱いが困難である等、の問題がある。
【0005】
近年、血液像検査は、スライドガラス標本を用いた方式から、血液サンプルを直接に液体試料のままで検査するフロー方式へと移行されつつある。フロー方式では、検体の高速処理が実現できるものと期待されている。
【0006】
連続的に流れているサンプル試料中の粒子画像を撮影し、個々の粒子画像から粒子を分析・分類する試みが、特表昭57−500995号公報、特開昭63−94156号公報に記載されている。
【0007】
特表昭57−500995号公報には、サンプル試料を特別な形状の流路に通し、試料中の粒子を幅広の撮像領域中に流し、フラッシュランプを使用して静止画像を撮影し、この静止画像を用いて粒子分析する方法が記載されている。顕微鏡を用いて、サンプル粒子の拡大像をCCDカメラ上に投影するとき、パルス光源であるフラッシュランプが、CCDカメラの動作に同期して周期的に発光する。パルス光源の発光時間は短く、粒子が連続的に流れていても静止画像を得ることができ、CCDカメラは毎秒30枚の静止画像を撮影できる。
【0008】
特開昭63−94156号公報には、静止画像撮影系とは別に、サンプル流の粒子画像撮影領域よりも上流に、粒子の通過を検出する粒子検出用の光学系を配置する記載がある。予め、粒子検出部で粒子の通過を検出して、丁度その粒子が、粒子撮像領域に達したとき、適当なタイミングでフラッシュランプが点灯する方法である。この方法では、パルス光源の発光を周期的に行なわず、粒子の通過を検出して、その時だけタイミングを合わせてフラッシュランプが点灯して、静止画像を撮影できる。この結果、効率的に粒子画像が集められ、濃度の薄いサンプル試料の場合には、粒子の存在しないサンプル流れの部分では、静止画像は撮影しないので、無駄な画像処理を行なわないで済む。
【0009】
特開平5−296915号公報には、粒子を検出する粒子検出用の光学系を、粒子画像撮像系の中に組み込んだ方法が記載されている。即ち、粒子を検出する粒子検出用のレーザ光束が、顕微鏡画像撮像系の顕微鏡コンデンサレンズを通して、サンプル流れに照射する方法が記載されている。この方法では、粒子を検出する粒子検出用の光学系を、別に用意する必要がなく、粒子検出位置を、できるだけ粒子画像の取り込み領域に近づけて配置できる。
【0010】
このようにして得られる画像の領域分割方法の従来技術として、例えば、血球像の分類を行なう領域分割方法に関する記載が、特開平1−119765号公報にある。この技術では、画像の濃度ヒストグラムにより求めた閾値を用いて色彩空間で、画像の領域を分割する。
【0011】
【発明が解決しようとする課題】
しかし、領域分割の対象となる画像において、分析対象の粒子像の濃度分布が、濃度の小さい値から大きい値まで広く分布する濃度分布の場合には、従来技術では、必ずしも正確な領域分割ができないという問題があった。さらに、分析対象の濃度分布特性が粒子の色調により異なるため、複数の粒子像の領域分割を、同一の画像処理で行なうと、必ずしも正確な領域にならないという問題があった。
【0012】
尿沈渣では、沈渣成分の誤認防止、細胞判定を容易に行なうために、通常、試料は染色される。染色された生体試料の画像を撮影して、色空間で対象粒子を抽出する方法は、幾つかの方法が知られている。しかし、尿沈渣検査装置では、領域分割を行なう対象粒子が、以下のように変化に富んだ性質をもっている。
【0013】
(1)対象粒子の大きさの分布の範囲が、数μmから数百μmと幅広い。
【0014】
(2)色調の異なる複数個の粒子が、同一の画像内に存在する。
【0015】
(3)対象粒子の濃度が、小さい値から大きい値まで変化する場合がある。
【0016】
(4)同一種類の細胞でも、濃く染まる細胞と淡く染まる細胞とがある。
【0017】
(5)対象粒子の濃度が、背景部の濃度と同程度の濃度、又は低い濃度である場合がある。
【0018】
(6)試料の染色により、十分に染色される粒子、染色されにくい粒子(十分に染色されない粒子、ほとんど染色されない粒子)が混在する。
【0019】
以上のように、尿沈渣検査装置での、対象粒子は、変化に富んだ性質をもつため、従来の領域分割方法を、単純に適用できないという問題があった。
【0020】
とくに、対象粒子が十分に染色されない場合には、細胞質濃度と背景濃度に差がほとんどなく、対象粒子が存在する領域の全てが同じ値をもつ、正確な2値画像として抽出できないという問題があった。
【0021】
さらに、活性度の高い細胞は染色性が悪く、ほとんど染色されない細胞が存在し、このような細胞を含む画像では、対象粒子が存在する対象領域と背景領域との色調がほとんど同じで、対象領域の内部に、背景領域と同程度の濃度をもつ部分が多数存在するため、正確にこのような細胞を抽出できないという問題があった。
【0022】
このように、対象粒子が十分(良好に)に染色されず、正確な2値画像が得られない場合には、対象領域の特徴量が正確に求められず、対象粒子の分類を誤る原因となるとういう問題があった。
【0023】
染色性が悪く、ほとんど染色されない細胞等の対象粒子は、高い頻度で発生するため、従来技術では、試料に含まれる全ての粒子について、必ずしも正確な領域分割ができず、沈渣成分の識別精度の向上の妨げとなるという問題があった。
【0024】
上記問題点を解決するため、流体中に点在する粒子を、静止画像として撮影記録し、この静止画像の中から目的とする対象粒子を抽出する領域分割法において、 本発明の第1の目的は、静止画像の中から、濃度差のある粒子像や色調差のある粒子像をも、安定して領域分割して、正確に抽出できる領域分割法を提供することにある。
【0025】
本発明の第2の目的は、静止画像の中から、背景領域との色調差が小さく、対象粒子が存在する対象領域内に、背景領域と同程度の濃度をもつ領域を多数含む粒子像の場合にも、粒子像を安定して、正確に分割できる領域分割方法を提供することにある。
【0026】
本発明の第3の目的は、静止画像の中から、濃度差のある粒子像、色調差のある粒子像、及び、背景領域との色調差が小さく、対象粒子が存在する対象領域内に背景領域と同程度、又は以下の濃度をもつ領域を多数含む粒子像、が混在する場合にも、各粒子像を安定して、正確に分割できる領域分割方法を提供することにある。
【0027】
【課題を解決するための手段】
上記目的は、以下の構成とすることによって、達成される。即ち、粒子画像を入力する画像入力光学系により得た、染色された対象粒子の、赤成分の画像(R画像)、緑成分の画像(G画像)、及び青成分の画像(B画像)を、静止画像として撮影記憶し、前記R画像、前記G画像、及び前記B画像の中の1又は複数の画像を使用して、背景領域と、前記対象粒子が存在する対象領域とを識別する粒子画像の領域分割法であり、前記R画像、前記G画像、及び前記B画像の中から選択される1又は複数からなる第1群の画像の、それぞれの画像の前記濃度値に対し、前記背景領域と濃度差の大きい領域を分割するための第1群の閾値を設定して、前記第1群の画像から、2値化された第1の2値画像を得る第1の工程と、前記R画像、前記G画像、及び前記B画像の中から選択される1又は複数からなる第2群の画像の、それぞれの画像を構成する各画素の近傍領域内での、前記濃度値の変化の大きさを表す量を、前記各画素で計算し、前記各画素で求めた前記濃度値の変化の大きさを表わす量に、前記背景領域における前記濃度値の変化と比較し前記濃度値の変化の大きい領域を分割するための第2群の閾値を設定し、前記第2群の画像から、2値化された第2の2値画像を得る第2の工程と、前記第1の2値画像と、前記第2の2値画像との論理演算によって、前記背景領域と、前記対象領域とを表す2値化された第3の2値画像を求める第3の工程と、を有する粒子画像の領域分割法とする。
以下、各構成要件について説明する。まず、本願発明の構成の一部である、濃度値に基づいて、背景領域と対象領域とを識別する構成について、具体的に説明する。<1>即ち、前記第1の目的は、染色された試料が流体とともに流される流れの中から、画像を入力する画像入力光学系により、波長別に分離されて得た、流れの中に点在する目的とする染色された対象粒子の、赤成分の画像(R画像)、緑成分の画像(G画像)、及び青成分の画像(B画像)を、それぞれ静止画像として撮影記憶し、R画像、G画像、及びB画像の中の複数の画像を使用し、背景領域と、対象粒子が存在する対象領域とを識別する、粒子画像の領域分割法であり、R画像、G画像、及びB画像の中から、少なくとも2つの画像を選択して、この2つの画像の各画像に含まれる、画像入力光学系の歪みによる濃度むらを補正する工程と、2つの画像と、複数の閾値(T1、T2、T3、T4)を使用し、背景領域を識別して、2つの画像から、背景領域と、背景領域以外の領域であり対象粒子が存在する対象領域とを表わす、2値化された2値画像を得る工程と、を有し、対象粒子が存在する対象領域を抽出することを特徴とする領域分割法により達成される。この構成により、2値画像に変換された上記の画像から目的とする沈渣成分である対象粒子を抽出することができる。
【0028】
画像入力光学系の歪みによる濃度むらの補正により、上記の少なくとも2つの画像における濃度変動の偏差は小さくなり、背景領域を安定して識別し、正確に抽出できる。上記の2つの画像として、G画像、R画像を選択するのが好ましい。 尿沈渣検査装置で得られる画像では、背景領域は、通常、安定に存在することが判明しているので、背景領域を基準として、対象粒子が存在する対象領域を識別することができる。即ち、背景領域が安定に抽出できるので、背景領域以外の領域に、背景領域と区別して検出すべき対象粒子を表す信号成分が、全て含まれていると考えることができる。
【0029】
上記の2値画像に変換する工程を、上記2つの画像として、G画像、R画像を選択した具体的な場合を例にとって、以下に説明する。G画像、R画像のそれぞれの画像の濃度ヒストグラムを求め、ヒストグラムの最大のピーク値を持つ濃度値を求める。次いで、R画像の濃度ヒストグラムから、閾値T1、T2を求め、G画像の濃度ヒストグラムから、閾値T3、T4を求め、背景領域を抽出する。
以下に、各閾値を求め、背景領域を抽出する手順の概要を説明する。
【0030】
(手順1)各画像(G画像、R画像)の濃度ヒストグラムを作成する。
【0031】
(手順2)各濃度ヒストグラムの頻度の最大値をもつ濃度値(最大濃度値)を求める。
【0032】
(手順3)各濃度ヒストグラムのピークの半値幅の位置を与える濃度を求める。
【0033】
(手順4)(手順1)〜(手順3)で求めた、最大濃度値、ピークの半値幅の位置を与える濃度、及び予め定めれらたパラメータから、閾値T1、T2、T3、T4を算出する。
【0034】
(手順5)(手順1)〜(手順4)で算出した閾値T1、T2、T3、T4をもとに、画像空間で2値画像を作成する。背景領域は(数1)により、得られる。
【0035】
{T1≦R(i,j)<T2}∩{T3≦G(i,j)<T4} …(数1)
ここで、∩は論理積、(i,j)は画素の位置を表わし、R(i,j)、G(i,j)はそれぞれ、画像入力光学系の歪みによる濃度むらの補正がなされたR画像、G画像を表わす。
【0036】
〈2〉続いて、本願発明の構成要件の一部である、濃度値の変化の大きさに基づいて、背景領域と対象領域とを識別する構成について、説明する。即ち、前記第2の目的を実現するための、第2の構成について以下説明する。第2の目的は、染色された試料が流体とともに流される流れの中から、画像を入力する画像入力光学系により、波長別に分離されて得た、流れの中に点在する目的とする染色された対象粒子の、赤成分の画像(R画像)、緑成分の画像(G画像)、及び青成分の画像(B画像)を、それぞれ静止画像として撮影記憶し、R画像、G画像、及びB画像の中の1つの画像を使用し、背景領域と、対象粒子が存在する対象領域とを識別する、粒子画像の領域分割法であり、R画像、G画像、及びB画像の中から、所定の1つの画像を選択して、この所定の画像に含まれる、画像入力光学系の歪みによる濃度むらを補正する工程と、前記の所定の画像の濃度値に、背景領域と濃度差の大きい領域を分割するための第1群の閾値(第1、及び第2の閾値)を設定して、2値化された第1の2値画像を得る工程と、上記所定の画像を構成する各点の近傍領域内での、濃度値の変化の大きさを表す量を上記の各点で計算し、これらの各点で求めた濃度値の変化の大きさを表わす量に、背景領域での濃度値の変化と比較し、濃度値の変化の大きい領域を分割するための第2群の閾値(第3の閾値、もしくは第4、及び第5の閾値)を設定して、2値化された第2の2値画像を得る工程と、第1の2値画像と、第2の2値画像との論理演算、例えば、論理和により、背景領域と、背景領域以外の領域であり対象粒子が存在する対象領域とを表わす2値化された第3の2値画像を求める第3の工程と、を有し、第3の2値画像から、背景領域を検出して、対象領域を検出することを特徴とする領域分割法により達成される。
【0037】
なお、上記濃度値の変化の大きさを表す量としては、例えば、▲1▼画像中の近接する2か所の小領域内のそれぞれの濃度値の和の差、又はその絶対値、▲2▼画像中の小領域内での濃度値の分布の分散値、又は標準偏差、▲3▼画像中の小領域に含まれる画素の濃度値の荷重和、又はその絶対値、あるいは▲4▼▲1▼〜▲3▼の何れかの値(濃度値の変化の大きさを表す量)を、新たに濃度値とみなし、再度、▲1▼〜▲3▼の方法を適用する処理を、一回、又は複数回実施して得られる値、を使用する。上記の所定の画像として、G画像を選択するのが好ましい。
【0038】
〈3〉本発明の第3の目的を実現するための、第3の構成について以下説明する。第3の目的は、染色された試料が流体とともに流される流れの中から、画像を入力する画像入力光学系により、波長別に分離されて得た、流れの中に点在する目的とする染色された対象粒子の、赤成分の画像(R画像)、緑成分の画像(G画像)、及び青成分の画像(B画像)を、それぞれ静止画像として撮影記憶し、R画像、G画像、及びB画像の中の複数の画像を使用し、背景領域と、対象粒子が存在する対象領域とを識別する、粒子画像の領域分割法であり、R画像、G画像、及びB画像の中から、少なくとも2つの画像を選択して、この2つの画像に含まれる、画像入力光学系の歪みによる濃度むらを補正するステップAと、上記2つの画像の内の一方の所定の画像を選択して、上記所定の画像を構成する各点の近傍領域内での、濃度値の変化の大きさを表す量を上記の各点で計算し、これらの各点で求めた濃度値の変化の大きさを表わす量に、背景領域での濃度値の変化と比較し、濃度値の変化の大きい領域を分割するための第1の閾値(第1の閾値、もしくは第2、及び第3の閾値)を設定して、2値化された第1の2値画像を得る工程を有するステップBと、上記2つの画像の濃度値に、複数の閾値(T1、T2、T3、T4)を設け、上記所定の画像において、背景領域を識別して、上記所定の画像を、背景領域と、対象粒子が存在する対象領域とを表わす、2値化された第2の2値画像を得る工程を有する、ステップCと、第1の2値画像と、第2の2値画像との論理演算(論理和)により、2値化された第3の2値画像を得る工程を有する、ステップDと、を有し、上記第3の2値画像から、対象粒子が存在する対象領域を検出することを特徴とする領域分割法により達成される。
【0039】
なお、上記ステップAにおいて、上記2つの画像としてG画像、R画像を、上記ステップBにおいて、上記の所定の画像としてG画像を、選択するのが好ましい。上記ステップB、及び上記ステップCの実行は、どちらを先に実行してもよいことは言うまでもない。もちろん、上記ステップB、及び上記ステップCを、同時に平行して実行して、処理時間を短縮するのがより好ましい。
【0040】
〈4〉 本発明の第3の目的を実現するための、第4の構成について以下説明する。上記第1から第3の構成とから得られた2値画像のいずれか2つの2値画像、もしくは3つの2値画像論理演算(論理和)から、新しい領域分割の結果を得る構成とする。上記第1の構成において、所定の画像として、G画像、R画像、B画像の中から異なる2又は3つの画像を順次選択して実行し、得られる複数の第3の2値画像の論理演算、例えば論理和から対象粒子が存在する対象領域を検出する構成としてもよい。
【0041】
【作用】
本発明の第1の構成では、上記の手順により、領域分割の対象となる画像(染色された試料の画像)において、目的とする粒子像の濃度の分布が、濃度の小さい値から大きい値まで広く分布する濃度分布である場合にも、正確な領域分割ができる。さらに、分析対象の濃度分布特性が色調により異なる場合にも領域分割ができる。即ち、染色された試料の画像から、目的とする対象粒子の抽出に際し、濃度差のある粒子像や色調差のある粒子像でも、濃度差、色調差に影響されることなく、安定して正確に領域分割でき、この結果、複数の粒子の領域分割を、同一の画像処理で行なっても、正確な領域として認識できる。
【0042】
本発明の第2の構成では、濃度値の変化の大きさを表す量(上記▲1▼〜▲4▼の方法にて得られた値)として、正値のみをとる量を用いた場合、画像の各点における濃度値を横軸、濃度値の変化の大きさを表す量を縦軸とすると、図1に示すように、背景領域はBG、背景領域よりも高い濃度値をもった対象はA1、背景領域よりも低い濃度値をもった対象はA2、背景領域との濃度差は低く、かつ背景領域に比較し濃度値の変化の大きい対象はB、でそれぞれ示されるように分布する。そこで、濃度値に関し閾値T1’、T2’を、濃度値の変化の大きさに関し閾値T3’を設定して、画像を背景領域と対象領域とに分割できる。
【0043】
また、濃度値の変化の大きさを表す量として、負値も取り得る量を用いた場合、図2に示すように、背景領域はBG、背景領域よりも高い濃度値をもった対象はA1、背景領域よりも低い濃度値をもった対象はA2、背景領域との濃度差は低く、かつ背景領域に比較し濃度値の変化の大きい対象はB1、B2、でそれぞれ示されるように分布する。この場合には、濃度値に関し閾値T1’、T2’を、濃度値の変化の大きさに関し閾値T3”、T4’を設定して、背景領域と対象領域を分割できる。なお、上記▲4▼の方法を用いた場合には、上記濃度値の変化の大きさの閾値により、対象領域をより正確に抽出できる。
【0044】
また、本発明の第2の構成によれば、先に説明したような変化に富んだ性質をもつ対象粒子の領域分割が要求される尿沈渣検査装置において、試料の染色により、対象粒子が十分に染色されず、対象粒子の濃度が背景濃度とほとんど差がなく、このような対象粒子を高い頻度で多数含む試料の場合にも、対象粒子の抽出ができる。試料中に、ほとんど染色されない細胞を含み、対象粒子が存在する対象領域と背景領域との色調差が小さく、対象粒子が存在する対象領域内に、背景領域と同程度の濃度、又は背景領域の濃度より低い濃度をもつ部分(領域)が多数存在する場合にも、対象粒子の抽出を処理速度を低下させることなく、簡単な演算によって、このような対象粒子を、各粒子像毎に安定して正確に抽出し、領域分割を行うことができる。
【0045】
本発明の第3、第4の構成では、試料の染色により、十分に染色される粒子、染色されにくい粒子(十分に染色されない粒子、ほとんど染色されない粒子)が混在する場合にも、各粒子像毎に安定して分割でき、より正確な2値画像が得られ、この結果、対象領域の特徴量がより正確に求められ、対象粒子の分類の誤り防止が可能となる。このように、染色の程度が異なる対象粒子が混在し、染色性が悪く、ほとんど染色されない対象粒子が試料に含まれる場合にも、各粒子像毎に正確な領域分割ができ、各種の沈渣成分の識別精度が向上できるという特徴がある。
【0046】
【実施例】
はじめに、本発明の方法が、好適に適用できる尿沈渣検査について説明する。
【0047】
尿沈渣では、沈渣成分の誤認防止、細胞判定を容易に行なうために、試料は染色されることが多い。代表的な染色法としては、Sternheimer−Malbin(SM)染色と、Sternheimer(S)染色変法とがある。SM染色は、主に白血球の染色性に広く利用されている。一方、S染色変法(以下S染色と略す)は、塩基性色素であるアルシャンブルー、あるいはアストラルブルーと、塩基性色素であるピロニンBを用いた染色法でる。この染色法では、細胞核、及び円柱基質が明瞭に青染され、細胞質やRNA成分が、ピロニンBにより赤染されるため、赤と青のコントラストが高くなるという利点がある。この他にも、各種の染色法が知られている。尿沈渣検査では、染色された試料を使用して、血球細胞、円柱上皮細胞の分類と個数の計数、結晶の種類の識別、酵母様真菌を含む細菌の有無の識別と細菌の種類の判定、等が実行される。
【0048】
以下の各実施例では、一例として、Sternheimer染色変法で染色された尿中の固形物(尿沈渣)を、自動的に分析する尿沈渣検査装置における画像の領域分割について説明する。
【0049】
また、以下の各実施例では、尿試料から遠心分離せずに、染色した試料を、平坦なシースフローを形成するフローセルに流し、フローセルを流れる沈渣粒子に同期させて、パルス光をフローセルに照射して静止画を得て、TVカメラで撮像し、画像処理によって、尿沈渣を識別分類する。以下の各実施例で説明される画像処理は、撮影記録された画像中に存在する複数の沈渣物(検査対象粒子)の識別を、最大でTVカメラの撮像周期(1/30秒)に合わせて、高速処理できる画像処理である。
【0050】
図3に、尿沈渣検査装置の構成例を示す。尿試料22は、染色液24と混合され染色され、フローセル26内で、所定の寸法の厚さ、幅をもつ平坦な形状に整形された後、シース液に包まれ所定の寸法をもつ空間を、等速度で流れる。この装置では、半導体レーザ32からの光が、撮像領域の手前に存在する粒子検出領域に照射され、粒子検出領域を通過する粒子が粒子検出器34で検出され、この粒子検出器34による検出信号に基づいて、一定時間の遅れ(粒子が粒子検出領域から撮像領域に侵入するまでの時間)の後、フラッシュランプ(Xeランプ)30を所定の短時間だけ発光させて、撮像光学系(対物レンズ、リレーレンズ)を通して、撮影領域がTVカメラ36で撮像される。カメラ36の出力信号は、パーソナルコンピュータ28に装填されている画像処理ボードで、赤画像、緑画像、青画像(以下、R画像、G画像、B画像と略す)の波長毎にA/D変換され、各画像とも、512画素×512画素×8ビットに量子化(合計786,432バイトのデータとなる)されて、画像メモリ38に記憶される。この時、A/D変換器(図示せず)の出力は、カメラの黒レベルが0に白レベルが255となる。但し、以下の処理では、処理の都合上、対象を光吸収率で表現するために、黒レベルを255に、白レベルを0とする。
【0051】
画像の入力系において、対物レンズとカメラ間には、倍率拡大用のレンズ移動機構が配置されるため、撮像光学系の歪みによる濃度むらが発生する。この濃度むらを、補正して、除去するために、領域分割の処理を行なう前に、濃度補正処理を行なう。この補正は、R画像、G画像、B画像毎に独立に行なうが、濃度補正処理を行なう対象となる画像は、試料の染色法に従って、最も好ましい条件を満たす画像が予め選択される。
【0052】
本来、対象がない時、又は、光吸収率が無限小の一様な光学特性をもつ対象を撮影した時の画像(白画像)、及び光吸収率が無限大の対象を撮影した時の画像(黒画像)では、理想的には、画像の各画素の値が均一であるが、実際には、光学系の歪みによって、背景の濃度むらが発生する。そこで、実際に測定した、白画像W(i,j)と黒画像B(i,j)とを使用して、入力画像f(i,j)を補正し変換して、歪みが補正された画像f’(i,j)を得る。画像fは、R画像、G画像、B画像のいずれかであり、(i,j)は、画像の画素の位置を表わす。黒レベルの基準値をβ0、白レベルの基準値をα0とし、入力画像f(i,j)の相対値を[β0、α0]の振幅の範囲で表現するものすれば、歪みが補正された画像f’(i,j)は、次の(数2)で表すことができる。
【0053】
但し、i=0,1,2,…,510,511、j=0,1,2,…,510,511である。
【0054】
また近似的に、黒画像B(i,j)の分散が、A/D変換された値で1レベル以下であれば、黒画像B(i,j)をその平均値Bavで置き換え、白画像W(i,j)も各画素毎を参照することなく、小領域の白画像W’(i’,j’)での画素を参照するものとすれば、次の(数3)により、上記と同様の補正ができる。
【0055】
ここで、参照する白画像の小領域の大きさをM×Nとすると、(i’,j’)は参照する座標を示し、
i’=[i/M]
j’=[j/N] …(数4)
であり、[ ]はガウス記号である。例えば、M=N=8とすれば、白画像W’の大きさは、64×64画素分の大きさでよいことになる。
【0056】
黒レベルの基準値β0、白レベルの基準値α0は、各々R画像、G画像、B画像ともに、β0=230、α=40程度の値に設定する。
【0057】
また、白画像は、その画像内で平滑化処理を行なうか、あるいは複数の白画像を計測して、画像の平均処理、又は平滑化処理を行ない、ノイズの影響が低減できる。この補正により、撮影された色画像は、画像全面に渡って濃度が、ほぼ均一になる。以上説明した、画像の補正は、光学系の歪みが、実質的に無視できるときには、省略できることは言うまでもない。
【0058】
以上の説明は、以下の各実施例において、領域分割を行なうに先立って実行される共通する処理である。
【0059】
(実施例1)
実施例1は、本願発明の構成の一部を示す実施例であり、濃度値に基づいて、背景領域と対象領域とを識別する構成について、具体的に説明する。本実施例では、フロー方式で撮像した画像中に存在する、大きさの異なる(数μm〜数百μm)複数個の粒子を効率よく分割するために、TVカメラで波長別に入力した画像から、光学系の濃度むらを補正した後に、赤画像、緑画像の色空間で、背景領域と、対象粒子が存在する対象領域を分割し、背景領域と、対象粒子が存在する対象領域を表わす2値画像を得る。
【0060】
本実施例では、検査対象粒子の自動識別に好適な、青と赤のコントラストが高いS染色で染色した試料の画像から、画像中の沈渣成分の領域を分割する。領域分割は、画像の背景領域を基準として行なう。予め上記で説明した補正処理を行ない、光学系の濃度むらを補正し、濃度変動の偏差を小さくして、背景領域の安定な抽出を行なう。
【0061】
以下、領域分割方法の詳細について説明する。
【0062】
以下に説明する領域分割方法では、S染色で染色された試料の画像から、目的とする対象粒子の対象領域の抽出に際し、濃度差のある粒子像や色調差のある粒子像でも、安定に分割できる特徴がある。
【0063】
染色された生体試料の画像を撮影して、色空間で対象物質(粒子)を抽出する方法は、幾つかの方法が知られている。しかし、尿沈渣検査装置では、領域分割を行なう対象が、先に説明したように、変化に富んた性質を有しており、従来法の領域分割方法は、そのまま単純に適用できない。
【0064】
本発明の発明者の研究によれば、尿沈渣検査装置で得られる画像では、背景領域は、通常、安定に存在することが判明しているので、目的とする対象粒子を検出するために、本発明では、安定に存在する背景領域を先ず識別して、これを基準とする方法を採用した。即ち、背景領域が安定に抽出できれば、背景領域以外の領域に、背景領域と区別して検出すべき対象粒子を表す信号成分が、全て含まれていると考えることができる。
【0065】
顕微分光光度計による、代表的な沈渣粒子を測定した結果から、染色剤の吸収ピークが550nm近辺にあり、波長領域400〜500nm(青成分)での感度に比較し、波長領域500〜700nm(緑成分、赤成分)での感度が高いことが判明した。この結果から、S染色で染色された試料の画像の場合には、領域分割を、G画像、及びR画像空間で行なうことが好ましいことが明らかとなった。 図4は、色空間における背景部の抽出を行なう領域分割を模式的に示す。x軸をG画像の濃度、y軸をR画像の濃度とする。ここで、閾値T1、T2は、R画像の濃度ヒストグラム40から、閾値T3、T4は、G画像の濃度ヒストグラム40’から、それぞれ求められる(なお、図4に示す領域分割法と類似する方法が、特開平6−314338号公報に記載されているが、特開平6−314338号公報では、先に説明した撮像光学系の歪みによる濃度むらの補正はなされていない)。
【0066】
具体的には、各々の画像の濃度ヒストグラムを求め、ヒストグラムの最大のピーク値を持つ濃度値、半値幅を与える濃度の値を求める。次いで、これらの値を基にして、対象領域を抽出するに必要な背景領域を識別して取り出す。
【0067】
以下、各閾値を算出し、背景領域を識別し、識別された目的とする対象粒子のパターンについての特徴量を求める手順について、説明する。
【0068】
(手順1):各画像(G画像、R画像)の濃度ヒストグラムを作成する。各画像の画素の位置を(i,j)で表わし、G画像をG(i,j)、R画像をR(i,j)と、それぞれ表わす。
【0069】
(手順2):各濃度ヒストグラムで、図5に示すように頻度の最大値Pmax(*)をもつ濃度値Pd(*)を求める。なお、*は、R、Gのをいずれかを表わす。
【0070】
(手順3):各濃度ヒストグラムで、ピークの半値幅を与える濃度、PhL(*)、Phh(*)を求める。*は、R、Gのをいずれかを表わす。
【0071】
(手順4):(手順1)〜(手順3)で求めた濃度値Pd(*)、PhL(*)、Phh(*)を使用して、次の(数5)〜(数8)により、閾値T1、T2、T3、T4を、それぞれ算出する。R画像から、
T1=Pd(R)−{Pd(R)−PhL(R)}・σ …(数5)
T2=Pd(R)−{Pd(R)−Phh(R)}・σ …(数6)
G画像から、
T3=Pd(G)−{Pd(G)−PhL(G)}・σ …(数7)
T4=Pd(G)−{Pd(G)−Phh(G)}・σ …(数8)
を得る。ここで、σは、予め定められる、実験的に決められるパラメータであり、σは、通常、3.0〜3.5に設定される。
【0072】
(手順5):(手順1)〜(手順4)で算出された閾値T1〜T4をもとに、次の(数9)に従い、画像空間で2値画像を作成する。背景領域(BG)は、
{T1≦R(i,j)<T2}∩{T3≦G(i,j)<T4} …(数9)
により、得られる。ここで、∩は論理積を表す。
【0073】
(手順6):(手順5)で求めた2値画像の修正、整形の処理を行なう。
【0074】
(手順7):(手順5)で求めた背景領域以外の、それぞれ互いに独立した領域に、対象粒子が存在する対象領域として、ラベリングを行なう。
【0075】
(手順8):(手順7)でラベリングされた対象領域のパターンについて、特徴量を求め、対象領域のパターンを識別する。なお、周知の特徴量を、周知の技術によって求め、個々の対象領域のパターンの識別を行なうが、色調別に抽出した対象パターンを、対象粒子の染色程度や、複数の対象粒子の位置状態(接触や重畳の程度)により、(手順6)で得たパターンを合成すれば、さらに安定な対象パターンを得ることができる。
【0076】
本実施例での処理の工程を整理すると、以下のようになる。
【0077】
(1)濃度補正処理:G画像、及びR画像で、光学系の歪みに由来する濃度むらを除去する。
【0078】
(2)領域分割:G画像、及びR画像で複数の閾値を使用して、背景領域と対象領域とに分割し、背景領域を0、対象領域を1とする2値画像を作成する。
【0079】
(3)修正処理:対象領域の穴埋め、背景領域のノイズ除去等の2値画像の修正、整形を行なう。
【0080】
(4)ラベリング:2値画像の連結成分毎にラベリング処理を行い、画像中の複数の対象に番号をつける。
【0081】
(5)特徴量算出:番号をつけたそれぞれの対象につき、面積、周囲長、平均濃度等の特徴量を求める。
【0082】
(6)識別:求めた特徴量をもとに、それぞれの対象が、どのような尿沈渣成分であるかを判断し、分類する。
【0083】
なお、(3)〜(6)では、太め処理、細め処理等のフィルタ処理を含め、周知の従来技術を使用できる。
【0084】
本実施例を、実際の4サンプルから得た99画像に適用した結果、99画像中の93画像において、対象粒子を領域分割して抽出できた。抽出できなかった6画像は、対象粒子が無染色状態の画像、焦点位置の調整不良による画像等であった。
【0085】
図6、図7に本実施例を、実際のサンプルに適用した結果(上記(3)の処理済み)を示す。なお、図6、図7では、横(x)軸、縦(y)軸は、それぞれ0〜511の512画素からなっている。図6は、対象粒子の染色が良好な染色細胞の画像の領域分割結果例、図7は、対象粒子の染色がほとんどされていない細胞の画像の領域分割結果例である。本実施例によれば、図7に示す例のように、対象粒子の染色が十分でない場合、例えば、細胞質濃度と背景濃度に差がなく、完全に抽出できない場合があるが、このような粒子は、以下で説明する、実施例2、実施例3、実施例4による方法により、抽出できる。
【0086】
(実施例2)
以下では、簡単のため、染色液でほとんど染色されない細胞(粒子)を、無染色細胞(粒子)、また、良好に染色された細胞(粒子)を、染色細胞(粒子)と略記する。なお、淡く染色されるが、染色が不十分で、染色が良好でない細胞(粒子)も、以下では無染色細胞(粒子)と呼ぶことにする。
【0087】
目的とする対象粒子が、染色剤により良好に染色される染色粒子の場合には、先に説明した実施例1の領域分割方法により、良好な領域分割ができる。
【0088】
しかし、実際には活性度の高い細胞は染色性が悪く、ほとんど染色されない細胞(無染色細胞)が存在する場合がある。このような無染色細胞は、尿試料中に、高い頻度で存在することが判明している。また、尿試料中には、染色性が良好ではなく、染色が不十分である粒子も存在する。
【0089】
無染色細胞を含む画像では、対象領域と背景領域との色調が、ほぼ同じであり、対象領域の内部に、背景領域と同程度、又は以下の濃度をもつ部分が多数存在する。無染色細胞が、画像の中に存在する場合、実施例1の領域分割方法では、例えば、先に示したように、図7に示す程度の領域分割しかできず、細胞が存在する領域が同じ値をもつ画素で連結されていない。図7のように、正確な2値画像が得られない場合には、対象領域の特徴量が正確に求められず、分類を誤る可能性が非常に高くなる。沈渣成分の識別精度を向上させるには、染色性が悪く、ほとんど染色されない細胞、その他粒子等の対象を、正確に識別する領域分割が、必要となる。
【0090】
無染色細胞(染色液でほとんど染色されない細胞)は、ほぼ透明であり、細胞が存在する領域(対象領域)は、背景領域とほぼ同じ色調をしており、対象領域の内部に、背景領域とほぼ同程度の濃度領域を多数含んでいる。まず、無染色細胞を含む画像と、染色細胞を含む画像との差異について説明する。
【0091】
図8、図9に、それぞれ染色細胞、無染色細胞を含む画像の濃度値の例を示す。
【0092】
以下に示す図8から図13における、横軸は、画像のy方向での、0〜511の512画素の位置を示す。
【0093】
図8に、染色細胞(良好に染色された細胞)を含む画像での、染色細胞を含む領域を通るy方向での1ライン(x=300)についての濃度値のプロットを示す。図9に、無染色細胞を含む画像での、無染色細胞を含む領域を通るy方向での1ライン(x=340)についての濃度値のプロットを示す。
【0094】
図8、図9において、横軸は、画像中での位置(y座標値)、縦軸は濃度値である。濃度値は、0に近いほど色が濃く、255に近いほど色が薄い。図8では、染色細胞の領域の濃度値が、背景領域に比較して、低い値となっている様子が、G画像に顕著に表れている。この場合、図8に示すように、濃度値に、例えば、〜180、〜220の値の閾値を設定すると、G画像において、背景領域と対象領域とを、明確に分割できることが分かる(図8には、参考のために、〜190の閾値を同じに図示してある)。図9と、実際の画像(図示せず)との比較から、周囲に比べ、濃度変化の大きい部分(y=400の近傍)に、細胞が存在することが判明した。図9から、無染色細胞の領域(対象領域)では、背景の領域に比較し、濃度値の大きな部分、及び小さな部分を、それぞれ多数含み、背景の領域と同程度の濃度値をもつ部分も多数含み、図8の場合のように、濃度値に、単に図9に示すように、同じ閾値を設定するだけでは、正確な領域分割ができないことを示している(図9には、図8と同じ閾値を図示してある)。
【0095】
さらに、図9から、無染色細胞を含む画像では、背景領域の濃度値の変動は小さいが、無染色細胞の領域(対象領域)の濃度値の変動は大きいことが分かる。
【0096】
本実施例では、この濃度値の変動に着目して、画像中の濃度値の変化の大きさを計算し、濃度値、及び濃度値の変化の大きさに、それぞれ閾値を設け、領域分割を行ない、無染色細胞(染色液でほとんど染色されない細胞)を含む画像の領域分割を正確に行なう。
【0097】
まず、濃度値の変化の大きさを表わす指標として、局所的な小領域における、濃度値の分散を考える。画像上の(x,y)における濃度値をP(x,y)、局所的分散をq(x,y)として、q(x,y)を次の(数10)で定義する。
【0098】
q(x,y)={1/(2n+1)2}ΣΣ{P(i,j)}2−{1/(2n+1)4}{ΣΣP(i,j)}2 …(数10)
(数10)において、加算Σは、i=x−nからi=x+n、及びj=y−nからj=y+nについて行なう。
【0099】
図10、図11に、それぞれ染色細胞、無染色細胞を含む画像の分散値の例(n=2とした時のq(x,y)の例)を示す。図10、図11は、それぞれ図8、図9と同じ位置(1ライン)における、分散値q(x,y)をプロットしたもので、横軸は画像のy座標値、縦軸は(数10)により計算される分散値である。
【0100】
また、図10、図11において、横軸、y=490近辺の大きなピークは、画像の端部の不連続成分によるもので、画像中の認識対象(細胞)とは無関係である。図11は、無染色細胞を含む画像の分散値q(x,y)であり、図8と比較すると、背景領域の分散値は0に近く、細胞の存在する領域の分散値は、大きい値となっている。そこで、分散値に、閾値qthを設定し、qthより大きい分散値をとる領域を、目的とする対象領域とみなし、無染色細胞を含む画像の領域分割を行なうことにする。図11には、閾値qthを、〜200とする例を示してある。
【0101】
図10は、染色細胞を含む画像の分散値q(x,y)を示し、図8と比較すると、細胞の存在する領域のエッジ部分(横軸、y=200、及びy=300近辺)において、分散値が大きな値を示している。しかし、細胞の内部は、一様な色調で染色されているため、分散値は小さく、分散値に閾値を設定し領域分割を行なうと、細胞のエッジ部分だけが、対象領域として分割されてしまう(図10には、図11と同様に、閾値qthを、〜200とする例を示してある。)。そこで、分散値に閾値を設定し領域分割を行なうとともに、濃度値に閾値を設定し領域分割を行い、両方の領域分割の結果を重ね合わせることにより、染色細胞と無染色細胞の両方の領域分割を正確に行なうことができる。
【0102】
以上で述べた方法では、画像における濃度変動の大きさを検出するために、(数10)で定義される濃度の局所的分散値を用いたが、装置構成をより単純するため、より簡便に濃度変動の大きさを検出する方法として、次の(数11)で定義される濃度差分値を用いることにする。(x,y)における濃度値をP(x,y)、濃度差分値をr(x,y)とする。
【0103】
r(x,y)=ΣP(x,y+i)−ΣP(x,y−i) …(数11)
(数11)において、加算Σは、i=1からi=nについ行なう。この(数11)の計算は、加算と減算のみで実行でき、画像の一点で、差分値を計算するために使用する濃度値は、画像上で1次元的に配列する画素の濃度値であるので、簡便な装置構成により、画像信号の転送に同期した高速な処理を実行できる。
【0104】
図12、図13に、それぞれ染色細胞、無染色細胞を含む画像の濃度差分値(n=2とした時の濃度差分値)の例を示す。図12、図13は、それぞれ図8、図9と同じ位置(1ライン)における濃度差分値をプロットしたものである。分散値の場合と同様、横軸490近辺のピーク値は、画像端の不連続部分による。
【0105】
図12は、染色細胞を含む画像の差分値を示しており、図8と比較すると、対象領域のエッジ部分で、差分値は正負に大きく変化する値をとり、対象領域の内部、及び背景領域では、差分値は0に近い値をとっている。
【0106】
図13は、無染色細胞を含む画像の差分値を示し、図9と比較すると分かるように、差分値は背景領域で0に近い値をとり、差分値は、対象(細胞)領域で正負に大きく変化する値をとっている。
【0107】
ただし、対象領域の内部でも、差分値が0に近い値をとる部分が、多数含まれているため、差分値に正負の2つの閾値、rth1、rth2(rth1<0<rth2)を設定し、rth1<r(x,y)<rth2なる領域を、背景領域とする領域分割を行なうと、対象領域の内部で、差分値が0に近い値をとる領域は、背景領域として分割されてしまう。また、この方法を、染色細胞を含む画像に適用すると、細胞のエッジ部分のみを、対象領域として分割することになってしまう。図12、図13では、閾値を、rth1が〜−20、rth2が〜20の場合を、示している。
【0108】
ここで、濃度値と濃度差分値との関係を考えてみる。濃度差分値が0をとる点は、濃度値が極大値あるいは極小値をとっている点であり、このような点における濃度値は、背景領域の平均の濃度値より比較的大きな値、あるいは小さい値をとる可能性が高い。つまり、濃度差分値に閾値を設定して領域分割を行なった結果、正確に領域分割できない部分(背景領域として分割されてしまう対象領域の内部の部分)は、濃度値に閾値を設定し、領域分割を行えば対象領域として分割できる。そこで、差分値に閾値を設定し領域分割を行なうとともに、濃度値に閾値を設定し領域分割を行ない、両方の領域分割の結果を重ね合わせること(論理ORをとる)により、無染色細胞を含む画像、染色細胞を含む画像の両方を、正確に領域分割することができる。
【0109】
以上説明した方法を、実際にフロー方式で撮像した画像に適用した結果について説明する。最も無染色となりやすい偏平上皮細胞を含む画像の51例を調べたところ、無染色粒子を含む画像が、8例出現した。実施例1の方法では、正確な領域分割が困難であった無染色粒子を含む8例の画像に、以上説明した方法を適用した結果、染色粒子を含む画像の場合に得られる処理結果と、同等の結果を得ることができた。以下では、これらの画像のうち、典型的な染色粒子を含む画像と、無染色粒子を含む画像とを、それぞれ一例ずつとって説明する。
【0110】
図14、図15に、濃度の局所的分散を用いた2値化による方法を用いて、それぞれ染色細胞、無染色細胞を含む画像を領域分割を行った結果(2値画像(領域分割された2値画像に修正処理を行なった画像))を示す。
【0111】
なお、図14から図17において、横(x)軸、及び縦(y)軸は、それぞれ0〜511の512画素からなっている。
【0112】
G画像の濃度値を使用して、(数10)で、n=2として計算される分散値と、G画像の濃度値を、領域分割の処理で用いた。具体的には、(x,y)における濃度値をP(x,y)、分散値をq(x,y)、2値化結果をs(x,y)とすると、
Pth1<P(x,y)<Pth2 and q(x,y)<qth:
s(x,y)=0(背景:白)
otherwise:s(x,y)=1(対象領域:黒) …(数12)
として、s(x,y)で表される2値画像を求めた後、修正処理(背景領域のノイズ除去処理、対象領域の穴埋め処理)として、対象領域の太め処理を1回行い、細め処理を2回行った後、さらに太め処理を1回行った(これらの各処理は周知技術である)。
【0113】
濃度値に設定する閾値Pth1、Pth2は、濃度ヒストグラムの最大値を与える濃度値Pm、最大値の1/2の値を与える濃度値、Ps1、Ps2(Ps1<Pm<Ps2)を求め、
Pth1=Pm−3.5(Pm−Ps1)
Pth2=Pm+3.5(Ps2-Pm) …(数13)
とした。また、分散値に設定する閾値はqth=30とした。
【0114】
図15より、明らかに、無染色細胞を含む画像の領域分割の結果は、図7に示す、実施例1による結果に比較し、大きく改善されている。
【0115】
また、染色細胞を含む画像(図14)において、細菌が、細胞の領域の右側の2箇所(50、51)に、無染色細胞を含む画像(図15)において、細菌が、細胞の領域の右側の1箇所(52)に、それぞれ検出されている。これらの細菌は、実施例1の方法による結果(図6、図7)では、検出できなかった細菌である。
【0116】
染色細胞を含む画像(図14)の細胞の領域の左側の2箇所(60、61)に、無染色細胞を含む画像(図15)の細胞の領域の左側に1箇所(62)に、細菌より小さな点があるが、これは背景領域のノイズ成分と思われる。
【0117】
図16、図17に、濃度差分値を用いた2値化による方法を用いて、それぞれ染色細胞、無染色細胞を含む画像を領域分割を行った結果(2値画像(領域分割された2値画像に修正処理を行なった画像))を示す。G画像の濃度値を使用して、(数11)で、n=2として計算される差分値、及びG画像の濃度値を、領域分割の処理で用いた。具体的には、(x,y)における濃度値をP(x,y)、差分値をr(x,y)、2値化結果をs(x,y)とすると、
Pth1<P(x,y)<Pth and rth1<r(x,y)<rth2:
s(x,y)=0(背景:白)
otherwise:s(x,y)=1(対象領域:黒) …(数14)
として、s(x,y)で表される2値画像を求めた後、修正処理を行った。
【0118】
修正処理、及び濃度閾値Pth1、Pth2の設定は、上記の濃度の局所的分散を用いた2値化による方法を用いた領域分割の場合と、同じ方法を用いた。また、差分値に設定する閾値は、│rth1│、│rth2│は15〜25程度に設定すればよく、rth1=−20、rth2=20とした。
【0119】
図17より、明らかに、無染色細胞を含む画像の領域分割の結果は、図7に示す、実施例1による結果に比較し、大きく改善されている。
【0120】
また、染色細胞を含む画像(図16)において、細菌が、細胞の領域の右側の2箇所(50、51)に、無染色細胞を含む画像(図17)において、細菌が、細胞の領域の右側の1箇所(52)に、それぞれ検出されている。これらの細菌は、実施例1の方法のよる結果(図6、図7)では、検出できなかった細菌である。
【0121】
図7、図15、図17を比較すると、実施例1の領域分割法に比較し、上記の濃度の局所的分散、差分値を用いた2値化による方法を用いた2種類の領域分割法は、無染色細胞の領域分割に効果的であることが分かる。また、2種類の方法のうち、濃度の分散値を用いる方法の方が、無染色細胞の領域分割に、より効果的である。しかし、濃度の差分値を用いる方法の方が、装置が単純に構成できる。そこで、差分値を用いた領域分割法の詳細を説明する。
【0122】
図16、図17に示す結果は、差分値の計算(数11)において、n=2とした時の結果である。ある画素の差分値を計算する際に用いる近傍画素の個数は2n+1で表され、この個数を、ここではマスクサイズと呼ぶことにする。例えば、n=2の時、ある画素の差分値の計算には、その画素を中心とし、y方向に前後2画素、合計5画素が必要であり、マスクサイズ=5である。マスクサイズ=1の場合は、差分処理を行なわないことを意味する。
【0123】
図18に、マスクサイズの変化による領域分割の結果を示す。図18では、512×512画素からなる画像を示している。マスクサイズが、領域分割に与える影響を調べるために、nの値を変化させて、領域分割を行った。図18の例は、図7、図15、図17とそれぞれ同じ無染色細胞を含む画像の領域分割の結果である。図8における、マスクサイズ=5の結果は、図17の結果に相当する。図18の例では、マスクサイズ=9による結果が、もっとも良好な領域分割の結果を与えている(しかし、細胞が存在する領域の内部の一部分に、誤って識別された背景を示す白い領域が混在している)。
【0124】
また、図15、図17の結果と同様に、図18においても、細胞52が、検出されている。なお、マスクサイズ=1による差分処理を行なわない場合の結果は、図7に示す、実施例1による結果に類似した結果である。
【0125】
次に、このマスクサイズの大きさの影響を周波数軸上で考えてみる。
【0126】
図19に、点線で、背景領域のy方向に1ライン(512画素)のG画像の信号成分(濃度値)を、離散フーリエ変換した結果を、実線で、無染色細胞の領域を通るy方向の1ライン(512画素)のG画像の信号成分(濃度値)を、離散フーリエ変換した結果を、それぞれ示す。横軸は、画像の1辺(512画素)を単位長として表現した空間周波数、縦軸は、濃度値の最大値を0.1に正規化したときの信号のパワーを表わしている。
【0127】
図19から、背景領域の信号はノイズ成分であるため、直流成分を除き、ほぼ全域に同等のパワーをもち分布していること、無染色細胞の領域を通過するラインの画像信号は、背景領域に比較し、周波数1〜150の信号成分が強い、ということが分かる。
【0128】
無染色細胞の領域を強調するために用いた(数11)を、ディジタルフィルタとみなすと、伝達関数はz変換を用いて、
H(z)=Σ{z↑(k)−z↑(−k)} …(数15)
と表される。ここでz↑(y)は、zのべき(y)乗を示す(y=k、y=−k)。(数15)において、加算Σは、k=1からk=nについて行なう。また、この時の周波数応答は、
と表される。Ωは、画像上の2画素を単位長とする空間周波数を表わし、jは虚数単位である。
【0129】
図20に、n=1、2、3の場合の周波数振幅特性|H(Ω)|)を示す。
【0130】
図20の横軸は、画像の1辺の長さ(512画素)を単位長として表現した空間周波数を表し、縦軸は、フィルタの応答をマスクサイズを用いて正規化した値を表している。また、位相特性はπ/2で一定であり、このフィルタの作用は、無染色細胞を含む画像に特有の周波数成分を強調し、背景から分離する作用と、位相を90度ずらすことにより、濃度で2値化したとき0になる部分と、差分値を用いて2値化したとき0になる部分とをずらす作用と、を有している。
【0131】
図20から、n=2(マスクサイズ5)、n=3(マスクサイズ7)の場合には、無染色細胞を含む画像に特有の中周波領域〜低周波領域の信号成分が強められるが、マスクサイズが過大になると、図20には、図示していないが、n=5の場合のように、nの値を大きくしていくに従い、無染色細胞を含む画像に特有の信号成分のうち、低周波領域が弱められてしまう。このため、nの値は、2〜4(マスクサイズ5〜9)程度が適当である。
【0132】
図21(A)、図21(B)に、染色された赤血球の画像を用いて、対象領域として分割される領域の形状の、マスクサイズによる影響を、調べた結果を示す。図21(A)、図21(B)において、長さの単位は、画素数である。
【0133】
分類すべき対象のうち、赤血球は、細菌に次いで小さく、その形状がほぼ円形であるので、赤血球像を、マスクサイズを変化させて領域分割し、抽出された対象領域の形状の変化を評価することにより、画像処理過程における劣化(対象粒子がもつ真の形状と、領域分割された対象領域の形状との差)を評価できる。
【0134】
図21(A)は、種々のマスクサイズ(図中に数字で示す)を用いた場合について得た、対象領域(赤血球)の面積、周囲長のプロットである。マスクサイズが大きくなるにつれ、面積、周囲長ともに大きくなり、対象領域が広がっていく。
【0135】
また、図21(B)は、領域分割された赤血球を、それぞれx軸、y軸へ投影した時に得る、x、及びy方向の投影長のプロットである。赤血球はほぼ円形をしているので、差分処理を用いない場合(マスクサイズ=1)には、x軸、y軸への投影長が、ほぼ同じ値である。しかし、差分処理を行なうと、x軸方向への投影長に比べ、差分処理の方向であるy軸方向の投影長が、より大きくなり、対象領域が、縦長の楕円形になっている。これは、図20から分かるように、差分処理により、高周波成分が抑制され、対象のエッジが広がるため、処理方向へ伸張されるためである。
【0136】
また、マスクサイズが大きくなる程この傾向は強くなる。このように、無染色細胞を含む画像の2値化における改善、染色細胞を含む画像の2値画像の劣化、という2点を考慮して、マスクサイズを決定する必要がある。
【0137】
無染色細胞を含む画像の2値化の改善は、より正確な特徴パラメータの算出を可能にし、後段でのパターン認識の認識率の向上につながるが、染色細胞を含む画像の2値画像の劣化は、特徴パラメータを不正確にし、特にサイズの小さな対象の分類精度に影響する。また、2値化の際に用いる閾値によって、得られる2値画像は変化する。一般に、閾値の絶対値が、小さいほど無染色細胞の領域分割は良好に実行できるが、背景領域のノイズ成分を拾いやすくなる。この点に注意して最適な閾値を設定する必要がある。
【0138】
図22に、本実施例の粒子画像の領域分割の手順を説明する処理のフローチャートを示す。先に説明したように、処理の対象となる粒子画像は、画像メモリに記憶されている。本実施例で、使用する画像はG画像であり、各画素の位置(x,y)における濃度値P(x,y)で表わすものとする。
【0139】
以下、図22に示す、処理のステップに従って、処理過程を説明する。
【0140】
(ステップS1): まず、画素(x,y)における濃度値P(x,y)を画像メモリより読み出す。
【0141】
(ステップS2): 濃度値P(x,y)を、以下に示す2値画像を表す変数u(x,y)に変換する。
【0142】
T2’<P(x,y)<T1’の時:u(x,y)=0 …(数17)
otherwise :u(x,y)=1 …(数18)
ここで、T1’、T2’は閾値を表し、例えば、次のようにしてT1’、T2’を定める。まず、画像メモリに記憶された画像の濃度値P(x,y)を読み出し、濃度値のヒストグラムを作成し、ヒストグラムの形状から濃度閾値T1’、T2’を決定する。通常、画像上で背景部分の面積が最も大きいので、背景の平均濃度がヒストグラム上での最大値をとる。図5に示すように、このヒストグラムの最大値を与える濃度値Pdを検出し、この最大値をPmaxとする。次に、Pmax/2の値を与える濃度値を検出し、PhL、Phh(PhL<Pd<Phh)とする。
【0143】
適当な定数kを定め、閾値T1’、T2’を、(数19)、(20)から、決定する。
【0144】
T1’=Pd+k(PhL−Pd) …(数19)
T2’=Pd+k(Phh−Pd) …(数20)
定数kは、あらかじめ実験的に求めておく。
【0145】
(数17)に示すように、T2’<P(x,y)<T1’の時、画素(x,y)は背景領域にあるとみなし((数17))、T2’≧P(x,y)、又はP(x,y)≧T1’の時、画素(x,y)は対象領域(背景領域以外の領域であり、背景領域と識別しようとする粒子が存在する領域をさす)にあるとみなす((数18))。
【0146】
(ステップS3): 画素(x,y)の近傍の複数の画素の濃度値を、メモリより読み出す。
【0147】
(ステップS4): 濃度値の変化の大きさ(画素(x,y)における濃度値の変化の大きさをq(x,y)とする。)を、下記(a)〜(d)の何れかの方法を用いて、計算する。
【0148】
(a);(数21)、又は(数22)に示すように、ステップS3で読み出した、画素(x,y)の近傍の複数の画素の濃度値を、画像上で近接する2つの領域に属する画素に分け、それぞれの領域に属する画素の濃度値の和を求め、次に、得られた2つの和の値の差((数21))、又はその絶対値((数22))を求める。
【0149】
q(x,y)=Σ{P(x,y+i)−P(x,y−i)} …(数21)
q(x,y)=│Σ(P(x,y+i)−P(x,y−i))│ …(数22)
例えば、ステップS3で読み出した画素(x,y)の近傍の4個の画素の濃度値、P(x,y−2)、P(x,y−1)、P(x,y+1)、P(x,y+2)から、(数21)、又は(数22)によって、q(x,y)を計算する。(数21)、(数22)において、加算Σはi=1からi=nについて行なう。
【0150】
(b);ステップS3で読み出した、画素(x,y)の近傍の複数の画素の濃度値の分散((数23))、又は標準偏差((数24))を求め、濃度値の変化の大きさq(x,y)とする。
【0151】
q(x,y)={1/(2n+1)2}ΣΣ{P(x+i,y+j)}2−{1/(2n+1)2}2{ΣΣP(x+i,y+j)}2 …(数23)
q(x,y)=√〈{1/(2n+1)2}ΣΣ{P(x+i,y+j)}2 −{1/(2n+1)2}2{ΣΣP(x+i,y+j)}2〉 …(数24)
なお、√〈 〉は、〈 〉内の平方根を示す。(数23)、(数24)において加算Σは、それぞれi=−nからi=n、j=−nからj=nについて行なう。
【0152】
例えば、ステップS3において、x−1≦i≦x+1、y−1≦j≦y+1を満たす9個の画素の濃度値P(i,j)を読み出し、(数23)、又は(数24)によって、q(x,y)を計算する。
【0153】
(c);ステップS3で得た画素(x,y)の近傍の複数の画素の濃度値と、それぞれの画素の幾何学的配置に対応した重み値wと、の積をとり、得られた積の総和を濃度値の変化の大きさq(x,y)((数25))とする。
【0154】
q(x,y)={ΣΣw(i,j)P(x+i,y+j)} …(数25)
(数25)において、加算Σはそれぞれi=−nからi=n、及びj=−nからj=nについて行なう。例えば、9個の重み値w(k,m)(k,m=−1、0、1)をあらかじめ設定し、ステップS3において、9個の画素の濃度値P(i,j)(x−1≦i≦x+1、y−1≦j≦y+1)を読み出し、(数25)によってq(x,y)を計算する。重み値は、例えば、w(0,0)=4、w(−1,0)=w(1,0)=w(0,−1)=w(0,1)=1、w(−1,−1)=w(−1,1)=w(1,−1)=w(1,1)=0とする。
【0155】
(d);上記(a)〜(c)の方法のうち、何れかの方法を用いて濃度値の変化の大きさq(x,y)を求めた後、得られた濃度値の変化の大きさを濃度値P(x,y)とみなし、
P(x,y)=q(x,y) …(数26)
とおいて、上記(a)〜(c)の何れかの方法により、濃度値の変化の大きさq(x,y)を計算してもよい。
【0156】
例えば、上記(a)の方法により、すべての画素(x,y)について、q(x,y)の値を計算した後、(数26)を適用して、次いで、上記(b)の方法を用いて、再度q(x,y)を計算する。
【0157】
(ステップS5): 濃度値の変化の大きさq(x,y)を、以下に示す2値画像を表す変数v(x,y)に変換する。
【0158】
q(x,y)が正値のみを取る場合は、閾値T3’を使用して、
q(x,y)<T3’の時:v(x,y)=0 …(数27)
q(x,y)≧T3’の時:v(x,y)=1 …(数28)
とし、q(x,y)<T3’の時、画素(x,y)は背景領域にあるとみなし((数27))、q(x,y)≧T3’の時、画素(x,y)は対象領域にあるとみなす((数28))。なお、上記の閾値T3’は、予め実験的に求めておくことができる。
【0159】
q(x,y)が負値も取る場合(ステップS5’)は、閾値T3”、閾値T4’を使用して、
T4’<q(x,y)<T3”の時:v(x,y)=0 …(数29)
otherwise :v(x,y)=1 …(数30)
とし、T4’<q(x,y)<T3”の時、画素(x,y)は背景領域にあるとみなし((数29))、T4’≧q(x,y)、又はq(x,y)≧T3”の時、画素(x,y)は対象領域にあるとみなす((数30))。なお、上記の閾値T3”、閾値T4’は、予め実験的に求めておくことができる。
【0160】
(ステップS4’)でのS5、S5’の選択は、(ステップS4)において、どのようにq(x,y)が定義されるかにより、自動的に定まる。
【0161】
(ステップS6): (ステップS2)で得られたu、と(ステップS5)、又は(ステップS5’)で得られたvの論理和を、画素(x,y)における2値化の結果とする。
【0162】
(ステップS7、S8): 画素(x,y)が処理すべき最終の画素の点であれば、処理をステップS9に移し、そうでなければ画素(x,y)を、次の画素の点に移動して、ステップS1〜S6の処理を繰り返す(ステップS7、S8)。
【0163】
(ステップS9): 以上の処理により得た、対象領域を1、背景領域を0とする2値画像に対して、対象領域の穴埋め、背景領域のノイズ除去等の処理を行なう修正処理を行なう。
【0164】
(ステップS10): 2値画像の連結成分毎に、周知技術によるラべリング処理を行ない、画像中の複数の対象に番号を付ける。
【0165】
(ステップS11): 番号が付けられた各対象について、面積、周囲長、平均濃度、投影長等の、周知技術による特徴量を求める。
【0166】
(ステップS12): 求められた特徴量を使用して、各対象を、尿沈渣成分のいずれかの種類に分類識別する。
【0167】
図23に、本実施例を実施するための装置構成を示す。液体中の粒子はパルスランプ101により照射され、光学拡大系(図示せず)によって拡大された後、テレビカメラ102により撮影され、アナログ電気信号に変換される。テレビカメラ102の出力は、A/D変換器103によりディジタル信号に変換された後、データバス110を介して、画像メモリ104に記憶される。閾値計算部105では、データバス110を介して、画像メモリ104に記憶された画像の濃度値を読み出し、濃度値のヒストグラムを作成し、(数19)、(数20)に従って、ヒストグラム形状より領域分割部106で用いる濃度閾値T1’、T2’を決定する。
【0168】
領域分割部106は、データバス110を介して、画像メモリ104より得た濃度値と、閾値計算部105より得た閾値T1’、T2’と、を用いて領域分割を行ない、対象領域を1、背景領域を0とする2値化を行った後、データバス110を介して、2値化の結果を、画像メモリ107に記憶する。以上の処理の制御は、全て計算機108が、CPUバス109を介して行う。
【0169】
図24は、図23における領域分割部106の構成を示す。入力部200は、図23のデータバス110に接続しており、データバス110を介したデータの入力を制御する。濃度2値化回路300では、まず、入力部200を介して、閾値計算部105(図23)より、閾値T1’、T2’を読み出し、閾値メモリ310に、T1’、T2’の値を記憶する。次に、入力部200を介して、画像メモリ104から、画像上の一点の画素の濃度値を読み出し、比較器320で、この濃度値と閾値T1’、T2’とを比較する。画像上の一点を(x,y)、その点における濃度値をP(x,y)とすると、比較器320では、濃度値P(x,y)と閾値T1’、T2’とを比較し、T2’<P(x,y)<T1’であれば、その画素は背景領域であるとみなして、0を出力し、それ以外の時には、対象領域であるとみなして、1を出力する。
【0170】
また、上記の濃度の2値化と並行して、濃度変化2値化回路400が働く。濃度変化2値化回路400では、まず入力部200を介して、画像メモリ104(図23)から、画像上(x,y)の複数の近傍画素の濃度値を読み出し、メモリ410に記憶する。濃度変化計算部420では、メモリ410に保持された(x,y)の近傍画素の濃度値を利用して、下記(a)〜(d)の何れかの方法を用いて濃度値の変化の大きさを計算する。(x,y)における濃度値の変化の大きさをq(x,y)とする。
【0171】
(a)メモリ410に記憶されている画素の濃度値を、画像上で近接する2つの領域に属する画素に分け、それぞれの領域に属する画素の濃度値の和を求める。次に、得られた2つの和の値の差、又はその絶対値を求め、濃度値の変化の大きさをq(x,y)とする。例えば、4個の画素の濃度値P(x,y−2)、P(x,y−1)、P(x,y+1)、P(x,y+2)を、メモリ410に記憶しておき、(数31)、又は(数32)によって、q(x,y)を計算する。
【0172】
q(x,y)=ΣP(x,y+i)−ΣP(x,y−i) …(数31)
q(x,y)=│ΣP(x,y+i)−ΣP(x,y−i)│ …(数32)
(数31)、(数32)において、加算Σはそれぞれi=1からi=2について行なう。図25に、この場合の濃度変化2値化回路400の具体的な構成例を示す。メモリ410は、1個の濃度値をそれぞれ記憶する4個のメモリ411〜414から構成される。メモリ411〜414に、濃度値P(x,y−2)、P(x,y−1)、P(x,y+1)、P(x,y+2)を、それぞれ記憶する。
【0173】
濃度変化計算部420は、2個の加算器421、422と1個の減算器423より構成され、(数31)で示される計算を行う。加算器421の出力は、(数31)の右辺の第2項で計算される値を出力し、加算器422は、(数31)の右辺の第1項で計算される値を出力する。減算器423の出力は、(数31)の右辺で計算される値を出力する。減算器423に、絶対値を出力する機能を持たせた場合、(数32)で示される計算をできる。
【0174】
(b)メモリ410に記憶された濃度値の分散、又は標準偏差を求め、濃度値の変化の大きさq(x,y)とする。例えばx−1≦i≦x+1、y−1≦j≦y+1を満たす、9個の画素の濃度値P(i,j)をメモリ410に記憶しておき、次の(数33)、又は(数34)によってq(x,y)を計算する。
【0175】
q(x,y)={1/9}ΣΣ{P(x+i,y+j)}2−{1/81}{ΣΣP(x+i,y+j)}2 …(数33)
q(x,y)=√〈{1/9}ΣΣ{P(x+i,y+j)}2−{1/81}{ΣΣP(x+i,y+j)}2〉 …(数34)
なお、√〈 〉は、〈 〉内の平方根を示す。(数33)、(数34)において、加算Σはそれぞれ、i=−1からi=1、及びj=−1からj=1について行なう。
【0176】
図26に、この場合のメモリ410と濃度変化計算部420の具体的な回路構成例を示す。メモリ410は、1個の濃度値をそれぞれ記憶する9個のメモリ811〜819から構成される。メモリ811〜819には、x−1≦i≦x+1、y−1≦j≦y+1を満たす、9個の画素の濃度値P(i,j)を記憶させる。
【0177】
濃度変化計算部420は、9個の2乗演算器からなる2乗演算部821、加算器822、824、除算器823、825、2乗演算器826、減算器827から構成される。メモリ811〜819から読み出された値は、それぞれ2つに分けられ、一方は、2乗演算部821に入力され、他方は、加算器824に入力される。加算器822で2乗演算部821の9個の2乗演算器の出力の和を計算し、除算器823で、加算器822の出力値を9で割る。除算器823は、(数33)の右辺の第1項で計算される値を出力する。
【0178】
加算器824は、メモリ811〜819から読み出された9個の濃度値の和を計算し、除算器825で加算器824の出力値を9で割る。2乗演算器826は、(数33)の右辺の第2項で計算される値を出力する。減算器827では、除算器823の出力と2乗演算器826の出力の差を計算する。減算器827は、(数33)の右辺で計算される値を出力する。減算器827の後に平方根を計算する回路を設けると、(数34)の右辺で計算される値を出力できる。
【0179】
(c)メモリ410に記憶された画素の濃度値と、画素の画像上の幾何学的位置に対応した重み値wとの積をとり、得られた積の総和を濃度値の変化の大きさq(x,y)とする。例えば、9個の重み値w(k,m)(k,m=−1、0、1)を予め設定し、メモリ410には、9個の画素の濃度値P(i,j)(x−1≦i≦x+1、y−1≦j≦y+1)を保持しておき、次の(数35)によって、q(x,y)を計算する。
【0180】
q(x,y)={ΣΣw(i,j)P(x+i,y+j)} …(35)
重み値は、例えば、w(0,0)=−4、w(−1,0)=w(1,0)=w(0,−1)=w(0,1)=1、w(−1,−1)=w(−1,1)=w(1,−1)=w(1,1)=0とする。(数35)において、加算Σは、それぞれ、i=−1からi=1、及びj=−1からj=1について行なう。
【0181】
図27に、この場合のメモリ410と濃度変化計算部420の具体的な回路構成例を示す。メモリ410は、1個の濃度値をそれぞれ記憶する9個のメモリ931〜939から構成される。メモリ931〜939には、濃度値P(x−1,y−1)、P(x,y−1)、P(x+1,y−1)、P(x−1,y)、P(x,y)、P(x+1,y)、P(x−1,y+1)、P(x,y+1)、P(x+1,y+1)が、それぞれ記憶される。重み値メモリ941〜949には、重み値w(−1,−1)、w(0,−1)、w(1,−1)、w(−1,0)、w(0,0)、w(1,0)、w(−1,1)、w(0,1)、w(1,1)を、それぞれ予め設定しておく。乗算器951〜959により、濃度値と重み値の積を計算し、得られた9個の積の和を加算器961により求める。
【0182】
(d)上記(a)〜(c)の方法のうち、何れかの方法を用いて、濃度値の変化の大きさを求めた後、得られた濃度値の変化の大きさを、濃度値とみなし、上記(a)〜(c)の方法のうち、何れかの方法を用いて再度濃度値の変化の大きさを計算し、得られた値をq(x,y)としてもよい。
【0183】
例えば、上記(c)の方法ですべての画素(例えば、512×512画素)について、q(x,y)の値を計算した後、このq(x,y)を用いて、
P(x,y)=q(x,y) …(36)
とおいて、更に上記(b)の方法を用いて、再度q(x,y)を計算する。この場合、メモリ410と濃度変化計算部420は、図28で示される構成の濃度変化計算部の回路に置き換えられる。
【0184】
まず、荷重和計算回路900によって、全ての画素について(数35)の右辺の値を計算し、得られた値を画像メモリ1000に記憶する。次に、画像メモリ1000に記憶された値を、濃度値として分散計算回路800により、(数33)の右辺の値を計算し出力する。荷重和計算回路900、分散計算回路800の構成の構成は、それぞれ図27、図26に示される構成である。
【0185】
図24の比較部430は、図25に示すように、閾値メモリ431と比較器432とからなる。閾値メモリ431には、予め閾値T3’、又はT3”、T4’が記憶されており、濃度変化の大きさq(x,y)が正値のみを取る場合、q(x,y)<T3’であれば、その画素は背景領域であるとみなし、0を出力し、それ以外の時には対象領域であるとみなし、1を出力する。
【0186】
また、q(x,y)が負値も取る場合には、T4’<q(x,y)<T3”ならば0、それ以外の時には1を出力する。閾値T3’、T3”、T4’は、予め実験的に求めておくことができる。次に、論理和回路500で、濃度2値化回路300の出力と、濃度変化2値化回路400の出力との論理和をとる。以上の処理を、全ての画素に適用して、対象領域を1、背景領域を0とする2値画像を得る。このようにして得られた2値画像に、さらにフィルタ部600で、太め処理等による対象領域の穴埋め、細め処理等による背景領域のノイズ除去の処理を行なうフイルタリングを施して、2値画像の修正を行ない、修正された2値画像が、出力部700よりデータバス110に出力される(図24)。
【0187】
本実施例での処理の工程を整理すると、以下のようになる。
【0188】
(1)濃度補正処理:G画像で、光学系の歪みに由来する濃度むらを除去する。
【0189】
(2)領域分割:G画像での、濃度と、濃度変化を表わす量とから、G画像を背景領域と対象領域とに分割し、背景領域を0、対象領域を1とする2値画像を作成する。
【0190】
(3)修正処理:対象領域の穴埋め、背景領域のノイズ除去等の2値画像の修正、整形を行なう。
【0191】
(4)ラベリング:2値画像の連結成分毎にラベリング処理を行ない、画像中の複数の対象に番号をつける。
【0192】
(5)特徴量算出:番号をつけたそれぞれの対象につき、面積、周囲長、平均濃度等の特徴量を求める。
【0193】
(6)識別:求めた特徴量をもとに、それぞれの対象が、どのような尿沈渣成分であるかを判断し、分類する。
【0194】
なお、(3)〜(6)では、太め処理、細め処理等のフィルタ処理を含め、周知の従来技術を使用できる。
【0195】
(実施例3)
本実施例では、実施例2の構成において、G画像の濃度に閾値を設けて領域分割する構成の代わりに、実施例1の構成(G画像、及びR画像の濃度に閾値を設けて領域分割する構成)を使用して、より正確に、対象粒子を抽出するものである。
【0196】
実際の多数のサンプルに対して適用した結果によれば、実施例1の領域分割の方法では、どちらかというと、染色細胞が、無染色細胞よりも正確に抽出でき、実施例2の領域分割の方法では、G画像のみを使用するので、染色された粒子画像のG画像が不鮮明である場合には、染色細胞の抽出は実施例1よりも劣ることが判明した。本実施例では、G画像、及びR画像の濃度に閾値を設けて領域分割するので、G画像が不鮮明である場合にも、R画像の情報が利用され、実施例1、実施例2のいずれよりも、より正確に対象粒子を抽出できることになる。
【0197】
本実施例での処理の工程を整理すると、以下のようになる。
【0198】
(1)濃度補正処理:G画像、及びR画像で、光学系の歪みに由来する濃度むらを除去する。
【0199】
(2)領域分割:G画像、及びR画像で複数の閾値を使用して、背景領域と対象領域とに分割し、背景領域を0、対象領域を1とする2値画像を作成する。
【0200】
(3)領域分割:G画像での、濃度変化を表わす量から、G画像を背景領域と対象領域とに分割し、背景領域を0、対象領域を1とする2値画像を作成する。
【0201】
(4)領域分割:(2)、(3)で得た2値画像の論理和をとる。
【0202】
(5)修正処理:対象領域の穴埋め、背景領域のノイズ除去等の2値画像の修正、整形を行なう。
【0203】
(6)ラベリング:2値画像の連結成分毎にラベリング処理を行ない、画像中の複数の対象に番号をつける。
【0204】
(7)特徴量算出:番号をつけたそれぞれの対象につき、面積、周囲長、平均濃度等の特徴量を求める。
【0205】
(8)識別:求めた特徴量をもとに、それぞれの対象が、どのような尿沈渣成分であるかを判断し、分類する。
【0206】
なお、(5)〜(6)では、太め処理、細め処理等のフィルタ処理を含め、周知の従来技術を使用できる。さらに、(2)、(3)の処理結果にたいして、(5)の処理を行ない、(5)の処理を省略して実行してもよい。
【0207】
上記の(2)、(3)の領域分割を行なう処理は、いずれを先に行なってもよいし、平行処理してもよいことは言うまでもない。
【0208】
対象粒子の、赤成分の画像(R画像)、緑成分の画像(G画像)、青成分の画像(B画像)から、実施例1と同様に、対象粒子の、赤成分の画像(R画像)、緑成分の画像(G画像)を選択し、さらに実施例2と同様に、緑成分の画像(G画像)を選択して、実施例2の構成の一部に、実施例1の構成を組み込んで、実施例2において説明した、最も無染色となりやすい偏平上皮細胞を含む画像の51例に適用した結果、8例の無染色粒子を含め、51例の画像のすべてにおいて、良好な領域分割結果を得た。即ち、実施例2の構成の一部に、実施例1の構成を組み込み、実施例1、実施例2の単独の方法では得られなかった、良好な領域分割を行なうことができた。この結果、単独の方法では、1つの領域として理想的に分割することが困難であった無染色細胞を含め、ほとんどすべての対象粒子を、1つの連結した対象領域として分割できるようになり、沈渣成分の識別の精度を向上させることができた。
【0209】
本実施例では、試料の染色により、十分に染色される粒子、染色されにくい粒子(十分に染色されない粒子、ほとんど染色されない粒子)が混在する場合にも、背景領域を正確に識別して、各粒子像毎に安定して領域分割でき、より正確な2値画像が得られ、この結果、対象領域の特徴量がより正確に求められ、対象粒子の分類の誤りを少なくできる。このように、染色の程度が異なる対象粒子が混在し、染色性が悪く、ほとんど染色されない対象粒子が試料に含まれる場合にも、各粒子像毎について正確な領域分割ができ、各種の沈渣成分の識別精度が向上できる。
【0210】
図30、図31は、本実施例による、実際の試料における処理結果例を示す。
【0211】
図30における試料は、図6、図14、図16に示す例と同じ試料であり、染色が良好な細胞(染色細胞)の例を示す。図31における試料は、図7、図15、図17に示す例と同じ試料であり、染色が良好でない細胞(無染色細胞)の例を示す。
【0212】
図30、図31において、2値画像251、261は、それぞれ実施例1のG画像の濃度値とR画像の濃度値に閾値を設定する方法による領域分割の結果、2値画像252、262は、それぞれ実施例2のG画像の濃度値の変化を表わす量に閾値を設定する方法(n=2として、差分値を使用)による領域分割の結果を示す。2値画像253は、2値画像251と252との論理和をとった結果を示し、2値画像263は、2値画像261と262との論理和をとった結果を示す。なお、これら、2値画像251、261、252、262、253、263の領域分割の結果では、修正処理(対象領域の穴埋め、背景領域のノイズ除去等の2値画像の修正、整形処理)を行なっていない。2値画像254、264は、2値画像253、263の対して、それぞれ修正処理を行なって得た画像である。2値画像251に対して、修正処理を行なうと図6の画像が得られ、2値画像261に対して、修正処理を行なうと図7の画像が得られる。
【0213】
実施例3の方法では、実施例1、2の単独の方法では、試料中の粒子を理想的に抽出することは困難であっても、ほぼ見落としなく画像中の粒子を抽出することが可能となる。
【0214】
(実施例4)
本実施例は、実施例1から実施例3で説明した領域分割の方法により得た2値画像のいずれか2つの2値画像、もしくは3つの2値画像の論理演算(論理和)により、新たな2値画像を得て、より正確に、対象粒子を抽出するものである。
【0215】
図29は、本実施例における、2つの異なる方法(実施例1、及び実施例2に基づく領域分割法)により領域分割された2つの2値画像の合成を、模式的に説明する図である。実施例1に基づく領域分割法から得た2値画像210と、実施例2のG画像の濃度値の変化を表わす量から得た2値画像220とから、新しい2値画像230が合成される。この合成は、上記2つの2値画像210、220の論理和によって得られる。2値画像210の粒子像212では、2値画像220で得られている粒子像222の周辺の一部しか抽出されておらず、逆に2値画像220の粒子像221では、2値画像210で得られている粒子像211(但し、粒子像211の内部の一部が、背景領域として識別されている)の内部の一部しか抽出されていない。
【0216】
2つの2値画像210、220の論理和によって、合成された新しい2値画像230では、粒子像231、232が求められ、それぞれの領域分割法の欠点を互いに補いあって、より質の向上した2値画像が得られ、より正確に目的とする対象粒子が抽出できる。以上の説明では、合成の方法として論理和をとったが、画像処理する試料の処理条件(染色条件等)、試料の種類、対象粒子の種類等により、適宜設定される。
【0217】
以上の各実施例において、領域分割に用いる画像として、赤画像、緑画像、青画像のどの画像を選択するかの決定は、分析対象とする試料の分光特性、背景信号のレベルやバラツキ、対象粒子が存在する領域での信号のレベルやバラツキ等を考慮して、各実施例で説明した領域分割の方法に対して、それぞれ行なえばよい。さらに、目的とする対象粒子が抽出する領域分割を行なうための論理演算として、論理和をとったが、画像処理する試料の処理条件(染色条件等)、試料の種類、対象粒子の種類等により、適宜変更されることは言うまでもない。
【0218】
尿試料には、通常、染色液が添加され、沈渣成分のうち細胞類は、通常、青、赤、赤紫等の色に染色される。背景は白色をしているため、単純に、背景と沈渣成分との色の違いに着目し、赤画像、緑画像、青画像、それぞれの画像信号に閾値を設け、白色に近い部分を背景領域、それ以外の領域を、目的とする粒子が存在する対象領域とする、従来の領域分割法では、染色が十分にできなかった粒子は、正確に検出することはできない。その理由は、細胞のうち、完全に死んでいない、活性度の高い細胞は、染色剤を吸収しにくい性質をもち、染色されず透明であるため、画像中の細胞の存在する領域は、背景領域とほぼ同じ色調となっているため、従来の単純な領域分割法では、正確に細胞領域を抽出できない。
【0219】
十分に染色されない細胞は、無色透明であり、細胞内部、及び細胞表面の不均一性により、光の屈折、散乱が生じ、細胞が存在する領域の画像の濃度値の変化は大きい。このため、単純な領域分割法では、本来、1つの細胞の存在する領域が、複数の小さな領域として分割されてしまい、それぞれの独立した領域が、異なる沈渣成分として誤って識別されてしまい、沈渣成分の識別の精度を低下させてしまう。
【0220】
本発明では、このような細胞像の濃度値の位置による細かな変化に着目して、画像中の各点における濃度の変化を表す量を計算し、濃度値に閾値を設けると同時に、濃度の変化を表す量に閾値を設け、領域分割を行うことにより、対象粒子が十分に染色されない場合でも、正確な領域分割を可能にするものである。
【0221】
(実施例5)
実施例1から実施例4において説明した方法が適用される、粒子画像の領域分割を行なう装置を、図32を使用して以下に説明する。
【0222】
TVカメラ102からの、所定の撮影領域(図3)の、G画像、R画像、及びB画像の画像信号は、A/D変換器103により、例えば512×512画素に関するデジタルの画像データに変換される。これらの画像データの各画素に対して、以下に説明する各処理が実行され、粒子が存在する領域と、背景領域とが識別され、領域分割された2値画像が得られる。
【0223】
濃度補正回路72は、補正用データメモリ70に予め記憶されている、撮像光学系の歪みによる濃度むらを補正する補正用データを使用して、(数2)、又は(数3)に基づいて、濃度むらの補正を実行する。この補正結果は、画像メモリ90に格納される。以上の構成は、実施例1から実施例3を実行する装置に共通の構成である。
【0224】
以下、実施例1から実施例4を実行する装置構成の例を説明する。
【0225】
(a) 実施例1を実行する装置は、図32に示す構成のうち、ヒストグラム計算回路74と、閾値計算回路76と、濃度2値化回路78と、2値画像メモリ80とを有している。ヒストグラム計算回路74は、濃度補正回路72により、濃度むらが補正されたR画像データ、G画像データを使用して、G画像、及びR画像のヒストグラムを求める。閾値計算回路76は、(数5)から(数8)に基づいて、閾値T1、T2、T3、T4をそれぞれ算出する。濃度2値化回路78は、これら閾値T1、T2、T3、T4を使用して、G画像、及びR画像データから、(数9)に基づいて背景領域を検出して2値化された画像データを、2値画像メモリ80に格納する。実施例1を実行する装置では、濃度2値化回路78、2値画像メモリ80は、それぞれ2値化回路96、2値画像メモリ98を兼ねている。(b) 実施例2を実行する装置の構成は、図32に示す構成のうち、画像メモリ90から読み出した濃度むらが補正されたR画像データにおける画素間での濃度の変化の大きさを検出して2値化する濃度変化2値化回路92と、その結果を記憶する2値画像メモリ94と、上記(a)で説明した濃度むらが補正されたR画像、G画像データのうち、G画像データを使用する、ヒストグラム計算回路74と、閾値計算回路76と、濃度2値化回路78と、2値画像メモリ80とを有している。濃度変化2値化回路92の具体的な構成は、実施例2においてすでに詳細に説明した、図25、図26、図27、及び図28のいずれかに示す構成と同様である。2値化回路96は、2値画像メモリ80と2値画像メモリ94に格納されたデータ間での論理和(論理OR)により、領域分割を行ない、その結果を2値画像メモリ98に格納する。
【0226】
なお、ヒストグラム計算回路74と、閾値計算回路76と、濃度2値化回路78とからなる処理は、濃度変化2値化回路92の処理と平行して実行されており、高速化が可能である。
【0227】
以上では、G画像、及びR画像データの濃度を使用する場合について説明したが、この構成に限定されることなく、2つの画像データは、R、G、B画像データから適宜選択される。選択された画像データを使用して、閾値計算回路76により、複数の閾値が算出され、濃度2値化回路78により2値化された画像データを、2値画像メモリ80に格納する。
【0228】
さらに上記では、G画像データの画素間での濃度の変化の大きさを検出する濃度変化2値化回路92と、検出された結果を格納する2値画像メモリ94の構成について説明したが、濃度変化2値化回路92と2値画像メモリ94からなる構成を、さらに1、もしくは2つ並列に接続配置して、G画像データの他に、B画像データ又はR画像データの1画像データの、もしくはB画像データ、R画像データの2画像データの、画素間での濃度の変化の大きさを、平行して検出する構成とし、このように並列に接続配置された複数の濃度変化2値化回路92からそれぞれ検出され、複数の2値画像メモリ94に格納されている画像と2値画像メモリ80に格納されている画像との間で、論理演算、例えば論理和を2値化回路96で実行し、得られる2値化された画像を2値画像メモリ98に格納する構成としてもよい。
【0229】
このような構成によれば、R、G、B画像データの中から複数の画像を使用して、それぞれの画像において、画素間での濃度の変化の大きさを検出して、2値化された画像データを得るので、R、G、B画像データの中の単独の画像を使用し、画素間での濃度の変化の大きさを検出して、2値化された画像データを得る場合に比較して、より正確に粒子が存在する粒子領域を識別できる。
【0230】
(c) 実施例3を実行する装置は、図32に示す構成を有している。即ち、上記(a)、及び(b)の構成が結合された構成を有している。即ち、画像メモリ90から読み出した濃度むらが補正されたG画像データにおける、画素間での濃度の変化の大きさを検出して2値化された画像データを得る濃度変化2値化回路92と、2値化された画像データを格納する2値画像メモリ94と、濃度むらが補正されたR画像データ、G画像データを使用して、G画像、及びR画像のヒストグラムを求めるヒストグラム計算回路74と、G画像、及びR画像データから、閾値T1、T2、T3、T4を使用して、(数9)に基づいて背景領域を検出して2値化された画像データを得る濃度2値化回路78と、2値化された画像データを格納する2値画像メモリ80と、2値画像メモリ80と2値画像メモリ94に格納されたデータ間での論理和(論理OR)演算を行なう2値化回路96と、論理和(論理OR)演算の結果であり、領域分割された結果を格納する2値画像メモリ98と、から構成される。なお、濃度変化2値化回路92の具体的な構成は、実施例2においてすでに詳細に説明した、図25、図26、図27、及び図28のいずれかに示す構成と同様である。
【0231】
なお、ヒストグラム計算回路74と、閾値計算回路76と、濃度2値化回路78とからなる処理は、濃度変化2値化回路92の処理と平行して実行されており、高速化が可能である。
【0232】
以上では、G画像、及びR画像データの濃度を使用する場合について説明したが、この構成に限定されることなく、2つの画像データは、R、G、B画像データから適宜選択される。選択された画像データを使用して、閾値計算回路76により、複数の閾値が算出され、濃度2値化回路78により2値化された画像データを、2値画像メモリ80に格納する。また、ヒストグラム計算回路74と、閾値計算回路76と、濃度2値化回路78、2値画像メモリ80とからなる構成を複数個並列接続して、G画像、及びR画像データの濃度にさらに、例えばG画像、及びB画像データの濃度を使用して、複数の2値画像メモリ80に2値化された画像を得て、2値画像メモリ80に格納されている画像と、複数の2値画像メモリ80に格納されている画像との間で、論理演算、例えば論理和を2値化回路96で実行し、得られる2値化された画像を2値画像メモリ98に格納する構成としてもよい。
【0233】
さらに、上記では、G画像データの画素間での濃度の変化の大きさを検出する濃度変化2値化回路92と、検出された結果を格納する2値画像メモリ94の構成について説明したが、濃度変化2値化回路92と2値画像メモリ94からなる構成を、さらに1、もしくは2つ並列に接続配置して、G画像データの他に、B画像データ又はR画像データの1画像データの、もしくはB画像データ、R画像データの2画像データの、画素間での濃度の変化の大きさを、平行して検出する構成とし、このように並列に接続配置された複数の濃度変化2値化回路92からそれぞれ検出され、複数の2値画像メモリ80に格納されている画像と、1又は複数の2値画像メモリ94に格納されている画像との間で、論理演算、例えば論理和を2値化回路96で実行し、得られる2値化された画像を2値画像メモリ98に格納する構成としてもよい。
【0234】
このような構成によれば、R、G、B画像データの中から複数の画像を使用して、それぞれの画像において、画素間での濃度の変化の大きさを検出して、2値化された画像データを得るので、R、G、B画像データの中の単独の画像を使用し、画素間での濃度の変化の大きさを検出して、2値化された画像データを得る場合に比較してより正確に粒子が存在する粒子領域を識別できる。
【0235】
(d) 実施例4を実行する装置の構成は、上記で説明した(a)、(b)の装置構成を備えており、(a)、(b)で説明した装置構成部分から得られた結果を、2値化回路96によって、論理演算(論理和)をとり、領域分割された2値画像を得て、2値画像メモリ98に格納する。
【0236】
以上説明した(a)から(d)の装置構成の2値画像メモリ98に得られた、領域分割された2値画像を使用して、粒子が存在する対象領域に関して特徴量が、演算処理手段(図32には図示せず)によって演算検出され、尿沈渣粒子の識別が実行される。
【0237】
【発明の効果】
本発明によれば、特に、変化に富んだ性質をもつ対象粒子の検出が要求される尿沈渣検査装置で得る画像の領域分割において、試料の染色により、対象粒子が十分に染色されず、対象粒子の濃度が背景濃度とほとんど差がなく、このような対象粒子を高い頻度で多数含む試料の場合にも、対象粒子の抽出ができる。即ち、試料の染色により、十分に染色される粒子、染色されにくい粒子(十分に染色されない粒子、ほとんど染色されない粒子)が混在する場合にも、各粒子像毎に安定して分割でき、より正確な2値画像が得られ、この結果、対象領域の特徴量がより正確に求められ、対象粒子の分類の誤り防止が可能となり、各種の沈渣成分の識別精度が向上できる。
【図面の簡単な説明】
【図1】本発明の第2の実施例の粒子画像の像領域分割方法の原理を説明する図。
【図2】本発明の第2の実施例の粒子画像の像領域分割方法の原理を説明する図。
【図3】本発明の領域分割方法が適用される尿沈渣検査装置の構成例を示す図。
【図4】本発明の色空間での背景部の抽出を行なう領域分割を模式的に示す図。
【図5】本発明での、閾値の決定に使用するパラメータを求めるための濃度ヒストグラムを説明する図。
【図6】本発明の実施例1での、対象粒子の染色が良好な染色細胞の画像、対象粒子の染色がほとんどされていない細胞の画像、の領域分割結果の例を示す図。
【図7】本発明の実施例1での、対象粒子の染色が良好な染色細胞の画像、対象粒子の染色がほとんどされていない細胞の画像、の領域分割結果の例を示す図。
【図8】本発明の実施例2での、染色が良好な細胞を含む画像、染色がほとんどされていない細胞を含む画像、の濃度値の例を示す図。
【図9】本発明の実施例2での、染色が良好な細胞を含む画像、染色がほとんどされていない細胞を含む画像、の濃度値の例を示す図。
【図10】本発明の実施例2での、染色が良好な細胞を含む画像、染色がほとんどされていない細胞を含む画像、の分散値の例を示す図。
【図11】本発明の実施例2での、染色が良好な細胞を含む画像、染色がほとんどされていない細胞を含む画像、の分散値の例を示す図。
【図12】本発明の実施例2での、染色が良好な細胞を含む画像、染色がほとんどされていない細胞を含む画像、の濃度差分値の例を示す図。
【図13】本発明の実施例2での、染色が良好な細胞を含む画像、染色がほとんどされていない細胞を含む画像、の濃度差分値の例を示す図。
【図14】本発明の実施例2での、濃度の局所的分散を用いた2値化による方法を用いて行なった、染色が良好な細胞を含む画像、染色がほとんどされていない細胞を含む画像、の領域分割の結果例を示す図。
【図15】本発明の実施例2での、濃度の局所的分散を用いた2値化による方法を用いて行なった、染色が良好な細胞を含む画像、染色がほとんどされていない細胞を含む画像、の領域分割の結果例を示す図。
【図16】本発明の実施例2での、濃度差分値を用いた2値化による方法を用いた、染色が良好な細胞を含む画像、染色がほとんどされていない細胞を含む画像、の領域分割の結果例を示す図。
【図17】本発明の実施例2での、濃度差分値を用いた2値化による方法を用いた、染色が良好な細胞を含む画像、染色がほとんどされていない細胞を含む画像、の領域分割の結果例を示す図。
【図18】本発明の実施例2での、マスクサイズの変化による領域分割の結果例を示す図。
【図19】本発明の実施例2での、1走査線における背景領域、及び対象領域における、離散フーリエ変換した結果例を示す図。
【図20】本発明の実施例2での、フイルタの周波数振幅特性(|H(Ω)|)の例を示す図。
【図21】本発明の実施例2での、染色された赤血球の画像を用いて、分割される領域の形状のマスクサイズによる影響を調べた結果例を示す図。
【図22】本発明の実施例2での、粒子画像の領域分割の手順を説明する処理のフローチャート。
【図23】本発明の実施例2を実施するための装置の構成例を示す図。
【図24】図23における領域分割部の構成例を示す図。
【図25】本発明の実施例2での、濃度変化計算部の具体的な回路構成例を示す図。
【図26】本発明の実施例2での、濃度変化計算部の具体的な回路構成例を示す図。
【図27】本発明の実施例2での、濃度変化計算部の具体的な回路構成例を示す図。
【図28】本発明の実施例2での、濃度変化計算部の具体的な回路構成例を示す図。
【図29】本発明の実施例4での、2つの異なる方法により領域分割された2つの2値画像の合成を、模的に説明する図。
【図30】本発明の実施例3での、実際の試料における領域分割の結果例を示す図。
【図31】本発明の実施例3での、実際の試料における領域分割の結果例を示す図。
【図32】本発明の粒子画像の像領域分割方法が適用される装置の構成例を示す図。
【符号の説明】
22…尿試料、24…染色液、26…フローセル、28…パーソナルコンピュータ、30…フラッシュランプ(Xeランプ)、32…半導体レーザ、34…粒子検出器、36…TVカメラ、40…R画像の濃度ヒストグラム、40’…G画像の濃度ヒストグラム、50、51、52…細胞、60、61、62…ノイズ成分、70…補正用データメモリ、72…濃度補正回路、74…ヒストグラム計算回路、76…閾値計算回路、78…濃度2値化回路、80…2値画像メモリ、90…画像メモリ、92…濃度変化2値化回路、94…2値画像メモリ、96…2値化回路、98…2値画像メモリ、102…TVカメラ、103…A/D変換器、101…パルスランプ、102…テレビカメラ、103…A/D変換器、104…画像メモリ、105…閾値計算部、106…領域分割部、107…画像メモリ、108…計算機、109…CPUバス、110…データバス、200…入力部、210、220、230…2値画像、211、212、221、222、231、232…粒子像、300…濃度2値化回路、310…閾値メモリ、320…比較器、400…濃度変化2値化回路、410…メモリ、411〜414…、420…濃度変化計算部、421、422…加算器、423…減算器、430…比較部、431…閾値メモリ、432…比較器、500…論理和回路、600…フィルタ部、700…出力部、800…分散計算回路、811〜819…メモリ、821…2乗演算部、822、824…加算器、823、825…除算器、826…2乗演算器、827…減算器、900…荷重和計算回路、931〜939…メモリ、941〜949…重み値メモリ、951〜959…乗算器、961…加算器、1000…画像メモリ。
Claims (5)
- 粒子画像を入力する画像入力光学系により得た、染色された対象粒子の、赤成分の画像(R画像)、緑成分の画像(G画像)、及び青成分の画像(B画像)を、静止画像として撮影記憶し、前記R画像、前記G画像、及び前記B画像の中の1又は複数の画像を使用して、背景領域と、前記対象粒子が存在する対象領域とを識別する粒子画像の領域分割法であり、前記R画像、前記G画像、及び前記B画像の中から選択される1又は複数からなる第1群の画像の、それぞれの画像の前記濃度値に対し、前記背景領域と濃度差の大きい領域を分割するための第1群の閾値を設定して、前記第1群の画像から、2値化された第1の2値画像を得る第1の工程と、前記R画像、前記G画像、及び前記B画像の中から選択される1又は複数からなる第2群の画像の、それぞれの画像を構成する各画素の近傍領域内での、前記濃度値の変化の大きさを表す量を、前記各画素で計算し、前記各画素で求めた前記濃度値の変化の大きさを表わす量に、前記背景領域における前記濃度値の変化と比較し前記濃度値の変化の大きい領域を分割するための第2群の閾値を設定し、前記第2群の画像から、2値化された第2の2値画像を得る第2の工程と、前記第1の2値画像と、前記第2の2値画像との論理演算によって、前記背景領域と、前記対象領域とを表す2値化された第3の2値画像を求める第3の工程と、を有することを特徴とする粒子画像の領域分割法。
- 請求項1に記載の粒子画像の領域分割方法において、前記粒子画像が、流れの中に点在する染色された尿沈渣粒子の画像であることを特徴とする粒子画像の領域分割法。
- 粒子画像を入力する画像入力光学系により得た、染色された対象粒子の、赤成分の画像(R画像)、緑成分の画像(G画像)、及び青成分の画像(B画像)を、静止画像として撮影記憶し、前記R画像、前記G画像、及び前記B画像の中の1又は複数の画像を使用して、背景領域と、前記対象粒子が存在する対象領域とを識別する粒子画像の領域分割法であり、前記R画像、前記G画像、及び前記B画像のうちの複数の画像に含まれる、前記画像入力光学系の歪みによる濃度値むらの補正を行なう第1の工程と前記R画像、前記G画像、及び前記B画像の中から選択される1又は複数からなる第1群の画像の、それぞれの画像の前記濃度値に対し、前記背景領域と濃度差の大きい領域を分割するための第1群の閾値を設定して、前記第1群の画像から、2値化された第1の2値画像を得る第2の工程と、前記R画像、前記G画像、及び前記B画像の中から選択される1又は複数からなる第2群の画像の、それぞれの画像を構成する各画素の近傍領域内での、前記濃度値の変化の大きさを表す量を、前記各画素で計算し、前記各画素で求めた前記濃度値の変化の大きさを表わす量に、前記背景領域における前記濃度値の変化と比較し前記濃度値の変化の大きい領域を分割するための第2群の閾値を設定し、前記第2群の画像から2値化された第2の2値画像を得る、前記第2の工程と平行して行なわれる、第3の工程と、前記第1の2値画像と、前記第2の2値画像との論理和演算によって、前記背景領域と、前記対象領域とを表す2値化された第3の2値画像を求める第3の工程と、を有することを特徴とする粒子画像の領域分割法。
- 粒子画像を入力する画像入力光学系と、染色された対象粒子の、赤成分の画像(R画像)、緑成分の画像(G画像)、及び青成分の画像(B画像)を静止画像として得る手段と、前記R画像、前記G画像、及び前記B画像の画像データを記憶する記憶手段と、を有し、前記R画像、前記G画像、及び前記B画像の中の1又は複数の画像を使用して、背景領域と、前記対象粒子が存在する対象領域とを識別する粒子画像の領域分割装置であり、前記R画像、前記G画像、及び前記B画像の中から選択される1又は複数からなる第1群の画像の、それぞれの画像の前記濃度値に対し、前記背景領域と濃度差の大きい領域を分割するための第1群の閾値を設定して、前記第1群の画像から、2値化された第1の2値画像を得る第1の2値化手段と、前記R画像、前記G画像、及び前記B画像の中から選択される1又は複数からなる第2群の画像の、それぞれの画像を構成する各画素の近傍領域内での、前記濃度値の変化の大きさを表す量を、前記各画素で計算し、前記各画素で求めた前記濃度値の変化の大きさを表わす量に、前記背景領域における前記濃度値の変化と比較し前記濃度値の変化の大きい領域を分割するための第2群の閾値を設定し、前記第2群の画像から、2値化された第2の2値画像を得る第2の2値化手段と、前記第1の2値画像と、前記第2の2値画像との論理演算によって、前記背景領域と、前記対象領域とを表す2値化された第3の2値画像を求める第3の2値化手段と、を有することを特徴とする粒子画像の領域分割装置。
- 粒子画像を入力する画像入力光学系と、染色された対象粒子の、赤成分の画像(R画像)、緑成分の画像(G画像)、及び青成分の画像(B画像)を静止画像として得る手段と、前記R画像、前記G画像、及び前記B画像の画像データを記憶する記憶手段と、を有し、前記R画像、前記G画像、及び前記B画像の中の1又は複数の画像を使用して、背景領域と、前記対象粒子が存在する対象領域とを識別する粒子画像の領域分割装置であり、前記R画像、前記G画像、及び前記B画像のうちの複数の画像に含まれる、前記画像入力光学系の歪みによる濃度値むらの補正を行なう手段と、前記濃度値むらの補正が行なわれた、前記R画像、前記G画像、及び前記B画像の中から選択される1又は複数からなる第1群の画像の、それぞれの画像の前記濃度値に対し、前記背景領域と濃度差の大きい領域を分割するための第1群の閾値を設定して、前記第1群の画像から、2値化された第1の2値画像を得る第1の2値化手段と、前記R画像、前記G画像、及び前記B画像の中から選択される1又は複数からなる第2群の画像の、それぞれの画像を構成する各画素の近傍領域内での、前記濃度値の変化の大きさを表す量を、前記各画素で計算し、前記各画素で求めた前記濃度値の変化の大きさを表わす量に、前記背景領域における前記濃度値の変化と比較し前記濃度値の変化の大きい領域を分割するための第2群の閾値を設定し、前記第2群の画像から2値化された第2の2値画像を得る、前記第1の2値化手段と平行して動作する、第2の2値化手段と、前記第1の2値画像と、前記第2の2値画像との論理和演算によって、前記背景領域と、前記対象領域とを表す2値化された第3の2値画像を求める第3の2値化手段と、を有することを特徴とする粒子画像の領域分割装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP17178795A JP3653804B2 (ja) | 1994-09-19 | 1995-07-07 | 粒子画像の領域分割方法及び装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6-223028 | 1994-09-19 | ||
JP22302894 | 1994-09-19 | ||
JP17178795A JP3653804B2 (ja) | 1994-09-19 | 1995-07-07 | 粒子画像の領域分割方法及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08145871A JPH08145871A (ja) | 1996-06-07 |
JP3653804B2 true JP3653804B2 (ja) | 2005-06-02 |
Family
ID=26494392
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP17178795A Expired - Fee Related JP3653804B2 (ja) | 1994-09-19 | 1995-07-07 | 粒子画像の領域分割方法及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3653804B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6766046B1 (en) | 1998-02-19 | 2004-07-20 | Asahi Glass Company Ltd. | Plate glass shatter testing method, device, imaging method for glass testing and image signal processing method |
GB0218909D0 (en) * | 2002-08-15 | 2002-09-25 | Qinetiq Ltd | Histological assessment |
JP5475472B2 (ja) * | 2007-03-02 | 2014-04-16 | ベクトン・ディキンソン・アンド・カンパニー | 生物材料の自動染色法および装置 |
WO2009125678A1 (ja) | 2008-04-07 | 2009-10-15 | 株式会社日立ハイテクノロジーズ | 尿中粒子画像の領域分割方法及び装置 |
JP5001231B2 (ja) * | 2008-07-11 | 2012-08-15 | 大日本スクリーン製造株式会社 | 領域抽出方法、領域抽出装置およびプログラム |
JP6473580B2 (ja) * | 2013-07-29 | 2019-02-20 | 学校法人 東洋大学 | 粒径測定装置および粒径測定方法 |
JP7160047B2 (ja) * | 2017-11-06 | 2022-10-25 | コニカミノルタ株式会社 | 生体物質定量方法、画像処理装置及びプログラム |
WO2020197785A1 (en) * | 2019-03-27 | 2020-10-01 | Becton, Dickinson And Company | Systems for cell sorting based on frequency-encoded images and methods of use thereof |
CN113139934B (zh) * | 2021-03-26 | 2024-04-30 | 上海师范大学 | 一种水稻谷粒计数方法 |
-
1995
- 1995-07-07 JP JP17178795A patent/JP3653804B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH08145871A (ja) | 1996-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5768412A (en) | Region segmentation method for particle images and apparatus thereof | |
US8135202B2 (en) | Automated method and system for nuclear analysis of biopsy images | |
CN107977682B (zh) | 基于极坐标变换数据增强的淋巴类细胞分类方法及其装置 | |
CA2130340C (en) | Method for identifying objects using data processing techniques | |
US5933519A (en) | Cytological slide scoring apparatus | |
JP4948647B2 (ja) | 尿中粒子画像の領域分割方法及び装置 | |
US4175860A (en) | Dual resolution method and apparatus for use in automated classification of pap smear and other samples | |
JP5717647B2 (ja) | 多核細胞分類および微小核点数化 | |
US6137899A (en) | Apparatus for the identification of free-lying cells | |
US5987158A (en) | Apparatus for automated identification of thick cell groupings on a biological specimen | |
KR102140385B1 (ko) | 골수 판독을 위한 셀존 레이블링 장치 및 이를 포함하는 셀존 검출 시스템 | |
CN109975196B (zh) | 一种网织红细胞检测方法及其*** | |
JPH11510282A (ja) | 分類のロバストネス測定装置および方法 | |
Son et al. | Morphological change tracking of dendritic spines based on structural features | |
NL2024777B1 (en) | Blood leukocyte segmentation method based on color component combination and contour fitting | |
WO2006113979A1 (en) | Method for identifying guignardia citricarpa | |
JP3653804B2 (ja) | 粒子画像の領域分割方法及び装置 | |
US11068740B2 (en) | Particle boundary identification | |
Deepak et al. | Computer assisted pap smear analyser for cervical cancer screening using quantitative microscopy | |
Tomari et al. | Red blood cell counting analysis by considering an overlapping constraint | |
US10453189B2 (en) | Process and device for direct measurements of plant stomata | |
Vromen et al. | Red blood cell segmentation from SEM images | |
KR20200136004A (ko) | 세포 샘플 내에서 적어도 하나의 기형을 가지는 세포를 검출하기 위한 방법 | |
Inchur et al. | Implementation of blood cell counting algorithm using digital image processing techniques | |
Palokangas et al. | Segmentation of folds in tissue section images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040325 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050221 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090311 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090311 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100311 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110311 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110311 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120311 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130311 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130311 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140311 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |