JP4558047B2 - 顕微鏡システム、画像生成方法、及びプログラム - Google Patents

顕微鏡システム、画像生成方法、及びプログラム Download PDF

Info

Publication number
JP4558047B2
JP4558047B2 JP2008012651A JP2008012651A JP4558047B2 JP 4558047 B2 JP4558047 B2 JP 4558047B2 JP 2008012651 A JP2008012651 A JP 2008012651A JP 2008012651 A JP2008012651 A JP 2008012651A JP 4558047 B2 JP4558047 B2 JP 4558047B2
Authority
JP
Japan
Prior art keywords
image
specimen
region
cell
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008012651A
Other languages
English (en)
Other versions
JP2009175334A (ja
Inventor
達喜 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2008012651A priority Critical patent/JP4558047B2/ja
Priority to US12/357,059 priority patent/US8350905B2/en
Publication of JP2009175334A publication Critical patent/JP2009175334A/ja
Application granted granted Critical
Publication of JP4558047B2 publication Critical patent/JP4558047B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10148Varying focus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Microscoopes, Condenser (AREA)

Description

本発明は、顕微鏡技術に関し、特に、顕微鏡を用いて広視野かつ高精細である顕微鏡画像の記録・観察を行える、細胞診での使用に好適な顕微鏡システムの技術に関する。
一般的に、細胞診は、例えば以下のようにして行われる。
まず、検査士が、比較的低倍(例えば10倍)の対物レンズを使用して標本全体をスクリーニングして、悪性な細胞若しくは非正常な細胞(本願では、このような細胞を「異常細胞」と称することとする)の探索を行う。ここで、疑わしい細胞を見つけた場合には、細胞の構造をより詳細に観察するために、対物レンズを高倍のもの(例えば40倍)に変更し、焦点位置を変えながら詳細に観察して目的の細胞であるか否かを判断する。ここで、目的とする細胞若しくは異常所見を見つけ出した場合には、当該標本が塗抹されているスライドガラス上にインクを用いてマーキングを行う。なお、陽性例・疑陽性症例に関しては、細胞診専門医又は指導医が再鏡検して最終判定を行い、署名の上依頼元に報告する。一方、陰性症例と検査士が判断した場合には、細胞診専門医・指導医のチェックが行われることなく、その検査結果が依頼元に報告される症例が大半である。
大量の細胞の中から悪性細胞を拾い上げることは非常に労力のいる作業である。また、検査士の疲労や検査士の能力等に起因する悪性細胞の見落としによる偽陰性症例の発生が問題となっている。また、拾い上げた細胞が、異常細胞か否かを判定するのは検査士の能力・経験等により左右されるものであるため、検査精度にバラツキが生じるといった問題もある。
このような問題に鑑み、異常細胞の拾い上げは機械が行うようにし、“悪性”や“悪性疑い”といった良悪性等の判定は検査士が行うようにして、細胞診検査の精度を向上させるという技術が知られている。
このような技術に関し、例えば特許文献1には、低倍率で標本を走査して異常細胞を核の形状に基づき自動的に抽出し、抽出された細胞の領域を高倍率で撮影してその画像を保存することにより、抽出された異常細胞を病理医等が後で当該画像に基づいて評価できるようにする装置が開示されている。
また、例えば特許文献2には、標本走査により自動的に抽出した異常細胞のXY座標を記録しておくようにし、電動ステージを備える顕微鏡(Review Station)下でその座標を後に再現して当該異常細胞を観察できるようにする装置が開示されている。
一方、電動ステージ等を利用して視野を移動させる度に(すなわち、対物レンズと標本とを顕微鏡の光軸に対して直交する方向に相対的に移動させる度に)、当該標本の顕微鏡画像を複数枚撮影して取得し、それらを貼り合わせる(相互に結合する)ことで、広視野かつ高解像な顕微鏡画像を構成し、病理診断等に活用するシステムが知られている。本願では、この顕微鏡画像を「VS(Virtual Slide ;バーチャルスライド)画像」と称することとし、このようにしてVS画像を作成するシステムを、「バーチャルスライド顕微鏡システム」と称することとする。
バーチャルスライド顕微鏡システムの技術に関し、例えば特許文献3には、三次元のVS画像を自動作成するシステムが開示されており、このシステムは細胞診の検査に使用可能である。また、この特許文献3では、このシステムを用いて実施した検査の終了後に、病理医により指定された注目領域のみを高精細かつ三次元で情報を保持しておき、その他の領域は次元数を二次元(平面)に落とすと共に解像度を落として保持することにより、記憶装置の記憶容量を節約する技術が開示されている。
また、例えば特許文献4にも、バーチャルスライド顕微鏡システムが開示されている。
この他、本発明に関し、例えば非特許文献1には、例えば、ガウシアンフィルタ(Gaussian Filter )等の平滑化フィルタ処理や、2値化された画像に対する、画素連結成分の境界を求めるための輪郭追跡処理(Contour Tracking)・画像中の小さな穴を取り除くための膨張処理(dilation)及び収縮処理(erosion )によるクロージング(closing )処理・異なる画素連結成分に異なるラベルを付して区別するラベリング(Labeling)処理・画素連結成分の形状の特徴を数値化した形状特徴パラメータ(Geometric Feature parameter)の算出処理、などといった、周知の各種のディジタル画像処理の手法についての解説が記載されている。
特表2000−501184号公報 特表2004−517349号公報 特開2006−343573号公報 特開平9−281405号公報 ディジタル画像処理編集委員会監修、「ディジタル画像処理」、第2版、財団法人画像情報教育振興協会、2007年3月1日、p.108−110及びp.177−184
特許文献1に開示の装置には以下の問題がある。
(1)装置が撮影して保存する画像には、装置が異常と判断した領域のみの画像であるため、異常細胞の見落としがあるのか否かの判断ができない。
(2)装置により取得される高倍率画像は平面画像(二次元画像)であって三次元画像ではないため、例えば焦点位置を変えることで確認できる核内の異常所見等を得ることができない場合がある。また、細胞の重なりにより、異常か否かの判断が困難な場合も生じ得る。
(3)細胞の正常/異常の判断は、近傍の正常細胞との比較により行われることが一般的であり、例えば、核の大きさや、N/C比(nucleocytoplasmic ratio :核と細胞質との面積比)の高さ等に基づき判断される。しかし、この装置で保存される画像は異常細胞のみの画像であるため、正常細胞との比較が困難であり、検査に支障が生じる。
また、特許文献2の技術には、以下の問題がある。
(1)観察用の顕微鏡(Review Station)で異常細胞のXY座標を精度よく再現するには、位置決めのための基準マーカが印刷されている専用のスライドガラスが必要になるため、検査コストが高くなってしまう。
(2)専用の電動システム顕微鏡(Review Station)が必要であり、例えば複数の検査士が並行して検査を行う場合には、そのような専用の顕微鏡が人数分必要となるため、検査コストが高くなってしまう。
(3)異常細胞のXY座標を精度よく再現するために、スライドガラスをステージに載置する毎にキャリブレーション操作が必要となるため、検査に手間がかかり、面倒である。
(4)また、例えば専用品ではないスライドガラスに載せられた細胞診標本を観察する場合には、ステージをXY移動させる操作をジョイスティックの操作等により行わなければならず、操作性が低い。このために、通常の顕微鏡を用意すれば、検査コストが高くなる上に、両方の顕微鏡を設置するためのスペースも必要となる。
更に、特許文献1と特許文献2との技術に共通の問題として、システムが拾い上げた異常細胞が、正常なのか異常なのかといった検査士の判定結果を記録することはできないため、どのような細胞所見に基づき最終的な判定を行ったかの判定根拠が残らない。
また、これらの技術には、細胞の塊による異常細胞の過剰検出といった問題もある。すなわち、これらの技術では、正常細胞が集塊を形成しただけの良性な細胞(集塊)であっても核面積が異常と判断されて、異常細胞として過剰に検出されることがある。この過剰な検出によって、異常細胞と判定される細胞数が多くなると、その後の人による最終評価作業が多大なものとなる。
また、特許文献3に開示のシステムを細胞診検査に適用する場合には、以下の問題がある。
(1)細胞診のために必要な高倍率(例えば40倍)で標本全体の三次元VS画像を作成するには長い作成時間を要する上に、作成されたVS画像のデータ量も膨大なものとなる。
(2)異常細胞の有無をVS画像でスクリーニングするための操作は、顕微鏡下での操作に比べて操作性が低いため、長い作業時間を要する。
(3)このシステムを細胞診の検査に単純に使用するだけでは、異常細胞の見落とし防止や検査精度の向上にはつながらない。
本発明は上述した問題に鑑みてなされたものであり、その解決しようとする課題は、バーチャルスライド顕微鏡システムにおいて細胞診検査の精度と検査効率とを共に向上させることである。
本発明の態様のひとつである顕微鏡システムは、対物レンズと標本とを光軸に対して直交する方向に相対的に移動させる度に撮影して取得した複数枚の顕微鏡画像を相互に結合して構成される該標本のバーチャルスライド画像(VS画像)であって、第一の撮影倍率の該顕微鏡画像から構成されており該標本の全体像が表されている標本全体VS画像を生成する標本全体VS画像生成手段と、該標本全体VS画像生成手段により生成された該標本の全体像に基づき、該標本を構成している細胞のうち、核の像の面積が正常値から逸脱していることにより、異常であるとみなされた領域を注目領域として設定する注目領域設定手段と、該注目領域について、該第一の撮影倍率よりも高倍率であって、異なる焦点位置の複数枚の顕微鏡画像からなる注目領域三次元VS画像を生成する注目領域三次元VS画像生成手段と、を有し、該注目領域設定手段が、該注目領域三次元VS画像生成手段で生成された該注目領域三次元VS画像に基づき、該注目領域に核の重なりの存在が認められた場合に、二次判定として、該核の重なりの像を判定基準から除外した上で該細胞が異常であるか否かを判定するというものである。
なお、このとき、該注目領域設定手段は、該細胞が異常であるか否かを、該標本全体VS画像における該細胞を構成している核の像の面積及び細胞質の像の面積と、該核の像の輝度及び該細胞質の像の輝度とに基づいて判定するように構成することができる。
また、前述した本発明に係る顕微鏡システムにおいて、該注目領域設定手段により設定された該注目領域についての該注目領域三次元VS画像の生成を、該注目領域三次元VS画像生成手段に行わせるか否かを、該注目領域に表されている異常である細胞から所定距離内に存在する他の細胞の像に基づいて制御する注目領域三次元VS画像生成制御手段を更に有するように構成することができる。
また、本発明の別の態様のひとつである画像生成方法は、対物レンズと標本とを光軸に対して直交する方向に相対的に移動させる度に撮影して取得した複数枚の顕微鏡画像を相互に結合して構成される該標本のバーチャルスライド画像(VS画像)であって、第一の撮影倍率の該顕微鏡画像から構成されており該標本の全体像が表されている標本全体VS画像を標本全体VS画像生成手段が生成し、該標本全体VS画像生成手段により生成された該標本の全体像に基づき、該標本を構成している細胞のうち、核の像の面積が正常値から逸脱していることにより、異常であるとみなされた領域を注目領域として注目領域設定手段が設定し、該注目領域について、該第一の撮影倍率よりも高倍率であって、異なる焦点位置の複数枚の顕微鏡画像からなる注目領域三次元VS画像を注目領域三次元VS画像生成手段が生成し、該注目領域三次元VS画像生成手段で生成された該注目領域三次元VS画像に基づき、該注目領域に核の重なりの存在が認められた場合に、二次判定として、該核の重なりの像を判定基準から除外した上で該細胞が異常であるか否かを、該注目領域設定手段が判定する、というものである。
また、本発明の更なる別の態様のひとつであるプログラムは、対物レンズと標本とを光軸に対して直交する方向に相対的に移動させる度に撮影して取得した複数枚の顕微鏡画像を相互に結合して構成される該標本のバーチャルスライド画像(VS画像)であって、第一の撮影倍率の該顕微鏡画像から構成されており該標本の全体像が表されている標本全体VS画像を生成する標本全体VS画像生成処理と、該標本全体VS画像生成処理により生成された該標本の全体像に基づき、該標本を構成している細胞のうち、核の像の面積が正常値から逸脱していることにより、異常であるとみなされた領域を注目領域として設定する注目領域設定処理と、該注目領域について、該第一の撮影倍率よりも高倍率であって、異なる焦点位置の複数枚の顕微鏡画像からなる注目領域三次元VS画像を生成する注目領域三次元VS画像生成処理と、をコンピュータに行わせ、該注目領域設定処理が、該注目領域三次元VS画像生成処理で生成された該注目領域三次元VS画像に基づき、該注目領域に核の重なりの存在が認められた場合に、二次判定として、該核の重なりの像を判定基準から除外した上で該細胞が異常であるか否かを判定する処理を該コンピュータに行わせる、というものである。
本発明によれば、以上のようにすることにより、バーチャルスライド顕微鏡システムにおいて細胞診検査の精度と検査効率とを共に向上させることを可能にする。
以下、本発明の実施の形態を図面に基づいて説明する。
まず図1について説明する。図1は、本発明を実施するバーチャルスライド顕微鏡システムの構成を示したものである。
図1のシステムにおいて、顕微鏡装置1は、透過照明用光源6と、透過照明用光源6の照明光を集光するコレクタレンズ7と、透過用フィルタユニット8と、透過視野絞り9と、透過開口絞り10と、コンデンサ光学素子ユニット11と、トップレンズユニット12とを、透過観察用光学系として備えている。また、顕微鏡装置1は、落射照明用光源13と、落射照明用光源13の照明光を集光するコレクタレンズ14と、落射用フィルタユニット15と、落射シャッタ16と、落射視野絞り17と、落射開口絞り18とを、落射観察用光学系として備えている。
また、これらの透過観察用光学系の光路と落射観察用光学系の光路とが重なる観察光路上には、標本19が載置される電動ステージ20が備えられている。電動ステージ20は、光軸と平行/垂直の各方向に移動可能であり、この移動の制御は、ステージX−Y駆動制御部21とステージZ駆動制御部22とによって行われる。なお、電動ステージ20は、原点センサによる原点位置検出機能(不図示)を有しており、電動ステージ20に載置した標本19の各部に対して座標を設定することができる。
なお、本実施形態においては、顕微鏡装置1の透過観察用光学系を使用して標本19の観察を行うものとする。
顕微鏡装置1の観察光路上には、複数装着された対物レンズ23a、23b、…(以下、必要に応じて「対物レンズ23」と総称する)のうち、そのとき観察に使用する対物レンズ23を回転動作により選択するレボルバ24と、検鏡法を切り替えるキューブユニット25と、観察光路を接眼レンズ26の側とビデオカメラ3の側とに分岐するビームスプリッタ27とが備えられている。標本19を載置した電動ステージ20を光軸と垂直の方向に移動させると、対物レンズ23と標本19とを光軸に対して直交する方向に相対的に移動させることになる。
また、微分干渉観察のために備えられているポラライザ28、不図示のDIC(Differential Interference Contrast)プリズム、及びアナライザ30は、必要に応じて観察光路に挿入可能となっている。なお、これらの各ユニットは、本実施形態においては使用しない。
ホストシステム2に接続されている顕微鏡コントローラ31は、顕微鏡装置1全体の動作を制御する機能を有するものである。顕微鏡コントローラ31は、ホストシステム2からの制御信号に応じて、対物レンズ23の変更、透過照明用光源6の調光等といった各ユニットの制御を行う。また、顕微鏡コントローラ31は、顕微鏡装置1による各ユニットの現在の状態を検出して、この検出結果をホストシステム2へ送出する機能も有している。更に、顕微鏡コントローラ31は、ステージX−Y駆動制御部21及びステージZ駆動制御部22にも接続されており、ホストシステム2は、電動ステージ20の制御も、顕微鏡コントローラ31を介して行うことができる。
ビデオカメラ3内の撮像素子であるCCD(電荷結合素子)によって撮像された標本19(観察体)の顕微鏡画像は、ビデオボード32を介してホストシステム2に取り込まれる。ホストシステム2は、ビデオカメラ3に対し、自動ゲイン制御のON/OFF、ゲイン設定、自動露出制御のON/OFF、及び露光時間の設定を、ビデオカメラコントローラ33を介して行うことができる。また、ホストシステム2は、ビデオカメラ3より送られてくる標本19の顕微鏡画像を、画像データファイルとしてデータ記録部4に保存することができる。
データ記録部4は、例えばハードディスク装置や大容量メモリ装置等である。ホストシステム2は、例えばユーザからの指示等に応じて、データ記録部4で記録された画像データを読み出し、当該画像データで表現されている顕微鏡画像を、表示部であるモニタ5に表示させることができる。
更に、ホストシステム2は、ビデオカメラ3によって撮像された画像のコントラストに基づいて合焦動作を行う、いわゆるビデオAF(Auto Focus)機能、及び、このビデオAF機能によって得られた合焦位置の座標を、撮影座標記録部34に記録させる機能も有している。
なお、ホストシステム2は、ごく標準的な構成のコンピュータであり、制御プログラムの実行によって顕微鏡システム全体の動作制御を司るMPU(演算処理装置)、このMPUが必要に応じてワークメモリとして使用するメインメモリ、マウスやキーボードなどといったユーザからの各種の指示を取得するための入力部、この顕微鏡システムの各構成要素との間で各種データの授受を管理するインタフェースユニット、及び、各種のプログラムやデータを記憶しておくハードディスク装置等の補助記憶装置を有している。
ホストシステム2は、MPUに、補助記憶装置に記憶されている所定のアプリケーションプログラムをメインメモリ上へ読み出させて実行させることにより、後述する各種処理を実現する。なお、ホストシステム2は、これらの処理の際に、顕微鏡コントローラ31に対して制御信号を送り、顕微鏡コントローラ31によって上述した例えば電動ステージ20の移動制御や、対物レンズの変更等の顕微鏡装置1の各ユニットの制御や、各ユニットの状態検出等を行わせる場合があるが、以下の説明ではこのような動作についての説明は省略する。
以下、図1に示したバーチャルスライド顕微鏡システムが、標本19全体のVS画像(以下、「標本全体VS画像」と称する)を生成する動作についての実施例を、図2乃至図6を用いて説明する。なお、本実施例では、標本19は子宮頸部の細胞診標本とし、スライドガラスに塗抹されたときの細胞の重なりが少なく(いわゆるThin Layer標本)、且つ、血液や粘液といった細胞診の検査上不要な背景を除くことができる、例えばサイティック社(Cytyc Corporation )製のTHINPREP(登録商標)標本などの液状化細胞診で作成し、パパニコロウ染色(Papanicolaou Smear)した標本を使用するものとする。
なお、標本全体VS画像を生成する処理自体は周知であり、本願出願人が出願した上記特許文献3及び上記特許文献4にもその詳細が記述されているので、ここでは簡単に説明する。
以下、図1に示したバーチャルスライド顕微鏡システムを用いた本発明の実施例について幾つか説明する。
[標本全体VS画像の生成]
図2乃至図5について説明する。
図2は、ホストシステム2により行われる、標本全体VS画像生成処理の処理内容をフローチャートで示した図である。
図3は、スライドガラス標本(スライドガラス40上に標本19が載せられたもの)の一例を示した図である。なお、図1では標本19のみ示しているが、実際にはスライドガラス標本が電動ステージ20上にセットされる。
図4は、フォーカスマップ作成のために、標本領域全体の画像を多数の小区画に分割した状態を示す図である。
図5は、フォーカスマップのデータ構成例である。
以下、図2のフローチャートに沿って、標本全体VS画像生成処理の処理内容を説明する。
まず、図2のステップS101において、レボルバ24を制御して、標本19の存在の有無を確認するための、例えば4倍といった、低倍である対物レンズ23を光路に挿入させる処理が行われる。
次に、ステップS102において、図3に示すスライドガラス40上の所定の標本サーチ範囲41(例えば縦:25mm×横:50mm)を、ビデオカメラ3に投影される撮影領域幅に応じて(すなわち、ステップS101で光路に挿入した対物レンズ23の倍率に応じて)複数の区画に分割し、電動ステージ20をXY方向移動させて、当該分割により得られた各区画についての顕微鏡画像をビデオカメラ3に取得させる処理を行う。この処理によって得られた複数の顕微鏡画像を相互に結合することで、スライド全体像画像(図3に示す標本サーチ範囲41全体の画像)を生成し、データ記録部4にスライド全体像画像ファイルとして記憶させておく。
なお、電動ステージ20のXY方向移動とは、顕微鏡装置1の光軸に対して直交方向の平面上での電動ステージ20の移動を意味するものであり、電動ステージ20の移動制御は上記ステージX−Y駆動制御部21によって行われるものである。また、標本サーチ範囲41は、予め設定されている、スライドガラス40上の任意の領域であり、標本19は必ず標本サーチ範囲41内に載置される。なお、図3に示すように、スライドガラス40上では、ラベル43を貼る領域等も予め決められている。
次に、ステップS103において、レボルバ24を制御して、予め決められている(又はオペレータが操作して指示する)、ステップS101で使用した倍率よりも高倍率(例えば10倍)の対物レンズ23を光路に挿入させる処理が行われる。この対物レンズ23を切り替えは、後述の細胞が正常か異常かを細胞の形態情報に基づいて判定するために必要とされる解像力で標本全体VS画像を構築するために、行うものである。
次に、ステップS104において、標本領域42とフォーカス実測位置との決定処理が行われる。この処理は以下のようにして行われる。
すなわち、まず、上記ステップS102で取得した標本サーチ範囲41の全体画像を基にして、スライドガラス40上において実際に標本19が載っている領域(図3に示す標本領域42)を決定する処理が行われる。この標本領域42の決定は、既存の方法で行うことができ、例えば、標本領域42を矩形にするものと予め決めておき、上記全体画像を標本の有無により基づき2値化して、互いに直交するX方向及びY方向のそれぞれの方向において標本19の存在する部分を探索すればよい。なお、標本領域42を、オペレータがマウス装置等を操作して任意に指定し、その指定結果をホストシステム2が取得することで決定するようにしてもよい。
次に、決定された標本領域42を、例えば図4に示すように千鳥格子状に分割する処理が行われる。なお、この千鳥格子の1区画(小区画)の領域サイズは、上記ステップS103で選択された対物レンズ23を用いた場合のビデオカメラ3に投影される撮影領域に設定されている。
次に、各小区画の位置を特定する図4の画像上でのXY座標(ここでは各小区画は矩形であり、例えば矩形の中心座標)を求め、更に、この画像上でのXY座標を電動ステージ20上での物理的なXY座標に変換する処理が行われる。なお、このXY座標の変換のための計算方法は既知のものを使用するが、例えば、上記全体画像の撮影倍率、ビデオカメラ3の撮影素子情報(画素数及び画素サイズ)に基づいて算出する手法については、上記特許文献4にもその詳細が記述されている。
次に、フォーカス実測位置の決定処理として、合焦位置(Z座標)を実測する小区画を決定する処理が行われる。この処理は、全ての小区画について行うとしてもよいが、区画数が多数である場合には、全ての小区画について合焦位置を実測すると非常に時間が掛かる。そこで、本実施形態においては、実測を行う小区画(例えば図4に示すフォーカス実測位置抽出ポイント)を、全ての小区画の中から抽出し、抽出したフォーカス実測位置抽出ポイントについてのみ実測を行うようにする。この抽出の手法は任意でよく、例えばランダムに抽出するようにしてもよいし、規則的に(例えば3区画置きに)抽出するようにしてもよい。なお、ここで、標本19の一部である細胞の像が存在しない小区画については合焦位置の実測のための抽出対象外とすることは好ましい。
次に、ステップS105において、電動ステージ20をXY方向移動させて、ステップS104で抽出した各フォーカス実測位置抽出ポイントに光軸位置を移動させて、その抽出ポイント毎に、Z軸移動制御を行いながらビデオカメラ3により撮影された標本像をコントラスト評価する(いわゆるコントラストAF)ことで、実測による合焦位置(Z座標)を求める処理が行われる。更に、上記ステップS104でフォーカス実測位置抽出ポイントとして抽出されなかった領域(小区画)については、その近傍のフォーカス実測位置抽出ポイントの実測合焦位置(Z座標)に基づき、例えば直線補間演算により合焦位置(Z座標)を求める処理が行われる。
以上のステップS105の処理が行われることにより、例えば図5に一例を示すフォーカスマップ50が作成される。作成されたフォーカスマップ50は、撮影座標記録部34に記録される。
図5に例示したフォーカスマップ50には、上記合焦位置(Z座標)を求めた小区画毎に、その配列番号51とステージ座標52とが格納される。ここで、配列番号51は、各小区画を特定する番号であり、例えば、図4に示したように、各小区画に対してX方向及びY方向のそれぞれに例えば1、2、3、…というように規則的に割り当てた番号である。例えば、図示の標本領域42における左上端の小区画は、配列番号51が(X軸,Y軸)=(1,1)となる。
なお、図5に例示したフォーカスマップ50では、配列番号51にZ軸についての欄を備えている。これは、後述する注目領域三次元VS画像を作成した場合に必要となるものであり、ここでは特に必要ないものとして説明する。
ステージ座標52は、その小区画の中心位置に対応する電動ステージ20上での物理的なXY座標と、実測による合焦位置を示す電動ステージ20のZ座標とである。
次に、ステップS106では、標本全体VS画像を取得する処理が行われる。
この処理では、まず、上記のようにして作成したフォーカスマップ50の情報を基にして電動ステージ20を移動させて、小区画毎の画像を取得する処理が行われる。すなわち、顕微鏡装置1の光軸位置及び合焦位置を、フォーカスマップ50に格納されているステージ座標52に示されている各XYZ座標の位置へ電動ステージ20を移動させ、各XYZ座標の位置に移動させる度に、標本19の対応する小区画の顕微鏡画像(本実施形態においては、各色の成分値が8ビットデータ(256階調)で示されているRGBカラー画像)をビデオカメラ3に撮影させて取得する処理が行われる。なお、このときの各小区画の顕微鏡画像の撮影倍率を第一の撮影倍率とする。
そして、次に、取得された各小区画の顕微鏡画像を、隣接する小区画の顕微鏡画像と相互に結合することで、標本領域42全体の顕微鏡画像、すなわち標本全体VS画像を構成する処理が行われる。このようにして作成された標本全体VS画像は、データ記録部4に画像ファイルとして記録される。
以上の処理が標本全体VS画像生成処理である。オペレータは、標本19(スライドガラス標本)を電動ステージ20に載置した上で、不図示の操作画面を操作して標本全体VS画像生成処理の開始指示を行うだけで、ホストシステム2により標本全体VS画像生成処理が実行されて、第一の撮影倍率の顕微鏡画像から構成されており標本19の全体像が表されている標本全体VS画像が生成される。
なお、データ記録部4に記録される画像ファイルは、周知のJPEG(Joint Photographic Experts Group)方式やJPEG2000方式といった画像圧縮処理方式を用いてデータ圧縮した状態で保存可能であることは当然のことである。
また、図2の標本全体VS画像生成処理におけるステップS101及びステップS103の処理において光路に挿入される対物レンズ23についての「低倍」と「高倍」との区別において、絶対的な値が存在するものではなく、相対的なものである。すなわち、例えば、2倍、4倍を低倍とすれば、10倍、20倍、40倍は高倍であるが、この例に限るものではない。但し、当然、「高倍」の対物レンズ23は、「低倍」の対物レンズ23よりも倍率が高いものであり、このような相対的な意味での「低倍」と「高倍」との関係は満たしている必要がある。
また、標本19が載せられているスライドガラス標本のラベル43にバーコード印刷されているスライド標本番号を、ホストシステム2に接続されている不図示のバーコードリーダで読み出し、データ記録部4に格納される画像ファイルの付帯情報として同時に記録することで、標本19と画像ファイルとの関連付けを行うようにしてもよい。
また、図1のバーチャルスライド顕微鏡システムにおける照明光学系、結像光学系、若しくは撮像系等に起因するシェーディング(画像ムラ)は、後述の画像解析精度を落とすばかりでなく、画像の結合において画像ムラの周期的なパターンが現れることになり、画像観察上も問題となる。従って、ビデオカメラ3により撮影した顕微鏡画像に対し、周知の手法、例えば、FFT(高速フーリエ変換)を用いたハイパスフィルタ処理を施す、あるいは、標本19以外の背景部のみの画像データとの差分処理を施す等して、この画像ムラの除去を行うようにしてもよい。
また、図2の標本全体VS画像生成処理におけるステップS101からS106のうちの任意のステップで処理の進行を一旦停止させた上でオペレータの操作介在を可能とし、標本領域42の変更、合焦位置を実測するフォーカス実測位置抽出ポイントの変更・追加・削除、使用する高倍の対物レンズ23の倍率変更などといった、各ステップでの調整作業が可能なことは当然のことである。更に、対物レンズ23の変換に伴う顕微鏡装置1の照明系の最適化は、当然行われるものとする。
また、上記特許文献4にも記載されているように、電動ステージ20のXY方向移動(水平方向移動;顕微鏡装置1の光軸に対して直交する平面上での移動)の際に、隣接する小区画の画像とのオーバラップ領域を小区画毎に設けて移動を行って、オーバラップ領域を含む顕微鏡画像を各小区画について取得するようにし、これら各画像の貼り合わせ処理を行うようにしてもよい。このようにすることにより、標本全体VS画像における結合部分の電動ステージ20の位置精度に起因する不連続が解消可能である。なお、このようにする場合には、図2のステップS105にて作成するフォーカスマップ50の1区画の領域サイズを、高倍の対物レンズ23を用いた場合のビデオカメラ3に投影される撮影領域から貼り合わせ処理用のオーバラップ領域を除いたサイズとすればよい。
次に、図6A乃至図6Dについて説明する。これらの各図に示されているデータテーブルは、データ記録部4に画像ファイルとして記録されるVS画像データの書式例(データ構成例)を示している。
図6Aは、VS画像データを格納しているVS画像ファイル全体のデータ構成を示している。このVS画像ファイル60には、付帯情報61、標本サーチ範囲画像データ62、広視野・高精細画像データ63、及び注目領域指定情報64が格納されている。
図6Bは、VS画像ファイルに格納されている付帯情報61のデータ構成を示している。この付帯情報61には、観察法71、スライド番号72、標本サーチ範囲画像データ撮影倍率73、細胞領域マップファイル情報99の各情報が含まれている。
観察法71は、広視野・高精細画像データ63の取得の際に採用していた観察法(検鏡法)であり、本実施形態においては「明視野観察法」を示す情報が格納されている。
スライド番号72は、各スライドガラス標本に任意に割り当てられる識別番号であり、例えば、前述したようにラベル43にバーコード印刷等されている情報がスライド番号72として格納される。
図6Aの標本サーチ範囲画像データ62は、前述した図2の標本全体VS画像生成処理におけるステップS102の処理によって得られる(低倍の対物レンズ23による画像を結合して得られる)、スライド全体像画像(標本サーチ範囲41全体の低解像画像)の画像データである。図6Bの標本サーチ範囲画像データ撮影倍率73は、この標本サーチ範囲画像データ62の生成に使用した顕微鏡画像の撮像時に使用していた対物レンズ23(低倍)の倍率を示す情報が格納される。
なお、図6Bにおける細胞領域マップファイル情報99については後述する。
広視野・高精細画像データ63は、図2の標本全体VS画像生成処理におけるステップS106や、後述する注目領域三次元VS画像生成処理におけるステップS256等の処理により作成されるVS画像の画像データ、及び、このVS画像に係る各種情報である。図6Cは、この広視野・高精細画像データ63のデータ構成を示している。
複数のVS画像データが1つのVS画像ファイル60に格納される場合を想定したことにより、広視野・高精細画像データ63には、VS画像毎の情報として、VS画像領域情報82(VS画像領域#1情報、VS画像領域#2情報、…、VS画像領域#n情報)が格納される。そして、このVS画像領域情報82の数(図6Cの例では、#1〜#nまでの個数を示す値n)が、VS画像領域指定数81として格納される。従って、VS画像が、図2の標本全体VS画像生成処理におけるステップS106で生成した標本全体VS画像のみである場合には、VS画像領域指定数81は「1」となり、標本全体VS画像の画像データが、VS画像領域#1情報として各VS画像領域情報82に格納される。
また、各VS画像領域情報82には、それぞれ、撮影情報83、フォーカスマップデータ84、及び画像データ85の各情報が含まれている。
撮影情報83には、例えば、撮影倍率91、Scan開始(左上区画)ステージX座標92、Scan開始(左上区画)ステージY座標93、X方向ピクセル数94、Y方向ピクセル数95、及びZ方向の枚数96の各データが含まれている。
VS画像領域情報82における撮影情報83のうちの撮影倍率91には、当該VS画像領域情報82における画像データ85で表されている顕微鏡画像の撮影時における対物レンズ23の倍率を示す情報が格納される。
また、Scan開始(左上区画)ステージX座標92及びScan開始(左上区画)ステージY座標93には、当該画像データ85で表されている顕微鏡画像の取得を開始したときの位置を示すX座標及びY座標(電動ステージ20上の座標)がそれぞれ格納されており、X方向ピクセル数94及びY方向ピクセル数95には、この画像データ85で表されている顕微鏡画像のX方向及びY方向の大きさを示す情報が格納される。
また、Z方向枚数96には、後述する注目領域三次元VS画像の生成時におけるZ方向のセクショニング枚数が格納される。なお、VS画像ファイル60に格納されるVS画像が、図2の標本全体VS画像生成処理におけるステップS106で生成した標本全体VS画像である場合には、Z方向枚数96に値「1」が格納される。
フォーカスマップデータ84には、図2の標本全体VS画像生成処理におけるステップS105や、後述する注目領域三次元VS画像生成処理におけるステップS256等の処理により作成されるフォーカスマップ50(図5参照)が格納される。
画像データ85には、図2の標本全体VS画像生成処理におけるステップS106や、後述する注目領域三次元VS画像生成処理におけるステップS256等の処理により作成されるVS画像の画像データが格納される。
なお、注目領域指定情報64に格納される情報は、上記の図2の処理では作成されないので、後で説明する。
[注目領域の設定]
次に、以上のようにして作成された標本全体VS画像に表されている標本19の全体像に対し、異形細胞や悪性細胞といった非正常細胞又は細胞集塊の画像が表されている画像領域を、注目領域として設定する処理について説明する。
なお、以降の説明では、単一の細胞や細胞の集塊を、「細胞領域」と称することとし、異形細胞や悪性細胞を、「異常細胞」と称することとする。また、以降の本実施例の説明においては、図2の標本全体VS画像生成処理により生成された標本全体VS画像を、「標本全体VSカラー画像」と称することとする。
図7について説明する。図7は、ホストシステム2により行われる、注目領域設定処理の処理内容をフローチャートで示したものである。
図7において、まず、ステップS121では、標本全体VSカラー画像を、対象データ部(細胞)と非対象データ部(背景部)とに2値化して分けた標本全体VS2値画像を作成する標本全体VS2値画像処理が行われる。なお、この処理の詳細は後述する。
次に、ステップS122において、上記ステップS121で作成した標本全体VS2値画像から対象データ部の空間的に連続した塊(細胞領域)を抽出し、抽出した細胞領域毎に、その形態情報を、図8Aに例示する細胞領域マップテーブル130に登録する処理が行われる。なお、この処理の詳細も後述することとし、細胞領域マップテーブル130についても後述することとする。
そして、ステップS123において、細胞領域マップテーブル130に記録された細胞領域毎に、正常な細胞であるか異常細胞であるかの判定を行い、その判定結果を細胞領域マップテーブル130に登録する処理が行われ、これにより、注目領域(観察者が検査すべき細胞領域)の設定が完了する。
なお、細胞領域マップテーブル130は、データ記録部4に細胞領域マップファイルとして記録されて保存される。また、データ記録部4に格納されている標本全体VSカラー画像ファイル内の細胞領域マップファイル情報99(図6B参照)には、細胞領域マップファイルへのファイルパスを格納しておく。このようにすることにより、標本全体VSカラー画像と細胞領域マップテーブル130との対応が明らかとなり、後述の異常細胞リコール表示処理において、標本全体VSカラー画像ファイルから、異常細胞領域を辿ることが可能となる。
次に、図7のステップS121、S122、及びS123の各処理の詳細について説明する。
まず、ステップS121の標本全体VS2値画像作成処理の詳細について、図9に示した標本全体VS2値画像作成処理の処理内容を示すフローチャートに沿って説明する。
まず、ステップS151において、標本全体VSカラー画像に対し、例えばガウシアンフィルタ等の平滑化フィルタを用いた平滑化処理を施して、不要な濃淡変動を軽減する処理が行われる。なお、ガウシアンフィルタ等の平滑化フィルタを用いて行う平滑化処理は、例えば非特許文献1にも記載されている周知の処理であり、ここではその詳細についての説明を省略する。
次に、ステップS152では、標本全体VSカラー画像から細胞の画像領域を抽出(背景の画像領域と分離)するときに利用する画像成分を選択する処理が行われる。この抽出に利用可能である画像成分の候補としては、例えば、R(赤)色成分、G(緑)色成分、B(青)色成分、Y(輝度)成分、他の表色系の成分等、様々なものを挙げることができるが、これらのうち、細胞質と背景とを精度よく分離できる画像成分を選択することが好ましい。なお、この適切な画像成分は、使用するビデオカメラ3の分光感度特性等によっても異なるので、図1の顕微鏡システムの特性に応じて適切な成分を選択するようにする。
なお、本実施形態においては、分散が高く、背景と細胞質との分離精度も良好である、R(赤)色成分をこれらの候補から選択するものとする。従って、このステップS152では、標本全体VSカラー画像から、R(赤)成分のみを抽出した標本全体VS画像(R)を生成する処理が行われる。
次に、ステップS153において、細胞の画像領域とその他(背景の画像領域)とを分離するための閾値を決定する処理が行われる。この閾値の決定は、例えば以下のようにして行う。
標本全体VS画像(R)の中で一番多い要素は背景(標本なし)データである。従って、標本全体VS画像(R)の全体又は一部分(例えば、図4で示した小区画でX方向及びY方向のそれぞれ5区画分)について、R色成分値のヒストグラムを作成すると、このヒストグラムにおける最頻値(mode)は、背景として最も多い成分値となることは経験的に明らかである。
また、背景データにおいては、上記の最頻値が、成分値の最大値と最小値とのほぼ中間の値となることも、経験的に明らかである。更に、標本全体VS画像(R)において、成分値が最大である画素は、最も明るい背景データであることも経験的に明らかである。
以上により、下記の(1)式により求まる値を、細胞の画像領域とその他(背景の画像領域)とを分離するための閾値とする。
最頻値−(最大値−最頻値)+補正値………(1)
なお、上記の(1)式において、「補正値」は、システムで調整することのできる任意の調整値である。ここで、この「補正値」の値を「0」とすれば、上記の(1)式により求まる閾値は、標本全体VS画像(R)において推定される背景データの成分値の最小値となる。
また、細胞の画像領域とその他(背景の画像領域)とを分離するための閾値の決定を、以下のようにして行ってもよい。
標本全体VSカラー画像において、一般に、背景の画像領域は、光の三原色成分であるR成分、G成分、B成分の各成分値がほぼ等しく(無色)、且つ、照明光の透過率が高いので明るい領域(成分値が大きい)となる。従って、標本全体VSカラー画像において、G成分値が所定値(例えば「190」)以上であり、且つ、R成分とG成分との成分値の差の絶対値が所定値(例えば「2」)以下であり、かつ、BとG成分の差の絶対値が所定値(例えば「2」)以下である画素により構成される領域を背景の画像領域とし、この画像領域に対応する標本全体VS画像(R)のデータを背景データとして取得し、その背景データの最小値を閾値として決定する。
次に、ステップS154において、標本全体VS画像(R)に対し2値化処理を施す処理が行われる。すなわち、ステップS153にて求めた閾値を用い、標本全体VS画像(R)において当該閾値以下のデータを細胞領域としてデータ「1」(表示上は黒画素で表示)とし、閾値を超えるデータを細胞領域以外(背景等)としてデータ「0」(表示上は白画素で表示)とする2値化処理を行うことで、標本全体VS2値画像を作成する処理が行われる。
次に、ステップS155において、作成された標本全体VS2値画像における各細胞の画像領域内に生じる細かな穴を埋めるための穴埋め処理が行われる。この穴埋め処理としては、例えば、同じ回数だけ膨張及び収縮させるクロージング処理が行われる。なお、膨張処理(dilation)及び収縮処理(erosion )によるクロージング(closing )処理は、例えば非特許文献1にも記載されている周知の処理であり、ここではその詳細についての説明を省略する。
次に、ステップS156において、穴埋め処理が施された後の標本全体VS2値画像の画像データを、データ記録部4に画像ファイルとして記録して保存する処理が行われる。
以上までの処理が標本全体VS2値画像作成処理である。
次に、図7に示した注目領域設定処理におけるステップS122の細胞領域の抽出処理について、図10A乃至図10Cを用いて説明する。
図10Aは、図9に示した標本全体VS2値画像作成処理のステップS151の処理により平滑化処理が施された後の標本全体VS画像(R)の画像例を示している。また、図10Bは、図9に示した標本全体VS2値画像作成処理によって、図10Aの画像例から作成された標本全体VS2値画像を示している。更に、図10Cは、細胞領域の抽出のために標本全体VS2値画像に対して行われるラスタスキャン(Raster Scan )における走査パターンを示した図である。
まず、図10Bに例示したような標本全体VS2値画像から細胞領域120を抽出する処理を行う。この処理は、より具体的には、標本全体VS2値画像において各細胞領域120を表している画素連結成分に対し、例えば非特許文献1に記載されているような、周知の輪郭追跡の手法を使用して、当該画素連結成分の輪郭を抽出することにより行う。そして、このようにして抽出された各細胞領域120に対し、例えば輪郭追跡の結果を用いる等してラベリング処理を行う。なお、このラベリング処理も周知の技術であり、例えば非特許文献1にも記載されている。
更に抽出した各細胞領域120を表している画素連結成分についての、外接長方形(Bounding Box)の座標、面積(Area)、重心(Center of Gravity)、周囲長(Perimeter)、円形度(Roundness)等といった形状の特徴量(形状特徴パラメータ)を算出し、その算出結果を細胞領域マップテーブル130(図8A参照)に登録する。このような形状特徴パラメータを算出する処理も周知の技術であり、例えば非特許文献1にも記載されている。
ここで、図8Aに示した細胞領域マップテーブル130についての説明を、細胞領域120に対する形状の特徴量を説明する図8Bを用いて行う。
ラベル131には、抽出した細胞領域120に対して与えられたラベル(番号)が連番で付与される。
外接長方形132には、図8Bに示されているように、細胞領域120に外接し、各辺の向きがX軸若しくはY軸に平行である長方形の、標本全体VS2値画像上におけるX座標及びY座標と、X方向の幅(W)及びY方向の高さ(H)とが、ピクセル値の単位で求められて格納される。
重心133には、細胞領域120の重心位置が、標本全体VS2値画像上におけるX座標及びY座標として格納される。
面積134には、細胞領域120の面積が格納される。なお、ビデオカメラ3の1画素(正方画素とする)の大きさと撮影倍率とに基づいて標本全体VS2値画像の1画素の実寸が求められるので、画素数から実寸への変換は容易に行える。
周囲長135には細胞領域120の外部輪郭の長さが格納される。
円形度136には、「4π×面積÷周囲長」なる式の値が格納される。なお、この式の値は、細胞領域120の輪郭形状が真円のときに最大値1になり、輪郭形状が複雑になるほど小さくなる。
長径137及び短径138には、細胞領域120に外接する外接矩形129が最小面積となる場合の長軸の長さ及び短軸の長さがそれぞれ格納される。また、アスペクト比139には、「長径÷短径」なる式の値が格納される。
図8Aに示した細胞領域マップテーブル130における上述した以外の欄の値は、このステップS122の細胞領域の抽出処理では格納されないので、後述することとする。
例えば、図10Aに例示した標本全体VS2値画像の全領域に対し、図10Cに例示した走査パターンによるラスタスキャンを行って以上のような細胞領域を抽出する処理を行うと、図10Bに示すLN1、LN2、LN3、…といった順序で、細胞領域が登録される。
なお、細胞領域120の抽出の際に、好中球(Neutrophile)や細かな壊死物質等を抽出から除外するために、長径及び/又は面積が所定値以下の対象物は、細胞領域として認識せずに除外するようにしてもよい。
また、細胞領域120が標本全体VS2値画像の辺に接しているもの(例えば図10Bの細胞領域128)は、本来の形状が不明であるので、細胞領域120として認級せずに除外するようにしてもよい。
次に、図7に示した注目領域設定処理におけるステップS123の処理である、細胞領域120の正常/異常の判定処理の詳細について、図11に示した細胞領域正常/異常判定処理の処理内容を示すフローチャートに沿って説明する。
まず、ステップS181において、標本全体VSカラー画像に対し、例えばガウシアンフィルタ等の平滑化フィルタ処理を用いた平滑化を施して、不要な濃淡変動を軽減する処理が行われる。この処理により平滑化が施された後の画像を、以降、「平滑済み標本全体VSカラー画像」と称することとする。なお、この処理の代わりに、図9に示した標本全体VS2値画像作成処理のステップS151の処理により得られる平滑済み標本全体VSカラー画像の画像データを画像ファイルとしてデータ記録部4に保存しておき、この画像データを読み出すようにしてもよい。
次に、ステップS182において、細胞領域マップテーブル130に登録された各細胞領域120を個別に選択するために使用される変数であるラベル変数LNを、「1」に初期化する処理が行われる。
次に、ステップS183において、ラベル変数LNの現在の値に対応する細胞領域情報を細胞領域マップテーブル130から取得し、平滑済み標本全体VSカラー画像における、この細胞領域情報に対応する細胞領域120を参照し、この細胞領域120を、核領域とその他(細胞質)領域とに分ける処理が行われる。なお、この処理の詳細は後述する。
次に、ステップS184において、参照中の細胞領域120が孤立散在性の単一細胞(以下、「孤立散在細胞」と称することとする。)なのか、複数の細胞よりなる塊である細胞集塊かを判定する処理が行われる。本実施形態においては、この判定処理を以下のようにして行う。
まず、細胞領域120が下記の条件1乃至条件3を全て満たす場合には、当該細胞領域120は孤立散在細胞であるとの判定を下し、条件1乃至条件3のうち少なくともいずれか1つでも満たさないものである場合には、当該細胞領域120は細胞集塊であるとの判定を下す。
条件1:細胞領域120の面積が所定値(例えば3,000μm2 )以下である。
条件2:細胞領域120の長径が所定値(例えば60μm)以下である。
条件3:細胞領域120内に核が1個以下である。
このステップS184の判定処理において、細胞領域120が孤立散在細胞であると判定したとき(判定結果がYesのとき)には、ステップS185において、当該孤立散在細胞に対する正常/異常の判定処理が行われ、その後はステップS187に処理を進める。一方、ステップS184の判定処理において、細胞領域120が細胞集塊であると判定したとき(判定結果がNoのとき)には、ステップS186において、当該細胞集塊に対する正常/異常の判定処理が行われ、その後はステップS187に処理を進める。なお、孤立散在細胞及び細胞集塊の各々に対する正常/異常の判定処理の詳細は後述するが、これらの処理により得られる判定結果は、細胞領域マップテーブル130における参照中の細胞領域120についての細胞領域情報に登録される。
次に、ステップS187において、ラベル変数LNを更新してその値を「1」だけ増加させる処理が行われる。
次に、ステップS188において、細胞領域マップテーブル130に登録されていた全ての細胞領域120に対して正常/異常の判定処理を終えたかを判定する処理が行われる。ここで、当該全ての細胞領域120に対して当該判定処理を終えたと判定されたとき(判定結果がYesのとき)には、この図11の処理を終了する。一方、当該判定処理を未だ行っていない細胞領域120が残されていると判定されたとき(判定結果がNoのとき)には、ステップS183へと処理を戻して、上述した処理が再度行われる。
以上までの処理が細胞領域正常/異常判定処理である。
次に、図12A乃至図12Dを参照しながら、前述した細胞領域正常/異常判定処理におけるステップS183の処理である、細胞領域120を核領域と細胞質領域とに分ける処理について説明する。
図12Aは、細胞領域120を核と細胞質とに分離する処理の処理内容を示すフローチャートである。
図12Bは、細胞領域120内における核と細胞質とを模式的に示した図である。
図12Cは、核と細胞質との判別アルゴリズムを示すフローチャートである。
図12Dは、核領域マップテーブルの例を示した図である。
まず、図12AのステップS201において、図12Bに示すように、平滑済み標本全体VSカラー画像における細胞領域120の像を構成する各画素を、核151の像を構成する画素と細胞質152の像を構成する画素とに分離して2値化する処理が行われる。本実施形態においては、この処理を以下のようにして行う。
核151の像を構成する画素には一般的に以下の特徴(傾向)がある。
特徴1:R成分とG成分が共に低い。(例えば、R<100かつG<100)
特徴2:B成分がG成分より大きい。(例えば、B/G≧1.2)
特徴3:R成分がG成分に対し同等以上である。(すなわち、R≧G)
また、細胞質152の像を構成する画素には一般的に以下の特徴(傾向)がある。
特徴4:B成分とG成分がほぼ等しい。(例えば、B/G<1.2)
特徴5:細胞の重なりがない場合には、G成分が核151のG成分よりも高い。( (例えば、G≧130)
更に、細胞質152における細胞の重なり部分の像を構成する画素には、一般的に以下の特徴(傾向)がある。
特徴6:重なりのない細胞質152よりも暗い。(例えば、G<130)
特徴7:R成分がG成分に比べて有意に小さい。(例えば、G/R>2.0)
以上の特徴1乃至特徴7の傾向を利用して細胞領域120の像を構成する画素から核151の像を構成する画素と細胞質152の像を構成する画素とを判別する、本実施形態に係るアルゴリズム例をフローチャートで示したものが図12Cである。
この図12Cにおいて、S221及びS222の判定処理は上記の特徴1を利用するものであり、S223の判別処理は上記の特徴2を利用するものである。また、S224の判定処理は上記の特徴4を利用するものであり、S225の判別処理は、S221、S222、及びS224の判別処理を考慮すると上記の特徴3を利用するものである。更に、S226の判別処理は上記の特徴5及び特徴6を利用するものであり、S227の判別処理は、上記の特徴7を利用するものである。
以上のように、本実施形態においては、平滑済み標本全体VSカラー画像における細胞領域120の像を構成する各画素における光の三原色成分(R成分、G成分、B成分)に基づいて、当該細胞領域120の像を構成する画素を、核151の像を構成する画素と細胞質152の像を構成する画素とに分離する。
なお、この分離の処理において、核151の像を構成する画素であるのか細胞質152の像を構成する画素であるのかの判別がつかずに判別保留とした画素については、細胞領域120の像を構成している全ての画素についての判別が終了した後に、保留画素の上下左右の4近傍の画素についての判定結果が全て核151の像を構成するものであった場合には、当該保留画素は核151の像を構成するものと判定し、その他の場合には細胞質152の像を構成するものと判定する。
また、以上のようにして核151の像を構成する画素と細胞質152の像を構成する画素とに分離する代わりに、例えば、色相(Hue )、彩度(Saturation)、及び輝度(Intensity )の3つの要素で色を表現するHSI表色系におけるH(色相)成分で核151と細胞質152を分離することも可能である。核のH成分は、例えば205度〜300度の範囲に収まり、細胞質はその他のH成分として分離できるので、H成分を用いて核151の像を構成する画素と細胞質152の像を構成する画素とに分離することもできる。更に、図12Cに示した判別アルゴリズムによる判別とHSI表色系のH成分による判別とを並行して行い、両者が共に核151の像を構成するものと判別された画素のみを、核151の像を構成する画素と最終的に判別するようにしてもよい。
以上のように、平滑済み標本全体VSカラー画像における細胞領域120の像を構成する画素のRGB成分やその成分比、HSI表色系、あるいはLab表色系といった種々の色空間の成分及びその成分の組み合わせ処理により、当該画素を、核151の像を構成する画素と細胞質152の像を構成する画素とに判別することが可能である。
なお、このステップS201の処理においては、更に、核151を構成している画素に対しデータ「1」(表示上は黒画素で表示)を与え、細胞質152を構成している画素に対しデータ「0」(表示上は白画素で表示)を与える2値化処理を行って、核細胞領域2値画像を作成する処理も行われる。
次に、ステップS202では、作成された核細胞領域2値画像における核151内に生じる細かな穴を埋めるための穴埋め処理が行われる。なお、この処理は、例えば前述した標本全体VS2値画像作成処理(図9)におけるステップS155の処理と同一の処理でよい。
次に、ステップS203では、図7に示した注目領域設定処理におけるステップS122の処理と同様にして、核細胞領域2値画像から核151の領域を抽出してラベリングし、更に抽出した核151の領域を表している画素連結成分についての形状の特徴量(形状特徴パラメータ)を算出し、その算出結果を核領域マップテーブル160(図12D)に登録する処理が行われる。
図12Dに示した核領域マップテーブル160の詳細な説明は省略するが、この核領域マップテーブル160における、ラベル、外接長方形、重心、面積、周囲長、円形度、長径、短径、及びアスペクト比の各欄に格納される情報は、図8Aに示した細胞領域マップテーブル130についてのものと同様であり、その対象が、核151の領域と細胞領域120とで異なるのみである。
なお、細胞領域120内に存在する核151の概略数は、当該細胞領域120の面積に基づいて、予測することができる。すなわち、例えば、平均的な細胞の面積を5,000μm2 とし、その中に核が1個存在すると仮定することにより、細胞領域120内に存在する核151の概略数が予測可能である。従って、このステップS203の処理において、領域を抽出した核151の数と面積との関係が、この予測結果から極端に乖離している場合には、図12Cに例示した核151と細胞質152との判別に使用する各種の閾値を変更して、再分離処理を行うようにしてもよい。
次に、ステップS204では、核151及び細胞質152についての情報を、これらが含まれていた細胞領域120についての情報として、細胞領域マップテーブル130(図8A)に登録する処理が行われ、その後はこの図12Aの処理が終了する。
ここで、細胞領域マップテーブル130に格納される核151及び細胞質152の情報について、図8Aに従って説明する。
図8Aにおいて、核の数141には、細胞領域120内に存在している核151の個数が格納される。また、核の面積142には、細胞領域内120内に存在している核151の面積の平均値が格納され、核の分散143には、細胞領域内120内に存在している核151の面積の分散値が格納される。
核の輝度144には、標本全体VSカラー画像における細胞領域内120内に存在している核151の輝度の平均値が格納される。なお、標本全体VSカラー画像における核151の像を構成している画素の輝度Yは、当該画素のR、G、B成分値に基づき、下記の(2)により算出することができる。
Y=0.29891R+0.58661G+0.11448B………(2)
細胞質の輝度146には、標本全体VSカラー画像における細胞領域120における細胞質152の輝度値の平均値が、核の輝度144と同様にして算出されて格納される。
また、N/C比145には、細胞領域120について「核151の総面積/細胞質152の総面積」なる式により算出される値が格納される。
なお、判定147、画像ID148、及び確認済みフラグ149については後述する。
次に、図13A乃至図13Dを参照しながら、前述した細胞領域正常/異常判定処理におけるステップS185及びステップS186の処理である、孤立散在細胞及び細胞集塊の各々に対する正常/異常の判定処理について説明する。
図13Aは、孤立散在細胞の異常判定に使用する項目とそのレベル(異常の程度)を示したテーブルである。
図13Bは、孤立散在細胞の異常判定に使用する判定テーブルである。
図13Aのテーブルでは、縦列が項目を表しており、横行がレベルを表している。ここで、レベルはI→IIa→IIb→IIIの順に異常度が高くなっているものとする。なお、テーブルの各欄には、「暗い」、「明るい」等の定性的内容を記述しているが、実際には数値化された定量的な判定条件に基づいてレベルを決定する。
細胞領域正常/異常判定処理におけるステップS185の処理では、まず、孤立散在細胞について、N/C比(すなわち核と細胞質との面積比)、核の面積、核の輝度、細胞質の輝度に基づき、この図13Aのテーブルに従ったレベルの判定が行われる。つまり、この処理では、孤立散在細胞に対する正常/異常の判定を、標本全体VS画像に表されている細胞の像に関する形状特徴パラメータと、当該細胞の像に関する映像特徴パラメータ(輝度値など)とのうちの少なくともどちらか一方に基づいて判定する。なお、本実施形態では、孤立散在細胞に対する正常/異常の判定を、標本全体VSカラー画像における細胞領域120に表されている細胞を構成している核151の像の面積及び細胞質152の像の面積と、細胞領域120における核151の像の輝度及び細胞質152の像の輝度とに基づいて行う。そして、図13Bの判定テーブルにおいて、この判定結果の組み合わせに対応付けられているものが、孤立散在細胞の正常/異常の判定結果となる。
なお、この判定結果は、細胞領域マップテーブル130(図8A)の判定147の欄に格納される。すなわち、細胞領域マップテーブル130の判定分類147aに、判定結果である「正常」若しくは「異常」を示す情報が格納される。また、判定スコア147bには、「0」乃至「10」なる異常レベルを表すスコア数値が記録される。ここで、「0」は細胞が正常であることを示しており、「1」乃至「10」が異常の程度を10段階で示している。なお、「10」が異常の程度が最高であるとする。
なお、細胞領域正常/異常判定処理におけるステップS186の処理である、細胞集塊の異常判定処理は、上記のステップS185の処理と同様であり、その判定に使用するテーブルが、図13A及び図13Bに示したものに代えて、図13Cに示した細胞集塊の異常判定に使用する項目とその異常レベル(異常の程度)を示したテーブルと、図13Dに示した細胞集塊の異常判定に使用する判定テーブルとを使用する点においてのみ異なっている。
このように、本実施形態では、孤立散在細胞及び細胞集塊の各々に対する正常/異常の判定及びその異常の程度の判定を、標本全体VSカラー画像における細胞領域120に表されているこれらの細胞を構成している核151及び細胞質152の面積と、該細胞領域120における核151の像及び細胞質152の像の輝度とに基づいて行う。なお、この判定を、例えばアスペクト比139などといった、図8Aの細胞領域マップテーブル130に登録されている他の形状特徴パラメータに基づいて行うようにすることも可能である。
以上までに説明した注目領域設定処理がホストシステム2によって行われることにより、標本全体VSカラー画像に表されている標本19の全体像に対し注目領域(標本19を構成している細胞のうち異常であるものの像が表されている領域)が設定され、標本19における異常細胞の位置が特定される。
[注目領域三次元VS画像の生成]
次に、注目領域設定処理により抽出された異常細胞を、より高い撮影倍率で、且つ、焦点位置を変えてのセクショニング(断面)撮影を行って、当該異常細胞についての三次元VS画像(注目領域三次元VS画像)を生成する手法について、図14を参照しながら説明する。
図14は、ホストシステム2により行われる、注目領域三次元VS画像生成処理の処理内容をフローチャートで示したものである。
図14において、まず、ステップS251では、レボルバ24を制御して、前述の標本全体VSカラー画像の作成時(図2ステップのS103)に使用した倍率よりも更に高倍率(例えば40倍)である対物レンズ23を光路に挿入させる処理が行われる。なお、このときに光路に挿入される対物レンズ23の倍率は、細胞の核所見を観察できる程度の倍率が望ましい。
次に、ステップS252において、スコア変数Siに、細胞領域マップテーブル130(図8A)の判定スコア147bの欄に格納される最高の値(本実施形態では「10」)を初期値として設定する処理が行われる。この処理は、異常度の高い細胞領域120から処理を行うためのものである。そして、続くステップS253において、細胞領域マップテーブル130に登録された各細胞領域120を個別に選択するために使用される変数であるラベル変数Liを、「1」に初期化する処理が行われる。
次に、ステップS254において、ラベル変数Liの現在の値に対応する細胞領域情報を細胞領域マップテーブル130から取得する処理が行われる。そして、続くステップS255において、取得した細胞領域情報における判定スコア147bの値が、スコア変数Siの現在の値と一致しているか否かを判定する処理が行われる。ここで、両者が位置していると判定されたとき(判定結果がYesのとき)には、ステップS256において、取得した細胞領域情報における外接長方形132の情報により特定される注目領域を、焦点位置を変えてのセクショニング撮影を行って注目領域三次元VS画像を生成する処理が行われ、その後はステップS257に処理を進める。一方、両者が位置していないと判定されたとき(判定結果がNoのとき)には、注目領域三次元VS画像を生成することなく、ステップS257に処理を進める。
注目領域に対し、焦点位置を変えてのセクショニング撮影を行って当該注目領域の三次元VS画像を生成する手法は、例えば特許文献3や特許文献4にも記載されている周知の技術であるので、ここではその手法を簡単に説明する。
まず、標本19上の撮影範囲(XY座標)は、標本全体VSカラー画像についてのVS画像ファイル60に記録されている撮影情報83(撮影倍率91、Scan開始ステージX座標92、Scan開始ステージY座標93、X方向ピクセル数94、及びY方向ピクセル数95)と細胞領域マップテーブル130に登録されている外接長方形132とより特定することができる。
また、フォーカス位置を求めるXY座標については、細胞領域マップテーブル130に登録されている重心133に指定される座標、若しくは、外接長方形132の中心近傍であって細胞が存在する座標を選択する。
そして、フォーカス位置(Z軸)の概略位置は、標本全体VSカラー画像についてのVS画像ファイル60に記録されているフォーカスマップデータ84(すなわち図5のフォーカスマップ50)から獲得して設定する。そして、ステージZ駆動制御22を制御して電動ステージ20をZ方向に駆動しながら、ビデオカメラ3により取得される顕微鏡画像の合焦評価を行うことで微調整を行い、実際のフォーカス中心位置を決定する。
その後、このフォーカス中心位置を中心にしたZ軸方向のセクショニングを行う、なお、このセクショニングにおける、Z軸方向の距離間隔(セクショニングステップ)及び顕微鏡画像の撮影枚数は、ステップS251で選択された対物レンズ23の被写界深度を基に決定される。
以降は、以上のようにして決められた撮影範囲を、決められたセクショニングステップ及び撮影枚数で撮影する。このときに得られる顕微鏡の撮影倍率を、前述した第一の撮影倍率よりも高倍率である第二の撮影倍率とする。そして、この異なる焦点位置の顕微鏡画像を同一の焦点位置毎に相互に結合して異常細胞の三次元VS画像(注目領域三次元VS画像)を作成する。
作成された注目領域三次元VS画像は、データ記録部4に画像ファイルとして保存される。また、この注目領域三次元VS画像に表されている注目領域についての情報が、標本全体VSカラー画像についてのVS画像ファイルにおける注目領域指定情報64(図6D)に登録される。
なお、注目領域指定情報64内のVS画像領域No.111には、この注目領域三次元VS画像に表されている注目領域である細胞領域120を特定するラベル131の内容が登録される。一方、細胞領域マップテーブル130(図8A)内の画像ID148には、VS画像ファイル60の注目領域指定情報64における注目領域の情報との対応付けを識別するための連番数字(1乃至n)のいずれかが記録される。これにより、標本全体VSカラー画像のVS画像ファイル60と、細胞領域マップテーブル130との双方向での対応付けが容易になる。
ステップS256において以上の処理が行われることで、第一の撮影倍率よりも高倍率である第二の撮影倍率の顕微鏡画像から構成されており標本19における注目領域の像が表されている注目領域三次元VS画像が生成される。
次に、ステップS257では、ラベル変数Liを更新してその値を「1」だけ増加させる処理が行われる。
次に、ステップS258において、ラベル変数Liによる細胞領域マップテーブル130の参照がテーブルエンドに達し、細胞領域マップテーブル130に登録されていた全ての細胞領域情報に対して、判定スコア147bの値とスコア変数Siの現在の値との一致・不一致の判定を終えたか否かを判定する処理が行われる。ここで、当該全ての細胞領域情報に対して当該一致・不一致の判定処理を終えたと判定されたとき(判定結果がYesのとき)には、ステップS259に処理を進める。一方、当該一致・不一致の判定処理を未だ行っていない細胞領域情報が残されていると判定されたとき(判定結果がNoのとき)には、ステップS254へと処理を戻して、上述した処理が再度行われる。
次に、ステップS259において、スコア変数Siを更新してその値を「1」だけ減少させる処理が行われる。
次に、ステップS260において、スコア変数Siの現在の値が「0」となり、細胞領域120が異常であることを示す全ての判定スコア147aの値とスコア変数Siとの一致・不一致の判定を終えたか否かを判定する処理が行われる。ここで、当該全ての判定スコア147aの値についての当該一致・不一致の判定処理を終えたと判定されたとき(判定結果がYesのとき)には、この図14の処理を終了する。一方、スコア変数Siの現在の値が「0」ではなく、当該一致・不一致の判定処理を未だ行っていない判定スコア147aの値が残されていると判定されたとき(判定結果がNoのとき)には、ステップS253へと処理を戻して、上述した処理が再度行われる。
以上までに説明した注目領域三次元VS画像生成処理がホストシステム2によって行われることにより、第一の撮影倍率よりも高倍率である第二の撮影倍率の顕微鏡画像から構成されており標本19における注目領域の像が表されている注目領域三次元VS画像が生成される。また、この注目領域三次元VS画像は、注目領域である異常細胞についての判定スコア147aの値の大きい順、すなわち、その異常の程度の高い順に生成される。
なお、判定スコア147aに示される全ての異常レベルに対する撮影処理を行うと膨大な枚数の細胞領域120の撮影が必要になるといった場合には、予め決められた撮影枚数に到達した場合に、その時点で撮影処理を終了させ、それまでに得られた顕微鏡画像より注目領域三次元VS画像を生成するように構成することも可能である。
[注目領域三次元VS画像のリコール表示]
次に、注目領域三次元VS画像のリコール表示について説明する。これは、注目領域が複数設定されている場合に、各注目領域についての注目領域三次元VS画像を、所定の順序でモニタ5に表示させるというものであ。なお、ここでは、異常細胞についての注目領域三次元VS画像を、その異常の程度の高い順に表示させるようにする。
図15Aについて説明する。図15Aは、ホストシステム2により行われる、注目領域三次元VS画像リコール表示処理の処理内容をフローチャートで示したものである。
この図15に示したフローチャートは、図14に示した注目領域三次元VS画像生成処理のフローチャートに類似しているので、ここでは、両者における相違点を中心に説明する。
まず、ステップS301において、データ記録部4に格納されている標本全体VSカラー画像のVS画像ファイル60(図6A)をオープンする処理が行われる。
次に、ステップS302において、オープンしたVS画像ファイル60内の細胞領域マップファイル情報99に格納されている細胞領域マップファイルをオープンして、細胞領域マップテーブル130(図8A)を参照可能な状態とする処理が行われる。
以降のステップS312からステップS320にかけての処理を、図14のステップS252からステップS260にかけての処理を対比すると、ステップS316の処理とステップS256との処理が異なることを除けば、両者の処理内容は同一である。そこで、ここでは、ステップS316の処理である、該当異常細胞のリコール表示処理についてのみ説明する。
図15Bについて説明する。図15Bは、図15AのステップS316の処理である、該当異常細胞のリコール表示処理の処理内容をフローチャートで示したものである。
まず、ステップS331において、標本全体VSカラー画像をモニタ5に表示させる処理が行われる。但し、この表示処理では、標本全体VSカラー画像における、ラベル変数Liの現在の値に対応する細胞領域120(すなわち該当異常細胞)の像がモニタ5の表示画面における中央部に表示されるようにする。このようにした標本全体VSカラー画像の表示例を図15Cに示す。このようにして標本全体VSカラー画像を表示させることにより、該当異常細胞とその周囲の正常細胞との対比が可能となり、該当異常細胞の正常・異常についての観察者(細胞診の検査士や病理医等)による判定が容易になる。
なお、ここで、細胞領域マップテーブル130に格納されている該当異常細胞の判定スコア147や、図13A及び図13Cに示した、該当異常細胞についてのN/C比、核の面積、核の輝度、細胞質の輝度等の値やそのレベル(I、IIa、IIb、IIIの各レベル)等といった、図1のシステムが判定を下した異常レベルの程度を、併せてモニタ5に表示するようにしてもよい。
更に、図1のシステムが異常と判定を下した細胞領域120を細胞領域の輪郭を特定の色彩で表示する、若しくは、当該細胞領域120についての外接長方形領域を特定の色彩で点滅表示するようにして、当該細胞領域120を観察者に明確に認識させるようにしてもよい。
ここで、標本全体VSカラー画像を観察した観察者が該当異常細胞のより詳細な観察を望む場合には、観察者は所定の操作(例えば不図示キーボードのEnterキーに対する押下操作)を行う。また、詳細な観察を望まない場合には、観察者は所定の異なる操作(例えば当該キーボードのスペースキーに対する押下操作)を行う。ステップS332では、このどちらの操作がなされたかを判定する処理が行われる。ここで、該当異常細胞のより詳細な観察を望む場合の操作がなされたと判定したとき(判定結果がYesのとき)にはステップS333に処理を進める。一方、当該詳細な観察を望まない場合の操作がなされたと判定したとき(判定結果がNoのとき)にはステップS335に処理を進める。
ステップS333では、該当異常細胞についての注目領域三次元VS画像をモニタ5に表示させる処理が行われる。この注目領域三次元VS画像の表示例を図15Dに示す。
この注目領域三次元VS画像がモニタ5に表示されているときに、観察者が例えば不図示のキーボードやマウス装置などを操作すると、その操作内容に応じ、異なる焦点位置の注目領域三次元VS画像への表示の切り替えや、注目領域三次元VS画像の表示倍率の変更、注目領域三次元VS画像の表示視野の変更の各処理が行われる。
その後、観察者が観察の終了を望む場合には、観察者は所定の観察終了操作(例えば不図示キーボードのEnterキーに対する押下操作)を行う。ステップS334では、この観察終了操作がなされたかを判定する処理が行われる。ここで、当該観察終了操作がなされた判定したとき(判定結果がYesのとき)にはステップS335に処理を進める。一方、当該観察終了操作がなされていないと判定したとき(判定結果がNoのとき)にはステップS333へと処理を戻して上述した処理が繰り返される。
次に、ステップS335では、細胞領域マップテーブル130(図8A)における、ラベル変数Liの現在の値に対応する確認済みフラグ149に、確認済みであることを示すフラグ情報をセットする処理が行われ、その後は、この図15Bの処理を終了する。このステップS335の処理により、観察者が該当異常細胞を確認したかどうかの記録が、ホストシステム2により自動的に行われる。
以上の該当異常細胞のリコール表示処理が図15AのステップS316の処理として行われることにより、該当異常細胞についての注目領域三次元VS画像がモニタ5に表示される。また、前述したように、図15AのステップS312からステップS320にかけての処理の処理内容は、ステップS316の処理とステップS256との処理が異なることを除けば、図14のステップS252からステップS260にかけての処理と同一である。従って、注目領域三次元VS画像は、注目領域である異常細胞についての判定スコア147aの値の大きい順、すなわち、その異常の程度の高い順にモニタ5に表示される。
なお、観察者からの不図示の操作により、リコール表示処理を直ちに中止できるように構成することは、勿論可能である。
次に図15Eについて説明する。図15Eは、異常細胞領域のリコール表示の図15C及び図15Dとは異なる表示例である。
図15Eの表示例では、異常レベル選択ボックス201、細胞領域のサムネイル画像202(標本全体VSカラー画像における該当異常細胞の像が表示画面における中央部に表示されている画像のサムネイル画像)の一覧、及びスクロールバー203をモニタ5に表示させている。
異常レベル選択ボックス201は、一覧表示させる異常レベルの範囲を選択するためのものである。すなわち、一覧表示させる異常レベルの範囲が異常レベル選択ボックス201で選択されると、細胞領域マップテーブル130(図8A)における判定スコア147aに、選択された異常レベルの範囲に一致する値が格納されている細胞領域のサムネイル画像202の一覧が、異常レベル(判定スコア147a)の高い順に表示される。ここで、スクロールバー203をマウス装置のドラッグ操作等により移動操作すると、サムネイル画像202の一覧がスクロール表示される。
ここで、任意のサムネイル画像202をマウス装置でダブルクリック操作すると、図15Bに示した処理が実行されて、図15C及び図15Dで示したような標本全体VSカラー画像及び注目領域三次元VS画像がモニタ5に表示される。
このような細胞領域のサムネイル画像202の一覧表示を行うことにより、観察者は複数の異常細胞領域を一度に観察できるので、総合的な細胞異常判定を下す場合に有用である。
また、この他に、細胞領域マップテーブル130をモニタ5に表示し、市販の表計算ソフトウェアで行えるような表示の並び替え(例えば面積が大きい順、核が暗い細胞順などといった並び替え)をすることにより、観察者が所望する順序で細胞領域120を探し出し、該当行をマウス装置でダブルクリック操作することにより、リコール表示を行うようにすることも可能である。
以上説明したように、図1の顕微鏡システムによれば、特殊なスライドガラスや専用の観察用電動顕微鏡といった特別な機器を必要とすることなく、悪性細胞の拾い上げのミスが防止される。更に、核と細胞質との特徴量により細胞の異常レベルを自動判定し、異常レベルの高い細胞から簡単な操作で細胞をリコール確認できるので、細胞診検査の精度と検査効率とが共に向上する。
加えて、細胞診用のVS画像として関心領域のみを自動抽出し、抽出した関心領域のみについて高倍率での顕微鏡画像の取得を行って三次元VS画像を生成するので、生成時間の短縮及び画像容量の削減を行うことができる。
また、異常細胞領域を確認したか否かの記録が自動的に行われるので、異常細胞の確認実施の有無を第三者が把握することができ、検査管理に活用することができる。
前述した実施例1においては、注目領域設定処理(図7)におけるステップS123の処理として、図11に示した細胞領域正常/異常判定処理を行うことで、細胞領域120の正常/異常の判定を行い、その判定結果に基づいて注目領域(異常が認められる細胞領域120)の設定を行っていた。
これに対し、本実施例は、実施例1において、図11におけるステップS185及びステップS186における異常判定処理を、細胞領域120の正常/異常の一次判定処理として扱う。そして、この異常判定処理に続いて、これより説明する細胞領域120の正常/異常の二次判定処理を行うようにして、細胞領域120の正常/異常の判定精度を向上させるというものである。
この二次判定処理では、標本全体VS画像作成時に使用したものよりも高倍率の対物レンズ23を使用し、注目領域設定処理(図7)のステップS122の処理により抽出した細胞領域120が異常細胞か否かを三次元的に判定する。以下、図16A乃至図16Dを用いてこの二次判定処理の説明を行う。
図16Aは、標本19において細胞が重なっている状態を示した模式図である。この図では、顕微鏡装置1の光軸と平行方向(Z軸)に細胞が重なっていることが示されている。
図16Bは、図16Aに示した標本19を上面から見た模式図である。この図では、細胞の重なりにより、核221、222、及び223のうち、核221と核222とが重なって観察されることを示している。
図16Cは、図16Bにおいて重なって見える核の分離を説明する図である。
図16Dは、ホストシステム2により行われる、二次判定処理の処理内容をフローチャートで示したものである。
二次判定処理では、一次判定処理において核の面積が正常値から逸脱していることにより異常細胞であると判定される場合のうち、実際には細胞が重なっていたことで2個の核221及び222が1個の核とみなされたために核面積が異常に大きく観測されたことによる誤判定を防止する。
なお、この二次判定処理は、図11に示した細胞領域正常/異常判定処理におけるステップS185若しくはステップS186の処理において、異常判定(一次判定)が行われて細胞領域マップテーブル130(図8A)にその判定結果が示された後であって、ステップS187の前に実行するようにする。
また、この二次判定処理は、一次判定処理により「異常」と判定分類された細胞領域120のうち、核領域マップテーブル160(図12D)に登録された核の面積が大きいと判定されたもの(図13A及び図13Cのテーブルにおける「核の面積」のレベルがIII のもの)をのみを対象とする。
以下、図16Dに示したフローチャートに沿って、この二次判定処理の処理内容を説明する。
まず、ステップS351において、処理対象である核の領域(面積が大きいと判定された核の像が表されている領域)の2値化画像を標本全体VS2値画像から取得する処理が行われる。以下、この処理により取得さされる領域を「該当核領域」と称することとする。
次に、ステップS353において、該当核領域の2値化画像に対し、領域分割処理が施される。ここで行われる領域分割処理としては。周知の画像処理アルゴリズム、例えばWatershed 法や所定回数の収縮処理など、を使用する。
次に、ステップS355において、ステップS353の領域分割処理により、該当核領域の2値化画像の分割が行えたか否かを判定する処理が行われる。ここで、分割が行えた(単一の該当核領域が2つ以上の核領域に分割された)と判定したとき(判定結果がYesのとき)にはステップS357に処理を進める。一方、分割が行えなかったと判定したとき(判定結果がNoのとき)には、核の重なりはなかったとみなして図16Dの処理を終了する。
次に、ステップS357において、分割後の各核領域の面積を算出し、この算出結果が、図13A若しくは図13CのテーブルにおけるレベルIII に相当する程度に異常に大きい面積であるか否かを判定する処理が行われる。ここで、面積の異常に大きい核が存在していると判定したとき(判定結果がYesのとき)には、該当核領域が異常であるとの判定結果が変わることがないので、このまま図16Dの処理を終了する。一方、面積の異常に大きい核が存在しなくなったと判定したとき(判定結果がNoのとき)には、ステップS360に処理を進める。
次に、ステップS360において、図14のステップS256の注目領域三次元VS画像を生成する処理における手順と同様にして、分割前の(核領域マップテーブル160に登録されている)該当核領域についての、焦点位置を変えてのセクショニング画像を、標本全体VS画像の作成時に使用した倍率よりも更に高倍率の対物レンズを使用して撮影し取得する処理が行われる。
次に、ステップS370において、ステップS353の領域分割処理により分割された各核領域についてフォーカス位置を求める処理が行われる。この処理では、例えば、各核領域内において輝度が一番低い位置をフォーカス位置として決定する。そして、続くステップS380において、求められた各核領域についてのフォーカス位置が同一であるか否かを判定する処理が行われる。
このステップS380の処理では、図16Aに例示したような、2個の核の重なりの場合には、2つ核の各々についてフォーカス位置を比較する。一方、3個以上の核の重なりの場合には、各核の重心の相互距離が最近傍である2つの核を比較対象として選択してフォーカス位置の比較を行う。そして、両者のフォーカス位置がZ軸方向に所定距離以上離れている場合には、核の重なりがあるとの判定を下し(ステップS380の判定結果がNo)、ステップS390に処理を進める。一方、両者のフォーカス位置がZ軸方向に所定距離以上離れてはいない場合には、核の重なりはないとの判定を下し(ステップS380の判定結果がYes)、図16Dの処理を終了する。
次に、ステップS390では、核領域マップテーブル160から該当する核領域情報を削除して、該当核領域を細胞領域120の正常/異常の判定対象から除外する処理が行われ、その後は図16Dの処理を終了する。
なお、以上の図16Dの処理を行ったことで、核領域マップテーブル160の内容が変更された場合には、分割後の各核領域の形状の特徴量を用いて図11の細胞領域正常/異常判定処理におけるステップS185若しくはステップS186の処理を改めて実行して細胞領域120の正常/異常の判定を行い、その判定結果を細胞領域マップテーブル130(図8A)に格納する。
以上のように、本実施例によれば、細胞の重なりにより核の面積が実際より大きく評価されたことに起因する異常細胞の誤検出が低減されるので、その後の観察者による検査効率が向上する。
なお、図16DのステップS353の領域分割処理により所定の数以上に該当核領域が分割された場合は、過剰分割と判断して、該当核領域に対する図16Dの処理を中止する(スキップする)ように構成することも可能である。
本実施例は、前述した実施例1において、通常の対物レンズを使用して撮影された顕微鏡画像により生成された標本全体VS画像により正常/異常の判別が可能な細胞については、それよりも高倍の対物レンズを使用しての焦点位置を変えたセクショニング画像の撮影及び注目領域三次元VS画像の生成を止めることで、そのための撮影時間や画像容量等を削減するというものである。以下、本実施例について図17A乃至図17C及び図18を用いて説明する。
図17Aは、詳細画像の要否判定も可能である孤立散在細胞の異常判定テーブルの例である。
図17Bは、詳細画像の要否判定も可能である細胞集塊の異常判定テーブルの例である。
この図17A及び図17Bに示した異常判定テーブルは、それぞれ図13B及び図13Dに示した実施例1におけるものに、注目領域三次元VS画像の取得を必要とするか否かを示す詳細画像の要否フラグ381を設けることにより、細胞の像の特徴量の情報に応じ、注目領域三次元VS画像の取得の要否を選択できるようにしたものである。すなわち、この異常判定テーブルを用いることにより、例えば、N/C比が高く、核が明るく、核の面積が大きく、細胞質の輝度も高いといったことが標本全体VS画像における注目領域の像より認められた細胞領域は、注目領域三次元VS画像の取得を不要とし、例えば、N/C比が高く、核が暗く、核の面積が大きい細胞領域は、注目領域三次元VS画像の取得が必要といったような設定を行うことができる。
図17Cは、詳細画像の要否判定も可能である細胞領域マップテーブルの例である。この図17Cに示した細胞領域マップテーブル130は、図8Aに示した実施例1におけるものに、注目領域三次元VS画像の取得を必要とするか否かを示す、詳細画像の要否フラグ381を設けたものである。
本実施例は、実施例1の手法を一部変更することで実施することができる。すなわち、図11に示した細胞領域正常/異常判定処理のステップS185及びステップS186における孤立散在細胞及び細胞集塊の各々に対する正常/異常の判定処理において、細胞の正常/異常の判定処理と注目領域三次元VS画像の取得要否の判定処理とを、図17A及び図17Bに示した異常判定テーブルを用いて行う。そして、その両方の判定結果を図17Cに示した細胞領域マップテーブル130における参照中の細胞領域120についての細胞領域情報に登録する処理を行うようにする。更に、図14に示した処理のステップS256において、注目領域三次元VS画像の生成処理を行うか否かを、図17Cの細胞領域マップテーブル130から取得した細胞領域情報における詳細画像の要否フラグ381に基づいて判定する。ここで、詳細画像の要否フラグ381が「不要」とされていた場合には、注目領域三次元VS画像の生成処理を行わないようにする。
以上のようにすることにより、注目領域についての注目領域三次元VS画像の生成を行うか否かを、当該注目領域に表されている異常である細胞の当該異常の程度に基づいて制御することが図1のシステムにおいて可能となる。
また、図14のステップS256の処理を以上のようにする代わりに、図18に処理内容をフローチャートで示した注目領域三次元VS画像生成制御処理をホストシステム2が行うようにしても、不必要な注目領域三次元VS画像を生成しないようにすることができる。
この図18の処理は、所定倍以上に暗く且つ大きい細胞集塊の近傍(所定距離以内の位置)に、比較的小さな大きさの異常細胞が複数存在しているのに、実施例1の手法によって注目領域三次元VS画像の取得対象となっている場合には、当該大きな細胞集塊の注目領域三次元VS画像を取得しないようにするものである。このような細胞集塊は、正常/異常の判断が困難な場合が多いため、細胞集塊自身の画像では判断せずに、その近傍の異常細胞の存在を以って異常との判断を下すといった、検査の実情を考慮したものである。
なお、この図18の処理は、実施例1の手法における図14のステップS256の処理の代わりに行われるものである。
図18の処理では、まず、ステップS405において、細胞領域マップテーブル130の参照中の細胞領域120についての細胞領域情報における詳細画像の要否フラグ381が、「必要」とされており、この細胞領域120が注目領域三次元VS画像の取得対象になっているか否かを判定する処理が行われる。ここで、この細胞領域120が注目領域三次元VS画像の取得対象になっていると判定したとき(判定結果がYesのとき)にはステップS410に処理を進める。一方、この細胞領域120が注目領域三次元VS画像の取得対象になっていないと判定したとき(判定結果がNoのとき)には、このままこの図18の処理を終了する。
次に、ステップS410において、この細胞領域120の面積が所定の閾値以上であるか否かを判定する処理が行われる。この処理は、例えば、この細胞領域120についての細胞領域情報における外接長方形132の情報を参照し、この外接長方形132の大きさ(幅及び高さ)が所定値以上であるか否かを判定することにより行われる。ここで、細胞領域120の面積が所定の閾値以上であると判定したとき(判定結果がYesのとき)には、ステップS415に処理を進める。一方、細胞領域120の面積が所定の閾値未満であると判定したとき(判定結果がNoのとき)には、ステップS256に処理を進める。
次に、ステップS415において、この細胞領域120についての細胞領域情報における核の輝度144の情報を参照し、この核の輝度144が所定値以下の暗さであるか否かを判定する処理が行われる。ここで、この核の輝度144が所定値以下の暗さであると判定したとき(判定結果がYesのとき)には、ステップS420に処理を進める。一方、この核の輝度144が所定値よりも大きいと判定したとき(判定結果がNoのとき)には、ステップS256に処理を進める。
次に、ステップS420において、この細胞領域120の周辺(近傍)に、異常判定の代替となる異常細胞があるかないかを、細胞領域マップテーブル130に基づいて判定する処理が行われる。この処理では、例えば、
条件1:細胞領域の重心133から所定距離以内である。
条件2:面積が所定値以下(ステップS410の判定処理において閾値未満と判定される程度の小ささ)である。
条件3:注目領域三次元VS画像の取得対象になっている。
という上記の3つの条件を全て満たす細胞領域の個数を計数する。そして、この計数値が所定値以上の場合には、「近傍に代替異常細胞がある」との判定を下し(判定結果をYesとし)、このままこの図18の処理を終了する。一方、この計数値が所定値未満の場合には、「近傍に代替異常細胞はない」との判定を下し(判定結果をNoとし)、ステップS256に処理を進める。
次に、ステップS256では、注目領域三次元VS画像を生成する処理が、図14における場合と同様にして行われ、その後は、この図18の処理を終了する。
以上のように、本実施例によれば、細胞の形状の特徴量若しくは近傍の細胞(所定距離内に存在する細胞)の状況に応じて注目領域三次元VS画像の生成を行わないようにすることが可能となり、撮影時間、画像ファイル容量等を削減することが可能となる。
本実施例は、「悪性」、「悪性疑い」、「変性」などといった、実施例1で説明したリコール表示において、観察者による細胞の評価結果やコメント等を記録し、その記録内容を後に利用するというものである。
まず、図19について説明する。図19は、標本19の画像の表示画面についての本実施例に係る構成例を示したものである。
図19において、画像表示領域430には、標本全体VS画像(実施例1における標本全体VSカラー画像)が表示され、この表示は、観察者による所定の操作に応じて、同図の下に表されている注目領域三次元VS画像に切り替えることができる。
異常細胞指示ポインタ431は、標本全体VS画像において現在観察対象となっている注目領域(異常細胞の像)を示すものである。
異常細胞情報表示エリア410には、現在の観察対象となっている異常細胞についての細胞顔域マップテーブル130の登録内容が表示される。
所見入力エリア420は、評価値入力部421と、評価内容表示部422と、コメント部423とを備えて構成されている。
評価値入力部421には、観察者による異常細胞の評価情報が数値入力される。評価内容表示部422には、評価値入力部421に入力された評価数値の意味内容が表示される。データ記録部4に予め記録されている、この評価数値とその意味内容との対応テーブルの例を図20に示す。
また、コメント部423は、観察者による任意のコメントの入力欄である。
ホストシステム2は、図15Bの該当異常細胞のリコール表示処理により、この図19に示した表示画面を、図15C及び図15Dにそれぞれ示した標本全体VSカラー画像及び注目領域三次元VS画像の表示例に代えて表示させるようにする。そして、この図19の画面の表示中に観察者により行われた所定の操作(例えば不図示キーボードに対する押下操作)を検出し、この操作に対応する評価値入力部421及びコメント部423に対する入力を取得すると共に、取得した評価数値に対応する意味内容を図20の対応テーブルから取得して評価内容表示部422に表示する。
なお、このときに取得された異常細胞の評価数値の入力情報及びコメントの入力情報は、図21に例示するような所見データテーブル500の評価値502及びコメント503のそれぞれの欄に記録されてデータ記録部4に所見データファイルとして保存される。なお、ここで、ラベル501の欄には、細胞領域マップテーブル130上のラベル131に登録されているものが記録されて両者間の関係が明示される。更に、標本全体VS画像のVS画像ファイル60における付帯情報61内の不図示の所見データファイル情報格納領域に、この所見データファイルにアクセスするためのファイルパス情報が格納される。
以上のようにして入力された所見データは、例えば以下のようにして利用される。
すなわち、図15Eに示した異常細胞領域のリコール表示例において、異常レベル選択ボックス201により、観察者により入力された上述の評価数値の範囲指定を可能とする。ここで、一覧表示させる評価数値の範囲が異常レベル選択ボックス201で選択されると、所見データテーブル500における評価値502に、選択された評価数値の範囲に一致する値が格納されている細胞領域のサムネイル画像202(標本全体VS画像における異常細胞の像が表示画面における中央部に表示されている画像のサムネイル画像)の一覧が、評価数値の大きい順に表示される。ここで、スクロールバー203をマウス装置のドラッグ操作等により移動操作すると、サムネイル画像202の一覧がスクロール表示される。
ここで、任意のサムネイル画像202をマウス装置でダブルクリック操作すると、図15Bに示した処理が実行されて図19で示したような画面が構成され、ダブルクリック操作されたサムネイル画像202に対応する標本全体VS画像(該当異常細胞の像が表示画面における中央部に表示されている画像)と、そのサムネイル画像202に対応する注目領域三次元VS画像とが画像表示の切り替え操作に応じてモニタ5に表示される。
以上のように、本実施例によれば、ホストシステム2が、注目領域に対する観察者による評価値の入力を取得し、当該注目領域についての注目領域三次元VS画像の表示の要否を、その評価値に基づいて判定する。そして、この判定により表示必要と判定した注目領域三次元VS画像を表示するようにする。このようにすることにより、例えば、観察者が「高度異形性」以上に異常との判断を下した悪性細胞の一覧をサムネイル形式でブラウズするといったような処理を図1のシステムで実現することが可能となると共に、その異常画像をモニタ5に順次リコール表示するといったことも可能となるので、二次スクリーナや細胞診専門医による一次スクリーニング結果の評価を効率的に行うことができる。
また、例えばこのような所見を観察者毎に記録できるようにすれば、観察者の違いによる判定結果の差異の突き合せが可能となり、診断能力の開発や精度管理にも活用可能である。
以上のように、上述した各実施例を実施する図1のバーチャルスライド顕微鏡システムによれば、特殊なスライドガラスや観察用の専用電動顕微鏡といった特別な機器を必要とすることなく、悪性細胞の拾い上げミスを防止でき、更に、各異常細胞の判定結果の記録を残すことにより細胞診検査の結果の判定根拠を残すことができる。
また、検査結果の妥当性確認もリコール作業により容易に確認できることにより、細胞診の検査精度を向上できる。加えて、細胞診用のVS画像として関心領域のみを自動抽出し、関心領域のみを高倍で三次元データ取得するようにすることにより、作成時間の短縮及び画像容量の削減を行うことができる。
以上、本発明の実施形態を説明したが、本発明は、上述した各実施形態に限定されることなく、本発明の要旨を逸脱しない範囲内で種々の改良・変更が可能である。
本発明を実施するバーチャルスライド顕微鏡システムの構成を示す図である。 標本全体VS画像生成処理の処理内容をフローチャートで示した図である。 スライドガラス標本の一例を示した図である。 標本領域全体の画像を多数の小区画に分割した状態を示す図である。 フォーカスマップのデータ構成例を示す図である。 VS画像ファイル全体のデータ構成を示す図である。 付帯情報のデータ構成を示す図である。 広視野・高精細画像データのデータ構成を示す図である。 注目領域指定情報のデータ構成を示す図である。 注目領域設定処理の処理内容をフローチャートで示した図である。 細胞領域マップテーブルの例を示す図である。 細胞領域に対する形状の特徴量を説明する図である。 標本全体VS2値画像作成処理の処理内容を示すフローチャートである。 平滑化処理が施された後の標本全体VS画像(R)の画像例を示す図である。 図10Aの画像例から作成された標本全体VS2値画像を示す図である。 標本全体VS2値画像に対して行われるラスタスキャンにおける走査パターンを示した図である。 細胞領域正常/異常判定処理の処理内容を示すフローチャートである。 細胞領域を核と細胞質とに分離する処理の処理内容を示すフローチャートである。 細胞領域内における核と細胞質とを模式的に示した図である。 核と細胞質との判別アルゴリズムを示すフローチャートである。 核領域マップテーブルの例を示す図である。 孤立散在細胞の異常判定に使用する項目とその異常レベルとを示したテーブルを示す図である。 孤立散在細胞の異常判定に使用する判定テーブルを示す図である。 細胞集塊の異常判定に使用する項目とその異常レベルとを示したテーブルを示す図である。 細胞集塊の異常判定に使用する判定テーブルを示す図である。 注目領域三次元VS画像生成処理の処理内容をフローチャートで示した図である。 注目領域三次元VS画像リコール表示処理の処理内容をフローチャートで示した図である。 該当異常細胞のリコール表示処理の処理内容をフローチャートで示した図である。 標本全体VSカラー画像の表示例を示す図である。 注目領域三次元VS画像の表示例を示す図である。 異常細胞領域のリコール表示の表示例を示す図である。 標本において細胞が重なっている状態を示した模式図である。 図16Aに示した標本を上面から見た模式図である。 図16Bにおいて重なって見える核の分離を説明する図である。 二次判定処理の処理内容をフローチャートで示した示す図である。 詳細画像の要否判定も可能である孤立散在細胞の異常判定テーブルの例を示す図である。 詳細画像の要否判定も可能である細胞集塊の異常判定テーブルの例を示す図である。 詳細画像の要否判定も可能である細胞領域マップテーブルの例を示す図である。 注目領域三次元VS画像生成制御処理を示す図である。 標本の画像の表示画面についての構成例を示す図である。 異常細胞の評価数値とその意味内容との対応テーブルの例を示す図である。 所見データテーブルの例を示す図である。
符号の説明
1 顕微鏡装置
2 ホストシステム
3 ビデオカメラ
4 データ記録部
5 モニタ
6 透過照明用光源
7 コレクタレンズ
8 透過用フィルタユニット
9 透過視野絞り
10 透過開口絞り
11 コンデンサ光学素子ユニット
12 トップレンズユニット
13 落射照明用光源
14 コレクタレンズ
15 落射用フィルタユニット
16 落射シャッタ
17 落射視野絞り
18 落射開口絞り
19 標本
20 電動ステージ
21 ステージX−Y駆動制御部
22 ステージZ駆動制御部
23(23a、23b、…) 対物レンズ
24 レボルバ
25 キューブユニット
26 接眼レンズ
27 ビームスプリッタ
28 ポラライザ
30 アナライザ
31 ビデオカメラコントローラ
32 ビデオボード
33 ビデオカメラコントローラ
34 撮影座標記録部
40 スライドガラス
41 標本サーチ範囲
42 標本領域
43 ラベル
50 フォーカスマップ
60 VS画像ファイル
120、128 細胞領域
130 細胞領域マップテーブル
151、221、222、223 核
152 細胞質
160 核領域マップテーブル
201 異常レベル選択ボックス
202 細胞領域のサムネイル画像
203 スクロールバー
410 異常細胞情報表示エリア
420 所見入力エリア
421 評価値入力部
422 評価内容表示部
423 コメント部
430 画像表示領域
431 異常細胞指示ポインタ
500 所見データテーブル

Claims (5)

  1. 対物レンズと標本とを光軸に対して直交する方向に相対的に移動させる度に撮影して取得した複数枚の顕微鏡画像を相互に結合して構成される該標本のバーチャルスライド画像(VS画像)であって、第一の撮影倍率の該顕微鏡画像から構成されており該標本の全体像が表されている標本全体VS画像を生成する標本全体VS画像生成手段と、
    前記標本全体VS画像生成手段により生成された前記標本の全体像に基づき、前記標本を構成している細胞のうち、核の像の面積が正常値から逸脱していることにより、異常であるとみなされた領域を注目領域として設定する注目領域設定手段と、
    前記注目領域について、前記第一の撮影倍率よりも高倍率であって、異なる焦点位置の複数枚の顕微鏡画像からなる注目領域三次元VS画像を生成する注目領域三次元VS画像生成手段と、
    を有し、
    前記注目領域設定手段が、前記注目領域三次元VS画像生成手段で生成された前記注目領域三次元VS画像に基づき、前記注目領域に核の重なりの存在が認められた場合に、二次判定として、該核の重なりの像を判定基準から除外した上で前記細胞が異常であるか否かを判定する
    ことを特徴とする顕微鏡システム。
  2. 前記注目領域設定手段は、前記細胞が異常であるか否かを、前記標本全体VS画像における該細胞を構成している核の像の面積及び細胞質の像の面積と、該核の像の輝度及び該細胞質の像の輝度とに基づいて判定することを特徴とする請求項に記載の顕微鏡システム。
  3. 前記注目領域設定手段により設定された前記注目領域についての前記注目領域三次元VS画像の生成を、前記注目領域三次元VS画像生成手段に行わせるか否かを、該注目領域に表されている異常である細胞から所定距離内に存在する他の細胞の像に基づいて制御する注目領域三次元VS画像生成制御手段を更に有することを特徴とする請求項に記載の顕微鏡システム。
  4. 対物レンズと標本とを光軸に対して直交する方向に相対的に移動させる度に撮影して取得した複数枚の顕微鏡画像を相互に結合して構成される該標本のバーチャルスライド画像(VS画像)であって、第一の撮影倍率の該顕微鏡画像から構成されており該標本の全体像が表されている標本全体VS画像を標本全体VS画像生成手段が生成し、
    前記標本全体VS画像生成手段により生成された前記標本の全体像に基づき、前記標本を構成している細胞のうち、核の像の面積が正常値から逸脱していることにより、異常であるとみなされた領域を注目領域として注目領域設定手段が設定し、
    前記注目領域について、前記第一の撮影倍率よりも高倍率であって、異なる焦点位置の複数枚の顕微鏡画像からなる注目領域三次元VS画像を注目領域三次元VS画像生成手段が生成し、
    前記注目領域三次元VS画像生成手段で生成された前記注目領域三次元VS画像に基づき、前記注目領域に核の重なりの存在が認められた場合に、二次判定として、該核の重なりの像を判定基準から除外した上で前記細胞が異常であるか否かを、前記注目領域設定手段が判定する、
    ことを特徴とする画像生成方法。
  5. 対物レンズと標本とを光軸に対して直交する方向に相対的に移動させる度に撮影して取得した複数枚の顕微鏡画像を相互に結合して構成される該標本のバーチャルスライド画像(VS画像)であって、第一の撮影倍率の該顕微鏡画像から構成されており該標本の全体像が表されている標本全体VS画像を生成する標本全体VS画像生成処理と、
    前記標本全体VS画像生成処理により生成された前記標本の全体像に基づき、前記標本を構成している細胞のうち、核の像の面積が正常値から逸脱していることにより、異常であるとみなされた領域を注目領域として設定する注目領域設定処理と、
    前記注目領域について、前記第一の撮影倍率よりも高倍率であって、異なる焦点位置の複数枚の顕微鏡画像からなる注目領域三次元VS画像を生成する注目領域三次元VS画像生成処理と、
    をコンピュータに行わせ
    前記注目領域設定処理が、前記注目領域三次元VS画像生成処理で生成された前記注目領域三次元VS画像に基づき、前記注目領域に核の重なりの存在が認められた場合に、二次判定として、該核の重なりの像を判定基準から除外した上で前記細胞が異常であるか否かを判定する処理を前記コンピュータに行わせる、
    ことを特徴とするプログラム。
JP2008012651A 2008-01-23 2008-01-23 顕微鏡システム、画像生成方法、及びプログラム Active JP4558047B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008012651A JP4558047B2 (ja) 2008-01-23 2008-01-23 顕微鏡システム、画像生成方法、及びプログラム
US12/357,059 US8350905B2 (en) 2008-01-23 2009-01-21 Microscope system, image generating method, and program for practicing the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008012651A JP4558047B2 (ja) 2008-01-23 2008-01-23 顕微鏡システム、画像生成方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2009175334A JP2009175334A (ja) 2009-08-06
JP4558047B2 true JP4558047B2 (ja) 2010-10-06

Family

ID=40997892

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008012651A Active JP4558047B2 (ja) 2008-01-23 2008-01-23 顕微鏡システム、画像生成方法、及びプログラム

Country Status (2)

Country Link
US (1) US8350905B2 (ja)
JP (1) JP4558047B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11995833B2 (en) 2021-07-26 2024-05-28 The Joan and Irwin Jacobs Technion-Cornell Institute System and method for on-phase microscopy

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US718926A (en) * 1902-09-13 1903-01-20 Alphonse Gauron Weather-strip.
US8386015B2 (en) * 2008-10-27 2013-02-26 Siemens Aktiengesellschaft Integration of micro and macro information for biomedical imaging
DE102009041183A1 (de) * 2009-09-11 2011-03-24 Carl Zeiss Imaging Solutions Gmbh Verfahren zum automatischen Fokussieren eines Mikroskops auf ein vorbestimmtes Objekt sowie Mikroskop zum automatischen Fokussieren
JP5672688B2 (ja) 2009-10-23 2015-02-18 ソニー株式会社 合焦装置、合焦方法、合焦プログラム及び顕微鏡
DK2507663T3 (en) * 2009-12-04 2017-05-01 Koninklijke Philips Nv SYSTEM AND PROCEDURE FOR TIME-BASED MICROSCOPY OF BIOLOGICAL ORGANISMS
JP5421756B2 (ja) * 2009-12-11 2014-02-19 富士フイルム株式会社 画像表示装置および方法並びにプログラム
JP5581690B2 (ja) 2009-12-25 2014-09-03 ソニー株式会社 厚み情報取得装置、厚み情報取得方法、厚み情報取得プログラム及び顕微鏡
JP5504881B2 (ja) 2009-12-25 2014-05-28 ソニー株式会社 演算装置、演算方法、演算プログラム及び顕微鏡
JP5490568B2 (ja) 2010-02-26 2014-05-14 オリンパス株式会社 顕微鏡システム、標本観察方法およびプログラム
JP2011196853A (ja) * 2010-03-19 2011-10-06 Olympus Corp バーチャルスライド検査方法およびバーチャルスライド検査装置
JP5535727B2 (ja) * 2010-04-01 2014-07-02 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP5825641B2 (ja) * 2010-07-23 2015-12-02 国立研究開発法人産業技術総合研究所 病理組織画像の特徴抽出システム及び病理組織画像の特徴抽出方法
JP5451552B2 (ja) 2010-08-09 2014-03-26 オリンパス株式会社 顕微鏡システム、標本観察方法およびプログラム
US9522396B2 (en) 2010-12-29 2016-12-20 S.D. Sight Diagnostics Ltd. Apparatus and method for automatic detection of pathogens
CA2825040C (en) * 2011-01-18 2018-06-12 Constitution Medical, Inc. Microscope slide coordinate system registration
US9111343B2 (en) 2011-01-18 2015-08-18 Roche Diagnostics Hematology, Inc. Microscope slide coordinate system registration
JP5829030B2 (ja) 2011-03-23 2015-12-09 オリンパス株式会社 顕微鏡
US9064301B2 (en) * 2011-04-14 2015-06-23 Abbott Point Of Care, Inc. Method and apparatus for compressing imaging data of whole blood sample analyses
CN102890340A (zh) * 2011-07-21 2013-01-23 上海良相智能化工程有限公司 一种三维视频显微***
JP5732353B2 (ja) 2011-08-31 2015-06-10 株式会社キーエンス 拡大観察装置、拡大観察方法および拡大観察プログラム
JP5822345B2 (ja) * 2011-09-01 2015-11-24 島田 修 ホールスライドイメージ作成装置
JP5863357B2 (ja) * 2011-09-21 2016-02-16 オリンパス株式会社 拡大観察装置、並びに、拡大観察装置の画像表示方法及び検鏡法切換方法
JP6013100B2 (ja) * 2011-09-27 2016-10-25 オリンパス株式会社 撮像装置および顕微鏡システム
JP5881356B2 (ja) * 2011-09-27 2016-03-09 オリンパス株式会社 顕微鏡システム
JP2013109119A (ja) * 2011-11-21 2013-06-06 Nikon Corp 顕微鏡制御装置およびプログラム
JP5818651B2 (ja) 2011-11-22 2015-11-18 株式会社キーエンス 画像処理装置
US10640807B2 (en) 2011-12-29 2020-05-05 S.D. Sight Diagnostics Ltd Methods and systems for detecting a pathogen in a biological sample
US20130271575A1 (en) * 2012-04-11 2013-10-17 Zspace, Inc. Dynamically Controlling an Imaging Microscopy System
JP6053327B2 (ja) * 2012-05-23 2016-12-27 オリンパス株式会社 顕微鏡システム、標本画像生成方法及びプログラム
US8917934B2 (en) 2012-06-14 2014-12-23 International Business Machines Corporation Multi-cue object detection and analysis
JP6362311B2 (ja) 2012-09-06 2018-07-25 オリンパス株式会社 積層構造体中の細胞の画像解析方法、及び角膜移植用積層構造体の評価方法
DK2927311T3 (da) * 2012-11-28 2020-01-13 Japan Science & Tech Agency Celleovervågningsindretning, celleovervågningsfremgangsmåde og program dertil
WO2014149598A1 (en) * 2013-03-15 2014-09-25 Microscopy Learning Systems, Llc Microscope-based learning
JP6455829B2 (ja) * 2013-04-01 2019-01-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
EP2999988A4 (en) 2013-05-23 2017-01-11 S.D. Sight Diagnostics Ltd. Method and system for imaging a cell sample
IL227276A0 (en) 2013-07-01 2014-03-06 Parasight Ltd A method and system for obtaining a monolayer of cells, for use specifically for diagnosis
EP3955042A1 (en) 2013-08-26 2022-02-16 S.D. Sight Diagnostics Ltd. Digital microscopy systems, methods and computer program products
AU2013273832B2 (en) * 2013-12-23 2016-02-04 Canon Kabushiki Kaisha Overlapped layers in 3D capture
JP2015127779A (ja) * 2013-12-27 2015-07-09 株式会社キーエンス 顕微鏡及びこれを用いた拡大観察方法
US8977024B1 (en) * 2014-01-31 2015-03-10 Afraxis, Inc. Distributed anatomical image analysis
DE102014102425B4 (de) 2014-02-25 2018-06-28 Carl Zeiss Meditec Ag Mikroskopsystem und Mikroskopieverfahren unter Verwendung digitaler Marker
US10482595B2 (en) 2014-08-27 2019-11-19 S.D. Sight Diagnostics Ltd. System and method for calculating focus variation for a digital microscope
WO2016042963A1 (ja) * 2014-09-19 2016-03-24 コニカミノルタ株式会社 画像処理装置、画像処理方法、及びプログラム
ES2567379B1 (es) 2014-10-21 2017-02-03 Universidad Carlos Iii De Madrid Microscopio y procedimiento para la generación de imágenes 3D de una colección demuestras
JP6543954B2 (ja) * 2015-02-24 2019-07-17 シンフォニアテクノロジー株式会社 除去領域設定方法、除去領域設定装置およびプログラム
US10304188B1 (en) * 2015-03-27 2019-05-28 Caleb J. Kumar Apparatus and method for automated cell analysis
JP2016224190A (ja) * 2015-05-28 2016-12-28 オリンパス株式会社 顕微鏡装置、シェーディング補正装置、シェーディング補正方法、及び、プログラム
JP6622007B2 (ja) * 2015-05-29 2019-12-18 オリンパス株式会社 細胞評価方法
JP6548965B2 (ja) * 2015-06-15 2019-07-24 オリンパス株式会社 顕微鏡システムおよび顕微鏡観察方法
EP3350644B1 (en) 2015-09-17 2021-04-28 S.D. Sight Diagnostics Ltd. Methods and apparatus for detecting an entity in a bodily sample
JP6293186B2 (ja) * 2016-03-10 2018-03-14 株式会社Screenホールディングス 撮像装置における撮像配置決定方法および撮像装置
US11733150B2 (en) 2016-03-30 2023-08-22 S.D. Sight Diagnostics Ltd. Distinguishing between blood sample components
EP4177593A1 (en) 2016-05-11 2023-05-10 S.D. Sight Diagnostics Ltd. Sample carrier for optical measurements
CN109564209B (zh) 2016-05-11 2022-05-31 思迪赛特诊断有限公司 对样品实施的光学测量
US10203491B2 (en) 2016-08-01 2019-02-12 Verily Life Sciences Llc Pathology data capture
US10025902B2 (en) 2016-08-12 2018-07-17 Verily Life Sciences Llc Enhanced pathology diagnosis
CN106094194B (zh) * 2016-08-17 2019-06-14 江浩 显微镜下样本图片的获取方法、成像装置及其获取样本图片的方法
JPWO2018207361A1 (ja) * 2017-05-12 2020-03-12 オリンパス株式会社 細胞画像取得装置
JP2019058073A (ja) 2017-09-25 2019-04-18 オリンパス株式会社 画像処理装置、細胞認識装置、細胞認識方法および細胞認識プログラム
JP2019058074A (ja) 2017-09-25 2019-04-18 オリンパス株式会社 画像処理装置、細胞集塊認識装置、細胞集塊認識方法および細胞集塊認識プログラム
WO2019097387A1 (en) 2017-11-14 2019-05-23 S.D. Sight Diagnostics Ltd Sample carrier for optical measurements
JP6746639B2 (ja) * 2018-08-02 2020-08-26 ソニー株式会社 画像処理装置および方法、並びに診断支援システム
JP7371345B2 (ja) * 2019-04-08 2023-10-31 株式会社ニコン 顕微鏡、及び、顕微鏡の測定方法
CN110633651B (zh) * 2019-08-26 2022-05-13 武汉大学 一种基于图像拼接的异常细胞自动识别方法
EP4229464A4 (en) * 2020-10-18 2024-02-21 Aixmed Inc METHOD AND SYSTEM FOR CYTOPATHOLOGICAL IMAGE ACQUISITION

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000501184A (ja) * 1995-11-30 2000-02-02 クロマビジョン メディカル システムズ,インコーポレイテッド 生体標本の自動画像分析の方法および装置
JP2000039566A (ja) * 1998-07-24 2000-02-08 Sony Corp 拡大観察装置
JP2001519944A (ja) * 1997-03-03 2001-10-23 バクス リサーチ ラボラトリーズ インコーポレイテッド コンピュータ制御の顕微鏡から試料の拡大イメージを取得し再構成するための方法および装置
JP2002202463A (ja) * 2000-12-27 2002-07-19 Nikon Corp 画像表示装置、画像表示装置を備えた顕微鏡システムおよび記録媒体
JP2002258163A (ja) * 2001-03-01 2002-09-11 Olympus Optical Co Ltd 顕微鏡制御装置、顕微鏡制御システム、顕微鏡の制御方法、プログラム、及び記録媒体
JP2004286666A (ja) * 2003-03-24 2004-10-14 Olympus Corp 病理診断支援装置および病理診断支援プログラム
JP2005345310A (ja) * 2004-06-03 2005-12-15 Sadahiko Nagae 血液健康支援システム
JP2006343573A (ja) * 2005-06-09 2006-12-21 Olympus Corp 顕微鏡システム、観察方法および観察プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3377548B2 (ja) * 1993-03-30 2003-02-17 オリンパス光学工業株式会社 顕微鏡画像観察システム
US6418236B1 (en) * 1999-06-24 2002-07-09 Chromavision Medical Systems, Inc. Histological reconstruction and automated image analysis
JPH09281405A (ja) * 1996-04-17 1997-10-31 Olympus Optical Co Ltd 顕微鏡システム
US6002527A (en) * 1998-02-11 1999-12-14 Nikon Corporation Compact high-zoom-ratio zoom lens
IL138123A0 (en) * 2000-08-28 2001-10-31 Accuramed 1999 Ltd Medical decision support system and method
AU2883702A (en) 2000-11-03 2002-05-15 Cytyc Corp Cytological imaging systems and methods
JP2004101871A (ja) * 2002-09-10 2004-04-02 Olympus Corp 顕微鏡画像撮影装置
US20040105000A1 (en) * 2002-11-29 2004-06-03 Olymlpus Corporation Microscopic image capture apparatus
US7756357B2 (en) * 2003-07-01 2010-07-13 Olympus Corporation Microscope system for obtaining high and low magnification images
EP2002782A4 (en) * 2006-04-06 2010-12-29 Konica Minolta Med & Graphic DEVICE FOR PROCESSING MEDICAL INFORMATION
JP4937850B2 (ja) * 2007-07-03 2012-05-23 オリンパス株式会社 顕微鏡システム、そのvs画像生成方法、プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000501184A (ja) * 1995-11-30 2000-02-02 クロマビジョン メディカル システムズ,インコーポレイテッド 生体標本の自動画像分析の方法および装置
JP2001519944A (ja) * 1997-03-03 2001-10-23 バクス リサーチ ラボラトリーズ インコーポレイテッド コンピュータ制御の顕微鏡から試料の拡大イメージを取得し再構成するための方法および装置
JP2000039566A (ja) * 1998-07-24 2000-02-08 Sony Corp 拡大観察装置
JP2002202463A (ja) * 2000-12-27 2002-07-19 Nikon Corp 画像表示装置、画像表示装置を備えた顕微鏡システムおよび記録媒体
JP2002258163A (ja) * 2001-03-01 2002-09-11 Olympus Optical Co Ltd 顕微鏡制御装置、顕微鏡制御システム、顕微鏡の制御方法、プログラム、及び記録媒体
JP2004286666A (ja) * 2003-03-24 2004-10-14 Olympus Corp 病理診断支援装置および病理診断支援プログラム
JP2005345310A (ja) * 2004-06-03 2005-12-15 Sadahiko Nagae 血液健康支援システム
JP2006343573A (ja) * 2005-06-09 2006-12-21 Olympus Corp 顕微鏡システム、観察方法および観察プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11995833B2 (en) 2021-07-26 2024-05-28 The Joan and Irwin Jacobs Technion-Cornell Institute System and method for on-phase microscopy

Also Published As

Publication number Publication date
US20090213214A1 (en) 2009-08-27
JP2009175334A (ja) 2009-08-06
US8350905B2 (en) 2013-01-08

Similar Documents

Publication Publication Date Title
JP4558047B2 (ja) 顕微鏡システム、画像生成方法、及びプログラム
JP6453298B2 (ja) 細胞診標本を観察および解析するためのシステムおよび方法
Racine et al. Visualization and quantification of vesicle trafficking on a three‐dimensional cytoskeleton network in living cells
JP6594294B2 (ja) 顕微鏡画像の画像品質評価
JP5996334B2 (ja) 顕微鏡システム、標本画像生成方法及びプログラム
JP2021522487A (ja) 空気サンプルの自動分析をするためのシステムおよび方法
US10073258B2 (en) Microscope system
WO2007074770A1 (ja) 画像解析によって欠陥検査を行う欠陥検査装置
KR20180113572A (ko) 결함 분류 장치 및 결함 분류 방법
JP4391527B2 (ja) 関心のある複数の対象物を関心のあるフィールド内で組織化するシステム
JP4864709B2 (ja) 分散プロット分布を用いてスライドの染色品質を決定するシステム
JP7006832B2 (ja) 細胞解析装置
JP4938428B2 (ja) 標本画像作成方法及び装置
WO2014196097A1 (ja) 画像処理システム、画像処理装置、プログラム、記憶媒体及び画像処理方法
JP7432182B2 (ja) 細胞病理検査における細胞診画像を取得する方法およびシステム
JP5530126B2 (ja) 三次元細胞画像解析システム及びそれに用いる三次元細胞画像解析装置
JP4897488B2 (ja) 分散プロット分布を用いてスライドを分類するシステム
JPH10185911A (ja) 細胞解析装置及びその方法
JP2014157158A (ja) 細胞観察方法、三次元細胞画像解析システム及びそれに用いる三次元細胞画像解析装置
JP7006833B2 (ja) 細胞解析装置
JP2014149484A (ja) 撮像システムおよびその制御方法
JP2007017345A (ja) 観察対象の自動検出方法及び装置
WO2023078527A1 (en) Method for providing position information for retrieving a target position in a microscopic sample, method for examining and/or processing such a target position and means for implementing these methods
JPWO2019138572A1 (ja) 細胞解析装置及び細胞解析システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100713

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100720

R151 Written notification of patent or utility model registration

Ref document number: 4558047

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130730

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250