JP7156361B2 - 画像処理方法、画像処理装置及びプログラム - Google Patents
画像処理方法、画像処理装置及びプログラム Download PDFInfo
- Publication number
- JP7156361B2 JP7156361B2 JP2020504890A JP2020504890A JP7156361B2 JP 7156361 B2 JP7156361 B2 JP 7156361B2 JP 2020504890 A JP2020504890 A JP 2020504890A JP 2020504890 A JP2020504890 A JP 2020504890A JP 7156361 B2 JP7156361 B2 JP 7156361B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- cell
- image processing
- auxiliary information
- processed images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/483—Physical analysis of biological material
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Hematology (AREA)
- Biochemistry (AREA)
- Urology & Nephrology (AREA)
- Pathology (AREA)
- Food Science & Technology (AREA)
- Medicinal Chemistry (AREA)
- Analytical Chemistry (AREA)
- Molecular Biology (AREA)
- Immunology (AREA)
- Biophysics (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
Description
例えば特許文献1には、画像認識技術を用いてX線画像の画像処理を行う手法が開示されている。具体的には、X線画像を画像処理する際にはX線撮影が行われた撮影部位や撮影方向によって適切な画像処理のパラメーターがあるため、機械学習によって識別器を構成し、当該識別機によりX線画像の撮影部位や撮影方向を判別し、判別された撮影部位及び/又は撮影方向に応じた画像処理を選択するものである。
細胞画像を入力する画像入力工程と、
前記細胞画像の色に関する補助情報を入力する補助情報入力工程と、
前記補助情報に基づいて、前記細胞画像にそれぞれ異なる画像処理を施した複数の処理画像を生成する画像処理工程と、
複数の前記処理画像の各々から、識別対象の特徴量を抽出する特徴量抽出工程と、
前記特徴量に基づいて、前記細胞画像から前記識別対象を識別する識別工程と、
を含み、
前記補助情報は、前記細胞画像上の所定の領域ごとの色に関する情報であり、
前記画像処理工程は、所定の領域ごとに画像処理を施し、画像処理として、細胞が属する領域ごとの輝度平均分散を用いた正規化処理を実行することにより、複数の前記処理画像を生成する。
前記補助情報は、細胞の種類ごとの色に関する情報であり、
前記画像処理工程は、細胞の種類ごとに画像処理を施すことで、複数の前記処理画像を生成する
ことを特徴とする。
前記画像処理工程は、画像処理として、細胞の種類ごとの輝度平均分散を用いた正規化処理を実行することにより、複数の前記処理画像を生成する
ことを特徴とする。
請求項4に記載の画像処理方法は、
細胞画像を入力する画像入力工程と、
前記細胞画像の色に関する補助情報を入力する補助情報入力工程と、
前記補助情報に基づいて、前記細胞画像にそれぞれ異なる画像処理を施した複数の処理画像を生成する画像処理工程と、
複数の前記処理画像の各々から、識別対象の特徴量を抽出する特徴量抽出工程と、
前記特徴量に基づいて、前記細胞画像から前記識別対象を識別する識別工程と、
を含み、
前記補助情報は、細胞の種類ごとの色に関する情報であり、
前記画像処理工程は、細胞の種類ごとに画像処理を施し、画像処理として、細胞の種類ごとの輝度平均分散を用いた正規化処理を実行することにより、複数の前記処理画像を生成する。
前記補助情報は、前記細胞画像の染色条件ごとの色に関する情報であり、
前記画像処理工程は、前記細胞画像の染色条件に基づいて画像処理を施すことで、複数の前記処理画像を生成する
ことを特徴とする。
前記画像処理工程は、画像処理として、染色条件ごとの輝度平均分散を用いた正規化処理を実行することにより、複数の前記処理画像を生成する
ことを特徴とする。
請求項7に記載の画像処理方法は、
細胞画像を入力する画像入力工程と、
前記細胞画像の色に関する補助情報を入力する補助情報入力工程と、
前記補助情報に基づいて、前記細胞画像にそれぞれ異なる画像処理を施した複数の処理画像を生成する画像処理工程と、
複数の前記処理画像の各々から、識別対象の特徴量を抽出する特徴量抽出工程と、
前記特徴量に基づいて、前記細胞画像から前記識別対象を識別する識別工程と、
を含み、
前記補助情報は、前記細胞画像の染色条件ごとの色に関する情報であり、
前記画像処理工程は、前記細胞画像の染色条件に基づいて画像処理を施し、画像処理として、染色条件ごとの輝度平均分散を用いた正規化処理を実行することにより、複数の前記処理画像を生成する。
前記特徴量抽出工程及び前記識別工程は、一括で実行される
ことを特徴とする。
細胞画像を入力する画像入力部と、
前記細胞画像の色に関する補助情報を入力する補助情報入力部と、
前記補助情報に基づいて、前記細胞画像にそれぞれ異なる画像処理を施した複数の処理画像を生成する画像処理部と、
複数の前記処理画像の各々から、識別対象の特徴量を抽出する特徴量抽出部と、
前記特徴量に基づいて、前記細胞画像から前記識別対象を識別する識別部と、
を備え、
前記補助情報は、前記細胞画像上の所定の領域ごとの色に関する情報であり、
前記画像処理部は、所定の領域ごとに画像処理を施し、画像処理として、細胞が属する領域ごとの輝度平均分散を用いた正規化処理を実行することにより、複数の前記処理画像を生成する。
請求項10に記載の画像処理装置は、
細胞画像を入力する画像入力部と、
前記細胞画像の色に関する補助情報を入力する補助情報入力部と、
前記補助情報に基づいて、前記細胞画像にそれぞれ異なる画像処理を施した複数の処理画像を生成する画像処理部と、
複数の前記処理画像の各々から、識別対象の特徴量を抽出する特徴量抽出部と、
前記特徴量に基づいて、前記細胞画像から前記識別対象を識別する識別部と、
を備え、
前記補助情報は、細胞の種類ごとの色に関する情報であり、
前記画像処理部は、細胞の種類ごとに画像処理を施し、画像処理として、細胞の種類ごとの輝度平均分散を用いた正規化処理を実行することにより、複数の前記処理画像を生成する。
請求項11に記載の画像処理装置は、
細胞画像を入力する画像入力部と、
前記細胞画像の色に関する補助情報を入力する補助情報入力部と、
前記補助情報に基づいて、前記細胞画像にそれぞれ異なる画像処理を施した複数の処理画像を生成する画像処理部と、
複数の前記処理画像の各々から、識別対象の特徴量を抽出する特徴量抽出部と、
前記特徴量に基づいて、前記細胞画像から前記識別対象を識別する識別部と、
を備え、
前記補助情報は、前記細胞画像の染色条件ごとの色に関する情報であり、
前記画像処理部は、前記細胞画像の染色条件に基づいて画像処理を施し、画像処理として、染色条件ごとの輝度平均分散を用いた正規化処理を実行することにより、複数の前記処理画像を生成する。
細胞画像を入力する画像入力部及び前記細胞画像の色に関する補助情報を入力する補助情報入力部を備えた画像形成装置のコンピューターを、
前記補助情報に基づいて、前記細胞画像にそれぞれ異なる画像処理を施した複数の処理画像を生成する画像処理部、
複数の前記処理画像の各々から、識別対象の特徴量を抽出する特徴量抽出部、
前記特徴量に基づいて、前記細胞画像から前記識別対象を識別する識別部、
として機能させ、
前記補助情報は、前記細胞画像上の所定の領域ごとの色に関する情報であり、
前記画像処理部は、所定の領域ごとに画像処理を施し、画像処理として、細胞が属する領域ごとの輝度平均分散を用いた正規化処理を実行することにより、複数の前記処理画像を生成する。
請求項13に記載のプログラムは、
細胞画像を入力する画像入力部及び前記細胞画像の色に関する補助情報を入力する補助情報入力部を備えた画像形成装置のコンピューターを、
前記補助情報に基づいて、前記細胞画像にそれぞれ異なる画像処理を施した複数の処理画像を生成する画像処理部、
複数の前記処理画像の各々から、識別対象の特徴量を抽出する特徴量抽出部、
前記特徴量に基づいて、前記細胞画像から前記識別対象を識別する識別部、
として機能させ、
前記補助情報は、細胞の種類ごとの色に関する情報であり、
前記画像処理部は、細胞の種類ごとに画像処理を施し、画像処理として、細胞の種類ごとの輝度平均分散を用いた正規化処理を実行することにより、複数の前記処理画像を生成する。
請求項14に記載のプログラムは、
細胞画像を入力する画像入力部及び前記細胞画像の色に関する補助情報を入力する補助情報入力部を備えた画像形成装置のコンピューターを、
前記補助情報に基づいて、前記細胞画像にそれぞれ異なる画像処理を施した複数の処理画像を生成する画像処理部、
複数の前記処理画像の各々から、識別対象の特徴量を抽出する特徴量抽出部、
前記特徴量に基づいて、前記細胞画像から前記識別対象を識別する識別部、
として機能させ、
前記補助情報は、前記細胞画像の染色条件ごとの色に関する情報であり、
前記画像処理部は、前記細胞画像の染色条件に基づいて画像処理を施し、画像処理として、染色条件ごとの輝度平均分散を用いた正規化処理を実行することにより、複数の前記処理画像を生成する。
<病理診断支援システム10の構成>
図1に、病理診断支援システム10の全体構成例を示す。
病理診断支援システム10は、所定の染色試薬で染色された人体の組織切片の顕微鏡画像を取得及び解析することにより、画像内の細胞の種類の識別(以降、細胞識別と表記)を行うシステムである。
顕微鏡画像取得装置1Aと画像処理装置2Aとの接続方式は特に限定されない。たとえば、顕微鏡画像取得装置1Aと画像処理装置2AはLAN(Local Area Network)により接続されることとしてもよいし、無線により接続される構成としてもよい。
顕微鏡画像取得装置1Aは、照射手段、結像手段、撮像手段、通信I/Fなどを備えて構成されている。照射手段は、光源、フィルターなどにより構成され、スライド固定ステージに載置されたスライド上の組織切片に光を照射する。結像手段は、接眼レンズ、対物レンズなどにより構成され、照射した光によりスライド上の組織切片から発せられる透過光、反射光などを結像する。撮像手段は、CCD(Charge Coupled Device)センサーなどを備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データを生成する顕微鏡設置カメラである。通信I/Fは、生成された顕微鏡画像の画像データを画像処理装置2Aに送信する。
顕微鏡画像取得装置1Aでは、明視野観察に適した照射手段および結像手段を組み合わせた明視野ユニットが備えられている。
図2に、画像処理装置2Aの機能構成例を示す。
図2に示すように、画像処理装置2Aは、制御部21、操作部22、表示部23、通信I/F24、記憶部25などを備えて構成され、各部はバス26を介して接続されている。
たとえば、制御部21は、記憶部25に記憶されている画像処理プログラムとの協働により画像解析処理(図6参照)を実行し、画像処理部、特徴量抽出部、識別部としての機能を実現する。
また、記憶部25には、画像中のサンプル(細胞)の特徴量と、それぞれのサンプルに対する正解のクラスラベル(細胞の種類)との情報を含む識別正解画像が記憶されている。また、記憶部25には、予めユーザーによって設計された特徴量を抽出するための条件が記憶されている。さらに、記憶部25には、識別画像の作成のための、細胞の種類や染色情報に応じた処理(色の変換、モノクロ画像への変換等)のパラメーター(識別条件)が記憶されている。
その他、画像処理装置2Aは、LANアダプターやルーターなどを備え、LANなどの通信ネットワークを介して外部機器と接続される構成としてもよい。
「細胞画像」とは、ヘマトキシリン染色試薬(H染色試薬)、ヘマトキシリン-エオジン染色試薬(HE染色試薬)など、細胞の特定構造(例えば、細胞核、細胞膜、など)を染色しうる任意の染色試薬を用いて染色された組織切片を、顕微鏡画像取得装置1Aにおいて明視野で拡大結像および撮影することにより得られる顕微鏡画像であって、当該組織切片における細胞の形態を表す細胞画像である。ヘマトキシリン(H)は青紫色の色素であり、細胞核、骨組織、軟骨組織の一部、漿液成分など(好塩基性の組織など)を染色する。エオジン(E)は赤~ピンク色の色素であり、細胞質、軟部組織の結合組織、赤血球、線維素、内分泌顆粒など(好酸性の組織など)を染色する。また、組織切片はDAB染色法などの免疫染色によって、組織中の任意のタンパク質が染色されていてもよい。
以下、病理診断支援システム10において、上記説明した細胞画像を取得して観察対象物の領域を抽出する画像処理を行う動作について説明する。なお、本実施形態においては、人体から採取された組織切片を撮影した顕微鏡画像を用いる場合を例として説明する。
その後、顕微鏡画像取得装置1Aを用いて、(a1)~(a3)の手順により細胞画像を取得する。
(a1)操作者は、HE染色試薬により、細胞核が染色された組織切片をスライドに載置し、そのスライドを顕微鏡画像取得装置1Aのスライド固定ステージに設置する。
(a2)ユニットを明視野ユニットに設定し、撮影倍率、ピントの調整を行い、組織切片上の観察対象の領域を視野に納める。
(a3)撮像手段で撮影を行って細胞画像の画像データを生成し、画像処理装置2Aに画像データを送信する。
図3に示すように、細胞画像の輝度分布が輝度平均μ、輝度分散σ2の正規分布N(μ,σ2)に従う場合を想定する。一般的には、複数の画像間で画像の輝度平均を同一の値、例えば0に揃えることで、照明等の明暗変動による影響を抑え、基準輝度からのズレ(明暗)を特徴としてとらえやすくする。さらに、画像の輝度分散を同一の値、例えば1に揃えることで、ダイナミックレンジを揃えることと同等の効果が得られ、小さな輝度変動をとらえやすくなる。即ち、このような正規化処理によって画像の全体的な明暗や色味等が統一され、異なる画像間での比較が可能となる。
したがって、一枚の細胞画像を上記したような単一の条件で正規化したのみでは、細胞画像内の全ての領域について輝度条件が揃えられたとはいえず、特徴量の抽出の精度が低下するおそれがある。そこで本実施形態においては、一枚の細胞画像に基づいて、複数の条件を用いて正規化処理を施した複数枚の処理画像を生成する。
以下、本実施形態に係る個々の正規化処理について説明する。
一定の染色条件下における標準的な染色濃度における、染色領域の輝度平均をα1、輝度分散をβ1とする。この場合、原画像の信号X1に対して、
Z1=(X1-α1)/√β1 ・・・(1)
とすることで、標準的な染色濃度を基準とした正規化処理が可能となる。
仮に一枚の細胞画像全体の輝度平均及び輝度分散のみで正規化処理をした場合、図4Aに示すように、画像中に占める染色領域A及びBの割合や、各々の染色領域A及びBの濃度の差が考慮されずに正規化されることになる。即ち、背景領域Cに対して画像内の染色領域A及びBの割合が小さい場合には、背景領域Cの色素濃度の影響が大きくなり、標準的な染色状態に比べて染色領域Aと染色領域Bとの濃淡差等の特徴を得にくくなる。
これに対して、上記(1)の式を用いて正規化処理を施した場合、図4Bに示すように、標準的な染色濃度で染色された染色領域Aを基準に正規化されるため、背景領域Cの色素濃度の影響を抑えることができ、染色濃度の高い染色領域Bとの濃淡等の特徴を扱えるようになる。
同一の染色試薬を用いたとしても、組織切片には腫瘍領域や間質領域、ガラス領域などの様々な領域が存在し、これらの領域ごとに染まりやすさが異なる。上記したように一枚の細胞画像全体の輝度平均及び輝度分散のみで正規化処理をした場合、例えば間質領域のみが含まれる画像と、間質領域と腫瘍領域とが含まれる画像とでは、同じ間質領域であっても異なる基準によって正規化処理が施されることとなるため、これらの二つの細胞画像の間質領域を比較しても正しい解析結果を得られなくなってしまう。
これに対して、本実施形態においては、例えばある領域の標準的な染色濃度における輝度平均をα2、輝度分散をβ2とする。この場合、原画像の信号X2に対して、
Z2=(X2-α2)/√β2 ・・・(2)
とすることで、当該領域の標準的な染色濃度を基準とした正規化処理が可能となる。したがって、領域ごとに上記した式(2)の式を用いて正規化処理を施すことで、各領域の特徴抽出に適した画像が得られる。
Z3=(X3-α3)/√β3 ・・・(3)
とすることで、当該抽出対象細胞の標準的な染色濃度を基準とした正規化処理が可能となる。
仮に一枚の画像内の輝度平均及び輝度分散のみで正規化処理をした場合、図5Aに示すように、画像内の抽出対象細胞の濃度分布や細胞数の多少が考慮されずに正規化される。即ち、画像内の抽出対象細胞のうち、標準的な染色濃度で染色された細胞Dが少なく、染色濃度の高い細胞Eが多く分布している場合には、これを一元的に正規化処理すると、染色濃度の高い細胞Eを基準に正規化されるため、標準的な染色濃度の細胞Dと染色濃度の高い細胞Eとの濃淡の差がわかりにくくなる。
これに対して、上記(3)の式を用いて正規化処理を施した場合、図5Bに示すように、背景領域Fの影響を抑えるとともに、染色濃度の高い細胞Eに影響されず標準的な染色濃度で染色された細胞Dを基準に正規化されるため、細胞の濃淡の情報が維持され、画像内の抽出対象細胞のうちの染色の濃淡の差がわかりやすくなる。
また、撮影機材や撮影プロセス等、撮影条件に基づく標準的な輝度に基づいて正規化処理することも可能である。これにより、撮影条件の違いによる輝度変動の影響を抑えて、特徴抽出することが可能となる。
複数枚の処理画像が取得されると、これらの処理画像から特徴量が抽出され、抽出された特徴量に基づいて細胞識別を行うための識別条件が構築され、細胞識別が実行される。
サポートベクターマシンを用いて細胞識別を実行する場合には、例えば以下のような処理が実行される。記憶部25には、予め識別正解画像が記憶されており、画像中のサンプル(細胞)の特徴量と、それぞれのサンプルに対する正解のクラスラベル(細胞の種類)とが与えられている。ステップS5では、まずクラスの帰属が既知のサンプル集合から、特徴量とクラスとの確率的な対応関係を知識として学習し、データを線形分離するパラメーター(識別条件)を取得する。次いで、ステップS4において抽出された特徴量が、識別条件に基づいていずれのクラスに属するかを判定することにより、細胞画像上の個々の細胞の種類が識別される。
図7に、識別画像の一例を示す。図7Aは組織切片に対してH染色が施されるとともに、DAB染色により免疫細胞が染色された細胞画像である。この細胞画像に対して細胞識別を実行し、細胞の種類ごとに色分けするとともにDAB染色領域にも色付けを行った識別画像を、図7Bに示す。このような細胞の種類や染色情報に応じた処理(色の変換、モノクロ画像への変換、階調変換等)のパラメーターは、記憶部25によって予め記憶されており、制御部21は当該パラメーターに基づいて、識別された所定の細胞及び所定の領域に対して処理を施して、識別画像を作成する。
従来のように一枚の処理画像のみから特徴抽出を行う場合、例えば細胞画像の全域で正規化した場合には、画像内で大半を占める背景領域に併せて正規化されることで、少数しか存在しない細胞領域の特徴が失われてしまうなどの問題が生じる。これに対し、上記した画像解析処理においては、補助情報をもとに複数枚の処理画像を作成することで、各々の特徴を確実に抽出し、精度よく細胞を識別することが可能となる。
なお、上記実施形態における記述内容は、本発明の好適な一例であり、これに限定されるものではない。
2A 画像処理装置
21 制御部(画像処理部、特徴量抽出部、識別部)
22 操作部(補助情報入力部)
23 表示部
24 通信I/F(画像入力部)
25 記憶部
26 バス
3A ケーブル
10 病理診断支援システム
Claims (14)
- 細胞画像を入力する画像入力工程と、
前記細胞画像の色に関する補助情報を入力する補助情報入力工程と、
前記補助情報に基づいて、前記細胞画像にそれぞれ異なる画像処理を施した複数の処理画像を生成する画像処理工程と、
複数の前記処理画像の各々から、識別対象の特徴量を抽出する特徴量抽出工程と、
前記特徴量に基づいて、前記細胞画像から前記識別対象を識別する識別工程と、
を含み、
前記補助情報は、前記細胞画像上の所定の領域ごとの色に関する情報であり、
前記画像処理工程は、所定の領域ごとに画像処理を施し、画像処理として、細胞が属する領域ごとの輝度平均分散を用いた正規化処理を実行することにより、複数の前記処理画像を生成する画像処理方法。 - 前記補助情報は、細胞の種類ごとの色に関する情報であり、
前記画像処理工程は、細胞の種類ごとに画像処理を施すことで、複数の前記処理画像を生成する
請求項1に記載の画像処理方法。 - 前記画像処理工程は、画像処理として、細胞の種類ごとの輝度平均分散を用いた正規化処理を実行することにより、複数の前記処理画像を生成する
請求項2に記載の画像処理方法。 - 細胞画像を入力する画像入力工程と、
前記細胞画像の色に関する補助情報を入力する補助情報入力工程と、
前記補助情報に基づいて、前記細胞画像にそれぞれ異なる画像処理を施した複数の処理画像を生成する画像処理工程と、
複数の前記処理画像の各々から、識別対象の特徴量を抽出する特徴量抽出工程と、
前記特徴量に基づいて、前記細胞画像から前記識別対象を識別する識別工程と、
を含み、
前記補助情報は、細胞の種類ごとの色に関する情報であり、
前記画像処理工程は、細胞の種類ごとに画像処理を施し、画像処理として、細胞の種類ごとの輝度平均分散を用いた正規化処理を実行することにより、複数の前記処理画像を生成する画像処理方法。 - 前記補助情報は、前記細胞画像の染色条件ごとの色に関する情報であり、
前記画像処理工程は、前記細胞画像の染色条件に基づいて画像処理を施すことで、複数の前記処理画像を生成する
請求項1から4のいずれか一項に記載の画像処理方法。 - 前記画像処理工程は、画像処理として、染色条件ごとの輝度平均分散を用いた正規化処理を実行することにより、複数の前記処理画像を生成する
請求項5に記載の画像処理方法。 - 細胞画像を入力する画像入力工程と、
前記細胞画像の色に関する補助情報を入力する補助情報入力工程と、
前記補助情報に基づいて、前記細胞画像にそれぞれ異なる画像処理を施した複数の処理画像を生成する画像処理工程と、
複数の前記処理画像の各々から、識別対象の特徴量を抽出する特徴量抽出工程と、
前記特徴量に基づいて、前記細胞画像から前記識別対象を識別する識別工程と、
を含み、
前記補助情報は、前記細胞画像の染色条件ごとの色に関する情報であり、
前記画像処理工程は、前記細胞画像の染色条件に基づいて画像処理を施し、画像処理として、染色条件ごとの輝度平均分散を用いた正規化処理を実行することにより、複数の前記処理画像を生成する画像処理方法。 - 前記特徴量抽出工程及び前記識別工程は、一括で実行される
請求項1から7のいずれか一項に記載の画像処理方法。 - 細胞画像を入力する画像入力部と、
前記細胞画像の色に関する補助情報を入力する補助情報入力部と、
前記補助情報に基づいて、前記細胞画像にそれぞれ異なる画像処理を施した複数の処理画像を生成する画像処理部と、
複数の前記処理画像の各々から、識別対象の特徴量を抽出する特徴量抽出部と、
前記特徴量に基づいて、前記細胞画像から前記識別対象を識別する識別部と、
を備え、
前記補助情報は、前記細胞画像上の所定の領域ごとの色に関する情報であり、
前記画像処理部は、所定の領域ごとに画像処理を施し、画像処理として、細胞が属する領域ごとの輝度平均分散を用いた正規化処理を実行することにより、複数の前記処理画像を生成する画像処理装置。 - 細胞画像を入力する画像入力部と、
前記細胞画像の色に関する補助情報を入力する補助情報入力部と、
前記補助情報に基づいて、前記細胞画像にそれぞれ異なる画像処理を施した複数の処理画像を生成する画像処理部と、
複数の前記処理画像の各々から、識別対象の特徴量を抽出する特徴量抽出部と、
前記特徴量に基づいて、前記細胞画像から前記識別対象を識別する識別部と、
を備え、
前記補助情報は、細胞の種類ごとの色に関する情報であり、
前記画像処理部は、細胞の種類ごとに画像処理を施し、画像処理として、細胞の種類ごとの輝度平均分散を用いた正規化処理を実行することにより、複数の前記処理画像を生成する画像処理装置。 - 細胞画像を入力する画像入力部と、
前記細胞画像の色に関する補助情報を入力する補助情報入力部と、
前記補助情報に基づいて、前記細胞画像にそれぞれ異なる画像処理を施した複数の処理画像を生成する画像処理部と、
複数の前記処理画像の各々から、識別対象の特徴量を抽出する特徴量抽出部と、
前記特徴量に基づいて、前記細胞画像から前記識別対象を識別する識別部と、
を備え、
前記補助情報は、前記細胞画像の染色条件ごとの色に関する情報であり、
前記画像処理部は、前記細胞画像の染色条件に基づいて画像処理を施し、画像処理として、染色条件ごとの輝度平均分散を用いた正規化処理を実行することにより、複数の前記処理画像を生成する画像処理装置。 - 細胞画像を入力する画像入力部及び前記細胞画像の色に関する補助情報を入力する補助情報入力部を備えた画像形成装置のコンピューターを、
前記補助情報に基づいて、前記細胞画像にそれぞれ異なる画像処理を施した複数の処理画像を生成する画像処理部、
複数の前記処理画像の各々から、識別対象の特徴量を抽出する特徴量抽出部、
前記特徴量に基づいて、前記細胞画像から前記識別対象を識別する識別部、
として機能させ、
前記補助情報は、前記細胞画像上の所定の領域ごとの色に関する情報であり、
前記画像処理部は、所定の領域ごとに画像処理を施し、画像処理として、細胞が属する領域ごとの輝度平均分散を用いた正規化処理を実行することにより、複数の前記処理画像を生成するプログラム。 - 細胞画像を入力する画像入力部及び前記細胞画像の色に関する補助情報を入力する補助情報入力部を備えた画像形成装置のコンピューターを、
前記補助情報に基づいて、前記細胞画像にそれぞれ異なる画像処理を施した複数の処理画像を生成する画像処理部、
複数の前記処理画像の各々から、識別対象の特徴量を抽出する特徴量抽出部、
前記特徴量に基づいて、前記細胞画像から前記識別対象を識別する識別部、
として機能させ、
前記補助情報は、細胞の種類ごとの色に関する情報であり、
前記画像処理部は、細胞の種類ごとに画像処理を施し、画像処理として、細胞の種類ごとの輝度平均分散を用いた正規化処理を実行することにより、複数の前記処理画像を生成するプログラム。 - 細胞画像を入力する画像入力部及び前記細胞画像の色に関する補助情報を入力する補助情報入力部を備えた画像形成装置のコンピューターを、
前記補助情報に基づいて、前記細胞画像にそれぞれ異なる画像処理を施した複数の処理画像を生成する画像処理部、
複数の前記処理画像の各々から、識別対象の特徴量を抽出する特徴量抽出部、
前記特徴量に基づいて、前記細胞画像から前記識別対象を識別する識別部、
として機能させ、
前記補助情報は、前記細胞画像の染色条件ごとの色に関する情報であり、
前記画像処理部は、前記細胞画像の染色条件に基づいて画像処理を施し、画像処理として、染色条件ごとの輝度平均分散を用いた正規化処理を実行することにより、複数の前記処理画像を生成するプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018041377 | 2018-03-08 | ||
JP2018041377 | 2018-03-08 | ||
PCT/JP2019/005571 WO2019171909A1 (ja) | 2018-03-08 | 2019-02-15 | 画像処理方法、画像処理装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019171909A1 JPWO2019171909A1 (ja) | 2021-03-04 |
JP7156361B2 true JP7156361B2 (ja) | 2022-10-19 |
Family
ID=67846061
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020504890A Active JP7156361B2 (ja) | 2018-03-08 | 2019-02-15 | 画像処理方法、画像処理装置及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11449991B2 (ja) |
EP (1) | EP3764095A1 (ja) |
JP (1) | JP7156361B2 (ja) |
WO (1) | WO2019171909A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021124861A (ja) * | 2020-02-04 | 2021-08-30 | ソニーグループ株式会社 | 解析装置、解析方法、解析プログラム及び診断支援システム |
JP7473893B2 (ja) | 2020-03-24 | 2024-04-24 | 株式会社ブレイン | 診断支援方法及びそのシステム |
WO2023228230A1 (ja) * | 2022-05-23 | 2023-11-30 | 日本電気株式会社 | 分類装置、学習装置、分類方法、学習方法、およびプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011053074A (ja) | 2009-09-01 | 2011-03-17 | Olympus Corp | 画像処理方法、画像処理装置および画像処理プログラム |
JP2011210156A (ja) | 2010-03-30 | 2011-10-20 | Nec Corp | 画像処理装置、画像読取装置、画像処理方法及び画像処理プログラム |
JP2013238459A (ja) | 2012-05-14 | 2013-11-28 | Tokyo Univ Of Science | 癌細胞領域抽出装置、方法、及びプログラム |
WO2016136441A1 (ja) | 2015-02-23 | 2016-09-01 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
WO2017051187A1 (en) | 2015-09-23 | 2017-03-30 | Pathxl Limited | Image processing method & apparatus for normalisaton and artefact correction |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5373483A (en) | 1976-12-13 | 1978-06-29 | Mitsubishi Gas Chem Co Inc | Washing method for ion exchange membrane |
US6272235B1 (en) | 1997-03-03 | 2001-08-07 | Bacus Research Laboratories, Inc. | Method and apparatus for creating a virtual microscope slide |
JP4549093B2 (ja) * | 2004-04-12 | 2010-09-22 | キヤノン株式会社 | 画像処理装置及びその方法、プログラム |
WO2010050334A1 (ja) | 2008-10-30 | 2010-05-06 | コニカミノルタエムジー株式会社 | 情報処理装置 |
JP5716753B2 (ja) * | 2011-01-24 | 2015-05-13 | 日本電気株式会社 | 情報処理システム、情報処理方法、情報処理装置およびその制御方法とその制御プログラム |
US10049770B2 (en) * | 2015-12-30 | 2018-08-14 | Case Western Reserve University | Prediction of recurrence of non-small cell lung cancer |
US10127660B2 (en) * | 2015-12-30 | 2018-11-13 | Case Western Reserve University | Radiomic features on diagnostic magnetic resonance enterography |
JPWO2018128091A1 (ja) * | 2017-01-05 | 2019-11-07 | コニカミノルタ株式会社 | 画像解析プログラム及び画像解析方法 |
JPWO2018131091A1 (ja) * | 2017-01-11 | 2019-12-19 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
-
2019
- 2019-02-15 US US16/977,202 patent/US11449991B2/en active Active
- 2019-02-15 JP JP2020504890A patent/JP7156361B2/ja active Active
- 2019-02-15 EP EP19763700.2A patent/EP3764095A1/en not_active Withdrawn
- 2019-02-15 WO PCT/JP2019/005571 patent/WO2019171909A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011053074A (ja) | 2009-09-01 | 2011-03-17 | Olympus Corp | 画像処理方法、画像処理装置および画像処理プログラム |
JP2011210156A (ja) | 2010-03-30 | 2011-10-20 | Nec Corp | 画像処理装置、画像読取装置、画像処理方法及び画像処理プログラム |
JP2013238459A (ja) | 2012-05-14 | 2013-11-28 | Tokyo Univ Of Science | 癌細胞領域抽出装置、方法、及びプログラム |
WO2016136441A1 (ja) | 2015-02-23 | 2016-09-01 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
WO2017051187A1 (en) | 2015-09-23 | 2017-03-30 | Pathxl Limited | Image processing method & apparatus for normalisaton and artefact correction |
Non-Patent Citations (1)
Title |
---|
山口雅浩,デジタル病理学に向けた画像の色情報処理,病理と臨床,2017年,Vol.35, No.1,pp.41-47,V.デジタル染色,図4-6 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2019171909A1 (ja) | 2021-03-04 |
WO2019171909A1 (ja) | 2019-09-12 |
EP3764095A1 (en) | 2021-01-13 |
US11449991B2 (en) | 2022-09-20 |
US20210012491A1 (en) | 2021-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210312627A1 (en) | Image analysis method, apparatus, program, and learned deep learning algorithm | |
JP6086949B2 (ja) | 色原体分離に基づく画像解析の方法 | |
JP7458519B2 (ja) | 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム | |
US10083340B2 (en) | Automated cell segmentation quality control | |
JP6791245B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
WO2017150194A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7156361B2 (ja) | 画像処理方法、画像処理装置及びプログラム | |
US11676268B2 (en) | Image diagnosis assisting apparatus, image diagnosis assisting system and image diagnosis assisting method | |
US10591402B2 (en) | Image processing apparatus, image processing method, and image processing program | |
US10395091B2 (en) | Image processing apparatus, image processing method, and storage medium identifying cell candidate area | |
US20100254588A1 (en) | Automated bone marrow cellularity determination | |
CN113470041B (zh) | 免疫组化细胞图像细胞核分割与计数方法和*** | |
Chen et al. | Microscope 2.0: an augmented reality microscope with real-time artificial intelligence integration | |
Kanwal et al. | Quantifying the effect of color processing on blood and damaged tissue detection in whole slide images | |
WO2018128091A1 (ja) | 画像解析プログラム及び画像解析方法 | |
US20200074628A1 (en) | Image processing apparatus, imaging system, image processing method and computer readable recoding medium | |
US11222194B2 (en) | Automated system and method for creating and executing a scoring guide to assist in the analysis of tissue specimen | |
WO2016076104A1 (ja) | 画像処理方法、画像処理装置、及びプログラム | |
Sergeev et al. | Development of automated computer vision methods for cell counting and endometrial gland detection for medical images processing | |
CN113469939B (zh) | 一种基于特性曲线的her-2免疫组化自动判读*** | |
JP7046500B2 (ja) | 画像表示装置、画像表示方法および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210628 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220711 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220906 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220919 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7156361 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |