JP7181002B2 - 生物組織画像処理システム及び機械学習方法 - Google Patents
生物組織画像処理システム及び機械学習方法 Download PDFInfo
- Publication number
- JP7181002B2 JP7181002B2 JP2018099388A JP2018099388A JP7181002B2 JP 7181002 B2 JP7181002 B2 JP 7181002B2 JP 2018099388 A JP2018099388 A JP 2018099388A JP 2018099388 A JP2018099388 A JP 2018099388A JP 7181002 B2 JP7181002 B2 JP 7181002B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- learning
- estimator
- biological tissue
- membrane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/22—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material
- G01N23/225—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion
- G01N23/2251—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion using incident electron beams, e.g. scanning electron microscopy [SEM]
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M1/00—Apparatus for enzymology or microbiology
- C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Pathology (AREA)
- Immunology (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Food Science & Technology (AREA)
- Medicinal Chemistry (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Urology & Nephrology (AREA)
- Molecular Biology (AREA)
- Hematology (AREA)
- Image Analysis (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
Description
実施形態に係る生物組織画像処理システムは、電子顕微鏡、及び、機械学習型の推定器を含む。電子顕微鏡は、生物組織である解析対象試料の観察により画像を生成する装置であり、望ましくは、それは走査型電子顕微鏡である。推定器は、電子顕微鏡により生成された画像に対して解析対象試料に含まれる注目要素(注目要素像)を推定する処理を適用するものであり、その推定器は、学習用元画像セットによる学習を経た学習済み推定器である。学習用元画像セットには、第1観察条件の下で電子顕微鏡により学習対象試料を観察することにより生成された第1元画像と、第2観察条件の下で顕微鏡により学習対象試料を観察することにより生成された第2元画像と、が含まれる。第1観察条件は、解析対象試料を観察する際に電子顕微鏡に対して設定される条件であり、その条件は、学習対象試料を観察する際にも電子顕微鏡に対して設定される。第2観察条件は、第1観察条件とは異なる深さ範囲にわたって観察を行える条件であり、その条件は、学習対象試料を観察する際に電子顕微鏡に対して設定される条件である。
図1には、実施形態に係る生物組織画像処理システムが示されている。図示された生物組織画像処理システム10は、生物組織について、三次元構造の解析やイメージングを行うためのシステムである。この生物組織画像処理システムを利用して、例えば、人体又は動物の脳内の神経細胞を三次元的に表現した画像が生成される。生物中の任意の組織、器官、その他が解析の対象になり得る。
Claims (10)
- 生物組織である解析対象試料の観察により画像を生成する電子顕微鏡と、
前記画像に対して前記解析対象試料に含まれる注目要素を推定する処理を適用する機械学習型の推定器と、
を含み、
前記推定器は学習用元画像セットによる学習を経た学習済み推定器であり、
前記学習用元画像セットには、第1観察条件の下で電子顕微鏡により生物組織である学習対象試料を観察することにより生成された第1元画像と、第2観察条件の下で電子顕微鏡により前記学習対象試料を観察することにより生成された第2元画像と、が含まれ、
前記第1観察条件は、電子顕微鏡の加速電圧として第1加速電圧を設定する条件であり、
前記第2観察条件は、電子顕微鏡の加速電圧として前記第1加速電圧よりも高い第2加速電圧を設定する条件であり、
前記推定器の学習過程では、前記第1加速電圧が設定されて前記第1元画像が生成され、前記第2加速電圧が設定されて前記第2元画像が生成され、
前記学習過程後の前記解析対象試料の解析過程では、前記第1加速電圧が設定されて前記画像が生成される、
ことを特徴とする生物組織画像処理システム。 - 請求項1記載の生物組織画像処理システムにおいて、
前記推定器の学習過程では、学習対象試料ごとに前記第1加速電圧及び前記第2加速電圧が交互に設定される、
ことを特徴とする生物組織画像処理システム。 - 請求項1記載の生物組織画像処理システムにおいて、
前記推定器の学習過程では、前記第1元画像に基づいて第1正解画像が生成され、前記第2元画像に基づいて第2正解画像が生成され、
前記学習用元画像セットには、前記第1元画像と前記第1正解画像とからなる第1画像ペア、及び、前記第2元画像と前記第2正解画像とからなる第2画像ペアが含まれる、
ことを特徴とする生物組織画像処理システム。 - 請求項1記載の生物組織画像処理システムにおいて、
前記第2元画像に基づいて第2正解画像を生成する正解画像作成部を含む、
ことを特徴とする生物組織画像処理システム。 - 請求項4記載の生物組織画像処理システムにおいて、
前記正解画像作成部は、前記第2元画像において前記注目要素の深部像を強調する強調部を含む、
ことを特徴とする生物組織画像処理システム。 - 請求項5記載の生物組織画像処理システムにおいて、
前記注目要素は細胞膜であり、
前記注目要素の深部像は前記細胞膜の深部像である、
ことを特徴とする生物組織画像処理システム。 - 請求項6記載の装置において、
前記正解画像作成部は、
前記強調部による処理を経た画像を複数の小領域に分割するセグメンテーションを実行するセグメンテーション部と、
前記セグメンテーション後の画像において、前記細胞膜に相当する複数の小領域に対してラベリングを行って前記第2正解画像を生成するアノテーション部と、
を含む、ことを特徴とする生物組織画像処理システム。 - 請求項4記載の生物組織画像処理システムにおいて、
前記機械学習型の推定器は第1推定器であり、
前記正解画像作成部は機械学習型の第2推定器を含む、
ことを特徴とする生物組織画像処理システム。 - 電子顕微鏡により生物組織である解析対象試料を観察することにより生成された画像に対して前記解析対象試料に含まれる注目要素を推定する処理を適用する機械学習型の推定器を含む生物組織画像処理システムにおいて、前記推定器に学習をさせるための機械学習方法であって、
前記推定器に対して、第1加速電圧の下で電子顕微鏡により生物組織としての学習対象試料を観察することにより生成された学習用の第1元画像、及び、それに対応する学習用の第1正解画像を与える工程と、
前記推定器に対して、前記第1加速電圧よりも高い第2加速電圧の下で電子顕微鏡により前記学習対象試料を観察することにより生成された学習用の第2元画像、及び、それに対応する学習用の第2正解画像を与える工程と、
を含み、
前記第1加速電圧は、前記解析対象試料の画像を生成する過程において電子顕微鏡に設定される加速電圧である、
ことを特徴とする機械学習方法。 - 電子顕微鏡により生物組織である解析対象試料の観察により生成された画像に対して前記解析対象試料に含まれる注目要素を推定する処理を適用する機械学習型の推定器を含む生物組織画像処理システムにおいて、前記推定器に学習をさせるための機械学習方法を実行するためのプログラムであって、
前記推定器に対して、第1加速電圧の下で電子顕微鏡により生物組織である学習対象試料を観察することにより生成された学習用の第1元画像、及び、それに対応する学習用の第1正解画像を与える機能と、
前記推定器に対して、前記第1加速電圧よりも高い第2加速電圧の下で顕微鏡により前記学習対象試料を観察することにより生成された学習用の第2元画像、及び、それに対応する学習用の第2正解画像を与える機能と、
を含み、
前記第1加速電圧は、前記解析対象試料の画像を生成する過程において電子顕微鏡に設定される加速電圧である、
ことを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018099388A JP7181002B2 (ja) | 2018-05-24 | 2018-05-24 | 生物組織画像処理システム及び機械学習方法 |
PCT/JP2019/019741 WO2019225506A1 (ja) | 2018-05-24 | 2019-05-17 | 生物組織画像処理システム及び機械学習方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018099388A JP7181002B2 (ja) | 2018-05-24 | 2018-05-24 | 生物組織画像処理システム及び機械学習方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019203803A JP2019203803A (ja) | 2019-11-28 |
JP7181002B2 true JP7181002B2 (ja) | 2022-11-30 |
Family
ID=68616942
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018099388A Active JP7181002B2 (ja) | 2018-05-24 | 2018-05-24 | 生物組織画像処理システム及び機械学習方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7181002B2 (ja) |
WO (1) | WO2019225506A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004212355A (ja) | 2003-01-09 | 2004-07-29 | Hitachi Ltd | バイオ電子顕微鏡及び試料の観察方法 |
JP2007263932A (ja) | 2006-03-30 | 2007-10-11 | Kose Corp | 化粧料塗布膜内部の画像の取得方法 |
US20100183217A1 (en) | 2007-04-24 | 2010-07-22 | Seung H Sebastian | Method and apparatus for image processing |
JP2015149169A (ja) | 2014-02-06 | 2015-08-20 | 株式会社日立ハイテクノロジーズ | 荷電粒子線装置、画像生成方法、観察システム |
WO2017221592A1 (ja) | 2016-06-23 | 2017-12-28 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05290786A (ja) * | 1992-04-10 | 1993-11-05 | Hitachi Ltd | 走査試料像表示方法および装置ならびにそれに供される試料 |
-
2018
- 2018-05-24 JP JP2018099388A patent/JP7181002B2/ja active Active
-
2019
- 2019-05-17 WO PCT/JP2019/019741 patent/WO2019225506A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004212355A (ja) | 2003-01-09 | 2004-07-29 | Hitachi Ltd | バイオ電子顕微鏡及び試料の観察方法 |
JP2007263932A (ja) | 2006-03-30 | 2007-10-11 | Kose Corp | 化粧料塗布膜内部の画像の取得方法 |
US20100183217A1 (en) | 2007-04-24 | 2010-07-22 | Seung H Sebastian | Method and apparatus for image processing |
JP2015149169A (ja) | 2014-02-06 | 2015-08-20 | 株式会社日立ハイテクノロジーズ | 荷電粒子線装置、画像生成方法、観察システム |
WO2017221592A1 (ja) | 2016-06-23 | 2017-12-28 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
Non-Patent Citations (3)
Title |
---|
Ligong Han et al.,Learning Generative Models of Tissure Organization with Supervised GANs,2018 IEEE Winter Conference on Applications of Computer Vision,2018年03月12日,pp.682-690 |
内橋堅志 他,敵対的生成モデルを用いた電子顕微鏡画像からの神経細胞膜セグメンテーション,第31回人工知能学会全国大会論文集,2017年,4K1-4in2,pp.1-4 |
大隅正子,低加速電圧走査電子顕微鏡法-生物篇-,電子顕微鏡,1996年,Vol.31 No.1,pp.45-50 |
Also Published As
Publication number | Publication date |
---|---|
JP2019203803A (ja) | 2019-11-28 |
WO2019225506A1 (ja) | 2019-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11854201B2 (en) | Biological tissue image processing system, and machine learning method | |
Klumpe et al. | A modular platform for automated cryo-FIB workflows | |
CN105280463B (zh) | 具有提高的分辨率的计算扫描显微术 | |
DE112004000128B4 (de) | Verfahren und Vorrichtung für die automatische lokale Wegplanung bei der virtuellen Kolonoskopie | |
CN109584156A (zh) | 显微序列图像拼接方法及装置 | |
CN111932673B (zh) | 一种基于三维重建的物体空间数据增广方法及*** | |
US20200111219A1 (en) | Object tracking using image segmentation | |
JP7506987B2 (ja) | 人工知能対応ボリューム再構築 | |
Rog-Zielinska et al. | Electron tomography of rabbit cardiomyocyte three-dimensional ultrastructure | |
CN113744195B (zh) | 一种基于深度学习的hRPE细胞微管自动检测方法 | |
Bartesaghi et al. | An energy-based three-dimensional segmentation approach for the quantitative interpretation of electron tomograms | |
Waggoner et al. | 3D materials image segmentation by 2D propagation: A graph-cut approach considering homomorphism | |
Rangan et al. | Deep reconstructing generative networks for visualizing dynamic biomolecules inside cells | |
JP7181002B2 (ja) | 生物組織画像処理システム及び機械学習方法 | |
JP7181000B2 (ja) | 生物組織画像処理装置及び方法 | |
JP7181003B2 (ja) | 生物組織画像処理装置及び方法 | |
CN114972611A (zh) | 一种基于引导匹配损失的深度纹理合成方法及相关设备 | |
Parpulov et al. | Convolutional neural network application for cells segmentation in immunocytochemical study | |
Dercksen et al. | Interactive Visualization–A Key Prerequisite for Reconstruction and Analysis of Anatomically Realistic Neural Networks | |
US20070020599A1 (en) | Bio-expression system and the method of the same | |
Hall et al. | Electron tomography methods for C. elegans | |
US20090063119A1 (en) | Bio-expression system with module for creating the standard drosophila brain model and its coordinate system | |
Kam et al. | Analysis of three-dimensional image data: display and feature tracking | |
US20230245360A1 (en) | Microscopy System and Method for Editing Overview Images | |
CN116109605B (zh) | 医学影像肿瘤分割***、训练集构建方法和模型训练方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210325 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220705 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221117 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7181002 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |