JP2023550844A - 深層形状学習に基づく肝臓ｃｔ自動分割方法 - Google Patents
深層形状学習に基づく肝臓ｃｔ自動分割方法 Download PDFInfo
- Publication number
- JP2023550844A JP2023550844A JP2023535617A JP2023535617A JP2023550844A JP 2023550844 A JP2023550844 A JP 2023550844A JP 2023535617 A JP2023535617 A JP 2023535617A JP 2023535617 A JP2023535617 A JP 2023535617A JP 2023550844 A JP2023550844 A JP 2023550844A
- Authority
- JP
- Japan
- Prior art keywords
- liver
- shape
- segmentation
- network
- standard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004185 liver Anatomy 0.000 title claims abstract description 228
- 230000011218 segmentation Effects 0.000 title claims abstract description 109
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 39
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000010586 diagram Methods 0.000 claims abstract description 9
- 210000000056 organ Anatomy 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 35
- 230000007547 defect Effects 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 15
- 238000012952 Resampling Methods 0.000 claims description 5
- 210000003484 anatomy Anatomy 0.000 claims description 4
- 239000012530 fluid Substances 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims 2
- 238000013527 convolutional neural network Methods 0.000 abstract description 9
- 238000012795 verification Methods 0.000 abstract description 5
- 230000003187 abdominal effect Effects 0.000 abstract description 3
- 238000012546 transfer Methods 0.000 abstract description 2
- 201000007270 liver cancer Diseases 0.000 description 6
- 208000014018 liver neoplasm Diseases 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 230000002950 deficient Effects 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000000952 spleen Anatomy 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30056—Liver; Hepatic
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radiology & Medical Imaging (AREA)
- Artificial Intelligence (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- High Energy & Nuclear Physics (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Pulmonology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
【課題】本発明は深層形状学習に基づく肝臓ＣＴ自動分割方法を提供する。【解決手段】まず、肝臓分割データセットを確立して前処理し、肝臓分割を利用して肝臓ＣＴを粗分割する。次に、肝臓形状セットを確立し、変分オートエンコーダを利用して肝臓形状を学習し、幾何形状正則化モジュールを構築し、そして幾何形状正則化モジュールを肝臓分割に加入し、幾何形状の一致性に制約された肝臓分割モデルを取得して肝臓ＣＴの自動分割に使用する。本発明は、新規性と進歩性を有して、表現された形状特徴を正則化モジュールにより既存の深層分割ネットワークに加入し、畳み込みニューラルネットワークの訓練過程において形状事前検証情報を導入し、分割モデルの正則性及び汎化能力を向上することができ、分割の結果が標準肝臓の医学解剖的特徴により適合する。本発明は、自動化、高精度、転送拡張可能といった特徴を有し、肝臓を代表とする腹部の大器官の自動かつ正確な分割を実現できる。【選択図】図１
Description
本発明は、ＣＴ分割技術分野に関し、特に深層形状学習に基づく肝臓ＣＴ自動分割方法に関する。
肝臓がんは、世界で最も一般的な悪性腫瘍の１つであり、人間の生命健康を深刻に脅かす。中国は、肝臓がんの発生率が高い地域であり、肝臓がんは、中国の悪性腫瘍の死亡原因の３番目にランクされている。肝臓がんは、悪性度が高く、病気進行が早く、かつ早期肝臓がん患者が特異的な臨床表現を欠いており、患者が症状を発症するときに常に病気の中期・末期にあり、治療が困難で予後が悪い。コンピュータ断層走査図像（ＣＴ）は、肝臓がん診断の臨床映像分検査手段の１つであり、ＣＴ図像の肝臓の正確な分割に基づいて体積、大きさ、形状などの定量化情報を提供することができ、かつ後続の病変検出、映像分析の必要なステップ及び基礎であるため、コンピュータ支援診断、手術計画及びナビゲーションなどの臨床シナリオで重要な適用がある。ＣＴ図像のデータ量が膨大であり、人工で肝臓のエッジを描く手間がかかり、再現性が低くい。肝臓の全自動分割技術は大規模な臨床ＣＴ図像処理を実現することができ、患者の治療レベルを向上させ、関連する臨床研究を加速し、家族、社会及び国家経済に対して重要な意味を有する。
肝臓ＣＴ自動分割は、固体の形状の差異が大きく、周囲の器官組織に接続し、境界がぼやけひいては部分的に欠失し、前景の見かけが異質であり、背景が複雑であるといった挑戦に直面し、多くの研究を吸引している。近年、全畳み込みニューラルネットワークを代表とする深層学習モデルは肝臓ＣＴ分割において良好な結果を取得する。このような方法は、図像情報に対して低層及び高層の特徴算出を行い、かつ分類関数を利用して各画素に対して種別判断を行い、エンドツーエンドの分割領域予測を取得できる。
深層畳み込みニューラルネットワーク方法は、大規模なラベル付き医学映像データに依存し、小規模なデータで訓練を行う時に過度フィット現象が発生し易い。それと同時に、一般的な全畳み込みニューラルネットワークに基づく肝臓分割方法は、目標境界の光滑性を考慮せず、領域幾何性質の維持を欠いている。肝臓は特定の解剖構造特徴を有し、幾何形状事前検証知識を利用してモデルの正則性を向上し、モデル過度フィットを減少させ、最終的に目標分割の正確率とロバスト性を向上することができる。形状事前検証知識を利用する鍵は、如何に肝臓形状を表現し且つ深層学習モデルに形状情報を組み込むかのことである。現在、深層学習に基づく肝臓分割方法は幾何形状事前検証知識に対する表現に弱く、多くの方法は、能動形状モデル、マルチスペクトル図分割方法または水平セット表現により目標形状を表現する。しかし、異なる個体肝臓の変形は大きく、能動形状モデルとマルチスペクトル図分割方法は、一般に、小さい形状セットを選択して形状事前検証を構築し、肝臓形状の変形可能な範囲も小さな範囲内に制御されて、全ての個体をカバーすることはできない。形状情報融合段階では、一般的な方法は能動形状モデル、水平セット方法などを後処理として独立して深層畳み込みニューラルネットワークに加入した後、ネットワークの訓練に対して制約作用を果たすことができない。
本発明の目的は、従来技術の不足に対して、深層形状学習に基づく肝臓ＣＴ自動分割方法を提出することにあり、本発明の技術課題は、従来の深層学習肝臓分割方法が幾何形状正則性を欠いており、幾何形状事前検証をうまく表現及び融合することができないことである。変分オートエンコーダは非教師あり特徴学習を利用して、多層ニューラルネットワーク構造により図像の非線形特徴を学習し、そのうち隠し層変数は、目標形状特徴をより良く表現することができる。本発明は、データ駆動の方式で、三次元変分オートエンコーダを利用して肝臓の幾何形状特徴を学習し、高次元図像を緊迫流形空間にマッピングし、肝臓形状の隠し空間特徴表現を取得することを提案する。そして、深層分割ネットワークにおいて、正則化モジュールを設計し、目標損失関数に隠し空間形状を加入して損失を表現し、訓練されたエンコーダを利用して分割ネットワークの訓練に対して正則作用を果たす。本発明は、肝臓形状を効果的に表現することができ、かつ分割ネットワークモデルの訓練段階でネットワーク訓練を制約し、分割の目標形状が肝臓変形可能な空間に近づくように制御し、ネットワークモデルの正則性を向上する。
本発明の目的は、以下の技術手段により実現され、深層形状学習に基づく肝臓ＣＴ自動分割方法であって、以下のステップを含む。
（１）原図像と肝臓分割ラベル図像とを含むＣＴボリュームデータを収集して前処理し、肝臓分割データの訓練セットを構築するステップと、
（２）肝臓分割ネットワークを構築し、肝臓分割ネットワークがエンコードとデコードの２つの部分で構成され、エンコード部分が４つのエンコードブロックを含み、各エンコードブロックの後に何れも１つのダウンサンプリング層が接続され、デコード部分が４つのデコードブロックを含み、各デコードブロックの前に１つのアップサンプリング層が接続され、各デコードブロックが対応するエンコードブロックによって出力される特徴図に接続され、かつ各デコードブロックによって出力される特徴図に対して１つのマッピング層が作成され、出力の大きさが何れもネットワーク入力図像と同じ大きさの図像ブロックであるステップと、
（３）ステップ（１）において肝臓分割データの訓練セットを利用して肝臓分割ネットワークを訓練し、訓練された肝臓分割ネットワークを利用して肝臓ＣＴを粗分割するステップと、
（４）医学解剖構造特徴に適合する肝臓標準形状セットを取得し、肝臓標準形状セットに対して欠陥操作を行い、肝臓形状欠陥セットを構成し、肝臓標準形状セット及び肝臓形状欠陥セットが共に肝臓形状訓練セットを構成するステップと、
（５）三次元変分オートエンコーダを構築し、前記三次元変分オートエンコーダがエンコーダとデコーダとの２つの部分で構成され、エンコーダ部分が４つのエンコードブロックを含み、各エンコードブロックの後に１つのダウンサンプリング層が接続され、デコーダ部分が４つのデコードブロックを含み、各デコードブロックの前に１つのアップサンプリング層が接続され、デコーダの出力が１つのマッピング層によって特徴図を肝臓予測図としてマッピングするステップと、
（６）肝臓形状訓練セットを利用して三次元変分オートエンコーダを訓練し、１つの欠陥の肝臓形状を訓練された三次元変分オートエンコーダに入力し、その流形空間の隠し空間表現を取得するステップと、
（７）訓練された三次元変分オートエンコーダを幾何形状正則化モジュールとし、ステップ（２）で構築された肝臓分割ネットワークに加入し、肝臓分割ネットワークによって出力された粗分割結果及び肝臓標準分割ラベルをそれぞれ三次元変分オートエンコーダに入力し、肝臓予測形状及び標準肝臓形状の隠し空間表現を取得し、幾何形状正則化モジュールが予測形状と標準形状の隠し空間表現に対して一致性制約を行うステップと、
（８）前処理された肝臓ＣＴ図像を幾何形状正則化モジュールが加入された肝臓分割ネットワークに入力し、ネットワークによって出力された分割図像を再サンプリングして原図像サイズにアップサンプリングし、最終的な肝臓分割結果を取得するステップと、を含む。
（１）原図像と肝臓分割ラベル図像とを含むＣＴボリュームデータを収集して前処理し、肝臓分割データの訓練セットを構築するステップと、
（２）肝臓分割ネットワークを構築し、肝臓分割ネットワークがエンコードとデコードの２つの部分で構成され、エンコード部分が４つのエンコードブロックを含み、各エンコードブロックの後に何れも１つのダウンサンプリング層が接続され、デコード部分が４つのデコードブロックを含み、各デコードブロックの前に１つのアップサンプリング層が接続され、各デコードブロックが対応するエンコードブロックによって出力される特徴図に接続され、かつ各デコードブロックによって出力される特徴図に対して１つのマッピング層が作成され、出力の大きさが何れもネットワーク入力図像と同じ大きさの図像ブロックであるステップと、
（３）ステップ（１）において肝臓分割データの訓練セットを利用して肝臓分割ネットワークを訓練し、訓練された肝臓分割ネットワークを利用して肝臓ＣＴを粗分割するステップと、
（４）医学解剖構造特徴に適合する肝臓標準形状セットを取得し、肝臓標準形状セットに対して欠陥操作を行い、肝臓形状欠陥セットを構成し、肝臓標準形状セット及び肝臓形状欠陥セットが共に肝臓形状訓練セットを構成するステップと、
（５）三次元変分オートエンコーダを構築し、前記三次元変分オートエンコーダがエンコーダとデコーダとの２つの部分で構成され、エンコーダ部分が４つのエンコードブロックを含み、各エンコードブロックの後に１つのダウンサンプリング層が接続され、デコーダ部分が４つのデコードブロックを含み、各デコードブロックの前に１つのアップサンプリング層が接続され、デコーダの出力が１つのマッピング層によって特徴図を肝臓予測図としてマッピングするステップと、
（６）肝臓形状訓練セットを利用して三次元変分オートエンコーダを訓練し、１つの欠陥の肝臓形状を訓練された三次元変分オートエンコーダに入力し、その流形空間の隠し空間表現を取得するステップと、
（７）訓練された三次元変分オートエンコーダを幾何形状正則化モジュールとし、ステップ（２）で構築された肝臓分割ネットワークに加入し、肝臓分割ネットワークによって出力された粗分割結果及び肝臓標準分割ラベルをそれぞれ三次元変分オートエンコーダに入力し、肝臓予測形状及び標準肝臓形状の隠し空間表現を取得し、幾何形状正則化モジュールが予測形状と標準形状の隠し空間表現に対して一致性制約を行うステップと、
（８）前処理された肝臓ＣＴ図像を幾何形状正則化モジュールが加入された肝臓分割ネットワークに入力し、ネットワークによって出力された分割図像を再サンプリングして原図像サイズにアップサンプリングし、最終的な肝臓分割結果を取得するステップと、を含む。
さらに、ステップ（１）において、前処理過程は具体的に、訓練セットにおける各データをダウンサンプリング、再サンプリング及び取り込み動作し、肝臓ラベルに基づき、肝臓領域開始及び終了のｓｌｉｃｅを見つけ、かつそれぞれ外に同じ層数を拡張し、訓練セットにおける各データに対してコントラストを調整し、図像のＨＵ値を［－１００、２４０］の間に切り取り、そして［０、１］の間に正規化する。
さらに、ステップ（２）及びステップ（５）において、各エンコードブロックは数が異なる畳み込み－活性化層で構成され、第１個のエンコードブロックが２つの畳み込み－活性化層を含み、残りの３つのエンコードブロックが何れも３つの畳み込み－活性化層を含み、各デコードブロックは数が異なる畳み込み－活性化層で構成され、最初の３つのデコードブロックが何れも３つの畳み込み－活性化層を含み、最後のデコードブロックが２つの畳み込み－活性化層を含む。
さらに、ステップ（２）において、ネットワークによって出力された各予測ラベルに対応し、対応する損失関数ｌｏｓｓを交差エントロピ損失として設定し、
ここで、ｏｕｔｐｕｔがネットワークによって出力された予測図を代表し、Ｙが対応する標準肝臓形状であり、ｍが入力図像における画素点個数であり、ｙｊとｚｊがそれぞれ画素点ｊの真ラベル及び予測ラベルであり、ｃ＝１または０がそれぞれ前景または背景を代表し、関数Ｉ（·）が示性関数であり、関数ｌｏｇが対数関数であり、p（·）がネットワーク予測の確率関数であり、記号
が加算記号であり、記号∈が「属する」を表現し、肝臓分割ネットワークに対して、深層教師あり方式を採用して最終的な損失関数Ｌｓｅｇを４つのマッピング層の出力損失の重み和として設定し、
ここで、ａｌｐｈａが設定された深層教師あり係数であり、初期値を１に設定し、かつ４０ステップあたりの往復を元の８０％に減少し、Ｌｏｓｓ１～ｌｏｓｓ４が各マッピング層の出力損失である。
さらに、ステップ（３）において、前記訓練された肝臓分割ネットワークを利用して肝臓ＣＴを粗分割する具体的な過程は、肝臓分割ネットワークによって出力された全ての図像ブロックの予測結果を融合し、原図像において各点に肝臓に属する確率値を与え、確率値を二値化操作して肝臓の粗分割結果を取得する。
さらに、ステップ（４）において、前記肝臓標準形状セットにおいて欠陥操作を行う具体的な過程は、肝臓標準形状セットにおける肝臓形状に対して開閉演算子操作を行い、損傷した肝臓領域を取得し、さらに肝臓形状欠陥セットを構築する。
さらに、ステップ（５）において、エンコーダ部分の出力にその対応する分布の平均値及び標準差を求め、平均値及び標準差の正規分布から１つの隠し空間変数を再サンプリングし、隠し空間変数がデコーダにおいて１つの肝臓形状を生成する。
さらに、ステップ（５）において、変分オートエンコーダの目標損失関数Ｌｓｈａｐを再構成誤差Ｌｒｅｃ及び正規分布と標準正規分布のＫＬ発散ＬＫＬの和に定義し、
ここで、
がネットワークに入力する肝臓形状図像を表現し、
が変分オートエンコーダによって再構成された図像を表現し、Ｙが対応する標準肝臓形状であり、
と
はエンコーダによって出力された長さがｄの平均値ベクトルと標準差ベクトルを表現し、ｌｏｇが対数関数を表現し、記号
が
ノルムを表現し、
が加算記号である。
さらに、ステップ（７）において、前記幾何形状正則化モジュールが予測形状と標準形状の隠し空間表現に対して一致性制約を行い、具体的には肝臓分割ネットワークの損失関数に隠し空間一致性制約表現を加入し、
ここで、Ｅ（Ｙｋ）は、第ｋ個の標準形状Ｙｋを三次元変分オートエンコーダに入力して標準肝臓形状の隠し空間表現を取得することを表現し、
は、第ｋ個の予測形状
を三次元変分オートエンコーダに入力して肝臓予測形状の隠し空間表現を取得することを表現し、ｎが肝臓データ個数であり、最終的に幾何形状正則化に制約される肝臓分割ネットワーク目標損失関数Ｌは、以下の通り表現し、
式において、λが調整パラメータである。
さらに、ステップ（７）において、肝臓分割データの訓練セットを利用して幾何形状正則化モジュールが加入された肝臓分割ネットワークにおけるパラメータを訓練し、逆方向伝播アルゴリズムを利用してネットワークパラメータを調整し、訓練完成後、幾何形状の一致性に制約された肝臓分割モデルを取得し、肝臓ＣＴに対する自動分割に使用し、肝臓分割領域を取得する。
本発明の有益な効果として、本発明は、データ駆動の方式で、三次元変分オートエンコーダに基づき、肝臓形状特徴を学習し、低次元流形空間での緊迫表現を取得し、肝臓幾何形状表現が困難であるという課題を解決することができる。同時に、新規性と進歩性を有して、表現された形状特徴を正則化モジュールにより既存の深層分割ネットワークに加入し、畳み込みニューラルネットワークの訓練過程において形状事前検証情報を導入し、分割モデルの正則性及び汎化能力を向上することができ、分割の結果が標準肝臓の医学解剖的特徴により適合する。提案された深層形状学習方法は、他の腹部器官及び映像モードに適用することができ、かつ正則化モジュールは、他の深層畳み込みニューラルネットワーク構造に移植することができ、良好な拡張可能性を有する。本発明は、自動化、高精度、転送拡張可能といった特徴を有し、肝臓を代表とする腹部の大器官の自動かつ正確な分割を実現できる。
以下、図面を参照して本発明の実施形態作をさらに詳細に説明する。
図１に示すように、本発明による深層形状学習に基づく肝臓ＣＴ自動分割方法は、深層幾何形状学習過程と、肝臓分割ネットワーク訓練過程とを含む。
深層幾何形状学習過程は下記のことを含む。
肝臓形状セット確立であって、標準形状セットと肝臓欠陥セットとを含む。肝臓標準セットは、医学解剖構造特徴に適合する肝臓形状を収集し、肝臓欠陥セットは、ほとんどの肝臓領域が正しいが間違った情報が存在する肝臓形状を収集している。肝臓形状学習であって、変分オートエンコーダに基づいて特徴肝臓形状を学習し、欠陥肝臓形状を修正する。肝臓形状エンコードであって、訓練によって得られる変分オートエンコーダのエンコーダ部分で構成され、肝臓形状の流形空間緊迫表現に使用される。肝臓分割過程は下記のことを含む。肝臓分割訓練セット確立であって、原図像と肝臓分割標準データセットとで構成される。三次元肝臓分割ネットワーク訓練であって、肝臓分割データセットを利用して三次元深層畳み込みニューラルネットワークを訓練し、肝臓初期分割モデルを取得する。幾何形状正則化モジュールであって、肝臓分割ネットワークに正則化モジュールを加入し、肝臓形状隠し空間一致損失を導入する。肝臓形状予測モジュールであって、入力図像に対して肝臓領域を予測し、訓練済みの変分オートエンコーダが肝臓形状を補正する。具体的なステップは下記の通りである。
（１）肝臓分割データセットが前処理を確立する。
（１．１）ＣＴボリュームデータを收集し、これらデータの肝臓標準分割結果を作成する。三次元ＣＴボリュームデータをＸとして記し、大きさが５１２×５１２×Ｌであり、ここで、Ｌがボリュームデータの層数である。対応する標準分割が
であり、ここで、｜Ｘ｜がＸにおける全てのボクセル個数を代表し、ｙｊ＝１またはｙｊ＝０はそれぞれボクセルｊが肝臓または背景に属することを代表する。肝臓分割データセットを
として記し、ここで、ｎが肝臓データ個数である。分割データセットを訓練セットＴｒとテストセットＴｔに分ける。
（１．２）肝臓分割の訓練セットに対して、各ペアの原図像と肝臓分割ラベル図像に対してダウンサンプリング、再サンプリング及び取り込み動作を行う。ＣＴデータに対して横断面で２倍のダウンサンプリングを行い、かつ再サンプリングを行い、全てのデータのｚ軸のｓｐａｃｉｎｇを１ｍｍに調整する。肝臓ラベルに基づき、肝臓領域開始及び終了のｓｌｉｃｅを見つけ、かつそれぞれ外に同じ層数を拡張する。
（１．３）各ＣＴデータに対してコントラスト調整を行う。具体的に、図像のＨＵ値を［－１００、２４０］の間に切り取り、そして［０、１］の間に正規化する。データをｎｉｉフォーマットとして保存する。前記ＨＵ値がＣＴ値であり、人体のある局部組織または器官密度の大きさを測定する計量単位であり、通常、ハンター単位（ｈｏｕｎｓｆｉｅｌｄｕｎｉｔ、ＨＵ）と呼ばれ、空気が－１０００であり、緻密骨が＋１０００である。
（２）ＲｅｓＵＮｅｔネットワークを利用して肝臓ＣＴを粗分割する。
（２．１）図２に示すように、ＲｅｓＵＮｅｔネットワークを構築し、当該ネットワークがエンコードとデコードの２つの部分で構成され、ネットワークの入力の大きさが１＊４８＊２５６＊２５６であり、出力の大きさが１＊４８＊２５６＊２５６である。エンコード部分が４つのエンコードブロックを含み、各エンコードブロックの後に何れも１つのダウンサンプリング層が接続される。各エンコードブロックは数が異なる畳み込み－活性化層で構成される。第１個のエンコードブロックが２つの畳み込み－活性化層を含み、残りの３つのエンコードブロックが何れも３つの畳み込み－活性化層を含む。各エンコードブロックの最後層の畳み込み－活性化層に入力に対する残差接続を加入する。エンコード部分によって出力される特徴図の大きさが２５６＊３＊１６＊１６である。デコード部分が４つのデコードブロックを含み、各デコードブロックの前に１つのアップサンプリング層が接続される。各デコードブロックは数が異なる畳み込み－活性化層で構成される。最初の３つのデコードブロックが何れも３つの畳み込み－活性化層を含み、最後のデコードブロックが２つの畳み込み－活性化層を含む。各デコードブロックの第１層の畳み込み－活性化層において、対応するエンコードブロックによって出力される特徴図が接続される。かつ、各デコードブロックによって出力される特徴図に対して１つのマッピング層を作成し、当該マッピング層が畳み込み－アップサンプリング－活性化層で構成される。マッピング層の出力の大きさが何れもネットワーク入力図像と同じ大きさの図像ブロックであり、すなわち、サイズが１＊４８＊２５６＊２５６である。
ネットワークによって出力された各予測ラベルに対応し、対応する損失関数ｌｏｓｓを交差エントロピ損失として設定し、
ここで、ｏｕｔｐｕｔがネットワークによって出力された予測図を代表し、ｍが入力図像における画素点個数であり、ｙｊとｚｊがそれぞれ画素点ｊの真ラベル及び予測ラベルであり、ｃ＝１または０がそれぞれ前景または背景を代表する。関数Ｉ（·）が示性関数であり、関数ｌｏｇが対数関数であり、p（·）がネットワーク予測の確率関数である。記号
が加算記号であり、記号∈が「属する」を表現する。本発明のＲｅｓＵＮｅｔネットワークに対して、深層教師あり方式を採用して最終的な損失関数を設定し、すなわち、４つのマッピング層の出力損失の重み和として設定し、
ここで、ａｌｐｈａが設定された深層教師あり係数であり、初期値を１に設定し、かつ４０ステップあたりの往復を元の８０％に減少する。Ｌｏｓｓ１～ｌｏｓｓ４が各マッピング層の出力損失である。
（２．２）肝臓分割の訓練セットを利用してＲｅｓＵＮｅｔネットワークにおける様々なパラメータを訓練する。用意された訓練セットをネットワークに入力し、逆方向伝播アルゴリズムを利用してネットワークパラメータを求める。訓練が完成し、肝臓初期分割モデルを取得する。
（２．３）ＲｅｓＵＮｅｔネットワークを取って１０００ステップのモデルを訓練し、訓練セットとテストセットの図像をモデルに入力する。入力原図像の４８層あまりの図像ブロックをネットワークの入力として、ニューラルネットワークを介して前方に伝播した後、最後の層の出力ｏｕｔｐｕｔ４のみをネットワーク出力とする。最後に、全ての図像ブロックの予測結果を融合し、原図像において各点に肝臓に属する確率値を与える。確率値を二値化操作して、二値化しきい値を０．５にし、肝臓の粗分割結果を取得し、
と記し、｜Ｘ｜が図像画素個数である。
（３）肝臓形状セット確立
（３．１）肝臓分割ラベルを肝臓標準形状セット
として記し、ここで、ｎが形状訓練セットのデータ個数である。標準肝臓形状に対して欠陥操作を行い、肝臓形状欠陥セットを構成する。具体的に、標準セットにおける肝臓形状Ｙに対して開閉演算子操作を行い、損傷した肝臓領域
を取得する。肝臓欠陥形状セットを
と記する。肝臓標準形状セットＳと肝臓欠陥形状セットＣは、肝臓形状訓練セットを構成する。
（３．２）各ペアの標準肝臓形状と欠陥肝臓形状に対して再サンプリングと取り込み動作を行う。図像の分辨率を１ｍｍ＊１ｍｍ＊１ｍｍに再サンプリングし、肝臓形状に基づいてその周辺矩形枠を算出し、そして矩形枠を中心とする大きさが３２０＊３２０＊２５６の図像領域を取り込む。ボリュームデータの層数が２５６層未満であれば、前後で値が０のピクチャに補完する。最後に、図像に対して２倍のダウンサンプリングを行い、最終的に大きさが１６０＊１６０＊１２８の大きさの図像ブロックを取得して変分オートエンコーダネットワークの入力とする。
（４）変分オートエンコーダを利用して肝臓形状を学習する
（４．１）図３に示すように、三次元変分オートエンコーダを構築し、エンコーダＥとデコーダＤとの２つの部分で構成される。ネットワークの入力の大きさが１＊１２８＊１６０＊１６０であり、出力の大きさが１＊１２８＊１６０＊１６０である。エンコーダ部分はＲｅｓＵＮｅｔのエンコーダ部分に類似し、４つのエンコードブロックを含み、各エンコードブロックの後に１つのダウンサンプリング層が接続される。各エンコードブロックは数が異なる畳み込み－活性化層で構成される。第１個のエンコードブロックが２つの畳み込み－活性化層を含み、残りの３つのエンコードブロックが何れも３つの畳み込み－活性化層を含む。最初の２つのエンコードブロックの最後層の畳み込み－活性化層に入力に対する残差接続を加入する。エンコーダ部分の出力の大きさが１２８＊４＊５＊５の大きさの特徴図であり、それを１つの１２８００次元のベクトルに引き、かつ全接続層により８００次元のベクトルに低減し、そしてその対応する分布の平均値μと標準差σを求める。平均値μと標準差σの正規分布から１つの隠し空間変数ｚを再サンプリングする。デコーダ部分では、デコーダを生成器とし、変数ｚを１つの肝臓形状として生成する。デコーダ部分は４つのデコードブロックを含み、各デコードブロックの前に１つのアップサンプリング層が接続される。各デコードブロックは数が異なる畳み込み－活性化層で構成される。最初の３つのデコードブロックが何れも３つの畳み込み－活性化層を含み、最後のデコードブロックが２つの畳み込み－活性化層を含む。デコーダの出力は大きさが３２＊６４＊８０＊８０の特徴図であり、最後に１つのマッピング層により、特徴図を肝臓予測図としてマッピングする。マッピング層は畳み込み－アップサンプリング－活性化層で構成され、出力の大きさはネットワーク入力図像と同じ大きさの図像ブロックであり、すなわち、サイズが１＊２５６＊３２０＊３２０である。
変分オートエンコーダの目標損失関数Ｌｓｈａｐを再構成誤差Ｌｒｅｃ及び正規分布と標準正規分布のＫＬ発散ＬＫＬ、すなわち、Ｌｓｈａｐ＝Ｌｒｅｃ＋ＬＫＬに定義し、
ここで、
がネットワークに入力する肝臓形状図像を表現し、
が変分オートエンコーダによって再構成された図像を表現し、Ｙが対応する標準肝臓形状である。
と
はエンコーダによって出力された長さがｄの平均値ベクトルと標準差ベクトルを表現する。ｌｏｇが対数関数を表現する。記号
が
ノルムを表現する。
が加算記号である。
（４．２）形状訓練セットを利用して変分オートエンコーダにおける様々なパラメータを訓練する。ネットワークにおけるエンコーダとデコーダのパラメータは分割ネットワークＲｅｓＵＮｅｔのモデルパラメータによって初期化される。そして、用意された訓練セットをネットワークに入力し、逆方向伝播アルゴリズムを利用してネットワークパラメータを微調整する。訓練が完成し、形状学習モデルを取得する。
（４．３）変分オートエンコーダのエンコーダ部分を肝臓形状エンコーダＥとする。１つの欠陥した肝臓形状を入力し、流形空間での隠し空間表現
、ｉ＝１、…、ｎを得ることができる。隠し空間表現は、肝臓形状特徴を抽象化したものである。隠し空間表現（Ｌａｔｅｎｔ Ｓｐａｃｅ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）は、圧縮データの１つの表現であり、モードを見つけるために、データ特徴を学習しかつデータ表現を簡略化する。隠し空間において、類似するサンプルの間の特徴の差が余分の情報として除去され、そのコア特徴のみが保留される。
（５）幾何形状正則化モジュール構築
（５．１）ＲｅｓＵＮｅｔ分割ネットワークに幾何形状正則化モジュールを加入する。具体的に、ＲｅｓＵＮｅｔによって出力された肝臓予測領域
をエンコーダＥに入力し、肝臓予測形状の隠し空間表現
を取得する。同時に、肝臓標準分割ラベルをエンコーダに入力し、標準肝臓形状の隠し空間表現Ｅ（Ｙ）を取得する。幾何形状正則化モジュールが予測形状と標準形状の隠し空間表現に対して一致性制約を行い、すなわち、分割ネットワークの損失関数に隠し空間一致性制約表現を加入し、
ここで、Ｅ（Ｙｋ）は第ｋ個の標準形状Ｙｋを三次元変分オートエンコーダに入力して標準肝臓形状の隠し空間表現を取得することを表現し、
は、第ｋ個の予測形状
を三次元変分オートエンコーダに入力して肝臓予測形状の隠し空間表現を取得することを表現し、ｎが肝臓データ個数である。
（５．２）最終的に幾何形状正則化に制約される肝臓分割ネットワーク目標損失関数は以下の通り表現されてもよく、
式において、λが調整パラメータであり、ここで０．１に設定される。
（５．３）肝臓分割の訓練セットを利用して幾何形状正則化モジュールが加入されたＲｅｓＵＮｅｔ分割ネットワークネットワークにおける様々なパラメータを訓練し、逆方向伝播アルゴリズムを利用してネットワークパラメータを微調整する。訓練が完成し、幾何形状の一致性に制約された肝臓分割モデルを取得する。
（６）肝臓自動分割
（６．１）所定のテスト図像Ｘｔｅｓｔに対してダウンサンプリングと再サンプリング過程を行う。そして、図像のグレー値を調整し、図像のＨＵ値を［－１００、２４０］の間に切り取り、そして［０、１］の間に正規化する。前処理されたテスト図像を幾何形状の一致性に制約された肝臓分割モデルに入力し、肝臓分割結果を取得する。
（６．２）分割図像を再サンプリングして原図像サイズにアップサンプリングし、最終的な肝臓分割結果を取得する。
深層幾何形状学習過程は下記のことを含む。
肝臓形状セット確立であって、標準形状セットと肝臓欠陥セットとを含む。肝臓標準セットは、医学解剖構造特徴に適合する肝臓形状を収集し、肝臓欠陥セットは、ほとんどの肝臓領域が正しいが間違った情報が存在する肝臓形状を収集している。肝臓形状学習であって、変分オートエンコーダに基づいて特徴肝臓形状を学習し、欠陥肝臓形状を修正する。肝臓形状エンコードであって、訓練によって得られる変分オートエンコーダのエンコーダ部分で構成され、肝臓形状の流形空間緊迫表現に使用される。肝臓分割過程は下記のことを含む。肝臓分割訓練セット確立であって、原図像と肝臓分割標準データセットとで構成される。三次元肝臓分割ネットワーク訓練であって、肝臓分割データセットを利用して三次元深層畳み込みニューラルネットワークを訓練し、肝臓初期分割モデルを取得する。幾何形状正則化モジュールであって、肝臓分割ネットワークに正則化モジュールを加入し、肝臓形状隠し空間一致損失を導入する。肝臓形状予測モジュールであって、入力図像に対して肝臓領域を予測し、訓練済みの変分オートエンコーダが肝臓形状を補正する。具体的なステップは下記の通りである。
（１）肝臓分割データセットが前処理を確立する。
（１．１）ＣＴボリュームデータを收集し、これらデータの肝臓標準分割結果を作成する。三次元ＣＴボリュームデータをＸとして記し、大きさが５１２×５１２×Ｌであり、ここで、Ｌがボリュームデータの層数である。対応する標準分割が
（１．２）肝臓分割の訓練セットに対して、各ペアの原図像と肝臓分割ラベル図像に対してダウンサンプリング、再サンプリング及び取り込み動作を行う。ＣＴデータに対して横断面で２倍のダウンサンプリングを行い、かつ再サンプリングを行い、全てのデータのｚ軸のｓｐａｃｉｎｇを１ｍｍに調整する。肝臓ラベルに基づき、肝臓領域開始及び終了のｓｌｉｃｅを見つけ、かつそれぞれ外に同じ層数を拡張する。
（１．３）各ＣＴデータに対してコントラスト調整を行う。具体的に、図像のＨＵ値を［－１００、２４０］の間に切り取り、そして［０、１］の間に正規化する。データをｎｉｉフォーマットとして保存する。前記ＨＵ値がＣＴ値であり、人体のある局部組織または器官密度の大きさを測定する計量単位であり、通常、ハンター単位（ｈｏｕｎｓｆｉｅｌｄｕｎｉｔ、ＨＵ）と呼ばれ、空気が－１０００であり、緻密骨が＋１０００である。
（２）ＲｅｓＵＮｅｔネットワークを利用して肝臓ＣＴを粗分割する。
（２．１）図２に示すように、ＲｅｓＵＮｅｔネットワークを構築し、当該ネットワークがエンコードとデコードの２つの部分で構成され、ネットワークの入力の大きさが１＊４８＊２５６＊２５６であり、出力の大きさが１＊４８＊２５６＊２５６である。エンコード部分が４つのエンコードブロックを含み、各エンコードブロックの後に何れも１つのダウンサンプリング層が接続される。各エンコードブロックは数が異なる畳み込み－活性化層で構成される。第１個のエンコードブロックが２つの畳み込み－活性化層を含み、残りの３つのエンコードブロックが何れも３つの畳み込み－活性化層を含む。各エンコードブロックの最後層の畳み込み－活性化層に入力に対する残差接続を加入する。エンコード部分によって出力される特徴図の大きさが２５６＊３＊１６＊１６である。デコード部分が４つのデコードブロックを含み、各デコードブロックの前に１つのアップサンプリング層が接続される。各デコードブロックは数が異なる畳み込み－活性化層で構成される。最初の３つのデコードブロックが何れも３つの畳み込み－活性化層を含み、最後のデコードブロックが２つの畳み込み－活性化層を含む。各デコードブロックの第１層の畳み込み－活性化層において、対応するエンコードブロックによって出力される特徴図が接続される。かつ、各デコードブロックによって出力される特徴図に対して１つのマッピング層を作成し、当該マッピング層が畳み込み－アップサンプリング－活性化層で構成される。マッピング層の出力の大きさが何れもネットワーク入力図像と同じ大きさの図像ブロックであり、すなわち、サイズが１＊４８＊２５６＊２５６である。
ネットワークによって出力された各予測ラベルに対応し、対応する損失関数ｌｏｓｓを交差エントロピ損失として設定し、
（２．２）肝臓分割の訓練セットを利用してＲｅｓＵＮｅｔネットワークにおける様々なパラメータを訓練する。用意された訓練セットをネットワークに入力し、逆方向伝播アルゴリズムを利用してネットワークパラメータを求める。訓練が完成し、肝臓初期分割モデルを取得する。
（２．３）ＲｅｓＵＮｅｔネットワークを取って１０００ステップのモデルを訓練し、訓練セットとテストセットの図像をモデルに入力する。入力原図像の４８層あまりの図像ブロックをネットワークの入力として、ニューラルネットワークを介して前方に伝播した後、最後の層の出力ｏｕｔｐｕｔ４のみをネットワーク出力とする。最後に、全ての図像ブロックの予測結果を融合し、原図像において各点に肝臓に属する確率値を与える。確率値を二値化操作して、二値化しきい値を０．５にし、肝臓の粗分割結果を取得し、
（３）肝臓形状セット確立
（３．１）肝臓分割ラベルを肝臓標準形状セット
（３．２）各ペアの標準肝臓形状と欠陥肝臓形状に対して再サンプリングと取り込み動作を行う。図像の分辨率を１ｍｍ＊１ｍｍ＊１ｍｍに再サンプリングし、肝臓形状に基づいてその周辺矩形枠を算出し、そして矩形枠を中心とする大きさが３２０＊３２０＊２５６の図像領域を取り込む。ボリュームデータの層数が２５６層未満であれば、前後で値が０のピクチャに補完する。最後に、図像に対して２倍のダウンサンプリングを行い、最終的に大きさが１６０＊１６０＊１２８の大きさの図像ブロックを取得して変分オートエンコーダネットワークの入力とする。
（４）変分オートエンコーダを利用して肝臓形状を学習する
（４．１）図３に示すように、三次元変分オートエンコーダを構築し、エンコーダＥとデコーダＤとの２つの部分で構成される。ネットワークの入力の大きさが１＊１２８＊１６０＊１６０であり、出力の大きさが１＊１２８＊１６０＊１６０である。エンコーダ部分はＲｅｓＵＮｅｔのエンコーダ部分に類似し、４つのエンコードブロックを含み、各エンコードブロックの後に１つのダウンサンプリング層が接続される。各エンコードブロックは数が異なる畳み込み－活性化層で構成される。第１個のエンコードブロックが２つの畳み込み－活性化層を含み、残りの３つのエンコードブロックが何れも３つの畳み込み－活性化層を含む。最初の２つのエンコードブロックの最後層の畳み込み－活性化層に入力に対する残差接続を加入する。エンコーダ部分の出力の大きさが１２８＊４＊５＊５の大きさの特徴図であり、それを１つの１２８００次元のベクトルに引き、かつ全接続層により８００次元のベクトルに低減し、そしてその対応する分布の平均値μと標準差σを求める。平均値μと標準差σの正規分布から１つの隠し空間変数ｚを再サンプリングする。デコーダ部分では、デコーダを生成器とし、変数ｚを１つの肝臓形状として生成する。デコーダ部分は４つのデコードブロックを含み、各デコードブロックの前に１つのアップサンプリング層が接続される。各デコードブロックは数が異なる畳み込み－活性化層で構成される。最初の３つのデコードブロックが何れも３つの畳み込み－活性化層を含み、最後のデコードブロックが２つの畳み込み－活性化層を含む。デコーダの出力は大きさが３２＊６４＊８０＊８０の特徴図であり、最後に１つのマッピング層により、特徴図を肝臓予測図としてマッピングする。マッピング層は畳み込み－アップサンプリング－活性化層で構成され、出力の大きさはネットワーク入力図像と同じ大きさの図像ブロックであり、すなわち、サイズが１＊２５６＊３２０＊３２０である。
変分オートエンコーダの目標損失関数Ｌｓｈａｐを再構成誤差Ｌｒｅｃ及び正規分布と標準正規分布のＫＬ発散ＬＫＬ、すなわち、Ｌｓｈａｐ＝Ｌｒｅｃ＋ＬＫＬに定義し、
（４．２）形状訓練セットを利用して変分オートエンコーダにおける様々なパラメータを訓練する。ネットワークにおけるエンコーダとデコーダのパラメータは分割ネットワークＲｅｓＵＮｅｔのモデルパラメータによって初期化される。そして、用意された訓練セットをネットワークに入力し、逆方向伝播アルゴリズムを利用してネットワークパラメータを微調整する。訓練が完成し、形状学習モデルを取得する。
（４．３）変分オートエンコーダのエンコーダ部分を肝臓形状エンコーダＥとする。１つの欠陥した肝臓形状を入力し、流形空間での隠し空間表現
（５）幾何形状正則化モジュール構築
（５．１）ＲｅｓＵＮｅｔ分割ネットワークに幾何形状正則化モジュールを加入する。具体的に、ＲｅｓＵＮｅｔによって出力された肝臓予測領域
（５．２）最終的に幾何形状正則化に制約される肝臓分割ネットワーク目標損失関数は以下の通り表現されてもよく、
（５．３）肝臓分割の訓練セットを利用して幾何形状正則化モジュールが加入されたＲｅｓＵＮｅｔ分割ネットワークネットワークにおける様々なパラメータを訓練し、逆方向伝播アルゴリズムを利用してネットワークパラメータを微調整する。訓練が完成し、幾何形状の一致性に制約された肝臓分割モデルを取得する。
（６）肝臓自動分割
（６．１）所定のテスト図像Ｘｔｅｓｔに対してダウンサンプリングと再サンプリング過程を行う。そして、図像のグレー値を調整し、図像のＨＵ値を［－１００、２４０］の間に切り取り、そして［０、１］の間に正規化する。前処理されたテスト図像を幾何形状の一致性に制約された肝臓分割モデルに入力し、肝臓分割結果を取得する。
（６．２）分割図像を再サンプリングして原図像サイズにアップサンプリングし、最終的な肝臓分割結果を取得する。
本発明においてＲｅｓＵＮｅｔは、ＵＮｅｔ、ＤｅｎｓｅＮｅｔ、ＲｅｓＮｅｔなどの他の深層畳み込みニューラルネットワークモデルに置き換えることができ、ネットワークモデルの交換は、形状正則化モジュールの導入に影響を与えない。
本発明は、ＣＴ肝臓データの自動分割に使用することに限定されず、映像モードも磁気共鳴画像（ＭＲＩ）などの他の映像データに置き換えることができ、分割目標肝臓は、腎臓、脾臓などの解剖的構造特徴を有する器官に代替することができる。
上記実施例は、本発明を説明するためのものであり、本発明を限定するものではなく、本発明の精神及び特許請求の範囲内で、本発明に対して行われた任意の補正及び変更は、いずれも本発明の保護範囲内に入る。
Claims (10)
- 深層形状学習に基づく肝臓ＣＴ自動分割方法であって、ステップ１～ステップ８を含み、
前記ステップ１では、原図像と肝臓分割ラベル図像とを含むＣＴボリュームデータを収集して前処理し、肝臓分割データの訓練セットを構築し、
前記ステップ２では、肝臓分割ネットワークを構築し、肝臓分割ネットワークがエンコードとデコードの２つの部分で構成され、エンコード部分が４つのエンコードブロックを含み、各エンコードブロックの後に何れも１つのダウンサンプリング層が接続され、デコード部分が４つのデコードブロックを含み、各デコードブロックの前に１つのアップサンプリング層が接続され、各デコードブロックが対応するエンコードブロックによって出力される特徴図に接続され、かつ各デコードブロックによって出力される特徴図に対して１つのマッピング層が作成され、出力の大きさが何れもネットワーク入力図像と同じ大きさの図像ブロックであり、
前記ステップ３では、前記ステップ１において肝臓分割データの訓練セットを利用して肝臓分割ネットワークを訓練し、訓練された肝臓分割ネットワークを利用して肝臓ＣＴを粗分割し、
前記ステップ４では、医学解剖構造特徴に適合する肝臓標準形状セットを取得し、肝臓標準形状セットに対して欠陥操作を行い、肝臓形状欠陥セットを構成し、肝臓標準形状セット及び肝臓形状欠陥セットが共に肝臓形状訓練セットを構成し、
前記ステップ５では、三次元変分オートエンコーダを構築し、前記三次元変分オートエンコーダがエンコーダとデコーダとの２つの部分で構成され、エンコーダ部分が４つのエンコードブロックを含み、各エンコードブロックの後に１つのダウンサンプリング層が接続され、デコーダ部分が４つのデコードブロックを含み、各デコードブロックの前に１つのアップサンプリング層が接続され、デコーダの出力が１つのマッピング層によって特徴図を肝臓予測図としてマッピングし、
前記ステップ６では、肝臓形状訓練セットを利用して三次元変分オートエンコーダを訓練し、１つの欠陥の肝臓形状を訓練された三次元変分オートエンコーダに入力し、その流形空間の隠し空間表現を取得し、
前記ステップ７では、訓練された三次元変分オートエンコーダを幾何形状正則化モジュールとし、前記ステップ２で構築された肝臓分割ネットワークに加入し、肝臓分割ネットワークによって出力された粗分割結果及び肝臓標準分割ラベルをそれぞれ三次元変分オートエンコーダに入力し、肝臓予測形状及び標準肝臓形状の隠し空間表現を取得し、幾何形状正則化モジュールが予測形状と標準形状の隠し空間表現に対して一致性制約を行い、
前記ステップ８では、前処理された肝臓ＣＴ図像を幾何形状正則化モジュールが加入された肝臓分割ネットワークに入力し、ネットワークによって出力された分割図像を再サンプリングして原図像サイズにアップサンプリングし、最終的な肝臓分割結果を取得する
ことを特徴とする深層形状学習に基づく肝臓ＣＴ自動分割方法。 - 前記ステップ１において、前処理過程には具体的に、訓練セットにおける各データをダウンサンプリング、再サンプリング及び取り込み動作し、肝臓ラベルに基づき、肝臓領域開始及び終了のｓｌｉｃｅを見つけ、かつそれぞれ外に同じ層数を拡張し、訓練セットにおける各データに対してコントラストを調整し、図像のＨＵ値を［－１００、２４０］の間に切り取り、そして［０、１］の間に正規化し、前記ＨＵ値がＣＴ値であり、人体のある局部組織または器官密度大きさを測定する計量単位であり、ハンター単位と呼ばれる
ことを特徴とする請求項１に記載の深層形状学習に基づく肝臓ＣＴ自動分割方法。 - 前記ステップ２及び前記ステップ５において、各エンコードブロックは数が異なる畳み込み－活性化層で構成され、第１個のエンコードブロックが２つの畳み込み－活性化層を含み、残りの３つのエンコードブロックが何れも３つの畳み込み－活性化層を含み、各デコードブロックは数が異なる畳み込み－活性化層で構成され、最初の３つのデコードブロックが何れも３つの畳み込み－活性化層を含み、最後のデコードブロックが２つの畳み込み－活性化層を含む
ことを特徴とする請求項１に記載の深層形状学習に基づく肝臓ＣＴ自動分割方法。 - 前記ステップ２において、ネットワークによって出力された各予測ラベルに対応し、対応する損失関数ｌｏｓｓを交差エントロピ損失として設定し、
が加算記号であり、記号∈が「属する」を表現し、肝臓分割ネットワークに対して、深層教師あり方式を採用して最終的な損失関数Ｌｓｅｇを４つのマッピング層の出力損失の重み和として設定し、
ことを特徴とする請求項１に記載の深層形状学習に基づく肝臓ＣＴ自動分割方法。 - 前記ステップ３において、前記訓練された肝臓分割ネットワークを利用して肝臓ＣＴを粗分割する具体的な過程は、肝臓分割ネットワークによって出力された全ての図像ブロックの予測結果を融合し、原図像において各点に肝臓に属する確率値を与え、確率値を二値化操作して肝臓の粗分割結果を取得する
ことを特徴とする請求項１に記載の深層形状学習に基づく肝臓ＣＴ自動分割方法。 - 前記ステップ４において、前記肝臓標準形状セットにおいて欠陥操作を行う具体的な過程は、肝臓標準形状セットにおける肝臓形状に対して開閉演算子操作を行い、損傷した肝臓領域を取得し、さらに肝臓形状欠陥セットを構築する
ことを特徴とする請求項１に記載の深層形状学習に基づく肝臓ＣＴ自動分割方法。 - 前記ステップ５において、エンコーダ部分の出力にその対応する分布の平均値及び標準差を求め、平均値及び標準差の正規分布から１つの隠し空間変数を再サンプリングし、隠し空間変数がデコーダにおいて１つの肝臓形状を生成する
ことを特徴とする請求項１に記載の深層形状学習に基づく肝臓ＣＴ自動分割方法。 - 前記ステップ５において、変分オートエンコーダの目標損失関数Ｌｓｈａｐを再構成誤差Ｌｒｅｃ及び正規分布と標準正規分布のＫＬ発散ＬＫＬの和に定義し、
がネットワークに入力する肝臓形状図像を表現し、
が変分オートエンコーダによって再構成された図像を表現し、Ｙが対応する標準肝臓形状であり、
と
はエンコーダによって出力された長さがｄの平均値ベクトルと標準差ベクトルを表現し、ｌｏｇが対数関数を表現し、記号
が
ノルムを表現し、
が加算記号である
ことを特徴とする請求項１に記載の深層形状学習に基づく肝臓ＣＴ自動分割方法。 - 前記ステップ７において、前記幾何形状正則化モジュールが予測形状と標準形状の隠し空間表現に対して一致性制約を行い、具体的には肝臓分割ネットワークの損失関数に隠し空間表現一致性制約を加入し、
は、第ｋ個の予測形状
を三次元変分オートエンコーダに入力して肝臓予測形状の隠し空間表現を取得することを表現し、ｎが肝臓データ個数であり、最終的に幾何形状正則化に制約される肝臓分割ネットワーク目標損失関数Ｌは、以下の通り表現し、
ことを特徴とする請求項４に記載の深層形状学習に基づく肝臓ＣＴ自動分割方法。 - 前記ステップ７において、肝臓分割データの訓練セットを利用して幾何形状正則化モジュールが加入された肝臓分割ネットワークにおけるパラメータを訓練し、逆方向伝播アルゴリズムを利用してネットワークパラメータを調整し、訓練完成後、幾何形状の一致性に制約された肝臓分割モデルを取得し、肝臓ＣＴに対する自動分割に使用し、肝臓分割領域を取得する
ことを特徴とする請求項１に記載の深層形状学習に基づく肝臓ＣＴ自動分割方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111240331.9 | 2021-10-25 | ||
| CN202111240331.9A CN113674281B (zh) | 2021-10-25 | 2021-10-25 | 一种基于深度形状学习的肝脏ct自动分割方法 |
| PCT/CN2022/116983 WO2023071531A1 (zh) | 2021-10-25 | 2022-09-05 | 一种基于深度形状学习的肝脏ct自动分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2023550844A true JP2023550844A (ja) | 2023-12-05 |
Family
ID=78551033
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023535617A Pending JP2023550844A (ja) | 2021-10-25 | 2022-09-05 | 深層形状学習に基づく肝臓ｃｔ自動分割方法 |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP2023550844A (ja) |
| CN (1) | CN113674281B (ja) |
| WO (1) | WO2023071531A1 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113674281B (zh) * | 2021-10-25 | 2022-02-22 | 之江实验室 | 一种基于深度形状学习的肝脏ct自动分割方法 |
| CN114660934B (zh) * | 2022-03-03 | 2024-03-01 | 西北工业大学 | 一种基于视觉-触觉融合的机械臂自主操作策略学习方法 |
| CN114693622B (zh) * | 2022-03-22 | 2023-04-07 | 电子科技大学 | 一种基于人工智能的斑块侵蚀自动检测*** |
| CN114627389B (zh) * | 2022-03-23 | 2023-01-31 | 中国科学院空天信息创新研究院 | 一种基于多时相光学遥感影像的筏式养殖区提取方法 |
| CN114820663B (zh) * | 2022-06-28 | 2022-09-09 | 日照天一生物医疗科技有限公司 | 用于确定射频消融治疗的辅助定位方法 |
| CN116309385B (zh) * | 2023-02-27 | 2023-10-10 | 之江实验室 | 基于弱监督学习的腹部脂肪与肌肉组织测量方法及*** |
| CN116402833B (zh) * | 2023-06-08 | 2023-08-22 | 武汉纺织大学 | 一种基于知识蒸馏的半监督视频目标分割方法 |
| CN116758103B (zh) * | 2023-08-17 | 2023-11-07 | 西北工业大学太仓长三角研究院 | 基于ct扫描的食管肿瘤分割形状感知对比深度监督方法 |
| CN116823625B (zh) * | 2023-08-30 | 2023-12-12 | 之江实验室 | 基于变分自编码器的跨对比度磁共振超分辨率方法和*** |
| CN117036355B (zh) * | 2023-10-10 | 2023-12-15 | 湖南大学 | 编码器和模型的训练方法、故障检测方法及相关设备 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6887055B2 (ja) * | 2018-02-28 | 2021-06-16 | 富士フイルム株式会社 | 機械学習方法及び装置、プログラム、学習済みモデル、並びに判別装置 |
| US11227683B2 (en) * | 2020-01-23 | 2022-01-18 | GE Precision Healthcare LLC | Methods and systems for characterizing anatomical features in medical images |
| CN112150428B (zh) * | 2020-09-18 | 2022-12-02 | 青岛大学 | 一种基于深度学习的医学图像分割方法 |
| CN112258530A (zh) * | 2020-12-21 | 2021-01-22 | 四川大学 | 基于神经网络的计算机辅助肺结节自动分割方法 |
| CN112634265B (zh) * | 2021-01-04 | 2023-04-07 | 西北大学 | 基于dnn的胰腺全自动分割模型的构建、分割方法及*** |
| CN113223004A (zh) * | 2021-05-07 | 2021-08-06 | 西安智诊智能科技有限公司 | 一种基于深度学习的肝脏图像分割方法 |
| CN113362310A (zh) * | 2021-06-09 | 2021-09-07 | 西安智诊智能科技有限公司 | 一种基于无监督学习的医学图像肝脏分割方法 |
| CN113674281B (zh) * | 2021-10-25 | 2022-02-22 | 之江实验室 | 一种基于深度形状学习的肝脏ct自动分割方法 |
-
2021
- 2021-10-25 CN CN202111240331.9A patent/CN113674281B/zh active Active
-
2022
- 2022-09-05 JP JP2023535617A patent/JP2023550844A/ja active Pending
- 2022-09-05 WO PCT/CN2022/116983 patent/WO2023071531A1/zh active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| CN113674281A (zh) | 2021-11-19 |
| WO2023071531A1 (zh) | 2023-05-04 |
| CN113674281B (zh) | 2022-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2023550844A (ja) | 深層形状学習に基づく肝臓ｃｔ自動分割方法 | |
| CN109598727B (zh) | 一种基于深度神经网络的ct图像肺实质三维语义分割方法 | |
| CN111311592B (zh) | 一种基于深度学习的三维医学图像自动分割方法 | |
| CN111798462B (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
| WO2021203795A1 (zh) | 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法 | |
| CN109615636B (zh) | Ct影像的肺叶段分割中的血管树构造方法、装置 | |
| CN105574859B (zh) | 一种基于ct图像的肝脏肿瘤分割方法及装置 | |
| CN109658419B (zh) | 一种医学图像中小器官的分割方法 | |
| CN112699869A (zh) | 基于深度学习的肋骨骨折辅助检测方法及图像识别方法 | |
| CN113012172A (zh) | 一种基于AS-UNet的医学图像分割方法及*** | |
| CN114037714B (zh) | 一种面向******穿刺的3d mr与trus图像分割方法 | |
| WO2022213654A1 (zh) | 一种超声图像的分割方法、装置、终端设备和存储介质 | |
| CN111369574B (zh) | 一种胸腔器官的分割方法及装置 | |
| CN110648331B (zh) | 用于医学图像分割的检测方法、医学图像分割方法及装置 | |
| CN112529909A (zh) | 一种基于图像补全的肿瘤图像脑区分割方法及*** | |
| CN112465754B (zh) | 基于分层感知融合的3d医疗图像分割方法、装置及存储介质 | |
| CN115908463A (zh) | 基于半监督一致性学习的3d冠状动脉图像分割方法 | |
| CN112381762A (zh) | 一种基于深度学习算法的ct肋骨骨折辅助诊断*** | |
| CN115512110A (zh) | 一种涉及跨模态注意力机制的医学图像肿瘤分割方法 | |
| CN116091412A (zh) | 一种从pet/ct图像中分割肿瘤的方法 | |
| Ferreira et al. | GAN-based generation of realistic 3D volumetric data: A systematic review and taxonomy | |
| CN113902738A (zh) | 一种心脏mri分割方法及*** | |
| CN116664590B (zh) | 基于动态对比增强磁共振图像的自动分割方法及装置 | |
| CN111667488A (zh) | 一种基于多角度U-Net的医学图像分割方法 | |
| Zhou et al. | Automatic segmentation algorithm of femur and tibia based on Vnet-C network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230609 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230705 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231213 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240313 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240412 |