JP7270319B2 - Left ventricle automatic segmentation method of SPECT three-dimensional reconstructed image - Google Patents

Left ventricle automatic segmentation method of SPECT three-dimensional reconstructed image Download PDF

Info

Publication number
JP7270319B2
JP7270319B2 JP2022564825A JP2022564825A JP7270319B2 JP 7270319 B2 JP7270319 B2 JP 7270319B2 JP 2022564825 A JP2022564825 A JP 2022564825A JP 2022564825 A JP2022564825 A JP 2022564825A JP 7270319 B2 JP7270319 B2 JP 7270319B2
Authority
JP
Japan
Prior art keywords
image
spect
predicted
segmentation
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022564825A
Other languages
Japanese (ja)
Other versions
JP2023516227A (en
Inventor
▲鐸▼ ▲張▼
▲聞▼▲タオ▼ 朱
▲ルー▼ ▲韓▼
▲海▼亮 黄
二▲ジャオ▼ ▲祁▼
Original Assignee
之江実験室
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 之江実験室 filed Critical 之江実験室
Publication of JP2023516227A publication Critical patent/JP2023516227A/en
Application granted granted Critical
Publication of JP7270319B2 publication Critical patent/JP7270319B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10108—Single photon emission computed tomography [SPECT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Nuclear Medicine (AREA)

Description

本発明は、医学映像分野及び深層学習分野に関し、特に深層学習ネットワークに基づくＳＰＥＣＴの３次元再構成画像の左心室自動分割方法に関する。 TECHNICAL FIELD The present invention relates to the fields of medical imaging and deep learning, and more particularly to an automatic left ventricle segmentation method for SPECT three-dimensional reconstructed images based on deep learning networks.

ＳＰＥＣＴ心臓イメージングは、現在、冠状動脈性心臓病、心筋虚血等の心血管疾患の臨床診断、治療有効性の評価及び予後判断を行うためのゴールドスタンダードであり、心筋組織の機能情報を非侵襲的に提供して構造変化を引き起こしていない潜在的な病変を検出し、心筋組織のより詳細な機能活性情報を提供することができる。臨床的にＳＰＥＣＴ検査を行う際に、再構成されたＳＰＥＣＴ画像に対して一連の操作及び分析を行う必要があり、左心室の駆出係数の計算は心臓機能を評価するための１つの重要な指標であり、異なる心拍周期での左心室腔の容積を抽出して計算するように、左心室の心室腔及び心室壁を分割する必要がある。臨床的に標準的なＳＰＥＣＴ心臓ビューは短軸像ＳＡ方向であり、且つ左心室の長軸が人間の長軸と平行ではないため、通常、標準ＳＡビューを取得するために再構成されたＳＰＥＣＴ画像を手動で回転させる必要があり、そして、このビューにおいて画像を分割して左心室の駆出係数を計算する。また、標準ＳＡビューに基づいた左心室の画像は左心室心筋の活性分析を行うための心臓の極座標図を作成することに用いることができる。 SPECT cardiac imaging is currently the gold standard for clinical diagnosis, treatment efficacy assessment and prognosis of cardiovascular diseases such as coronary heart disease and myocardial ischemia, providing non-invasive functional information on myocardial tissue. It can provide more detailed functional activity information of myocardial tissue by detecting latent lesions that do not provide structural changes. When performing clinical SPECT examinations, a series of manipulations and analyzes must be performed on the reconstructed SPECT images, and the calculation of the left ventricular ejection coefficient is one of the key to assessing cardiac function. In order to extract and calculate the volume of the left ventricular chamber at different heartbeat cycles, the ventricular chamber and ventricular wall of the left ventricle should be divided. Because the clinically standard SPECT cardiac view is in the short-axis SA direction, and the long axis of the left ventricle is not parallel to the human long axis, a reconstructed SPECT view is usually used to obtain a standard SA view. The image needs to be manually rotated and then segmented in this view to calculate the ejection coefficient of the left ventricle. Images of the left ventricle based on the standard SA view can also be used to generate a polar view of the heart for analysis of left ventricular myocardial activity.

画像を通常ＲＡビューから臨床分析用の心臓標準ＳＡビューに変換することは臨床的に医者による手動操作が必要である場合が多く、この主観的な操作がランダム誤差を導入して分析の精度に影響を与えることが容易であり、且つ長い手動操作時間がかかる。左心室画像分割については、現在、一般的な臨床核医学の心臓画像分析ソフトウェアはほとんど通常の画像処理の分割方法を用い、たとえば、左心室壁の中心線に基づいた分割方法、左心室モデルに基づいた分割方法、心臓アトラスに基づいた分割方法、閾値又はｋ平均クラスタリングに基づいた分割方法等が挙げられ、ＳＰＥＣＴ画像の解像度が低く、心臓画像が呼吸や心拍の動きの影響を受けて画像の動き境界が不明瞭になるため、現在の分割方法により分割する際に、分割精度が低く、分割エッジの抽出が不正確であるという問題が発生する場合が多く、さらに定量分析の精度に影響を与える。従って、ＳＰＥＣＴ心臓画像の臨床処理及び分析の時に、通常の再構成ビューから特定の臨床分析用の標準ＳＡビューへの安定した正確な画像の自動ステアリング及びポジショニングを如何に実現するか、画像解像度の低いＳＰＥＣＴ心臓画像内に左心室構造の正確な分割抽出を如何に実現するかは、臨床ＳＰＥＣＴ心臓の処理中に直面した技術的課題である。 Transforming an image from a normal RA view to a cardiac standard SA view for clinical analysis often clinically requires manual manipulation by the physician, and this subjective manipulation introduces random errors that affect the accuracy of the analysis. It is easy to influence and takes a long manual operation time. For the left ventricular image segmentation, at present, the common clinical nuclear medicine cardiac image analysis software mostly uses the usual image processing segmentation method, such as the segmentation method based on the centerline of the left ventricular wall, the left ventricular model segmentation method based on heart atlas, segmentation method based on threshold or k-means clustering, and the like. Since the motion boundary becomes unclear, the problem of poor segmentation accuracy and inaccurate segmentation edge extraction often occur when segmenting with the current segmentation method, further affecting the accuracy of quantitative analysis. give. Therefore, during clinical processing and analysis of SPECT cardiac images, how to achieve stable and accurate automatic steering and positioning of images from normal reconstruction views to standard SA views for specific clinical analyses, is an important consideration of image resolution. How to achieve accurate segmentation of left ventricular structures in low SPECT cardiac images is a technical challenge faced during the processing of clinical SPECT hearts.

本発明の目的は、従来技術の欠陥に対して、深層学習ネットワークに基づくＳＰＥＣＴの３次元再構成画像の左心室自動分割方法を提供することである。 SUMMARY OF THE INVENTION It is an object of the present invention to provide an automatic left ventricular segmentation method for 3D reconstructed images of SPECT based on deep learning networks, against the deficiencies of the prior art.

本発明の目的は以下の技術的解決手段により実現される。 The objectives of the present invention are achieved by the following technical solutions.

ＳＰＥＣＴの３次元再構成画像の左心室自動分割方法であって、 ＳＰＥＣＴの３次元再構成画像の通常ビューＲＡに対して縮小及びリサンプリングを行い、リサンプリングされた縮小通常ビューＲＡ－ｒを、畳み込みモジュールと完全接続層からなる特徴抽出ネットワークの入力として使用し、畳み込みモジュールを利用して縮小通常ビューＲＡ－ｒに対して特徴抽出を行い、完全接続拡張を行って、３つの方向の平行移動媒介変数及び３つの角度の回転媒介変数を含む６次元の固有ベクトルＴ－ｒを形成するステップ１と、 通常ビューＲＡと縮小通常ビューＲＡ－ｒとの均等比例関係を利用してＴ－ｒを固有ベクトルＴに調整し、回転媒介変数が不変であり、平行移動媒介変数が均等比例的に拡大されるステップ２と、 空間変換ネットワークを利用して固有ベクトルＴ－ｒを縮小通常ビューＲＡ－ｒに適用して予測縮小画像ＳＡ－ｒ’を得るとともに、固有ベクトルＴを通常ビューＲＡに適用して予測画像ＳＡ’を得るステップ３と、 予測画像ＳＡ’の中心を中心として、画像内の抽出された心臓部分を切り取って、予測心臓画像ＳＡ－Ｈ’を形成するとともに、心臓画像ＳＡ－Ｈ’に対して画像勾配計算を行って、対応する勾配マップＳＡ－Ｇを取得するステップ４と、 心臓画像ＳＡ－Ｈ’と勾配マップＳＡ－Ｇを２チャンネル画像に融合し、３次元Ｕ－ＮＥＴネットワークのダウンサンプリング及びアップサンプリングによって画像特徴を抽出し、ｓｏｆｔｍａｘ層によって分割処理を行って予測された左心室の構造分割結果Ｆを取得するステップ５と、を含み、 前記特徴抽出ネットワーク、空間変換ネットワーク及びＵ－ＮＥＴネットワークは、マルチタスクの共同学習を用いて共同で訓練され、訓練の総損失関数は、Ｌ＝δＬ－ｐａｒ＋μＬ－ｉｍｇ＋λＬ－ｓｅｇであり、 ここで、δ、μ及びλは重み係数であり、Ｌ－ｉｍｇは予測縮小画像ＳＡ－ｒ’と縮小標準ビューＳＡ－ｒとの間の画像損失関数であり、Ｌ－ｐａｒは固有ベクトルＴ－ｒと剛***置合わせパラメータＰ－ｒとの間のパラメータ損失関数であり、Ｌ－ｓｅｇは予測分割結果ＦとＳＡ方向分割ラベルＧとの間のラベル損失関数であり、前記縮小標準ビューＳＡ－ｒは、ＳＰＥＣＴの３次元再構成画像の通常ビューＲＡを手動でステアリングして均等比例的に縮小することにより取得され、前記剛***置合わせパラメータＰ－ｒは、剛***置合わせアルゴリズムによって計算された縮小通常ビューＲＡ－ｒと縮小標準ビューＳＡ－ｒとの間の位置合わせパラメータであり、３つの方向の平行移動媒介変数及び３つの角度の回転媒介変数を含み、前記ＳＡ方向分割ラベルＧは、左心室腔、心室壁及び背景の３つの値を含み、標準ビューＳＡの中心を中心として心臓画像ＳＡ－Ｈを切り取り、心臓左心室の心室腔及び心室壁を手動で描写することにより取得される。 A method for automatic left ventricular segmentation of a SPECT three-dimensional reconstructed image, comprising reducing and resampling a normal view RA of a SPECT three-dimensional reconstructed image, and generating a resampled reduced normal view RA-r, Used as input for a feature extraction network consisting of a convolution module and a fully connected layer, performing feature extraction on the reduced normal view RA-r using the convolution module, performing fully connected expansion, and translation in three directions Step 1 of forming a 6-dimensional eigenvector Tr including a parameter and a rotation parameter of three angles; T, where the rotation parameters are invariant and the translation parameters are proportionally scaled, and applying the eigenvectors Tr to the reduced normal view RA-r using a spatial transformation network. obtaining a predicted reduced image SA-r' and applying the eigenvector T to the normal view RA to obtain a predicted image SA'; to form a predicted cardiac image SA-H' and performing an image gradient calculation on the cardiac image SA-H' to obtain a corresponding gradient map SA-G; Predicted left ventricular structure by fusing H′ and gradient maps SA-G into a two-channel image, extracting image features by downsampling and upsampling of the 3D U-NET network, and performing segmentation processing by softmax layers. obtaining a segmentation result F, wherein the feature extraction network, the spatial transformation network and the U-NET network are jointly trained using multi-task joint learning, the total training loss function being L= δL-par + μL-img + λL-seg, where δ, μ and λ are weighting factors, and L-img is the image loss function between the predicted reduced image SA-r′ and the reduced standard view SA-r. , where L-par is the parameter loss function between the eigenvector Tr and the rigid body registration parameter Pr, and L-seg is the label loss function between the predicted segmentation result F and the SA direction segmentation label G A, the reduced standard view SA-r is obtained by manually steering the normal view RA of the 3D reconstructed image of SPECT to reduce it proportionally, and the rigid body registration parameter P-r is the rigid body registration parameters between the reduced normal view RA-r and the reduced standard view SA-r calculated by the registration algorithm, including three directional translational parameters and three angular rotation parameters; The SA direction segmentation label G includes three values of left ventricular chamber, ventricular wall and background, and crops the heart image SA-H around the center of the standard view SA, manually extracting the ventricular chamber and ventricular wall of the left ventricle of the heart. Obtained by drawing.

さらに、前記縮小通常ビューＲＡ－ｒ、縮小標準ビューＳＡ－ｒのサイズは好ましくは６４＊６４＊６４ボクセルであり、心臓画像ＳＡ－Ｈと予測心臓画像ＳＡ－Ｈ’は、心臓画像全体をカバーするとともに、他の高輝度臓器情報をできるだけ少なく含むことが最適であるべきであり、好ましくは３２＊３２＊３２ボクセルである。 Further, the size of the reduced normal view RA-r and the reduced standard view SA-r is preferably 64*64*64 voxels, and the cardiac image SA-H and the predicted cardiac image SA-H' cover the entire cardiac image. It should optimally include as little other high intensity organ information as possible, preferably 32*32*32 voxels.

さらに、前記ステップ３では、変換行列Ｐ＝［Ｒ ＭＴ］を構築することにより予測画像を取得し、ここで、Ｍ＝［ｔｘ、ｔｙ、ｔｚ］は変位行列を表し、ｔｘ、ｔｙ、ｔｚはそれぞれ固有ベクトルにおける対応する３つの方向の平行移動媒介変数であり、Ｒは回転行列であり、Ｒをオイラー角Ｒ＝［β、α、γ］からワールド座標系パラメータに変換し、以下の式１に表され、

Figure 0007270319000001
Further, in said step 3, the predicted image is obtained by constructing a transformation matrix P=[RM T ], where M=[tx, ty, tz] represents the displacement matrix and tx, ty, tz are translation parameters in the corresponding three directions in the eigenvectors, R is the rotation matrix, transforming R from the Euler angles R = [β, α, γ] to the world coordinate system parameters, Equation 1 below is represented by
Figure 0007270319000001

さらに、前記勾配マップＳＡ－Ｇを取得する計算式は以下の式２に示され、

Figure 0007270319000002
ここで、ｇｘ、ｇｙ、ｇｚはそれぞれｘ、ｙ、ｚ方向の勾配であり、それらの計算式は、以下の式３に示され、
Figure 0007270319000003
 ここで、ｉ、ｊ、ｋは画像内のｘ、ｙ、ｚの３つの方向の座標インデックスである。 Furthermore, the calculation formula for obtaining the gradient map SA-G is shown in the following formula 2,
Figure 0007270319000002
 Here, g x , g y , g z are the gradients in the x, y, and z directions, respectively, and their calculation formulas are shown in Equation 3 below,
Figure 0007270319000003
 where i, j, k are coordinate indices in the three directions x, y, z in the image.

勾配画像は画像境界情報をより良好に提供することができるため、勾配マップを同期的に読み取ると、ネットワークによる画像エッジの識別を最適化して、ネットワークの画像の分割に対する有効性をさらに向上させることができる。 Gradient images can better provide image boundary information, so synchronous reading of the gradient map could optimize the network's identification of image edges, further improving the network's effectiveness in segmenting images. can be done.

さらに、前記特徴抽出ネットワークの畳み込みモジュール、完全接続層の数はいずれも３つであり、各畳み込みモジュールは畳み込み層及びプーリング層を含み、前記３次元Ｕ－ＮＥＴネットワークのダウンサンプリング及びアップサンプリングはいずれも４回であり、ダウンサンプリングは畳み込み層及びプーリング層を含み、アップサンプリングは畳み込み層及び逆畳み込み層を含む。 Further, the number of convolution modules and fully connected layers of the feature extraction network are both three, each convolution module includes a convolution layer and a pooling layer, and the downsampling and upsampling of the three-dimensional U-NET network are both is also 4 times, downsampling includes convolutional and pooling layers, and upsampling includes convolutional and deconvolutional layers.

さらに、前記ＳＡ方向分割ラベルＧには、背景が０に設定され、左心室腔が１に設定され、左心室壁が２に設定される。 Further, for the SA direction division label G, the background is set to 0, the left ventricular chamber is set to 1, and the left ventricular wall is set to 2.

さらに、前記δ、μ及びλは、それぞれの値が１、１００及び１０とされる。 Furthermore, the values of δ, μ and λ are 1, 100 and 10, respectively.

さらに、前記画像損失関数Ｌ－ｉｍｇは平均二乗誤差関数を用いる。 Further, the image loss function L-img uses a mean squared error function.

さらに、前記パラメータ損失関数Ｌ－ｐａｒは絶対値損失関数Ｌ１又はノルム損失関数Ｌ２を用いる。 Furthermore, the parameter loss function L-par uses the absolute value loss function L1 or the norm loss function L2.

さらに、前記ラベル損失関数Ｌ－ｓｅｇはＤｉｃｅ－ｌｏｓｓ損失関数を用い、左心室腔及び左心室壁についてラベル損失関数Ｌ－ｓｅｇ－１及びＬ－ｓｅｇ－２をそれぞれ計算し、最終的にＬ－ｓｅｇ＝Ｌ－ｓｅｇ－２＋Ｌ－ｓｅｇ－１となる。 Furthermore, the label loss function L-seg uses a Dice-loss loss function to calculate label loss functions L-seg-1 and L-seg-2 for the left ventricular chamber and left ventricular wall, respectively, and finally L- seg=L−seg−2+L−seg−1.

本発明の有益な効果は以下のとおりである。本発明は、マルチタスク学習の深層学習ネットワークを使用して画像の位置特徴とセマンティック特徴を同期的に抽出し、且つデュアルネットワーク特徴の相互監視を利用してネットワークの一体化訓練の効果を達成し、異なる角度から標準ビューへの一体化の自動ステアリング、心臓ポジショニング及び左心室の構造分割を実現し、手動ステアリング、分割の複雑さ及び人為的誤差を低減させ、画像操作の完全な自動化を実現し、精度を向上させ、本発明は、さらに勾配画像を用いて画像データエッジの分割の精度を向上させる。 Beneficial effects of the present invention are as follows. The present invention uses a multi-task learning deep learning network to synchronously extract the location and semantic features of an image, and utilizes the mutual supervision of dual network features to achieve the effect of joint training of the network. , realizes automatic steering, heart positioning and structural segmentation of the left ventricle from different angles into a standard view, reduces the complexity and artificial error of manual steering, segmentation, and realizes full automation of image manipulation. , to improve accuracy, the present invention further uses gradient images to improve the accuracy of image data edge segmentation.

図１は本発明のＳＰＥＣＴ３次元画像の左心室の自動分割のプロセスを示す図である。FIG. 1 is a diagram showing the process of automatic segmentation of the left ventricle of the SPECT three-dimensional image of the present invention. 図２はＳＰＥＣＴ３次元画像の左心室の自動分割モデル構造の自動ステアリング及びポジショニングモジュールの模式図である。FIG. 2 is a schematic diagram of the auto-steering and positioning module of the auto-segmentation model structure of the left ventricle of the SPECT three-dimensional image. 図３はＳＰＥＣＴ３次元画像の左心室の自動分割モデル構造の自動分割モジュールの模式図である。FIG. 3 is a schematic diagram of the automatic segmentation module of the automatic segmentation model structure of the left ventricle of the SPECT three-dimensional image.

以下、図面を参照しながら本発明を詳細に説明する。 The present invention will be described in detail below with reference to the drawings.

本発明は、深層学習ネットワークに基づくＳＰＥＣＴの３次元再構成画像の左心室自動分割方法を提案し、該方法について、具体的には、元のＳＰＥＣＴ胸部３次元再構成画像を線形補間によって６４＊６４＊６４ボクセルに比例的に拡大縮小し、特徴抽出ネットワークを利用して縮小された画像に対して剛***置合わせパラメータ特徴を抽出し、空間変換ネットワーク及び抽出された剛***置合わせパラメータ特徴を利用してＳＰＥＣＴの３次元再構成画像を自動的にステアリングして標準ビューの予測画像を取得し、標準ビューの予測画像から中心の３２＊３２＊３２ボクセルの部位をカットして心臓画像を取得し、且つＵ－ＮＥＴネットワークによって画像自動分割を行って標準ビューでの左心室の構造分割結果を取得し、そのプロセスは図１に示される。前記特徴抽出ネットワーク、空間変換ネットワーク及びＵ－ＮＥＴネットワークは、マルチタスクの共同学習を用いて共同で訓練され、訓練の総損失関数は、画像損失関数Ｌ－ｉｍｇ、パラメータ損失関数Ｌ－ｐａｒ及びラベル損失関数Ｌ－ｓｅｇの共同損失関数であり、マルチタスクの共同学習により、前後部分のネットワークの共同学習及びターゲットの最適化を確保することができる。 The present invention proposes a method for automatic left ventricular segmentation of SPECT 3D reconstructed images based on deep learning network, specifically, the original SPECT chest 3D reconstructed image is 64* by linear interpolation. Scale proportionally to 64*64 voxels, extract rigid registration parameter features for the reduced image using a feature extraction network, and use a spatial transformation network and the extracted rigid registration parameter features. automatically steer the 3D reconstructed image of SPECT to obtain a standard-view predicted image, cut a central 32*32*32 voxel region from the standard-view predicted image to obtain a cardiac image, And automatic image segmentation is performed by the U-NET network to obtain the structure segmentation result of the left ventricle in the standard view, and the process is shown in FIG. The feature extraction network, spatial transformation network and U-NET network are jointly trained using multi-task joint learning, and the total training loss function is image loss function L-img, parameter loss function L-par and label It is a joint loss function of the loss function L-seg, and multi-task joint learning can ensure joint learning and target optimization of the networks of the front and rear parts.

以下、ＳＰＥＣＴ３次元画像の左心室の自動分割モデルを提供する（構造が図２及び図３に示される）ことにより、本発明の方法の一体化の自動ステアリング、ポジショニング及び分割を実現し、該モデルの構築及び訓練は具体的にステップ１～ステップ５を含む。 In the following, an automatic segmentation model of the left ventricle of the SPECT three-dimensional image is provided (the structure is shown in FIGS. 2 and 3) to realize the integrated automatic steering, positioning and segmentation of the method of the present invention, and the model The construction and training of specifically includes steps 1-5.

ステップ１：６００例のＳＰＥＣＴの３次元再構成画像の通常ビューＲＡを取得し、臨床分析用の、左心室が画像の中心に位置する標準ビューＳＡを手動でステアリングし、標準ビューＳＡにおいて、画像の中心を中心として３２＊３２＊３２ボクセルの画像を切り取って心臓画像ＳＡ－Ｈを取得し、且つ心臓左心室の心室腔及び心室壁を手動で描写してＳＡ方向分割ラベルＧを取得し、剛***置合わせアルゴリズムによって通常ビューＲＡと標準ビューＳＡとの間の剛***置合わせパラメータＰを計算し、剛***置合わせパラメータＰの６つのパラメータはそれぞれ３つの方向の平行移動媒介変数及び３つの角度の回転角度媒介変数であり、Ｐ＝［ｔｘ、ｔｙ、ｔｚ、β、α、γ］であり、ＳＰＥＣＴ画像の通常ビューＲＡ、標準ビューＳＡ、ＳＡ方向分割ラベルＧ及び剛***置合わせパラメータＰのマッピングデータベースを形成する。通常ビューＲＡ及び標準ビューＳＡを、線形補間によって６４＊６４＊６４ボクセルの縮小通常ビューＲＡ－ｒ及び縮小標準ビューＳＡ－ｒに均等比例的にリサンプリングし、剛***置合わせパラメータＰを縮小剛***置合わせパラメータＰ－ｒに調整してＳＰＥＣＴ画像のＲＡ－ｒ、ＳＡ－ｒ及びＰ－ｒのマッピングデータセットを形成する。同様に、縮小剛***置合わせパラメータＰ－ｒは３つの方向の平行移動媒介変数及び３つの角度の回転媒介変数を含み、ＰはＰ－ｒの回転媒介変数と同じであり、平行移動媒介変数は拡大縮小比例に従って均等比例的に縮小され、前記ＳＡ方向分割ラベルＧは左心室腔、心室壁及び背景の３つの値を含み、背景の値は０であり、左心室腔の値は１であり、左心室壁の値は２である。 Step 1: Acquire a normal view RA of 600 SPECT 3D reconstruction images, manually steer a standard view SA for clinical analysis with the left ventricle centered in the image, and in the standard view SA, image obtain a cardiac image SA-H by cropping an image of 32*32*32 voxels centered at the center of the heart, and manually delineate the ventricular chamber and wall of the left ventricle of the heart to obtain an SA direction segmentation label G; A rigid registration algorithm computes the rigid registration parameter P between the normal view RA and the standard view SA, and the six parameters of the rigid registration parameter P are translation parameters in three directions and rotation in three angles, respectively. is an angular parameter, P = [tx, ty, tz, β, α, γ], and the mapping database of normal view RA, standard view SA, SA direction segment label G and rigid registration parameter P of SPECT images is Form. The normal view RA and standard view SA are equally proportionally resampled into a reduced normal view RA-r and a reduced standard view SA-r of 64*64*64 voxels by linear interpolation, and the rigid body alignment parameter P is the reduced rigid body position RA-r, SA-r and Pr mapping data sets of the SPECT images are formed by adjusting the fit parameter Pr. Similarly, the reduced rigid body alignment parameters Pr include translation parameters in three directions and rotation parameters in three angles, where P is the same as the rotation parameters of Pr, and the translation parameters are The SA direction division label G includes three values of the left ventricular chamber, the ventricular wall and the background, the value of the background is 0, and the value of the left ventricular chamber is 1. , with a value of 2 for the left ventricular wall.

ステップ２：縮小通常ビューＲＡ－ｒを特徴抽出ネットワークに入力し、畳み込みモジュールを利用して縮小通常ビューＲＡ－ｒに対して特徴抽出を行い、完全接続拡張を行って６次元の固有ベクトルＴ－ｒを形成し、Ｐ－ｒとＰとの均等な比例関係を利用してＴ－ｒをＰと同じ比例の固有ベクトルＴに調整し、回転媒介変数が不変であり、平行移動媒介変数が均等比例的に拡大され、Ｔ－ｒとＴの６次元ベクトルは変位行列Ｍ＝［ｔｘ、ｔｙ、ｔｚ］及び回転行列Ｒ＝［β、α、γ］に分割することができ、Ｒをオイラー角からワールド座標系パラメータに変換する。

Figure 0007270319000004
Step 2: Input the reduced normal view RA-r into the feature extraction network, perform feature extraction on the reduced normal view RA-r using a convolution module, and perform full connection expansion to 6-dimensional eigenvectors Tr and adjusts Tr to the same proportional eigenvector T as P using the evenly proportional relationship between Pr and P, the rotation parameter is invariant and the translation parameter is equally proportional , the 6-dimensional vector of Tr and T can be divided into a displacement matrix M=[tx, ty, tz] and a rotation matrix R=[β, α, γ], where R is the Euler angle to the world Convert to coordinate system parameters.
Figure 0007270319000004

後続の空間変換ネットワークのパラメータ入力に適応するために、再構成変換行列はＴ’＝［Ｒ ＭＴ］である。図２は自動ステアリングモジュールの実施例の構造であり、これは特徴抽出ネットワーク及び空間変換ネットワークを含む。特徴抽出ネットワークの畳み込みモジュールは３×３×３の畳み込みユニット及びＲｅｌｕ活性化関数ユニットからなる。 To accommodate the parameter input of the subsequent spatial transform network, the reconstruction transform matrix is T′=[R M T ]. FIG. 2 is the structure of an embodiment of the autosteering module, which includes a feature extraction network and a spatial transformation network. The convolution module of the feature extraction network consists of a 3x3x3 convolution unit and a Relu activation function unit.

ステップ３：空間変換ネットワークによって固有ベクトルＴ－ｒを通常ビューＲＡ－ｒに適用して予測縮小画像ＳＡ－ｒ’を得て、固有ベクトルＴをＳＰＥＣＴ再構成画像の通常ビューＲＡに適用して予測画像ＳＡ’を得て（図２）、予測画像ＳＡ’の中心を中心として、３２＊３２＊３２ボクセルの画像を切り取って心臓部分を抽出し、心臓画像ＳＡ－Ｈ’を形成する。ＳＡ－ｒ’画像の勾配マップＳＡ－Ｇを計算して生成し（図３）、ここで、勾配マップＳＡ－Ｇを取得する計算式は、以下の式２に示され、

Figure 0007270319000005
ここで、ｇｘ、ｇｙ、ｇｚはそれぞれｘ、ｙ、ｚ方向の勾配であり、それらの計算式は、以下の式３に示され、
Figure 0007270319000006
 ここで、ｉ、ｊ、ｋは画像内のｘ、ｙ、ｚの３つの方向の座標インデックスである。 Step 3: Apply the eigenvector Tr to the normal view RA-r by the spatial transform network to obtain the predicted reduced image SA-r', and apply the eigenvector T to the normal view RA of the SPECT reconstructed image to obtain the predicted image SA ' (FIG. 2), and centering on the center of the predicted image SA', an image of 32*32*32 voxels is cropped to extract the heart portion to form a heart image SA-H'. Calculate and generate the gradient map SA-G of the SA-r′ image (FIG. 3), where the formula for obtaining the gradient map SA-G is shown in Equation 2 below,
Figure 0007270319000005
 Here, g x , g y , g z are the gradients in the x, y, and z directions, respectively, and their calculation formulas are shown in Equation 3 below,
Figure 0007270319000006
 where i, j, k are coordinate indices in the three directions x, y, z in the image.

ステップ４：さらに心臓画像ＳＡ－Ｈ’と勾配マップＳＡ－Ｇを２チャンネル画像に融合し、３次元Ｕ－ＮＥＴネットワークを利用して予測された左心室の構造分割結果Ｆを取得する。図３は画像分割モジュールの実施例の構造であり、畳み込みモジュールは３×３×３の畳み込みユニット（Ｃｏｎｖｏｌｕｔｉｏｎ、Ｃｏｎｖ．）及びＲｅｌｕ活性化関数ユニットからなり、アップサンプリングモジュールは３×３×３の転置畳み込みユニット（Ｔｒａｎｓｐｏｓｅ Ｃｏｎｖｏｌｕｔｉｏｎ、Ｔｒａｎｓ．Ｃｏｎｖ．）及びＲｅｌｕ活性化関数ユニットからなる。最後のモジュールは１×１×１の畳み込みユニットを介してｓｏｆｔｍａｘ層に接続されて最終的な分割結果の出力を実現する。破線は、データのコピー及びカット操作を行って画像と特徴を結合するバイレベル情報を表す。 Step 4: Further, the heart image SA-H' and the gradient map SA-G are fused into a two-channel image, and the predicted left ventricular structure segmentation result F is obtained using the three-dimensional U-NET network. FIG. 3 shows the structure of an embodiment of the image segmentation module, where the convolution module consists of a 3×3×3 convolution unit (Convolution, Conv.) and a Relu activation function unit, and the upsampling module is a 3×3×3 It consists of a transpose convolution unit (Trans.Conv.) and a Relu activation function unit. The final module is connected to the softmax layer through a 1×1×1 convolution unit to realize the output of the final segmentation result. Dashed lines represent bi-level information that performs data copy and cut operations to combine images and features.

ステップ５：予測縮小画像ＳＡ－ｒ’と縮小標準ビューＲＡ－ｒとの間の画像損失関数Ｌ－ｉｍｇ、固有ベクトルＴ－ｒと剛***置合わせパラメータＰ－ｒとの間のパラメータ損失関数Ｌ－ｐａｒ、及び予測分割結果ＦとＳＡ方向分割ラベルＧとの間のラベル損失関数Ｌ－ｓｅｇを構築し、ネットワークを訓練して最適化して、ＳＰＥＣＴの３次元画像の左心室の自動分割モデルを取得する。具体的な実現は以下のサブステップに分けられる。 Step 5: Image loss function L-img between predicted reduced image SA-r′ and reduced normal view RA-r, parameter loss function L-par between eigenvectors Tr and rigid body registration parameters Pr , and construct a label loss function L-seg between the predicted segmentation result F and the SA direction segmentation label G, train and optimize the network to obtain an automatic segmentation model of the left ventricle of the three-dimensional image of SPECT . The specific implementation is divided into the following substeps.

サブステップ（５．１）では、自動分割モデルの訓練はマルチタスク学習プロセスであり、その損失行列は、ＲＡ－ｒからＳＡ－ｒへのステアリングモデルの制約情報、及びＳＡ－Ｈから分割結果Ｆへの分割モデルの制約情報を含み、マルチタスクの学習目標は、ネットワーク全体に対する制約を共同で形成してこの自動分割モデルを訓練する。モデルの全体的な損失行列は、画像損失関数Ｌ－ｉｍｇ、パラメータ損失関数Ｌ－ｐａｒ及びラベル損失関数Ｌ－ｓｅｇの共同損失関数Ｌ＝δＬ－ｐａｒ＋μＬ－ｉｍｇ＋λＬ－ｓｅｇとして設計され、δ、μ及びλは重み係数であり、経験に応じてそれぞれ値を１、１００及び１０とする。 In sub-step (5.1), the training of the automatic split model is a multi-task learning process whose loss matrix is the constraint information of the steering model from RA-r to SA-r and the split result F from SA-H. The multitasking learning goal jointly forms constraints on the entire network to train this automatic split model. The overall loss matrix of the model is designed as the joint loss function L=δL-par+μL-img+λL-seg of the image loss function L-img, the parameter loss function L-par and the label loss function L-seg, where δ, μ and λ is a weighting factor and takes values of 1, 100 and 10, respectively, according to experience.

サブステップ（５．２）では、ステアリングモデル部分の画像損失関数Ｌ－ｉｍｇは予測画像と参照画像との間の平均二乗誤差関数を用い、対応する剛***置合わせパラメータ損失関数Ｌ－ｐａｒは絶対値損失関数Ｌ１又はノルム損失関数Ｌ２を用いる。 In sub-step (5.2), the image loss function L-img of the steering model part uses the mean squared error function between the predicted image and the reference image, and the corresponding rigid body registration parameter loss function L-par is the absolute value A loss function L1 or a normed loss function L2 is used.

サブステップ（５．３）では、分割モデル部分のラベル損失関数Ｌ－ｓｅｇはＤｉｃｅ－ｌｏｓｓ損失関数を用い、それぞれ左心室腔及び左心室壁に対してラベル損失関数Ｌ－ｓｅｇ－１及びＬ－ｓｅｇ－２を計算し、最終的にＬ－ｓｅｇ＝Ｌ－ｓｅｇ－２＋Ｌ－ｓｅｇ－１となる。 In sub-step (5.3), the label loss function L-seg of the split model part uses the Dice-loss loss function, label loss functions L-seg-1 and L- Calculate seg-2 and finally L-seg=L-seg-2+L-seg-1.

上記実施例は本発明を解釈して説明するためのものであり、本発明を制限するものではなく、本発明の精神及び特許請求の範囲の保護範囲内に、本発明に対して行った任意の修正や変更はいずれも本発明の保護範囲に含まれるものとなる。


The above examples are for the purpose of interpreting and explaining the present invention, and are not intended to limit the present invention. Any modification or change shall fall within the protection scope of the present invention.

Claims (10)

ＳＰＥＣＴの３次元再構成画像の左心室自動分割方法であって、以下のステップ１～５を含み、 前記ステップ１では、ＳＰＥＣＴの３次元再構成画像の通常ビューＲＡに対して縮小及びリサンプリングを行い、リサンプリングされた縮小通常ビューＲＡ－ｒを、畳み込みモジュールと完全接続層からなる特徴抽出ネットワークの入力として使用し、畳み込みモジュールを利用して縮小通常ビューＲＡ－ｒに対して特徴抽出を行い、完全接続拡張を行って、３つの方向の平行移動媒介変数及び３つの角度の回転媒介変数を含む６次元の固有ベクトルＴ－ｒを形成し、 前記ステップ２では、通常ビューＲＡと縮小通常ビューＲＡ－ｒとの均等比例関係を利用してＴ－ｒを固有ベクトルＴに調整し、回転媒介変数が不変であり、平行移動媒介変数が均等比例的に拡大され、 前記ステップ３では、空間変換ネットワークを利用して固有ベクトルＴ－ｒを縮小通常ビューＲＡ－ｒに適用して予測縮小画像ＳＡ－ｒ’を得るとともに、固有ベクトルＴを通常ビューＲＡに適用して予測画像ＳＡ’を取得し、 前記ステップ４では、予測画像ＳＡ’の中心を中心として、画像内の心臓部分を切り取って、予測心臓画像ＳＡ－Ｈ’を形成するとともに、予測心臓画像ＳＡ－Ｈ’に対して画像勾配計算を行って、対応する勾配マップＳＡ－Ｇを取得し、 前記ステップ５では、予測心臓画像ＳＡ－Ｈ’と勾配マップＳＡ－Ｇを２チャンネル画像に融合し、３次元Ｕ－ＮＥＴネットワークのダウンサンプリング及びアップサンプリングによって画像特徴を抽出し、ｓｏｆｔｍａｘ層によって分割処理を行って、予測された左心室の構造分割結果Ｆを取得し、 前記特徴抽出ネットワーク、空間変換ネットワーク及び３次元Ｕ－ＮＥＴネットワークは、マルチタスクの共同学習を用いて共同で訓練され、訓練の総損失関数は、Ｌ＝δＬ－ｐａｒ＋μＬ－ｉｍｇ＋λＬ－ｓｅｇであり、 ここで、δ、μ及びλは重み係数であり、Ｌ－ｉｍｇは予測縮小画像ＳＡ－ｒ’と縮小標準ビューＳＡ－ｒとの間の画像損失関数であり、Ｌ－ｐａｒは固有ベクトルＴ－ｒと剛***置合わせパラメータＰ－ｒとの間のパラメータ損失関数であり、Ｌ－ｓｅｇは予測分割結果ＦとＳＡ方向分割ラベルＧとの間のラベル損失関数であり、前記縮小標準ビューＳＡ－ｒは、ＳＰＥＣＴの３次元再構成画像の通常ビューＲＡを手動でステアリングして均等比例的に縮小することにより取得され、前記剛***置合わせパラメータＰ－ｒは、剛***置合わせアルゴリズムによって計算された縮小通常ビューＲＡ－ｒと縮小標準ビューＳＡ－ｒとの間の位置合わせパラメータであり、３つの方向の平行移動媒介変数及び３つの角度の回転媒介変数を含み、前記ＳＡ方向分割ラベルＧは、左心室腔、心室壁及び背景の３つの値を含み、標準ビューＳＡの中心を中心として心臓画像ＳＡ－Ｈを切り取って心臓左心室の心室腔及び心室壁を手動で描写することにより取得される ことを特徴とするＳＰＥＣＴの３次元再構成画像の左心室自動分割方法。 A method for automatic left ventricular segmentation of SPECT 3D reconstructed images, comprising the following steps 1 to 5, wherein said step 1 performs reduction and resampling for a normal view RA of SPECT 3D reconstructed images. and using the resampled reduced normal view RA-r as input for a feature extraction network consisting of a convolution module and a fully connected layer, which utilizes the convolution module to perform feature extraction on the reduced normal view RA-r. , performs full connect expansion to form a 6-dimensional eigenvector Tr containing three directional translational parameters and three angular rotation parameters; Tr is adjusted to the eigenvector T using the equal proportional relationship with -r, the rotation parameter is unchanged, the translation parameter is expanded evenly proportionally, and in step 3, the spatial transformation network is applying the eigenvector Tr to the reduced normal view RA-r to obtain a predicted reduced image SA-r' and applying the eigenvector T to the normal view RA to obtain a predicted image SA'; Now, centering on the center of the predicted image SA', the heart portion in the image is cut out to form a predicted heart image SA-H', and the predicted heart image SA-H' is subjected to image gradient calculation, Acquire the corresponding gradient maps SA-G, and in step 5, fuse the predicted cardiac image SA-H' and the gradient maps SA-G into a two-channel image by downsampling and upsampling of the 3D U-NET network. extracting image features and performing segmentation processing by softmax layers to obtain a predicted left ventricular structure segmentation result F; is jointly trained using learning, the total loss function of training is L = δL-par + µL-img + λL-seg, where δ, µ and λ are weighting factors, and L-img is the predicted reduced image SA -r′ and the reduced standard view SA-r, L-par is the parameter loss function between the eigenvectors Tr and the rigid body registration parameters Pr, and L-seg is is the label loss function between the predicted split result F and the SA direction split label G, the reduced standard view SA-r is uniformly proportionally reduced by manually steering the normal view RA of the 3D reconstructed image of SPECT. Obtained by shrinking, said rigid registration parameter Pr is the registration parameter between the reduced normal view RA-r and the reduced standard view SA-r calculated by the rigid registration algorithm, and three Including a directional translation parameter and three angular rotation parameters, the SA direction segmentation label G includes three values of left ventricular chamber, ventricular wall and background, and the cardiac image is centered around the center of the standard view SA. A method for automatic left ventricular segmentation of a three-dimensional reconstructed image of SPECT, which is obtained by manually delineating the ventricular chamber and ventricular wall of the left ventricle of the heart by cutting SA-H. 前記縮小通常ビューＲＡ－ｒ、縮小標準ビューＳＡ－ｒのサイズは６４＊６４＊６４ボクセルであり、心臓画像ＳＡ－Ｈと予測心臓画像ＳＡ－Ｈ’のサイズは３２＊３２＊３２ボクセルである ことを特徴とする請求項１に記載のＳＰＥＣＴの３次元再構成画像の左心室自動分割方法。 The sizes of the reduced normal view RA-r and the reduced standard view SA-r are 64*64*64 voxels, and the sizes of the cardiac image SA-H and the predicted cardiac image SA-H' are 32*32*32 voxels. The method for automatically segmenting the left ventricle of a three-dimensional reconstruction image of SPECT according to claim 1, characterized in that: 前記ステップ３では、前記空間変換ネットワークは変換行列Ｐ＝［Ｒ ＭＴ］を構築することにより予測画像を取得し、ここで、Ｍ＝［ｔｘ、ｔｙ、ｔｚ］は変位行列を表し、ｔｘ、ｔｙ、ｔｚはそれぞれ固有ベクトルにおける対応する３つの方向の平行移動媒介変数であり、Ｒは回転行列であり、ワールド座標系で以下の式１に表され、
Figure 0007270319000007


Ｒ＝［β、α、γ］は回転行列のオイラー角表現である ことを特徴とする請求項１に記載のＳＰＥＣＴの３次元再構成画像の左心室自動分割方法。 In said step 3, said spatial transformation network obtains a predicted image by constructing a transformation matrix P = [RM T ], where M = [tx, ty, tz] represents a displacement matrix, tx, ty, tz are translation parameters in the corresponding three directions in the eigenvectors, respectively, and R is the rotation matrix, expressed in the following equation 1 in the world coordinate system,
Figure 0007270319000007


The SPECT three-dimensional reconstructed image left ventricle automatic segmentation method according to claim 1, characterized in that R = [β, α, γ] is an Euler angle representation of a rotation matrix. 前記勾配マップＳＡ－Ｇを取得する計算式は、以下の式２に示され、
Figure 0007270319000008


ここで、ｇｘ、ｇｙ、ｇｚはそれぞれｘ、ｙ、ｚ方向の勾配であり、それらの計算式は、以下の式３に示され、
Figure 0007270319000009
 ここで、ｉ、ｊ、ｋは画像内のｘ、ｙ、ｚの３つの方向の座標インデックスである ことを特徴とする請求項１に記載のＳＰＥＣＴの３次元再構成画像の左心室自動分割方法。 The formula for obtaining the gradient map SA-G is shown in Formula 2 below,
Figure 0007270319000008


Here, g x , g y , g z are the gradients in the x, y, and z directions, respectively, and their calculation formulas are shown in Equation 3 below,
Figure 0007270319000009
 The SPECT three-dimensional reconstructed image left ventricle automatic segmentation method according to claim 1, wherein i, j, and k are coordinate indices in three directions of x, y, and z in the image. . 前記特徴抽出ネットワークの畳み込みモジュール、完全接続層の数はいずれも３つであり、各畳み込みモジュールは畳み込み層及びプーリング層を含み、前記３次元Ｕ－ＮＥＴネットワークのダウンサンプリング及びアップサンプリングはいずれも４つであり、ダウンサンプリングは畳み込み層及びプーリング層を含み、アップサンプリングは畳み込み層及び逆畳み込み層を含む ことを特徴とする請求項１に記載のＳＰＥＣＴの３次元再構成画像の左心室自動分割方法。 The feature extraction network has three convolution modules and fully connected layers, each convolution module includes a convolution layer and a pooling layer, and the three-dimensional U-NET network has four downsampling and upsampling. , downsampling includes a convolution layer and a pooling layer, and upsampling includes a convolution layer and a deconvolution layer. . 前記ＳＡ方向分割ラベルＧには、背景が０に設定され、左心室腔が１に設定され、左心室壁が２に設定される ことを特徴とする請求項１に記載のＳＰＥＣＴの３次元再構成画像の左心室自動分割方法。 The three-dimensional reconstruction of SPECT according to claim 1, wherein the SA direction division label G has a background set to 0, a left ventricular chamber set to 1, and a left ventricular wall set to 2. A method for automated left ventricular segmentation of composed images. 前記δの値は１とされ、前記μの値は１００とされ、前記λの値は１０とされる ことを特徴とする請求項１に記載のＳＰＥＣＴの３次元再構成画像の左心室自動分割方法。 The value of δ is set to 1, the value of μ is set to 100, and the value of λ is set to 10. The automatic left ventricular segmentation of the three-dimensional reconstructed image of SPECT according to claim 1, characterized in that Method. 前記画像損失関数Ｌ－ｉｍｇは平均二乗誤差関数を用いる ことを特徴とする請求項１に記載のＳＰＥＣＴの３次元再構成画像の左心室自動分割方法。 2. The method of claim 1, wherein the image loss function L-img uses a mean squared error function. 前記パラメータ損失関数Ｌ－ｐａｒは絶対値損失関数Ｌ１又はノルム損失関数Ｌ２を用いる ことを特徴とする請求項１に記載のＳＰＥＣＴの３次元再構成画像の左心室自動分割方法。 2. The SPECT three-dimensional reconstruction image left ventricle automatic segmentation method according to claim 1, wherein the parameter loss function L-par uses an absolute value loss function L1 or a norm loss function L2. 前記ラベル損失関数Ｌ－ｓｅｇはＤｉｃｅ－ｌｏｓｓ損失関数を用い、左心室腔及び左心室壁についてラベル損失関数Ｌ－ｓｅｇ－１及びＬ－ｓｅｇ－２をそれぞれ計算し、最終的にＬ－ｓｅｇ＝Ｌ－ｓｅｇ－２＋Ｌ－ｓｅｇ－１となる ことを特徴とする請求項１に記載のＳＰＥＣＴの３次元再構成画像の左心室自動分割方法。
The label loss function L-seg uses a Dice-loss loss function to calculate label loss functions L-seg-1 and L-seg-2 for the left ventricular chamber and left ventricular wall, respectively, and finally L-seg= 2. The SPECT three-dimensional reconstructed image left ventricular automatic segmentation method according to claim 1, wherein L-seg-2+L-seg-1.
JP2022564825A 2021-02-01 2022-01-15 Left ventricle automatic segmentation method of SPECT three-dimensional reconstructed image Active JP7270319B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202110135783.4 2021-02-01
CN202110135783.4A CN112508949B (en) 2021-02-01 2021-02-01 Method for automatically segmenting left ventricle of SPECT three-dimensional reconstruction image
PCT/CN2022/072199 WO2022161192A1 (en) 2021-02-01 2022-01-15 Method for automatically segmenting left ventricle of spect three-dimensional reconstruction image

Publications (2)

Publication Number Publication Date
JP2023516227A JP2023516227A (en) 2023-04-18
JP7270319B2 true JP7270319B2 (en) 2023-05-10

Family

ID=74953088

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022564825A Active JP7270319B2 (en) 2021-02-01 2022-01-15 Left ventricle automatic segmentation method of SPECT three-dimensional reconstructed image

Country Status (3)

Country Link
JP (1) JP7270319B2 (en)
CN (1) CN112508949B (en)
WO (1) WO2022161192A1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508949B (en) * 2021-02-01 2021-05-11 之江实验室 Method for automatically segmenting left ventricle of SPECT three-dimensional reconstruction image
CN113516658B (en) * 2021-09-14 2021-12-17 之江实验室 Automatic steering and segmenting method for left ventricle of PET three-dimensional image
CN113838068A (en) * 2021-09-27 2021-12-24 深圳科亚医疗科技有限公司 Method, apparatus and storage medium for automatic segmentation of myocardial segments
CN116934768B (en) * 2023-08-16 2024-05-10 中国人民解放军总医院 Method and system for improving blood vessel segmentation accuracy in CTA image mode

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019128358A (en) 2019-02-13 2019-08-01 日本メジフィジックス株式会社 Myocardial image display method, myocardial image display processing program, and myocardial image processor
JP2019126567A (en) 2018-01-25 2019-08-01 日本メジフィジックス株式会社 Myocardial image display method, myocardial image display processing program, and myocardial image processor

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150099169A (en) * 2014-02-21 2015-08-31 전남대학교병원 Method for measuring myocardial perfusion and method for diagnosing cardiac ischemia using the same
CN107545584B (en) * 2017-04-28 2021-05-18 上海联影医疗科技股份有限公司 Method, device and system for positioning region of interest in medical image
CN107220965B (en) * 2017-05-05 2021-03-09 上海联影医疗科技股份有限公司 Image segmentation method and system
CN109285157A (en) * 2018-07-24 2019-01-29 深圳先进技术研究院 Myocardium of left ventricle dividing method, device and computer readable storage medium
CN109801294A (en) * 2018-12-14 2019-05-24 深圳先进技术研究院 Three-dimensional atrium sinistrum dividing method, device, terminal device and storage medium
CN109584254B (en) * 2019-01-07 2022-12-20 浙江大学 Heart left ventricle segmentation method based on deep full convolution neural network
CN110120051A (en) * 2019-05-10 2019-08-13 上海理工大学 A kind of right ventricle automatic division method based on deep learning
CN110163876B (en) * 2019-05-24 2021-08-17 山东师范大学 Left ventricle segmentation method, system, device and medium based on multi-feature fusion
CN111242956A (en) * 2020-01-09 2020-06-05 西北工业大学 U-Net-based ultrasonic fetal heart and fetal lung deep learning joint segmentation method
CN111340186B (en) * 2020-02-17 2022-10-21 之江实验室 Compressed representation learning method based on tensor decomposition
CN111369537A (en) * 2020-03-05 2020-07-03 上海市肺科医院（上海市职业病防治院） Automatic segmentation system and method for pulmonary milled glass nodules
CN111739161B (en) * 2020-07-23 2020-11-20 之江实验室 Human body three-dimensional reconstruction method and device under shielding condition and electronic equipment
CN112508949B (en) * 2021-02-01 2021-05-11 之江实验室 Method for automatically segmenting left ventricle of SPECT three-dimensional reconstruction image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019126567A (en) 2018-01-25 2019-08-01 日本メジフィジックス株式会社 Myocardial image display method, myocardial image display processing program, and myocardial image processor
JP2019128358A (en) 2019-02-13 2019-08-01 日本メジフィジックス株式会社 Myocardial image display method, myocardial image display processing program, and myocardial image processor

Also Published As

Publication number Publication date
CN112508949B (en) 2021-05-11
JP2023516227A (en) 2023-04-18
CN112508949A (en) 2021-03-16
WO2022161192A1 (en) 2022-08-04

Similar Documents

Publication Publication Date Title
JP7270319B2 (en) Left ventricle automatic segmentation method of SPECT three-dimensional reconstructed image
Tobon-Gomez et al. Benchmark for algorithms segmenting the left atrium from 3D CT and MRI datasets
Ecabert et al. Segmentation of the heart and great vessels in CT images using a model-based adaptation framework
Li et al. Establishing a normative atlas of the human lung: intersubject warping and registration of volumetric CT images
Lorenz et al. A comprehensive shape model of the heart
CA2606366C (en) Registration of images of an organ using anatomical features outside the organ
JP4918048B2 (en) Image processing apparatus and method
CN110838140A (en) Ultrasound and nuclear magnetic image registration fusion method and device based on hybrid supervised learning
CN114359310B (en) 3D ventricular nuclear magnetic resonance video segmentation optimization system based on deep learning
JP7205034B2 (en) Method, image processing device and storage medium for determining midsagittal plane in magnetic resonance images
US9129392B2 (en) Automatic quantification of mitral valve dynamics with real-time 3D ultrasound
WO2023040628A1 (en) Method for automatically turning and segmenting left ventricle in pet three-dimensional image
CN115830016B (en) Medical image registration model training method and equipment
Camara et al. Explicit incorporation of prior anatomical information into a nonrigid registration of thoracic and abdominal CT and 18-FDG whole-body emission PET images
CN115511997A (en) Angiography image processing method and system
Dahiya et al. Integrated 3D anatomical model for automatic myocardial segmentation in cardiac CT imagery
CN112164447B (en) Image processing method, device, equipment and storage medium
Porrill et al. A semiautomatic tool for 3D medical image analysis using active contour models
Ferrant et al. Multiobject segmentation of brain structures in 3d mri using a computerized atlas
CN111862320B (en) Automatic steering method for SPECT three-dimensional reconstruction image to standard view
Li et al. 3D intersubject warping and registration of pulmonary CT images for a human lung model
Zhang et al. Coronary artery motion modeling from 3D cardiac CT sequences using template matching and graph search
CN114820754B (en) Automatic positioning method for four-cavity heart based on template matching
Shimizu et al. Simultaneous extraction of multiple organs from abdominal CT
KR102629331B1 (en) Method for coronary arteries non-rigid registration using hierarchical deformation in computed tomography angiography images recording medium and device for performing the method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221025

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20221107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230418

R150 Certificate of patent or registration of utility model

Ref document number: 7270319

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150