JP7143008B2 - 深層学習に基づく医用画像検出方法及び装置、電子機器及びコンピュータプログラム - Google Patents
深層学習に基づく医用画像検出方法及び装置、電子機器及びコンピュータプログラム Download PDFInfo
- Publication number
- JP7143008B2 JP7143008B2 JP2021541113A JP2021541113A JP7143008B2 JP 7143008 B2 JP7143008 B2 JP 7143008B2 JP 2021541113 A JP2021541113 A JP 2021541113A JP 2021541113 A JP2021541113 A JP 2021541113A JP 7143008 B2 JP7143008 B2 JP 7143008B2
- Authority
- JP
- Japan
- Prior art keywords
- map
- feature
- feature map
- slice
- medical image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 67
- 238000013135 deep learning Methods 0.000 title claims description 38
- 238000004590 computer program Methods 0.000 title claims description 9
- 238000012545 processing Methods 0.000 claims description 69
- 238000000034 method Methods 0.000 claims description 57
- 238000013528 artificial neural network Methods 0.000 claims description 51
- 230000004927 fusion Effects 0.000 claims description 29
- 230000010339 dilation Effects 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 24
- 230000003190 augmentative effect Effects 0.000 claims description 23
- 238000002591 computed tomography Methods 0.000 description 30
- 238000010586 diagram Methods 0.000 description 22
- 238000005516 engineering process Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 14
- 238000000605 extraction Methods 0.000 description 12
- 238000013473 artificial intelligence Methods 0.000 description 11
- 230000003902 lesion Effects 0.000 description 11
- 230000001186 cumulative effect Effects 0.000 description 8
- 230000009467 reduction Effects 0.000 description 8
- 230000001976 improved effect Effects 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 238000003062 neural network model Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000005075 mammary gland Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Description
複数枚のスライスマップを含む検出すべき医用画像を取得するステップと、
前記検出すべき医用画像における各スライスマップに対して、ディープニューラルネットワークにより当該スライスマップのN(Nは1よりも大きい整数)枚の基本特徴マップを抽出するステップと、
前記検出すべき医用画像における各スライスマップに対して、前記ディープニューラルネットワークにより当該スライスマップのN枚の基本特徴マップに対して特徴融合を行って、当該スライスマップのM(Mは1よりも大きい整数)枚の拡張特徴マップを取得するステップと、
前記検出すべき医用画像における各スライスマップに対して、前記ディープニューラルネットワークにより当該スライスマップのM枚の拡張特徴マップに対して階層的な膨張畳み込み操作をそれぞれ実行することにより、当該スライスマップの各拡張特徴マップの重畳特徴マップを生成するステップと、
前記ディープニューラルネットワークにより前記検出すべき医用画像における各スライスマップの重畳特徴マップに基づいて、前記検出すべき医用画像における関心領域位置情報及びその信頼度を予測するステップとを含む。
複数枚のスライスマップを含む検出すべき医用画像を取得するように配置される画像取得モジュールと、
前記検出すべき医用画像における各スライスマップに対して、ディープニューラルネットワークにより当該スライスマップのN(Nは1よりも大きい整数)枚の基本特徴マップを抽出するように配置される特徴抽出モジュールと、
前記検出すべき医用画像における各スライスマップに対して、前記ディープニューラルネットワークにより当該スライスマップのN枚の基本特徴マップに対して特徴融合を行って、当該スライスマップのM(Mは1よりも大きい整数)枚の拡張特徴マップを取得するように配置される特徴融合モジュールと、
前記検出すべき医用画像における各スライスマップに対して、前記ディープニューラルネットワークにより当該スライスマップのM枚の拡張特徴マップに対して階層的な膨張畳み込み操作をそれぞれ実行して、当該スライスマップの各拡張特徴マップの重畳特徴マップを生成するように配置される膨張畳み込みモジュールと、
前記ディープニューラルネットワークにより、前記検出すべき医用画像における各スライスマップの重畳特徴マップに基づいて、前記検出すべき医用画像における関心領域位置情報及びその信頼度を予測するように配置される関心領域予測モジュールとを含む。
当該スライスマップのi枚目の低層特徴マップに対して畳み込み処理を行い、当該スライスマップのj枚目の高層特徴マップに対してアップサンプリング処理を行い、i枚目の低層特徴マップに対して畳み込み処理を行って得られた特徴マップと、j枚目の高層特徴マップに対してアップサンプリング処理を行って得られた特徴マップとを加算することで、当該スライスマップのk枚目の拡張特徴マップを取得することを含んでもよい。
なお、1≦i<A、1<j≦B、1<k≦M、且つi、j、kは整数である。
当該スライスマップのA枚目の低層特徴マップに対して畳み込み処理を行って、当該スライスマップの1枚目の高層特徴マップを、1枚目の拡張特徴マップとして取得することを含んでもよい。
当該スライスマップの3枚目の低層特徴マップに対して畳み込み処理を行って、当該スライスマップの1枚目の高層特徴マップを、1枚目の拡張特徴マップとして取得し、
当該スライスマップの2枚目の低層特徴マップに対して畳み込み処理を行い、当該スライスマップの1枚目の高層特徴マップに対してアップサンプリング処理を行い、2枚目の低層特徴マップに対して畳み込み処理を行って得られた特徴マップと、1枚目の高層特徴マップに対してアップサンプリング処理を行って得られた特徴マップとを加算することで、当該スライスマップ の2枚目の高層特徴マップを、2枚目の拡張特徴マップとして取得し、
当該スライスマップの1枚目の低層特徴マップに対して畳み込み処理を行い、当該スライスマップの2枚目の高層特徴マップに対してアップサンプリング処理を行い、1枚目の低層特徴マップに対して畳み込み処理を行って得られた特徴マップと、2枚目の高層特徴マップに対してアップサンプリング処理を行って得られた特徴マップとを加算することで、当該スライスマップの3枚目の高層特徴マップを、3枚目の拡張特徴マップとして取得することを含んでもよい。
M枚の拡張特徴マップのそれぞれに対して、K個の膨張畳み込み層により当該拡張特徴マップをそれぞれ処理して、当該拡張特徴マップのK枚の膨張特徴マップを取得し、Kは1よりも大きい整数であり、
M枚の拡張特徴マップのそれぞれに対して、通常の畳み込み層により当該拡張特徴マップを処理して、当該拡張特徴マップの畳み込み特徴マップを取得し、
M枚の拡張特徴マップのそれぞれに対して、当該拡張特徴マップのK枚の膨張特徴マップ及び畳み込み特徴マップに基づいて、当該拡張特徴マップの重畳特徴マップを取得することを含んでもよい。
当該拡張特徴マップのK枚の膨張特徴マップと畳み込み特徴マップとを結合することにより、当該拡張特徴マップのカスケード特徴マップを取得し、
当該拡張特徴マップのカスケード特徴マップに基づいて、K個の膨張畳み込み層及び通常の畳み込み層それぞれの重みを取得し、
当該拡張特徴マップのK枚の膨張特徴マップ、及び畳み込み特徴マップ、K個の膨張畳み込み層及び通常の畳み込み層それぞれの重みに基づいて、当該拡張特徴マップの重畳特徴マップを取得することを含んでもよい。
検出すべき医用画像における各スライスマップの重畳特徴マップを処理して、検出すべき医用画像の初期関心領域位置情報及びその初期信頼度を取得し、
初期関心領域位置情報及びその初期信頼度を処理して、検出すべき医用画像の関心領域位置情報及びその信頼度を取得することを含んでもよい。
検出すべき医用画像における各スライスマップのd枚目の重畳特徴マップに基づいてd枚目の深層特徴マップを取得し、dは1以上且つM以下の整数であり
M枚の深層特徴マップを仮分類して、検出すべき医用画像の初期関心領域位置情報及びその初期信頼度を取得することを含んでもよい。
当該スライスマップのi枚目の低層特徴マップに対して畳み込み処理を行い、当該スライスマップのj枚目の高層特徴マップに対してアップサンプリング処理を行い、前記i枚目の低層特徴マップに対して畳み込み処理を行って得られた特徴マップと、j枚目の高層特徴マップに対してアップサンプリング処理を行って得られた特徴マップとを加算することで、当該スライスマップのk番目の拡張特徴マップを取得するように配置されてもよく、
1≦i<A、1<j≦B、1<k≦M、且つi、j、kは整数である。
当該スライスマップのA枚目の低層特徴マップに対して畳み込み処理を行って、当該スライスマップの1枚目の高層特徴マップを、1枚目の拡張特徴マップとして取得するように配置されてもよい。
当該スライスマップの3枚目の低層特徴マップに対して畳み込み処理を行って、当該スライスマップの1枚目の高層特徴マップを、1枚目の拡張特徴マップとして取得し、
当該スライスマップの2枚目の低層特徴マップに対して畳み込み処理を行い、当該スライスマップの1枚目の高層特徴マップに対してアップサンプリング処理を行い、2枚目の低層特徴マップに対して畳み込み処理を行って得られた特徴マップと、1枚目の高層特徴マップに対してアップサンプリング処理を行って得られた特徴マップとを加算することで、当該スライスマップの2枚目の高層特徴マップを、2枚目の拡張特徴マップとして取得し、
当該スライスマップの1枚目の低層特徴マップに対して畳み込み処理を行い、当該スライスマップの2枚目の高層特徴マップに対してアップサンプリング処理を行い、1枚目の低層特徴マップに対して畳み込み処理を行って得られた特徴マップと、2枚目の高層特徴マップに対してアップサンプリング処理を行って得られた特徴マップとを加算することで、当該スライスマップの3枚目の高層特徴マップを、3枚目の拡張特徴マップとして取得するように配置されてもよい。
前記M枚の拡張特徴マップのそれぞれについて、K個の膨張畳み込み層により、当該拡張特徴マップをそれぞれ処理して、当該拡張特徴マップのK枚の膨張特徴マップを取得し、前記Kは1よりも大きい整数であるように配置される膨張特徴取得ユニットと、
前記M枚の拡張特徴マップのそれぞれについて、通常の畳み込み層により当該拡張特徴マップを処理して、当該拡張特徴マップの畳み込み特徴マップを取得するように配置される畳み込み特徴取得ユニットと、
前記M枚の拡張特徴マップのそれぞれに対して、当該拡張特徴マップのK枚の膨張特徴マップ及び畳み込み特徴マップに基づいて、当該拡張特徴マップの重畳特徴マップを取得するように配置される重畳特徴取得ユニットとを含んでもよい。
当該拡張特徴マップのK枚の膨張特徴マップと畳み込み特徴マップとを結合して、当該拡張特徴マップのカスケード特徴マップを取得し、
当該拡張特徴マップのカスケード特徴マップに基づいて、K個の膨張畳み込み層及び通常の畳み込み層それぞれの重みを取得し、
当該拡張特徴マップのK枚の膨張特徴マップ及び畳み込み特徴マップ、K個の膨張畳み込み層及び通常の畳み込み層それぞれの重みに基づいて、当該拡張特徴マップの重畳特徴マップを取得するように配置されてもよい。
前記検出すべき医用画像における各スライスマップの重畳特徴マップを処理して、前記検出すべき医用画像の初期関心領域位置情報及びその初期信頼度を取得するように配置されることができる仮分類ユニットと、
前記初期関心領域位置情報及びその初期信頼度を処理して、前記検出すべき医用画像の関心領域位置情報及びその信頼度を取得するように配置されることができる関心領域予測ユニットとを含んでもよい。
前記検出すべき医用画像における各スライスマップのd枚目の重畳特徴マップに応じて、d枚の深層特徴マップを取得し、前記dは1以上且つM以下の整数であり、
M枚の深層特徴マップを仮分類し、前記検出すべき医用画像の初期関心領域位置情報及びその初期信頼度を取得するように配置されることができる。
トレーニングデータセットを取得し、前記トレーニングデータセットは、関心領域位置情報及びその信頼度がラベリングされた医用画像を含むように配置されるトレーニングセット取得モジュールと、
前記医用画像における関心領域位置情報及びその信頼度がラベリングされた1枚のスライスマップ、及びそれに上下隣接する2枚のスライスマップを取得するように配置されるスライスマップ取得モジュールと、
前記医用画像における関心領域位置情報及びその信頼度がラベリングされた1枚のスライスマップ、及びそれに上下隣接する2枚のスライスマップにより、前記ディープニューラルネットワークをトレーニングするように配置されるモデルトレーニングモジュールとをさらに含む。
又は動作を実行する専用のハードウェアベースのシステムで実施することも、又は専用のハードウェアとコンピュータの命令の組み合わせで実施することも可能であることに留意されたい。
820 特徴抽出モジュール
830 特徴融合モジュール
840 膨張畳み込みモジュール
850 関心領域予測モジュール
905 I/Oインターフェース
906 入力部
907 出力部
908 記憶部
909 通信部
910 ドライバ
911 リムーバブル媒体
Claims (15)
- 電子機器が実行する、深層学習に基づく医用画像検出方法であって、
複数枚のスライスマップを含む、検出すべき医用画像を取得するステップと、
前記検出すべき医用画像における各スライスマップに対して、ディープニューラルネットワークにより当該スライスマップのN(Nは1よりも大きい整数)枚の基本特徴マップを抽出するステップと、
前記検出すべき医用画像における各スライスマップに対して、前記ディープニューラルネットワークにより当該スライスマップのN枚の基本特徴マップに対して特徴融合を行うことにより、当該スライスマップのM(Mは1よりも大きい整数)枚の拡張特徴マップを取得するステップと、
前記検出すべき医用画像における各スライスマップに対して、前記ディープニューラルネットワークにより当該スライスマップのM枚の拡張特徴マップに対して階層的な膨張畳み込み操作をそれぞれ実行することにより、当該スライスマップの各拡張特徴マップの重畳特徴マップを生成するステップと、
前記ディープニューラルネットワークにより前記検出すべき医用画像における各スライスマップの重畳特徴マップに基づいて、前記検出すべき医用画像における関心領域位置情報及びその信頼度を予測するステップとを含む方法。 - 前記N枚の基本特徴マップは、A枚の低層特徴マップと、B枚の高層特徴マップとを含み、前記AとBの両方が1よりも大きい整数であり、
前記ディープニューラルネットワークにより当該スライスマップのN枚の基本特徴マップに対して特徴融合を行うことにより、当該スライスマップのM枚の拡張特徴マップを取得するステップは、
当該スライスマップのi枚目の低層特徴マップに対して畳み込み処理を行い、当該スライスマップのj枚目の高層特徴マップに対してアップサンプリング処理を行い、前記i枚目の低層特徴マップに対して畳み込み処理を行って得られた特徴マップと、j枚目の高層特徴マップに対してアップサンプリング処理を行って得られた特徴マップとを加算することで、当該スライスマップのk枚目の拡張特徴マップを取得するステップを含み、
1≦i<A、1<j≦B、1<k≦M、且つi、j、kが整数である請求項1に記載の方法。 - 前記N枚の基本特徴マップは、A枚の低層特徴マップとB枚の高層特徴マップとを含み、前記AとBの両方が1よりも大きい整数であり、
前記ディープニューラルネットワークにより当該スライスマップのN枚の基本特徴マップに対して特徴融合を行うことにより、当該スライスマップのM枚の拡張特徴マップを取得するステップは、
当該スライスマップのA枚目の低層特徴マップに対して畳み込み処理を行って、当該スライスマップの1枚目の高層特徴マップを、1枚目の拡張特徴マップとして取得することを含む請求項1に記載の方法。 - 前記A=3、前記B=3、前記M=3の場合、前記ディープニューラルネットワークにより当該スライスマップのN枚の基本特徴マップに対して特徴融合を行って、当該スライスマップのM枚の拡張特徴マップを取得するステップは、
当該スライスマップの3枚目の低層特徴マップに対して畳み込み処理を行って、当該スライスマップの1枚目の高層特徴マップを、1枚目の拡張特徴マップとして取得するステップと、
当該スライスマップの2枚目の低層特徴マップに対して畳み込み処理を行い、当該スライスマップの1枚目の高層特徴マップに対してアップサンプリング処理を行い、2枚目の低層特徴マップに対して畳み込み処理を行って得られた特徴マップと、1枚目の高層特徴マップに対してアップサンプリング処理を行って得られた特徴マップとを加算することで、当該スライスマップの2枚目の高層特徴マップを、2枚目の拡張特徴マップとして取得するステップと、
当該スライスマップの1枚目の低層特徴マップに対して畳み込み処理を行い、当該スライスマップの2枚目の高層特徴マップに対してアップサンプリング処理を行い、1枚目の低層特徴マップに対して畳み込み処理を行って得られた特徴マップと、2枚目の高層特徴マップに対してアップサンプリング処理を行って得られた特徴マップとを加算することで、当該スライスマップの3枚目の高層特徴マップを、3枚目の拡張特徴マップとして取得するステップを含む請求項2又は3に記載の方法。 - 前記ディープニューラルネットワークにより当該スライスマップのM枚の拡張特徴マップに対して階層的な膨張畳み込み操作をそれぞれ実行して、各拡張特徴マップの重畳特徴マップを生成するステップは、
前記M枚の拡張特徴マップのそれぞれに対して、K(Kは1よりも大きい整数)個の膨張畳み込み層により当該拡張特徴マップをそれぞれ処理することにより、当該拡張特徴マップのK枚の膨張特徴マップを取得するステップと
前記M枚の拡張特徴マップのそれぞれに対して、通常の畳み込み層により当該拡張特徴マップを処理することにより、当該拡張特徴マップの畳み込み特徴マップを取得するステップと、
前記M枚の拡張特徴マップのそれぞれに対して、当該拡張特徴マップのK枚の膨張特徴マップ及び畳み込み特徴マップに基づいて、当該拡張特徴マップの重畳特徴マップを取得するステップとを含む請求項1~4の何れか1項に記載の方法。 - 前記当該拡張特徴マップのK枚の膨張特徴マップ及び畳み込み特徴マップに基づいて、当該拡張特徴マップの重畳特徴マップを取得するステップは、
当該拡張特徴マップのK枚の膨張特徴マップと畳み込み特徴マップとを結合して、当該拡張特徴マップのカスケード特徴マップを取得するステップと、
当該拡張特徴マップのカスケード特徴マップに基づいて、K個の膨張畳み込み層及び通常の畳み込み層それぞれの重みを取得するステップと、
当該拡張特徴マップのK枚の膨張特徴マップ、及び畳み込み特徴マップ、K個の膨張畳み込み層及び通常の畳み込み層それぞれの重みに基づいて、当該拡張特徴マップの重畳特徴マップを取得するステップとを含む請求項5に記載の方法。 - 前記K個の膨張畳み込み層の受容野が異なる請求項5又は6に記載の方法。
- 前記K個の膨張畳み込み層の畳み込みカーネルパラメータが共有される請求項5又は6に記載の方法。
- 前記ディープニューラルネットワークにより前記検出すべき医用画像における各スライスマップの重畳特徴マップに基づいて、前記検出すべき医用画像における関心領域位置情報及びその信頼度を予測するステップは、
前記検出すべき医用画像における各スライスマップの重畳特徴マップを処理して、前記検出すべき医用画像の初期関心領域位置情報及びその初期信頼度を取得するステップと、
前記初期関心領域位置情報及びその初期信頼度を処理して、前記検出すべき医用画像の関心領域位置情報及びその信頼度を取得するステップとを含む請求項1~8の何れか1項に記載の方法。 - 前記重畳特徴マップを処理し、前記検出すべき医用画像の初期関心領域位置情報及びその初期信頼度を取得するステップは、
前記検出すべき医用画像における各スライスマップのd枚目の重畳特徴マップに基づいて、d(dは1以上且つM以下の整数)枚目の深層特徴マップを取得するステップと、
M枚の深層特徴マップを仮分類して、前記検出すべき医用画像の初期関心領域位置情報及びその初期信頼度を取得するステップとを含む請求項9に記載の方法。 - 関心領域位置情報及びその信頼度がラベリングされた医用画像を含む、トレーニングデータセットを取得するステップと、
前記医用画像における関心領域位置情報及びその信頼度がラベリングされた1枚のスライスマップ、及びそれに上下隣接する2枚のスライスマップを取得するステップと、
前記医用画像における関心領域位置情報及びその信頼度がラベリングされた1枚のスライスマップ、及びそれに上下隣接する2枚のスライスマップにより、前記ディープニューラルネットワークをトレーニングするステップとをさらに含む請求項1~10の何れか1項に記載の方法。 - 前記検出すべき医用画像はCT画像を含む請求項1~11の何れか1項に記載の方法。
- 深層学習に基づく医用画像検出装置であって、
請求項1~12のいずれか一項に記載の深層学習に基づく医用画像検出方法を実行する深層学習に基づく医用画像検出装置。 - 電子機器であって、
1つ又は複数のプロセッサと、
1つ又は複数のプログラムが記憶される記憶装置とを含み、
前記1つ又は複数のプログラムが前記1つ又は複数のプロセッサに実行されると、請求項1~12のいずれか一項に記載の深層学習に基づく医用画像検出方法を実現させる電子機器。 - コンピュータプログラムであって、コンピュータ上で実行されると、コンピュータに請求項1~12のいずれか一項に記載の深層学習に基づく医用画像検出方法を実行させる命令を含むコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910324565.8A CN110111313B (zh) | 2019-04-22 | 2019-04-22 | 基于深度学习的医学图像检测方法及相关设备 |
CN201910324565.8 | 2019-04-22 | ||
PCT/CN2020/081655 WO2020215984A1 (zh) | 2019-04-22 | 2020-03-27 | 基于深度学习的医学图像检测方法及相关设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022518446A JP2022518446A (ja) | 2022-03-15 |
JP7143008B2 true JP7143008B2 (ja) | 2022-09-28 |
Family
ID=67486233
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021541113A Active JP7143008B2 (ja) | 2019-04-22 | 2020-03-27 | 深層学習に基づく医用画像検出方法及び装置、電子機器及びコンピュータプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11861829B2 (ja) |
EP (1) | EP3961500A4 (ja) |
JP (1) | JP7143008B2 (ja) |
CN (1) | CN110111313B (ja) |
WO (1) | WO2020215984A1 (ja) |
Families Citing this family (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110111313B (zh) * | 2019-04-22 | 2022-12-30 | 腾讯科技(深圳)有限公司 | 基于深度学习的医学图像检测方法及相关设备 |
EP3942462B1 (en) * | 2019-04-23 | 2024-03-13 | L'oreal | Convolution neural network based landmark tracker |
CN110516732B (zh) * | 2019-08-22 | 2022-03-15 | 北京地平线机器人技术研发有限公司 | 特征金字塔网络的训练方法、提取图像特征的方法和装置 |
CN110738235B (zh) * | 2019-09-16 | 2023-05-30 | 平安科技(深圳)有限公司 | 肺结核判定方法、装置、计算机设备及存储介质 |
CN111626267B (zh) * | 2019-09-17 | 2022-02-15 | 山东科技大学 | 一种利用空洞卷积的高光谱遥感图像分类方法 |
CN110782430A (zh) * | 2019-09-29 | 2020-02-11 | 郑州金惠计算机***工程有限公司 | 一种小目标的检测方法、装置、电子设备及存储介质 |
CN110942446A (zh) * | 2019-10-17 | 2020-03-31 | 付冲 | 一种基于ct影像的肺结节自动检测方法 |
CN110807788B (zh) * | 2019-10-21 | 2023-07-21 | 腾讯科技(深圳)有限公司 | 医学图像处理方法、装置、电子设备及计算机存储介质 |
CN110852349B (zh) * | 2019-10-21 | 2024-02-20 | 上海联影智能医疗科技有限公司 | 一种图像处理方法、检测方法、相关设备及存储介质 |
CN110991303A (zh) * | 2019-11-27 | 2020-04-10 | 上海智臻智能网络科技股份有限公司 | 一种图像中文本定位方法、装置及电子设备 |
CN110895812A (zh) * | 2019-11-28 | 2020-03-20 | 北京推想科技有限公司 | Ct图像的检测方法、装置、存储介质及电子设备 |
CN111091091A (zh) * | 2019-12-16 | 2020-05-01 | 北京迈格威科技有限公司 | 目标对象重识别特征的提取方法、装置、设备及存储介质 |
CN111222558B (zh) * | 2019-12-31 | 2024-01-30 | 富联裕展科技(河南)有限公司 | 图像处理方法及存储介质 |
CN111310615A (zh) * | 2020-01-23 | 2020-06-19 | 天津大学 | 基于多尺度信息和残差网络的小目标交通标志检测方法 |
CN111508269B (zh) * | 2020-04-23 | 2021-05-18 | 深圳智优停科技有限公司 | 一种基于图像识别的开放式停车位车辆判别方法与装置 |
CN111583210B (zh) * | 2020-04-29 | 2022-03-15 | 北京小白世纪网络科技有限公司 | 基于卷积神经网络模型集成的乳腺癌图像自动识别方法 |
CN111583220B (zh) * | 2020-04-30 | 2023-04-18 | 腾讯科技(深圳)有限公司 | 影像数据检测方法和装置 |
CN111739004B (zh) * | 2020-06-22 | 2024-01-23 | 联想(北京)有限公司 | 图像处理方法、设备及存储介质 |
CN111915598B (zh) * | 2020-08-07 | 2023-10-13 | 温州医科大学 | 一种基于深度学习的医疗图像处理方法和装置 |
CN111935404B (zh) * | 2020-08-14 | 2021-10-15 | 腾讯科技(深圳)有限公司 | 微距成像***、方法和装置 |
CN112163449B (zh) * | 2020-08-21 | 2022-12-16 | 同济大学 | 一种轻量化的多分支特征跨层融合图像语义分割方法 |
CN112053342A (zh) * | 2020-09-02 | 2020-12-08 | 陈燕铭 | 基于人工智能的脑垂体磁共振图像的提取识别方法和装置 |
CN111915609B (zh) * | 2020-09-22 | 2023-07-14 | 平安科技(深圳)有限公司 | 病灶检测分析方法、装置、电子设备及计算机存储介质 |
CN112465862B (zh) * | 2020-11-24 | 2024-05-24 | 西北工业大学 | 一种基于跨域深度卷积神经网络的视觉目标跟踪方法 |
CN112418170B (zh) * | 2020-12-11 | 2024-03-01 | 法赫光学科技(成都)有限公司 | 基于3d扫描的口腔检查识别方法 |
CN112651451B (zh) * | 2020-12-30 | 2023-08-11 | 北京百度网讯科技有限公司 | 图像识别方法、装置、电子设备及存储介质 |
CN113052006B (zh) * | 2021-02-19 | 2024-05-28 | 中南大学 | 一种基于卷积神经网络的图像目标检测方法,***及可读存储介质 |
CN115082372A (zh) * | 2021-03-11 | 2022-09-20 | 天津理工大学 | 面向视网膜眼底图像中的多尺度小目标检测方法 |
JP2022145001A (ja) * | 2021-03-19 | 2022-10-03 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
CN113033382B (zh) * | 2021-03-23 | 2021-10-01 | 哈尔滨市科佳通用机电股份有限公司 | 一种铁路货车地板大面积破损故障识别方法、***及装置 |
CN113223027A (zh) * | 2021-04-13 | 2021-08-06 | 山东师范大学 | 基于PolarMask的未成熟柿子分割方法及*** |
CN113192646B (zh) * | 2021-04-25 | 2024-03-22 | 北京易华录信息技术股份有限公司 | 目标检测模型构建方法及不同目标间距离监控方法、装置 |
CN113269119B (zh) * | 2021-06-07 | 2023-01-31 | 重庆大学 | 一种夜间车辆检测方法及装置 |
CN113421203A (zh) * | 2021-06-30 | 2021-09-21 | 深圳市纵维立方科技有限公司 | 图像处理方法、打印方法、打印相关装置及可读存储介质 |
CN113537044B (zh) * | 2021-07-14 | 2022-08-26 | 哈尔滨理工大学 | 基于STFT与改进DenseNet的航空发动机故障诊断方法 |
CN113538416A (zh) * | 2021-08-19 | 2021-10-22 | 合肥工业大学智能制造技术研究院 | 一种基于深度学习的医学图像处理方法 |
WO2023053755A1 (ja) * | 2021-09-30 | 2023-04-06 | 株式会社Lily MedTech | 画像診断支援装置、画像診断支援方法、及び画像診断支援プログラム |
CN113936006A (zh) * | 2021-10-29 | 2022-01-14 | 天津大学 | 一种处理高噪低质医学图像的分割方法及装置 |
CN114240994A (zh) * | 2021-11-04 | 2022-03-25 | 北京工业大学 | 目标跟踪方法、装置、电子设备及存储介质 |
CN114511452B (zh) * | 2021-12-06 | 2024-03-19 | 中南大学 | 融合多尺度空洞卷积和三元组注意力的遥感图像检索方法 |
CN115099294A (zh) * | 2022-03-21 | 2022-09-23 | 昆明理工大学 | 一种基于特征增强和决策融合的花卉图像分类算法 |
CN115272086B (zh) * | 2022-09-29 | 2022-12-27 | 杭州太美星程医药科技有限公司 | 医学图像缝合方法和装置、电子设备和存储介质 |
US20240112329A1 (en) * | 2022-10-04 | 2024-04-04 | HeHealth PTE Ltd. | Distinguishing a Disease State from a Non-Disease State in an Image |
CN115831329B (zh) * | 2022-12-21 | 2023-08-18 | 青海大学附属医院 | 融合医生关注图像的包虫分类模型构建方法、***及介质 |
CN115953781B (zh) * | 2023-03-14 | 2023-06-13 | 武汉昊博科技有限公司 | 基于热层析影像的乳腺人工智能分析***及方法 |
CN117132761A (zh) * | 2023-08-25 | 2023-11-28 | 京东方科技集团股份有限公司 | 目标检测方法及装置、存储介质及电子设备 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180218497A1 (en) | 2017-01-27 | 2018-08-02 | Arterys Inc. | Automated segmentation utilizing fully convolutional networks |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7515743B2 (en) * | 2004-01-08 | 2009-04-07 | Siemens Medical Solutions Usa, Inc. | System and method for filtering a medical image |
DE102014218893A1 (de) * | 2014-09-19 | 2016-03-24 | Siemens Aktiengesellschaft | Verfahren und Vorrichtung zur Beurteilung von Röntgenbildern |
US10580131B2 (en) * | 2017-02-23 | 2020-03-03 | Zebra Medical Vision Ltd. | Convolutional neural network for segmentation of medical anatomical images |
US20200085382A1 (en) * | 2017-05-30 | 2020-03-19 | Arterys Inc. | Automated lesion detection, segmentation, and longitudinal identification |
US10751548B2 (en) * | 2017-07-28 | 2020-08-25 | Elekta, Inc. | Automated image segmentation using DCNN such as for radiation therapy |
CN108197606A (zh) * | 2018-01-31 | 2018-06-22 | 浙江大学 | 一种基于多尺度膨胀卷积的病理切片中异常细胞的识别方法 |
CN109190752B (zh) * | 2018-07-27 | 2021-07-23 | 国家新闻出版广电总局广播科学研究院 | 基于深度学习的全局特征和局部特征的图像语义分割方法 |
CN109271856B (zh) * | 2018-08-03 | 2021-09-03 | 西安电子科技大学 | 基于扩张残差卷积的光学遥感图像目标检测方法 |
JP7018856B2 (ja) * | 2018-09-14 | 2022-02-14 | 富士フイルム株式会社 | 医用画像処理装置、方法およびプログラム |
CN109544534B (zh) * | 2018-11-26 | 2020-10-16 | 上海联影智能医疗科技有限公司 | 一种病灶图像检测装置、方法和计算机可读存储介质 |
EP3696821A1 (en) * | 2019-02-14 | 2020-08-19 | Koninklijke Philips N.V. | Computer-implemented method for medical image processing |
CN110111313B (zh) * | 2019-04-22 | 2022-12-30 | 腾讯科技(深圳)有限公司 | 基于深度学习的医学图像检测方法及相关设备 |
-
2019
- 2019-04-22 CN CN201910324565.8A patent/CN110111313B/zh active Active
-
2020
- 2020-03-27 WO PCT/CN2020/081655 patent/WO2020215984A1/zh unknown
- 2020-03-27 EP EP20794139.4A patent/EP3961500A4/en active Pending
- 2020-03-27 JP JP2021541113A patent/JP7143008B2/ja active Active
-
2021
- 2021-05-12 US US17/318,495 patent/US11861829B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180218497A1 (en) | 2017-01-27 | 2018-08-02 | Arterys Inc. | Automated segmentation utilizing fully convolutional networks |
Non-Patent Citations (2)
Title |
---|
Yuexiang Li et al.,GT-Net: A Deep Learning Network for Gastric Tumor Diagnosis,2018 IEEE 30th International Conference on Tools with Artificial Intelligence (ICTAI),米国,IEEE,2018年11月05日,pp.20-24,https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8576012 |
山重 雄哉,青野 雅樹,SSDに基づくリアルタイム性を考慮した物体検出手法,電子情報通信学会技術研究報告,第118巻,第513号,一般社団法人電子情報通信学会,2019年03月10日,第181-186頁 |
Also Published As
Publication number | Publication date |
---|---|
CN110111313A (zh) | 2019-08-09 |
CN110111313B (zh) | 2022-12-30 |
US11861829B2 (en) | 2024-01-02 |
WO2020215984A1 (zh) | 2020-10-29 |
JP2022518446A (ja) | 2022-03-15 |
EP3961500A1 (en) | 2022-03-02 |
EP3961500A4 (en) | 2022-06-22 |
US20210264599A1 (en) | 2021-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7143008B2 (ja) | 深層学習に基づく医用画像検出方法及び装置、電子機器及びコンピュータプログラム | |
Salama et al. | Deep learning in mammography images segmentation and classification: Automated CNN approach | |
Yang et al. | Research on feature extraction of tumor image based on convolutional neural network | |
Al-Antari et al. | Deep learning computer-aided diagnosis for breast lesion in digital mammogram | |
CN110930367B (zh) | 多模态超声影像分类方法以及乳腺癌诊断装置 | |
Habib et al. | Ensemble of CheXNet and VGG-19 feature extractor with random forest classifier for pediatric pneumonia detection | |
Oghli et al. | Automatic fetal biometry prediction using a novel deep convolutional network architecture | |
Xu et al. | Supervised action classifier: Approaching landmark detection as image partitioning | |
Abbas et al. | Lower leg bone fracture detection and classification using faster RCNN for X-rays images | |
Veena et al. | Context based healthcare informatics system to detect gallstones using deep learning methods | |
Valizadeh et al. | The Progress of Medical Image Semantic Segmentation Methods for Application in COVID‐19 Detection | |
Chen et al. | Residual block based nested U-type architecture for multi-modal brain tumor image segmentation | |
Srivastava et al. | Optimizing CNN based model for thyroid nodule classification using data augmentation, segmentation and boundary detection techniques | |
Wang et al. | Optic disc detection based on fully convolutional neural network and structured matrix decomposition | |
Albahli et al. | AI-CenterNet CXR: An artificial intelligence (AI) enabled system for localization and classification of chest X-ray disease | |
Fan et al. | Joint localization and classification of breast tumors on ultrasound images using a novel auxiliary attention-based framework | |
Yang et al. | A new approach to automatic measure fetal head circumference in ultrasound images using convolutional neural networks | |
Adegun et al. | Deep convolutional network-based framework for melanoma lesion detection and segmentation | |
Liu et al. | TrEnD: A transformer‐based encoder‐decoder model with adaptive patch embedding for mass segmentation in mammograms | |
Al-Eiadeh | Automatic lung field segmentation using robust deep learning criteria | |
LAGHMATI et al. | Segmentation of Breast Cancer on Ultrasound Images using Attention U-Net Model | |
He et al. | Fetal cardiac ultrasound standard section detection model based on multitask learning and mixed attention mechanism | |
Xiao et al. | Multi-scale Perception and Feature Refinement Network for multi-class segmentation of intracerebral hemorrhage in CT images | |
Wu et al. | An improved attention mechanism based YOLOv4 structure for lung nodule detection | |
Zhang et al. | CTransNet: Convolutional Neural Network Combined with Transformer for Medical Image Segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210715 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210715 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220803 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220815 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220908 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7143008 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |