JP2023552330A - 個人が1つ又は複数の病害を有する可能性を予測すること - Google Patents
個人が1つ又は複数の病害を有する可能性を予測すること Download PDFInfo
- Publication number
- JP2023552330A JP2023552330A JP2023532490A JP2023532490A JP2023552330A JP 2023552330 A JP2023552330 A JP 2023552330A JP 2023532490 A JP2023532490 A JP 2023532490A JP 2023532490 A JP2023532490 A JP 2023532490A JP 2023552330 A JP2023552330 A JP 2023552330A
- Authority
- JP
- Japan
- Prior art keywords
- interest
- regions
- ultrasound
- processing system
- disease
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 133
- 201000010099 disease Diseases 0.000 title claims abstract description 129
- 238000002604 ultrasonography Methods 0.000 claims abstract description 298
- 238000000034 method Methods 0.000 claims abstract description 112
- 238000010801 machine learning Methods 0.000 claims abstract description 46
- 230000008569 process Effects 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims description 109
- 238000004590 computer program Methods 0.000 claims description 16
- 230000004044 response Effects 0.000 claims description 14
- 238000011524 similarity measure Methods 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 abstract description 11
- 238000001514 detection method Methods 0.000 description 17
- 238000003384 imaging method Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 12
- 238000013459 approach Methods 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 11
- 238000012285 ultrasound imaging Methods 0.000 description 11
- 238000013479 data entry Methods 0.000 description 10
- 239000000523 sample Substances 0.000 description 10
- 206010028980 Neoplasm Diseases 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 201000011510 cancer Diseases 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 238000012216 screening Methods 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 238000001994 activation Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000017531 blood circulation Effects 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 238000002592 echocardiography Methods 0.000 description 4
- 239000012634 fragment Substances 0.000 description 4
- 238000011002 quantification Methods 0.000 description 4
- 210000003484 anatomy Anatomy 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 210000000481 breast Anatomy 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 230000007170 pathology Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 241000473391 Archosargus rhomboidalis Species 0.000 description 1
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 239000002033 PVDF binder Substances 0.000 description 1
- 208000024770 Thyroid neoplasm Diseases 0.000 description 1
- 208000025865 Ulcer Diseases 0.000 description 1
- 206010000269 abscess Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000601 blood cell Anatomy 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 208000035474 group of disease Diseases 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 201000007270 liver cancer Diseases 0.000 description 1
- 208000014018 liver neoplasm Diseases 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 229920002981 polyvinylidene fluoride Polymers 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
- 201000002510 thyroid cancer Diseases 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 231100000397 ulcer Toxicity 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
複数の超音波画像において1つ又は複数の病害の有無を識別するための機構。超音波画像が、各画像内の関心領域であって、病害を示すと疑われる超音波画像の一部分を表す各関心領域を識別するために、処理される。類似の関心領域が、グループ化され、類似の領域のグループは、次いで、それらが対象の病害を含むか否かを予測するために、機械学習法を使用して、処理される。したがって、対象の病害を識別するための2つのステップのプロセスが、実行される。
Description
本発明は、超音波画像化の分野に関し、詳細には、超音波画像に表された病害の識別に関する。
超音波は、様々な癌種、たとえば、乳癌種、甲状腺癌種及び肝臓癌種などの検出及び診断においてますます使用されようになっている。特に、超音波を使用する癌種の早期検出は、通常は、超音波画像内で病害を識別することによって、実行される。残念ながら、早期癌種の検出率は、いくつかの要因、たとえば、十分な経験を積んだ音波検査者の不足及び超音波画像化スクリーニングを実行するための時間的制約、により比較的低い。
コンピュータで実施される超音波ベースの病害検出技法を用いる、臨床判断サポート(CDS:clinical decision support)システムが、超音波画像スクリーニングを実行する際に臨床医を助けるために採用されている。そのようなシステムは、1つ又は複数の病害の有無を予測することによって臨床医を支援して、それにより、検出の見逃しの可能性を減らすのに、及び診断の信頼性を高めるための二重読み取り/確認として、役立つことができた。
一般に、(自動化された又はコンピュータで実施される)超音波ベースの病害検出のための2つのタイプの方法が存在する:画像処理ステップに基づく従来の病害検出方法及び深層学習手法。従来の手法は、一般に、ルールに基づく手法及び特定の仮定に依拠するので、人口の大部分について十分に強固及び/又は柔軟であるとは考えられていない。深層学習手法は、そのような強い仮定にあまり依拠しないので、物体/病害検出において優れた精度を示しているが、高い計算の複雑性及び処理時間に悩まされている。
Medical Physics、vol.47、no、11で公表された、LI YANFENGらによる論文「3D tumor detection in automated breast ultrasound using deep convolutional neutral network」では、腫瘍検出方法が、ABUS(automated breast ultrasound:自動化された胸部超音波)のために提案された。ABUSは、胸部スクリーニングのための自動化された超音波デバイスとして知られている。ABUSは、3D超音波技術を使用し、胸部の、オペレータに依存しないボリューム画像を獲得し、獲得された3Dボリュームから冠状ビュー断片を生成し、そのような断片を表示する。
したがって、個人が1つ又は複数の病害を有する可能性を予測するための機構を改善したいという継続した願望が存在する。
本発明は、特許請求の範囲によって定義される。
本発明の一態様による例によれば、個人が1つ又は複数の病害を有する可能性を予測するための処理システムが提供され、処理システムは、:個人の複数の超音波画像を取得することと、複数の超音波画像において関心領域を識別することであって、それぞれの関心領域は、個人の潜在的病害を有するエリアを表す複数の超音波画像のうちの1つの超音波画像の一部分である、識別することと、関心領域の類似点に基づいて、複数の超音波画像のうちの異なる超音波画像から、関心領域をグループ化することと、機械学習方法を使用して関心領域のそれぞれのグループを処理して、関心領域のグループが個人の病害を含む可能性を示す予測インジケータを生成することとを行うように構成される。複数の超音波画像は、時系列の超音波画像を含む。いくつかの実施形態において、時系列の超音波画像は、超音波画像のビデオ、たとえばシネループである。潜在的病害を有するエリアを表す関心領域を識別することは、1つ又は複数の関心領域の有無を識別することを含む。いくつかの超音波画像については、それぞれの超音波画像において識別された関心領域が存在しない可能性があり、いくつかの超音波画像については、それぞれの超音波画像で識別された1つ又は複数の関心領域が存在する可能性がある。
本開示は、個人における1つ又は複数の病害の有無を識別するための、具体的には、病害が存在する可能性を示す1つ又は複数の予測インジケータを生成するための、手法を提案する。患者の超音波画像は、潜在的病害-すなわち、病害を示していると予測される候補領域-を含む関心領域(すなわち、それぞれの超音波画像の部分)を識別するために、処理される。したがって、関心領域は、超音波画像の部分であり、それ自体が画像(但し、超音波画像より小さいサイズの)である。関心領域によって表された個人のエリアが潜在的病害を含むということが予測される-すなわち、病害を含む可能性がある-場合、関心領域は、潜在的病害を含む。潜在的病害を含む関心領域を識別するための機構は、当業者によく知られており、たとえば、機械学習法、エッジ検出アルゴリズム、画像セグメンテーション技法などを用いる。
関心領域は、次いで、それらの類似性に基づいて、グループ化又はクラスタ化されて、関心領域のグループを生み出す。このようにして、互いに対応する(すなわち、同じ潜在的病害を含む)異なる超音波画像の部分が、グループ化される。したがって、それらが個人の同じ潜在的病害を含むということが予測される場合、関心領域は、互いに類似していると見なされる(そして、それに応じてグループ化される)。さらに、グループ化又はクラスタ化は、関心領域の間の相対的空間的関係性を必要とせずに、関心領域の類似性に基づいて、実行される。このようにして、グループ化又はクラスタ化は、複数の超音波画像を空間的に整列させずに、実行することができる。これは、特に、複数の超音波画像が空間的に整列させられていない場合に関して、有利である。たとえば、複数の2次元超音波画像が、ハンドヘルド超音波プローブによって手動で獲得される場合、これらの2次元超音波画像の間の相対的空間的関係性は、ABUS(自動化された胸部超音波)によって獲得されたものとは異なり、知られていない。従来、そのような複数の超音波画像は、最初に、様々な空間的アラインメント技術(たとえば、空間的登録、3D構築)を用いて3次元(3D)ボリュームに結合することができ、次いで、さらなる信号処理(たとえば、病害検出)が、空間的に整列した画像又は断片に基づいて、実施され得る。しかしながら、空間的アラインメント又は3Dは、いくつかのシナリオにおいて困難である可能性がある。これに対して、複数の画像にわたる事前の空間的登録又はアラインメントに依存せずに、言い換えれば、複数の画像の間の又は複数の画像において識別された関心領域の間の相対的空間的関係性の知識に依存せずに、それらの類似性に基づいて複数の関心領域をグループ化することが、ここでは、提案される。
グループは、次いで、グループが個人の病害を含む可能性を示す予測インジケータを生成するために、機械学習法を使用して処理される。それにより、機械学習法は、関心領域のグループに病害が存在するか否かを効果的に予測する。このようにして、分類子などの機械学習法は、同じ潜在的病害を含む関心領域のグループを処理することによって、予測インジケータを生成する。
本発明に関連して、予測インジケータは、病害のグループが病害を含む予測される可能性(機械学習法によって決定される)の変化に応答して変化する任意のデータである。予測インジケータは、バイナリ、カテゴリ又は数値データを含む。バイナリデータは、グループが病害を含むか否かに関する予測を示す(たとえば、「0」は、予測された無を示し、「1」は、予測された有を示す、或いは逆もしかり)。カテゴリデータは、グループが病害を含む可能性カテゴリ(たとえば、「可能性がある」、「可能性が非常に高い」、「可能性が低い」など)を示す。数値データは、関心領域のグループが病害を含む数値確率を、たとえば、0から1又は0から100の尺度で示す。
提案される手法は、複数の超音波画像、たとえば、ある期間にわたって撮られた超音波画像を使用して、それによって、個人の病害を識別するための付加的コンテキスト情報を使用することによって、個人の病害の識別(たとえば、静止画像のみから)の偽陽性率を下げる。先ず関心領域を識別することによって、病害を識別するために実行される処理の量は、たとえば、さらなる処理なしに複数の超音波画像全体に機械学習プロセスを実行することと比べて、減らされる。それにより、提案される手法は、少ない計算努力で高品質及び高精度の病害識別を実行するための機構を提供する。
好ましくは、それぞれの超音波画像は、2次元超音波画像である。2D超音波画像を生成するための超音波システムは、広範囲の有用性及び採用を有し、資源を制限されて、たとえば、低電力、環境(たとえば、バッテリ式又は頼りない電力を有するエリア内の)、ますます使用されるようになっているので、本発明は、特に、2次元超音波画像を処理するために使用されるときに有利である。したがって、そのようなシステムのための病害の可能性の正確なインジケータをまだ取得しながら、計算の負荷を減らすこと(電力使用量要件を最小限に抑えること)は、特に有益である。
いくつかの実施形態において、処理システムは、関心領域の各グループについて、関心領域のグループの関心領域を使用して、関心領域のシーケンスを生成することと、機械学習法を使用して、領域のシーケンスを処理して、領域のシーケンスが個人の病害を含むか否かを予測することとを含むプロセスを実行することによって、関心領域の各グループを処理するように構成される。
関心領域のシーケンスは、グループ内のすべての関心領域からのデータを含む単一のデータ構造体を効果的に形成する。
処理システムは、関心領域を積み重ねることを含むステップを実行することによって、領域のシーケンスを生成するように構成される。関心領域が、2次元画像である、たとえば、2次元超音波画像から抽出された場合、このプロセスは、疑似3Dボリュームを効果的に形成する。
処理システムは、第2の機械学習法を使用してそれぞれの超音波画像を処理して関心領域を識別することを含むプロセスを実行することによって、超音波画像において関心領域を識別するように構成される。したがって、少なくとも2つの機械学習法が、病害のないことの存在を予測するために、使用される。この手法は、潜在的病害を識別する可能性を高め、潜在的病害を識別する、並びに信頼性の向上のために超音波画像において潜在的病害を識別するための現存する及び十分に開発された機構を採用するための完全に自動化された機構を促進する。
いくつかの例では、第3の機械学習法が、たとえば、それぞれの関心領域の特性及び/又は他のメタデータ(たとえば、位置、サイズ、形状など)を使用して、関心領域をグループ化するために使用される。もちろん、機械学習法が、関心領域を識別するために使用されない場合でも、機械学習法は、関心領域をグループ化するために使用される。
いくつかの好ましい例では、複数の超音波画像は、超音波画像のシーケンスを含む。シーケンス内の後の超音波画像が、より早期の超音波画像よりも時間において後に画像化システムによって取得されるように、超音波画像のシーケンスは、好ましくは、時系列である。このことは、時間依存の情報が関心領域のグループに組み込まれる結果を効果的にもたらす。本開示は、時間ベースの情報の使用は、1つ又は複数の病害の有無を正確に識別する変化を増やす、ということを認識する。
好ましくは、複数の超音波画像が、たとえば、同じ超音波画像化プローブを使用して、同じ超音波画像化システムによって取得される。さらに好ましくは、超音波画像化プローブ(超音波画像を取得するために使用される)が動かない間に、複数の画像が、取得される。このことは、リンクされた関心領域のグループの識別の容易さ及び精度を高める。
いくつかの実施形態において、シーケンスの超音波画像の順番は、それぞれの超音波画像がキャプチャされた時間に依存する。たとえば、超音波画像のシーケンスは、超音波ビデオの順次的フレームを含む。時間的に順序付けられた超音波画像のシーケンス(たとえば、超音波ビデオ)によって提供されるコンテキストは、関心領域のグループにおける1つ又は複数の病害の有無を予測するときに、時間ベースの情報が機械学習法のために考慮されることを可能にする。本開示は、この情報が、特に、超音波画像における1つ又は複数の病害の偽陽性検出率を減らすのに有利である、ということを識別する。
いくつかの例、関心領域の各グループ、において、各関心領域は、関心領域の同じグループ内の別の関心領域の超音波画像に順次に隣接する超音波画像に由来する。
好ましくは、各関心領域は、超音波画像のサイズの0.4倍以下、たとえば、超音波画像のサイズの0.25倍以下である。関心領域のサイズが小さいほど、関心領域のグループ(超音波画像全体ではなくて)を処理する計算の複雑性の低減の効果は大きくなる。
いくつかの例では、処理システムは、各予測インジケータに応答して、表示デバイスに、視覚的に知覚可能な出力を表示するように構成される。したがって、予測インジケータに応答する情報は、ユーザ(たとえば、臨床医)に対して出力され得る。
少なくとも1つの予測インジケータが、関心領域の少なくとも1つのグループが病害を含む可能性があるということを示す場合、処理システムは:患者の表示された超音波画像に関して識別された病害の位置を識別することと、病害の識別された位置に応答して、表示された超音波画像に視覚的に知覚可能な出力を重ね合わせることとを行うように構成される。
処理システムは:異なる超音波画像からの異なる関心領域の間の類似性測度であって、超音波画像内の1つの関心領域によって占有された相対エリアと別の超音波画像の別の関心領域によって占有された相対エリアとの重複のサイズを表す類似性測度を決定することと、所定の閾値を超える2つの異なる関心領域の間の類似性測度に応答して2つの異なる関心領域を同じグループにグループ化することとを含むプロセスを実行することによって、関心領域をグループ化するように構成される。
したがって、類似性測定は、重複のサイズ、たとえば、異なる超音波画像からの関心領域の間のIoU(Intersection over Union)測度に基づく。このことは、たとえば、同じ潜在的病害が、それぞれの超音波画像の同じ相対ロケーションにある可能性が高いとき、同じ潜在的病害が識別されているかどうかを識別するための単純な機構を促進する。複数の超音波画像が、超音波ビデオからのフレームを含む場合、この実施形態は、潜在的病害が超音波ビデオの異なるフレームの間の同じ位置にあることになる可能性を高めるので、この手法は、特に有利である。
処理システムは:関心領域のメタデータであって、関心領域のサイズ、位置、信頼性及び/又は出現に関する情報を提供するメタデータを識別することと、関心領域のメタデータに基づいて関心領域をグループ化することとを含むプロセスを実行することによって、関心領域をグループ化するように構成される。したがって、追加情報は、異なる関心領域の類似点を決定するために使用される。いくつかの実施形態において、機械学習法が、たとえば関心領域のメタデータに基づいて、関心領域をグループ化するために使用される。
個人が1つ又は複数の病害を有する可能性を予測するためのコンピュータ実施方法もまた、提案される。
コンピュータで実施される方法は:個人の複数の超音波画像を取得することと、各関心領域が、個人の潜在的病害を有するエリアを表す複数の超音波画像のうちの1つの超音波画像の一部分である、複数の超音波画像内の関心領域を識別することと、関心領域の類似点に基づいて、複数の超音波画像のうちの異なる超音波画像から、関心領域をグループ化することと、機械学習法を使用して、関心領域の各グループを処理して、関心領域のグループが個人の病害を含む可能性を示す予測インジケータを生成することとを含む。
メモリと、メモリにつながれた及びそのようなコンピュータ実施方法を実行するように構成されたプロセッサとを備える、処理システムも提案される。
処理システムを有する計算デバイスで実行されるとき、本明細書に記載の任意のコンピュータ実施方法のステップのすべてを処理システムに実行させる、コンピュータプログラムコード手段を備える、コンピュータプログラム製品も提案される。
当業者は、本明細書に記載の任意の方法を実施するために本明細書に記載の任意の処理システムを適合させること、及びその逆も同様に、容易に行うことができる。
本発明のこれらの及び他の態様は、後述する実施形態を参照して、明らかとなり、説明されることになる。
本発明のよりよい理解のために、及び本発明がどのように実行されるかをより明確に示すために、ここで、添付の図面が、単に例として、参照されることになる。
本発明について、図を参照して、説明する。
詳細な記述及び特定の例は、装置、システム及び方法の例示的実施形態を示しながら、単に例解を目的として意図されており、本発明の範囲を制限するものではない、ということを理解されたい。本発明の装置、システム及び方法のこれらの及び他の特徴、態様、及び利点は、以下の記述、添付の特許請求の範囲、及び添付の図面から、よりよく理解されることになろう。図は、単に概要であり、正確な比率で描かれていない、ということを理解されたい。同じ参照番号は、複数の図にわたって同じ又は類似の部分を示すために使用される、ということもまた理解されたい。
本発明は、個人の複数の超音波画像を処理することによって個人における1つ又は複数の病害の有無の確率/可能性を決定するための機構を提供する。超音波画像は、各画像内の各関心領域を識別するために処理され、各関心領域は、病害を示すと疑われる超音波画像の一部分を表す。類似の関心領域が、グループ化され、そして、類似の領域のグループは、次いで、それらが対象の病害を含みそうかどうかの予測を生成するために、機械学習法を使用して処理される。したがって、病害の可能性を識別するための2つのステップのプロセスが、実行される。
本発明の実施形態は、単一の超音波画像のみを使用して潜在的病害を識別する場合には重要な情報が失われる又は存在しないが、同時に複数の超音波画像を処理することは、画像分析プロセスの処理負荷を有意に増やすという認識に基づく。そうではなくて、潜在的病害の有無の可能性を評価するための新しい手法が提案され、そこでは、異なる超音波画像からの関心領域グループが、病害が存在する可能性を予測するために形成され、ともに処理される。
実施形態は、任意の適切な超音波分析システムにおいて、たとえば、表面の器官の癌種スクリーニング及び診断のための超音波分析において、使用される。提案される実施形態は、任意の適切な臨床環境において、たとえば、癌種スクリーニングのための検診の間に、又は癌種スクリーニング及び診断のために病院の超音波部門において、使用される可能性を有する。本発明は、オンライン又はオフライン使用、すなわち、メモリからの又は超音波システムから直接に作り出されたデータの処理、のための高度病害識別ソフトウェアを有するすべての超音波画像化システムに適用可能である。
先ず、例示的超音波システムの一般動作について、図1を参照して説明する。本発明は、そのような超音波システムによって生成された超音波画像を使用するが、超音波画像を生成するための他の手法及びシステムが、当業者には明らかとなろう。
システムは、超音波を送信する及びエコー情報を受信するためのトランスデューサアレイ6を有する、アレイトランスデューサプローブ4を備える。トランスデューサアレイ6は、CMUTトランスデューサ、PZT又はPVDFなどの材料で形成された、圧電トランスデューサ、或いは、任意の他の適切なトランスデューサ技術を含む。本例では、トランスデューサアレイ6は、関心領域の2D平面又は3次元ボリュームのいずれかをスキャンする能力を有するトランスデューサ8の2次元アレイである。別の例では、トランスデューサアレイは、1Dアレイである。
トランスデューサアレイ6は、トランスデューサ要素による信号の受信を制御するマイクロビームフォーマ12につながれる。マイクロビームフォーマは、米国特許第5,997,479号(Savordら)、第6,013,032号(Savord)、及び第6,623,432号(Powersら)に記載されたようなトランスデューサのサブアレイ(一般に「グループ」又は「パッチ」と称される)によって受信される信号の少なくとも部分的なビーム形成の能力を有する。
マイクロビームフォーマは、完全に任意選択である、ということに留意すべきである。さらに、システムは、マイクロビームフォーマ12がつながれ得る及び送信モードと受信モードとの間でアレイを切り替える、送信/受信(T/R)スイッチ16を含み、マイクロビームフォーマが使用されない及びトランスデューサアレイがメインシステムビームフォーマによって直接操作される場合に、メインビームフォーマ20を高エネルギ送信信号から保護する。トランスデューサアレイ6からの超音波ビームの送信は、ユーザインターフェース又は制御パネル38のユーザの操作から入力を受信することができる、T/Rスイッチ16及びメイン送信ビームフォーマ(図示せず)によってマイクロビームフォーマにつながれたトランスデューサコントローラ18によって方向付けられる。コントローラ18は、送信モードの間にアレイ6のトランスデューサ要素を動かす(直接に又はマイクロビームフォーマを介して)ために配置された送信回路を含むことができる。
典型的な1行ごとの画像化シーケンスにおいて、プローブ内のビーム形成システムは、以下のように動作する。送信中に、ビームフォーマ(実装形態に応じて、マイクロビームフォーマ又はメインシステムビームフォーマである)は、トランスデューサアレイ、又はトランスデューサアレイのサブアパーチャをアクティブにする。サブアパーチャは、トランスデューサの1次元の線又はより大きいアレイ内のトランスデューサの2次元パッチである。送信モードにおいて、アレイ、又はアレイのサブアパーチャによって生成された超音波ビームの焦点合わせ及び導光は、後述のように制御される。
対象から後方散乱エコー信号を受信したとき、受信信号は、受信信号を整列させるために、受信ビーム形成を受け(後述のように)、そして、サブアパーチャが使用されている場合、サブアパーチャは、次いで、たとえば1つのトランスデューサ要素によって、偏移される。偏移されたサブアパーチャは、次いで、アクティブにされ、そのプロセスは、トランスデューサアレイのトランスデューサ要素のすべてがアクティブにされるまで、繰り返される。
各線(又はサブアパーチャ)について、最終的超音波画像の関連線を形成するために使用される合計受信信号は、受信期間中に所与のサブアパーチャのトランスデューサ要素によって測定された電圧信号の和になる。以下のビーム形成プロセスの後に続く、結果として生じる線信号は、通常は、無線周波数(RF)データと称される。様々なサブアパーチャによって生成された各線信号(RFデータセット)は、次いで、最終的超音波画像の線を生成するための追加処理を受ける。経時的な線信号の振幅の変化は、深度を有する超音波画像の輝度の変化の一因となり、そこで、高い振幅ピークは、最終的画像内の明るい画素(又は画素のコレクション)に対応することになる。線信号の始まりの近くに出現するピークは、浅い構造からのエコーを表すことになり、一方、線信号において次第に後に出現するピークは、対象内の増加する深度における構造からのエコーを表すことになる。
トランスデューサコントローラ18によって制御される機能のうちの1つは、ビームが導光される及び焦点を合わされる方向である。ビームは、トランスデューサアレイの前方に真っすぐに(トランスデューサアレイと直角に)、又はより広い視野の異なる角度で、導光される。送信ビームの導光及び焦点合わせは、トランスデューサ要素作動時間の関数として制御される。
2つの方法が、一般超音波データ取得において区別され得る:平面波画像化及び「ビーム導光された」画像化。2つの方法は、送信(「ビーム導光された」画像化)及び/又は受信モード(平面波画像化及び「ビーム導光された」画像化)におけるビーム形成の存在によって、区別される。
先ず、焦点合わせ機能を見ると、同時にすべてのトランスデューサ要素をアクティブにすることによって、トランスデューサアレイは、それが対象を通過するときに分岐する平面波を生成する。この場合、超音波のビームは、焦点の合わされないままである。トランスデューサのアクティブ化への位置依存の時間遅延を導入することによって、ビームの波面を所望のポイントにおいて収束させること、集束帯と称される、が可能である。集束帯は、横ビーム幅が送信ビーム幅の半分未満であるポイントとして、定義される。このようにして、最終的超音波画像の横方向分解能が改善される。
たとえば、最外部の要素で始まり、トランスデューサアレイの中央要素で終わって、時間遅延が、トランスデューサ要素に逐次にアクティブにさせる場合、集束帯が、中央要素に従って、プローブから所与の距離において形成される。プローブからの集束帯の距離は、それぞれのその後の一連のトランスデューサ要素アクティブ化の間の時間遅延に応じて、変化することになる。ビームが、集束帯を通過した後、ビームは、遠方場画像化領域を形成して、分岐し始めることになる。トランスデューサアレイの近くに位置する集束帯について、超音波ビームは、最終的画像におけるビーム幅アーチファクトをもたらして、遠望場において急速に分岐することになる、ということに留意されたい。通常は、トランスデューサアレイと集束帯との間に位置する、近接場は、超音波ビームにおける大きな重複により、殆ど詳細を示さない。したがって、集束帯のロケーションを変化させることは、最終的画像の品質の有意な変化につながり得る。
送信モードでは、超音波画像が複数の集束帯(異なる送信焦点をそれぞれが有する)に分けられない限り、1つのみの焦点が定義される、ということに留意されたい。
加えて、対象内からエコー信号を受信したとき、受信焦点合わせを実行するために、前述のプロセスの逆のことを実行することが可能である。言い換えれば、入力信号が、トランスデューサ要素によって、信号処理のためにシステムに渡される前の電子時間遅延を条件として、受信される。これの最も単純な例は、遅延及び和のビーム形成と称される。時間の関数としてトランスデューサアレイの受信焦点合わせを動的に調整することが可能である。
ここでビーム導光の機能を見ると、トランスデューサ要素への時間遅延の正確な適用を通して、超音波ビームがトランスデューサアレイを出るときの超音波ビームに関する所望の角度を伝えることが可能である。たとえば、アレイの反対側で終わるシーケンス内の残りのトランスデューサが後に続くトランスデューサアレイの第1の側でトランスデューサをアクティブにすることによって、ビームの波面は、第2の側の方へ曲げられることになる。トランスデューサアレイの垂線に対する導光角度のサイズは、その後のトランスデューサ要素アクティブ化の間の時間遅延のサイズに依存する。
さらに、導光されたビームの焦点を合わせることが可能であり、そこで、各トランスデューサ要素に適用される合計時間遅延は、焦点合わせと導光との両方の時間遅延の和である。この場合、トランスデューサアレイは、段階的アレイと称される。
それらのアクティブ化のためにDCバイアス電圧を必要とする、CMUTトランスデューサの場合、トランスデューサコントローラ18は、トランスデューサアレイのDCバイアス制御45を制御するために、つながれ得る。DCバイアス制御45は、CMUTトランスデューサ要素に適用されるDCバイアス電圧を設定する。
トランスデューサアレイの各トランスデューサ要素について、通常はチャネルデータと称される、アナログ超音波信号が、受信チャネルを経由してシステムに入る。受信チャネルにおいて、部分的にビーム形成された信号が、マイクロビームフォーマ12によってチャネルデータから製作され、次いで、メイン受信ビームフォーマ20に渡され、そこで、トランスデューサの個々のパッチからの部分的にビーム形成された信号は、無線周波数(RF)データと称される、完全にビーム形成された信号に結合される。各ステージで実行されるビーム形成は、前述のように実施される、又は付加的機能を含む。たとえば、メインビームフォーマ20は、128チャネルを有し、それぞれのチャネルは、部分的にビーム形成された信号を数十又は数百のトランスデューサ要素のパッチから受信する。このようにして、トランスデューサアレイの数千のトランスデューサによって受信された信号は、単一のビーム形成信号に効率的に貢献することができる。
ビーム形成された受信信号は、信号プロセッサ22につながれる。信号プロセッサ22は、受信されたエコー信号を様々なやり方、たとえば:帯域通過フィルタリング、デシメーション、I及びQ構成要素分離、並びに、組織及びマイクロバブルから返される非線形(基本的周波数のより高い調波)のエコー信号の識別を可能にするために別々の線形及び非線形信号に作用する、高調波信号分離で処理することができる。信号プロセッサはまた、スペックル低減、信号合成、及びノイズ除去などの付加的信号強調を実行する。信号プロセッサにおける帯域通過フィルタは、エコー信号が、増加する深度から受信されるときに、より高い周波数帯からより低い周波数帯に移り、それによって、通常は解剖学的情報のないより大きな深度からのより高い周波数におけるノイズを除去する、それの通過帯域を有する、追跡フィルタになり得る。
送信のための及び受信のためのビームフォーマは、異なるハードウェアで実施され、異なる機能を有することができる。もちろん、受信器ビームフォーマは、送信ビームフォーマの特性を考慮するように設計される。図1では、分かりやすくするために、受信器ビームフォーマ12、20のみが示されている。完全なシステムでは、送信マイクロビームフォーマ、及びメイン送信ビームフォーマを有する送信チェーンも存在することになる。
マイクロビームフォーマ12の機能は、アナログ信号進路の数を減らすために、信号の初期組合せを提供することである。これは、通常は、アナログドメインにおいて実行される。
最終的ビーム形成は、メインビームフォーマ20において行われ、通常はデジタル化の後である。
送信及び受信チャネルは、固定周波数帯を有する同じトランスデューサアレイ6を使用する。しかしながら、送信パルスが占有する帯域幅は、使用される送信ビーム形成に応じて変化することができる。受信チャネルは、トランスデューサ帯域幅全体をキャプチャすることができ(これは伝統的手法である)、或いは、帯域通過処理を使用することによって、それは、所望の情報を含む帯域幅(たとえば、メイン高調波の高調波)のみを抽出することができる。
RF信号は、次いで、Bモード(すなわち、輝度モード、又は2D画像化モード)プロセッサ26及びドップラプロセッサ28につながれる。Bモードプロセッサ26は、体内の構造物、たとえば、器官組織及び血管、の画像化のために受信超音波信号で振幅検出を実行する。1行ごとの画像化の場合、各線(ビーム)は、関連RF信号によって表され、関連RF信号の振幅は、Bモード画像内の画素に割り当てられることになる輝度値を生成するために使用される。画像内の画素の正確なロケーションは、RF信号に沿った関連振幅測定のロケーション及びRF信号の線(ビーム)の数によって決定される。そのような構造体のBモード画像は、高調波又は基本的画像モードにおいて、或いは米国特許第6,283,919号(Roundhillら)及び米国特許第6,458,083号(Jagoら)に記載されたその両方の組合せにおいて、形成される。ドップラプロセッサ28は、動いている物質、たとえば、画像フィールドにおける血液細胞の流れの検出のために組織の動き及び血流から生じる時間的に別個の信号を処理する。ドップラプロセッサ28は、通常は、体内の選択されたタイプの材料から返されたエコーを渡す又は拒否するように設定されたパラメータを有するウォールフィルタを含む。
Bモード及びドップラプロセッサによって作り出された構造及び運動信号は、スキャンコンバータ32及び多断面リフォーマッタ44につながれる。スキャンコンバータ32は、所望の画像フォーマットでそれらが受信された空間的関係性においてエコー信号を配置する。言い換えれば、スキャンコンバータは、円筒座標系から画像ディスプレイ40に超音波画像を表示するのに適したデカルト座標系にRFデータを変換するように作用する。Bモード画像化の場合、所与の座標における画素の輝度は、そのロケーションから受信されるRF信号の振幅に比例する。たとえば、スキャンコンバータは、2次元(2D)セクタ型フォーマット、又はピラミッド形の3次元(3D)画像にエコー信号を配置する。スキャンコンバータは、Bモード構造画像を画像フィールド内のポイントにおける運動に対応する色と重ね合わせることができ、そこでは、ドップラ推定ベロシティが所与の色を生み出すことになっている。結合されたBモード構造画像及び色ドップラ画像は、構造画像フィールド内の組織の運動及び血流を描写する。多断面リフォーマッタは、体のボリューム領域における共通の平面内のポイントから受信されたエコーを、米国特許第6,443,896号(Detmer)に記載のように、その平面の超音波画像に変換することになる。ボリュームレンダラ42は、米国特許第6、530、885号(Entrekinら)に記載のように所与の基準点から見たものとしての投影された3D画像に3Dデータセットのエコー信号を変換する。
2D又は3D画像は、画像ディスプレイ40に表示するためのさらなる強調、バッファリング及び一時記憶のために画像プロセッサ30にスキャンコンバータ32、多断面リフォーマッタ44、及びボリュームレンダラ42からつながれる。画像化プロセッサは、ある種の画像化アーチファクトを最終的超音波画像から取り除くように適合される:たとえば強い減衰器又は屈折によって引き起こされる、音響シャドーイング、たとえば弱い減衰器によって引き起こされる、後部強調、たとえば高反射性組織インターフェースが近接近に位置する、反射アーチファクト、などである。加えて、画像プロセッサは、最終的超音波画像のコントラストを改善するために、ある種のスペックル低減機能を扱うように適合される。
画像化のために使用されることに加えて、ドップラプロセッサ28によって生み出された血流値及びBモードプロセッサ26によって生み出された組織構造情報は、定量化プロセッサ34につながれる。定量化プロセッサは、器官のサイズ及び在胎期間などの構造的測定結果に加えて、血流のボリューム流量などの異なる流れ条件の測定結果を生み出す。定量化プロセッサは、ユーザ制御パネル38からの入力、たとえば、測定が行われるべき画像の解剖学的組織内のポイントを受信する。
定量化プロセッサからの出力データは、ディスプレイ40上の画像での測定グラフィックス及び値の再生のために、及び表示デバイス40からのオーディオ出力のために、グラフィックスプロセッサ36につながれる。グラフィックスプロセッサ36はまた、超音波画像と表示するための画像の重ね合わせを生成することができる。これらの画像の重ね合わせは、患者名、画像の日付及び時間、画像化パラメータなどの情報を識別する標準を含むことができる。これらを目的として、グラフィックスプロセッサは、ユーザインターフェース38からの入力、たとえば、患者名、を受信する。ユーザインターフェースはまた、トランスデューサアレイ6からの超音波信号の生成、したがって、トランスデューサアレイ及び超音波システムによって作り出される画像を制御するために、送信コントローラ18につながれる。コントローラ18の送信制御機能は、実行される機能のうちの1つに過ぎない。コントローラ18はまた、(ユーザによって与えられる)操作のモードと、受信器アナログ-デジタルコンバータにおける対応する必要とされる送信器構成及び帯域通過構成とを考慮する。コントローラ18は、固定状態を有する状態機械になり得る。
ユーザインターフェースはまた、多断面再フォーマット(MPR)画像の画像フィールドにおいて定量化された測定を実行するために使用される複数のMPR画像の平面選択及び制御のために多断面リフォーマッタ44につながれる。
本開示は、複数の超音波画像、たとえば、前述の超音波画像によって生成されたものを分析するためのプロセスに関する。本プロセスは、超音波画像のプロセッサ、たとえば、グラフィックスプロセッサ36、画像プロセッサ30及び/又は別個の/専用の処理システム(図示せず)、によって、実行される。
図2は、本発明の一実施形態によって採用される手法を理解するためのワークフロー200を概略的に示す。ワークフローは、処理システムによって実施されるプロセスを表す。
ワークフローは、すべて同分解能である、複数の超音波画像210を処理することを含む。複数の超音波画像は、個人の超音波画像、特に、個人の同じ解剖学的エリアの超音波画像、である(そして、たとえば、大幅に動かない画像化プローブで、同じ又は類似の視点から好ましくは取得される)。好ましくは、それぞれの超音波画像は、2次元画像であるが、これは必須ではない(たとえば、3D超音波画像が使用され得る)。
超音波画像は、超音波画像化プロセスを使用して、たとえば、前述のそれなどの超音波画像化システムを使用して、取得される任意の画像である。いくつかの例では、「最初の」超音波画像は、方法/ワークフローを目的として超音波画像として使用される前に、追加処理(たとえば、ニューラルネットワークの1つ又は複数のフィルタ及び/又は1つ又は複数の層を使用する)を受ける。したがって、超音波画像は、特徴空間画像又は画像空間超音波画像である。
特により好ましい例において、複数の超音波画像は、超音波画像のシーケンス、たとえば、異なる時間に同じ超音波画像化プローブによってキャプチャされた超音波画像のシーケンス、を含む。好ましくは、シーケンスの超音波画像の順番は、それぞれの超音波画像がキャプチャされた時間に依存する。たとえば、シーケンスは、超音波ビデオの順次的フレームを含む。
複数の超音波画像のそれぞれは、それぞれの超音波画像内の関心領域を識別するために、プロセス220で、処理される。関心領域は、個人の潜在的病害を有する/含むエリアを表す超音波画像の一部分又は断片である(すなわち、超音波画像全体ではない)。
病害は、腫瘍、できもの、膿瘍、小瘤、腫れ、こぶ、潰瘍、或いは、個人の損傷、疾患又はけがに由来する任意の他の適切な特徴のうちの1つ又は複数を含む。超音波画像内の関心領域を識別するための機構は、当業者によく知られており、たとえば、機械学習法、エッジ検出アルゴリズム、画像セグメンテーション技法などを使用する。
関心領域230は、次いで、グループ化又はクラスタ化プロセス240を受け、そこで、類似の関心領域がグループ化される。言い換えれば、関心領域が、関心領域の類似性に基づいて、(たとえば、関心領域の1つ又は複数のグループに)グループ化される。関心領域の類似性は、関心領域の内容の類似性に基づいて、定義される。特に、関心領域は、それらが個人の同じ潜在的病害を識別すると予測される場合に、グループ化される。
1つのみの例が示された、関心領域の各グループ250は、次いで、関心領域のグループが個人の病害を含む可能性を示す予測インジケータ270を生成するために、機械学習法を使用して、プロセス260で処理される。
予測インジケータ270は、グループが病害を含む可能性を表すバイナリ、カテゴリ又は数値データを含む。一例として、予測インジケータは、関心領域のグループが病害を含むか否かの予測を示すバイナリインジケータ(たとえば、「0」又は「1」)である。もう1つの例として、予測インジケータは、関心領域のグループが病害を含む確率(すなわち、数値インジケータ)である。数値インジケータは、0から1、0から10、1から10、0から100又は1から100の尺度である(他の例が使用され得るが)。さらにもう1つの例として、予測インジケータは、関心領域のグループが病害を含む可能性のカテゴリ指示を示すカテゴリインジケータである(たとえば、「可能性がある」、「可能性が低い」、「可能性が非常に高い」、「可能性があるでも可能性が低いでもない」など)。
それにより、提案される手法は、複数の超音波画像を使用して病害が個人に存在する可能性を予測するための2つのステッププロセスを実行する。それぞれの超音波画像は、潜在的に病害を描写する超音波画像のエリア/部分(すなわち、病害を含む候補である領域)である、関心領域を識別するために、個別に/個々に処理される。類似の関心領域は、次いで、グループ化され、次いで、グループが病害を示す可能性に応答して予測インジケータを生成するために、機械学習法を使用して処理される。グループを使用する処理は、グループ内の各関心領域が病害を示すという提案(この提案は、各個々の超音波画像の処理によって提言される)を効果的に確認又は拒否する。
提案される手法は、次に超音波画像の部分のグループを処理する前に、各個々の超音波画像を個別に処理することによって、同時にすべての超音波画像の複雑な、高強度の処理を実行する必要がない。発明者は、提案される手法は、病害可能性の予測の高い精度/正確性を保ちながら、偽陽性率を有意に減らすことができる、ということを認識した。
ワークフローの概観が説明されたので、例示的ワークフローの実行の仕方のより完全な例を、以下に提供する。
図3は、一実施形態による方法300を示す。方法300は、一実施形態による処理システムによって実施される。
方法300は、個人の複数の超音波画像を取得するステップ310を含む。複数の超音波画像は、図2を参照して前述されたとおりである。説明を容易にするために、図解された超音波画像は、画像空間超音波画像である(すなわち、各画素は、個人の解剖学的組織の一部分を直接に表す)。
具体的には、超音波画像は、好ましくは2次元超音波画像であるが、3D超音波画像の使用も可能である。好ましくは、複数の超音波画像は、たとえば、別の超音波画像の順次に後又はそれより遅くの超音波画像が、他の超音波画像よりも後の時点にキャプチャされた、超音波画像のシーケンスを含む。いくつかの例では、複数の超音波画像は、超音波ビデオからの(順次的)フレームを含む。
超音波画像は、次いで、超音波画像において1つ又は複数の関心領域を識別することを含むステップ320で処理され、各関心領域は、個人における潜在的病害を有するエリアを表す超音波画像の一部分である。したがって、関心領域は、より大きい超音波画像の一部分であり、それ自体、超音波画像である。
超音波画像において関心領域を識別するためのプロセスは、当業者には容易に明らかとなり、機械学習法(たとえば、ニューラルネットワーク又はナイーブベイズ分類子)を用いて、個人における潜在的病害を含む又は表す超音波画像の任意の部分を識別する。通常は、関心領域は、個人の潜在的病害を含むエリア又はボリュームの外側境界を定義する四角形又はボリューム(の座標)を識別することによって、定義される。したがって、各関心領域は、超音波画像の特定の部分である。
好ましくは、各関心領域は、超音波画像のサイズの0.4倍以下、たとえば、超音波画像のサイズの0.25倍以下、である。関心領域が小さいほど、関心領域のグループを処理する計算の複雑性の低減(超音波画像全体と比較した)は大きくなる。
関心領域は、任意の重複関心領域(たとえば、同じ潜在的病害を識別する同じ超音波画像内の関心領域)を取り除く又は削除するために、処理される。これは、たとえば、それぞれの超音波画像を処理して、所定の量よりも多く互いに重複する(たとえば、所定の値を超えるIoU値を有する)その超音波画像内の任意の関心領域を識別することと、重複する関心領域のうちの1つ又は複数を削除することとによって、実行される。削除された関心領域は、それが潜在的病害を識別する最も低い信頼性/確率に関連する関心領域である。関心領域が機械学習手法を使用して識別される場合、そのような信頼性/確率値が、生成され得るが、他の技法もまた、そのような信頼性/確率測度を生成する。
方法300は、次いで、識別された関心領域をグループ化又はクラスタ化して関心領域のグループを形成するステップ330を実行する。このグループ化は、互いに対する識別された関心領域の類似点に基づいて、実行される。各グループは、同じ潜在的病害を描写する/有する関心領域を含むように適合/構成される。
ステップ330は、異なる超音波画像の関心領域をリンクする又は関連付けることによって、実行される。リンクされた関心領域は、同じ潜在的病害を含むと信じられる関心領域である。ステップ330は、次いで、リンクされた関心領域を、たとえば、それらがある特定の要件を満たす場合に、単一のグループにグループ化又はクラスタ化することによって、関心領域のグループを作成又は形成する。
好ましくは、各グループは、任意の所与の超音波画像からの関心領域を1つだけ含む(すなわち、それぞれの超音波画像は、1つまでの関心領域を超音波画像のグループに与えることができる)。
複数の超音波画像が超音波画像のシーケンスを含む、特により好ましい例において、関心領域の各グループは、順次に隣接する超音波画像からの関心領域のみを含む。言い換えれば、それぞれの関心領域(関心領域の特定のグループ内の)は、別の関心領域(関心領域の特定のグループ内の)を含む超音波画像に順次に隣接する超音波画像(超音波画像のシーケンス内の)に由来する。
この手法は、関心領域のグループは、関心領域のシーケンスを効果的に構築するために、互いに順次に隣接する(すなわち、その直前又は直後の)超音波画像からの関心領域を比較することによってのみ、構築され得る、ということを意味する。これは、関心領域のグループのその後の分析に役立つ追加情報を提供して、互いに順次に関連している(たとえば、時間的に関連している)関心領域のグループを生み出す。
この手法は、互いに順次的である関心領域のグループを提供する、その後の分析のための有用なコンテキスト情報を提供する(たとえば、シーケンス情報は、病害が存在するか否かに関する重要なインジケータを提供するので)、及び、行われる必要がある比較の数を減らす(順次に隣接する超音波画像内の関心領域だけが互いに比較されればよいので)という利点を有する。
言い換えれば、ステップ330は、リンクされた関心領域を単一のグループにグループ化することによって関心領域のグループを作成する前に、順次に隣接する超音波画像の関心領域をリンクする又は関連付けることによって、実行される。
第1のシナリオでは、ステップ330は、それらのそれぞれの超音波画像内の各関心領域によって占有されるエリアの間の相対重複に基づいて異なる関心領域の間の類似性測度を決定することを含む。この類似性測度が、何らかの所定の閾値を超える場合、関心領域は、グループ化される(又は、互いにリンク/関連付けされる)。
たとえば、超音波画像内の1つの関心領域によって占有されるエリアと別の超音波画像内の別の領域によって占有されるエリアとの間の重複のサイズは、類似性測度として使用される。重複のサイズは、IoU評価メトリックを使用して、決定される。この手続きは、異なる超音波画像にわたる関心領域の間のリンクを確立することができる。
単に一例として、第1の超音波画像の関心領域が、座標(X1,Y1,X2,YX)によって定義される四角形であり、そして、第2の超音波画像の関心領域が、座標(X3,Y3,X4,Y4)によって定義される四角形である、シナリオを考察する。座標情報は、各関心領域の適用範囲又は広がりを定義するので、この座標情報は、2つの関心領域の間の相対重複のサイズを識別するために使用することができ、IoU測度を計算するために使用することができる。
いくつかの例では、IoU測度が、何らかの所定の値より大きい、好ましくは0.4以上、たとえば、0.5以上、たとえば、0.6以上である場合、関心領域は、十分に類似している(すなわち、同じグループに配置するのにふさわしい)と考えられる。
第2のシナリオにおいて、ステップ330は、各関心領域に関連するメタデータに基づいて関心領域をグループ化することを含む。
このメタデータは、たとえば、関心領域の特徴を表す。関心領域の例示的メタデータには、関心領域のロケーション(たとえば、関心領域の中心の位置)、ジオメトリ(たとえば、形状)及び/又は関心領域のサイズ、関心領域の信頼値(たとえば、関心領域が潜在的病害を含む信頼性又は確率を表す値-機械学習方法によって提供されるとき)及び/又は関心領域の特徴マップが含まれる。
関心領域の特徴マップは、1つ又は複数のフィルタ、たとえば、畳み込みフィルタなど、を関心領域に適用することによって生成されたマップである。具体的には、特徴マップは、ニューラルネットワークの1つ又は複数の層を関心領域に適用することによって生成されるマップである。特徴マップという用語の意味は、機械学習分野ではよく知られている。
いくつかの例では、分類子、たとえば、機械学習法、は、各関心領域を処理して関心領域を複数の分類のうちの1つに分類する。関心領域のグループは、たとえば、同じ分類を有する関心領域のみを含む。
好ましくは、前述の手法の組合せが、使用される。具体的には、1シーケンスの複数画像で形成された複数の画像について、関心領域の各グループは、関心領域のグループの1つ又は複数の他の関心領域を提供する1つ又は2つの他の超音波画像に順次に隣接する及び所定の量より多く互いに重複する超音波画像からの関心領域のみを含む。
方法300は、機械学習法を使用して、関心領域のグループを処理して、関心領域のグループが個人の病害を含む可能性を示す予測インジケータを生成するステップ340を含む。
特に好ましい例において、機械学習法の出力は、領域のグループが病害を含む予測される可能性に応答して変化するデータ、たとえば、バイナリインジケータ、カテゴリインジケータ及び/又は数値インジケータの形の、である。
このプロセスは、それらが個人の病害を含む又は描写するか否かを予測するために、複数の、類似の関心領域を使用する。これは、たとえば、単一の超音波画像だけを単純に処理することと比べて、予測インジケータを生成するための付加的な、コンテキスト的関連情報を提供する。それによって、この手法は、付加的コンテキスト情報が提供されるので、病害が存在する可能性(関心領域の各グループにおける)を決定するためのより正確な機構を実現することができる。
関心領域のグループを使用することによって、提案される手法はまた、計算的に費用の高い及び/又は有意な付加的記憶空間を必要とする、フルサイズ超音波画像のグループを処理する必要がない。
提案される手法はまた、2つのステッププロセスを使用して病害の存在の可能性を識別又は予測するので、個人の病害を識別する精度を高める、ということにさらに留意されたい。
ステップ340は、関心領域の各グループについて、関心領域を処理して関心領域のシーケンスを生成することを含む。関心領域が、(各関心領域の)最初の超音波画像が最初にキャプチャされた時間に基づいて、順次に順序付けられるように、シーケンスは、時系列である。領域のシーケンスは、次いで、予測インジケータを生成するために、機械学習法を使用して処理される。
関心領域のシーケンスの順番は、超音波画像のシーケンスから取得された場合、関心領域がそこから取得される超音波画像のシーケンスの順番と一致する。
関心領域のこのシーケンスは、「チューブ」又は「チューブレット」と呼ばれ、同じ潜在的病害を描写するシーケンス(画像の部分)を効果的に表す。たとえば、「チューブ」は、潜在的病害の周りに適合するサイズ/形状の、潜在的病害のビデオ(超音波画像化プローブによって画像化されたエリア全体のビデオではなくて)を表す。
いくつかの例では、関心領域のシーケンスは、関心領域のグループ内の関心領域の積み重ねを含む。たとえば、各関心領域が、2次元画像である場合、関心領域のシーケンスは、互いの上への2次元画像の単純な積み重ねを表す3Dボリュームを含む。
さらに言い換えれば、関心領域のグループは、機械学習法を使用して分類又は処理され得る、「ボリューム」として効果的に扱われる。すなわち、関心領域のシーケンスは、積み重ねられた関心領域を含む単一データ構造体、すなわち、すべての関心領域の組合せ、である。
機械学習法への入力は、領域自体のグループ、関心領域のシーケンス、及び/又は関心領域のグループから導出された他のデータ、たとえば、関心領域のグループを処理すること(たとえば、ニューラルネットワークの1つ又は複数のフィルタ又は層を使用すること)によって導出された1つ又は複数の特徴マップである。
機械学習アルゴリズムは、入力データを処理して出力データを作り出す又は予測する任意のセルフトレーニングアルゴリズムである。ステップ340を目的として、入力データは、関心領域のグループから導出されたデータを含み、出力データは、関心領域のグループが個人の病害を含む可能性を示す予測インジケータを含む。
本発明で使用するための適切な機械学習アルゴリズムは、当業者には明らかとなろう。適切な機械学習アルゴリズムの例には、決定木アルゴリズム及び人工ニューラルネットワーク(たとえば、CNN、RNNS及び/又はLSTM)が含まれる。ロジスティック回帰、サポートベクタマシン又はナイーブベイジアンモデルなどの他の機械学習アルゴリズムは、適切な代替案である。
人工ニューラルネットワーク(又は、単純に、ニューラルネットワーク)の構造は、人間の脳から発想を得ている。ニューラルネットワークは、層で構成され、各層は、複数のニューロンを含む。各ニューロンは、数学演算を含む。具体的には、各ニューロンは、単一のタイプの変形の異なる重み付けをされた組合せ(たとえば、同タイプの変形、シグモイドなどの、しかし異なる重み付けを有する)を含む。入力データを処理するプロセスにおいて、各ニューロンの数学演算が、入力データに実行されて、数値出力を生み出し、ニューラルネットワーク内の各層の出力は、順次に次の層に供給される。最終的層は、出力を提供する。
機械学習アルゴリズムをトレーニングするための方法は、よく知られている。通常は、そのような方法は、トレーニング入力データエントリ及び対応するトレーニング出力データエントリ(一般に「グラウンドトゥルース」データとラベル付けされる)を含む、トレーニングデータセットを取得することを含む。初期化された機械学習アルゴリズムが、予測された出力データエントリを生成するために、各入力データエントリに適用される。予測された出力データエントリと対応するトレーニング出力データエントリとの間のエラーは、機械学習アルゴリズムを修正するために使用される。このプロセスは、エラー集束まで繰り返すことができ、予測された出力データエントリは、トレーニング出力データエントリに十分に類似している(たとえば、±1%)。これは、監督された学習技法として一般に知られている。
たとえば、機械学習アルゴリズムが、ニューラルネットワークから形成される場合、各ニューロンの数学演算(の重み付け)は、エラー集束まで修正される。ニューラルネットワークを修正する知られている方法には、勾配降下、誤差逆伝播アルゴリズムなどが含まれる。
トレーニング入力データエントリは、関心領域のグループから導出された実例データ(たとえば、グループ自体)に対応する。トレーニング出力データエントリは、グループに病害が存在する可能性に関する実例予測(バイナリ、カテゴリ又は数値データの形の)に対応する。
方法300はさらに、予測インジケータに応答して、表示デバイスに、視覚的に知覚可能な出力を表示するステップ350を含む。
したがって、ステップ350は、予測インジケータ(領域の各グループの)に応答する視覚的に知覚可能な出力を提供するように、すなわち、個人に病害が存在する予測された可能性を示すように、表示デバイスを制御することを含む。インジケータは、たとえば、個人に病害が存在するという予測された確率及び/又はバイナリインジケータ(たとえば、「病害有」又は「病害なし」を示す)を提供する。
もう1つの例として、予測インジケータが、予測された確率を示す数値であり、予測インジケータのうちの1つが、所定の値を超える値を有する場合、次いで、ステップ350は、病害が存在するということを示すように表示デバイスを制御することを含む。
いくつかの例では、視覚的に知覚可能な出力は、グループの関心領域うちのどれ(もしあれば)が病害を含む又は描写すると予測されるかを示す。これは、たとえば、領域の各グループについて又は病害を含む可能性があると考えられる(たとえば、何らかの所定の閾値を超える可能性を有する)それらの領域のみについての、確率及び/又はバイナリインジケータの形をとる。
いくつかの例では、関心領域のグループのうちの少なくとも1つが病害を含むと決定することに応答して、たとえば、予測される可能性が、何らかの閾値を超える場合、ステップ350は、患者の表示された超音波画像に関して識別された病害の位置を識別することと、病害の識別された位置に応答して、表示された超音波画像に、視覚的に知覚可能な出力(たとえば、注釈、四角形など)を重ね合わせることとを含む。識別される病害の位置は、表示された超音波画像内の関心領域の(病害を含むと予測された関心領域のグループの)位置である。具体的には、視覚的に知覚可能な出力は、超音波画像において、病害の位置、たとえば、病害を含むと予測された関心領域の位置にある、を覆う。超音波画像は、病害の存在が識別された関心領域のグループの部分を形成した関心領域を含んだ複数の超音波画像のうちの1つである。
いくつかの例では、すべての関心領域が、識別され(たとえば、それぞれのマーカを使用して)、病害を含むと予測された(たとえば、何らかの所定の値より大きな確率を有する)関心領域のグループ内の関心領域が、ハイライト又は他の方法で、たとえば、特定の色、パターンなどで、強調される。これは、エリアが病害を含む可能性の自動化された予測に関する情報も提供しながら、(たとえば、診断目的で)病害が発見され得る潜在的エリアの識別の容易さの向上を促進する。
いくつかの例では、領域が対象の病害を含む予測された可能性に関する情報は、たとえば、シェーディング又は透明性調整技法を使用して、表示される。
いくつかの例では、表示デバイスは、複数の超音波画像のうちのそれぞれの超音波画像を順次に表示する(たとえば、超音波ビデオを再生する)ように構成される。ステップ350は、関心領域のグループのうちの少なくとも1つが病害を含む可能性があると決定すること(たとえば、予測インジケータを処理することによって)に応答して、現在表示されている超音波画像に関して現在表示されている超音波画像に関連する関心領域(関心領域のグループからの)の位置の視覚的に知覚可能な出力を提供するように表示デバイスを制御することを含む。このようにして、関心領域のグループに関連する病害の相対位置は、順次に追跡又は表示することができる。
図2及び図3は、複数の超音波画像のそれぞれが画像空間超音波画像を含む相対的に単純な実施形態を説明するために、使用される。
しかしながら、前述のように、いくつかの例では、複数の超音波画像のそれぞれが、特徴空間超音波画像、すなわち、特徴空間画像、を含む。特徴空間画像は、さらなる処理、たとえば、ニューラルネットワークの1つ又は複数のフィルタ及び/又は層を使用して特徴空間画像を生成すること、を受けた「従来の」超音波画像(「画像空間画像」)である。
いくつかの例では、これらの特徴空間画像は、前述の超音波画像と同一の方式で処理される。しかしながら、他の例では、いくつかの追加処理は、関心領域(のグループ)を識別するために、実行される。
図4は、複数の超音波画像が複数の特徴空間画像410を含むプロセスを示し、それぞれの特徴空間画像は、(たとえば、特徴抽出プロセス430の結果として)それぞれの画像空間(超音波)画像420から導出される。
したがって、複数の超音波画像を取得するステップは、複数の特徴空間超音波画像を取得することを含む。これは、複数の画像空間超音波画像を、特徴抽出プロセス430において、処理して特徴空間超音波画像を生成することによって、実行される。
超音波画像において関心領域を識別するプロセスは、特徴空間超音波画像において関心領域を識別するための特徴空間超音波画像の独立処理を含む。
代替の一実施形態において、このプロセスは、画像空間超音波画像420において関心領域を識別するプロセス435を含む。これは、任意の前述の機構を使用して、たとえば、機械学習法を使用して、実行される。特徴空間超音波画像内の関心領域は、次いで、点線を使用して概略的に示されているように、画像空間超音波画像内の関心領域に基づいて決定される。具体的には、特徴空間超音波画像と画像空間超音波画像との異なるエリアの間の空間的関係性は、知られており、したがって、特徴空間超音波画像内の関連関心領域を識別するために使用され得る。
したがって、超音波画像において関心領域を識別するステップは、最初の超音波画像内の識別された関心領域に基づいて複数の超音波画像において関心領域を識別する前に、(複数の超音波画像を導出するために使用される)最初の超音波画像において先ず関心領域を識別することによって関心領域を識別することを含む。
複数の(特徴空間)超音波画像内の関心領域は、次いで、プロセス440においてグループ化されて、関心領域の1つ又は複数のグループ460を生成する。
関心領域の各グループ450は、関心領域のグループが病害を含む可能性を示す予測インジケータ470を生成するために、機械学習法を使用して処理される。これは、任意の前述の手法を使用して、実行される。
図5は、関心領域をグループ化するための例示的プロセスを示す。
具体的には、図5は、超音波画像のシーケンス内の連続的超音波画像(たとえば、超音波ビデオの順次的フレーム)から関心領域をグループ化するためのプロセスを示す。
図5は、すべて2次元の及び同じ分解能を有する、3つの超音波画像を示す。具体的には、第1の超音波画像510、第2の超音波画像520及び第3の超音波画像530が存在する。超音波画像は、たとえば超音波ビデオのフレームを表す、超音波画像の(時間的)シーケンスを形成する。
それぞれの超音波画像は、たとえば機械学習法を使用して、関心領域を識別するために処理されてある。これらの関心領域は、四角形を使用して図5には概略的に示されている。
関心領域は、次いで、グループ化される。これは、関心領域の類似性(隣接するフレームにおける)の測度が何らかの所定の閾値を超える場合に、隣接するフレームにおいて関心領域をリンクする又は関連付けることによって、実行される。類似性の測度は、領域間の重複のサイズ(すなわち、領域が同じ超音波画像に位置した場合の重複のサイズ)を領域間の和集合のサイズで割ることによって計算される、IoU値である。
関心領域のシーケンスは、次いで、異なる超音波画像のリンクされた関心領域を選択することによって、取得される。具体的には、関心領域の取得されたシーケンスは、それぞれの超音波画像からの1つまでの関心領域を含むシーケンスであり、そこで、シーケンス内の各関心領域は、シーケンス内の別の関心領域とリンクされる又は関連付けられる。シーケンスの関心領域の順番は、それらが取得されたシーケンスの超音波画像の順番と一致する。
関心領域のシーケンスに配置された領域は、次いで、削除され(関心領域のシーケンスは保存されて)、プロセスは繰り返される。このプロセスは、図5の矢印を使用して、概略的に示されている。
図6は、一実施形態による処理システム600を示す。処理システムは、全体的超音波画像化システム60との関連で、説明されている。
処理システム600は、個人の複数の超音波画像を取得するように構成される。複数の超音波画像は、たとえば、超音波画像を生成するように構成されたメモリ610及び/又は超音波スキャナ620から取得される。
処理システム600はまた、超音波画像において関心領域を識別するように構成され、各関心領域は、個人における潜在的病害を有するエリアを表す超音波画像の一部分である。
処理システム600はまた、関心領域の類似点に基づいて、異なる超音波画像から、関心領域をグループ化し、機械学習方法を使用して関心領域の各グループを処理して、関心領域のグループが個人の病害を含むか否かを予測するように構成される。
処理システム600はまた、各予測インジケータに応答して、表示デバイスに、視覚的に知覚可能な出力を表示するように構成される。
前述したように、処理システム600は、必要な変更を加えて、本明細書に記載の任意の方法を実施するように適切に適合され、当業者は、容易に処理システム600を適切に適合させることができる。
図7は、個人が1つ又は複数の病害を有するか否かを予測するための提案される手法の効果を示す。
第1のグラフ710は、知られている2次元ニューラルネットワーク分析手法を使用して2次元超音波画像内で病害を正確に識別するための再現度精度曲線(x軸に再現度、y軸に精度)を示す。このグラフは、ベンチマークデータを使用して、作り出された。具体的には、第1のグラフ710は、高速RCNNを使用する病害検出アルゴリズムの使用の結果として生じた再現度精度曲線を示す。
第2のグラフ720は、本明細書で開示される手法を実行することによって複数の超音波画像内で病害を正確に識別するための再現度精度曲線を示す。第2のグラフ720は、第1のグラフ710を生み出すために使用された同じベンチマークデータを使用して、生み出された。
第1の及び第2のグラフ710、720は、同じ縮尺比(たとえば、x軸に関して0.0から1.0、y軸に関して0.0から1.0)である。
提案される手法では、より高い精度値が、より高いレベルの再現度について取得され得、逆もしかりである。言い換えれば、我々の発明の改良は、コンテキストが単純な静止画像では存在しない、(たとえば、超音波ビデオを使用する)開示される方式での複数の超音波画像において提供される追加コンテキストの使用が、病害の偽陽性検出及び/又は欠落検出を減らすことができる、ということを示す。
図8は、本開示の実施形態による、処理システム600の概略図を示す。図示するように、処理システム600は、(データ)プロセッサ860、メモリ864、及び通信モジュール868を含む。これらの要素は、たとえば1つ又は複数のバスを介して、互いに直接又は間接通信している。
プロセッサ860は、中央処理装置(CPU)、デジタル信号プロセッサ(DSP)、ASIC、コントローラ、FPGA、別のハードウェアデバイス、ファームウェアデバイス、又は、本明細書に記載の動作を実行するように構成されたその任意の組合せを含む。プロセッサ860はまた、計算デバイスの組合せ、たとえば、DSP及びマイクロプロセッサの組合せ、複数のマイクロプロセッサ、DSPコアと連動した1つ又は複数のマイクロプロセッサ、或いは任意の他のそのような構成として実施される。いくつかの実施形態において、プロセッサは、たとえば1セットの分散されたプロセッサの形を成す、分散型処理システムである。
メモリ864は、キャッシュメモリ(たとえば、プロセッサ860のキャッシュメモリ)、ランダムアクセスメモリ(RAM)、磁気抵抗RAM(MRAM)、リードオンリメモリ(ROM)、プログラマブルリードオンリメモリ(PROM)、消去可能プログラマブルリードオンリメモリ(EPROM)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、フラッシュメモリ、ソリッドステートメモリデバイス、ハードディスクドライブ、他の形の揮発性及び不揮発性メモリ、或いは異なるタイプのメモリの組合せを含む。一実施形態において、メモリ864は、非一時的コンピュータ可読媒体を含む。非一時的コンピュータ可読媒体は、命令を記憶する。たとえば、メモリ864、又は非一時的コンピュータ可読媒体は、プログラムコードがそこに記録されてあり、プログラムコードは、処理システム600、又は処理システム600の1つ若しくは複数の構成要素、特にプロセッサ860、に本明細書に記載の動作を実行させるための命令を含む。たとえば、処理システム600は、方法700の動作を実行することができる。命令866は、コード又はプログラムコードとも称される。「命令」及び「コード」という用語は、任意のタイプのコンピュータ可読ステートメントを含むと広義に解釈されるべきである。たとえば、「命令」及び「コード」という用語は、1つ又は複数のプログラム、ルーチン、サブルーチン、機能、手続きなどを指す。「命令」及び「コード」は、単一のコンピュータ可読ステートメント又は多数のコンピュータ可読ステートメントを含む。コードがそこに記録された、メモリ864は、コンピュータプログラム製品と称される。
通信モジュール868は、処理システム600、ペネトレーションデバイス及び/又はユーザインターフェース(又は他のさらなるデバイス)の間のデータの直接又は間接通信を円滑化するための任意の電子回路及び/又は論理回路を含むことができる。その点で、通信モジュール868は、入力/出力(I/O)デバイスになり得る。いくつかの事例において、通信モジュール868は、処理回路600及び/又はシステムの様々な要素(図6)の間の直接又は間接通信を円滑化する。
開示される方法は、好ましくはコンピュータ実施方法である、ということが理解されよう。そのようなものとして、コンピュータプログラムが、処理システム、たとえば、コンピュータ又は1セットの分散されたプロセッサ、で実行されるときに、任意の記載された方法を実施するためのコンピュータプログラムコードを含む、前記コンピュータプログラムの概念もまた、提案されている。
一実施形態によるコンピュータプログラムのコードの異なる部分、ライン又はブロックは、本明細書に記載の任意の方法を実行するために、処理システム又はコンピュータによって、実行される。いくつかの代替実装形態において、ブロック図又は流れ図に示された機能は、図に示された以外の順番で生じる。たとえば、連続して示された2つのブロックは、実際には、実質的に同時に実行され、又はそれらのブロックは、関連する機能性に応じて、逆の順番で時には実行される。
本開示は、プログラムがコンピュータ又は処理システムによって実行されるときにコンピュータ又は処理システムに本明細書に記載の任意の方法(のステップ)を実施させる命令を含む、コンピュータプログラム(製品)を提案する。コンピュータプログラム(製品)は、非一時的コンピュータ可読媒体に記憶され得る。
同様に、コンピュータ又は処理システムによって実行されるときにコンピュータ又は処理システムに本明細書に記載の任意の方法(のステップ)を実施させる命令を含む、コンピュータ可読(記憶)媒体もまた提案される。前述のコンピュータプログラム(製品)がそこに記憶されたコンピュータ可読データキャリアもまた提案される。前述のコンピュータプログラム(製品)を実施するデータキャリア信号もまた提案される。
開示される実施形態に対する変更形態が、図面、本開示、及び添付の特許請求の範囲の研究から、本請求の発明を実施する際に当業者によって理解され、もたらされる可能性がある。特許請求の範囲において、「含む」という単語は、他の要素又はステップを排除せず、単数形の要素は、複数形を排除しない。ある特定の測度が互いに異なる従属請求において述べられたという事実だけで、これらの測度の組合せが有利に使用され得ないということは示さない。
開示される方法は、好ましくはコンピュータ実施方法であり、適切な処理システムによって実施される。本明細書に記載の任意の方法が、本明細書に記載の任意の処理システムによって実施されるプロセスを実行するように適合されるのと同じように、本明細書に記載の任意の処理システムは、本明細書に記載の任意の方法を適切に実施するように適合される。
処理システムを有する計算デバイスで実行されるときに処理システムに本明細書に記載の任意の方法のステップのすべてを実行させるコンピュータプログラムコード手段を備えるコンピュータプログラム製品も提案される。
単一のプロセッサ又は他のユニットが、特許請求の範囲において述べられたいくつかの項目の機能を果し得る。コンピュータプログラムは、適切な媒体、たとえば、他のハードウェアの部分と共に又は他のハードウェアの部分として供給される光記憶媒体又はソリッドステート媒体、で記憶/分散され得るが、他の形でも、たとえば、インターネット又は他のワイヤード若しくはワイヤレス電気通信システムを介して、分散され得る。
ある特定の測度が相互に異なる従属請求において述べられたという事実だけで、これらの測度の組合せが有利に使用され得ないということは示さない。「適合された」という用語が、特許請求の範囲又は説明において使用される場合、「適合された」という用語は、「構成された」という用語と同等であることが意図されている。特許請求の範囲における任意の引用符号は、範囲を制限するものとして解釈されるべきではない。
Claims (15)
- 個人が1つ又は複数の病害を有する可能性を予測するための処理システムであって、
時系列の超音波画像を含む前記個人の複数の超音波画像を取得することと、
各関心領域が、前記個人の潜在的病害を有するエリアを表す前記複数の超音波画像のうちの1つの超音波画像の一部分である、前記複数の超音波画像内の前記関心領域を識別することと、
前記関心領域の類似点に基づいて、前記複数の超音波画像のうちの異なる超音波画像から、関心領域をグループ化することと、
機械学習法を使用して関心領域の各グループを処理して、前記関心領域のグループが前記個人の病害を含む可能性を示す予測インジケータを生成することと
を行う、処理システム。 - それぞれの超音波画像が、2次元超音波画像である、請求項1に記載の処理システム。
- 前記処理システムが、関心領域の各グループについて、
前記関心領域のグループの前記関心領域を使用して、関心領域のシーケンスを生成することと、
機械学習法を使用して、前記領域のシーケンスを処理して、前記領域のシーケンスが前記個人の病害を含む可能性を示す予測インジケータを生成することと
を含むプロセスを実行することによって、前記関心領域の各グループを処理する、請求項1又は2に記載の処理システム。 - 前記処理システムが、前記関心領域を積み重ねることを含むステップを実行することによって、領域のシーケンスを生成する、請求項3に記載の処理システム。
- 前記処理システムが、第2の機械学習法を使用してそれぞれの超音波画像を処理して関心領域を識別することを含むプロセスを実行することによって、前記超音波画像において関心領域を識別する、請求項1から4のいずれか一項に記載の処理システム。
- 前記複数の超音波画像が、超音波画像のビデオを含む、請求項1から5のいずれか一項に記載の処理システム。
- 前記シーケンスの超音波画像の順番が、それぞれの超音波画像がキャプチャされた時間に依存する、請求項6に記載の処理システム。
- 関心領域の各グループにおいて、各関心領域が、関心領域の同じグループ内の別の関心領域の超音波画像に順次に隣接する超音波画像に由来する、請求項6又は7に記載の処理システム。
- 各関心領域が、前記超音波画像のサイズの0.25倍以下である、請求項1から8のいずれか一項に記載の処理システム。
- 前記処理システムが、各予測インジケータに応答して、表示デバイスに、視覚的に知覚可能な出力を表示する、請求項1から9のいずれか一項に記載の処理システム。
- 前記処理システムが、少なくとも1つの予測インジケータが、関心領域の少なくとも1つのグループが病害を含む可能性があるということを示す場合に、
患者の表示された超音波画像に関して前記識別された病害の位置を識別する、及び
前記病害の前記識別された位置に応答して前記表示された超音波画像に視覚的に知覚可能な出力を重ね合わせる、
請求項10に記載の処理システム。 - 前記処理システムが、
異なる超音波画像からの異なる関心領域の間の類似性測度であって、超音波画像内の1つの関心領域によって占有された相対エリアと別の超音波画像の別の関心領域によって占有された相対エリアとの重複のサイズを表す前記類似性測度を決定することと、
所定の閾値を超える2つの異なる関心領域の間の前記類似性測度に応答して2つの異なる関心領域を同じグループにグループ化することと
を含むプロセスを実行することによって関心領域をグループ化する、請求項1から11のいずれか一項に記載の処理システム。 - 前記処理システムが、
前記関心領域のメタデータであって、前記関心領域のサイズ、位置、信頼性及び/又は出現に関する情報を提供する前記メタデータを識別することと、
前記関心領域の前記メタデータに基づいて関心領域をグループ化することと
を含むプロセスを実行することによって関心領域をグループ化する、請求項1から11のいずれか一項に記載の処理システム。 - 個人が1つ又は複数の病害を有する可能性を予測するためのコンピュータ実施方法であって、前記コンピュータ実施方法は、
時系列の超音波画像を含む前記個人の複数の超音波画像を取得することと、
各関心領域が、前記個人の潜在的病害を有するエリアを表す前記複数の超音波画像のうちの1つの超音波画像の一部分である、前記複数の超音波画像内の前記関心領域を識別することと、
前記関心領域の類似点に基づいて、前記複数の超音波画像のうちの異なる超音波画像から、関心領域をグループ化することと、
機械学習法を使用して、関心領域の各グループを処理して、前記関心領域のグループが前記個人の病害を含む可能性を示す予測インジケータを生成することと
を含む、コンピュータ実施方法。 - 処理システムを有する計算デバイスで実行されるとき、請求項14による前記コンピュータ実施方法のステップのすべてを前記処理システムに実行させる、コンピュータプログラムコード手段を備える、コンピュータプログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2020132646 | 2020-11-30 | ||
CNPCT/CN2020/132646 | 2020-11-30 | ||
EP21153104.1 | 2021-01-22 | ||
EP21153104.1A EP4006832A1 (en) | 2020-11-30 | 2021-01-22 | Predicting a likelihood that an individual has one or more lesions |
PCT/EP2021/083266 WO2022112540A1 (en) | 2020-11-30 | 2021-11-29 | Predicting a likelihood that an individual has one or more lesions |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023552330A true JP2023552330A (ja) | 2023-12-15 |
Family
ID=74215774
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023532490A Pending JP2023552330A (ja) | 2020-11-30 | 2021-11-29 | 個人が1つ又は複数の病害を有する可能性を予測すること |
Country Status (5)
Country | Link |
---|---|
US (1) | US20240212132A1 (ja) |
EP (2) | EP4006832A1 (ja) |
JP (1) | JP2023552330A (ja) |
CN (1) | CN116529765A (ja) |
WO (1) | WO2022112540A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116258968B (zh) * | 2023-05-10 | 2023-07-18 | 蒙阴县国有林场总场(蒙阴县国有岱崮林场) | 一种林果病虫管理方法及*** |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6283919B1 (en) | 1996-11-26 | 2001-09-04 | Atl Ultrasound | Ultrasonic diagnostic imaging with blended tissue harmonic signals |
US6458083B1 (en) | 1996-11-26 | 2002-10-01 | Koninklijke Philips Electronics N.V. | Ultrasonic harmonic imaging with adaptive image formation |
US6013032A (en) | 1998-03-13 | 2000-01-11 | Hewlett-Packard Company | Beamforming methods and apparatus for three-dimensional ultrasound imaging using two-dimensional transducer array |
US5997479A (en) | 1998-05-28 | 1999-12-07 | Hewlett-Packard Company | Phased array acoustic systems with intra-group processors |
US6530885B1 (en) | 2000-03-17 | 2003-03-11 | Atl Ultrasound, Inc. | Spatially compounded three dimensional ultrasonic images |
US6443896B1 (en) | 2000-08-17 | 2002-09-03 | Koninklijke Philips Electronics N.V. | Method for creating multiplanar ultrasonic images of a three dimensional object |
US6468216B1 (en) | 2000-08-24 | 2002-10-22 | Kininklijke Philips Electronics N.V. | Ultrasonic diagnostic imaging of the coronary arteries |
US20200121294A1 (en) * | 2018-10-17 | 2020-04-23 | General Electric Company | Methods and systems for motion detection and compensation in medical images |
-
2021
- 2021-01-22 EP EP21153104.1A patent/EP4006832A1/en not_active Withdrawn
- 2021-11-29 CN CN202180079983.0A patent/CN116529765A/zh active Pending
- 2021-11-29 US US18/038,863 patent/US20240212132A1/en active Pending
- 2021-11-29 WO PCT/EP2021/083266 patent/WO2022112540A1/en active Application Filing
- 2021-11-29 EP EP21820566.4A patent/EP4252181A1/en active Pending
- 2021-11-29 JP JP2023532490A patent/JP2023552330A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4006832A1 (en) | 2022-06-01 |
EP4252181A1 (en) | 2023-10-04 |
US20240212132A1 (en) | 2024-06-27 |
CN116529765A (zh) | 2023-08-01 |
WO2022112540A1 (en) | 2022-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7407790B2 (ja) | 誘導肝イメージングのための人工ニューラルネットワークを有する超音波システム | |
CN110325119B (zh) | 卵巢卵泡计数和大小确定 | |
US11817203B2 (en) | Ultrasound clinical feature detection and associated devices, systems, and methods | |
JP6935020B2 (ja) | 超音波画像の特徴を識別するシステム及び方法 | |
JP2008523876A (ja) | 医療用診断イメージングにおいて医療的に有意味の記述を生成するための高性能分類器を自動的に確立するための方法及び装置 | |
US20210321978A1 (en) | Fat layer identification with ultrasound imaging | |
JP7346586B2 (ja) | 合成3d超音波画像を取得するための方法及びシステム | |
CN112773393A (zh) | 用于通过基于超声图像分析自动调整波束形成器参数来提供超声图像增强的方法和*** | |
JP2022506134A (ja) | 医用画像内でのインターベンションデバイスの識別 | |
CN112867444B (zh) | 用于引导对超声图像的采集的***和方法 | |
JP2023552330A (ja) | 個人が1つ又は複数の病害を有する可能性を予測すること | |
JP7286025B2 (ja) | 胎盤を評価するためのシステム及び方法 | |
US20230360225A1 (en) | Systems and methods for medical imaging | |
EP4140415A1 (en) | Method for use in analysing ultrasound image data of a subject | |
EP4014884A1 (en) | Apparatus for use in analysing an ultrasound image of a subject | |
EP4134010A1 (en) | Apparatus and method for processing image data relating to a pelvic floor of a subject | |
EP4384079A1 (en) | Apparatus and method for processing image data | |
CN117881345A (zh) | 用于分析对象的超声图像数据的方法 | |
WO2023052178A1 (en) | System and method for segmenting an anatomical structure | |
WO2024046806A1 (en) | Ultrasound imaging systems and methods |