JP7203823B2

JP7203823B2 - 画像とのタッチインタラクションを使用してボリュームデータから画像平面を抽出する超音波システム

Info

Publication number: JP7203823B2
Application number: JP2020508454A
Authority: JP
Inventors: デイビッドナイジェルラウンドヒル
Original assignee: Koninklijke Philips NV
Current assignee: Koninklijke Philips NV
Priority date: 2017-08-17
Filing date: 2018-08-10
Publication date: 2023-01-13
Anticipated expiration: 2038-08-10
Also published as: WO2019034546A1; EP3668408A1; CN111093518A; CN111093518B; US20200170615A1; JP2020531086A

Description

本発明は、医用診断超音波システムに関し、具体的には、画像とのタッチインタラクションによって、選択された解剖学的構造の画像平面を抽出することを可能にする超音波システムに関する。

産科の胎児撮像は、超音波撮像の最も重要な分野の１つである。超音波は非電離撮像法であるため、発達中の胎児に安全である。超音波撮像は、胎児の発達をモニタリングし、また、胎齢の推定から予想される出産日を予測するためにも使用される。胎齢の推定は、頭蓋骨や手足といった発達中の胎児の様々な骨の寸法を測定することによって行われる。臨床的に実証されているアルゴリズムは、これらの測定結果を組み合わせて使用して胎齢を推定する。産科撮像用に構成された一般的な超音波システムには、測定に必要な画像を取得する際に超音波検査技師を誘導するプロトコルが装備されており、また、システムには年齢推定アルゴリズムも搭載されている。

しかし、胎児の骨構造の正確な測定に必要な画像を取得することは、必ずしも容易ではない。最も正確な測定は、四肢骨の縦方向の寸法が２次元（２Ｄ）画像平面で完全にキャプチャされたときに行われるが、標準の２Ｄ撮像プローブで画像平面を操作することはしばしば問題がある。胎児は頻繁に動き、子宮内で様々な位置になって、プローブから延びる２Ｄ平面で常にアクセスできるとは限らない向きにその手足を置くことがある。この状況に対する解決策は、３Ｄボリュメトリック撮像によって提供される。３Ｄ撮像プローブの開口部から延びる３Ｄボリュメトリック領域を、胎児の現在位置に関係なく、胎児がその中にいるボリュームをキャプチャするように配置することができる。ボリューム画像をすばやくキャプチャしてから解析し、多平面再フォーマットを使用してボリュームの様々なスライス平面を確認して、測定に必要な骨を含む所望の平面を抽出して都合の良いときに診断することができる。しかし、このような抽出においてしばしば遭遇する問題は、所望の解剖学的構造が、周囲組織、臍帯又は子宮壁によって遮られていることにより、必ずしも明確に見えるとは限らないことである。したがって、ボリューム画像内の不明瞭にしている組織を「トリミング」して、慎重に探って、測定に必要な小さい構造の像を見つけることが必要になる場合がある。

正確な測定のために、所望の解剖学的構造を迅速かつ完全に見ることができるように、このプロセスを促進することが望ましい。

本発明の原理によれば、超音波システムは、３Ｄボリューム画像内の所望の解剖学的構造を特定するようにプログラムされた画像処理を使用して、３Ｄボリューム画像データセットから所望の解剖学的構造の画像平面の抽出を可能にする。３Ｄボリューム画像データセットが取得され、タッチスクリーンディスプレイに超音波画像が表示される。ユーザが超音波画像内に所望の解剖学的構造の一部を見ると、ユーザはタッチスクリーン上の当該解剖学構造にタッチする。これにより画像抽出プロセッサにキューが送られ、画像抽出プロセッサは、次に、特定された解剖学的位置の周りの画像平面を調べ、所望の解剖学的構造を含む画像平面を見つける。特定された解剖学的構造の画像がユーザに表示され、また、ディスプレイは、胎児検査といった特定の検査に有用な所望の解剖学的構造の測定結果を自動的に含んでもよい。

図１は、タッチスクリーンディスプレイを有するタブレット超音波システムと、システムと共に使用する超音波プローブとを示す。図２は、胎児の大腿骨及び大腿骨と交差する切断面を含む３Ｄボリューム画像を示す。図３は、図２に示すボリューム画像で撮像したときに、切断面が交差する骨上の位置を示す大腿骨の写真である。図４は、図２の切断面の画像を示す超音波画像ディスプレイである。図５は、胎児モデルを使用してボリューム画像データ内の胎児骨の画像平面を特定する本発明の第１の実施態様による超音波システムのブロック図である。図６は、図５の超音波システムの動作を説明するフローチャートである。図７は、本発明の原理に従って特定及び抽出された測定に適した胎児骨を縦方向に示す超音波表示である。図８は、ニューラルネットワークモデルを使用してボリューム画像データ内の胎児骨の画像平面を特定する本発明の第２の実施態様による超音波システムのブロック図である。図９は、図８の超音波システムの動作を説明するフローチャートである。

図１を参照すると、本発明の超音波システムが示されている。システムは、タッチスクリーン１２０を備えたタブレット超音波システムを含む。これらの特性を備えた適切な商用システムは、マサチューセッツ州アンドーバーのフィリップスヘルスケア社から入手可能なＬｕｍｉｆｙ（商標）超音波システムである。タッチスクリーンディスプレイは、超音波画像１２だけでなく、患者及びシステム情報２２や、ユーザが超音波システムの動作を制御するためのタッチスクリーン制御部２４を表示する。タブレットシステムの右側には、その遠位端１４に配置された２次元トランスデューサアレイを用いて超音波エネルギーを送受信する超音波プローブ１０がある。２次元アレイは、被験者のボリュメトリック領域を電子的に走査して、そこから画像化するためのエコー信号を取得することができる。振動する１次元アレイトランスデューサを備えたトランスデューサを用いて３次元撮像が行われてもよい。超音波プローブ１０は、ケーブルによってタブレット超音波システムに結合されるか、又は、波１２６で示されるように、無線でＢｌｕｅｔｏｏｔｈ及びＷｉ－Ｆｉ通信が可能なタブレット超音波システムに結合されてよい。プローブ１０は、タブレット超音波システムと通信するためにその近位端にスタブアンテナ１６を備えて示されている。

図２は、３Ｄ撮像のために超音波プローブ１０によって取得されたエコーから生成された空間的に配置された画像ボクセルのボリューム７２を示す。この例では、画像データのボリュームは、プローブの走査領域内にあった胎児の大腿骨９２の画像データを含む。大腿骨は点線のファントムで示され、当該大腿骨が周囲組織のボクセルによってボリューム内で不明瞭になっていることを示している。大腿骨の縦方向の寸法は、ボリューム７２の前部から後部に延在する。画像データのボリュームを通る切断面７０も示されている。この例では、画像データのピクセルからなる平面７０は大腿骨９０と交差している。したがって、画像平面７０内のピクセルから生成された画像は、大腿骨９２の断面積９０を含むことになる。図３は、大腿骨９２の斜視図であり、図２の画像平面７０内の骨を通るスライスの位置９０を示している。

これを背景として、図４は、平面超音波画像１２を表示する超音波システムディスプレイ１００を示す。この画像は、大腿骨９２の周囲にある組織のピクセルに囲まれた大腿骨９２の断面図９０を含むスライス平面７０の画像がどのように表示されるかを典型的に示している。本発明の一実施態様において、ユーザは、ディスプレイ上の画像内に見ることができる大腿骨の一部９０にタッチする。タッチスクリーンをタッチすることにより信号が超音波システムに送信され、超音波システムに画像データ内の位置が示され、超音波システムは、当該位置の周辺のボリュメトリック画像データを解析して、大腿骨の縦方向ビューを含む画像平面を探し出す。超音波システムは、ユーザが産科検査を行っていることをすでに理解しており、これは、ユーザが産科プローブ１０を選択した時点でシステムに通知されている。任意選択的に、ユーザはまた、位置を特定するのが胎児の大腿骨であることをシステムに示すこともできる。次に、超音波システムに搭載されている画像抽出プロセッサが、大腿骨の縦方向の像を含む平面が見つかるまで、タッチスクリーンディスプレイ上の骨の一部９０をユーザがタッチすることによってマークされた画像データ内の位置と交差する様々な向きの平面内のボリュメトリック画像データを探索する。

図５に、この解析を行い所望の画像を生成する超音波システムの１つの実施態様をブロック図形式で示す。

超音波プローブ１０には、身体のボリュメトリック領域にわたって超音波を送信し、エコー情報を受信するトランスデューサアレイ１１２が設けられている。トランスデューサアレイ１１２は、図示するように、仰角（３Ｄ）及び方位角の両方で２次元又は３次元で電子的に走査可能であるトランスデューサ素子の２次元アレイであってよい。或いは、トランスデューサは、例えば米国特許第７，４９７，８３０号（Ｌｉ他）に説明されるように、ボリュメトリック領域を通る画像平面を掃引するように前後に振動することにより、３次元撮像のためにボリュメトリック領域を走査する、画像平面を走査可能である１次元アレイであってもよい。２次元トランスデューサアレイ１１２は、アレイ素子による信号の送受信を制御するプローブ内のマイクロビームフォーマ１１４に結合されている。マイクロビームフォーマは、米国特許第５，９９７，４７９号（Ｓａｖｏｒｄ他）、第６，０１３，０３２号（Ｓａｖｏｒｄ）及び第６，６２３，４３２号（Ｐｏｗｅｒｓ他）に説明されるように、少なくとも、トランスデューサ素子のグループ、即ち、「パッチ」によって受信された信号の部分ビーム形成が可能である。マイクロビームフォーマは、プローブケーブルによって、送受信（Ｔ／Ｒ）スイッチ１６に結合される。送受信（Ｔ／Ｒ）スイッチ１６は、送信と受信とを切り替え、高エネルギー送信信号からメインシステムビームフォーマ２０を保護する。マイクロビームフォーマ１１４の制御下でのトランスデューサアレイ１１２からの超音波ビームは、Ｔ／Ｒスイッチ及びビームフォーマ２０に結合された送信コントローラ１８によって導かれる。送信コントローラ１８は、タッチスクリーンディスプレイ上のユーザインターフェース又は制御部２４のユーザ操作から入力を受け取る。送信コントローラによって制御される送信特性には、送信波形の間隔、振幅、位相及び極性がある。パルス送信方向に形成されるビームは、トランスデューサアレイからまっすぐ前方に又はより広いセクタ視野のために様々な角度に操縦することができる。後者は、ほとんどの産科撮像プローブに典型的である。

トランスデューサ素子の隣接するグループによって受信されたエコーは、それらを適切に遅延させてから合成することによりビーム形成される。マイクロビームフォーマ１１４によって生成された各パッチからの部分ビーム形成信号は、メインビームフォーマ２０に結合され、そこでトランスデューサ素子の個々のパッチからの部分ビーム形成信号は遅延され、完全ビーム形成コヒーレントエコー信号に合成される。例えばメインビームフォーマ２０は、１２８個のチャネルを有し、各チャネルが１２個のトランスデューサ素子からなるパッチから部分ビーム形成信号を受信してよい。このようにして、２次元アレイトランスデューサの１５００個を超えるトランスデューサ素子によって受信される信号が、単一のビーム形成信号に効率的に貢献することができる。

コヒーレントエコー信号は、信号プロセッサ２６によって信号処理される。信号処理には、デジタルフィルタによるフィルタリングや、空間又は周波数合成によるノイズ低減が含まれる。信号プロセッサ２６のデジタルフィルタは、例えば米国特許第５，８３３，６１３号（Ａｖｅｒｋｉｏｕ他）に開示されているタイプのフィルタであってよい。処理されたエコー信号は、直交復調器２８によって直交（Ｉ及びＱ）成分に復調される。直交復調器２８は、信号位相情報を提供し、また、信号情報を周波数のベースバンド範囲にシフトすることができる。

ビーム形成され、処理されたコヒーレントエコー信号は、組織といった身体内の構造のＢモード画像を生成するＢモードプロセッサ５２に結合される。Ｂモードプロセッサは、エコー信号の振幅を（Ｉ^２＋Ｑ^２）^１／２の形式で計算することにより、直交復調されたＩ及びＱ信号成分の振幅（包絡線）検出を行う。直交エコー信号成分はまた、ドップラープロセッサ４６にも結合される。ドップラープロセッサ４６は、画像フィールド内の離散点からのエコー信号のアンサンブルを保存する。これらは後に高速フーリエ変換（ＦＦＴ）プロセッサで画像内の点におけるドップラーシフトを推定するために使用される。ドップラーシフトは、画像フィールド内の点における動き、例えば血流や組織の動きに比例する。胎児の血流解析のために形成されるカラードップラー画像の場合、血管内の各点での推定ドップラー流量値がウォールフィルタ処理され、ルックアップテーブルを使用してカラー値に変換される。Ｂモード画像又はドップラー画像のいずれかを単独で表示しても、解剖学的に位置合わせして２つを一緒に表示してもよく、この場合、カラードップラーオーバーレイが撮像領域内の組織及び血管の血流を示す。

Ｂモード画像信号及びドップラーフロー値は、使用される場合、３Ｄ画像データメモリに結合される。３Ｄ画像データメモリは、被験者の走査ボリュメトリック領域内の空間位置に対応するｘ、ｙ及びｚのアドレス可能なメモリ位置で画像データを保存する。このボリュメトリック画像データは、米国特許第６，５３０，８８５号（Ｅｎｔｒｅｋｉｎ他）に説明されるように、３Ｄデータセットのエコー信号を、所与の基準点から見た投影３Ｄ画像に変換するボリュームレンダラ３４に結合される。基準点、即ち、撮像ボリュームを見る視点は、タッチスクリーンディスプレイの制御部により変更することができる。制御部は、様々な視点から領域を診断するためにボリュームを傾けたり回転させたりすることを可能にする。

本発明の原理によれば、ボリュームレンダリングを生成するために使用されるボリュメトリック画像データは、画像抽出プロセッサに結合される。本実施態様では、画像抽出プロセッサは胎児モデル８６である。胎児モデルは、様々なサイズ及び／又は形状のモデルのライブラリを、胎児検査において関心のある典型的な構造のデータ形式で保存するプロセッサ及びメモリである。ライブラリには様々なモデルセットが含まれる。各セットは、例えば発達の第１期及び第２期といった胎児の発達の特定の年齢での典型的な胎児の構造を表す。モデルは、発達中の胎児の骸骨及び皮膚（表面）のメッシュを表すデータである。骸骨のメッシュは、実際の骸骨と同様に相互接続されているため、それらの相対的な動きや関節の範囲は、実際の骨格構造と同じように制約される。同様に、表面メッシュは、それが囲む骨の距離の特定の範囲内にあるように制約される。ユーザが既知の解剖学的情報（例えば特定されるべき骨は第２期の胎児の大腿骨であると考えられる）をシステムに通知してあると、この情報は胎児モデルに結合され、ライブラリから特定のモデルを解析の開始点として選択するために使用される。モデルは、典型的な大腿骨のおおよその表面を表す適応メッシュといったように、例えば胎齢である制約の範囲内で、モデルのパラメータを変更してモデルをワープすることにより変形可能であり、これにより、モデルを変形によってボリュメトリック画像データセット内の構造的ランドマークに適合させる。適応メッシュモデルは、変形されたモデルを特定された骨の位置９０と交差する様々な画像平面内の構造に適合させるために、そのメッシュ連続性及びその他の制約の制限内でワープすることができるため好適である。このプロセスは、モデルが適合可能であることにより、所望の解剖学的構造として特定されるデータが平面内に見つかるまで自動形状プロセッサによって継続される。検査されるボリュメトリック画像データ内の平面は、骨モデルがこれを行うように設定されている場合、ボリュームレンダラ３４によって提供されるボリュメトリック画像データに作用する胎児モデルによって選択されてよい。或いは、多平面リフォーマッタ４２によって、指定位置９０と交差する一連の様々な方向に向けられた画像平面がボリュームデータから抽出され、解析及び適合のために胎児モデル８６に提供されてもよい。多平面リフォーマッタは、米国特許第６，４４３，８９６号（Ｄｅｔｍｅｒ）に説明されるように、身体のボリュメトリック領域内の共通平面内の点から受信されるエコーデータを選択する。エコーデータは、共通平面の超音波画像として表示することができる。本システムでは、多平面リフォーマッタは、モデルが適合する画像データを有する平面が見つかるまで、ユーザのタッチによりマークされた位置と交差する画像データの一連の様々な方向に向けられた平面を胎児モデルに結合するようにプログラムされている。いずれの場合でも、所望の解剖学的構造を有する画像の平面の特定は、所望の画像平面の表示のために多平面リフォーマッタに戻される。画像抽出プロセッサはまた、ユーザが大腿骨を表示しようとしているように見え、プロセッサによる又はユーザへの再確認として大腿骨であることの確認が所望される場合に、ユーザに「大腿骨ですか？」とのメッセージを表示することによって、特定されている解剖学的構造の確認を提供及び／又は求めてもよい。前述のモデル変形及び適合は、「MODEL-BASED SEGMENTATION OF AN ANATOMICAL STRUCTURE」なる名称の国際特許公開ＷＯ２０１５／０１９２９９（Ｍｏｌｌｕｓ他）で更に詳しく説明されている。「ESTABLISHING A CONTOUR OF A STRUCTURE BASED ON IMAGE INFORMATION」なる名称の国際特許公開ＷＯ２０１０／１５０１５６（Ｐｅｔｅｒｓ他）及び「TRANSLATION OF ULTRASOUND ARRAY RESPONSIVE TO ANATOMICAL ORIENTATION」なる名称の米国特許出願公開第２０１７／０１２８０４５号（Ｒｏｕｎｄｈｉｌｌ他）も参照されたい。

本例では大腿骨の縦方向ビューである所望の解剖学的構造を含む画像平面の向きの座標が分かると、この情報は、ボリュメトリック画像データから表示のための当該データ平面を選択する胎児骨モデルによって多平面リフォーマッタに結合される。平面画像データは、必要に応じて、走査変換、また、画像ディスプレイ４０での表示のための更なる強化、バッファリング及び一時的記憶のために画像プロセッサ３０に結合される。好適な実施態様では、画像プロセッサはまた、画像に所望の測定結果を追加してもよく、これは、超音波画像データが空間的に正確であるため容易に行われる。グラフィックスプロセッサ３６が、図７の画像ディスプレイ１００に示されるように、測定結果グラフィックス及び測定結果を含むディスプレイオーバーレイを所望の胎児骨９２の画像と共に生成する。必要に応じて、超音波システムは、特定された構造を自動的に大腿骨としてラベル付けし、また、胎齢推定プログラムを自動的に呼び出して、プログラムに骨測定結果を入力して、胎齢推定を効率よく処理することもできる。

図６に、図５の超音波システムを操作して、ボリュメトリック画像データから所望の胎児の解剖学的構造の画像を抽出する方法を示す。ステップ３０２において、超音波システムの胎児モデルを作動させる。ステップ３０４において、胎児の３Ｄ（ボリュメトリック）画像データが取得される。ステップ３０６において、任意選択的に、特定される特定の骨及び胎齢（第１期、第２期又は第３期）といった既知の解剖学的情報が胎児モデルに結合される。ステップ３０８において、ユーザが、所望の胎児骨の少なくとも一部が見えている超音波画像のタッチスクリーンディスプレイ上の所望の胎児骨にタッチする。ステップ３１０において、胎児モデルによってこのタッチ特定が使用されて、３Ｄ画像データ内の所望の骨を含む画像平面が特定される。ステップ３１２において、縦方向ビューの所望の胎児骨の特定された画像平面のスライス画像が表示される。ステップ３１４において、胎児骨の測定が行われる。これは、任意選択的に、前述したように自動的に行われてもよい。

図８は、本発明の第２の実施態様を含む超音波システムをブロック図形式で示す。図８のシステムでは、図５に示され、説明されたシステム要素が、同様の機能及び動作に使用され、ここでは説明を繰り返さない。図８のシステムでは、画像抽出プロセッサは、ニューラルネットモデル８０を含む。ニューラルネットモデルは、「深層学習」と知られている人工知能の開発を利用する。深層学習は、問題を解析する際の人間の脳の機能を模倣する機械学習アルゴリズムの急速に発展している部門である。人間の脳は、過去に同様の問題を解いたことから学習したことを思い出し、その知識を適用して新しい問題を解決する。パターン認識、自然言語処理、コンピュータビジョンといった多くの分野におけるこの技術の可能な使用を確認するために調査が進行中である。深層学習アルゴリズムには、カスタムコンピュータコードを書くのではなく、画像サンプルを解析することにより画像特徴を認識するように一般化及びトレーニングすることができる点で、従来の形式のコンピュータプログラミングアルゴリズムとは異なる利点がある。しかし、超音波システムにおいて視覚化された解剖学的構造は、すぐには自動画像認識に役立たない。すべての人は異なり、解剖学的形状、サイズ、位置及び機能も人によって異なる。更に、同じ超音波システムを使用する場合でも、超音波画像の品質及び鮮明度は異なる。これは、画像形成に使用される体内から返される超音波信号に体形が影響を与えるからである。妊婦の腹部を通して胎児を走査すると、超音波信号は大幅に減衰され、胎児画像内で解剖学的構造が十分に定義されない。しかし、本願に説明するシステムは、深層学習技術を使用して、ニューラルネットワークモデルによる処理を介して胎児超音波画像内の解剖学的構造を認識する機能を示している。ニューラルネットワークモデルは、まず、モデルに対して特定される既知の胎児構造を有する胎児画像といった既知の解剖学的構造の複数の画像が提示されることによってトレーニングされる。トレーニングされると、ユーザが胎児検査中に取得したライブ画像が、ニューラルネットモデルによってリアルタイムで解析され、画像内の解剖学的構造が特定される。

深層学習ニューラルネットモデルは、ソフトウェア設計者が記述し、また、多くのソースから公的に入手することができるソフトウェアを含む。図８の超音波システムでは、ニューラルネットモデルソフトウェアはデジタルメモリに格納される。「ＮＶｉｄｉａＤｉｇｉｔｓ」と呼ばれるニューラルネットモデルの構築に使用できるアプリケーションをhttps://developer.nvidia.com/digitsから入手することができる。ＮＶｉｄｉａＤｉｇｉｔｓは、ＢａｒｋｅｌｙＶｉｓｉｏｎａｎｄＬｅａｒｎｉｎｇＣｅｎｔｅｒ（http://caffe.berkeleyvision.org/）によって開発された「Ｃａｆｆｅ」と呼ばれる深層学習フレームワークに関する高レベルユーザインターフェースである。本発明の実施態様における使用に適した一般的な深層学習フレームワークのリストはhttps://developer.nvidia.com/deep-learning-frameworksにある。ニューラルネットモデル８０には、トレーニング画像メモリ８２が結合されている。トレーニング画像メモリ８２には、胎児骨を含む既知の胎児の解剖学的構造の超音波画像が保存されており、３Ｄ（ボリュメトリック）超音波画像データセットにおいて当該解剖学駅構造を特定するようにニューラルネットワークモデルをトレーニングするために使用される。ニューラルネットモデルが多数の既知の胎児画像によってトレーニングされると、ニューラルネットモデルは、ボリュームレンダラ３４から胎児のボリューム画像データセットを受け取る。ニューラルネットモデルは、前述したように、産科検査が行われているということや妊娠期間といった解剖学的情報の形で他のキューを受け取ってもよい。ニューラルネットモデルはまた、ユーザがタッチスクリーンディスプレイ上の所望の解剖学的構造の一部（本例では大腿骨）にタッチすることによって生成される位置信号も受信する。次に、ニューラルネットモデルは、ボリューム画像データ内に大腿骨が特定されるまで、特定された位置を含む領域を解析する。大腿骨の縦方向画像データを含む平面の座標は、多平面リフォーマッタ４２に結合される。多平面リフォーマッタ４２は、ボリュメトリック画像データセットから所望の大腿骨画像を抽出して、図７に示すような表示のために画像プロセッサに転送する。前述のように、超音波システムは、自動的に骨にラベルを付けるか及び／又は骨を測定し、測定結果を表示し、測定情報を妊娠年齢推定プログラムといった別のプログラムに結合するように調整されてよい。

図９に、図８の超音波システムを操作して、ボリュメトリック画像データから所望の胎児の解剖学的構造の画像を抽出する方法を示す。ステップ２０２において、３Ｄ胎児画像データ内の胎児骨を特定するようにニューラルネットワークモデルがトレーニングされる。ステップ２０４において、胎児の３Ｄ（ボリュメトリック）画像データが取得される。ステップ２０６において、任意選択的に、特定される特定の骨及び胎齢（第１期、第２期又は第３期）といった既知の解剖学的情報が胎児の骨モデルに結合される。ステップ２０８において、ユーザは、所望の胎児骨の少なくとも一部が見える超音波画像のタッチスクリーンディスプレイ上の当該所望の胎児骨にタッチする。ステップ２１０において、画像内の位置のこのタッチ特定がニューラルネットワークモデルによって使用されて、３Ｄ画像データ内の所望の骨を含む画像平面が特定される。ステップ２１２において、所望の胎児骨の特定された画像平面のスライス画像が表示される。ステップ２１４において、胎児骨の測定が行われる。これは、任意選択的に、前述したように自動的に行われてもよい。

上記システム及び方法の変形例は、当業者には容易に思い浮かぶであろう。図５及び図８に示す多くのシステムコンポーネントは、プローブケースに配置することができる。例えば一部のＬｕｍｉｆｙプローブは、トランスデューサからＢモードプロセッサまでのコンポーネントを含み、ＵＳＢケーブルを介して検出された画像信号をタブレットディスプレイに出力する。必要に応じて、この方法論を拡張して、３Ｄ画像データメモリやボリュームレンダリングソフトウェアといった追加コンポーネントをプローブに含めることもできる。したがって、「システム」コンポーネントとして上で説明した幾つかのコンポーネントは、代わりに超音波プローブ内に配置されていてもよい。

本発明の技術は、産科以外の他の診断分野でも使用することができる。例えば多くの超音波検査では、診断のために解剖学的構造の標準ビューが必要である。腎臓の診断では、標準ビューは腎臓の冠状画像面である。心臓病学では、心臓の２腔、３腔及び４腔像が標準ビューである。心臓の３Ｄ画像データセットにおけるこのようなビューを認識するようにニューラルネットワークモデルをトレーニングして、ボリュメトリックデータから所望のビューの画像平面を選択して当該画像平面を臨床医に表示するように使用することができる。当業者には他の応用が容易に思い浮かぶであろう。

本発明の実施態様での使用に適した超音波システム、具体的には、図５及び図８の超音波システムのコンポーネント構造は、ハードウェア、ソフトウェア又はこれらの組み合わせで実施することができる。超音波システムの様々な実施形態及び／又はコンポーネント、例えば胎児骨モデル及び深層学習ソフトウェアモジュール又はその中のコンポーネント及びコントローラも、１つ以上のコンピュータ又はマイクロプロセッサの一部として実施することができる。コンピュータ又はプロセッサは、コンピューティングデバイス、入力デバイス、表示ユニット及び例えばインターネットにアクセスするためのインターフェースを含んでよい。コンピュータ又はプロセッサは、マイクロプロセッサを含んでよい。マイクロプロセッサは、例えばＰＡＣＳシステム又はトレーニング画像をインポートするためのデータネットワークにアクセスするための通信バスに接続されてよい。コンピュータ又はプロセッサはまた、メモリを含んでよい。３Ｄ画像データメモリ３２、トレーニング画像メモリ及び胎児骨モデルライブラリを保存するメモリといったメモリデバイスは、ランダムアクセスメモリ（ＲＡＭ）及び読み取り専用メモリ（ＲＯＭ）を含んでよい。コンピュータ又はプロセッサは更に、ハードディスクドライブ、又は、フロッピー（登録商標）ディスクドライブ、光学ディスクドライブ、ソリッドステートサムドライブ等といったリムーバブルストレージドライブであってよいストレージデバイスを含んでよい。ストレージデバイスはまた、コンピュータ又はプロセッサにコンピュータプログラム又は他の命令をロードするための他の同様の手段であってもよい。

本明細書において使用する場合、「コンピュータ」、「モジュール」、「プロセッサ」又は「ワークステーション」との用語には、マイクロコントローラ、縮小命令セットコンピュータ（ＲＩＳＣ）、ＡＳＩＣ、論理回路及び本明細書に説明される機能を実行可能な任意の他の回路又はプロセッサを使用するシステムを含む任意のプロセッサベース又はマイクロプロセッサベースのシステムを含んでよい。上記例は単なる例示であり、したがって、これらの用語の定義及び／又は意味を決して限定するものではない。

コンピュータ又はプロセッサは、入力データを処理するために、１つ以上のストレージ素子に格納されている命令セットを実行する。ストレージ素子はまた、所望通りに又は必要に応じてデータ又は他の情報を格納することもできる。ストレージ素子は、情報源又は処理マシン内の物理メモリ素子の形であってもよい。

上述したような超音波画像の取得、処理及び送信を制御する命令を含む超音波システムの命令のセットは、本発明の様々な実施形態の方法及びプロセスといった特定の動作を行うように、処理マシンとしてのコンピュータ又はプロセッサに命令する様々なコマンドを含んでよい。命令のセットは、ソフトウェアプログラムの形式であってよい。ソフトウェアは、システムソフトウェア又はアプリケーションソフトウェアといった様々な形であってよく、また、有形及び非一時的なコンピュータ可読媒体として具現化されてよい。更に、ソフトウェアは、別個のプログラム又はニューラルネットワークモデルモジュールといったモジュールの集合、より大きなプログラム内のプログラムモジュール又はプログラムモジュールの一部の形であってもよい。ソフトウェアはまた、オブジェクト指向プログラミングの形のモジュラープログラミングを含んでもよい。処理マシンによる入力データの処理は、オペレータのコマンドに応答するものであっても、前の処理の結果に応答するものであっても、別の処理マシンによる要求に応答するものであってもよい。

更に、以下の請求項の限定は、ミーンズプラスファンクション形式で書かれておらず、当該請求項の限定が更なる構造のない機能の記述が続く「ｍｅａｎｓｆｏｒ」との語句を明示的に使用していない限り、米国特許法第１１２条第６段落に基づいて解釈されることを意図していない。

Claims

解剖学的構造を含むボリューム画像データから前記解剖学的構造の所望のビューを抽出する超音波診断撮像システムであって、
所望の解剖学的構造の画像データを含むボリューム画像データを取得する超音波プローブと、
取得された前記ボリューム画像データから、前記所望の解剖学的構造の少なくとも一部を示す超音波画像をタッチスクリーンディスプレイ上に表示するディスプレイと、
前記ボリューム画像データ、及び、前記タッチスクリーンディスプレイ上の前記所望の解剖学的構造へのタッチの位置に対応する当該タッチに応答して、ユーザの前記タッチの位置と交差する前記ボリューム画像データからの画像平面を調べることに基づいて、前記ユーザの前記タッチによって示される前記所望の解剖学的構造を含む画像平面を前記ボリューム画像データから見つけ、前記所望の解剖学的構造の特定された前記画像平面を前記ボリューム画像データから抽出する画像抽出プロセッサと、
を含み、
前記ディスプレイは更に、前記所望の解剖学的構造の抽出された前記画像平面を表示する、超音波診断撮像システム。
Ｂモードプロセッサを更に含み、
前記画像抽出プロセッサは更に胎児モデルを含む、
請求項１に記載の超音波診断撮像システム。
Ｂモードプロセッサを更に含み、
前記画像抽出プロセッサは更にニューラルネットワークモデルを含む、
請求項１に記載の超音波診断撮像システム。
前記ニューラルネットワークモデルは、前記所望の解剖学的構造の既知の画像でトレーニングされる、
請求項３に記載の超音波診断撮像システム。
前記ニューラルネットワークモデルは更に、前記ボリューム画像データのＢモード画像データ内の前記所望の解剖学的構造を認識する、
請求項４に記載の超音波診断撮像システム。
前記ニューラルネットワークモデルは更に、Ｂモードボリューム画像データ内の前記所望の解剖学的構造を含む画像データの平面を認識する、
請求項５に記載の超音波診断撮像システム。
前記ボリューム画像データ及び前記ニューラルネットワークモデルによる前記所望の解剖学的構造を含む画像データの平面の前記認識に応答して、前記ボリューム画像データから前記所望の解剖学的構造を含む画像データの画像平面を生成する、多平面リフォーマッタを更に含む、
請求項６に記載の超音波診断撮像システム。
前記ニューラルネットワークモデルによる所望の解剖学的構造の画像の前記抽出に更に応答して、前記所望の解剖学的構造の測定結果を生成する、
請求項３に記載の超音波診断撮像システム。
前記所望の解剖学的構造は、胎児骨であり、
前記所望の解剖学的構造の画像は、前記胎児骨の画像であり、
前記ディスプレイは更に、前記胎児骨の測定結果を表示する、請求項３に記載の超音波診断撮像システム。
胎齢推定において、前記胎児骨の前記測定結果を使用する、請求項９に記載の超音波診断撮像システム。
抽出された前記画像平面は更に、前記所望の解剖学的構造の標準ビューを含む、請求項１に記載の超音波診断撮像システム。
超音波撮像中に所望の解剖学的構造の所望のビューを生成する方法であって、
前記所望の解剖学的構造の画像データを含むボリューム画像データを取得するステップと、
前記所望の解剖学的構造の少なくとも一部を含む前記ボリューム画像データからの画像をタッチスクリーンディスプレイに表示するステップと、
前記タッチスクリーンディスプレイ上の前記所望の解剖学的構造の前記少なくとも一部上へのユーザのタッチを、当該タッチの位置を伴って感知するステップと、
前記タッチに応じて、前記ユーザの前記タッチの位置と交差する前記ボリューム画像データからの画像平面を調べることに基づいて、前記ユーザの前記タッチによって示される前記所望の解剖学的構造を含む画像平面を前記ボリューム画像データから見つけ、前記所望の解剖学的構造の特定された前記画像平面を前記ボリューム画像データから抽出するステップと、
前記所望の解剖学的構造の抽出された前記画像平面を表示するステップと、
を含む、方法。
前記抽出するステップは、ニューラルネットモデルを使用して行われる、
請求項１２に記載の方法。
前記抽出するステップは、胎児モデルを使用して行われる、
請求項１２に記載の方法。
所望の画像は更に、前記所望の解剖学的構造の標準ビューを含む、
請求項１２に記載の方法。