JP2018522622A

JP2018522622A - 内視鏡および腹腔鏡のナビゲーションのためにシーン解析とモデル融合とを同時に行う方法およびシステム

Info

Publication number: JP2018522622A
Application number: JP2017563017A
Authority: JP
Inventors: クルックナーシュテファン; カーメンアリ; チェンテレンス
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2015-06-05
Filing date: 2015-06-05
Publication date: 2018-08-16
Also published as: EP3304423A1; CN107667380A; WO2016195698A1; US20180174311A1

Abstract

腹腔鏡および内視鏡による２Ｄ／２．５Ｄ画像データにおけるシーン解析およびモデル融合のための方法およびシステムが開示される。２Ｄ画像チャネルと２．５Ｄ深度チャネルとを含む術中画像ストリームの目下のフレームを受け取る。術前３Ｄ医用画像データにおいてセグメンテーションされたターゲット器官の術前３Ｄモデルを、術中画像ストリームの目下のフレームに融合させる。ターゲット器官の融合された術前３Ｄモデルに基づき、術前３Ｄ医用画像データから、術中画像ストリームの目下のフレーム内における複数の画素各々へ、セマンティックラベル情報を伝達し、術中画像ストリームの目下のフレームに対しレンダリングされたラベルマップを結果として生じさせる。術中画像ストリームの目下のフレームに対しレンダリングされたラベルマップに基づき、セマンティック分類器をトレーニングする。

Description

発明の背景
本発明は、腹腔鏡画像データまたは内視鏡画像データにおけるセマンティックセグメンテーションおよびシーン解析に関するものであり、さらに詳しくは、セグメンテーションされた術前画像データを用いて、腹腔鏡画像ストリームおよび内視鏡画像ストリームにおいてシーン解析とモデル融合とを同時に行うことに関する。

低侵襲性の外科手術において、画像シーケンスは、外科手術をガイドするために取得された腹腔鏡画像または内視鏡画像である。この場合、複数の２Ｄ／２．５Ｄ画像を取得し、それらを互いにスティッチングして、観察対象器官の３Ｄモデルを生成することができる。しかしながら、カメラと器官の動きが複雑であることに起因して、正確な３Ｄスティッチングは難度が高い。それというのも、かかる３Ｄスティッチングのためには、複数の腹腔鏡画像または複数の内視鏡画像から成るシーケンスの連続する各フレーム間の対応について、ロバストな推定が必要とされるからである。

発明の概要
本発明によれば、セグメンテーションされた術前画像データを用い、腹腔鏡または内視鏡の画像ストリームのような術中画像ストリームにおいて、シーン解析とモデル融合とを同時に行うための方法およびシステムが提供される。本発明の実施形態によれば、術中画像ストリームの取得されたフレームについて、シーン固有のセマンティック情報を容易に取得できるようにするために、ターゲット器官の術前モデルと術中モデルとの融合が用いられる。本発明の実施形態によれば、術前画像データから術中画像ストリームの個々のフレームへ、セマンティック情報が自動的に伝達され、その後、到来する術中画像のセマンティックセグメンテーションを実施するために、セマンティック情報を有するフレームを用いて分類器をトレーニングすることができる。

本発明の１つの実施形態によれば、２Ｄ画像チャネルと２．５Ｄ深度チャネルとを含む術中画像ストリームの目下のフレームを受け取る。術前３Ｄ医用画像データにセグメンテーションされたターゲット器官の術前３Ｄモデルを、術中画像ストリームの目下のフレームに融合させる。ターゲット器官の融合された術前３Ｄモデルに基づき、術前３Ｄ医用画像データから、術中画像ストリームの目下のフレーム内における複数の画素各々へ、セマンティックラベル情報を伝達し、術中画像ストリームの目下のフレームに対しレンダリングされたラベルマップを結果として生じさせる。術中画像ストリームの目下のフレームに対しレンダリングされたラベルマップに基づき、セマンティック分類器をトレーニングする。

以下の詳細な説明および添付の図面を参照すれば、本発明のこれらの利点およびその他の利点が、当業者にとって明確なものとなろう。

本発明の１つの実施形態による術前３Ｄ画像データを用いた術中画像ストリームにおけるシーン解析方法を示す図である。本発明の１つの実施形態に従い、術中画像ストリームに対し術前３Ｄ医用画像データを剛体レジストレーションする方法を示す図である。肝臓スキャンの一例および肝臓スキャンの結果得られた対応する２Ｄ／２．５Ｄフレームを示す図である。本発明を実装可能なコンピュータを示す上位水準のブロック図である。

詳細な説明
本発明は、セグメンテーションされた術前画像データを用いて、腹腔鏡画像データおよび内視鏡画像データにおいてモデル融合とシーン解析とを同時に行う方法およびシステムに関する。本明細書では、モデル融合のための、および腹腔鏡画像および内視鏡画像データといった術中画像データのシーン解析のための方法を視覚的に理解できるように、本発明の実施形態について説明する。１つのディジタル画像は多くの場合、１つまたは複数のオブジェクト（または形状）の複数のディジタル表現から成る。本明細書ではしばしば、１つのオブジェクトのディジタル表現をオブジェクトの識別および操作に関して記述する。かかる操作は、コンピュータシステムのメモリまたは他の回路／ハードウェアにおいて達成される仮想的な操作である。よって、本発明の実施形態は、コンピュータシステム内に記憶されたデータを用いて、コンピュータシステム内で実施可能である、と理解されたい。

ある１つの画像のセマンティックセグメンテーションは、定義されたセマンティックラベルに関して画像領域内の各画素の説明を与えることに重点を置いている。画素レベルのセグメンテーションゆえに、画像内のオブジェクト境界が正確に捕捉される。腹腔鏡や内視鏡の画像など術中画像において器官固有のセグメンテーションおよびシーン解析のために信頼性のある分類器を学習するのは、外観、３Ｄ形状、取得設定およびシーン特性における変動に起因して、難度が高い。本発明の実施形態によれば、セグメンテーションされた術前医用画像データたとえばセグメンテーションされた肝臓のコンピュータトモグラフィ（ＣＴ）データまたは磁気共鳴（ＭＲ）画像データを用いて、オン・ザ・フライでラベルマップが生成される。その目的は、対応する術中ＲＧＢ−Ｄ画像ストリームにおいて同時にシーン解析を行うために特定の分類器をトレーニングするためである。本発明の実施形態によれば、モデル融合のためのプラットフォームとして、３Ｄ処理技術および３Ｄ表現が用いられる。

本発明の１つの実施形態によれば、自動化された同時に行われるシーン解析およびモデル融合は、取得された腹腔鏡／内視鏡のＲＧＢ−Ｄ（赤、緑、青の視覚的な、および計算された２．５Ｄ深度のマップ）ストリームにおいて実施される。それによって、セグメンテーションされた術前医用画像データに基づき、取得されたビデオフレームについてシーン特有のセマンティック情報の取得が可能となる。バイオメカニカルベースのモダリティの非剛体アライメントを考慮しながら、フレームバイフレームモードを用いて、セマンティック情報が視覚的表面イメージ（すなわちＲＧＢ−Ｄストリーム）へ自動的に伝達される。これによって、臨床処置中の視覚的なナビゲーションおよび自動化された認識がサポートされ、報告作成およびドキュメンテーションのための重要な情報が与えられる。なぜならば、冗長的な情報を本質的な情報へと低減できるからであり、たとえばキーフレームによって、関連性のある解剖学的構造が示され、または内視鏡による取得の本質的なキーとなる視点が抽出される。本明細書で説明する方法をインタラクティブな応答時間で実現することができ、したがって外科手術中にリアルタイムまたはほぼリアルタイムに実施することができる。ここで理解されたいのは、用語「腹腔鏡画像」および「内視鏡画像」は、本明細書では区別なく交換可能に用いられ、用語「術中画像」は、腹腔鏡画像および内視鏡画像を含め、外科手術中または外科的介入中に取得される何らかの医用画像のことを指す、という点である。

図１には、本発明の１つの実施形態による術前３Ｄ画像データを用いた術中画像ストリームにおけるシーン解析方法が示されている。図１の方法によれば、セマンティックにラベリングされた画像を生成し、セマンティックセグメンテーションのために機械学習ベースの分類器をトレーニングする目的で、術中画像ストリームのフレームが変換され、フレームに対しセマンティックセグメンテーションが実施される。１つの例示的な実施形態によれば、術前３Ｄ医用画像ボリューム中の肝臓のセグメンテーションされた３Ｄモデルに基づくモデル融合を用いて、肝臓から腫瘍または病巣を取り除く肝臓切除術など、肝臓に対する外科手術のガイダンスのために、肝臓の術中画像シーケンスのフレームにおいてシーン解析を実施するために、図１の方法を使用することができる。

図１を参照すると、ステップ１０２において、患者の術前３Ｄ医用画像データが受け取られる。術前３Ｄ医用画像データが、外科手術に先立って取得される。３Ｄ医用画像データは、コンピュータトモグラフィ（ＣＴ）、磁気共鳴（ＭＲ）またはポジトロン・エミッション・トモグラフィ（ＰＥＴ）などのような任意の画像生成モダリティを用いて取得可能な、３Ｄ医用画像ボリュームを含むことができる。術前３Ｄ医用画像ボリュームを、ＣＴスキャナまたはＭＲスキャナなどのような画像取得デバイスから直接、受け取ることができ、または事前に記憶されていた３Ｄ医用画像ボリュームを、コンピュータシステムのメモリまたはストレージデバイスからロードすることにより、受け取ることができる。１つの可能な実現形態によれば、術前のプラニングフェーズにおいて、画像取得デバイスを用いて術前３Ｄ医用画像ボリュームを取得することができ、コンピュータシステムのメモリまたはストレージデバイスに記憶させることができる。次いでこの術前３Ｄ医用画像を、外科手術中にメモリまたはストレージシステムからロードすることができる。

術前３Ｄ医用画像データは、ターゲット器官などのような解剖学的ターゲットオブジェクトのセグメンテーションされた３Ｄモデルも含んでいる。術前３Ｄ医用画像ボリュームは、解剖学的ターゲットオブジェクトを含んでいる。１つの有利な実現形態によれば、解剖学的ターゲットオブジェクトを肝臓とすることができる。術前ボリュメトリック画像データによって、腹腔鏡や内視鏡による画像などのような術中画像よりも詳細な解剖学的ターゲットオブジェクトのビューをもたらすことができる。解剖学的ターゲットオブジェクトおよび場合によっては他の解剖学的オブジェクトが、術前３Ｄ医用画像ボリュームにおいてセグメンテーションされる。表面ターゲット（たとえば肝臓）、クリティカルな構造（たとえば門脈、肝系、胆道）、および他のターゲット（たとえば原発性腫瘍および転移性腫瘍）を、任意のセグメンテーションアルゴリズムを用いて、術前画像データからセグメンテーションすることができる。３Ｄ医用画像ボリューム中のすべてのボクセルに、セグメンテーションに対応するセマンティックラベルをラベリングすることができる。たとえば、セグメンテーションを２値セグメンテーションとすることができ、この場合、３Ｄ医用画像中の各ボクセルが前景（すなわち解剖学的ターゲット構造）または背景としてラベリングされ、あるいはセグメンテーションは、複数の解剖学的オブジェクトに対応する複数のセマンティックラベルおよび背景ラベルを有することができる。たとえばセグメンテーションアルゴリズムを、機械学習ベースのセグメンテーションアルゴリズムとすることができる。１つの実施形態によれば、たとえば米国特許第７９１６９１９号明細書（United States Patent No. 7,916,919）、発明の名称："System and Method for Segmenting Chambers of a Heart in a Three Dimensional Image"に記載された方法を用いるなどして、マージナルスペースラーニング（ＭＳＬ）ベースのフレームワークを採用することができる。ここでこの文献を参照したことにより、その開示内容全体が本明細書に取り込まれたものとする。別の実施形態によれば、たとえばグラフカットまたはランダムウォーカーセグメンテーションなどのような半自動セグメンテーション技術を用いることができる。解剖学的ターゲットオブジェクトを、画像取得デバイスからの３Ｄ医用画像ボリュームの受け取りに応答して、３Ｄ医用画像ボリュームにおいてセグメンテーションすることができる。１つの可能な実現形態によれば、患者の解剖学的ターゲットオブジェクトが外科手術に先立ちセグメンテーションされ、コンピュータシステムのメモリまたはストレージデバイスに記憶され、次いで解剖学的ターゲットオブジェクトのセグメンテーションされた３Ｄモデルが、外科手術の開始時にコンピュータシステムのメモリまたはストレージデバイスからロードされる。

ステップ１０４において、術中画像ストリームが受け取られる。術中画像ストリームをビデオと称することもでき、そのビデオのフレーム各々が術中画像である。たとえば術中画像ストリームを、腹腔鏡を介して取得された腹腔鏡画像ストリームまたは内視鏡を介して取得された内視鏡画像ストリームとすることができる。１つの有利な実施形態によれば、術中画像ストリームの各フレームは２Ｄ／２．５Ｄ画像である。つまり、術中画像シーケンスの各フレームは、複数の画素各々について２Ｄ画像外観情報を与える２Ｄ画像チャネルと、この２Ｄ画像チャネルにおける複数の画素各々に対応する深度情報を与える２．５Ｄ深度チャネルとを含んでいる。たとえば、術中画像シーケンスの各フレームを、ＲＧＢ−Ｄ（赤、緑、青＋深度）画像とすることができ、この画像は、各画素が１つのＲＧＢ値を有するＲＧＢ画像と、深度画像（深度マップ）とを含んでおり、深度画像において各画素の値は深度に相応し、または画像取得デバイス（たとえば腹腔鏡または内視鏡）のカメラ中心点からの考察対象画素の距離に相応する。なお、深度データは比較的小さいスケールの３Ｄポイントクラウドを表す、と述べておくことができる。術中画像の取得に用いられる術中画像取得デバイス（たとえば腹腔鏡または内視鏡）は、各時間フレームについてＲＧＢ画像を取得するために、カメラまたはビデオカメラを装備することができ、さらに同様に、各時間フレームについて深度情報を取得するために、タイムオブフライトセンサまたは構造化された光センサを装備することもできる。画像取得デバイスから直接、術中画像ストリームのフレームを受け取ることができる。たとえば１つの有利な実施形態によれば、術中画像ストリームのフレームを、術中画像取得デバイスによってそれらが取得されたときに、リアルタイムで受け取ることができる。別の選択肢として、術中画像シーケンスのフレームを、事前に取得されコンピュータシステムのメモリまたはストレージデバイスに記憶された術中画像をロードすることによって、受け取ることができる。

ステップ１０６において、術前３Ｄ医用画像データと術中医用画像ストリームとの間で、初期の剛体レジストレーションが実施される。この初期の剛体レジストレーションによって、術前医用画像データ中のターゲット器官のセグメンテーションされた３Ｄモデルが、術中画像ストリームの複数のフレームから生成されたターゲット器官のスティッチングされた３Ｄモデルとアライメントされる。図２には、本発明の１つの実施形態に従い、術中画像ストリームに対し術前３Ｄ医用画像データを剛体レジストレーションする方法が示されている。図２の方法を用いて、図１のステップ１０６を実現することができる。

図２を参照すると、ステップ２０２において、術中画像ストリームの最初の複数のフレームが受け取られる。本発明の１つの実施形態によれば、術中画像ストリームの最初の複数のフレームを、ユーザ（たとえば医者、臨床医等）が画像取得デバイス（たとえば腹腔鏡または内視鏡）を用いてターゲット器官の完全なスキャンを実施することによって、取得することができる。このケースでは、術中画像ストリームのフレームがターゲット器官の表面全体をカバーするように、術中画像取得デバイスが画像（フレーム）を連続的に取得している間、ユーザが術中画像取得デバイスを移動させる。目下の変形状態でターゲット器官の画像全体を取得するために、これを外科手術開始時に実施することができる。したがって術中画像ストリームの最初の複数のフレームを、術前３Ｄ医用画像データと術中画像ストリームとの初期のレジストレーションに用いることができ、次いで術中画像ストリームの後続のフレームを、シーン解析および外科手術のガイダンスのために用いることができる。図３には、肝臓スキャンの一例および肝臓スキャンの結果得られた対応する２Ｄ／２．５Ｄフレームが示されている。図３に示されているように画像３００は、腹腔鏡が複数のポジション３０２，３０４，３０６，３０８および３１０にポジショニングされた肝臓スキャンの一例を示しており、この場合、各ポジションにおいて、腹腔鏡は肝臓３１２に対して配向され、肝臓３１２の相応の腹腔鏡画像（フレーム）が取得される。画像３２０は、ＲＧＢチャネル３２２と深度チャネル３２４とを有する複数の腹腔鏡画像から成る１つのシーケンスを示している。腹腔鏡画像シーケンス３２０の各フレーム３２６，３２８および３３０は、ＲＧＢ画像３２６ａ，３２８ａおよび３３０ａと、対応する深度画像３２６ｂ、３２８ｂおよび３３０ｂとを、それぞれ含んでいる。

再び図２を参照すると、ステップ２０４において、術中画像ストリームの最初の複数のフレームを相互にスティッチングして、ターゲット器官の術中３Ｄモデルを生成するために、３Ｄスティッチング手順が実施される。オーバラップした画像領域を有する対応するフレームを推定する目的で、３Ｄスティッチング手順によって個々のフレームが整合される。次いで、ペアごとの計算により、それぞれ対応するフレーム間で相対的姿勢に対する仮定を決定することができる。１つの実施形態によれば、対応するフレーム間の相対的姿勢に対する仮定が、対応する２Ｄ画像測定および／またはランドマークに基づき推定される。別の実施形態によれば、対応するフレーム間の相対的姿勢に対する仮定が、使用可能な２．５Ｄ深度チャネルに基づき推定される。対応する各フレーム間の相対的姿勢に対する仮定を計算する他の方法を用いることもできる。次いで、３Ｄスティッチング手順を後続のバンドル調整ステップに適用することができ、これによって、推定された相対的姿勢の一連の仮定において最終的な幾何学的構造が最適化され、さらに同様に、画素空間内の２Ｄ再投影誤差を最小化することにより２Ｄ画像領域において、または対応する３Ｄポイント間で３Ｄ距離が最小化されるメトリック３Ｄ空間において、規定された誤差メトリックに関してオリジナルのカメラ姿勢が最適化される。最適化後、取得されたフレームおよび計算されたそれらのカメラ姿勢が、正準ワールド座標系において表示される。３Ｄスティッチング手順によって、２．５Ｄ深度データがスティッチングされて、正準ワールド座標系において高品質かつ高密度なターゲット器官の術中３Ｄモデルが形成される。ターゲット器官の術中３Ｄモデルを、表面メッシュとして表示してもよいし、または３Ｄポイントクラウドとして表示してもよい。術中３Ｄモデルは、ターゲット器官の詳細なテクスチャ情報を含んでいる。たとえば３Ｄ三角形分割に基づく周知の表面メッシュ処理などを用いて、術中画像データの視覚的印象を生成するために、付加的な処理ステップを実施することができる。

ステップ２０６において、術前３Ｄ医用画像データにおけるターゲット器官のセグメンテーションされた３Ｄモデル（術前３Ｄモデル）が、ターゲット器官の術中３Ｄモデルと剛体レジストレーションされる。その際、予備的な剛体レジストレーションが実施され、ターゲット器官のセグメンテーションされた術前３Ｄモデルと、３Ｄスティッチング手順によって生成されたターゲット器官の術中３Ｄモデルとが、１つの共通の座標系内にアライメントされる。１つの実施形態によれば、術前３Ｄモデルと術中３Ｄモデルとの間において３つ以上の対応関係を識別することにより、レジストレーションが実施される。これらの対応関係を、解剖学的ランドマークに基づき手動で、または術前モデル２１４と術中モデルの２Ｄ／２．５Ｄ深度マップの双方において認識されたユニークなキーポイント（顕著な点）を特定することによって半自動的に、識別することができる。他のレジストレーション手法を用いてもよい。たとえば、いっそう洗練された完全自動レジストレーション方法には、術前画像データの座標系を用いて先験的に（たとえば術中解剖学的スキャンまたは一連の共通の基準によって）プローブ２０８の追従システムをレジストレーションすることにより、プローブ２０８を外部で追従するステップが含まれる。１つの有利な実現形態によれば、ターゲット器官の術前３Ｄモデルがターゲット器官の術中３Ｄモデルに剛体レジストレーションされたならば、テクスチャ情報がターゲット器官の術中３Ｄモデルから術前３Ｄモデルへマッピングされ、ターゲット器官のテクスチャマッピングされた術前３Ｄモデルが生成される。変形された術前３Ｄモデルをグラフ構造として表すことにより、マッピングを実施することができる。変形された術前モデル上で可視の三角面はグラフのノードに対応し、（たとえば２つの共通の頂点を共有する）隣接する面はエッジによって結合される。ノードがラベリングされ（たとえばカラーキューまたはセマンティックラベルマップ）、このラベリングに基づきテクスチャ情報がマッピングされる。テクスチャ情報のマッピングに関するさらに詳細な点は、国際出願第PCT/US2015/28120号、発明の名称："System and Method for Guidance of Laparoscopic Surgical Procedures through Anatomical Model Augmentation"、出願日：２０１５年４月２９日、に記載されている。ここでこの文献を参照したことにより、その開示内容全体が本明細書に取り込まれたものとする。

再び図１を参照すると、ステップ１０８において、ターゲット器官のバイオメカニカル計算モデルを用いて、術中画像ストリームの目下のフレームに術前３Ｄ医用画像データがアライメントされる。このステップによって、ターゲット器官の術前３Ｄモデルが術中画像ストリームの目下のフレームに融合される。１つの有利な実現形態によれば、バイオメカニカル計算モデルを用いて、セグメンテーションされたターゲット器官の術前３Ｄモデルが変形され、術前３Ｄモデルが目下のフレームに関して捕捉された２．５Ｄ深度情報にアライメントされる。フレームバイフレームで非剛体レジストレーションを実施することにより、呼吸などのような自然な動きが処理され、同様に影や反射など動きに関連する外観の変動も扱われる。レジストレーションに基づくバイオメカニカルモデルにより、目下のフレームの深度情報を用いて、術前３Ｄモデルと目下のフレーム内のターゲット器官との対応関係が自動的に推定され、識別された対応関係各々について偏差の最頻値が導出される。偏差の最頻値により、識別された対応関係各々において、術前モデルと目下のフレーム内のターゲット器官との間の空間的に分布したアライメント誤差が、符号化または表示される。偏差の最頻値は、局所的に一致した力から成る３Ｄ領域に変換され、これによりターゲット器官に関するバイオメカニカル計算モデルを用いて、術前３Ｄモデルの変形がガイドされる。１つの実施形態によれば、３Ｄ距離を、コンセプトの正規化または重み付けを実施することにより、力に変換することができる。

ターゲット器官に関するバイオメカニカルモデルによって、機械的な組織パラメータと圧力レベルとに基づき、ターゲット器官の変形をシミュレートすることができる。このバイオメカニカルモデルをレジストレーションフレームワークに組み込むために、それらのパラメータが、モデルパラメータの調整に用いられる類似尺度と結合される。１つの実施形態によれば、バイオメカニカルモデルはターゲット器官を、弾性力学方程式により決定される動きを有する均質な線状弾性固体として表す。この方程式を解くために、いくつかの異なる手法を用いることができる。たとえば、術前３Ｄモデルにおいて規定された四面体要素のメッシュにおいて計算されるならば、トータルラグランジュ陽的力学（total Lagrangian explicit dynamics ＴＬＥＤ）有限要素アルゴリズムを用いることができる。バイオメカニカルモデルによってメッシュ要素が変形され、組織の弾性エネルギーを最小化することにより、上述の局所的に一致した力の領域に基づき、術前３Ｄモデルのメッシュポイントの変位が計算される。バイオメカニカルモデルは、このバイオメカニカルモデルがレジストレーションフレームワークに含まれるように、類似尺度と結合される。この点に関して、術中画像ストリームの目下のフレーム内のターゲット器官と変形された術前３Ｄモデルとの各対応関係間の類似度を最適化することによって、モデルが収束する（すなわち運動するモデルがターゲットモデルに比べて類似した幾何学的構造に達するとき）まで、バイオメカニカルモデルのパラメータが繰り返し更新される。したがって、バイオメカニカルモデルによって、目下のフレーム内のターゲット器官の変形と一致した術前モデルの物理的に正しい変形がもたらされ、その目的は、術中に収集されたポイントと、変形された術前３Ｄモデルとの間のポイントごとの距離メトリックを最小化することである。本明細書では、ターゲット器官に関するバイオメカニカルモデルを、弾性力学方程式に関して説明しているが、ターゲット器官の内部構造の動力学を考慮するために、他の構造モデル（たとえばもっと複雑なモデル）を用いてもよい、という点を理解されたい。たとえば、ターゲット器官に関するバイオメカニカルモデルを、非線形の弾性モデル、粘性効果モデル、または非均質材料特性モデル、として表現することができる。他のモデルも同様に考えられる。バイオメカニカルモデルをベースとするレジストレーションについては、国際出願第PCT/US2015/28120号、発明の名称："System and Method for Guidance of Laparoscopic Surgical Procedures through Anatomical Model Augmentation"、出願日：２０１５年４月２９日、に記載されている。ここでこの文献を参照したことにより、その開示内容全体が本明細書に取り込まれたものとする。

ステップ１１０において、術前３Ｄ医用画像データから術中画像ストリームの目下のフレームへ、セマンティックラベルが伝達される。ステップ１０６および１０８において計算された剛体レジストレーションと非剛体変形とをそれぞれ用いて、可視表面データとその下にある幾何学的情報との間の厳密な相関を推定することができ、したがってセマンティックアノテーションおよびセマンティックラベルを、モデル融合によって術前３Ｄ医用画像データから術中画像シーケンスの目下の画像領域へ、信頼性を伴って伝達することができる。このステップにおいて、モデル融合のためにターゲット器官の術前３Ｄモデルが用いられる。この３Ｄ表現によって、２Ｄから３Ｄへの、およびその逆への、密な対応関係を推定することができ、つまり術中画像ストリームの１つの特定の２Ｄフレーム内のすべてのポイントについて、術前３Ｄ医用画像データにおいて対応する情報に正確にアクセスすることができる。したがって術中ストリームにおけるＲＧＢ−Ｄフレームの計算された姿勢を用いて、術前３Ｄ医用画像データから術中画像ストリームの各フレーム内の各画素へ、視覚的、幾何学的およびセマンティックな情報を伝達することができる。次いで、術中画像ストリームの各フレームと、ラベリングされた術前３Ｄ医用画像データとの間で確立されたリンクを用いて、最初にラベリングされたフレームが生成される。つまり、剛体レジストレーションと非剛体変形とを用いて、術前３Ｄ医用画像データを変換することによって、ターゲット器官の術前３Ｄモデルが術中画像ストリームの目下のフレームと融合される。ターゲット器官の術前３Ｄモデルを目下のフレームと融合させるために、術前３Ｄ医用画像データがアライメントされたならば、レンダリングまたは可視性チェックをベースとする同様の技術（たとえばＡＡＢＢツリーまたはＺバッファをベースとするレンダリング）を用いて、目下のフレームに対応する２Ｄ投影画像が術前３Ｄ医用画像データ中に規定され、２Ｄ投影画像中の各画素ロケーションに対するセマンティックラベル（ならびに視覚的および幾何学的な情報）が、目下のフレーム内の対応する画素に伝達され、その結果、目下のアライメントされた２Ｄフレームに対しレンダリングされたラベルマップが得られる。

ステップ１１２において、最初にトレーニングされたセマンティック分類器が、目下のフレーム内の伝達されたセマンティックラベルに基づき更新される。トレーニング済みセマンティック分類器は、目下のフレーム内の伝達されたセマンティックラベルに基づき、シーン特有の外観および目下のフレームからの２．５Ｄ深度キューによって更新される。この場合、目下のフレームからトレーニングサンプルを選択し、セマンティック分類器の再トレーニングに使用されるトレーニングサンプルのプール中に含まれる目下のフレームからのトレーニングサンプルを用いて、このセマンティック分類器を再トレーニングすることにより、セマンティック分類器が更新される。オンラインの教師あり学習技術またはランダムフォレストなどのような高速学習器を用いて、セマンティック分類器をトレーニングすることができる。各セマンティッククラス（たとえばターゲット器官および背景）からの新たなトレーニングサンプルが、目下のフレームのために伝達されたセマンティックラベルに基づき、目下のフレームからサンプリングされる。１つの可能な実現形態によれば、予め決められた個数の新たなトレーニングサンプルを、このステップを繰り返すたびに目下のフレーム内の各セマンティッククラスのために、ランダムにサンプリングすることができる。さらに別の可能な実現形態によれば、予め決められた個数の新たなトレーニングサンプルを、このステップの初回の反復において、目下のフレーム内の各セマンティッククラスのためにランダムにサンプリングすることができ、以降の反復のたびに、先行の反復中にトレーニングされたセマンティック分類器を用いて間違って分類されていた画素を選択することによって、トレーニングサンプルを選択することができる。

目下のフレーム内の新たなトレーニングサンプル各々を取り囲む画像パッチから、統計的画像フィーチャが抽出され、この画像パッチに対する特徴ベクトルを用いて分類器がトレーニングされる。１つの有利な実施形態によれば、目下のフレームの２Ｄ画像チャネルと２．５Ｄ深度チャネルとから、統計的画像フィーチャが抽出される。この分類のために統計的画像フィーチャを使用できる理由は、それらは画像データの統合された下位水準のフィーチャ階層間の分散および共分散を捕捉しているからである。有利な実現形態によれば、二次までの統計（すなわち平均および分散／共分散）を計算する目的で、目下のフレームのＲＧＢ画像のカラーチャネルと、目下のフレームの深度画像からの深度情報とが、各トレーニングサンプルを取り囲む画像パッチ内において統合される。たとえば、この画像パッチ内における平均および分散などの統計を、個々のフィーチャチャネル各々について計算することができ、この画像パッチ内における各フィーチャチャネルペア間の共分散を、複数のチャネルペアを考慮することによって計算することができる。特に、関与する各チャネル間の分散によって、たとえば肝臓のセグメンテーションにおいて弁別力がもたらされ、この場合、テクスチャとカラーとの相関は、周囲の胃の領域から可視の肝臓セグメントを弁別するために役立つ。深度情報から計算された統計的フィーチャによって、目下の画像中の表面特性に関連する付加的な情報がもたらされる。ＲＧＢ画像のカラーチャネルと、深度画像からの深度データとに加えて、ＲＧＢ画像および／または深度画像を種々のフィルタによって処理することができ、フィルタレスポンスを統合して、各画素について付加的な統計的フィーチャ（たとえば平均、分散、共分散）を計算するために使用することもできる。フィルタは、たとえば微分フィルタ、フィルタバンクなどである。たとえば、純然たるＲＧＢ値に対する操作に加え、任意の種類のフィルタリング（たとえば微分フィルタ、フィルタバンク等）を用いることができる。統合構造を用いて統計的フィーチャを効率的に計算することができ、たとえばグラフィック処理ユニット（ＧＰＵ）または汎用ＧＰＵ（ＧＰＧＰＵ）などのような大規模並列処理アーキテクチャを用いるなどして並列化することができ、このようなアーキテクチャによってインタラクティブなレスポンスタイムを実現することができる。１つの所定の画素を中心とする画像パッチに対する複数の統計的フィーチャが合成されて、１つの特徴ベクトルが形成される。１つの画素についてベクトル化されたフィーチャ記述子は、その画素を中心とする画像パッチを表す。トレーニング中、特徴ベクトルに、術前３Ｄ医用画像データから対応する画素へ伝達されたセマンティックラベル（たとえば肝臓の画素対背景など）が割り当てられ、これらは機械学習ベースの分類器をトレーニングするために用いられる。１つの有利な実施形態によれば、トレーニングデータに基づきランダム決定木分類器がトレーニングされるけれども、本発明はこれに限定されるものではなく、他のタイプの分類器も同様に使用することができる。トレーニング済み分類器は、たとえばコンピュータシステムのメモリまたはストレージデバイスに記憶される。

本明細書ではステップ１１２は、トレーニング済みセマンティック分類器を更新するステップとして記載されているけれども、ここで理解されたいのは、トレーニングデータの新たな集合（すなわち目下のフレーム各々）が使用可能になったときに、すでに確立されたトレーニング済みセマンティック分類器を、その新たな集合に整合するために、このステップを実施してもよいし、１つまたは複数のセマンティックラベルに対し新たなセマンティック分類器のためのトレーニングフェーズを導入するために、このステップを実施してもよい、ということである。新たなセマンティック分類器がトレーニングされる上述のようなケースにおいて、このセマンティック分類器を、最初に１つのフレームを用いてトレーニングしてもよいし、または別の選択肢として、複数のフレームについてステップ１０８および１１０を実施してもよく、これによればいっそう多くの個数のトレーニングサンプルが累積され、次いでこのセマンティック分類器を、複数のフレームから抽出されたトレーニングサンプルを用いてトレーニングすることができる。

ステップ１１４において、トレーニング済みセマンティック分類器を用いて、術中画像ストリームの目下のフレームがセマンティックセグメンテーションされる。つまり、当初取得された目下のフレームが、ステップ１１２において更新されたトレーニング済みセマンティック分類器を用いてセグメンテーションされる。術中画像シーケンスの目下のフレームのセマンティックセグメンテーションを実施する目的で、ステップ１１２においてすでに説明したとおり、目下のフレームの各画素を取り囲む１つの画像パッチについて、統計的フィーチャの１つの特徴ベクトルが抽出される。トレーニング済み分類器は、各画素に対応づけられた特徴ベクトルを評価し、各画素について各セマンティックオブジェクトクラスの確率を計算する。計算された確率に基づき、１つのラベル（たとえば肝臓または背景）を各画素に割り当てることもできる。１つの実施形態によれば、トレーニング済み分類器を、ターゲット器官または背景という２つのオブジェクトクラスだけを有する２値分類器としてもよい。たとえば、トレーニング済み分類器は、計算された確率に基づき各画素について、肝臓の画素であることの確率を計算して、各画素を肝臓または背景として分類することができる。１つの択一的な実施形態によれば、トレーニング済み分類器を多クラス分類器とすることができ、この分類器は、複数の異なる解剖学的構造と背景とに対応する複数のクラスについて、各画素ごとに確率を計算する。たとえば、各画素を胃と肝臓と背景とにセグメンテーションするために、ランダムフォレスト分類器をトレーニングすることができる。

ステップ１１６において、目下のフレームについて停止判定基準が満たされているか否かが決定される。１つの実施形態によれば、トレーニング済み分類器を用いたセマンティックセグメンテーションの結果得られた目下のフレームに関するセマンティックラベルマップが、術前３Ｄ医用画像データから伝達された目下のフレームに関するラベルマップと比較され、トレーニング済みセマンティック分類器を用いたセマンティックセグメンテーションの結果得られたラベルマップが、術前３Ｄ医用画像データから伝達されたラベルマップに収束したならば（すなわち各ラベルマップ中のセグメンテーションされたターゲット器官の間の誤差が閾値よりも小さいならば）、停止判定基準が満たされる。別の実施形態によれば、目下の反復におけるトレーニング済み分類器を用いたセマンティックセグメンテーションの結果得られた目下のフレームのセマンティックラベルマップが、先行の反復においてトレーニング済み分類器を用いたセマンティックセグメンテーションの結果得られたラベルマップと比較され、目下の反復からのラベルマップと先行の反復からのラベルマップ中のセグメンテーションされたターゲット器官の姿勢における変化が閾値よりも小さいならば、停止判定基準が満たされる。さらに別の可能な実施形態によれば、ステップ１１２および１１４が予め定められた最大反復回数だけ実施されたならば、停止判定基準が満たされる。停止判定基準が満たされていないと判定されたならば、この方法はステップ１１２へ戻り、さらに多くのトレーニングサンプルを目下のフレームから抽出して、トレーニング済み分類器を再び更新する。１つの可能な実現形態によれば、ステップ１１２が反復されるときに、ステップ１１４においてトレーニング済み分類器により間違って分類されていた目下のフレーム内の画素が、トレーニングサンプルとして選択される。停止判定基準が満たされていると判定されたならば、この方法はステップ１１８へと進む。

ステップ１１８において、セマンティックセグメンテーションされた目下のフレームが出力される。一例として、たとえばトレーニング済みセマンティック分類器により得られたセマンティックセグメンテーション結果（すなわちラベルマップ）および／またはモデル融合により得られたセマンティックセグメンテーション結果と、術前３Ｄ医用画像データから伝達されたセマンティックラベルとを、コンピュータシステムのディスプレイデバイスに表示することによって、セマンティックセグメンテーションされた目下のフレームを出力することができる。１つの可能な実現形態によれば、目下のフレームがディスプレイデバイスに表示されるときに、術前３Ｄ医用画像データと、特にターゲット器官の術前３Ｄモデルとを、目下のフレームに重ね合わせることができる。

１つの有利な実施形態によれば、目下のフレームのセマンティックセグメンテーションに基づき、セマンティックラベルマップを生成することができる。トレーニング済み分類器を用いて各セマンティッククラスの確率が計算されて、各画素にセマンティッククラスがラベリングされると、グラフベースの方法を用いて、器官境界などのようなＲＧＢ画像構造に関して画素のラベリングを精密化することができる一方、各セマンティッククラスについて各画素の信頼度（確率）が考慮される。グラフベースの方法を、条件付き確率場方式（ＣＲＦ）に基づくものとすることができ、これは目下のフレーム内の画素について計算された確率と、他のセグメンテーション技術を用いて目下のフレーム内で抽出された器官境界とを使用して、目下のフレーム内の画素のラベリングを精密化する。この場合、目下のフレームのセマンティックセグメンテーションを表すグラフが生成される。このグラフには、複数のノードと、それらのノードを結合する複数のエッジとが含まれている。グラフのノードは、目下のフレーム内の画素と、各セマンティッククラスの対応する信頼度とを表す。エッジの重み付けは、２．５Ｄの深度データと２ＤのＲＧＢデータとに対して実施される境界抽出手順から導出される。グラフベースの方法によって、各ノードがセマンティックラベルを表すグループに分類され、各ノードについてのセマンティッククラスの確率とノードを結合するエッジの重み付けとに基づくエネルギー関数を最小化するために、ノードの最良のグループ分けが見つけ出される。その際、エッジの重み付けは、抽出された器官境界と交差するノードを結合するエッジに対するペナルティ関数として振る舞う。その結果、目下のフレームに対する精密化されたセマンティックマップが得られ、これをコンピュータシステムのディスプレイデバイスに表示させることができる。

ステップ１２０において、術中画像ストリームの複数のフレームにわたり、ステップ１０８〜１１８が繰り返される。したがってフレームごとに、ターゲット器官の術前３Ｄモデルがそのフレームと融合され、術前３Ｄ医用画像データからそのフレームに伝達されたセマンティックラベルを用いて、トレーニング済み分類器が更新（再トレーニング）される。これらのステップを、予め定められたフレーム数にわたり反復することができ、またはトレーニング済み分類器が収束するまで反復することができる。

ステップ１２２において、トレーニング済みセマンティック分類器を用いて、術中画像ストリームの付加的に取得されたフレームに対して、セマンティックセグメンテーションが実施される。さらに、１人の患者のそれぞれ異なる外科手術におけるものであったり、または異なる患者の外科手術に関するものなど、それぞれ異なる術中画像シーケンスのフレームにおいてセマンティックセグメンテーションを実施するために、トレーニング済み分類器を用いることも同様に可能である。トレーニング済みセマンティック分類器を用いた術中画像のセマンティックセグメンテーションに関する付加的な詳細は、［Siemens 照会番号No. 201424415 必要な情報を追記する予定］に記載されている。ここでこの文献を参照したことにより、その開示内容全体が本明細書に取り込まれたものとする。冗長な画像データがキャプチャリングされて、３Ｄスティッチングのために用いられるので、生成されたセマンティック情報を、２Ｄ−３Ｄ対応関係を用いて術前３Ｄ医用画像データと融合させ照合することができる。

１つの可能な実施形態によれば、ターゲット器官の完全なスキャニングに対応する術中画像シーケンスの付加的なフレームを取得することができ、フレーム各々に対しセマンティックセグメンテーションを実施することができ、セマンティックセグメンテーション結果を用いて、それらのフレームの３Ｄスティッチングをガイドして、ターゲット器官の更新された術中３Ｄモデルを生成することができる。それぞれ異なるフレームにおける対応関係に基づき、個々のフレームを相互にアライメントすることによって、３Ｄスティッチングを実施することができる。１つの有利な実現形態によれば、セマンティックセグメンテーションされたフレームにおけるターゲット器官の画素の結合領域（たとえば肝臓の画素の結合領域）を用いて、各フレーム間の対応関係を推定することができる。したがって、各フレームにおけるターゲット器官のセマンティックセグメンテーションされた結合領域に基づき、複数のフレームを互いにスティッチングすることによって、ターゲット器官の術中３Ｄモデルを生成することができる。スティッチングされた術中３Ｄモデルを、考察されている各オブジェクトクラスの確率を用いてセマンティックに拡充することができ、３Ｄモデルを生成するために用いられたスティッチングされたフレームのセマンティックセグメンテーション結果から得られた３Ｄモデルに、それらの確率がマッピングされる。１つの例示的な実現形態によれば、クラスラベルを各３Ｄポイントに割り当てることにより、３Ｄモデルを「カラー化」するために、確率マップを用いることができる。このことは、スティッチングプロセスにより知られている３Ｄから２Ｄへの投影を用いたクイックルックアップによって、行うことができる。次いで、クラスラベルに基づき各３Ｄポイントに１つのカラーを割り当てることができる。更新されたこの術中３Ｄモデルは、術前３Ｄ医用画像データと術中画像ストリームとの間で剛体レジストレーションを実施するために用いられる本来の術中３Ｄモデルよりも、正確なものとなる可能性がある。よって、更新された術中３Ｄモデルを用い、ステップ１０６を繰り返して剛体レジストレーションを実施することができ、その後、術中画像ストリームの複数のフレームから成る新たな集合について、ステップ１０８〜１２０を繰り返すことができ、それによってトレーニング済み分類器をさらに更新する。このシーケンスを反復して、術中画像ストリームと術前３Ｄ医用画像データとの間のレジストレーションの精度、ならびにトレーニング済み分類器の精度を、繰り返し改善することができる。

腹腔鏡画像および内視鏡画像データのセマンティックなラベリング、ならびに種々の器官へのセグメンテーションは、種々の視点のために正確なアノテーションが必要とされることから、時間がかかる可能性がある。上述の方法によれば、ラベリングされた術前医用画像データが用いられ、この画像データを、ＣＴ，ＭＲ，ＰＥＴ等に適用される高度に自動化された３Ｄセグメンテーション手順から取得することができる。腹腔鏡画像および内視鏡画像データに対してモデルを融合させることにより、予め画像／ビデオフレームをラベリングする必要なく、腹腔鏡画像および内視鏡画像データのために、機械学習ベースのセマンティック分類器をトレーニングすることができる。シーン解析（セマンティックセグメンテーション）のために汎用分類器をトレーニングするのは、現実世界では形状、外観、テクスチャ等に変化が生じることから、難度が高い。上述の方法によれば、取得およびナビゲーション中にオン・ザ・フライで学習される特定の患者またはシーンの情報が用いられる。さらに、融合された情報（ＲＧＢ−Ｄおよび術前ボリュメトリックデータ）およびそれらの関係を使用できることから、外科手術におけるナビゲーション中にセマンティック情報を効率的に呈示できるようになる。また、融合された情報（ＲＧＢ−Ｄおよび術前ボリュメトリックデータ）およびセマンティクスのレベルにおけるそれらの関係を使用できることから、報告作成およびドキュメンテーションのために効率的な情報解析を行うことができる。

術中画像ストリームにおけるシーン解析およびモデル融合のための上述の方法を、周知のコンピュータプロセッサ、メモリユニット、ストレージデバイス、コンピュータソフトウェア、および他の構成要素を用いて、コンピュータ上で実装することができる。図４には、かかるコンピュータの上位水準のブロック図が示されている。コンピュータ４０２はプロセッサ４０４を含み、このプロセッサ４０４は、コンピュータ４０２のすべてのオペレーションを規定するコンピュータプログラム命令を実行することで、かかるコンピュータ４０２のオペレーションを制御する。コンピュータプログラム命令を、ストレージデバイス４１２（たとえば磁気ディスク）に記憶させておくことができ、コンピュータプログラム命令の実行が望まれるときに、メモリ４１０にロードすることができる。したがって図１および図２に示した方法の各ステップを、メモリ４１０および／またはストレージデバイス４１２に記憶されたコンピュータプログラム命令によって規定することができ、それらのコンピュータプログラム命令を実行するプロセッサ４０４によって制御することができる。コンピュータ４０２に画像データを入力するために、腹腔鏡、内視鏡、ＣＴスキャナ、ＭＲスキャナ、ＰＥＴスキャナ等の画像取得デバイス４２０を、コンピュータ４０２と接続することができる。画像取得デバイス４２０とコンピュータ４０２とが、ネットワークを介してワイヤレスで通信し合うようにすることができる。さらにコンピュータ４０２には、ネットワークを介して他のデバイスと通信するための１つまたは複数のインタフェース４０６も含まれている。さらにコンピュータ４０２には、コンピュータ４０２とのユーザインタラクションを可能にする他の入／出力デバイス４０８も含まれている（たとえばディスプレイ、キーボード、マウス、スピーカ、ボタン等）。かかる入／出力デバイス４０８を一連のコンピュータプログラムと連携させて、画像取得デバイス４２０から受け取ったボリュームにアノテーションを付与するアノテーションツールとして用いることができる。当業者であれば、実際のコンピュータの実装にさらに別の構成要素も同様に含めることができること、また、図４は、例示を目的として、かかるコンピュータの構成要素のいくつかを上位水準で表現したものであること、を理解するであろう。

ここで理解されたいのは、これまで述べてきた詳細な説明は、あらゆる点で例示的なものであり具体例であって、何ら限定的なものではないことであり、本明細書で開示した本発明の範囲は、詳細な説明に基づき決定されるべきものではなく、特許法によって認められる範囲全体に従って解釈される各請求項に基づき決定されるべきものである。さらに理解されたいのは、本明細書で示し説明した実施形態は、本発明の原理を例示したものにすぎないこと、当業者であれば本発明の範囲および着想を逸脱することなく様々な変更を実現できることである。当業者であるならば、本発明の範囲および着想を逸脱することなく、さらに別の様々な特徴の組み合わせを実現できるであろう。

ステップ１２２において、トレーニング済みセマンティック分類器を用いて、術中画像ストリームの付加的に取得されたフレームに対して、セマンティックセグメンテーションが実施される。さらに、１人の患者のそれぞれ異なる外科手術におけるものであったり、または異なる患者の外科手術に関するものなど、それぞれ異なる術中画像シーケンスのフレームにおいてセマンティックセグメンテーションを実施するために、トレーニング済み分類器を用いることも同様に可能である。トレーニング済みセマンティック分類器を用いた術中画像のセマンティックセグメンテーションに関する付加的な詳細は、PCT/US2015/028120に記載されている。ここでこの文献を参照したことにより、その開示内容全体が本明細書に取り込まれたものとする。冗長な画像データがキャプチャリングされて、３Ｄスティッチングのために用いられるので、生成されたセマンティック情報を、２Ｄ−３Ｄ対応関係を用いて術前３Ｄ医用画像データと融合させ照合することができる。

Claims

術中画像ストリームにおけるシーン解析のための方法であって、以下のステップを含む、すなわち、
・２Ｄ画像チャネルと２．５Ｄ深度チャネルとを含む術中画像ストリームの目下のフレームを受け取るステップと、
・術前３Ｄ医用画像データにおいてセグメンテーションされたターゲット器官の術前３Ｄモデルを、前記術中画像ストリームの前記目下のフレームに融合させるステップと、
・前記ターゲット器官の融合された前記術前３Ｄモデルに基づき、前記術前３Ｄ医用画像データから前記術中画像ストリームの前記目下のフレームにおける複数の画素各々へ、セマンティックラベル情報を伝達し、前記術中画像ストリームの前記目下のフレームに対しレンダリングされたラベルマップが結果として得られるようにするステップと、
・前記術中画像ストリームの前記目下のフレームに対しレンダリングされた前記ラベルマップに基づき、セマンティック分類器をトレーニングするステップと、
を含む、
術中画像ストリームにおけるシーン解析のための方法。
術前３Ｄ医用画像データにおいてセグメンテーションされたターゲット器官の術前３Ｄモデルを、前記術中画像ストリームの前記目下のフレームに融合させる前記ステップは、
・前記術前３Ｄ医用画像データと前記術中画像ストリームとの間において、初期の非剛体レジストレーションを実施するステップと、
・前記術前３Ｄ医用画像データを前記術中画像ストリームの前記目下のフレームにアライメントするために、前記ターゲット器官に関するバイオメカニカル計算モデルを用いて、前記ターゲット器官の前記術前３Ｄモデルを変形させるステップと、
を含む、
請求項１記載の方法。
前記術前３Ｄ医用画像データと前記術中画像ストリームとの間において、初期の非剛体レジストレーションを実施する前記ステップは、
・前記術中画像ストリームの複数のフレームをスティッチングして、前記ターゲット器官の術中３Ｄモデルを生成するステップと、
・前記ターゲット器官の前記術前３Ｄモデルと、前記ターゲット器官の前記術中３Ｄモデルとの間において、剛体レジストレーションを実施するステップと、
を含む、
請求項２記載の方法。
前記術前３Ｄ医用画像データを前記術中画像ストリームの前記目下のフレームにアライメントするために、前記ターゲット器官に関するバイオメカニカル計算モデルを用いて、前記ターゲット器官の前記術前３Ｄモデルを変形させる前記ステップは、
前記術前３Ｄ医用画像データを、前記術中画像ストリームの前記目下のフレームの前記２．５Ｄ深度チャネルにおける深度情報にアライメントするために、前記ターゲット器官に関する前記バイオメカニカル計算モデルを用いて、前記ターゲット器官の前記術前３Ｄモデルを変形させるステップ、
を含む、
請求項２記載の方法。
前記術前３Ｄ医用画像データを前記術中画像ストリームの前記目下のフレームにアライメントするために、前記ターゲット器官に関するバイオメカニカル計算モデルを用いて、前記ターゲット器官の前記術前３Ｄモデルを変形させる前記ステップは、
・前記ターゲット器官の前記術前３Ｄモデルと、前記目下のフレームにおける前記ターゲット器官との間の対応関係を推定するステップと、
・前記対応関係に基づき前記ターゲット器官に及ぼされる力を推定するステップと、
・推定された前記力に基づき、前記ターゲット器官に関する前記バイオメカニカル計算モデルを用いて、前記ターゲット器官の前記術前３Ｄモデルの変形をシミュレートするステップと、
を含む、
請求項２記載の方法。
前記ターゲット器官の融合された前記術前３Ｄモデルに基づき、前記術前３Ｄ医用画像データから前記術中画像ストリームの前記目下のフレームにおける複数の画素各々へ、セマンティックラベル情報を伝達し、前記術中画像ストリームの前記目下のフレームに対しレンダリングされたラベルマップが結果として得られるようにする前記ステップは、
・前記ターゲット器官の融合された前記術前３Ｄモデルに基づき、前記術中画像ストリームの前記目下のフレームに対し、前記術前３Ｄ医用画像データをアライメントするステップと、
・前記術中画像ストリームの前記目下のフレームに対応する前記３Ｄ医用画像データにおける投影画像を、前記目下のフレームの姿勢に基づき推定するステップと、
・前記３Ｄ医用画像データにおいて推定された前記投影画像中の複数の画素ロケーション各々から、前記術中画像ストリームの前記目下のフレーム内の前記複数の画素のうち対応する１つの画素へ、セマンティックラベルを伝達することによって、前記術中画像ストリームの前記目下のフレームに対しレンダリングされた前記ラベルマップを描出するステップと、
を含む、
請求項１記載の方法。
前記術中画像ストリームの前記目下のフレームに対しレンダリングされた前記ラベルマップに基づき、セマンティック分類器をトレーニングする前記ステップは、
前記術中画像ストリームの前記目下のフレームに対しレンダリングされた前記ラベルマップに基づき、トレーニング済みセマンティック分類器を更新するステップ、
を含む、
請求項１記載の方法。
前記術中画像ストリームの前記目下のフレームに対しレンダリングされた前記ラベルマップに基づき、セマンティック分類器をトレーニングする前記ステップは、
・前記術中画像ストリームの前記目下のフレームに対しレンダリングされた前記ラベルマップ中の１つまたは複数のラベリングされたセマンティッククラス各々において、トレーニングサンプルをサンプリングするステップと、
・前記術中画像ストリームの前記目下のフレームに対しレンダリングされた前記ラベルマップ中の前記１つまたは複数のラベリングされたセマンティッククラス各々における前記トレーニングサンプルに基づき、前記セマンティック分類器をトレーニングするステップと、
を含む、
請求項１記載の方法。
前記術中画像ストリームの前記目下のフレームに対しレンダリングされた前記ラベルマップ中の前記１つまたは複数のラベリングされたセマンティッククラス各々における前記トレーニングサンプルに基づき、前記セマンティック分類器をトレーニングする前記ステップは、
・前記術中画像ストリームの前記目下のフレームにおける前記トレーニングサンプル各々を取り囲む個々の画像パッチにおいて、前記２Ｄ画像チャネルと前記２．５Ｄ深度チャネルとから統計的フィーチャを抽出するステップと、
・前記トレーニングサンプル各々について抽出された前記統計的フィーチャと、レンダリングされた前記ラベルマップにおいて前記トレーニングサンプル各々に対応づけられたセマンティックラベルとに基づき、前記セマンティック分類器をトレーニングするステップと、
を含む、
請求項８記載の方法。
トレーニング済みセマンティック分類器を用いて、前記術中画像ストリームの前記目下のフレームに対しセマンティックセグメンテーションを実施するステップをさらに含む、
請求項８記載の方法。
・前記トレーニング済み分類器を用いて前記目下のフレームに対しセマンティックセグメンテーションを実施した結果得られたラベルマップを、前記目下のフレームに対しレンダリングされた前記ラベルマップと比較するステップと、
・前記１つまたは複数のセマンティッククラス各々からサンプリングされた付加的なトレーニングサンプルを用いて、前記セマンティック分類器の前記トレーニングを反復し、前記トレーニング済み分類器を用いて前記目下のフレームに対しセマンティックセグメンテーションを実施した結果得られた前記ラベルマップが、前記目下のフレームに対しレンダリングされた前記ラベルマップへと収束するまで、前記トレーニング済みセマンティック分類器を用いて前記セマンティックセグメンテーションを実施するステップと、
をさらに含む、
請求項１０記載の方法。
前記トレーニング済み分類器を用いて前記目下のフレームに対しセマンティックセグメンテーションを実施した結果得られた前記ラベルマップ内において、間違って分類されていた前記術中画像ストリームの前記目下のフレーム内の画素から、付加的なトレーニングサンプルを選択する、
請求項１１記載の方法。
前記１つまたは複数のセマンティッククラス各々からサンプリングされた付加的なトレーニングサンプルを用いて、前記セマンティック分類器の前記トレーニングを反復し、前記ターゲット器官の姿勢が、前記トレーニング済み分類器を用いて前記目下のフレームに対しセマンティックセグメンテーションを実施した結果得られた前記ラベルマップ内に収束するまで、前記トレーニング済みセマンティック分類器を用いて前記セマンティックセグメンテーションを実施するステップ、
をさらに含む、
請求項１０記載の方法。
前記術中画像ストリームの１つまたは複数の後続フレーム各々について、受け取り、融合させ、伝達し、トレーニングする前記ステップを反復するステップ、
をさらに含む、
請求項１記載の方法。
・前記術中画像ストリームの１つまたは複数の後続フレームを受け取るステップと、
・前記術中画像ストリームの前記１つまたは複数の後続フレーム各々において、前記トレーニング済みセマンティック分類器を用いてセマンティックセグメンテーションを実施するステップと、
をさらに含む、
請求項１記載の方法。
前記ターゲット器官の術中３Ｄモデルを生成するために、前記術中画像ストリームの前記１つまたは複数の後続フレーム各々に対する前記セマンティックセグメンテーション結果に基づき、前記術中画像ストリームの前記１つまたは複数の後続フレームをスティッチングするステップ、
をさらに含む、
請求項１５記載の方法。
術中画像ストリームにおけるシーン解析のための装置であって、
・２Ｄ画像チャネルと２．５Ｄ深度チャネルとを含む術中画像ストリームの目下のフレームを受け取る手段と、
・術前３Ｄ医用画像データにおいてセグメンテーションされたターゲット器官の術前３Ｄモデルを、前記術中画像ストリームの前記目下のフレームに融合させる手段と、
・前記ターゲット器官の融合された前記術前３Ｄモデルに基づき、前記術前３Ｄ医用画像データから前記術中画像ストリームの前記目下のフレームにおける複数の画素各々へ、セマンティックラベル情報を伝達し、前記術中画像ストリームの前記目下のフレームに対しレンダリングされたラベルマップが結果として得られるようにする手段と、
・前記術中画像ストリームの前記目下のフレームに対しレンダリングされた前記ラベルマップに基づき、セマンティック分類器をトレーニングする手段と、
を含む、
術中画像ストリームにおけるシーン解析のための装置。
術前３Ｄ医用画像データにおいてセグメンテーションされたターゲット器官の術前３Ｄモデルを、前記術中画像ストリームの前記目下のフレームに融合させる前記手段は、
・前記術前３Ｄ医用画像データと前記術中画像ストリームとの間において、初期の非剛体レジストレーションを実施する手段と、
・前記術前３Ｄ医用画像データを前記術中画像ストリームの前記目下のフレームにアライメントするために、前記ターゲット器官に関するバイオメカニカル計算モデルを用いて、前記ターゲット器官の前記術前３Ｄモデルを変形させる手段と、
を含む、
請求項１７記載の装置。
前記術中画像ストリームの前記目下のフレームに対しレンダリングされた前記ラベルマップに基づき、セマンティック分類器をトレーニングする前記手段は、
前記術中画像ストリームの前記目下のフレームに対しレンダリングされた前記ラベルマップに基づき、トレーニング済みセマンティック分類器を更新する手段、
を含む、
請求項１７記載の装置。
前記術中画像ストリームの前記目下のフレームに対しレンダリングされた前記ラベルマップに基づき、セマンティック分類器をトレーニングする前記手段は、
・前記術中画像ストリームの前記目下のフレームに対しレンダリングされた前記ラベルマップ中の１つまたは複数のラベリングされたセマンティッククラス各々において、トレーニングサンプルをサンプリングする手段と、
・前記術中画像ストリームの前記目下のフレームに対しレンダリングされた前記ラベルマップ中の前記１つまたは複数のラベリングされたセマンティッククラス各々における前記トレーニングサンプルに基づき、前記セマンティック分類器をトレーニングする手段と、
を含む、
請求項１７記載の装置。
前記術中画像ストリームの前記目下のフレームに対しレンダリングされた前記ラベルマップ中の前記１つまたは複数のラベリングされたセマンティッククラス各々における前記トレーニングサンプルに基づき、前記セマンティック分類器をトレーニングする前記手段は、
・前記術中画像ストリームの前記目下のフレームにおける前記トレーニングサンプル各々を取り囲む個々の画像パッチにおいて、前記２Ｄ画像チャネルと前記２．５Ｄ深度チャネルとから統計的フィーチャを抽出する手段と、
・前記トレーニングサンプル各々について抽出された前記統計的フィーチャと、レンダリングされた前記ラベルマップにおいて前記トレーニングサンプル各々に対応づけられたセマンティックラベルとに基づき、前記セマンティック分類器をトレーニングする手段と、
を含む、
請求項２０記載の装置。
トレーニング済みセマンティック分類器を用いて、前記術中画像ストリームの前記目下のフレームに対しセマンティックセグメンテーションを実施する手段をさらに含む、
請求項２０記載の装置。
・前記術中画像ストリームの１つまたは複数の後続フレームを受け取る手段と、
・前記術中画像ストリームの前記１つまたは複数の後続フレーム各々において、前記トレーニング済みセマンティック分類器を用いてセマンティックセグメンテーションを実施する手段と、
をさらに含む、
請求項１７記載の装置。
前記ターゲット器官の術中３Ｄモデルを生成するために、前記術中画像ストリームの前記１つまたは複数の後続フレーム各々に対する前記セマンティックセグメンテーション結果に基づき、前記術中画像ストリームの前記１つまたは複数の後続フレームをスティッチングする手段、
をさらに含む、
請求項２３記載の装置。
術中画像ストリームにおけるシーン解析のためのコンピュータプログラム命令を記憶する非一時的なコンピュータ読み取り可能媒体であって、
前記コンピュータプログラム命令は、プロセッサによって実行されると、該プロセッサに以下のオペレーションを実施させる、すなわち、
・２Ｄ画像チャネルと２．５Ｄ深度チャネルとを含む術中画像ストリームの目下のフレームを受け取るオペレーションと、
・術前３Ｄ医用画像データにおいてセグメンテーションされたターゲット器官の術前３Ｄモデルを、前記術中画像ストリームの前記目下のフレームに融合させるオペレーションと、
・前記ターゲット器官の融合された前記術前３Ｄモデルに基づき、前記術前３Ｄ医用画像データから前記術中画像ストリームの前記目下のフレームにおける複数の画素各々へ、セマンティックラベル情報を伝達し、前記術中画像ストリームの前記目下のフレームに対しレンダリングされたラベルマップが結果として得られるようにするオペレーションと、
・前記術中画像ストリームの前記目下のフレームに対しレンダリングされた前記ラベルマップに基づき、セマンティック分類器をトレーニングするオペレーションと、
を実施させる、
非一時的なコンピュータ読み取り可能媒体。
術前３Ｄ医用画像データにおいてセグメンテーションされたターゲット器官の術前３Ｄモデルを、前記術中画像ストリームの前記目下のフレームに融合させる前記オペレーションは、
・前記術前３Ｄ医用画像データと前記術中画像ストリームとの間において、初期の非剛体レジストレーションを実施するオペレーションと、
・前記術前３Ｄ医用画像データを前記術中画像ストリームの前記目下のフレームにアライメントするために、前記ターゲット器官に関するバイオメカニカル計算モデルを用いて、前記ターゲット器官の前記術前３Ｄモデルを変形させるオペレーションと、
を含む、
請求項２５記載の非一時的なコンピュータ読み取り可能媒体。
前記術前３Ｄ医用画像データと前記術中画像ストリームとの間において、初期の非剛体レジストレーションを実施する前記オペレーションは、
・前記術中画像ストリームの複数のフレームをスティッチングして、前記ターゲット器官の術中３Ｄモデルを生成するオペレーションと、
・前記ターゲット器官の前記術前３Ｄモデルと、前記ターゲット器官の前記術中３Ｄモデルとの間において、剛体レジストレーションを実施するオペレーションと、
を含む、
請求項２６記載の非一時的なコンピュータ読み取り可能媒体。
前記術前３Ｄ医用画像データを前記術中画像ストリームの前記目下のフレームにアライメントするために、前記ターゲット器官に関するバイオメカニカル計算モデルを用いて、前記ターゲット器官の前記術前３Ｄモデルを変形させる前記オペレーションは、
前記術前３Ｄ医用画像データを、前記術中画像ストリームの前記目下のフレームの前記２．５Ｄ深度チャネルにおける深度情報にアライメントするために、前記ターゲット器官に関する前記バイオメカニカル計算モデルを用いて、前記ターゲット器官の前記術前３Ｄモデルを変形させるオペレーションを含む、
請求項２６記載の非一時的なコンピュータ読み取り可能媒体。
前記術前３Ｄ医用画像データを前記術中画像ストリームの前記目下のフレームにアライメントするために、前記ターゲット器官に関するバイオメカニカル計算モデルを用いて、前記ターゲット器官の前記術前３Ｄモデルを変形させる前記オペレーションは、
・前記ターゲット器官の前記術前３Ｄモデルと、前記目下のフレームにおける前記ターゲット器官との間の対応関係を推定するオペレーションと、
・前記対応関係に基づき前記ターゲット器官に及ぼされる力を推定するオペレーションと、
・推定された前記力に基づき、前記ターゲット器官に関する前記バイオメカニカル計算モデルを用いて、前記ターゲット器官の前記術前３Ｄモデルの変形をシミュレートするオペレーションと、
を含む、
請求項２６記載の非一時的なコンピュータ読み取り可能媒体。
前記ターゲット器官の融合された前記術前３Ｄモデルに基づき、前記術前３Ｄ医用画像データから前記術中画像ストリームの前記目下のフレームにおける複数の画素各々へ、セマンティックラベル情報を伝達し、前記術中画像ストリームの前記目下のフレームに対しレンダリングされたラベルマップが結果として得られるようにする前記オペレーションは、
・前記ターゲット器官の融合された前記術前３Ｄモデルに基づき、前記術中画像ストリームの前記目下のフレームに対し、前記術前３Ｄ医用画像データをアライメントするオペレーションと、
・前記術中画像ストリームの前記目下のフレームに対応する前記３Ｄ医用画像データにおける投影画像を、前記目下のフレームの姿勢に基づき推定するオペレーションと、
・前記３Ｄ医用画像データにおいて推定された前記投影画像中の複数の画素ロケーション各々から、前記術中画像ストリームの前記目下のフレーム内の前記複数の画素のうち対応する１つの画素へ、セマンティックラベルを伝達することによって、前記術中画像ストリームの前記目下のフレームに対しレンダリングされた前記ラベルマップを描出するオペレーションと、
を含む、
請求項２５記載の非一時的なコンピュータ読み取り可能媒体。
前記術中画像ストリームの前記目下のフレームに対しレンダリングされた前記ラベルマップに基づき、セマンティック分類器をトレーニングする前記オペレーションは、
前記術中画像ストリームの前記目下のフレームに対しレンダリングされた前記ラベルマップに基づき、トレーニング済みセマンティック分類器を更新するオペレーション、
を含む、
請求項２５記載の非一時的なコンピュータ読み取り可能媒体。
前記術中画像ストリームの前記目下のフレームに対しレンダリングされた前記ラベルマップに基づき、セマンティック分類器をトレーニングする前記オペレーションは、
・前記術中画像ストリームの前記目下のフレームに対しレンダリングされた前記ラベルマップ中の１つまたは複数のラベリングされたセマンティッククラス各々において、トレーニングサンプルをサンプリングするオペレーションと、
・前記術中画像ストリームの前記目下のフレームに対しレンダリングされた前記ラベルマップ中の前記１つまたは複数のラベリングされたセマンティッククラス各々における前記トレーニングサンプルに基づき、前記セマンティック分類器をトレーニングするオペレーションと、
を含む、
請求項２６記載の非一時的なコンピュータ読み取り可能媒体。
前記術中画像ストリームの前記目下のフレームに対しレンダリングされた前記ラベルマップ中の前記１つまたは複数のラベリングされたセマンティッククラス各々における前記トレーニングサンプルに基づき、前記セマンティック分類器をトレーニングする前記オペレーションは、
・前記術中画像ストリームの前記目下のフレームにおける前記トレーニングサンプル各々を取り囲む個々の画像パッチにおいて、前記２Ｄ画像チャネルと前記２．５Ｄ深度チャネルとから統計的フィーチャを抽出するオペレーションと、
・前記トレーニングサンプル各々について抽出された前記統計的フィーチャと、レンダリングされた前記ラベルマップにおいて前記トレーニングサンプル各々に対応づけられたセマンティックラベルとに基づき、前記セマンティック分類器をトレーニングするオペレーションと、
を含む、
請求項３２記載の非一時的なコンピュータ読み取り可能媒体。
前記オペレーションはさらに、
トレーニング済みセマンティック分類器を用いて、前記術中画像ストリームの前記目下のフレームに対しセマンティックセグメンテーションを実施するオペレーション、
を含む、
請求項３２記載の非一時的なコンピュータ読み取り可能媒体。
前記オペレーションはさらに、
・前記トレーニング済み分類器を用いて前記目下のフレームに対しセマンティックセグメンテーションを実施した結果得られたラベルマップを、前記目下のフレームに対しレンダリングされた前記ラベルマップと比較するオペレーションと、
・前記１つまたは複数のセマンティッククラス各々からサンプリングされた付加的なトレーニングサンプルを用いて、前記セマンティック分類器の前記トレーニングを反復し、前記トレーニング済み分類器を用いて前記目下のフレームに対しセマンティックセグメンテーションを実施した結果得られた前記ラベルマップが、前記目下のフレームに対しレンダリングされた前記ラベルマップへと収束するまで、前記トレーニング済みセマンティック分類器を用いて前記セマンティックセグメンテーションを実施するオペレーションと、
を含む、
請求項３４記載の非一時的なコンピュータ読み取り可能媒体。
前記トレーニング済み分類器を用いて前記目下のフレームに対しセマンティックセグメンテーションを実施した結果得られた前記ラベルマップ内において、間違って分類されていた前記術中画像ストリームの前記目下のフレーム内の画素から、付加的なトレーニングサンプルを選択する、
請求項３５記載の非一時的なコンピュータ読み取り可能媒体。
前記オペレーションはさらに、
前記１つまたは複数のセマンティッククラス各々からサンプリングされた付加的なトレーニングサンプルを用いて、前記セマンティック分類器の前記トレーニングを反復し、前記ターゲット器官の姿勢が、前記トレーニング済み分類器を用いて前記目下のフレームに対しセマンティックセグメンテーションを実施した結果得られた前記ラベルマップ内に収束するまで、前記トレーニング済みセマンティック分類器を用いて前記セマンティックセグメンテーションを実施するオペレーション、
を含む、
請求項３４記載の非一時的なコンピュータ読み取り可能媒体。
前記オペレーションはさらに、
前記術中画像ストリームの１つまたは複数の後続フレーム各々について、受け取り、融合させ、伝達し、トレーニングする前記オペレーションを反復するオペレーション、
を含む、
請求項２５記載の非一時的なコンピュータ読み取り可能媒体。
前記オペレーションはさらに、
・前記術中画像ストリームの１つまたは複数の後続フレームを受け取るオペレーションと、
・前記術中画像ストリームの前記１つまたは複数の後続フレーム各々において、前記トレーニング済みセマンティック分類器を用いてセマンティックセグメンテーションを実施するオペレーションと、
を含む、
請求項２５記載の非一時的なコンピュータ読み取り可能媒体。
前記オペレーションはさらに、
前記ターゲット器官の術中３Ｄモデルを生成するために、前記術中画像ストリームの前記１つまたは複数の後続フレーム各々に対する前記セマンティックセグメンテーション結果に基づき、前記術中画像ストリームの前記１つまたは複数の後続フレームをスティッチングするオペレーション、
を含む、
請求項３９記載の非一時的なコンピュータ読み取り可能媒体。