JP4446663B2 - 医療レポートを作成する方法、システム及びコンピュータプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、被験者の１つ以上の臓器の容積スキャン(volumetric scan)に基づいて医療レポートを作成する方法に関し、前記方法は、
ａ）前記容積スキャンに基づき前記１つ以上の臓器の三次元ビューをシミュレートするための二次元画像を計算するステップ、
ｂ）前記二次元画像を１つ以上記憶するステップ、及び
ｃ）記憶された二次元画像を１つ以上医療レポートに組み込むステップ、
を有する。
【０００２】
【従来の技術】
上記方法は、文献”FreeFlight: A Virtual Endoscopy System” Vining他著、CVRMed MRC AS 1997 First Joint Conf Computer Vision Virtual Reality, page 413-416から既知である。
【０００３】
この既知の方法は、人間の患者の仮想医療検査技術に関係する。例えばコンピュータ断層撮影法（ＣＴ）により生成されるような患者の容積スキャンに基づき、仮想現実(virtual reality)技術を用いて、医療当業者は、侵襲性の検査(invasive examination)を必要とせずに患者の臓器を検査することができる。この三次元ビューは通常、ワークステーションのような強力なコンピュータにおいて表示される。第１の医療当業者は、例えば診察、介入処置の準備及び外科手術のリハーサルのような別々の目的に対し三次元画像を評価することができる。診察の場合、この診察のテキスト部分は、下位のコンピュータにおいて第２の医療当業者によって調査するための医療レポートに組み込まれる。この診察を視覚化するために、前記テキストには通常、診察が参照している関心のあるエリアの静止したスクリーンショットが付いている。
【０００４】
【発明が解決しようとする課題】
既知の方法は、通常は介入を行う内科医であり、医療レポートを調査する第２の医療当業者が静的な性質の限られた情報しか受けず、診察を行う第１の医療当業者に利用可能であった十分な視的対話(viewing interaction)をしそこなうという欠点を持っている。
【０００５】
【課題を解決するための手段】
本発明による方法の目的は、依然として下位のコンピュータにおいて調査するのに適したより多くの情報を持つ医療レポートを作成することである。
【０００６】
本発明による方法はよって、当該方法がさらに、
ｄ）三次元ビューの少なくとも一部をシミュレートする記憶された二次元画像の動的表示を提供するステップ、及び
ｅ）前記二次元画像の動的表示を医療レポートに組み込むステップ、
を有することを特徴とする。
【０００７】
有利なことに、二次元画像の計算を含む大きな計算は、初めに適当な高性能なコンピュータにおいて実行され、次に記憶された二次元画像を組み込んだ、結果としての医療レポートが調査するための下位のコンピュータに転送される。この記憶された二次元画像を動的に表示することによって、シミュレートされた三次元ビューの少なくとも一部を調べる可能性を維持し、かくして、レビューする人が重要な超過情報を受ける。
【０００８】
方法ステップａ）からｄ）自身は、文献”Mastering Interactive Virtual Bronchioscopy on a Low-End pc”, Wegenkittl他著、Proc. IEEE Visualization Conf. 2000, page461-464, ACM Press, 2000から既知であることに注意されたい。しかしながら、この方法は、患者の容積スキャンに基づきこの患者の気管の医療検査のみに関し、医療レポートを作成するのには使用されていない。
【０００９】
本発明による方法の第１の好ましい実施例によれば、ステップｄ）はさらに、記憶された二次元画像を連続して表示するステップを有する。このようにして、レビューする人がまるでその環境を飛んでいる（fly through it）かのように、レビューする人が三次元環境に浸るべき印象を与える。
【００１０】
本発明による方法の第２の好ましい実施例によれば、ステップｄ）はさらに、三次元ビューにおける１つ以上の視点において、記憶された二次元画像に基づいて仮想環境を計算するステップ、及びこの仮想環境の対話式調査を可能にするステップを有する。本実施例は、視点の環境の動的な検査を対話式に行う可能性をユーザに提供する。
【００１１】
本発明による方法の他の好ましい実施例において、１つ以上の視点に対するステップｂ）はさらに、三次元ビューの視点とは異なる方向に可視である多数の二次元画像を物体の対応する側に投影するステップ、前記物体を二次元に展開するステップ、及び前記二次元の展開された物体の画像を記憶するステップを有する。このように計算され、記憶された画像は、下位のコンピュータによる処理に適している。好ましくは、前記物体は立方体である。これは、二次元における患者のデータの直感的なビューを可能にする。
【００１２】
さらに他の好ましい実施例において、前記方法はさらに、前記物体の画像を折り畳むステップ、よって仮想環境を形成するステップを有する。既に利用可能な情報は、医療レポートを作成する第１の医療当業者によって重要であるとマークされた各視点に対し仮想環境を再現するように効果的に用いられる。
【００１３】
本発明による方法の他の好ましい実施例によれば、追加の画像情報を備えるスリップは、前記物体の多数の側部の境界に加えられる。好ましくは、前記スリップは複製の画像情報を有する。本実施例は、実際に全ての情報が見ることができ、不可欠な情報は、二次元画像が投影又はマッピングされる物体の境界又はエッジを規定することによって不注意に失うことがないことを保証する。これは特に、検査時の臓器が不規則な表面を持つ場合、例えば結腸壁(colon wall)を持つ場合に有利となる。ポリープ又は癌に関する不可欠な情報がこれらの湾曲に隠れてしまう。本実施例を用いることによって、完全な情報が１００％に近いかなり高い度合いで可視となる。
【００１４】
さらに他の好ましい実施例において、前記方法はさらに、
ｆ）多数の前記画像を編集及び／又は分析するステップ、及び
ｇ）前記編集及び／又は分析された画像を医療レポートに加えるステップ、
を有する。編集するステップは、当業者によって実行される全種類の被験者のデータの処理、例えば被験者の臓器の１つ以上を通る断面を規定することを有する。分析するステップは、当業者によって実行される全種類の被験者のデータの処理、例えば臓器の少なくとも一部を測定することを有する。この有利な実施例は、第１の医療的熟練者の専門技術及び知識に基づいて追加情報を持つ医療レポートを拡張する重要な可能性を提案する。
【００１５】
本発明はさらに、本発明による方法を実行するためのシステムを述べていて、これは、容積スキャンを記録するための手段を有するデータ取得装置を有し、このデータ取得システムは、高い計算能力を持つ少なくとも１つの上位のコンピュータに接続され、この上位のコンピュータは、医療レポートを作成する手段を有し、少なくとも１つの下位のコンピュータに接続され、この下位のコンピュータは前記医療レポートを表示するための手段を有している。
【００１６】
本発明は、本発明による方法を実行するためのコンピュータプログラムにも関する。
【００１７】
【発明の実施の形態】
本発明は添付される図を用いてさらに説明される。
【００１８】
一般的に、本発明による方法は、通常は人間の患者であるが例えば動物でも可能な被験者を検査する仮想医療検査技術に言及している。前記技術は、コンピュータグラフィックを用いて前記被験者の中空の組織、例えば臓器、血管等の内部又は外部ビューを可能にする。仮想のカメラは、前記被験者（の一部）を表す三次元データ容積内に置かれる。本発明による方法は、好ましい実施例によって記載され、これは人間の患者に施される仮想的な内視鏡検査に関する。
【００１９】
３Ｄの患者のデータを取得するために、幾つかの既知の医療検査技術が用いられ、これらは例えばコンピュータ断層撮影法（ＣＴ）又は磁気共鳴断層撮影法（ＭＲ）のような “容積スキャン”とも通常呼ばれる。３Ｄのデータは、既知の仮想現実技術を用いて視覚化される。このために、別々の適したレンダリング技術がコンピュータグラフィックの分野において知られている。好ましくは、Iso-surfaceの容積レンダリング技術を利用する。この技術は、例えば文献”Iso-surface volume rendering”, M.K.他著, Proc. of SPIE Medical Imaging ’98, vol. 3335, pp10-19に記載されている。このように、内視鏡検査をシミュレートする仮想環境が創り出される。
【００２０】
これら仮想現実技術は、例えば透視レンダリング(perspective rendering)を用いて、三次元ビューが各新しい視点に対し計算されるべき二次元画像によってシミュレートされるので、大規模な計算を必要とする。これら計算を実行し、十分高い画像品質を持つ結果としての仮想環境を示すために、例えばワークステーションのような高い計算能力を持ったコンピュータが通常は使用される。
【００２１】
三次元ビューを評価するとき、第１の医療当業者は、重要な情報を示す各視点において止まり、情報が医療レポートに組み込まれるべきかを決め、それに対応する命令を与える。
【００２２】
本発明によれば、上述されるレンダリング技術から生じる二次元画像は、物体の平面又は側部に投影又はマッピングされる。この物体は、次に二次元に展開され、記憶される。結果としての記憶された二次元に展開した物体の画像は、この物体内の視点から三次元画像をシミュレートする。患者のデータを評価し、医療レポートを作成する第１の医療当業者は、どの視点が重要な情報を含み、医療レポートに組み込ませるべきかを決める。選択される視点の数は制限されていない。選択された視点各々に対し、二次元に展開された物体の画像は、上述のように作成され、記憶され、及び医療レポートに組み込まれる。
【００２３】
様々な異なる物体、例えば立方体、球体、円柱等を環境にマッピングするのに用いることができる。適当な投影又はマッピング技術自身はコンピュータグラフィックの分野において既知である。二次元に展開された物体の画像は、異なるフォーマット、例えばｊｐｅｇのような一般的なフォーマット又はクイックタイムのＶＲフォーマットのような特有のフォーマットで記憶されることができる。結果として二次元に展開される物体の画像は、多くの情報を含んでいるが、下位のコンピュータにおける表示に適している。
【００２４】
上記投影から生じる記憶された二次元に展開された物体の画像の実施例が図１に示される。図１は、患者の結腸の内壁を示す。明瞭に見ることができるように、三次元ビューをシミュレートする元々の二次元の画像は、立方体２の側部にマッピングされ、該立方体は、次いで二次元に展開される。この立方体の６つの側面は、前（Ｆ）、左（Ｌ）、右（Ｒ）、後（Ｂ）、上（Ｕ）及び下（Ｄ）と示される。このようにして、ユーザは最初の３Ｄ情報の直感的な表示を与えられる。
【００２５】
好ましくは、追加情報を持つスリップ３は、立方体の多数の側面の境界に加えられる。好ましくは、これらスリップは複製情報を有している。一般的に前記スリップは、立方体の隣接する側面の情報を有している。示される実施例において、スリップは、立方体２の左、右及び後側の境界に加えられる。これら加えられたスリップは、前記立方体の上（Ｕ）及び下（Ｄ）側に規定されるエリアの情報を有する。前記エリアの大きさは、加えられたスリップの大きさに対応する。前記エリアは、スリップエリアと呼ばれる。示される詳細な実施例において、スリップエリア２Ｕａの情報は、矢印ＵＬで示されるように追加スリップ３Ｌｂに複写される。スリップエリア２Ｕｂの情報は、矢印ＵＲで示されるように追加スリップ３Ｒａに複写される。スリップエリア２Ｕｃの情報は、矢印で示されるように追加スリップ３Ｂａに複写される。同じように、スリップエリア２Ｄａの情報は、矢印ＤＲによって示されるように追加スリップ３Ｒｂに複写される。スリップエリア２Ｄｂの情報は、矢印ＤＬによって示されるように追加スリップ３Ｌａに複写される。スリップエリア２Ｄｃの情報は、矢印ＤＢによって示されるように追加スリップ３Ｂｂに複写される。一重の矢印は、約９０°にわたり回転することを示すのに対し、二重の矢印は、約１８０°にわたり回転することを示す。
【００２６】
本発明によれば、例えば図１の画像のような、記憶された二次元画像とも呼ばれる二次元に展開された物体の画像は、医療レポートに組み込まれ、動的に表示される。例えば、記憶された二次元画像は、次から次へと連続して表示されることができる。この動的な表示の結果として、ユーザは、環境に浸る印象を与える。結果としての拡張された医療レポートは、いわゆる“下位の”コンピュータ、すなわち上位のコンピュータによって初めに示された三次元ビューの少なくとも一部を（再）シミュレートする例えばパーソナルコンピュータのような低い計算能力を持つコンピュータにおいて表示されることができる。
【００２７】
記憶された二次元画像を動的に表示する他の実施例は、三次元ビューにおける１つ以上の視点において、前記記憶された二次元画像に基づく仮想環境を形成し、この仮想環境の対話式調査を可能にすることを有する。この仮想環境を形成する１つの現実的且つ簡潔なやり方は、物体の画像を折り畳むことによって行われる。これは、画像をベースとするレンダリング技術を用いて実行され、これら技術自身はコンピュータグラフィックの分野において知られている。これの実施例は、文献”Quicktime VR-an image based approach to virtual environment navigation”, S.E. Chen著、SIGGRAPH 95, 1995年8月6日〜11日、Los Angeles, California, USA, Conference Proceeding, Annual Conference Series pp29-38に記載されている。
【００２８】
仮想環境の形成は、上述される順次表示器の代わりとして又はこの順次表示器と組み合わせて用いられることができ、これらは共に、記憶された二次元画像を動的に表示するやり方である。
【００２９】
本発明によれば、上述されるレンダリング技術を用いて処理される患者のデータは、例えば診察のテキスト部分のような付随するテキストと一緒に医療レポートに含まれる。この結果としての拡張された医療レポートはよって、ビジュアル環境と一緒にテキストを有し、この環境において、例えば内科医のような通常は第２の医療当業者であるユーザは、十分なインタラクティビティ(interactivity)を維持しながら、下位のコンピュータにおいて患者のデータを対話式に検査することができる。このような拡張されるレポートは、例えば見つけられる如何なる異常の形状、位置及び空間環境関係に関して、ユーザが医療的判断を行うのに役立つ。
【００３０】
好ましくは、拡張されるレポートに追加情報を加える手段が提供される。一般的に、この追加情報は、前記画像を分析又は編集した結果を有する。追加情報の幾つかの実施例は、疑わしいエリアの位置を持つオーバービュー画像、疑わしい異常又は病変の位置における多断面形成法(multiplanar reformat)、臓器（の一部）の測定及び注釈である。
【００３１】
本発明による方法は、好ましくはコンピュータプログラムにより実行される。追加情報を前記レポートに組み込む手段はこのとき、コンピュータにある対応するボタンをクリックすることにより稼動することができる。例えば、患者のデータを検査している間、ユーザ（第１の医療当業者）は、ユーザが病変又は異常を疑う度に、いわゆる“レポートへ追加ボタン”を押し下げるオプションを持っている。好ましい実施例において、全体の周辺の状況はこのとき、位置を表示するオーバービュー画像と一緒に自動的に医療レポートに組み込まれる。
【００３２】
本発明の方法を実行するシステム要件は、以下のようである。コンピュータプログラムを用いて前記方法を実行する適切なシステム１０が図２に概略的に示されている。システム１０は、高い計算能力を持つ、例えばワークステーションのような少なくとも１つの上位のコンピュータ１１を有するべきであり、この上位のコンピュータは、例えばパーソナルコンピュータのような少なくとも１つの下位のコンピュータに接続されている。この接続は、例えばインターネット又はイントラネット接続のようなどんな適切な手段によっても確立されることができる。上位のコンピュータ１１は、被験者のデータを取得するデータ取得システム１３に好ましくは結合されている。この被験者のデータは、様々な技術、例えば３Ｄ Ｘ線回転血管撮影法、コンピュータ断層撮影法、磁気共鳴撮影法又は磁気共鳴血管撮影法を用いて取得されることができる。
【００３３】
ここで、本発明の方法は、当業者がこの方法のステップをこの方法を実行するコンピュータプログラムに変換することができるだろうと説明している。拡張計算を含む上記コンピュータプログラムのステップは、高性能コンピュータにおいて実行される。これらの間に、容積スキャンに基づいて１つ以上の臓器の三次元ビューをシミュレートする二次元画像を計算するステップ、及びこの二次元画像の１つ以上を記憶するステップがあり、これらステップは、例えば透視容積レンダリング技術(perspective volume rendering technique)を用いて実行される。１つ以上の臓器の内部ビューを作成する三次元ビューの少なくとも一部をシミュレートする記憶された二次元画像の動的な表示を提供するステップは、画像をベースとするレンダリング技術を用いて下位のコンピュータにおいて実行されることができる。市場において、適切なソフトウェア自身は、視点を取り巻く画像又は仮想環境のシーケンスを表示するのに利用可能である。結果としての拡張される医療リポートは、適当なフォーマットで保存される。完全なレポートは、例えば広く知られるｈｔｍｌフォーマットのようなハイパーテキストフォーマットで保存されることができる。動的な表示は、例えばｍｐｅｇ、ａｖｉ、ｑｔｖｒのようなシーケンスに適したフォーマット又は例えばｖｒｍｌ又はｑｔｖｒのような仮想環境を眺めることを可能するフォーマットによって前記レポートに組み込まれる。この拡張されるレポートは、レビューする人のために下位のコンピュータに移される。この下位のコンピュータは、拡張される医療レポートの特定な種類のフォーマットを扱い、二次元画像の動的表示を付随するのに適したブラウザ及びプラグインを持つ必要がある。様々な異なるソフトウェアアプリケーションは、当業者が選択することができる市場において利用可能である。
【００３４】
本発明は、記載される又は示される実施例に当然限定されないが、一般的に如何なる実施例にも拡張し、これは、上述の説明及び図を考慮して分かるように、添付される請求項の範囲内にある。
【図面の簡単な説明】
【図１】 本発明による方法を用いて作成される医療レポートに組み込まれる動的な表示の一部として二次元画像の一例を示す。
【図２】 本発明による方法を実行するシステムを概略的に示す。

Claims (8)

1. 被験者の１つ以上の臓器の容積スキャンデータに基づく医療レポートの作成を支援する方法であって、
   ａ）前記容積スキャンデータに基づき前記１つ以上の臓器の三次元ビューをシミュレートする二次元画像を計算するステップ、
   ｂ）前記三次元ビューの少なくとも一部をシミュレートする前記二次元画像であって、動的に表示可能な二次元画像を１つ以上記憶するステップ、及び
   ｃ）前記記憶された、動的に表示可能な二次元画像を前記医療レポートに組み込むステップ、
   を有し、前記ステップｂ）が更に、
   Ｉ．前記三次元ビューの視点から異なる方向に可視である複数の二次元画像を物体の対応する複数の側面に投影するステップ、
   II．前記物体を二次元に展開するステップ、及び
   III．前記二次元に展開された物体の画像を記憶するステップ、
   を有し、
   前記物体の前記複数の側面の境界に、当該側面と異なる側面の画像情報を持つスリップが加えられ、前記スリップは、前記スリップが加えられる側面の境界に隣接する前記物体の側面の画像情報の複製を含むことを特徴とする方法。
2. 請求項１に記載の方法において、前記物体は立方体である方法。
3. 請求項１に記載の各ステップ、及び
   ｄ）前記組み込まれた二次元画像を動的に表示するステップ、を有する医療レポートの提供方法。
4. 請求項３に記載の方法において、前記ステップｄ）は、前記二次元画像を連続して表示することを含む方法。
5. 請求項３又は４に記載の方法において、前記ステップｄ）はさらに、
   前記三次元ビューにおける１つ以上の視点において、前記記憶された二次元画像に基づき、対話的調査を可能にする仮想環境を形成するステップを有する方法。
6. 請求項５に記載の方法において、前記ステップｄ）はさらに、前記二次元に展開された物体の画像を折り畳み、前記仮想環境を形成するステップを有する方法。
7. 請求項１乃至６の何れか一項に記載の方法を実行するシステムにおいて、前記容積スキャンデータを記録する手段を有するデータ取得装置を有し、前記データ取得装置は、少なくとも１つの上位のコンピュータに接続され、前記上位のコンピュータは、前記医療レポートの作成を支援する手段を有し、少なくとも１つの下位のコンピュータに接続され、前記下位のコンピュータは、前記医療レポートを表示する手段を有するシステム。
8. 請求項１乃至６の何れか一項に記載の方法をコンピュータに実行させるためのコンピュータプログラム。

Images