JP2015529478A

JP2015529478A - ポータブルデバイスを用いたライブビデオ上への術前データのオーバーレイ及び登録

Info

Publication number: JP2015529478A
Application number: JP2015519463A
Authority: JP
Inventors: エルハワリー，ヘイザム; ポポヴィッチ，アレクサンドラ
Original assignee: Koninklijke Philips NV; Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2012-06-28
Filing date: 2013-06-28
Publication date: 2015-10-08
Also published as: RU2015102613A; WO2014002070A1; US20150146946A1; CN104428818A; BR112014032136A2; EP2867864A1

Abstract

医療画像化システムは、プロセッサ（１１４）と該プロセッサに結合されるメモリ（１１６）とを含むコンピュータデバイスを含む。メモリは、対象物の記録済みの解剖学的画像（１３０）と、記録済み解剖学的画像を、リアルタイム画像に対して調整するように構成される登録モジュール（１４２）とを格納する。ポータブルビデオディスプレイデバイス（１３２）は、カメラ（１３６）及びディスプレイ画面（１３３）を含む。ポータブルビデオディスプレイデバイスは、対象物の記録済み解剖学的画像に対して登録される対象物のリアルタイム画像（１３４）を収集し、これにより、記録済み解剖学的画像の一部が、登録されるリアルタイム画像とともにポータブルビデオディスプレイデバイス上で同時に表示される。通信リンク（１４０）は、コンピューティングデバイスとポータブルビデオディスプレイデバイスとの間の通信及びデータ転送を可能にするように構成される。

Description

本開示は、医療機器に関し、より具体的には、ポータブルビデオディスプレイデバイスを使用して、記録画像をライブビデオに登録することに関する。

冠動脈バイパス術（ＣＡＢＧ）は、閉塞した冠動脈の血管再建術のための外科的処置である。従来の処置では、患者の胸骨を開いて、心臓を完全に露出される。心臓を固定して移植をより容易にするように、しばしば心肺バイパスマシンが使用される。オフポンプ処置は、心臓が鼓動し、狭窄の周辺の局所エリア内で機械構造で固定されると成功裏に実行される。開胸手術では、動脈は通常、部分的又は全体的に繊維性の脂肪組織で覆われる。これらの動脈は、この脂肪組織層により、あるいはこれらが心筋の内側で動いているために可視でない可能性がある。繊維性の脂肪組織は、外科医に、吻合を行う正しいエリアを見つけるという課題をもたらす。外科医は、心臓の表面を触診し、動脈からの血液の脈動と（例えば硬化により血管を狭めている）狭窄との双方を感じることができる。しかしながら、このデータは希薄であり、手術計画を手術部位に移すのには十分でない可能性がある。したがって、術前構造を処置中の組織上に伝達できるように、介入処置において術前画像化の登録及びオーバーレイを提供する方法が必要とされる。

一部の方法は、通常は開胸手術用の手術室では用いられないであろう専用の高価なハードウェアの使用を必要とする。例えば通常手術室には存在しない追加の１つ又は複数の追跡システムが必要とされることがある。一部の場合において、ユーザは、外科医が術前画像を現在の開胸構造に一致させて登録するのを助ける、光学的に追跡される装置により心臓の表面を触診する必要があえる。他のシステムでは、外科医が動脈をデジタル化するのを可能のするためには、動脈の多くが可視である必要がある。したがって、開胸式心臓バイパス手術では、手術室では通常必要とされない高価な追加のハードウェアを使用することなく、冠動脈やバイパス吻合部について術前の画像化データを登録及びオーバーレイを提供することができなかった。従来の方法は、複雑なワークフローに加えて、解剖学上の特徴について長い追跡及び選択も必要とする。

本原理によると、医療画像化システムは、プロセッサと該プロセッサに結合されるメモリとを含むコンピュータデバイスを含む。メモリは、対象物の記録済みの解剖学的画像と、登録モジュールとを格納する。登録モジュールは、記録済み解剖学的画像を、リアルタイム画像に対して調整するように構成される。ポータブルビデオディスプレイデバイスは、カメラとディスプレイ画面とを含む。ポータブルビデオディスプレイデバイスは、対象物の記録済み解剖学的画像に対して登録される対象物のリアルタイム画像を収集し、これにより、記録済み解剖学的画像の一部が、登録されるリアルタイム画像とともにポータブルビデオディスプレイデバイス上で同時に表示される。通信リンクは、コンピューティングデバイスとポータブルビデオディスプレイデバイスとの間の通信及びデータ転送を可能にするように構成される。

医療画像化のためのポータブルビデオディスプレイデバイスは、リアルタイムビデオを収集するように構成されるカメラと、リアルタイムビデオを、リアルタイム画像に対して登録されるオーバーレイ画像と同時に表示するように構成されるディスプレイ画面とを含む。プロセッサ及び該プロセッサに結合されたメモリとも含まれる。メモリは、対象物の記録済み解剖学的画像と、記録済み解剖学的画像を、リアルタイム画像に対して調整するように構成される登録モジュールとを格納する。オーバーレイ画像は、記録済み解剖学的画像の少なくとも一部を含み、ユーザが容易には観察可能でない解剖学的特徴を見るのを助けるよう、ポータブルビデオディスプレイデバイス上に表示される。

医療画像化のための方法は、対象物の解剖学的画像を格納するステップと、カメラ及びディスプレイ画面を含むポータブルビデオディスプレイデバイスを提供するステップであって、該ポータブルビデオディスプレイデバイスが、対象物のリアルタイム画像を収集するように構成されている、ステップと、解剖学的画像の少なくとも一部を、リアルタイム画像に登録するステップと、解剖学的画像の少なくとも一部を、登録されたリアルタイム画像とともにポータブルビデオディスプレイデバイス上に同時に表示するステップとを含む。

本開示のこれら及び他の目的、特徴及び利点は、添付の図面と関連して読まれる例示的な実施形態についての以下の詳細な説明から明らかになるであろう。

この開示は以下の好適な実施形態の説明を詳細に図面との関連で提示する。

一実施形態に従って、ポータブルビデオディスプレイデバイスを用いる医療システムを示すブロック／フロー図である。一実施形態に従って、一方にカメラを、他方にディスプレイスクリーンを示すポータブルビデオディスプレイデバイスの概略図である。一実施形態に従って、ポータブルビデオディスプレイデバイスとワークステーション若しくは処理コンピュータとの間の対話又はプログラムフローを示すブロック／フロー図である。一実施形態に従って、冠動脈のオーバーレイとともに、心臓のリアルタイム画像を示すポータブルビデオディスプレイデバイスの画面を示す図である。一実施形態に従って、３次元の加速度計（又はジャイロスコープ）を示すポータブルビデオディスプレイデバイスの斜視図である。一実施形態に従って、補償することができる２つの例示的な動きを示す、２つの異なる時間におけるポータブルビデオディスプレイデバイス及び解剖学的特徴（例えば心臓）を示す図である。一実施形態に従って、画像ホモグラフィマトリクスを使用して画像を追跡するための方法を示すフロー図である。別の実施形態に従って、タスクを実行する拡張機能を有するポータブルビデオディスプレイデバイスを示すブロック／フロー図である。例示の実施形態に従って、ポータブルビデオディスプレイデバイスを使用する医療画像化のための方法を示すフロー図である。

本原理によると、開胸手術の準備のために、ポータブルのビデオ対応デバイスへ記録済み画像の登録を実行するシステム及び方法が提供される。特に、有益な実施形態では、安価で容易に入手可能なタブレットコンピューティングデバイス又は計算能力を有する他のスマートタブレットデバイスが採用され得る。そのようなデバイスの例には、ＡＰＰＬＥ（登録商標）社のｉＰａｄ（登録商標）、ＳＡＭＳＵＮＧ（登録商標）社のＧａｌａｘｙ（登録商標）タブレット、スマートフォン、特定用途向けタブレット又はディスプレイデバイス等が含まれ得る。登録方法と、ポータブルビデオ及び可視化デバイスとの組合せは、手術計画及び処置中の計画の実行（例えば開胸式冠動脈バイパス手術）を提供するのを助けることができる、オーバーレイされた解剖学的特徴（例えば動脈、吻合部等）とともに、内臓器官及び内面（例えば心臓表面）のリアルタイムの可視化を可能にするシステムを提供する。

このシステムは、（ユーザに面して）正面に画面があり、背面にビデオカメラ（又はウェブカメラ）があるタブレットパーソナルコンピュータ（ＰＣ）やスマートフォンのような、モバイル／ポータブルデバイスを含み得る。オプションとして、高い処理能力及び高い記憶機能を有するＰＣが、ビデオ及び他のアプリケーション用のデータ記憶及び処理のために提供されてもよい。Ｗｉ−Ｆｉリンクのようなデジタルリンクが、モバイル／ポータブルデバイスと処理ＰＣとの間の通信のために提供される。システムは、モバイル／ポータブルデバイス及び／又は処理ＰＣにおいて構成されて格納されるアプリケーションを含み、術前構造のオーバーレイ画像を、ポータブルデバイスによって提供されるビデオ画像上に生成する。他のハードウェア又は追跡方法は必要とされない。開胸手術では、内視鏡が利用可能ではない場合、動脈のオーバーレイは利用可能ではなく、これにより、何らかの外部ビデオストリームの使用なしには、オーバーレイ登録技術はその手術に対して利用不可能になる。本原理は、そのような問題に対して、有効かつ安価で簡潔な解決策を提供する。

本発明は、医療機器に関して説明されるが、本発明の教示は非常に広範であり、任意の画像化システムに適用可能であることを理解されたい。一部の実施形態において、本原理は、複雑な生体又は医療システムを追跡又は分析する際に採用される。特に、本原理は、生体システムの治療、肺や循環系、肺系統、消化器系、排せつ器等のような身体の全てのエリアにおける処置を追跡して可視化するのに適用可能である。

図面内に示される要素は、ハードウェア及びソフトウェアの様々な組み合わせで実装されてよく、単一の要素又は複数の要素に組み合わせることが可能な機能を提供する。図面に示される様々な要素の機能は、専用のハードウェア、適切なソフトウェアとの関係でソフトウェアを実行する能力を有するハードウェアの使用を通して提供され得る。プロセッサによって提供されるとき、これらの機能を、単一の専用プロセッサによって、単一の共有プロセッサによって、あるいはその一部が共有され得る複数の個々のプロセッサによって提供することができる。さらに、「プロセッサ」又は「コントローラ」という用語の明示的な使用は、ソフトウェアを実行する能力を有するハードウェアを排他的に指すように解釈されるべきではなく、これらに限定されないが、デジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを格納するための読取専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、非揮発性ストレージ等を暗黙的に含み得る。

さらに、本明細書において本発明の原理、態様及び実施形態を説明する全ての記載並びにそれらの具体的な実施例は、構造的均等物及び機能的均等物の双方を包含するように意図される。さらに、そのような均等物は、現在公知の均等物だけでなく、将来開発される均等物（すなわち、構造に関わらず同じ機能を実行するように開発される全ての要素）の双方を含むことが意図される。したがって、当業者には、例えば本明細書で提示されるブロック図が、例示されるシステムコンポーネント及び／又は本発明の原理を具現化する回路の概念的ビューを表すことが認識されよう。同様に、いずれのフローチャート、フロー図等も、実質的にコンピュータ読取可能記録媒体において具現化され、従ってコンピュータ又はプロセッサが明示的に示されているか否かに関わらず、そのようなコンピュータ又はプロセッサによって実行され得る、様々な処理を表すことが認識されよう。

さらに、本発明の実施形態は、コンピュータ又は任意の命令実行システムによって又はこれとともに使用されるプログラムコードを提供するコンピュータ使用可能又はコンピュータ読取可能記録媒体からアクセス可能な、コンピュータプログラム製品の形を取ることができる。この説明のために、コンピュータ使用可能又はコンピュータ読取可能記録媒体は、命令実行システム、装置又はデバイスによって使用されるか、これらとともに使用されるプログラムを、包含、格納、通信、伝播又は伝送し得る任意の装置とすることができる。媒体は、電気、磁気、光、電磁気、赤外線又は半導体システム（又は装置若しくはデバイス）又は伝播媒体とすることができる。コンピュータ読取可能媒体の例には、半導体若しくは固体メモリ、磁気テープ、取外し可能コンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、剛性磁気メモリ及び光ディスクが含まれる。現在の光ディスクの例には、コンパクトディスク−読取専用メモリ（ＣＤ−ＲＯＭ）、コンパクトディスク読取／書込（ＣＤ−Ｒ／Ｗ）、Ｂｌｕ−Ｒａｙ（登録商標）及びＤＶＤが含まれる。

以下では図面を参照するが、図面において、同様の参照番号は、同じ又は類似の要素を表す。最初に図１を参照すると、一実施形態に係る、ポータブルビデオデバイスを使用して内部構造を可視化するためのシステム１００が例示的に示されている。システム１００は、処置が指示及び／又は管理されるワークステーション又はコンソール１１２を含むことができる。ワークステーション１１２は、好ましくは１つ又は複数のプロセッサ１１４と、プログラム及びアプリケーションを格納するためのメモリ１１６とを含む。メモリ１１６は、内部構造を可視化するためのビデオ画像を提供するのを助けるための１つ又は複数のアプリケーションを格納してよい。一実施形態において、メモリ１１６は、特定の対象物１６０について処置の前に撮影された術前画像（又は記録）１３０を格納する。術前画像１３０は、検討される組織の３Ｄ画像又はモデルを提供する。対象物１６０の他の記録画像もまた採用することができる（術中画像等）。

システム１００は、１つ又は複数のモバイル／ポータブルビデオディスプレイデバイス１３２を含む。ビデオディスプレイデバイス１３２は、タブレット、スマートフォン、ポータブルデジタルディスプレイデバイス等を含み得る。ビデオディスプレイデバイス１３２は、市販のデバイスを含んでもよく、あるいは特別に設計されたディスプレイタブレット又はデバイスを含んでもよい。

通信システム又はリンク１４０が、ワークステーション１１２とビデオディスプレイデバイス１３２との間で確立されて、情報、コマンド及びデータ（例えば画像）の転送が可能になる。通信は、ビデオディスプレイデバイス１３２の能力に基づいて確立され得る。例えばビデオディスプレイデバイス１３２は、Ｗｉ−Ｆｉ機能、セルラ通信機能、インターネットリンク、Ｂｌｕ−Ｔｏｏｔｈ（登録商標）等を含むことがある。一実施形態において、リンク１４０は、ワークステーション１１２とビデオディスプレイデバイス１３２との間で、１つ又は複数のケーブルを通して確立されるハードワイヤード接続を含み得る。ケーブルは、必要に応じて、ファイバ光学、電子接続、他の機器等を含み得る。

一実施形態において、ワークステーション１１２は、ビデオディスプレイデバイス１３２上に表示されるオーバーレイを生成するように構成される画像生成モジュール１４８を含む。画像１３４（例えばカメラ１３６によってデバイス１３２から収集されるリアルタイム画像）が、例えば胸腔のようなスペース又はボリューム１３８について、ワークステーション又はＰＣ１１２へ返すように伝送され得る。画像１３４は、利用可能でありかつ所望される場合に、ビデオディスプレイデバイス１３２及び／又はワークステーション１１２のディスプレイデバイス１１８上に表示することができる。ワークステーション１１２は、ビデオディスプレイデバイス１３２を設定し、対象物（患者）１６０及びボリューム１３８の内部画像を見て、ワークステーション１１２の他の機能を実行するのを助けるためのディスプレイ１１８を含んでよい。

ディスプレイ１１８は、ユーザがワークステーション１１２並びにそのコンポーネント及び機能と対話し、あるいはシステム１００内のいずれかの他の要素と対話することも可能にし得る。これはインタフェース１２０によって更に促進される。インタフェース１２０は、キーボード、マウス、ジョイスティック、触覚デバイス、あるいはワークステーション１１２からのユーザフィードバック及び対話を可能にする任意の他の周辺又は制御装置を含み得る。

一実施形態において、画像１３４は、登録モジュール１４２に格納されるメソッド（方法）を使用して、対象物１６０及び／又はボリューム１３８の術前画像１３０に登録されたビデオディスプレイデバイス１３２上に表示されることになる。登録モジュール１４２は、画像生成モジュール１４８の一部であってもよく、スタンドアロンのモジュールであってもよい。登録モジュール１４２は、共通の目印、既知の解剖学的特徴又は他の画像処理技術を使用して画像を調整する。ビデオディスプレイデバイス１３２を対象物（患者）１６０の上で保持することによって、患者を開腹することなく、内部の解剖学的特徴（例えばボリューム１３８）を、ビデオディスプレイデバイス１３２のディスプレイ画面１３３上で見ることができる。ディスプレイ画面１３３は、術前画像１３０に登録されたリアルタイム画像１３４（又はその一部）を表示する。ビデオディスプレイデバイス１３２を動かすと、これに応じて、内部解剖学的特徴のビュー（例えばリアルタイム画像１３４と術前画像１３０の双方）が変化することになる。

この実施形態において、内部の組織の一部を、外部の特徴を使用して配置して術前画像１３０を登録し、ビデオディスプレイデバイス１３２を用いて、対象物１６０の皮膚（外部組織）のリアルタイム画像１３４に登録された術前画像１３０（内臓器官及び特徴）を表示して、手術、計画的切開（plan incision）、ポートの位置について患者をマークするか、他の機能を提供してもよい。ビデオディスプレイデバイス１３２は、対象物１６０のリアルタイムタイムビデオ（外部の皮膚画像）を含み、術前画像１３０又は術前画像の一部（例えば冠動脈、心臓等）の登録されたオーバーレイ１４６を生成することができる。術前画像１３０の組織は、目印又は２つの領域間の参照点１５０を使用して、リアルタイムビデオ画像１３４に対して正確に登録される。参照点１５０は、解剖学的特徴であってもよく、操作テーブルの支持面、固定されたアーム等上の固定された点を含んでもよい。固定された位置に対する登録は、手術に先立って実行され、一旦登録されると、固定された位置は、術前画像の領域内で定義され、処置中にリアルタイム画像１３４を計画のために登録するのに使用され得る。本原理に従って、他の登録技術も可能であり、検討される。そのような処置又は検査の計画は、医師のオフィス、フィールド又は任意の他の位置で実行され得る。

ポータブルビデオデバイス１３２は、オプションの固定アーム１５２を使用してその位置に保持され得る。アーム１５２は、好ましく配置されるように、選択的に調整可能であってよい。アーム１５２は、電力又はデータ接続／インタフェース１５４を含んでもよく、（リンク１４０を含み得る）電力チャージ又はデータ収集のために、ポータブルビデオデバイス１３２のドケッティングを可能にするように構成され得る。

特に有益な実施形態では、開胸式の心臓手術中に、動脈及び心臓表面では直接可視でない動脈及び他の構造を可視化する方法が用いられる。計画の後、開胸式心臓手術が、胸を開いて心臓を露出させることによって行われる。筋膜及び脂肪組織により、心臓内及びその周辺エリアの血管が容易に観察可能でないことがある。マッチングアルゴリズムを使用し、心臓の形状又は他の目印を用いて、ビデオディスプレイデバイス１３２を使用して収集される心臓のリアルタイム画像１３４を、心臓の術前画像１３０に登録してもよい。登録方法とビデオディスプレイデバイス１３２との組合せは、心臓の表面のリアルタイムの可視表現に、オーバーレイされる動脈と吻合部とを提供し、これは外科医の計画を助け、かつ例えば冠動脈バイパス手術のような開胸式心臓手術を助けることができる。

特に有益な実施形態では、ポータブルビデオデバイス１３２の動きを構成し、解剖学的特徴の動き（例えば心拍）を構成するよう、動き補償モジュール１６２が含まれる。心臓の動きは、オーバーレイ画像１４６の影響を受けることがあるが、ポータブルビデオデバイス１３２によって収集される実際の画像１３４は、アーム１５２を使用してセキュアにされる。動き補償モジュール１６２は、オーバーレイ画像１４６を更新又は調整して、登録及び正確性が確実に保持されるようにする。

図１を参照しながら更に図２を参照すると、図２には、本原理に従って、リアルタイム可視化のために用いることが可能なモバイル／ポータブルビデオディスプレイデバイス１３２の例が示されている。デバイス１３２の正面２０２は、表示画面の一部又は全体である。デバイスの背面２０４には、カメラ２０６又はこれに取り付けられるウェブカメラがあり、このカメラは、患者に面するよう下に向けて配置される。

カメラビデオに対する術前の３Ｄ画像化モダリティ（ＣＴ、ＭＲ、Ｘ線血管造影等）からの例えば動脈のマッチング及びオーバーレイのために、登録方法が用いられる。カメラ２０６はキャリブレートされる必要はなく、またカメラ２０６のオプションの特性を知ることは（有益ではあるが）要求されないので、潜在的に任意のカメラを処置中に使用して交換することが可能である。好ましくは、３Ｄ画像化からの大量のデータ及びリアルタイム操作のための処理要件（スクリーンは好ましくは、快適なビューのために少なくとも例えば約２４Ｈｚの速さで更新する）に起因して、画像処理アルゴリズムは、別個の処理コンピュータ又はワークステーション１１２上で実行され得る。最終的なオーバーレイ画像１４６は、モバイル／ポータブルデバイス１３２へ、処理コンピュータ又はワークステーション１１２からデジタルリンク１４０を介してストリーミングされる。

図３を参照すると、一実施形態に従って、ポータブルビデオディスプレイデバイス３０２（１３２）とコンピュータ又はワークステーション３０４（１１２）との間の対話を示す例示のブロック／フロー図が示されている。一例において、ユーザは、ポータブルデバイス３０２を保持しており、その結果、カメラビューでは、心臓が、図４に示されるような画面４１０上で可視である。図４は、ポータブルビデオディスプレイデバイス３０２上に表示される動脈４０４のオーバーレイされた画像を有する心臓４０２を示している。

ポータブルデバイス３０２は、ユーザによって保持されるか、固定アーム１２（図１）上に配置され得るので、その位置及び方向は空間内で固定される。画像処理は全体として、ポータブルデバイス３０２上で実行され、処理コンピュータ３０４は必要とされないことがあることを理解されたい。

ブロック３０６において、ユーザは、タッチスクリーン又は他のインタフェース技術を使用して画像内の特徴を手動で選択する。この特徴には、動脈（又は表面上で可視である動脈の一部）が含まれ得る。選択された点を、処理コンピュータ３０４に送信し、ブロック３１２においてマッチングを実行し、ブロック３１４においてオーバーレイする。ブロック３１２におけるマッチングは、リアルタイムビデオ内の特徴又は目印を、術前画像内の対応する特徴又は目印に登録することを含む。これは、登録モジュール１４２（図１）を使用して実行され得る。ブロック３１４におけるオーバーレイは、選択された特徴（例えば動脈）の画像を生成することを含む。オーバーレイは、ファントム画像を含むか、より良い又はより正確なビューを可能にする他のエフェクトを有する可能性がある。これは、画像生成モジュール１４８（図１）を使用して実行され得る。

（ブロック３１４からの）オーバーレイ画像は、ポータブルデバイス３０２に送信されて、カメラビデオ上にオーバーレイされるディスプレイ画面３１６上に表示される。ポータブルデバイス３０２は、ブロック３２０において、その固有のフレームレート（例えば２４Ｈｚ）で画像のキャプチャを継続し、画像をキャプチャする処理コンピュータ３０４に画像を送信する。処理コンピュータ３０４は、ブロック３２２において、１つ又は複数の方法によってデバイス（固定されていない場合）の動きを検出する。これは、動き補償モジュール１６２（図１）を使用して実行され得る。例えばある方法は、心臓表面の点を（例えば当技術分野で公知のＬｕｋａｓ−Ｋａｎａｄｅオプティカルフローを使用して）追跡し、これに応じてブロック３１２、３１４におけるマッチングとオーバーレイを更新することを含み得る。これは、心臓が鼓動しておらず、患者が心肺バイパスマシンに接続されている場合に、特によく作用する。処理コンピュータ３０４は、ポータブルデバイス３０２に、該ポータブルデバイスの画面３１６上に表示されるオーバーレイ画像を供給する。

特徴（例えば動脈）の位置を更新する別の方法は、動き補償をオーバーレイに適用することであり、これは、心臓の上の特徴を追跡することによって達成される。この方法は、心臓の特徴を追跡し、例えばホモグラフィ投影を使用して、動脈の位置を、追跡した特徴との関連で更新する。この方法は、（心臓が鼓動しておらず、患者が心肺バイパスマシン上にある）オンポンプと、心臓がまだ鼓動している状態にあるオフポンプの双方に対して良好に作用する。他の画像処理技術も採用され得る。ブロック３２０及び３２２は、連続ループで実行され得る。

別の実施形態において、スマートタブレットＰＣ又はデバイス３０２に対して内部のシステムに基づく内部加速度計及び／又は全地球測位システム（ＧＰＳ）を、デバイス３０２の位置を追跡するのを助けるのに用いてもよい。これらは、以下で更に詳細に説明される。患者の動き、心臓の鼓動又は他の動きを構成する他の方法を用いてもよい。

図５を参照すると、ポータブルビデオディスプレイデバイス５０２が、３軸のジャイロスコープセンサ又は３軸の加速度計５０４とカメラセンサ５０６とともに概略的に示されている。これら特徴は、例えばＡＰＰＬＥ（登録商標）社のｉＰａｄ（登録商標）及び他の同様のデバイスにおいて利用可能である。ポータブルビデオディスプレイデバイス５０２に格納される、心臓の鼓動に対する動き補償のための専用のアルゴリズム５０８を、内視鏡のような複雑なハードウェアを使用せずに、実装することができる。

登録及びオーバーレイ（図３の３１２、３１４）が実行された後、動き補償が行われて、カメラによりキャプチャされてデバイス５０３（３０２）の画面上に表示されるライブビデオ上の、オーバーレイされた動脈の位置が更新される。一例において、動き補償は、１）カメラシステム５０６の移動及び／又は鼓動している心臓５０８（図６）又は他の構造の動きを含み得る。

図５の参照を続けながら、図６を参照すると、２つの時間ｔ１とｔ２との間の動きの表現が示されている。この動きは、デバイス５０２上のカメラ及び／又は鼓動している心臓５０８の動きで構成される。カメラシステム（及びポータブルデバイス全体）の移動は、回転（Ｒｘ）及び並進（ｔｃ）によって表される厳格な変換（rigid translation）である。この変換は、画像面上の心臓５０８の透視投影を変更する。当技術分野では、この変更を３ｘ３ホモグラフィ行列Ｈで表すことができることが知られており、この行列Ｈは、以下のように定義される。

ここで、ｎは、画像面の法線ベクトルであり、ｄは、カメラから心臓までの距離である。（Ｔは、転置演算子である）。ポータブルデバイスの回転及び並進（Ｒｃ及びｔｃ）は、３軸のジャイロスコープ又は３軸の加速度計５０４から直接測定することができる。なお、３軸のジャイロスコープと３軸の加速度計は双方とも、ｉＰａｄ（登録商標）に提供されている。回転及び並進は、時間ｔ１における座標系ｘ１−ｙ１−ｚ１から、時間ｔ２における座標系ｘ２−ｙ２−ｚ２への変換として測定される。

一般に、距離ｄ（例えばｄ１又はｄ２）は分からない。しかしながら、術前データとカメラからの術中のライブビデオ（例えばリアルタイム画像）との間の登録並びにｉＰａｄ（登録商標）カメラシステムのパラメータ（カメラデータシートからの焦点距離）は分かるので、登録されたデータ及び分かっているカメラシステムの焦点距離から、２つの分岐点を使用して、ｄを導出することができる。例えば

であり、ここで、Ｆｘは、ｚ軸の有効な焦点距離であり、ｘは、（３Ｄデータから測定される）空間内の２つの分岐点の間の距離であり、Ｘは、（ピクセルでの）画像空間の２つの分岐点の間の距離である。一般的に言うと、データはノイズが多いことがあり、したがって、ｘ軸及びｙ軸から計算されるｄは、異なることがある。正確性を改善するために平均を取ることができる。正確性を更に改善するためには、異なる分岐点の間で複数の値を測定することができ、ｄの最終的な値のために、平均又は中央値を取ることができる。

確立されたｄ、Ｒｃ及びｔｃの値から、行列Ｈを計算することができる。行列Ｈは、カメラ５０６の動きを、したがってデバイス５０２の動きを完全に示す。

心臓５０８の動きを、行列Ｈを用いる既知のホモグラフィ方法と組み合される追跡方法を使用して確立することができる。これは、フレームワークを追跡する特徴を使用することと、画像のエリアが、時間とともに同様の特徴を維持し、かつそのエリアの動きが画像内の「ウィンドウ」（例えば最大変位（maximum displacement）のエリア内）に制約されることを想定することとを含むことがある。追跡方法の計算時間は、この検索ウィンドウに多いに依存する（より大きなウィンドウにはより多くの時間がかかる）。鼓動している心臓について、ウィンドウを、心臓の既知の動きの量を使用して設定することができる。登録がｉＰａｄ（登録商標）を使用して実行される場合、ユーザがｉＰａｄ（登録商標）を早く動かし過ぎるために、検索ウィンドウは受け入れ難いほどに高くなる可能性がある（すなわち、従来の方法を使用して追跡するには、動きＲｃ及びｔｃが大きすぎる可能性がある）。ホモグラフィ行列Ｈは、画像化されている解剖学的特徴内において対象となる解剖学的特徴から、経時的に計算される。行列Ｈを用いて、リアルタイム画像との登録を維持するよう記録済みの解剖学的特徴を変形する。

図７を参照すると、（上述のように）ｔ＝ｔ１の画像１と、ｔ＝ｔ２の画像２との間の直接追跡６０２は、動脈位置のリアルタイム更新に用いられないことがある（ｉＰａｄ（登録商標）のカメラは、約２４Ｈｚでビデオをキャプチャする）。追跡方法の検索ウィンドウを、動きが心臓の鼓動のみである場合と同じサイズに保つために、動き補償モジュール１６２（図１）において追加の画像処理が必要とされる。図７は、リアルタイム追跡方法６０６を示している。標準的な「追跡」プロシージャが呼ばれる前に、時間ｔ１の画像１が、３ｘ３行列Ｈ（カメラの回転と並進から導出される）を使用して変換される。その結果として得られる画像「Ｈ*画像１」は、カメラの動き全体を占める。したがって、「画像２」内の画像特徴は、「画像１」内の特徴と比べて、「Ｈ*画像１」内の同じ特徴から、非常に小さい検索ウィンドウ内にある。このフレームワークを使用して、ライブビデオにおける動脈位置の更新を、ｉＰａｄ（登録商標）カメラシステムの固有のフレームレートで行うことができる。例示の方法を説明したが、手術に関連する使用又は他の応用のために、同じスケールで静的かつ信頼性ある画像を提供する画像処理に他の特徴及び方法を用いてもよいことを理解されたい。

本発明の原理は、開胸手術、中でも冠動脈バイパス移植に特に有益である。しかしながら、血管又はリンパ節のような他の血管系の構造のような内部の解剖学的特徴に対して手術を行う場合、本原理を他の器官に適用することも可能である。２Ｄ及び３Ｄの点をマッチングするための他の方法とともに使用されるとき、本原理を、任意のタイプの観血式手術及び内視鏡手術に使用することができ、術中画像上への術前画像のオーバーレイは、処理に有益で適している。登録方法及びポータブルビデオと可視化デバイスの組合せは、処置を計画及び実行する際に外科医を助けることができる、オーバーレイを用いる内部表面のリアルタイムの可視化を可能にするシステムを提供する。

図８を参照すると、ポータブルビデオディスプレイデバイス１３２（例えばスマートフォン又はタブレット）が、上述のような独立のユニットとして医療画像化に用いられることがある。これは、その処理及びメモリ能力に依存する。この実施形態において、図１に関して説明されるような機能が、いくつかの相違点とともに適用可能である。カメラ１３６は、リアルタイムビデオを収集するように構成され、ディスプレイ画面１３３は、リアルタイムビデオを、リアルタイム画像１３４に登録されたオーバーレイ画像１４６と同時に表示するように構成される。通信モジュール１７０に通信機能が提示される。プロセッサ１１４及びメモリ１１６を用いて、格納された画像をリアルタイムビデオ上にオーバーレイすることを含め、画像化機能を実行する。

メモリ１１６は、対象物の記録済み解剖学的画像１４０を含み、登録モジュール１４２、画像生成モジュール１４８及び動き補償モジュール１６２も全て組み込まれる。オーバーレイ画像１４６は、ポータブルビデオディスプレイデバイス１３２上で生成されて、表示され、容易には観察可能ではない解剖学的特徴をユーザが見るのを助ける。ポート１５４は、電力を提供して、バッテリ１７２又は電源の再チャージを可能にする。データがポート１５４を通して交換され得る。インタフェース１２１は、キーボード、タッチスクリーン又はデバイス１３２のソフトウェアアプリケーションをプログラミング、ロード、実行及び利用するための他のインタフェースを含む。

図９を参照すると、例示の実施形態に係る、ポータブルビデオディスプレイデバイスを使用する医療画像化のための方法が示されている。ブロック７０２において、対象物の解剖学的画像がメモリ内に格納される。これらの画像は、例えばコンピュータ断層撮影法（ＣＴ）、磁気共鳴撮影法（ＭＲＩ）、Ｘ線血管造影等のような１つ又は複数の撮像モダリティを使用して撮られた術前画像又は術中画像であってよい。ブロック７０４において、ポータブルビデオディスプレイデバイスが提供され、このポータブルビデオディスプレイデバイスは、カメラ及びディスプレイ画面を含んでいる。ポータブルビデオディスプレイデバイスには、スマートフォン、タブレット又は他のディスプレイデバイスが含まれ得る。ポータブルビデオディスプレイデバイスは、対象物のリアルタイム画像を収集するように構成される。

ブロック７１０において、解剖学的画像の少なくとも一部が、ポータブルビデオディスプレイデバイスによって撮影されたリアルタイム画像に登録される。ブロック７１２において、解剖学的画像とリアルタイム画像との間の共通の点が追跡される。

ブロック７１４において、オーバーレイが格納済みの画像（例えば術前画像の一部）から生成される。ブロック７１６において、記録済みの解剖学的画像の一部が、リアルタイム画像に登録されて、その双方の画像が、ポータブルビデオディスプレイデバイス上で同時に表示される。オーバーレイは、例えば鼓動している心臓のリアルタイム画像上では容易に可視でない冠動脈を含むことが可能である。解剖学的画像からの他の特徴も、ポータブルビデオディスプレイデバイス上での表示のためにリアルタイム画像上にオーバーレイさせてもよい。

ブロック７２０において、画像化されている解剖学的特徴について動きが補償される。この動きには、ポータブルビデオディスプレイデバイスの動き、解剖学的特徴の動き等が含まれ得る。ブロック７２２において、解剖学的特徴は、鼓動している心臓が含まれることがあり、鼓動している心臓の動きが追跡されて、解剖学的画像の一部（例えばオーバーレイ画像）を調整する。ブロック７２４において、解剖学的特徴が、ホモグラフィ行列Ｈを使用して追跡され得る。ホモグラフィ行列Ｈは、画像化されている解剖学的特徴内において対象となる解剖学的特徴から、経時的に計算される。この行列Ｈを用いて、リアルタイム画像への登録を保持するよう記録済みの解剖学的特徴を変形する。ブロック７２６において、ポータブルビデオディスプレイデバイスの動きは、リアルタイム画像だけでなくオーバーレイの特徴も同時に変更又は追跡するように構成される。このようにして、リアルタイム画像が変化すると、オーバーレイ画像も変化し、正確かつ適切な画像データを提供し、処置中の外科医を助けることができる。処置は必要に応じて継続し、これに応じて、ブロック７２８において画像が更新される。

請求項の解釈に当たっては、以下の事項を理解されたい。
ａ）「備える」という用語は、所与の請求項に列挙されている要素又は動作以外の他の要素又は動作の存在を排除せず、
ｂ）ある要素に先行する「ある（ａ，ａｎ）」という用語は、そのような要素の複数の存在を排除せず、
ｃ）特許請求の範囲におけるいずれかの参照符号も、その範囲を限定するものではなく、
ｄ）幾つかの「手段」は、構造若しくは機能を実装する同じアイテム、ハードウェア又はソフトウェアによって表されることがあり、
ｅ）別段の指示がない限り、動作の具体的な順序はいずれもそのような順序を必要するようには意図されていない。

ポータブルデバイスを使用するライブビデオ上への術前データのオーバーレイ及び登録のための好適な実施形態について説明してきたが（これは、限定ではなく例示であるように意図されており）、上記の教示から、当業者によって修正及び変更が行われる可能性があることが認識される。したがって、本開示の特定の実施形態に対して、特許請求の範囲によって概説されるような、開示される実施形態の範囲内で変更を行うことができることが理解されよう。したがって、詳細を説明してきたが、特許法によって特に要求されるように、特許証による保護を請求し、望むものは、特許請求の範囲において示される。

Claims

医療画像化システムにおいて：
プロセッサ及び該プロセッサに結合されるメモリであって、
対象物の記録済みの解剖学的画像と、
前記記録済み解剖学的画像を、リアルタイム画像に対して調整するように構成される登録モジュールと、
を格納しているメモリを含む、コンピューティングデバイスと；
カメラ及びディスプレイ画面を含むポータブルビデオディスプレイデバイスであって、前記記録済み解剖学的画像の少なくとも一部が、登録されるリアルタイム画像とともに当該ポータブルビデオディスプレイデバイス上で同時に表示されるように、前記対象物の前記記録済み解剖学的画像に対して登録される前記対象物のリアルタイム画像を収集するように構成される、ポータブルビデオディスプレイデバイスと；
前記コンピューティングデバイスと前記ポータブルビデオディスプレイデバイスとの間の通信及びデータ転送を可能にするように構成される通信リンクと；
を備える、システム。
前記ポータブルビデオディスプレイデバイスは、スマートフォン又はタブレットを含む、請求項１に記載のシステム。
前記登録モジュールは、前記記録済み解剖学的画像と前記リアルタイム画像との間の共通点を決定して追跡する、請求項１に記載のシステム。
前記記録済み解剖学的画像の前記少なくとも一部は、前記リアルタイム画像と同時に表示されるオーバーレイを含む、請求項１に記載のシステム。
画像化されている解剖学的特徴と、前記ポータブルビデオディスプレイデバイスの動きとの少なくとも一方の動きを補償するように構成される、画像処理モジュールを更に備える、請求項１に記載のシステム。
前記解剖学的特徴は、鼓動している心臓を含み、前記記録済み解剖学的画像の前記少なくとも一部は、前記鼓動している心臓の動きを追跡するように調整される、請求項５に記載のシステム。
前記画像化されている解剖学的特徴において、対象となる解剖学的特徴から経時的に計算されるホモグラフィ行列Ｈを更に備え、該行列Ｈは、前記リアルタイム画像との登録を保持するよう前記記録済み解剖学的画像を変形するのに用いられる、請求項５に記載のシステム。
前記記録済み解剖学的画像は、１つ又は複数の画像化モダリティを使用して収集される術前画像又は術中画像を含む、請求項１に記載のシステム。
前記記録済み解剖学的画像から、前記ポータブルビデオディスプレイデバイス上での表示のために前記リアルタイム画像の上にオーバーレイされるオーバーレイ特徴を提供するように構成される画像処理モジュールを更に備える、請求項１に記載のシステム。
前記ポータブルビデオディスプレイデバイスの動きは、これに応じて、前記リアルタイム画像及び前記オーバーレイ特徴を変更する、請求項９に記載のシステム。
処置中に前記ポータブルビデオディスプレイデバイスの位置をセキュアにするアームを更に備える、請求項１に記載のシステム。
医療画像化のためのポータブルビデオディスプレイデバイスであって、
リアルタイムビデオを収集するように構成されるカメラと；
前記リアルタイムビデオを、リアルタイム画像に対して登録されるオーバーレイ画像と同時に表示するように構成されるディスプレイ画面と；
プロセッサと；
前記プロセッサに結合されたメモリと；
を備え、前記メモリは、
対象物の記録済み解剖学的画像と、
前記記録済み解剖学的画像を、前記リアルタイム画像に対して調整するように構成される登録モジュールと、
を格納し、
前記オーバーレイ画像は、前記記録済み解剖学的画像の少なくとも一部を含み、ユーザが容易には観察可能でない解剖学的特徴を見るのを助けるよう、当該ポータブルビデオディスプレイデバイス上に表示される、ポータブルビデオディスプレイデバイス。
当該ポータブルビデオディスプレイデバイスは、スマートフォン又はタブレットを含む、請求項１２に記載のデバイス。
前記登録モジュールは、前記記録済み解剖学的画像と前記リアルタイム画像との間の共通点を決定して追跡する、請求項１２に記載のデバイス。
前記記録済み解剖学的画像の前記少なくとも一部は、開胸手術中に隠れる冠動脈を含む、請求項１２に記載のデバイス。
画像化されている解剖学的特徴と、当該ポータブルビデオディスプレイデバイスの動きとの少なくとも一方の動きを補償するように構成される、画像処理モジュールを更に備える、請求項１２に記載のデバイス。
前記解剖学的特徴は、鼓動している心臓を含み、前記記録済み解剖学的画像の前記少なくとも一部は、前記鼓動している心臓の動きを追跡するように調整される、請求項１６に記載のデバイス。
前記画像化されている解剖学的特徴において、対象となる解剖学的特徴から経時的に計算されるホモグラフィ行列Ｈを更に備え、該行列Ｈは、前記リアルタイム画像との登録を保持するよう前記記録済み解剖学的画像を変形するのに用いられる、請求項１６に記載のデバイス。
前記ポータブルビデオディスプレイデバイスの動きは、これに応じて、前記リアルタイム画像及び前記オーバーレイ画像を変更する、請求項１６に記載のデバイス。
前記記録済み解剖学的画像は、１つ又は複数の画像化モダリティを使用して収集される術前画像又は術中画像を含む、請求項１２に記載のデバイス。
医療画像化のための方法であって、
対象物の解剖学的画像を格納するステップと、
カメラ及びディスプレイ画面を含むポータブルビデオディスプレイデバイスを提供するステップであって、前記ポータブルビデオディスプレイデバイスは、前記対象物のリアルタイム画像を収集するように構成されている、ステップと、
前記解剖学的画像の少なくとも一部を、前記リアルタイム画像に登録するステップと、
前記解剖学的画像の前記少なくとも一部を、登録された前記リアルタイム画像とともに、前記ポータブルビデオディスプレイデバイス上に同時に表示するステップと、
を含む、方法。
前記ポータブルビデオディスプレイデバイスは、スマートフォン又はタブレットを含む、請求項２１に記載の方法。
登録するステップは、前記解剖学的画像と前記リアルタイム画像との間の共通点を追跡することを含む、請求項２１に記載の方法。
前記解剖学的画像の前記少なくとも一部からオーバーレイを生成するステップと、前記解剖学的画像からの特徴を、前記ポータブルビデオディスプレイデバイス上での表示のために前記リアルタイム画像上にオーバーレイするステップと
を更に含む、請求項２１に記載の方法。
画像化されている解剖学的特徴と、当該ポータブルビデオディスプレイデバイスの動きとの少なくとも一方の動きを補償するステップ
を更に含む、請求項２１に記載の方法。
前記解剖学的特徴は、鼓動している心臓を含み、当該方法は、
前記解剖学的画像の前記少なくとも一部を調整するよう、前記鼓動している心臓の動きを追跡するステップ
を更に含む、請求項２５に記載の方法。
前記動きを補償するステップは、前記画像化されている解剖学的特徴において、対象となる解剖学的特徴から経時的に計算されるホモグラフィ行列Ｈを用いるステップを含み、該行列Ｈは、前記リアルタイム画像との登録を保持するよう前記解剖学的画像を変形するのに用いられる、請求項２５に記載の方法。
前記ポータブルビデオディスプレイデバイスの動きは、これに応じて、前記リアルタイム画像及び前記オーバーレイ画像を変更する、請求項２５に記載の方法。
前記解剖学的画像は、１つ又は複数の画像化モダリティを使用して収集される術前画像又は術中画像を含む、請求項２１に記載の方法。