JP7335925B2 - デバイス対画像レジストレーションの方法、装置及び記憶媒体 - Google Patents

Description

関連出願への相互参照
本願は、２０２０年８月６日に出願された米国仮特許出願第６３／０６２，２２７号（その全体が参照により本明細書に組み込まれる）からの優先権の利益を主張する。

本開示は、概して、フィデューシャル（fiducial）マーカを用いたデバイス対画像レジストレーション（device-to-image registration）のための画像処理及び自動化プロセスに関し、より詳細には、デバイス対画像レジストレーションの方法、装置及び記憶媒体に関する。

フィデューシャルマーカ又はフィデューシャルは、画像の位置をオブジェクトの物理的位置と相関又はレジストレーションするのに役立つ。医療用途では、フィデューシャルにより、医療従事者は、患者の実際の位置と離れた場所の画像との関係を比較又は決定することができる。医療用途としては、例えば、外科手術、歯科、放射線療法、整形外科等が挙げられる。医療従事者としては、例えば、医師、内科医、看護師、技術者等が挙げられる。フィデューシャルとしては、例えば、マーカ、ポイント位置、特性、初期化パラメータ等を挙げることができる。フィデューシャルは、円、三角形、楕円、球、コイル、円柱等の形をした小さなオブジェクトであり得る。オブジェクトは、金等の金属を含む材料から製造することができる。フィデューシャルは、治療中又は手術中に放射線ビーム、ツール、針等の配置をガイドするのを助けるために、腫瘍等の医療エリアの近くに配置することができる。

患者の内部エリアに医学療法を導くために、コンピュータ断層撮影法（ＣＴ）や磁気共鳴画像法（ＭＲＩ）等のインターベンショナル誘導構成を用いることができる。インターベンショナル誘導構成では、自動デバイス対画像レジストレーションの医用画像において、高強度フィデューシャルを正確かつ迅速に検出することが望ましい。臨床的な文脈の中では、インターベンショナル誘導技術は、合理的かつ迅速に、例えば数秒以下で行われることが好ましい。

この課題に対処する現在のアプローチは、図１５～図１９に示され、また、米国特許第１０，４２０，６２６号及び第１０，８９３，９１１号に記載されており、想定フィデューシャルの候補のほとんどが実在のフィデューシャルであると想定している。しかしながら、画像内にノイズが存在し、様々な発生源からアーチファクトが発生するので、この仮定は正しくない場合がある。これにより、デバイス対画像レジストレーションの解が最適ではなくなるおそれがある。最適解は、物理空間から画像空間へのデバイスの変換として表すことができ、その結果、最小の平均二乗偏差や、可能な限り多くのフィデューシャルの検出等が得られる可能性がある。

自動デバイス対画像レジストレーションの他のアプローチは、指定された画像の遠隔領域で見つかった関連アーチファクトを除外し、検索アルゴリズム自体を理論的に高速化するために、挿入ポイント、患者装着型ユニット、又はその両方のいずれかを中心とするトリミングウィンドウを利用する。しかしながら、この解決策では、デバイス自体から発生するアーチファクト等、トリミングウィンドウ内に存在し得るアーチファクトが考慮されていない場合がある。

画像内に重大なノイズが提示される一般のシナリオでは、高速で正確なデバイス対画像レジストレーションを実行することは困難である。

これらの懸念を克服し、高強度フィデューシャルを正確かつ迅速に検出することにより、フィデューシャルを用いた自動化されたデバイス対画像レジストレーションを提供することが、有益であろう。

本開示の１つ以上の態様によれば、デバイス対画像レジストレーション方法は、デバイスの画像データを取得するステップであって、デバイスは、デバイス上にフィデューシャルフレームとして配置された複数のフィデューシャルを含む、取得するステップと、画像データ内のフィデューシャルオブジェクトを検出するステップと、画像データをトリミングして、トリミング済み画像データを生成するステップと、トリミング済み画像データに特徴強調を適用して、フィデューシャルオブジェクトを強調するステップと、特徴強調に基づいて、候補オブジェクトの候補リストを生成し、候補リストのうちの少なくとも３つのポイントに基づいて、共通平面を決定するステップと、各候補オブジェクトについて代表ポイントを決定するステップと、共通平面に基づいて、外れ値候補オブジェクトを決定するステップと、候補リストから外れ値候補オブジェクトを抽出することによって、結果のオブジェクトを決定するステップと、結果のオブジェクトの代表ポイントをフィデューシャルフレームのモデルと合致させることにより、結果のオブジェクトをデバイスに対してレジストレーションするステップと、を含む。

本開示の更なる特徴は、添付の図面を参照する例示の実施形態の以下の説明から明らかになるであろう。

図１Ａは、本開示の例示の態様に係るデバイス対画像レジストレーションを実施するための医用デバイスを示す図である。 図１Ｂは、本開示の例示の態様に係るデバイス対画像レジストレーションを実施するための医用デバイスを示す図である。 図１Ｃは、本開示の例示の態様に係るデバイス対画像レジストレーションを実施するための医用デバイスを示す図である。 図２は、本開示の例示の態様に係るコントローラを示す図である。 図３は、本開示の例示の態様に係るデバイス対画像レジストレーションの実施のワークフローを示す図である。 図４は、本開示の例示の態様に係るデバイス対画像レジストレーションの実施のワークフローを示す図である。 図５は、本開示の例示の態様に係るデバイス対画像レジストレーションの実施のワークフローを示す図である。 図６は、本開示の例示の態様に係るデバイス対画像レジストレーションの実施のワークフローを示す図である。 図７は、本開示の例示の態様に係るデバイス対画像レジストレーションの実施のワークフローを示す図である。 図８Ａ、図８Ｂ及び図８Ｃは、本開示に係る第１の実施形態を示す図である。 図９は、本開示に係る第２の実施形態を示す図である。 図１０Ａ～図１０Ｄは、本開示に係る第３の実施形態を示す図である。 図１１Ａ及び図１１Ｂは、本開示の例示の態様に係る臨床面を示す図である。 図１２は、本開示の例示の態様に係る平面検出を示す図である。 図１３Ａ及び図１３Ｂは、本開示に係る第４の実施形態を示す図である。 図１４Ａ及び図１４Ｂは、本開示に係る第５の実施形態を示す図である。 図１５は、デバイス対画像レジストレーションの実施の標準ワークフローを示す図である。 図１６は、デバイス対画像レジストレーションの実施の標準ワークフローを示す図である。 図１７は、デバイス対画像レジストレーションの実施の標準ワークフローを示す図である。 図１８は、デバイス対画像レジストレーションの実施の標準ワークフローを示す図である。 図１９は、デバイス対画像レジストレーションの実施の標準ワークフローを示す図である。

以下、図面を参照して、本開示の様々な例示の実施形態、特徴及び態様を説明する。

本開示では、例えばコンピュータ断層撮影法（ＣＴ）、コンピュータ体軸断層撮影法（ＣＡＴ）、ポジトロン放出断層撮影法（ＰＥＴ）、磁気共鳴画像法（ＭＲＩ）、超音波（ＵＳ）、Ｘ線イメージング、それらの組合せ又はハイブリッド等のイメージングモダリティによる高強度フィデューシャルの正確かつ迅速な検出を通して、フィデューシャルを用いた自動デバイス対画像レジストレーションを機能的に実施できる構成が記載される。構成は、医用ツールや針等の配置を容易にするように構成することができ、自立型や患者装着型等にすることができる。本開示は、いかなる特定の構成にも限定されない。

本開示の１つ以上の態様に係る装置は、例えば、医用又は非医用の構成を含むことができる。本装置は、標的ポイント及び挿入ポイントの位置を設定することによって針軌道を定めるために画像処理を実施するように構成され得る１つ以上のイメージング構成から、医用画像データを取得するように構成されてよく、また、使用される物理的誘導デバイスの２次元（２Ｄ）又は３次元（３Ｄ）のモデル表現を含んでよい。

本装置はまた、例えば画像キャプチャ、モデリング、センシング、コンピュータグラフィクス等のために構成され得る非医用構成を含んでよい。

本開示の１つ以上の態様に係るデバイス対画像レジストレーション処理は、仮想デバイスモデルを画像空間に自動的にレジストレーションできる１つ以上のプロセス、技術、アルゴリズム等を用いて機能を実装することができる。

図１Ａ、図１Ｂ及び図１Ｃは、本開示の１つ以上の態様に係るデバイス対画像レジストレーションを実施するための装置１０の特徴を示す。

図１Ｃに示されるように、装置１０は、患者装着型ユニット（ＰＭＵ）として構成することができ、また、ベースアセンブリ及びガイドを含んでよい。ベースアセンブリは、患者等の物体に取り付けるように構成することができ、ガイドは、針状器具を患者の関心エリアに誘導するように、少なくとも２つの自由度を含むように構成することができる。装置１０は、患者上に配置できる針ガイドデバイスとして構成された医用デバイスであってよいので、針状器具は、体の針入口点を通る開口を介して挿入することができる。針状器具は、アーク部材に取り付けることができ、また、機能処理を通して、手動又は自動で関心標的エリアに誘導することができる。ベースアセンブリは、例えばテープや接着剤等を含む所望の方法で体に取り付けることができる。

図１Ａは、計画された挿入ポイントを中心とすることができる対象上の円形リングＰＭＵを示す。図１Ｂは、フィデューシャル球と、ＬＥＤ（発光ダイオード）ボード及びエンコーダボードを含み得る回路又は電子機器との配置を表示できる、ベースアセンブリの内部図を示す。図１Ｃは、対象上のＰＭを示すスキャンされたスライスを示し、対象上の高コントラストオブジェクトから生じるアーチファクト、ＰＭＵ電子機器、画質等とともに、高コントラストフィデューシャルが強調されている。

図２は、本開示の１つ以上の態様に係るコントローラ１００を示す。本装置は、医用器具又は他の様々なデバイスと相互接続されてよく、コントローラ１００により、独立して、外部から、又は遠隔で制御することができる。

コントローラ１００は、例えば中央処理装置（ＣＰＵ）１１０、リードオンリーメモリ（ＲＯＭ）１２０、ランダムアクセスメモリ（ＲＡＭ）１３０、記憶装置１４０、操作ユニット１５０、通信ユニット１６０、インタフェースユニット１７０及び表示ユニット１８０等の、１つ以上の構成コンポーネントを含む。これらのコンポーネントは、コンポーネントが互いに通信できるように、バス１９０によって一緒に接続されてよい。バス１９０を用いて、一緒に接続されたこれらのハードウェア間でデータを送受信することができ、或いは、ＣＰＵ１１０から他のハードウェアにコマンドを送信することができる。コントローラ１００は、通信チャネルを介してＣＰＵ１１０に結合され得る１つ以上の物理的デバイスによって実装されてよい。例えば、コントローラ１００は、特定用途向け集積回路（ＡＳＩＣ）等の形態の回路構成を用いて実施されてよい。或いは、コントローラ１００は、ハードウェアとソフトウェアの組合せとして実装されてよく、この場合、ソフトウェアは、メモリから、又はネットワーク接続を介して、プロセッサにロードすることができる。コントローラ１００の機能は記憶媒体に格納することができ、記憶媒体としては、ＲＡＭメモリ、磁気又は光学ドライブ、ディスケット、クラウドストレージ等が挙げられる。

ＣＰＵ１１０（１つ以上のプロセッサと１つ以上のメモリを含んでよい）は、本装置及び本装置に接続されたコンポーネントの全体的な制御を実行するための制御回路又は回路構成として、構成することができる。ＣＰＵ１１０は、ＲＯＭ１２０に格納されたプログラムを実行して、制御を実行することができる。更に、ＣＰＵ１１０は、ディスプレイドライバを実行して、表示ユニット１８０の表示を制御することができる。更に、ＣＰＵ１１０は、操作ユニット１５０との間の入出力を制御することができる。

ＲＯＭ１２０は、ＣＰＵ１１０による制御手順を格納できるプログラムとデータとを格納することができる。ＲＯＭ１２０は、コントローラ１００のブートプログラムと、様々なタイプの初期データを格納することができる。更に、ＲＯＭ１２０は、本装置の処理を達成するための様々なプログラムを格納することができる。

ＲＡＭ１３０は、ＣＰＵ１１０がコマンドプログラムに従って制御を実行するときに、作業用の記憶領域を提供する。ＲＡＭ１３０は、スタック及び作業領域を含んでよい。ＲＡＭ１３０は、本装置及び本装置に接続されたコンポーネントの処理を実行するためのプログラムと、画像処理に用いる様々なパラメータとを格納する。ＲＡＭ１３０は、ＣＰＵ１１０によって実行される制御プログラムを格納し、また、ＣＰＵ１１０が様々なタイプの制御を実行する際に用いる様々なタイプのデータを一時的に格納する。

記憶装置１４０は、画像や他の画像構成等の様々なタイプのデータを保存するための補助記憶装置であってよい。記憶装置１４０は、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、テープドライブ、フロッピードライブ、コンパクトディスクドライブ、ＵＳＢ等として構成することができる。

操作ユニット１５０は、マウスやキーボード等として構成されてよい。ユーザは、操作ユニット１５０を介して操作入力を提供することができ、本装置は、操作ユニット１５０、１つ以上の入出力デバイス（受信機、送信機、スピーカ、ディスプレイ、イメージングセンサ等を含み得る）、ユーザ入力デバイス（キーボード、キーパッド、マウス、ポジショントラッキング型スタイラス、ポジショントラッキング型プローブ、フットスイッチ、マイク等を含み得る）の情報を受け取ることができる。

通信ユニット１６０は、本装置に含まれるコンポーネント、並びにネットワークを介して本装置に接続された様々な外部装置と通信するための回路又は他のデバイスとして構成されてよい。例えば、通信ユニット１６０は、転送パケットに出力される情報を格納し、トランスミッションコントロールプロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）等の通信技術によるネットワークを介して、転送パケットを外部装置に出力することができる。本装置は、所望の通信形態に従う複数の通信回路を含んでよい。

インタフェースユニット１７０は、コントローラ１００のコンポーネントのいずれか、又は１つ以上の入出力デバイス（受信機、送信機、スピーカ、ディスプレイ、イメージングセンサ等を含み得る）に接続するための接続ユニットである。ユーザ入力デバイスは、例えば、キーボード、キーパッド、マウス、ポジショントラッキング型スタイラス、ポジショントラッキング型プローブ、フットスイッチ、マイク等を含んでよい。

表示ユニット１８０は、例えばモニタ、ＬＣＤ（液体パネルディスプレイ）、ＬＥＤディスプレイ、ＯＬＥＤ（有機ＬＥＤ）ディスプレイ、プラズマディスプレイ、有機エレクトロルミネセンスパネル等として構成された表示デバイスである。本装置の制御に基づいて、表示ユニット１８０上には、キャプチャされている１つ以上の画像、キャプチャされた画像、記憶ユニットに記録されたキャプチャされた動画等を示す画面が表示され得る。

コントローラ１００は、１つ以上の外部デバイス（例えば、１つ以上のデータストレージ、１つ以上の外部ユーザ入出力デバイス等）と通信可能に相互接続又はインタフェース接続されてよい。コントローラ１００は、例えば外部ストレージ、ディスプレイ、キーボード、マウス、センサ、マイク、スピーカ、プロジェクタ、スキャナ、ディスプレイ、照明デバイス等のうちの１つ以上を含む他の要素とインタフェース接続することができる。

本開示を通して記載されるユニットは、本開示に記載のプロセスを実施するための例示的なかつ／又は好ましいモジュールである。本明細書で用いられる「ユニット」という用語は、一般に、目的を達成するために使用されるファームウェア、ソフトウェア、ハードウェア又は他のコンポーネント（回路等）、又はそれらの任意の組合せを指す場合がある。モジュールは、ハードウェアユニット（回路、ファームウェア、フィールドプログラマブルゲートアレイ、デジタル信号プロセッサ、特定用途向け集積回路等）及び／又はソフトウェアモジュール（コンピュータ可読プログラム等）とすることができる。様々なステップを実施するためのモジュールは、上記では網羅的に説明されていない。しかしながら、特定のプロセスを実行するステップがある場合、同プロセスを実施するための対応する機能モジュール又はユニット（ハードウェア及び／又はソフトウェアによって実装される）が存在してよい。本開示には、記載されたステップとこれらのステップに対応するユニットの全ての組合せによる技術的解決策が含まれる。

本開示の１つ以上の態様に係るデバイス対画像レジストレーション処理は、仮想デバイスモデルを画像空間に自動的にレジストレーションできる１つ以上のプロセス、技術、アルゴリズム等を用いて、機能を実施することができる。デバイス対画像レジストレーションは、デバイスを画像座標系にレジストレーションするために、デバイスに埋め込まれたフィデューシャルを較正画像内で自動的に検出することができる。デバイス対画像レジストレーション処理は、フィデューシャルを検出及びレジストレーションすることができ、また、デバイスのモデル及びそのアクセス可能範囲を画像にオーバーレイすることができ、よって、操作者は、全ての標的が範囲内にあることを確認することができる。

図３～図７は、本開示の１つ以上の態様に係るデバイス対画像レジストレーションの特徴を示す。

最初に、装置は、例えば、医用又は非医用の構成を含む様々な構成から選択されるデバイスを含んでよい。例えば、ステップＳ１００において、図１Ａ、図１Ｂ及び図１ＣのＰＭＵ医用デバイスを選択又は取得することができ、手術部位上に配置又は固定することができる。デバイスは、針ガイドデバイスとして構成され、患者上に配置することができるので、針状器具は、体の針入口点を通る開口を介して挿入することができる。針状器具は、アーク部材に取り付けることができ、また、機能処理を通して、手動又は自動で関心標的エリアに誘導することができる。ベースアセンブリは、例えばテープや接着剤等を含む所望の方法で体に取り付けられる。

デバイスは複数のフィデューシャルを含んでよく、フィデューシャルは、デバイス上のフィデューシャルフレームとして配置されてよい。ステップＳ１１０において、デバイスの属性を取得又は決定することができ、属性としては、例えば、デバイスの物理的寸法（デバイスの半径を含み得る）、フィデューシャルのサイズ、フィデューシャルの配置、電子機器の配置等が挙げられる。ステップＳ１２０において、デバイスの画像データと画像データの属性を決定又は取得することができ、画像データの属性を決定することができる。画像データとしては、ＭＲＩデータやＣＴデータ等が挙げられる。例えば、医師又は他の開業医等のユーザが任意の平面に沿って画像をレビューし、マウス又は他の入力デバイスを用いて標的ポイントを選択することができる場合、ステップＳ１３０において、挿入ポイント又は標的ポイントを定めることができる。標的ポイントは、医師又はユーザが針を誘導したい最終的な場所を指す場合がある。次に、ステップＳ１４０において、医用画像データから、画像データ内のフィデューシャルマーカオブジェクトを検出することができる。

図４では、ステップＳ１４０ａにおいて、画像データをトリミングすることによって、トリミング済み画像データが生成される。ステップＳ１４０ｂでは、トリミング済み画像データがマスキングされる。ステップＳ１４０ｃでは、フィデューシャルオブジェクトを強調するために、トリミング済み画像データに特徴強調が適用され、特徴強調は、フィデューシャルの形状データを含むことができる。ステップＳ１４０ｄでは、特徴抽出が適用される。特徴強調に基づいて、候補オブジェクトの候補リストを生成することができ、候補リストのうちの少なくとも３つのポイントに基づいて、共通平面を決定することができる。ステップＳ１４０ｅでは、結果のフィデューシャルオブジェクトのうちの外れ値候補オブジェクトが検出又は決定され、候補リストから抽出又は除外される。外れ値候補オブジェクトは、共通平面に基づいて検出又は決定することができる。ステップＳ１４０ｆでは、各候補オブジェクトの代表ポイントが決定又は定義される。結果のオブジェクトの代表ポイントをフィデューシャルフレームのモデルと合致させることにより、結果のオブジェクトをデバイスとレジストレーションすることができる。

デバイス上のフィデューシャルフレームとして、複数のフィデューシャルを配置することができる。フィデューシャルは、実質的に平面の配置でデバイス上に配置することができ、配置は、独立した非対称のリングであってよい。フィデューシャルはリング形状に配置することができ、結果のオブジェクトの代表ポイントがフィデューシャルフレームのモデルと合致するまでリング形状を回転させることにより、結果のオブジェクトをデバイスとレジストレーションすることができる。

図５に示されるように、ステップＳ１４２において、フィデューシャルリングを回転又は反転させることができる。これは、完全又は部分的な回転、或いは１８０°の反転であってよい。次に、ステップＳ１４４において、２点間マッピングを適用することができる。２点間マッチングのデータから、デバイスの仮想モデルを、画像内にあるフィデューシャルの位置と位置合せすることができる。デバイスは、針を標的位置に誘導するように調節することができる。

図６では、候補リストの部分集合から共通平面を見つけ、候補リストの他のポイントが平面に適合するかどうかを決定することにより、代表ポイントが定義又は決定される。ステップＳ２００では、ストックモデルポイントをユーザ定義原点に変換することによって、代表ポイントを決定することができる。ステップＳ２１０において、候補画像ポイントリストが取得又は生成される。ステップＳ２２０では、候補画像ポイント間の最良適合平面が決定され、また、所与の数の候補フィデューシャル（Ｎ個）について、該平面に最良適合するｋ個のポイントを選ぶことにより、モデルの中心が推定される。例えば、図７のステップＳ２２０ａでは、ｋ個のポイント（ｋ≧１）を選び、それらの共平面性のレベルを決定し、ほとんど該平面にあるｋ個のポイントを見つける。ステップＳ２２０ｂでは、リスト上の残りのポイントを当該平面とマッチングし、該平面上にない全てのポイントを除去する。ステップＳ２４０では、ストックモデルポイントと画像ポイントとの間の最良適合回転角度を見つけ、ステップＳ２５０では、ストックモデルポイントから画像ポイントへの変換を計算又は決定する。次に、レジストレーションを行うことができる。

代表ポイントは、ストックモデルポイントをユーザ定義原点に変換し、候補画像ポイントリストを生成することによって、決定することができる。共通平面は、画像ポイントリストの部分集合から決定することができ、画像ポイントリスト上の他のポイントが該平面に適合するかどうかについて、決定を行うことができる。候補画像ポイントリストの中の最良適合とモデルの中心は、所与の数の候補フィデューシャル（Ｎ個）について、該平面に最良適合するｋ個のポイントを選び、該平面上で残りの候補ポイントをマッチングすることによって、決定することができる。ストックモデルポイントと結果のオブジェクトとの間の変換を計算し、変換をレジストレーションすることにより、ストックモデルポイントと結果のオブジェクトとの間で最良適合回転角度を決定又は発見することができる。最良適合回転角度は、ストックモデルポイントと結果のオブジェクトとの間で決定されてよい。変換は、ストックモデルポイントと結果のオブジェクトとの間で決定又は計算することができ、レジストレーションを行うことができる。

フィデューシャルは、実質的に平面の配置で配置されてよい。フィデューシャルは、独立した非対称のリングとして配置されてよい。フィデューシャルはリング形状に配置されてよく、フィデューシャルマーカの代表ポイントがフレームのモデルと合致するまでリング形状を回転させることにより、フィデューシャルオブジェクトをレジストレーションすることができる。画像データはマスキングされてよい。特徴強調は、フィデューシャルの形状データを含んでよい。特徴抽出をトリミング済み画像データに適用して、候補フィデューシャルを生成することにより、フィデューシャルオブジェクトを抽出することができる。特徴抽出は、トリミング済み画像データに導関数ベースの演算を適用することによる特徴強調に基づいて、候補フィデューシャルを生成することにより、フィデューシャルオブジェクトを抽出することができる。デバイスは回転させることができ、また、ポイント向きの各組合せをチェックすることにより、２点間マッチングを適用することができる。デバイスを用いて、針を標的に誘導することができる。

平面フィッティング及び外れ値検出には、１つ以上の方法を用いることができる。例えば、レジストレーションは、例えば外れ値の除去の反復プロセスにおける二乗平均平方根レジストレーション等の測定基準（metrics）を用いて、達成することができる。

例えば、スキャンデータの仮想表現に示されるように、フレームの回転軸と対象の標的表面（例えば皮膚表面）との交点を通るサンプルラインを選択することができる。該ラインに沿った複数のポイントを選択することができる。このようなポイントごとに、スキャンデータをサンプリングすることができる。サンプリングされたデータは、ポイントを中心とする（又は別の方法でポイントを含む）小さな球等、ポイントを囲む小さな領域を表すデータを含むことができる。したがって、そのようなポイントのサンプリングされたデータは、サンプルポイント周辺の近傍における場所を表すデータを含むことができ、したがって、ポイントのサンプリングされたデータの数学的属性（近傍のデータ値の勾配導関数等）を用いて、ポイントの属性を決定することができる。当該の例は、サンプルポイント周辺の近傍のサンプルデータの値ｆの勾配導関数（一般に勾配と呼ばれる）∇ｆを計算することである。

例えば、測定基準は、スキャンデータに重ねられたデバイスの仮想表現から成ることができる。例えば、サンプルラインに沿ったサンプリングポイントの各々の近傍の勾配∇ｆを決定することができる。勾配∇ｆがそのような近傍全体で定数（ゼロ等）であるか、又はそれに近い場合、サンプルポイントは、対象の上か又は隣接する空気中にあるが、対象の表面上又は対象内部には存在しない可能性が最も高い。なぜなら、スキャンによって検出可能な密度、温度及び他の物理的パラメータは、対象周囲の空気中ではあまり変化しない可能性があるので、空気中のスキャンデータの値は、典型的には値が非常に近くなるからである。つまり、対象周囲の空気中のポイントから取得されるスキャンデータのほとんどの値は、典型的には値がほぼ同じであり得るので、勾配∇ｆの変化はほとんどないという結果になる。勾配∇ｆの値は、空気中のサンプルポイント周囲の近傍全体において、ほぼゼロになる場合がある。勾配∇ｆが近傍のライン又は平面に沿った値の急激な変化を含む場合、そのようなライン又は平面での値の急激な変化は対象の表面で発生するので、サンプルポイントは、対象の表面にあるか又は非常に近い可能性が最も高い。勾配∇ｆが近傍の値の小さな変化を含むが、値の急激な変化を含まない場合、サンプルポイントは、患者の内部にある可能性が最も高い場合がある。なぜなら、勾配の値の小さな変化は、そのような近傍全体における対象の組織の性質の変化（例えば、対象の筋肉又は皮膚深部の膜若しくは血管で生じ得る、勾配∇ｆの値の変化）を表すからである。サンプルラインに沿ったそのような各ポイントについて、サンプルポイントが対象の表面上にあるか又は非常に近いポイントを表す可能性が高いかについて、決定することができる。対象の表面上にあるか又は非常に近い、サンプルライン上のサンプルポイントの数をカウントすることができる。そのカウントが予め選択された値（３等）を満たすか又は超える場合、デバイスの仮想表現は、スキャンデータによって表される対象の表面上にあると決定することができる。

フィデューシャルマーカオブジェクトを検出するために、図４のステップＳ１４０ａでは、基準ポイント（例えば挿入ポイント）を中心とするウィンドウに沿って、画像をトリミングすることができる。ウィンドウは、物理的デバイスを含むことができる。ステップＳ１４０ｂにおいて、先験的に知られている想定アーチファクト（例えば針アーチファクト）がある可能性のある場所において、画像をマスキングすることができる。特徴の強調及び抽出のステップは、ステップＳ１４０ｃ及びＳ１４０ｄにおいて実施されてよく、ここでは、候補フィデューシャルのリストと画像内でのそれらの位置を生成するために、導関数ベースの演算をデータに適用することができる。このリストのポイントを用いて共通平面を計算することができ、また、外れ値を除去することができる。平面共通性の計算には、少なくとも３つのポイントが用いられることが好ましい。等式１を用いて以下に定義される３つのベクトル（ｖ１，ｖ２，ｖ３）は、スカラ積（ｖ１・（ｖ２×ｖ３））がゼロ（０）に等しくなる場合に、同一平面上にあると決定することができる。

代表ポイントは、平面内にある追加のポイントとして表すことができ、等式２を用いて、平面からポイントまでの距離（ｄ）として計算することができる。

平面は、Ａｘ＋Ｂｙ＋Ｃｚ＋Ｄ＝０として定義することができる。

外れ値は、候補フィデューシャルリスト上の、距離がゼロ以外であるとともに平面上にない任意のポイントとして特徴付けることができる。このような外れ値ポイントが候補リストから除去されると、デバイスとのレジストレーションは、リスト上の残りのポイントを用いて行うことができ、また、全ての実在のフィデューシャルを含むと仮定することができる。図５のステップＳ１４２では、フィデューシャルリングが回転又は反転されてよい。これは、完全又は部分的な回転、或いは１８０°の反転であってよい。次に、ステップＳ１４４において、２点間マッピングを適用することができる。２点間マッチングのデータから、デバイスの仮想モデルを、画像内にあるフィデューシャルの位置と位置合せすることができる。デバイスは、針を標的位置に誘導するように調節することができる。

本開示の１つ以上の態様に係る外れ値検出は、現在実施され得る外れ値検出技術とは異なり独自である特徴を含む。例えば、図４及び図５に示される外れ値検出の実施は対話側アプローチに対応し、候補リストの全てのポイントからレジストレーション変換が作成され、リスト上の各ポイントは、様々な閾値及びチェックを通して順次検証される。このような指定されたチェックのいずれかで失敗すると、そのポイントは除去され、変換が再計算され、リスト上の次のポイントが検証される。このプロセスは、候補リスト上の全てのポイントに対して繰り返される。このワークフローは、多数のアーチファクトが候補フィデューシャルと間違われる状況では、困難である場合がある。このシナリオでは、このようなアーチファクトにより、実在のフィデューシャル（少数派である）が外れ値であるとみなされ候補リストから除去され得るレベルにまで、レジストレーション変換が歪められてしまうおそれがある。このようなポイントの各々が除去されると、レジストレーション変換は、このようなアーチファクトを受け入れる方向に更に歪められ、実在のフィデューシャルである後続のポイントが除去される可能性が高くなってしまう。この場合、レジストレーション変換によって誤った結果が生じるおそれがある。別の想定される欠点は、平面変換の計算及び関連するチェックがループ全体で毎回計算される可能性があり、レジストレーションにかかる時間が長くなる可能性があることである。外れ値検出が実行される前に想定平面を事前に定める仮想皮膚検出等の他の方法は、前述したような起こり得るレジストレーションの失敗を回避する方法となり得る。

本開示の１つ以上の態様に係る外れ値検出のためのワークフローを、図６及び図７に示す。

ステップＳ２００において、ストックモデルポイントがユーザ定義原点に変換される。ここでは、フィデューシャルの位置を、仮想モデルにおいてユーザ定義原点（すなわち挿入ポイント）に変換することができる。ステップＳ２１０では、候補画像ポイントリストを決定又は取得することができる。ステップＳ２２０では、候補画像ポイント間の最良適合平面を取得することができる。ステップＳ２３０では、モデルの中心を推定することができる。ステップＳ２４０では、ストックモデルポイントと画像ポイントとの間の最良適合回転角度であり得る角度を決定するか、又は見つけることができる。Ｓ２５０では、フィデューシャルマーカオブジェクトをレジストレーションすることができる。ステップＳ２６０では、ストックモデルポイントから画像ポイントへの変換を計算又は決定することができ、画像ポイントをレジストレーションすることができる。

図７に示されるように、候補ポイント間の最良適合を決定するために、ステップＳ２２０ａにおいて、候補画像ポイントリストの所与の数の候補フィデューシャル（Ｎ個）について、ｋ個のポイントを選ぶことができ（ｋは３以上である（ｋ≧３））、それらの共平面性のレベルを決定することができ、共通平面に最良適合するか、又はほとんど平面内にあるか、又は実質的に平面配置で配置されているｋ個のポイントを見つけることができる。ステップＳ２２０ｂでは、リスト上の残りのポイントを当該平面とマッチングすることができ、平面上にない全てのポイントを除去することができる。ステップＳ２４０では、仮想モデルと候補画像ポイントとの間で最良適合回転角度を見つけることができる。次に、Ｓ２５０では、変換を計算することができる。

図８Ａ、図８Ｂ及び図８Ｃは、本開示の１つ以上の態様に係る第１の実施形態を示す。図１Ｃの装置１０は、第１の実施形態を実施することができる。図８Ａでは、フィデューシャルを有するＰＭＵの側面図が、共通平面に沿って位置合せされている。図８Ｂにおいて、左側は、デバイスの周りにリング状に配置されたフィデューシャルの上から見た図を示す。図８Ｂにおいて、右側は、中心に挿入ポイントのある、デバイスの周りにリング状に配置されたフィデューシャルの上面図を示す。図８Ｃの左側は、画像内で検出された画像ポイント（番号付き）を示す。４つのポイントを用いて見出された最良適合平面が示されている。残りのポイントから共通平面までの距離を計算することができる。緑のポイントが平面上にあることが分かる。図８Ｃの右側では、青のポイントは、平面の外側にある。フィデューシャルの上面図は、図８Ｃの右側の平面上に見つけることができる。

候補リストから、３つのポイントの全ての組合せを選ぶことができ、平面を計算することができる。候補リスト上の残りのポイントの各々を、平面とマッチングすることができる。平面に沿っていないポイントは、リストから除去することができる。

図９は、本開示の１つ以上の態様に係る第２の実施形態を示す。画像内で、左側の画像ポイント（番号付き）を検出することができる。最良適合平面は、３よりも大きい（ｋ＞３）ポイント４～８を用いて見つけることができる。残りのポイントから共通平面までの距離を計算することができる。ポイント１及び３は平面上にあることが分かる。ポイント２は平面の外側にあることが分かる。図９は、右側に、平面上に見出されたフィデューシャルの上面図を示す。

候補リストから、ポイント（ｋ＞３）の全ての組合せを選ぶことができ、平面を計算することができる。図９は、ｋ＝５の場合を示す。最良適合平面の組合せを見つけることができる。候補リスト上の残りのポイントの各々は、平面とマッチングすることができる。平面に沿っていないポイントは除去することができる。一般に、サイズｎの固定された候補リストでは、ｋが増加すると、可能な組合せの数が減少し、計算やアルゴリズム等による処理が高速化される可能性がある。

図１０Ａ～図１０Ｄは、本開示の１つ以上の態様に係る第３の実施形態として、アークのフィデューシャルを示す。図１０Ａでは、フィデューシャルは、物理的デバイス内に配置されている。アーク上に１つのフィデューシャルがあってよい。図１０Ｂでは、画像内で画像ポイント（番号付き）を検出することができる。最良適合平面は、４つのポイント５、６、８及び９を用いて見つけることができる。残りのポイントから共通平面までの距離を計算することができる。ポイント１、３及び７を緑とみなし、ポイント２を青とみなし、ポイント４を黄とみなし、ポイント５、６、８及び９を赤とみなす。緑のポイント１、３及び７が平面上にあることが分かる。アーク上のフィデューシャルに対応する画像ポイントを表す青と黄のポイント２、４は、平面の外側にあることが分かる。図１０Ｃでは、デバイスの周りのリングとして配置されたフィデューシャルの上面図が示されおり、中心に挿入ポイントがあるアークのフィデューシャルを示している。図１０Ｄは、中心に挿入ポイントのある、デバイスの周りにリング状に配置されたフィデューシャルの上から見た図を示す。

候補リストから、３つのポイントの全ての組合せを選ぶことができ、平面を計算することができる。最良適合平面の組合せを見つけることができる。候補リスト上の残りのポイントの各々は、試行錯誤を通して平面とマッチングすることができ、ここで、向きを見つけることの検証は、最小の二乗平均平方根の計算によって見つけることができる。アーク上にフィデューシャルを有し、その位置を共通平面に対して決定することによって、向きを見出すことができる。

図１１Ａ及び図１１Ｂは、本開示の例示の態様に係る臨床シナリオを示す。多くのノイズが存在し得る臨床シナリオでは、対応するフィデューシャルについて画像ポイントの位置が欠落することは、予想されないことではない場合がある。例えば、７個のフィデューシャルがある可能性があっても、アルゴリズムによって設定された基準が原因で、４つの画像ポイントしか得られない場合がある。このような場合、或いは、フィデューシャルの推定中心が正確でない可能性がある場合、複数の解が存在する可能性があり、レジストレーションエラーにつながるおそれがある。現在のリングの実施形態では、フィデューシャルの配置は、この可能性を防ぐために非対称であってよいが、それは、フィデューシャルポイントの全てが対応する画像ポイントを有する場合にのみ有効である可能性があり、全ての状況に当てはまるとは限らない。

後述するように、一部の構成は、ストックモデルポイントを画像ポイントとともに適切な方向に向けるのを助けるために、フィデューシャルを互いに対して複数の平面に配置することにより（第４の実施形態）、また、任意の単一ポイントの検出の失敗によってレジストレーション精度の急激な低下が生じる可能性を低減するために、より多くのフィデューシャル及びフィデューシャル平面が存在し得る実施形態（第５の実施形態）により、この課題を考慮することができる。

図１２は、本開示の例示の態様に係る平面検出を示す。これまでの開示はフィデューシャルのリング配置を含んでいたが、平面検出は、非リング構成でも可能である場合があり、これは、フィデューシャルが欠落している場合の解を制約するのにより効果的である可能性がある。

例えば、フィデューシャル（円）を含むＰＭＵの上面図は、画像ポイントのオーバーレイ（及び符号）とともに、非対称の非リング形状に位置合せされる。この場合、５個の想定画像ポイントのうちの４個のみが検出される。

図１３Ａ及び図１３Ｂは、本開示に係る第４の実施形態を示す。図１３Ａは、２つの平面に沿って位置合せされ、共通の軸を共有し、互いに対して共通の角度θだけ方向付けられたフィデューシャルを含むＰＭＵの側面図を示す。図１３Ｂは、画像内で検出された画像ポイントを示す。最良適合平面は、画像ポイントを用いて見つけることができる。

候補リストから、両方の平面に分離するポイントを見つけることができる。モデルポイントとイメージポイントの間で最良適合向きを見つけることができ、２つの共通平面は、物理的デバイス内で既知の角度だけ離れていてよい。平面の互いに対する向きを知ることにより、候補リストからの画像ポイントのレイアウトを分析することによって、物理的デバイスが画像内で反転されているか、又は直立に向けられているかについての決定を行うことができる。

図１４Ａ及び図１４Ｂは、本開示に係る第５の実施形態を示す。図１４Ａは、３つの平面に沿って位置合せされ、共通の軸を共有し、互いに対して共通の角度（θ，Ψ）だけ方向付けられたフィデューシャルを含むＰＭＵの側面図を示す。図１４Ｂは、画像内で検出された画像ポイントを示す。最良適合平面は、画像ポイントを用いて見つけることができる。

候補リストから、３つの平面に分離するポイントを見つけることができる。モデルポイントとイメージポイントの間で最良適合向きを見つけることができ、３つの共通平面は、物理的デバイス内で既知の角度だけ離れていてよい。平面の互いに対する向きを知ることにより、候補リストからの画像ポイントのレイアウトを分析することによって、物理的デバイスが画像内で反転されているか、又は直立に向けられているかについての決定を行うことができる。

本開示の１つ以上の態様によれば、デバイス対画像レジストレーションは、デバイスの画像データを取得するステップであって、デバイスは、デバイス上にフィデューシャルフレームとして配置された複数のフィデューシャルを含む、取得するステップと、画像データ内のフィデューシャルオブジェクトを検出するステップと、画像データをトリミングして、トリミング済み画像データを生成するステップと、トリミング済み画像データに特徴強調を適用して、フィデューシャルオブジェクトを強調するステップであって、特徴強調はフィデューシャルの形状データを含む、強調するステップと、特徴強調に基づいて、候補オブジェクトの候補リストを生成し、候補リストのうちの少なくとも３つのポイントに基づいて、共通平面を決定するステップと、各候補オブジェクトについて代表ポイントを決定するステップと、共通平面に基づいて、外れ値候補オブジェクトを決定するステップと、候補リストから外れ値候補オブジェクトを抽出することによって、結果のオブジェクトを決定するステップと、結果のオブジェクトの代表ポイントをフィデューシャルフレームのモデルと合致させることにより、結果のオブジェクトをデバイスに対してレジストレーションするステップと、を含んでよい。

本開示の１つ以上の態様によれば、代表ポイントは、ストックモデルポイントをユーザ定義原点に変換し、候補画像ポイントリストを生成することによって、決定することができる。共通平面は、画像ポイントリストの部分集合から決定することができ、画像ポイントリスト上の他のポイントが該平面に適合するかどうかについて、決定を行うことができる。候補画像ポイントリストの中の最良適合とモデルの中心は、所与の数の候補フィデューシャル（Ｎ個）について、該平面に最良適合するｋ個のポイントを選び、該平面上で残りの候補ポイントをマッチングすることによって、決定することができる。ストックモデルポイントと結果のオブジェクトとの間の変換を計算し、変換をレジストレーションすることにより、ストックモデルポイントと結果のオブジェクトとの間で最良適合回転角度を決定又は発見することができる。最良適合回転角度は、ストックモデルポイントと結果のオブジェクトとの間で決定されてよい。変換は、ストックモデルポイントと結果のオブジェクトとの間で決定又は計算することができ、レジストレーションを行うことができる。

本開示の特徴は、例えば、トリミングウィンドウ内でさえ、ノイズ及びアーチファクトを伴う画像を用いて正確にレジストレーションする方法を含む、様々な技術的改善を提供することができる。計算時間の短縮と、モデルポイントと画像ポイントとの間の最良適合向きのためのＲＭＳ計算の代替案は、本開示によって提供され得る他の技術的改善を表す。当業者には、本開示に基づく様々な修正及び変更が明らかになる可能性があり、また、本開示の特徴は、例えばＣＴ、ＣＡＴ、ＰＥＴ、ＭＲＩ、ＵＳ、Ｘ線イメージング、それらの組合せ又はハイブリッド等を含む１つ以上の構成配置に適用することができる。

他の実施形態
本開示の実施形態は、記憶媒体（より完全には「非一時的コンピュータ可読記憶媒体」と呼ぶこともできる）に記録されたコンピュータ実行可能命令（例えば１つ以上のプログラム）を読み出し実行して、前述の実施形態のうち１つ以上の機能を実行し、かつ／又は、前述の実施形態のうち１つ以上の機能を実行するための１つ以上の回路（例えば特定用途向け集積回路（ＡＳＩＣ））を含むシステム又は装置のコンピュータ化構成によって実現することもできるし、また、システム又は装置のコンピュータ化構成が、記憶媒体からコンピュータ実行可能命令を読み出し実行して、前述の実施形態のうち１つ以上の機能を実行すること、及び／又は１つ以上の回路を制御して、前述の実施形態のうち１つ以上の機能を実行することによって実行される方法によって実現することもできる。コンピュータ化構成は、１つ以上のプロセッサ、１つ以上のメモリ、回路又はそれらの組合せ（例えば中央処理装置（ＣＰＵ）、マイクロプロセシングユニット（ＭＰＵ）等）を備えてよく、コンピュータ実行可能命令を読み出して実行するために別個のコンピュータ又は別個のプロセッサのネットワークを含んでよい。コンピュータ実行可能命令は、例えばネットワークク又は記憶媒体から、コンピュータ化構成に提供することができる。記憶媒体は、例えば、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、分散コンピューティングシステムのストレージ、光ディスク（コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）又はＢｌｕ－ｒａｙ Ｄｉｓｃ（ＢＤ）（商標）等）、フラッシュメモリデバイス、メモリカード等のうち１つ以上を含んでよい。

本開示は、例示の実施形態を参照して説明されたが、当然のことながら、本開示は、開示された例示の実施形態に限定されない。以下の特許請求の範囲は、そのような変更並びに均等の構造及び機能を全て包含するように、最も広い解釈が与えられるべきである。

Claims (15)

1. デバイスの画像データを取得するステップであって、前記デバイスは、前記デバイス上にフィデューシャルフレームとして配置された複数のフィデューシャルを含む、取得するステップと、
   前記フィデューシャルフレームのモデルを決定するステップと、
   前記画像データ内のフィデューシャルオブジェクトを検出するステップと、
   前記画像データをトリミングすることにより、トリミング済み画像データを生成するステップと、
   前記トリミング済み画像データに特徴強調を適用することにより、前記フィデューシャルオブジェクトを強調するステップと、
   前記強調されたフィデューシャルオブジェクトに基づいて、候補フィデューシャルの候補リストを生成するステップと、
   少なくとも３個の候補フィデューシャルの共平面性のレベルを決定して、前記少なくとも３個の候補フィデューシャルが実質的に平面の配置にあるような共通平面を決定するステップと、
   前記候補リストから、前記共通平面と同一平面上にないか又は前記共通平面上にない外れ値候補フィデューシャルを決定するステップと、
   前記候補リストから前記外れ値候補フィデューシャルを抽出して、前記共通平面と同一平面上にあるか又は前記共通平面上にある結果のフィデューシャルを取得するステップと、
   前記トリミング済み画像データ内で、各結果のフィデューシャルの画像ポイントを決定するステップと、
   前記結果のフィデューシャルの前記画像ポイントを前記フィデューシャルフレームの前記モデルと位置合せすることにより、前記結果のフィデューシャルを前記デバイスに対してレジストレーションするステップと、
   を含む、デバイス対画像レジストレーション方法。
2. 前記少なくとも３個の候補フィデューシャル以外の前記候補リストからの追加の候補フィデューシャルが、前記共通平面と同一平面上にあるかどうか、又は前記共通平面上にあるかどうかを決定するステップ、
   を更に含む、請求項１に記載のデバイス対画像レジストレーション方法。
3. 前記結果のフィデューシャルは、実質的に平面の配置で配置される、
   請求項１に記載のデバイス対画像レジストレーション方法。
4. 前記結果のフィデューシャルは、独立した非対称のリングとして配置される、
   請求項１に記載のデバイス対画像レジストレーション方法。
5. 前記フィデューシャルをリング形状に配置するステップと、
   前記画像ポイントが前記フィデューシャルフレームの前記モデルに対応するように、前記リング形状を回転させるステップと、
   を更に含む、請求項１に記載のデバイス対画像レジストレーション方法。
6. 前記画像データをマスキングするステップ、
   を更に含む、請求項１に記載のデバイス対画像レジストレーション方法。
7. 前記特徴強調は、前記フィデューシャルの形状に基づく、
   請求項１に記載のデバイス対画像レジストレーション方法。
8. 前記トリミング済み画像データに特徴抽出を適用して、前記候補フィデューシャルを生成することにより、前記フィデューシャルオブジェクトを抽出するステップ、
   を更に含む、請求項１に記載のデバイス対画像レジストレーション方法。
9. 前記特徴抽出は、前記トリミング済み画像データに導関数ベースの演算を適用することによる前記特徴強調に基づいて、前記候補フィデューシャルを生成することにより、前記フィデューシャルオブジェクトを抽出する、
   請求項８に記載のデバイス対画像レジストレーション方法。
10. 前記デバイスを回転させるステップと、
    前記結果のフィデューシャルの前記画像ポイントを前記フィデューシャルフレームの前記モデルと位置合せするステップと、
    を更に含む、請求項１に記載のデバイス対画像レジストレーション方法。
11. 前記デバイスを調節して、針を標的ポイント位置に誘導するステップ、
    を更に含む、請求項１に記載のデバイス対画像レジストレーション方法。
12. デバイスの画像データを取得するステップであって、前記デバイスは、前記デバイス上にフィデューシャルフレームとして配置された複数のフィデューシャルを含む、取得するステップと、
    前記フィデューシャルフレームのモデルを決定するステップと、
    前記画像データ内のフィデューシャルオブジェクトを検出するステップと、
    前記画像データをトリミングすることにより、トリミング済み画像データを生成するステップと、
    前記トリミング済み画像データに特徴強調を適用することにより、前記フィデューシャルオブジェクトを強調するステップと、
    前記強調されたフィデューシャルオブジェクトに基づいて、候補フィデューシャルの候補リストを生成するステップと、
    少なくとも３個の候補フィデューシャルの共平面性のレベルを決定して、前記少なくとも３個の候補フィデューシャルが実質的に平面の配置にあるような共通平面を決定するステップと、
    前記候補リストから、前記共通平面と同一平面上にないか又は前記共通平面上にない外れ値候補フィデューシャルを決定するステップと、
    前記候補リストから前記外れ値候補フィデューシャルを抽出して、前記共通平面と同一平面上にあるか又は前記共通平面上にある結果のフィデューシャルを取得するステップと、
    前記トリミング済み画像データ内で、各結果のフィデューシャルの画像ポイントを決定するステップと、
    前記結果のフィデューシャルの前記画像ポイントを前記フィデューシャルフレームの前記モデルと位置合せすることにより、前記結果のフィデューシャルを前記デバイスに対してレジストレーションするステップと、
    を実行するように構成された少なくとも１つのプロセッサを備える、
    デバイス対画像レジストレーション装置。
13. 前記少なくとも１つのプロセッサは、
    前記少なくとも３個の候補フィデューシャル以外の前記候補リストからの追加の候補フィデューシャルが、前記共通平面と同一平面上にあるかどうか、又は前記共通平面上にあるかどうかを決定するステップ、
    を実行するように更に構成される、請求項１２に記載のデバイス対画像レジストレーション装置。
14. コンピュータにレジストレーションの方法を実行させるためのプログラムを格納した非一時的記憶媒体であって、前記方法は、
    デバイスの画像データを取得するステップであって、前記デバイスは、前記デバイス上にフィデューシャルフレームとして配置された複数のフィデューシャルを含む、取得するステップと、
    前記フィデューシャルフレームのモデルを決定するステップと、
    前記画像データ内のフィデューシャルオブジェクトを検出するステップと、
    前記画像データをトリミングすることにより、トリミング済み画像データを生成するステップと、
    前記トリミング済み画像データに特徴強調を適用することにより、前記フィデューシャルオブジェクトを強調するステップと、
    前記特徴強調に基づいて、候補フィデューシャルの候補リストを生成するステップと、
    少なくとも３個の候補フィデューシャルの共平面性のレベルを決定して、前記少なくとも３個の候補フィデューシャルが実質的な平面の配置にあるような共通平面を決定するステップと、
    前記候補リストから、前記共通平面と同一平面上にないか又は前記共通平面上にない外れ値候補フィデューシャルを決定するステップと、
    前記候補リストから前記外れ値候補フィデューシャルを抽出して、前記共通平面と同一平面上にあるか又は前記共通平面上にある結果のフィデューシャルを取得するステップと、
    前記トリミング済み画像データ内で、各結果のフィデューシャルの画像ポイントを決定するステップと、
    前記結果のフィデューシャルの前記画像ポイントを前記フィデューシャルフレームの前記モデルと位置合せすることにより、前記結果のフィデューシャルを前記デバイスに対してレジストレーションするステップと、
    を含む、記憶媒体。
15. 前記方法は、
    前記少なくとも３個の候補フィデューシャル以外の前記候補リストからの追加の候補フィデューシャルが、前記共通平面と同一平面上にあるかどうか、又は前記共通平面上にあるかどうかを決定するステップ、
    を更に含む、請求項１４に記載の記憶媒体。