JP7181298B2 - 血管特徴を使用して異常な組織を検出するためのシステム及び方法 - Google Patents

Description

[0001] 血管新生を使用した腫瘍の検出が、医療撮像で現在使用されている。すなわち、腫瘍内部の血管の分析によって腫瘍が検出される。これは、正常な血管と比べると、そのような腫瘍血管は、一般に、不規則な形状、無秩序な結合、及び漏れのある毛細血管を伴って拡張するためである。例えば、静脈系に注入された造影剤の動的な撮像を使用して、いずれも癌性腫瘍を示す、増大した血管分布、血管形成、及び血管漏れのエリアを検出する。しかしながら、ビデオ支援手術が一般的になりつつあるにも関わらず、カメラ及び光学イメージャは、癌性腫瘍の検出に使用されてこなかった。低侵襲手術は、しばしば、改善された患者転帰をもたらす。

[0002] 正常な組織を異常な組織から術中に判別することは、しばしば外科医にとって課題となる。そのような判別は、脳腫瘍（例えば、神経手術）、肺癌（例えば、コンピュータ断層撮影（ＣＴ）スキャン上のすりガラス様陰影）、肝臓癌（例えば、びまん性肝疾患）、及び軟組織中の他の癌にしばしば見られる非触知／非触覚腫瘍には特に困難である。また、ロボット手術中、外科医は、触覚特徴を使用して腫瘍を判別することはできない。また、ＣＴスキャン、磁気共鳴撮像（ＭＲＩ）スキャン及び／又は陽電子放射断層撮影（ＰＥＴ）スキャンから獲得される手術計画情報が、組織の変形のために腫瘍（又は病変）の場所を決定するのを支援できない場合にも、困難が生じる。これはしばしば、例えば、胸部手術中には気胸のために、神経手術中には髄液（ＣＳＦ）の損失のために生じる。

[0003] また、手術用ロボット及び／又は視覚的に支援された低侵襲手術のための操縦可能デバイスの使用は、異常のある可能性のある組織への直接的な視覚的アクセスを制限する。手術用ロボットの例としては、Ｖｉｎｃｉ（登録商標）ロボットなどのマルチアームシステム、又はＭｅｄｒｏｂｏｔｉｃｓ Ｆｌｅｘ（登録商標）ロボットシステムなどの柔軟ロボットがある。これらのロボットシステムは、ロボットシステムを操作するためのハンドコントローラ、入力ハンドル、及び／又はヘッドアップディスプレイ（ＨＵＤ）デバイス（例えば、頭部装着型ディスプレイ（ＨＭＤ）デバイス）、並びに内視鏡ビデオを捕捉し、ロボットシステムの様々な制御モードを表示するための画像ディスプレイを含む種々のインターフェース機構を使用して、外科医（又はユーザ）によって制御される。

[0004] したがって、手術又は他の介入処置中に、身体内に挿入可能なカメラから取得される血管新生の画像を使用して腫瘍を正確に検出できることが望まれる。

[0005] 例示的実施形態によれば、撮像システムは、カメラ、ディスプレイ、及びプロセッサを含む。カメラは、カラービデオ獲得能力を有し、物体の内部に挿入可能な介入器具の遠位端に取り付けられる。カメラは、物体の血管構造を撮像するための複数の画像フレームを提供し、各画像フレームは、それぞれ対応する信号を提供する複数のピクセルを含む。プロセッサは、信号を受け取ることと、複数のピクセルに対応する信号の色及び運動の少なくとも一方における変動を増幅して、増幅された信号を提供することと、それぞれ複数のピクセルに対応する増幅された信号のうち少なくとも一部の信号の空間位相変動性、周波数、及び信号特性の少なくとも１つを決定することと、増幅された信号のうち少なくとも一部の信号の空間位相変動性、周波数、及び信号特性の少なくとも１つに基づいて、複数のピクセルのうち異常な血管分布を示すピクセルを特定することと、特定されたピクセルを使用して、増幅された信号のうち少なくとも一部の信号の空間位相変動性、周波数、及び信号特性の少なくとも１つの各々に対応する血管マップを作成することであって、各血管分布マップは、異常な血管分布を有する物体の部分を含む、ことと、各血管分布マップを表示するようにディスプレイを動作させることと、を行うようにプログラムされる。

[0006] 別の例示的実施形態によれば、対象者内部の異常な組織を示す異常な血管分布を、カラービデオ獲得能力を有し、対象者の内部に挿入可能な介入器具の遠位端に取り付けられたカメラからの画像を使用して特定する方法が提供される。方法は、対象者内のターゲット部分の血管構造を撮像するためにターゲット部分からカメラによって提供される複数の画像フレームの各々の中の複数のピクセルに対応する信号を受け取るステップと、複数の画像フレームの各々の中の複数のピクセルに対応する信号の色及び運動の少なくとも一方における変動を増幅して、それぞれ増幅された信号を提供するステップと、それぞれ複数のピクセルに対応する増幅された信号のうち少なくとも一部の信号の空間位相変動性、周波数、及び信号特性の少なくとも１つを決定するステップと、増幅された信号のうち少なくとも一部の信号の空間位相変動性、周波数、及び信号特性の少なくとも１つに基づいて、複数の画像フレームの各々の中の複数のピクセルのうち、異常な血管分布を示すピクセルを特定するステップと、特定されたピクセルを使用して、増幅された信号のうち少なくとも一部の信号の空間位相変動性、周波数、及び信号特性の少なくとも１つの各々に対応する血管マップを作成するステップであって、各血管分布マップは、異常な血管分布を有する対象者の部分を含む、ステップと、各血管分布マップを表示するステップと、を有する。方法は、増幅された信号のうち少なくとも一部の信号の空間位相変動性、周波数、及び信号特性の少なくとも１つの各々に対応する血管マップのうち少なくとも２つを組み合わせて、総合血管マップを作成するステップと、総合血管マップを表示するステップと、をさらに有してよい。

[0007] 別の例示的実施形態によれば、対象者内部の異常な組織を示す異常な血管分布を、カラービデオ獲得能力を有し、対象者の内部に挿入可能な介入器具の遠位端に取り付けられたたカメラからの画像を使用して特定するためにコンピュータプロセッサにより実行可能なソフトウェアを含んでいるコンピュータ可読媒体が提供される。コンピュータ可読媒体は、対象者内のターゲット部分の血管構造を撮像するためにターゲット部分から介入器具を介してカメラによって提供される複数の画像フレームの各々の中の複数のピクセルに対応する信号を受け取るための受取りコードと、複数の画像フレームの各々の中の複数のピクセルに対応する信号の少なくとも運動の変動を増幅して、それぞれ増幅された信号を提供するための増幅コードと、それぞれ複数のピクセルに対応する増幅された信号のうち少なくとも一部の信号の空間位相変動性、周波数、及び信号特性の少なくとも１つを決定するための決定コードと、増幅された信号のうち少なくとも一部の信号の空間位相変動性、周波数、及び信号特性の少なくとも１つに基づいて、複数の画像フレームの各々の中の複数のピクセルのうち、異常な血管分布を示すピクセルを特定するための特定コードと、特定されたピクセルを使用して、増幅された信号のうち少なくとも一部の信号の空間位相変動性、周波数、及び信号特性の少なくとも１つの各々に対応する血管マップを作成するための作成コードであって、各血管分布マップは、異常な血管分布を有する対象者の部分を含む、作成コードと、増幅された信号のうち少なくとも一部の信号の空間位相変動性、周波数、及び信号特性の少なくとも１つの各々に対応する血管マップのうち少なくとも２つを組み合わせることにより、総合血管マップを提供するための組み合わせコードと、総合血管マップをディスプレイ上に表示させるための表示コードであって、表示された総合血管マップは、異常な血管分布を有する対象者の部分を、正常な血管分布を有する対象者の部分との強化されたコントラストによって示す、表示コードと、を含む。

[0008] 本発明は、添付図面と合わせて考察される、以下に提示される例示的実施形態の詳細な説明からより容易に理解されよう。これらの図中で同様の番号が付された要素は、等価な要素であるか、又は同じ機能を行うかのいずれかである。前に説明された要素は、機能が等価であれば、後の図では必ずしも説明されない。

[0009] 正常な血管分布を有する健康な（又は正常な）組織の例を示す図である。 [0010] 腫瘍内など異常な血管分布を有する病的な（又は癌性の）組織の例を示す図である。 [0011] 代表的実施形態による、関心領域内の血管構造を撮像するための血管構造撮像システムを示す簡略化された概略ブロック図である。 [0012] 代表的実施形態による、増幅された画像及び複数の画像フレーム内で捕捉された対応する信号を示す簡略化された概略ブロック図である。 [0013] 代表的実施形態による、増幅された画像と、複数の画像フレーム内で捕捉された対応する信号とを使用して周波数及び信号強度を示す簡略化された概略ブロック図である。 [0014] 代表的実施形態による、増幅された画像内のピクセルの間の位相シフトと、１つ又は複数の画像フレーム内で捕捉された対応する位相信号とを示す簡略化された概略ブロック図である。 [0015] 代表的実施形態による、組み合わせられてコントラストが強化された総合血管マップを提供する、図３～図５を参照して説明した技術によって取得された血管マップを示す簡略概略図である。 [0016] 本発明の例示的実施形態による手術用ロボットシステムを示す概略ブロック図である。 [0017] 本発明の例示的実施形態による手術用ロボットシステムを示す概略ブロック図である。

[0018] 本発明の実施形態について、本発明の実施形態が示された添付図面を参照して、以下でより完全に説明する。しかしながら、本発明は、種々の形態で具現化されてよく、本明細書に記載の実施形態に限定されるように解釈すべきではない。むしろ、それらの実施形態は、本発明の教示例として提供される。

[0019] 上述したように、切除及び生検のための正常な組織からの異常な組織の術中の判別は、様々な介入処置を行う外科医にとって一般的な課題である。様々な実施形態によれば、異常な血管分布又は血管過多を示す１つ又は複数のオイラー（Ｅｕｌｅｒｉａｎ）ビデオ拡大マップの作成後に抽出される血管情報が、外科医が正常な組織から異常な組織（例えば、癌性腫瘍）を判別するのを支援するために使用される。加えて、様々な実施形態は、疑われる黒色腫（皮膚癌）病変をスクリーニングして精度を向上させ、可能性としては早期診断を支援するために使用される。

[0020] 一般に、癌の特質には、腫瘍の多段階の発生中に獲得される６つの生物学的能力が含まれる。それらの特質は、新生物性疾患の複雑性を合理化するための組織化原理を構成する。誘発性血管形成は、６つの特質の１つである。血管形成は、癌細胞からなる腫瘍が成長できるようにそれ自体の血液供給を有することを可能にする。正常な血管（例えば、癌性腫瘍によって妨げられていない身体の部分を通る血管）と異なり、腫瘍血管は、不規則な形状を伴って拡張している、無秩序な結合を有する、及び漏れのある毛細血管を含むなどの様々な異常を呈し、結果として不規則な血流が生じる。そのような異常は、血管新生過多と呼ばれることがある。図１Ａ及び図１Ｂはそれぞれ、正常な血管分布をもつ健康な（又は正常な）組織と、腫瘍の中などで異常な血管分布をもつ病的又は異常な（例えば、癌性の）組織との例を示す。

[0021] 様々な実施形態によれば、ビデオ内での拍動流のカメラを用いた検出を使用してそれら及び他の異常を検出する。カメラは、内視鏡若しくはカテーテルなどの介入器具若しくは道具に、又はロボットアームに装着されて、対象者に対して介入処置を行うのを支援する。本開示を通じて、「～に装着される」は、～に接続される、～と一体化される、及び／又は～に含まれることを意味する。しばしば、身体の一見静的な部分の、ビデオを含む画像は、実際には、人間の目には見えない微妙な変化を含んでいる。しかしながら、例えばオイラービデオ拡大の使用を含む、変動を増幅するためのアルゴリズムの使用によって、そのような微妙な変化を測定することが可能である。例えば、人間の脈動は、遠隔フォトプレチスモグラフィ（ｒＰＰＧ）と呼ばれる測定などの従来のビデオによって捕捉される、脈動によって誘発される色の変動又は拍動流の小さな運動から測定できることが知られている。例えば、Ｗｕら、「Ｅｕｌｅｒｉａｎ Ｖｉｄｅｏ Ｍａｇｎｉｆｉｃａｔｉｏｎ ｆｏｒ Ｒｅｖｅａｌｉｎｇ Ｓｕｂｔｌｅ Ｃｈａｎｇｅｓ ｉｎ ｔｈｅ Ｗｏｒｌｄ」、ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ ｖｏｌ．３１ ｎｏ．４（Ｐｒｏｃ．ＳＩＧＧＲＡＰＨ、２０１２）を参照されたい。

[0022] 一般に、血管系からカメラによって提供されるデータストリームから一連の画像が取られ、カメラは介入器具に装着され、データストリームは、介入処置を行う過程ですでに入手可能である。色及び／又は運動の変動は、血管系（例えば、正常な組織及び異常な組織を含む）を撮像するカメラからのピクセル信号によって示される画像中で増幅される。そして、正常な組織のエリアと異常な組織のエリアとを判別するために、最大で３つの血管マップが作成され、及び／又は組み合わせられる。下記で論じるように、血管マップには、ターゲット部分又はＲＯＩの画像に対応する信号からの異なる情報に基づく、例えば、周波数マップ、信号特性マップ、及び位相変動性マップが含まれる。

[0023] それら３つの血管マップのうち２つ以上を組み合わせた総合血管マップが、強化されたコントラスト、すなわちどの単一の血管マップのコントラストよりも良好なコントラストのために生成され、正常な組織のエリアと異常な組織のエリアとをより良好に判別する。血管マップ及び／又は総合血管マップは、ヘッドアップディスプレイ（ＨＵＤ）を含む拡張現実（ＡＵ）デバイスで表示され、例えば、容易な視覚化を可能にし、それにより、外科医は、異常な組織（例えば、腫瘍）が血管マップ及び／又は総合血管マップの中で視覚的に明らかである手術野に集中し続けることができる。血管マップの１つは、ターゲット部分又はＲＯＩ内の異常なエリアを区画するように完全畳み込みニューラルネットワーク（ＦＣＮ）を訓練することによって強化される。

[0024] カメラに基づく血管情報は、疑われる血管黒色腫病変をスクリーニングして精度を向上させ、可能性としては早期診断を支援するためにも使用される。すなわち、カメラ（この場合は外部に位置する）が、血管系を有する見かけの病変の画像を提供する。この場合も、ピクセル信号からの色及び／又は運動の変動が増幅され、ピクセル信号は、血管系（例えば、正常な組織及び異常な組織を含む）を撮像している。そして、血管マップを作成及び／又は組み合わせて、病変内及び病変周辺の正常な組織のエリアと異常な組織のエリアとを判別する。カメラに基づくスクリーニングの精度をさらに向上させるために、血管情報が、形態、色、大きさ、及び経時的変化などの悪性度を示す他の視覚的手掛かりと組み合わせられる。

[0025] 多くの病変がある患者には、例えば、カラービデオからの情報が、臨床医がよりリスクの高い病変を生検のために選別するのを支援し得る。黒色腫の早期診断は、良い予後及び生存の主要な決定因子である。また、早期段階における皮膚病変の外科的除去は、通例、低侵襲であるのに対し、例えば侵襲性であり治療の難しい転移性黒色腫など、より後の段階での黒色腫の治療は、結果的に不良な転帰となる。従来の画像に加えてデータを用いて訓練された畳み込みニューラルネットワーク（ＣＮＮ）は、さらに精度を向上させ、可能性としては黒色腫の早期診断を支援する。そのようなカメラに基づく血管分布の決定は、この決定が、図２を参照して下記で論じるように、カメラ、プロセッサ、及びメモリを使用して行われるため、対象者の家及び／又は皮膚科クリニックで提供することができる。注目すべき点として、本開示は、介入処置のためのカメラを使用した撮像及び血管分布の決定に着目するが、血管マップ及び／又は総合血管マップの決定及び表示を含む、正常な血管構造及び異常な血管構造を特定するプロセスは、血管黒色腫病変の血管分布を決定する場合と実質的に同じであることが理解される。

[0026] また、ＡＲデバイスは、ユーザ（例えば、外科医）が、ユーザによる身体の動き（例えば、従来の手動コントロールを操作するためのユーザの手の使用以外）を通じてロボットを制御するために提供される。ユーザは、カメラからＡＲデバイスによって受け取られるライブ画像に基づいて、ロボットのためにターゲット部分を特定及び選択することができる。ライブ画像は、例えば専用の内視鏡コントローラによって操作可能な内視鏡の遠位端に装着されたカメラによって、又はロボットによって操作可能な前方視カメラによって提供される内視鏡画像であってもよい。例えば、ＡＲデバイスは、ユーザによって装着されたヘッドピース内のディスプレイに画像を表示するヘッドアップディスプレイ（ＨＵＤ）（ＡＲ－ＨＵＤデバイス）を含む。ＡＲ－ＨＵＤデバイスはさらに、頭部の運動又は目の動きなどのユーザの運動を検出するように構成された１つ又は複数のセンサを含み、検出された運動が処理されて、ディスプレイ上の画面に示される手術部位のターゲット部分をロボットのために選択する。

[0027] ライブ画像並びにユーザの頭部の運動及び／又は目の動きの検出を使用して、ユーザが着目しているエリア（ターゲット部分）の方へ自分の頭部を動かす、及び／又は目の動きを向けるという従来の手術時の体験を模擬することにより、ロボットの使用性を向上させ、同時に、手術用ロボットの向上した器用さを維持する。さらに、ライブ画像を使用して上述の血管系のデータストリームを提供する。それらの画像からの色及び／又は運動を拡大して、血管構造信号を増幅すると共に、異常な組織（例えば、腫瘍）のエリアを描いた血管マップを提供する。

[0028] 本明細書で使用される用語は、特定の実施形態を説明することのみを目的とし、制限的であるようには意図されないことが理解されるべきである。定義される用語はいずれも、本教示の技術分野において一般に理解され、容認されている当該定義用語の技術的及び科学的な意味に追加されるものである。本明細書における「１つの実施形態」又は「一実施形態」並びにそれらの他の変形例の参照は、その実施形態に関連して説明される特定の特徴、構造、特性、ステップ等が本教示の少なくとも１つの実施形態に含まれることを意味する。よって、本明細書を通じて様々な箇所に出現する、「１つの実施形態では」又は「一実施形態では」という語句並びにそれらの他の変形例の出現は、必ずしもすべてが同じ実施形態を指すとは限らない。

[0029] 最初に、画像は、ビデオ又は静止画像のストリームとして取得される２次元（２Ｄ）又は３次元（３Ｄ）画像を含むことが留意される。２Ｄ又は３Ｄ画像は、内視鏡の遠位端に装着されたカメラを介して、又は（例えば、エンドエフェクタとしての）ロボットアームの遠位端に設けられた前方視カメラを介して取得される。また、画像は、低侵襲処置中にカメラを通じて捕捉されるライブ画像であってよい。様々な構成において、画像は複数のカメラによって捕捉されてよい。例えば手術部位及びその周囲のエリアのより広いビューのために、例えばＸ線、超音波、及び／又は磁気共鳴によって取得される画像などの、他の医療撮像が手術過程時に組み込まれてよいが、必ずしも、介入処置中の異常な血管分布の検出に直接は使用されない。

[0030] 図２は、代表的実施形態による、関心領域内の血管構造を撮像するための血管構造撮像システムを示す簡略化された概略ブロック図である。

[0031] 図２を参照すると、撮像システム２００が、血管特徴を使用して対象者内部の異常な組織を検出するために設けられる。撮像システム２００は、内視鏡、カテーテル及び／又はロボットアームのエンドエフェクタなどの介入器具２４２の遠位端に取り付けられたカメラ２１２を含む。一実施形態では、カメラ２１２は、カラービデオ獲得能力を有し、デジタル静止画像及び／又はビデオを提供する。カメラ２１２は、ターゲット部分（例えば、又はＲＯＩ）を撮像して関連する血管分布を決定するために対象者の内部に挿入可能である。血管分布の分析により、下記で論じるように、正常な組織と、癌性腫瘍などの異常な組織との間の判別が可能になる。より詳細には、カメラ２１２は、複数のピクセルに対応する、カラー画像データ及び／又は運動データ（カメラ２１２がデジタルビデオ信号を提供する場合）を含む血管構造信号を提供する。

[0032] カメラ２１２は、本教示の範囲から逸脱することなく、２Ｄ画像を捕捉するための単眼カメラ又は３Ｄ画像を捕捉するための立体カメラである。立体カメラ又はカメラの対は、例えば、複数のレンズ又はレンズアセンブリを含み、それと共に、デジタル検出器アレイ（例えば、電荷結合デバイス（ＣＣＤ）撮像アレイ、相補型金属酸化膜半導体（ＣＭＯＳ）撮像アレイ等）上で画像を形成する各レンズのための別個のセンサを有する。カメラ２１２は、例えば、赤色光、緑色光、及び青色光（又は実質的に可視スペクトルを範囲とする別の色の組）に反応するピクセルを備えた撮像アレイを有することにより、カラービデオ能力を有する。カメラ２１２は、任意選択で、内蔵フラッシュ（図示せず）及び／又は露光時間を設定するための周囲光センサ（図示せず）などの他の典型的な機能を含む。

[0033] 撮像システム２００はさらに、処理ユニット２３０、ディスプレイ２２０、ユーザ入力２２６、及び入力／出力回路２３８を含む。処理ユニット２３０は、少なくとも１つのプロセッサ２３２及び少なくとも１つのメモリ２３４を含む。メモリ２３４は、例えば、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、磁気ディスク及び／又は固体状態メモリなどの非一時的な記憶媒体である。メモリ２３４は、プロセッサ２３２によって実行されると、プロセッサ２３２に、カメラ２１２によって提供された画像の血管構造信号を受け取らせ、処理させる命令を含む。一般に、この処理は、ターゲット部分における異常な血管分布を示すカメラ２１２のピクセルを特定し、異常な血管分布は異常な組織に対応する。処理は、例えば、下記で論じられる周波数、信号特性及び位相変動性を含む様々な技術を使用してコントラストを向上させた、異常な血管分布を描いた血管マップを作成することも含む。血管マップは、ユーザが異常な組織を特定し、治療する（例えば、除去する、生検する）のを支援するために、ターゲット部分の画像に重畳される。処理ユニット２３０は、介入器具２４２（及びＩ／Ｏ回路２３８）を介したカメラ２１２への有線接続を有するものと図示されている。しかしながら、処理ユニット２３０は、本教示の範囲から逸脱することなく、例えばＷｉ－Ｆｉ又は４Ｇなどのワイヤレス通信リンク又はネットワークを介してカメラ２１２に接続されてもよいことが理解される。

[0034] 処理された画像及び／又は血管マップは、ディスプレイ２２０（例えば、ＬＣＤディスプレイ、ＯＬＥＤディスプレイ及び／又はタッチセンシティブ画面）に表示される。ユーザ（例えば、外科医）は、ユーザ入力２２６（例えば、マウス、キーボード、トラックボール、及び／又はタッチセンシティブ画面）を介してディスプレイ２２０を制御することができる。例えば、ユーザは、画像の一部分を分離する、ズームイン及びズームアウトすること等ができる。カメラ２１２がビデオ信号を提供すると、ユーザは、例えば、様々なフレームで一時停止し、ビデオストリーム内を前後に移動することができる。そのようにして、ユーザは、血管マップを、ディスプレイ２２０上で選択された画像フレームに重畳する。ユーザはまた、下記でさらに論じるように、ユーザ入力２２６を介してカメラ２１２及び／又は介入器具２４２の位置決めを手動で制御する。

[0035] 一実施形態では、ユーザ入力２２６及びディスプレイ２２０は、ＡＲ－ＨＵＤデバイスの中に組み込まれる。ＡＲ－ＨＵＤデバイスは、左目ディスプレイ及び右目ディスプレイをディスプレイ２２０として含むが、それに代えて、ディスプレイ２２０は、両方の目にまたがる単一の大きい窓であってもよい。いくつかの例では、カメラ２１２は、「一人称ビュー」を提供し、それにより、ＡＲコンテンツを、ＡＲ－ＨＵＤデバイスのディスプレイを通して見られる実際のビューと位置合わせする。いくつかの例では、ＡＲ－ＨＵＤデバイスは、ユーザの頭部に装着されるために、ヘルメット、頭部バンド、眼鏡、ゴーグル、又は他の好適な実施形態として構成され得る。

[0036] 上述したように、カメラ２１２内の複数のピクセルの中から異常な血管分布を示すピクセルを特定するために、血管マップが作成される。血管マップの任意の組み合わせの２つ以上を組み合わせて、異常な血管分布があるエリアのコントラストが強化された総合血管マップを提供する。血管マップ及び／又は総合血管マップは、腫瘍などの異常な組織を含む対象者の部分に変換される。特定されると、異常な血管分布のある対象者の部分が対象者から除去されるか、又は、例えば放射線療法、凍結療法、及び高密度焦点式超音波（ＨＩＦＵ）療法などの様々な治療を通じて、その他の形で抑制若しくは除去される。

[0037] 血管マップを得るために、カメラ２１２によって提供された血管構造画像に対応する信号中の変動が、例えばプロセッサ２３２によって増幅される。一実施形態では、信号の変動は、オイラービデオ拡大アルゴリズムを使用して増幅されるが、他の増幅技術が本教示の範囲から逸脱することなく組み込まれ得る。したがって、カメラ２１２によって提供される静止画像又はビデオ画像中の、生のビデオ画像からでは容易に検出されない微妙な信号変動が強化される。

[0038] 図３は、代表的実施形態による、増幅された画像、及び複数の画像フレーム内で捕捉された対応する信号を示す簡略概略図である。

[0039] 図３を参照すると、画像ストリーム３１０は、ｔ軸によって示されるように、時間と共にカメラ２１２によって提供された画像フレーム３１１、３１２、及び３１３のセットを含む。画像フレーム３１１、３１２、及び３１３は、対象者のターゲット部分の画像を含んでいる。ピクセルアレイの代表ピクセルＰ１及びＰ２が画像フレーム３１１に示されている（同様に、その後獲得される画像フレーム３１２及び３１３にも含まれるが、それらは図３に示す向きでは画像フレーム３１１によって遮られて見えない）。画像ストリーム３１０の下にあるのは、信号３０１及び３０２を時間の関数として示すグラフであり、信号３０１及び３０２はそれぞれピクセルＰ１及びＰ２に対応している。

[0040] 画像フレーム３１１、３１２、及び３１３に関して、代表ピクセルＰ１及びＰ２の時間に伴う微妙な信号変動が増幅される。様々な実施形態において、増幅された信号は、例えば、矢印３１５によって示される知られているオイラー運動拡大を使用した、運動変動の増幅を含む。例えば、Ｗｕらによる「Ｅｕｌｅｒｉａｎ Ｖｉｄｅｏ Ｍａｇｎｉｆｉｃａｔｉｏｎ ｆｏｒ Ｒｅｖｅａｌｉｎｇ Ｓｕｂｔｌｅ Ｃｈａｎｇｅｓ ｉｎ ｔｈｅ Ｗｏｒｌｄ」、ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ ｖｏｌ．３１ ｎｏ．４（Ｐｒｏｃ．ＳＩＧＧＲＡＰＨ、２０１２）を参照されたい。例えば、時間に伴うピクセル値の変動を空間的に多スケールの方式で増幅して、運動の拡大を効果的に得る。オイラー運動拡大の使用は、例えば、固定された位置における経時的な色の変化を増幅することによって運動を誇張することに依拠する。

[0041] それにより得られる画像ストリーム３２０は、増幅された変動を有する画像を含み、これは、論述のために「増幅された画像」とも呼ばれる。画像ストリーム３２０は、論述のために「増幅されたピクセル」とも呼ばれる、拡大又は増幅された運動の変動を有するピクセルからの信号を含み、より容易な検出を可能にする。一般に、信号３０１及び３０２の変動が、（ピクセルアレイの他のピクセルに対応する信号と共に）所望の時間にわたって増幅されて、下記で論じる信号３０１’及び３０２’を得る。画像ストリーム３２０は、それぞれ画像フレーム３１１、３１２、及び３１３に対応する増幅された画像フレーム３２１、３２２、及び３２３（対応する増幅されたピクセルを伴う）のセットを含む。それぞれピクセルＰ１及びＰ２に対応するピクセルＰ１’及びＰ２’は、増幅された画像フレーム３２１、３２２及び３２３に含まれる（ただし、増幅された画像フレーム３２１のみに示されている）。ピクセルアレイの他のピクセルに対応する増幅された変動を有する信号も提供されるが、本明細書の記載は、説明の容易のために代表ピクセルＰ１’及びＰ２’に着目することが理解される。

[0042] 画像ストリーム３２０の下にあるのは、信号３０１’及び３０２’を時間の関数として示すグラフであり、信号３０１’及び３０２’はそれぞれピクセルＰ１’及びＰ２’に対応している。信号３０１’及び３０２’の痕跡及び／又は波形は、信号変動の増幅のために、信号３０１及び３０２内では明らかでない微妙な変化を示している。よって、この例では、信号３０１’は基本的に、予想される周波数範囲内での滑らかな推移を伴う正弦波であることが明らかであり、これは、動脈波形（例えば、拍動性であるか又は心周期若しくは脈拍数に対応する）と整合する。よって、ピクセルＰ１’によって提供される画像の部分は、正常な組織（正常な血管分布）を通る血流に関して正常な生理機能と整合する。比較すると、信号３０２’は、正弦波ではなく、むしろ不規則なパターンを有する。よって、ピクセルＰ２’によって提供される画像の部分は、正常な生理機能と整合する波形又は周波数を有さない。換言すると、ピクセルＰ２’は、少なくとも周波数及び形状に基づいて、異常な血管分布を示す（異常な組織及び／又は腫瘍を通る血流と整合する）ものとして特定される。換言すると、ピクセルＰ２’によって示される画像の部分は、例えば癌性腫瘍などの異常な組織に対応する。

[0043] 図４は、代表的実施形態による、増幅された画像と、複数の画像フレーム内で捕捉された対応する信号とを使用した周波数及び信号強度を示す簡略概略図である。

[0044] 図４を参照すると、画像ストリーム３２０は、上記で論じたように、時間と共に提供された増幅された画像フレーム３２１、３２２、及び３２３と、増幅された画像フレーム３２１、３２２、及び３２３に含まれる増幅されたピクセルＰ１’及びＰ２’とを含む。画像ストリーム３２０の下にあるのは、時間の関数として信号３０１’を示すグラフ及び信号３０２’を示す別のグラフであり、信号３０１’及び３０２’は、図３を参照して論じたように、それぞれピクセルＰ１’及びＰ２’に対応している。図４に示すように、高速フーリエ変換（ＦＦＴ）が信号３０１’及び３０２’の各々に行われて、信号３０１’及び３０２’を各自の周波数成分に分解する。すなわち、時間領域における信号３０１’にＦＦＴを行うことにより、拡大されたピクセルＰ１’に対応する周波数領域における周波数スペクトル４０１を得、時間領域における信号３０２’にＦＦＴを行うことにより、拡大されたピクセルＰ２’に対応する周波数領域における周波数スペクトル４０２を得る。周波数スペクトル４０１は、第１の周波数範囲ｆ１内にピーク４０３を含み、周波数スペクトル４０２は、第１の周波数範囲ｆ１よりも高い第２の周波数範囲ｆ２内にピーク４０４を含む。横軸（周波数）の周波数は、例えば１分当たりの拍動数としてスケーリングされる。

[0045] ピーク４０３及び４０４を特定することにより、ピークの成分（例えば、周波数範囲ｆ１及びｆ２内のピーク４０３及び４０４各々の頂点、並びにそれらの下にあるエリア）が、生理学的許容通過帯域ＰＷ内にあるかどうかを決定することが可能であり、生理学的許容通過帯域ＰＷは、対象者の脈拍数の想定範囲に対応する周波数通過帯域である。例えば、想定範囲は、４０回の拍動／分の下限及び２００回の拍動／分の上限を有するが、想定範囲は、本教示の範囲から逸脱することなく、現実的である他の最低値と他の最高値との間で変動してよい。信号を各自の周波数成分に分解し、最も大きいピーク成分を特定することは、例えば、周波数領域における窓処理と、それに続く勾配反転及びローカルピーク探索によって達成される。

[0046] 図４を参照すると、ピーク４０３は、生理学的許容通過帯域ＰＷ内にあり、よって、ピクセルＰ１’によって提供される画像の部分が、正常な組織を通る血流（正常な血管分布）に関して正常な生理機能と整合することを示すことが明らかである。ピーク４０４は、生理学的許容通過帯域ＰＷの外側に（すなわち、より高い周波数に）あり、よって、ピクセルＰ２’によって提供される画像の部分が、異常な組織を通る血流（異常な血管分布）に関して異常な生理機能と整合することを示している。

[0047] ＦＦＴを、画像ストリーム３２０のすべてのピクセルに対応する信号に対して、又は少なくとも画像ストリーム３２０のピクセルの十分なサンプリングに対して行って、上記でピクセルＰ１’及びＰ２’を参照して論じたように、得られた周波数スペクトル内のピークが生理学的許容通過帯域ＰＷ内にあるかどうかを決定する。次いで、矢印４１５によって示される、この情報に基づいて、周波数マップ３３０が導出され得る。周波数マップ３３０の正常な部分３３１は、ピークが生理学的許容通過帯域ＰＷ内にある周波数スペクトルを有するピクセル（ピクセルＰ１’を含む）の場所を含む。周波数マップ３３０の異常な部分３３３は、ピークが生理学的許容通過帯域ＰＷの外側にある周波数スペクトルを有するピクセル（ピクセルＰ２’を含む）の場所を含む。見て取れるように、異常な部分３３３は、拡大されたピクセルＰ２’が位置する近傍をカバーしている。異常な部分３３３が大きいほど、それはより多くのピクセルを包含し、より大きい面積の異常な血管分布、よってより大きい面積の異常な組織を示す。無論、得られる周波数マップは、本教示の範囲から逸脱することなく、異常な血管分布を示す複数の部分を表示し得る。

[0048] 加えて、信号３０１’及び３０２’の特性並びに基礎となる周波数成分の変動は、信号３０１’及び３０２’の各々にＦＦＴを行い、それぞれ得られた周波数スペクトル４０１及び４０２の中で最も強い周波数成分の曲線下面積（ＡＵＣ）及び／又は半値全幅（ＦＷＨＭ）を見つけることによって抽出され得る。再び図４を参照すると、ピーク４０３のＡＵＣ４０５は、ピーク４０４のＡＵＣ４０６よりも大きい。より大きいＡＵＣ４０５は、ピクセルＰ１’に関連付けられた血管分布がピクセルＰ２’と比べて正常であることを示す。ピーク４０３が実際に異常な組織の存在を示すかどうかをＡＵＣ４０５を使用して決定するために、ＡＵＣ４０５が所定のＡＵＣ閾値と比較される。これは、ピクセルは、必ずしも異常な組織の存在を示すことなく、アレイ内の別のピクセルよりも小さい対応するＡＵＣを有することがあるためである。「正常な」ＡＵＣの範囲は、例えば経験的に決定される。

[0049] 信号特性マップ４３０（図６に示される）は、ピクセルＰ１’及びＰ２’を含むピクセルに対応する周波数領域信号のＡＵＣから導出される。信号特性マップ４３０の正常な部分４３１は、正常な範囲内にある（例えば、所定のＡＵＣ閾値未満の）ＡＵＣを有するピクセル（ピクセルＰ１’を含む）の場所を含み、信号特性マップ４３０の異常な部分４３３は、正常な範囲の外側にある（例えば、所定のＡＵＣ閾値を上回る）ＡＵＣを有するピクセル（ピクセルＰ２’を含む）の場所を含む。基本的に、ＦＷＨＭ値を使用して同じ種類のマップが導出され得る。見て取れるように、異常な部分４３３は、異常な組織が位置する近傍をカバーし、正常な部分４３１は、正常な組織が位置する近傍をカバーしている。信号特性マップ４３０は、外見が周波数マップ３３０に似ている。これは、それらが信号３０１’及び３０２’の同じＦＦＴから導出されるためである。無論、信号特性マップは、本教示の範囲から逸脱することなく、異常な血管分布を示す複数の部分を表示し得る。

[0050] 注目すべき点として、図４に示す例では、ピクセルＰ２’は、上記で論じたようにそのピーク４０３が生理学的許容通過帯域ＰＷの外側にあるため、異常な組織を示すものとしてすでに特定され得る。よって、ピクセルＰ２’が正常な組織を示すか、それとも異常な組織を示すかを決定するための対応する信号３０２’の特性の決定が、代替の方法として使用されてよい。又は、冗長な確認のために、両方の方法が使用され、組み合わせられてもよい（例えば、下記で図６を参照して論じるように、総合強化後コントラストマップを作成する）。

[0051] また、時間領域における信号の各自の形状を理解するために、長期・短期記憶（ＬＴＳＭ）ネットワーク又は再帰型ニューラルネットワーク（ＲＮＮ）を使用して、信号形状及び拍動性を示すより高いレベルの特徴が、信号３０１’及び３０２’から導出される。各信号値は、ワードのように扱われる。ＬＴＳＭネットワーク及びＲＮＮは、時間順序情報を考慮に入れる。ＬＴＳＭネットワークは、信号３０１’及び３０２’内のより離れた時間点間で関連付けを行うのに特に有用である。上記のように、信号３０１’は基本的に、正常な組織と整合する、予想される周波数範囲内での滑らかな推移を伴う正弦波であり、一方、信号３０２’は正弦波ではなく、異常な組織と整合する不規則なパターンを有する。

[0052] 図５は、代表的実施形態による、増幅された画像内の隣り合うピクセル間の位相シフトと、１つ又は複数の画像フレーム内で捕捉された対応する位相信号とを示す簡略概略図である。増幅された画像ストリームの複数のピクセルのうち隣り合うピクセル間の位相シフト（又は位相差）が特定され、互いと比較されて、空間位相変動性を決定する。隣り合うピクセル間の主要正弦波信号の位相シフトが、血管系における流れの方向性及び組成を理解するために使用される。

[0053] 図５を参照すると、増幅された画像フレーム５２１は、代表的な増幅されたピクセルＰ３’及びＰ４’を含み、これらは、ピクセルアレイ内で隣り合う（例えば、隣接する）ピクセルである。増幅された画像フレーム５２１は、例えば上記で増幅された画像フレーム３２１に関して論じたように、カメラ２１２によって提供される血管構造画像に対応する信号中の変動を増幅することによって取得される。しかしながら、増幅されたピクセルＰ１’及びＰ２’は、隣り合うピクセルではないため、説明の目的で図５には図示していない。増幅された画像フレーム５２１の下にあるのは、信号５０３及び５０４を時間の関数として示すグラフであり、信号５０３及び５０４はそれぞれピクセルＰ３’及びＰ４’に対応している。信号５０３及び５０４は、互いからオフセットされており、位相シフトを示す。

[0054] この位相シフト情報を収集して、例えば、増幅された画像フレーム５２１に対応する図５の代表的な位相マップ５２２、５２３、及び５２４によって示されるように、増幅された画像フレームに対応する複数の位相マップを提供する。すなわち、画像フレーム内の一連の画像が複数の位相マップに圧縮されることが可能であり、それにより、ある時間の期間に対して複数の増幅された画像フレームが提供され得る。位相マップ５２２’は、代表的な位相マップ５２２に対応しており、例えばピクセルＰ３’及びＰ４’などの様々な隣り合うピクセル間の位相シフトを示す説明のための矢印又はベクトルを描いており、これにより流れの方向を推定することができる。

[0055] 位相シフトの平均偏差及び標準偏差が、位相マップ５２２、５２３、及び５２４に対して決定される。一般に、不規則な血管流（異常な組織を示す）のあるエリアを示すピクセルに対応する標準偏差は、規則的な血管流のあるエリアを示すピクセルに対応する標準偏差よりも高い。次いで、位相変動性マップ５３０が、位相マップ５２２、５２３、及び５２４に基づいて導出され得る。位相変動性マップ５３０の正常な部分５３１は、低い標準偏差を有する位相シフトのあるピクセルの場所を特定し、位相変動性マップ５３０の異常な部分５３３は、高い標準偏差を有する位相シフトのあるピクセルの場所を特定する。標準偏差を所定の閾値と比較して、標準偏差が不規則な血管流を示し始める値を特定する。「異常な」及び／又は「正常な」標準偏差の範囲は、例えば経験的に決定される。無論、得られる標準偏差マップは、本教示の範囲から逸脱することなく、異常な血管分布を示す複数の部分を表示し得る。

[0056] より詳細には、位相マップ５２２、５２３、及び５２５などの複数の位相マップ（例えば、３つ又は４つ）が、それぞれ異なる時間の期間に対して取られる。位相マップ５２２、５２３、及び５２５の各ピクセルにおける平均偏差及び標準偏差が決定され、位相マップ５２２、５２３、及び５２４からの情報が組み合わせられて、位相変動性マップ５３０とされる。よって、流れの不規則性（存在する場合）の程度、流れの方向性、及び血管構造の組成に関する情報が取得される。

[0057] 図６は、代表的実施形態による、図３～５を参照して説明した技術によって取得された血管マップを示す簡略概略図であり、これらが組み合わせられて、コントラストが強化された総合血管マップを提供する。

[0058] 図６を参照すると、マップ６１０は、実質的にコントラストがないターゲット部分の元の血管マップである。すなわち、カメラ画像は、正常な血管分布（正常な組織）のエリアと異常な血管分布（例えば、異常な組織又は腫瘍）との間で、ピクセルごとの十分なコントラストを提供しない。比較すると、総合血管マップ６３０は、ターゲット部分又はＲＯＩの正常な部分６３１と異常な部分６３３との間で先鋭なコントラストを示している。

[0059] 描かれる実施形態では、総合血管マップ６３０は、異なる技術を通じて取得された３つの他の血管マップの組み合わせであり、単独で見られたどの他の血管マップよりもコントラストを向上させる。３つの他の血管マップには、上記で論じた、周波数マップ３３０、信号特性マップ４３０、及び位相変動性マップ５３０が含まれる。血管特徴は、周波数マップ３３０、信号特性マップ４３０、及び／又は位相変動性マップ５３０として、並びに総合血管マップ６３０（異常な組織又は腫瘍領域のコントラストが増大された）として表示され得る。

[0060] 一実施形態は、悪性の病変のコントラストを向上させるための、周波数マップ３３０、信号特性マップ４３０、及び／又は位相変動性マップ５３０の最良の組み合わせを決定するように、ピクセルごとの単純なロジスティック回帰（若しくは他の分類器が使用され得る）又はピクセルクラスタごとの分類器を訓練することを含む。一実施形態は、異常が他の血管マップのうち１つに現れるのか、２つに現れるのか、又は３つすべてに現れるのかに応じて、異常な血管分布のピクセル又は部分に異なる重みを提供することを含む。最も高い重みは、他の血管マップの３つすべてにおいて異常を示す画像のピクセル又は部分に割り当てられ、最も低い重みは、他の血管マップのうち１つのみにおいて異常を示す画像のピクセル又は部分に割り当てられる。次いで、それらの重みを使用して総合血管マップ６３０が作成される。無論、本教示の範囲から逸脱することなく、血管マップを組み合わせて総合血管マップ６３０にするための他の技術が組み込まれてよい。また、総合血管マップ６３０は、本教示の範囲から逸脱することなく、３つの他の血管マップすべてよりも少ない血管マップを組み合わせてもよい。よって、様々な実施形態において、総合血管マップ６３０は、それぞれピクセルアレイ内の複数のピクセルに対応する血管構造信号のうち少なくとも一部の血管構造信号の周波数、信号特性、及び空間位相変動性の少なくとも１つに基づく。

[0061] 上記で説明したように、カメラは、介入処置中に画像を提供する。カメラは、したがって、内視鏡若しくはカテーテルなどの介入器具又は道具の遠位端に装着され、及び／又はロボットアームに装着されて、カメラを対象者体内のターゲット部分又はＲＯＩに向ける。

[0062] 図７Ａは、本開示の代表的実施形態による、画像を取得し、介入処置の実行を可能にするために使用される手術用ロボットシステムの例を示す概略ブロック図である。図７Ａは、手術用ロボットシステム７００を描いており、これは、患者の身体内に位置する手術部位で、ロボットにより操作可能な手術用器具及び他の道具を操作することを通例伴う医療処置に利用される。そのような医療処置には、これらに限定されないが、例えば、低侵襲心臓手術、腹部手術（腹腔鏡）（例えば、前立腺切除や胆嚢切除）、及び自然開口部越経管腔内視鏡手術が含まれる。

[0063] 図７Ａを参照すると、手術用ロボットシステム７００は、少なくとも１つのロボット７０１、制御ユニット７０６、及び拡張現実（ＡＲ）デバイス７２０を含む。ロボット７０１は、１つ又は複数のエンドエフェクタを対象者Ｐ内の手術部位Ｓに位置決めすべく操作するように構成され、エンドエフェクタは、手術部位Ｓにおけるライブ画像を獲得するように構成された少なくとも１つのカメラ７１２（又は同様の画像獲得デバイス）と、内部の手術処置を行うための手術道具などの少なくとも１つの器具７１３とを含む。内部の手術処置には、例えば、手術部位Ｓ内のターゲット部分Ｔに関連する低侵襲手術や自然開口部手術が含まれ、その例は上記で挙げた。

[0064] ＡＲデバイス７２０は、カメラ７１２によって獲得されたライブ画像を、ユーザによって見られるＡＲ表示ユニット７２１に表示するように構成されると共に、代表的な運動センサ７２４によって示される１つ又は複数の運動感知回路を介してユーザの（表示された画像に応答した）動きを捕捉するＡＲ追跡システム７２２を使用して、追跡データを検出するように構成される。例えば、下記でさらに論じるように、ＡＲデバイス７２０は、表示ユニット７２１と運動センサ７２４とを含む、ユーザによって装着されるヘッドピースを含む頭部装着型ヘッドアップディスプレイ（ＨＵＤ）デバイス（ＡＲ－ＨＵＤデバイス）である。表示ユニット７２１は、単一のディスプレイであっても、又はユーザの両目に対応する２つの眼用ディスプレイ（図示せず）に分割されてもよい。２つの眼用ディスプレイは、カメラ７１２が立体視である場合には３次元表示を可能にし、又はカメラ７１２が単眼である場合には擬似的な３次元表示を可能にするが、２つの眼用ディスプレイは部分的に重なり合うように構成される。運動センサ７２４は、例えば、３軸周りのユーザの頭部の運動を検出する複数の加速度計であり、それにより、追跡データは、ユーザの頭部の動きに対応する頭部追跡データを含む。それに代えて、運動センサ７２４は、ユーザの目の動きを検出する後ろ向きのカメラを含んでもよく、それにより、追跡データは、ユーザの目の動きに対応する目追跡データを含む。

[0065] ＡＲデバイス７２０はまた、ユーザから命令を受け取るための、入力装置７２６によって示される１つ又は複数の入力装置（例えば、ユーザインターフェース）も含む。本明細書において使用される入力装置７２６は、ユーザがＡＲデバイス７２０並びに手術用ロボットシステム７００と対話することを可能にするインターフェースである。入力装置７２６は、例えば、タッチ画面、キーボード、マウス、トラックボール、タッチパッド、又は音声コマンドインターフェースの１つ又は複数を含む。本実施形態では、ユーザは、入力装置７２６を使用して具体的なコマンドを入力し、例えば、プロセッサ７３０に確認信号を送って、プロセッサ７３０によって決定された選択されたターゲット部分Ｔを確定する、又は、ＡＲ追跡システム７２２及び／又はプロセッサ７３０に起動信号を送って、ＨＵＤデバイスによる頭部の運動の検出を含む頭部追跡モード、若しくはＨＵＤデバイスによる目の動きの検出を含む目追跡モードの一方を起動する。代替の実施形態では、入力装置７２６は、ＡＲデバイス７２０の外側にある。例えば、入力装置７２６は、制御ユニット７０６に一体化されるか、又はＩ／Ｏ回路７０８を介してＡＲデバイス７２０及びプロセッサ７３０の両方と通信するように構成された別個のユニットである。

[0066] 制御ユニット７０６は、手術用ロボットシステム７００の全体的な動作を制御し、その他の形で連携させるように構成される。制御ユニット７０６は、入力／出力（Ｉ／Ｏ）回路７０８及びプロセッサ７３０を含む。プロセッサ７３０は、処理を可能にするための関連付けられたメモリ７３４と、コンピュータ可読媒体（ＣＲＭ）７３６とを含む。プロセッサ７３０及びメモリ７３４／ＣＲＭ７３６は、図２を参照して上記で論じた撮像システム２００の処理ユニット２３０と実質的に同様である。プロセッサ７３０は、一般に、獲得されたライブ画像をカメラ７１２からＩ／Ｏ回路７０８を介して受け取り、獲得されたライブ画像を処理して、例えばメモリ７３４及び／又はＣＲＭ７３６に記憶するように構成され、それにより、プロセッサ７３０は、カメラ７１２が通過した対象者Ｐの内部部分同士を基本的に視覚的にマッピングする、電子医療記録（ＥＭＲ）データベース及び／又はピクチャ保管及び通信システム（ＰＡＣＳ）データベースなどのデータベースを構築することができる。このデータベースはその後、下記で論じるように、ターゲット部分Ｔが選択されると、ターゲット部分Ｔまでの経路を決定するために使用される。プロセッサ７３０は、獲得されたライブ画像を、表示ユニット７２１に表示するためにＩ／Ｏ回路７０８を介してＡＲデバイス７２０に送信する。代替の構成では、獲得されたライブ画像は、獲得されたライブ画像がＩ／Ｏ回路７０８によって受け取られると、プロセッサ７３０による撮像処理は行われずに、Ｉ／Ｏ回路７０８からＡＲデバイス７２０に送信される。

[0067] プロセッサ７３０はさらに、ＡＲ追跡システム７２２によって決定された追跡データを、Ｉ／Ｏ回路７０８を介してＡＲデバイス７２０から受け取り、決定された追跡データを処理して、対象者Ｐ内の手術部位Ｓでターゲット（例えば、ターゲット部分Ｔ）を選択するように構成される。プロセッサ７３０はさらに、例えば例示的なカメラ７１２及び器具７１３を含むロボット７０１の１つ又は複数のエンドエフェクタが選択されたターゲット部分Ｔに到達するための経路を、獲得されたライブ画像と、処理後の決定された追跡データとに基づいて決定するように構成される。プロセッサ７３０は、Ｉ／Ｏ回路７０８を介してロボット７０１にロボット制御信号を送信して、１つ又は複数のエンドエフェクタを、決定された経路に沿って選択されたターゲット部分Ｔまで移動させる。

[0068] したがって、Ｉ／Ｏ回路７０８は、獲得されたライブ画像をカメラ７１２から受け取り、獲得されたライブ画像を、表示ユニット７２１に表示するためにプロセッサ７３０及び／又はＡＲデバイス７２０に提供する（直接、又は画像処理後にプロセッサ７３０から転送されるかのいずれか）。Ｉ／Ｏ回路７０８はまた、ＡＲデバイス７２０から入力データ（追跡データを含む）を受け取り、それをプロセッサ７３０に提供し、追跡データに応じてプロセッサ７３０が決定したロボット制御信号をロボット７０１に送る。

[0069] ロボット７０１は、対象者Ｐの身体内の入口点Ｅに位置決めされる硬い近位部分７０２（例えば、ロボットアーム又はロボットアームの一部分）と、対象者Ｐ内の手術部位Ｓに位置決めされる柔軟な遠位部分７０３とを有する。ロボット７０１は、本明細書において、特定のロボット処置に対して要求されるように柔軟な遠位部分７０３を操縦するための１つ又は複数の関節と２つ以上の対応するリンクとが動力制御されるように構造的に構成された、任意のロボットデバイスと広く定義される。柔軟な遠位部分７０３は、カメラ７１２と器具７１３とを含む、１つ又は複数のエンドエフェクタを含む。器具７１３は、例えば、グリッパー若しくは道具ホルダー、腹腔鏡器具、腹腔鏡、例えば脊椎固定手術時にネジを配置するための道具、生検若しくは治療用の針、組織若しくは腫瘍の撮像及びアブレーション用の超音波トランスデューサ、又は他の手術用若しくは介入用道具である。純粋に探査のための介入処置については、柔軟な遠位部分７０３は、カメラ７１２のみを含む。

[0070] 実際には、当業者には認識されるように、ロボット７０１は最低でも３自由度を有し、有益には６自由度以上を有する。ロボット７０１は、２つの交差するモータ軸を備えた遠隔運動中心（ＲＣＭ）機構を有してよい。また、ロボット７０１には、投光装置（図示せず）が関連付けられていてもよい。組み込むことが可能な操縦可能又は器用な手術用ロボットデバイスの一例は、参照により本明細書に組み込まれる、Ｓａｎｃｈｅｚによる米国特許第７，１２１，７８１号（２００６年１０月１７日）に記載されるものなどの、７自由度の汎用手関節である。この汎用手関節は、遠位部分に複数の関節と顎とを含み、近位部分に駆動システムを含む。このデバイスはさらに、ロボット位置決め機構とコンピュータコントローラを使用して位置決めすることができる。ロボット位置決めにより、解剖学的構造に対するデバイスの運動を追跡することが可能になる。エンドエフェクタが上記手関節に結合され、それにより、同じ枢動点を中心とした２つの別々の自由度が得られる。エンドエフェクタは、ピンによって移動及び作動させることができ、小型の低侵襲医療器具が可能となる。

[0071] 図７Ａには単一の硬い近位部分７０２と単一の対応する遠位部分７０３とを操作するための単一のロボット７０１が描かれているが、本教示の範囲から逸脱することなく、対応する複数の硬い近位部分及び／又は複数の硬い遠位部分を備えた複数のロボットが組み込まれてもよいことが理解される。すなわち、ロボット７０１は、手術部位Ｓにおいて複数のカメラ７１２と共に異なるエンドエフェクタを制御する複数のロボットアーム（図示せず）を含んでよい。例えば、１つのロボットアームが、手術部位Ｓのライブ画像を提供するためのカメラ７１２などの前方視カメラを含み、別のロボットアームが器具７１３並びに追加的な器具を含む。

[0072] カメラ７１２は、手術用ロボットシステム７００の制御ユニット７０６と共に撮像システムの一部をなし、これは、図２を参照して上記で論じた撮像システム２００と実質的に同様である。カメラ７１２は、前方光学視野又は傾斜光学視野を有する１つ又は複数の任意種類のカメラを含み、事前に定められたフレームレート（例えば、毎秒３０フレーム）で一連の２次元デジタルビデオフレームを獲得することが可能であり、また、各デジタルビデオフレームを、入力／出力回路７０８を介して制御ユニット７０６に提供することが可能であってよい。詳細には、カメラ７１２は、その視野の中で、ロボット７０１の柔軟な遠位部分７０３から手術部位Ｓ及びターゲット部分Ｔ（例えば、臓器）のライブ画像を獲得できるように位置及び向きが設定された前方視カメラであってよい。一実施形態では、硬い近位部分７０２は、ロボット７０１によって制御される内視鏡のようなデバイスであり、単一の硬い近位部分７０２が複数のチャネルを含み、それらの１つは、カメラ７１２の制御及び／又はそれとの通信を可能にし、チャネルのうち少なくとも１つの他のチャネルは、器具７１３又は他のエンドエフェクタの進入及び制御を可能にする。代替の実施形態では、カメラ７１２は、硬い近位部分７０２に対応する柔軟な遠位部分７０３に装着され、一方、他のエンドエフェクタは、他の硬い近位部分（図示せず）に対応する柔軟な遠位部分にあり、それらはすべてロボット７０１を介して制御される。さらに別の実施形態では、カメラ７１２は、別個の内視鏡の柔軟な遠位部分に装着され、ロボット７０１の一部ではなく、図７Ｂを参照して下記で論じるように、別個の内視鏡コントローラ（ロボット７０１と連携して動作する）の制御下にある。また、カメラ７１２は、３次元で知覚されることが可能な画像を提供する立体視カメラ又は立体視内視鏡であってもよい。立体視内視鏡の一例が、参照により本明細書に組み込まれる、Ｂｒｅｉｄｅｎｔｈａｌらによる米国特許第６，１３９，４９０号（２０００年１０月３１日）に記載されている。それに代えて、カメラ７１２は単眼であってもよく、表示ユニット７２１は、ユーザの両目に対応する２つの眼用ディスプレイに分割され、その場合、単眼画像が、２つの重なり合う半画像に分割され、２つの眼用ディスプレイの各々に別々に呈示されて、擬似的な立体視を作り出す。

[0073] 外部の医療画像デバイスが含まれてもよい。医療画像デバイスは、手術用ロボット７０１の柔軟な遠位部分７０３及び手術部位Ｓのターゲット部分Ｔのライブ画像を１つ又は複数獲得するように構成され、より包括的な概観を提供する。そのような医療画像デバイスは、対象者Ｐの一部分を少なくとも部分的に包囲するＣアーム（図示せず）を含んでもよい。Ｃアームは、放射線撮影機能を有し、当業者に知られるように、手術処置中の蛍光透視撮像に使用される。Ｘ線システムを実施するＣアームの一例が、参照により本明細書に組み込まれる、Ｐｏｐｏｖｉｃの米国特許第９，０９５，２５２号（２０１５年８月４日）に記載されている。

[0074] 図７Ｂは、別個の撮像内視鏡とそれに対応する内視鏡コントローラとを含む、代表的実施形態による手術用ロボットシステムを示す概略ブロック図である。図７Ｂは、手術用ロボットシステム７００’を描いており、これは、上記で論じたように、対象者の身体内に位置する手術部位で、ロボットにより操作可能な手術用器具及び他の道具を操作することを通例伴う医療処置に利用される。

[0075] 図７Ｂを参照すると、描かれる実施形態では、手術用ロボットシステム７００’は、少なくとも１つのロボット７０１、制御ユニット７０６、及びＡＲデバイス７２０を含む点で手術用ロボットシステム７００と同様である。ロボット７０１は、内部の手術処置を行うための手術道具などの少なくとも１つの器具７１３を含む１つ又は複数のエンドエフェクタを、対象者Ｐ内の手術部位Ｓに位置決めすべく操作するように構成される。

[0076] 加えて、手術用ロボットシステム７００’は、ロボット７０１とは別個の内視鏡７４２を制御するように構成された内視鏡コントローラ７４０を含む。内視鏡７４２は、遠位端に装着されたカメラ７１２を含む。内視鏡７４２及びカメラ７１２は、身体内の手術部位Ｓでライブ画像を獲得するように構成される。ＡＲデバイス７２０は、上記で論じたように、カメラ７１２によって獲得されたライブ画像を表示するように構成される。様々な実施形態において、内視鏡７４２は、硬い管又は柔軟な管、検査対象の臓器又は物体を照明する光送達システム（例えば、光源は通常、身体の外部にあり、光は通例、光ファイバシステムを介して誘導される）、対物レンズからビューワに画像を伝えるレンズ系、通例は、硬い内視鏡の場合にはリレーレンズ系、又はファイバスコープの場合は光ファイバの束、を含む。また、アイピースを持たないビデオスコープも企図され、その場合、カメラが、画像捕捉のために画面に画像を送信する。また、様々な実施形態において、カメラ７１２は、例えば立体視であり、画像データは、見かけ上３次元の画像を、例えばＡＲ表示ユニット７２１に表示することを可能にする。

[0077] 描かれる例では、ロボット７０１は、対象者Ｐの身体内の第１の入口点Ｅ１に位置決めされる硬い近位部分７０２と、対象者Ｐ内の手術部位Ｓに位置決めされる柔軟な遠位部分７０３とを有する。内視鏡７４２は、対象者Ｐの身体内の第２の入口点Ｅ２に位置決めされるシースを含む。内視鏡７４２は、複数のチャネルを含み、そのうちの１つは画像の獲得を提供し、チャネルのうち少なくとも１つの他のチャネルは、内視鏡コントローラ７４０によって制御される、医療器具若しくは操縦器、及び／又は手術部位Ｓを照明するための光源などの別の器具の進入及び制御を可能にする。

[0078] 制御ユニット７０６は、ロボット７０１及び内視鏡７４２の制御及び連携を含む、手術用ロボットシステム７００’の全体的な動作を制御し、その他の形で連携させるように構成される。制御ユニット７０６は、Ｉ／Ｏ回路７０８’を含み、Ｉ／Ｏ回路７０８’は、内視鏡コントローラ７４０と通信するための追加的なインターフェースを有する点でＩ／Ｏ回路７０８と異なる。よって、プロセッサ７３０は、一般に、獲得されたライブ画像を、カメラ７１２から内視鏡コントローラ７４０及びＩ／Ｏ回路７０８’を介して受け取り、獲得されたライブ画像を処理して、例えばメモリ７３４及び／又はＣＲＭ７３６に記憶するように構成され、それにより、プロセッサ７３０は、内視鏡７４２が通過した対象者Ｐの内部部分同士を基本的に視覚的にマッピングするデータベースを構築することができる。このデータベースはその後、下記で論じるように、ターゲット部分Ｔが選択されると、ターゲット部分Ｔまでの経路を決定するために使用することができる。プロセッサ７３０は、獲得されたライブ画像を、表示ユニット７２１に表示するためにＩ／Ｏ回路７０８’を介してＡＲデバイス７２０に送信する。代替の構成では、獲得されたライブ画像は、獲得されたライブ画像が内視鏡コントローラ７４０からＩ／Ｏ回路７０８’によって受け取られると、プロセッサ７３０による撮像処理は行われずに、Ｉ／Ｏ回路７０８’からＡＲデバイス７２０に送信される。

[0079] プロセッサ７３０はさらに、ＡＲ追跡システム７２２によって決定された追跡データを、Ｉ／Ｏ回路７０８’を介してＡＲデバイス７２０から受け取り、決定された追跡データを処理して、対象者Ｐ内の手術部位Ｓでターゲット（例えば、ターゲット部分Ｔ）を選択するように構成される。プロセッサ７３０はさらに、例えば例示的な器具７１３を含むロボット７０１の１つ又は複数のエンドエフェクタが選択されたターゲット部分Ｔに到達するための経路を、獲得されたライブ画像と、処理後の決定された追跡データとに基づいて決定するように構成される。プロセッサ７３０は、Ｉ／Ｏ回路７０８’を介してロボット７０１にロボット制御信号を送信して、１つ又は複数のエンドエフェクタを、決定された経路に沿って選択されたターゲット部分Ｔまで移動させる。

[0080] したがって、Ｉ／Ｏ回路７０８’は、獲得されたライブ画像を、内視鏡７４２及び内視鏡コントローラ７４０を介してカメラ７１２から受け取り、獲得されたライブ画像を、表示ユニット７２１に表示するためにプロセッサ７３０及び／又はＡＲデバイス７２０に提供する（直接、又は画像処理後にプロセッサ７３０から転送されるかのいずれか）。Ｉ／Ｏ回路７０８’はまた、ＡＲデバイス７２０から入力データ（追跡データを含む）を受け取り、それをプロセッサ７３０に提供し、追跡データに応じてプロセッサ７３０が決定したロボット制御信号をロボット７０１に送る。

[0081] ＡＲデバイス７２０（図７Ａ及び図７Ｂに示される）を参照すると、表示ユニット７２１は、ユーザの近くに併置される場合もある１つ又は複数のディスプレイを含む。例えば、ＡＲデバイス７２０がＨＵＤデバイスとして実施される場合、表示ユニット７２１は、ゴーグルのように、ヘッドピースの前部のユーザの目のすぐ前に取り付けられる。表示ユニット７２１は、上記で論じたように手術部位Ｓのライブ画像を表示するように構成され、ユーザは自身の頭部及び／又は目を動かして表示ユニット７２１に表示されたライブ画像を観察し、選択のためにターゲットを追跡し、それにより、手術部位を観察して処置を行うために外科医が自身の頭部及び／又は目を動かす実際の手術処置を模擬する。カメラ７１２が立体視画像を提供する場合、表示ユニット７２１に表示されたライブ画像は３次元に見える。一実施形態では、表示ユニット７２１は、術前画像も表示する。よって、少なくとも１つのカメラ７１２からの画像は、捕捉されてＨＵＤデバイスに表示される。

[0082] ＨＵＤデバイスは、１つ又は複数のＡＲ－ＨＵＤディスプレイを備えた、拡張現実ヘッドアップディスプレイ（ＡＲ－ＨＵＤ）デバイスとも呼ばれる。例示的な設計は、左目用ディスプレイ及び右眼用ディスプレイを用いるが、それに代えて、ディスプレイは、両目にまたがる単一の大きな窓とすることができる。いくつかの例では、ＡＲ－ＨＵＤデバイスは、ユーザの頭部に装着されるために、ヘルメット、頭部バンド、眼鏡、ゴーグル、又は他の好適な実施形態として構成され得る。

[0083] プロセッサ７３０は、追跡データを処理して、表示ユニット７２１（及びそこに表示されたライブ画像）との関係でユーザの頭部の角度を決定することによってターゲット部分Ｔを特定又は選択することができ、ここで、頭部の角度は、ユーザが見ている、手術部位Ｓ内のターゲット部分Ｔを構成するライブ画像の領域又は点を示す。ユーザが表示ユニット７２１上の手術野Ｓ内のターゲット部分Ｔの位置に満足すると、制御ユニット７０６内のプロセッサ７３０に確認信号が送られる（例えば、足ペダル、押しボタン、又は音声コマンドを介して）。プロセッサ７３０は、選択されたターゲット部分Ｔに対応する２次元又は３次元の座標を割り当てる（又はアドレス指定する）。対象者Ｐの身体内の入口点Ｅの場所と、選択されたターゲット部分Ｔの座標とを把握し、カメラ７１２から獲得されたライブ画像のデータベースを併用して、プロセッサ７３０は、ロボット７０１により操作可能な少なくとも１つの器具７１３が選択されたターゲット部分Ｔに到達するための経路（又はベクトル）を決定することができる。ロボットにより制御される器具が患者の手術部位内のターゲットに到達するためのそのような経路を決定する一例が、参照により本明細書に組み込まれる、Ｐｏｐｏｖｉｃらの米国特許第８，９３４，００３号（２０１５年１月１３日）により提供される。プロセッサ７３０は、次いで、ロボット７０１にロボット制御信号を送信して、ロボット７０１に、少なくとも１つの器具７１３の遠位端を、決定された経路を介してターゲット部分Ｔまで誘導させることができる。すなわち、制御ユニット７０６は、ロボット７０１にコマンドを発して、選択されたターゲット部分Ｔの位置まで移動させる。ロボット７０１の各関節の必要とされる運動は、当技術分野で知られる方法を使用してプロセッサ７３０によって実施される。例えば、ロボット７０１は、当技術分野で知られる視覚的サーボ制御方法を利用する。

[0084] 再び図７Ａ及び図７Ｂを参照すると、制御ユニット７０６は、本明細書において、手術部位Ｓにおけるカメラ７１２及びターゲット部分Ｔからの画像（例えば、ライブ、探査、術前）の獲得及び処理を制御する１つ又は複数の制御コマンドを提供し、ＡＲデバイス７２０からのターゲット部分Ｔの選択に関係する追跡情報を利用してターゲット部分Ｔまでの経路を決定し、さらに、柔軟な遠位部分７０３を制御するように構造的に構成された、任意のコントローラとして広く定義される。一般に、Ｉ／Ｏ回路７０８は、制御ユニット７０６の外部にある要素及びデバイス間の通信を制御する。Ｉ／Ｏ回路７０８は、プロセッサ７３０、ＡＲデバイス７２０、及びロボット７０１との間の入力信号及び出力信号又はデータを解釈するための必要な論理を含んだインターフェースの役割を果たす。Ｉ／Ｏ回路７０８は、獲得されたライブ画像をカメラ７１２から受け取るように構成された第１の入力と、獲得されたライブ画像を、最終的には表示のためにプロセッサ７３０及びＡＲデバイス７２０の少なくとも一方に提供するように構成された第１の出力とを含む。Ｉ／Ｏ回路７０８はさらに、追跡データを含む決定された入力データをＡＲデバイス７２０から受け取るように構成された第２の入力と、決定された入力データをプロセッサ７３０に提供する（プロセッサ７３０はその入力データを処理して、それに応じてターゲット部分Ｔを特定し、選択する）ように構成された第２の出力と、ロボット制御信号をロボット７０１に提供するように構成された第３の出力とを含む。

[0085] プロセッサ７３０は、記載される機能及び動作を、ハードウェア、ソフトウェア、及びファームウェアの組み合わせを使用して行う。プロセッサ７３０は、手術部位Ｓにある手術用ロボット７０１の柔軟な遠位部分７０３に関係する医療画像（例えば、カメラ７１２又は外部の医療画像デバイスからの）を処理して、柔軟な遠位部分７０３を、手術部位Ｓにある対応する解剖学的構造と位置合わせするように構成される。プロセッサ７３０は、位置追跡システム（図示せず）からの手術用ロボット７０１の硬い近位部分７０２の追加的な位置追跡情報を処理して、硬い近位部分７０２の運動を決定するように構成される。位置追跡システムは、追跡システム７２２とは別個であり、当業者には認識されるように、光学追跡システム、機械的追跡システム、電磁追跡システムの１つ又は複数であってよい。センサ又はタグ（例えば、発光ダイオード（ＬＥＤ）、受動マーカ、反射マーカ等）が手術用ロボット７０１の硬い近位部分７０２に含められて、位置追跡システムと協働してよい。一実施形態では、位置補償モードが設けられ、そのモードに従って、プロセッサ７３０は、硬い近位部分７０２の決定された位置及び運動に基づいて、手術用ロボット７０１の柔軟な遠位部分７０３の運動補償信号を生成するように構成される。

[0086] 実際には、論じられる制御プロセスは、ハードウェア、ソフトウェア、及び／又は任意のプラットフォーム（例えば、汎用コンピュータ、特定用途集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等）にインストールされたファームウェアの任意の組み合わせによって具現化されるモジュールによって実施される。さらに、処理は、制御ユニット７０６のプロセッサ７３０によって行われる。

[0087] 本明細書及び添付の特許請求の範囲で使用される場合、単数形は、文脈が明らかに別途指示しない限りは、単数形の指示対象と複数形の指示対象の両方を含む。よって、例えば、「デバイス」は、１つのデバイス及び複数のデバイスを含む。また、例えば、「Ａ／Ｂ」、「Ａ及び／又はＢ」及び「Ａ及びＢの少なくとも１つ」の場合などの、「／」、「及び／又は」、並びに「～の少なくとも１つ」の使用はいずれも、第１の列挙される選択肢（Ａ）のみの選択、第２の列挙される選択肢（Ｂ）のみの選択、又は両方の選択肢（Ａ及びＢ）の選択を包含することが意図されることが理解されるべきである。

[0088] 本明細書において使用される場合、２つ以上の部分又は構成要素が「結合されて」いるという記述は、それらの部分が直接、又は間接的に、すなわち、連結が発生する限り１つ若しくは複数の中間部分若しくは構成要素を介して一緒につながれているか、一緒に動作することを意味するものとする。

[0089] 方向を表す用語／句及び相対的な用語／句は、添付図面に図示されるように、様々な要素の互いとの関係を記述するために使用される。これらの用語／句は、図面に描かれる向きに加えて、デバイス及び／又は要素の異なる向きを包含することが意図される。

[0090] 本明細書で使用される「コンピュータ可読記憶媒体」は、コンピューティングデバイスのプロセッサにより実行可能な命令を記憶する任意の有形の記憶媒体を包含する。コンピュータ可読記憶媒体は、一時的な伝搬信号などの一時的媒体と区別するために、非一時的なコンピュータ可読記憶媒体と称することがある。コンピュータ可読記憶媒体は、有形のコンピュータ可読媒体と称される場合もある。

[0091] いくつかの実施形態では、メモリ及び／又はコンピュータ可読記憶媒体は、コンピューティングデバイスのプロセッサによりアクセスされることが可能なデータを記憶することも可能である。メモリ及びコンピュータ可読記憶媒体の例には、これらに限定されないが、フロッピーディスク、磁気ハードディスクドライブ、固体状態ハードディスク、フラッシュメモリ、ＵＳＢサムドライブ、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、光ディスク、光磁気ディスク及びプロセッサのレジスタファイルが含まれる。光ディスクの例には、コンパクトディスク（ＣＤ）及びデジタル多用途ディスク（ＤＶＤ）、例えば、ＣＤ－ＲＯＭ、ＣＤ－ＲＷ、ＣＤ－Ｒ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＷ、又はＤＶＤ－Ｒディスクが含まれる。用語、コンピュータ可読記憶媒体は、ネットワーク又は通信リンクを介してコンピュータからアクセスされることが可能な様々な種類の記録媒体も指す。例えば、データは、モデムを通じて、又はインターネットを通じて、又はローカルエリアネットワークを通じて取り出される。コンピュータ可読記憶媒体の言及は、場合により複数のコンピュータ可読記憶媒体であると解釈されるべきである。１つ又は複数のプログラムの様々な実行可能コンポーネントは、様々な場所に記憶される。コンピュータ可読記憶媒体は、例えば、同じコンピュータシステム内の複数のコンピュータ可読記憶媒体である。コンピュータ可読記憶媒体は、複数のコンピュータシステム又はコンピューティングデバイス間に分散されたコンピュータ可読記憶媒体であってもよい。

[0092] 「メモリ」は、コンピュータ可読記憶媒体の一例である。コンピュータメモリは、プロセッサが直接アクセスできる任意のメモリである。コンピュータメモリの例には、これらに限定されないが、ＲＡＭメモリ、レジスタ、及びレジスタファイルが含まれる。「コンピュータメモリ」又は「メモリ」の言及は、場合によっては複数のメモリであると解釈されるべきである。メモリは、例えば、同じコンピュータシステム内にある複数のメモリである。メモリは、複数のコンピュータシステム又はコンピューティングデバイスに分散された複数のメモリであってもよい。

[0093] コンピュータストレージは、任意の不揮発性のコンピュータ可読記憶媒体である。コンピュータストレージの例には、これらに限定されないが、ハードディスクドライブ、ＵＳＢサムドライブ、フロッピードライブ、スマートカード、ＤＶＤ、ＣＤ－ＲＯＭ、及び固体状態ハードドライブが含まれる。いくつかの実施形態では、コンピュータストレージはコンピュータメモリでもあり、その逆も同様である。「コンピュータストレージ」又は「ストレージ」の言及は、場合によっては複数の記憶装置又は構成要素を含むものと解釈すべきである。例えば、ストレージは、同じコンピュータシステム又はコンピューティングデバイス内にある複数の記憶装置を含む。ストレージは、複数のコンピュータシステム又はコンピューティングデバイスに分散された複数のストレージも含む。

[0094] 本明細書で使用される「プロセッサ」は、プログラム又は機械実行可能命令を実行することが可能な電子構成要素を包含する。「プロセッサ」を備えるコンピューティングデバイスの言及は、場合によっては２つ以上のプロセッサ又は処理コアを含んでいるものと解釈すべきである。プロセッサは、例えばマルチコアプロセッサである。プロセッサは、単一のコンピュータシステム内にあるか又は複数のコンピュータシステムに分散された、プロセッサの集まりを指す場合もある。コンピューティングデバイスという用語は、場合によっては、各々が１つ又は複数のプロセッサを備えたコンピューティングデバイスの集まり又はネットワークを指すものとも解釈すべきである。多くのプログラムは、同じコンピューティングデバイス内にあるか、さらには複数のコンピューティングデバイスに分散されている複数のプロセッサによって実行される命令を有する。

[0095] 本明細書において使用される「ユーザインターフェース」又は「ユーザ入力装置」は、ユーザ又はオペレータがコンピュータ又はコンピュータシステムと対話することを可能にするインターフェースである。ユーザインターフェースは、オペレータに情報若しくはデータを提供する、及び／又はオペレータから情報若しくはデータを受け取る。ユーザインターフェースは、オペレータからの入力がコンピュータによって受け取られることを可能にし、コンピュータからユーザへの出力を提供する。換言すると、ユーザインターフェースは、オペレータがコンピュータを制御又は操作することを可能にし、インターフェースは、コンピュータが、ユーザの制御又は操作の結果を示すことを可能にする。ディスプレイ又はグラフィカルユーザインターフェース上でのデータ又は情報の表示は、オペレータに情報を提供する一例である。タッチ画面、キーボード、マウス、トラックボール、タッチパッド、ポインティングスティック、グラフィックタブレット、ジョイスティック、及びヘッドセット（例えば、ＡＲ－ＨＵＤ）を通じてデータを受け取ることはすべて、ユーザからの情報又はデータの受け取りを可能にするユーザインターフェース構成要素の例である。

[0096] 本明細書において使用される「ディスプレイ」又は「表示デバイス」又は「表示ユニット」は、画像又はデータを表示するために適合された出力装置又はユーザインターフェースを包含する。ディスプレイは、視覚データ、オーディオデータ、又は触覚データを出力する。ディスプレイの例には、これらに限定されないが、コンピュータモニタ、テレビ画面、タッチ画面、触覚電子ディスプレイ、点字画面、陰極線管（ＣＲＴ）、蓄積管、双安定ディスプレイ、電子ペーパー、ベクトルディスプレイ、フラットパネルディスプレイ、真空蛍光ディスプレイ（ＶＦ）、発光ダイオード（ＬＥＤ）ディスプレイ、エレクトロルミネッセントディスプレイ（ＥＬＤ）、プラズマディスプレイパネル（ＰＤＰ）、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオードディスプレイ（ＯＬＥＤ）、プロジェクタ、及び頭部装着型ディスプレイが含まれる。

[0097] 様々な実施形態が図面及び上述の説明に図示及び説明されたが、そのような図示及び説明は、説明のため又は例示的なものであり、制限的なものではないとみなすべきである。本発明は、開示された実施形態に制限されない。

Claims (15)

1. カラービデオ獲得能力を有し、物体の内部に挿入可能な介入器具の遠位端に取り付けられたカメラであって、前記物体の血管構造を撮像するための複数の画像フレームを提供し、各画像フレームは、それぞれ対応する信号を提供する複数のピクセルを備える、カメラと、
   ディスプレイと、
   プロセッサと、を備える撮像システムあって、
   前記プロセッサが、
   前記信号を受け取ることと、
   前記複数のピクセルに対応する前記信号の色及び運動の少なくとも一方における変動を増幅して、増幅された信号を提供することと、
   それぞれ前記複数のピクセルに対応する前記増幅された信号のうち少なくとも一部の信号の空間位相変動性、周波数、及び信号特性の少なくとも１つを決定することと、
   前記増幅された信号のうち前記少なくとも一部の信号の空間位相変動性、周波数、及び信号特性の前記少なくとも１つに基づいて、前記複数のピクセルのうち異常な血管を示すピクセルを特定することと、
   特定された前記ピクセルを使用して、前記増幅された信号のうち前記少なくとも一部の信号の空間位相変動性、周波数、及び信号特性の前記少なくとも１つの各々に対応する血管マップを作成することであって、各血管マップは、前記異常な血管を有する前記物体の部分を含む、作成することと、
   各血管マップを表示するように前記ディスプレイを動作させることと
   を行う、撮像システム。
2. 前記プロセッサがさらに、前記増幅された信号のうち前記少なくとも一部の信号の空間位相変動性、周波数、及び信号特性の前記少なくとも１つの各々に対応する前記血管マップのうち少なくとも２つの組み合わせを備える総合血管マップを作成する、請求項１に記載の撮像システム。
3. 前記総合血管マップは、前記増幅された信号のうち前記少なくとも一部の信号の空間位相変動性、周波数、及び信号特性の前記少なくとも１つの各々に対応する前記血管マップのうちいずれか１つによって提供されるコントラストよりも先鋭なコントラストを、前記異常な血管を有する前記物体の前記部分と、正常な血管を有する前記物体の別の部分との間に提供する、請求項２に記載の撮像システム。
4. 前記信号の色及び運動の少なくとも一方における前記変動が、オイラービデオ拡大を使用して増幅される、請求項１に記載の撮像システム。
5. 前記プロセッサが、
   前記複数のピクセルのうち隣接するピクセル間の位相シフトをそれぞれ決定することと、
   増幅された画像フレームに対応する位相マップを提供することであって、各増幅された画像フレームは前記複数のピクセルを含む、提供することと、
   前記位相マップについて、前記隣接するピクセル間の前記位相シフトの標準偏差を決定することと、
   正常な血管に対応する閾値標準偏差よりも高い標準偏差を有する前記位相マップ中の前記ピクセルを、異常な血管を示すものとして特定することと、
   により、空間位相変動性に基づいて、異常な血管を示す前記ピクセルを特定する、請求項１に記載の撮像システム。
6. 前記プロセッサが、
   前記複数のピクセルに対応する前記増幅された信号の周波数成分をそれぞれ決定することと、
   対応する周波数成分を生理学的許容通過帯域の外側に有するピクセルを、異常な血管を示すものとして特定することと、
   により、周波数に基づいて、異常な血管を示す前記ピクセルを特定する、請求項１に記載の撮像システム。
7. 前記生理学的許容通過帯域が、前記物体の脈拍数の想定範囲に対応する、請求項６に記載の撮像システム。
8. 前記プロセッサが、対応する周波数成分を前記生理学的許容通過帯域の外側に有する前記ピクセルを、
   前記増幅された信号にフーリエ変換を行って、対応する周波数スペクトルを提供することと、
   前記周波数スペクトル内の最も大きいピーク成分を特定することと、
   前記最も大きいピーク成分がそれぞれ前記生理学的許容通過帯域の外側にあるかどうかを決定することと、
   により特定する、請求項６に記載の撮像システム。
9. 前記プロセッサが、
   前記増幅された信号にフーリエ変換を行って、対応する周波数スペクトルを提供することと、
   前記周波数スペクトル内の最も大きいピーク成分を特定することと、
   前記最も大きいピーク成分の曲線下面積又は半値全幅をそれぞれ決定することと、
   正常な血管に対応する閾値曲線下面積又は半値全幅未満の、対応する曲線下面積又は半値全幅を有するピクセルを、異常な血管を示すものとして特定することと、
   により、信号特性に基づいて、異常な血管を示すピクセルを特定する、請求項１に記載の撮像システム。
10. 前記介入器具が内視鏡を含む、請求項１に記載の撮像システム。
11. 前記総合血管マップが、増幅された前記信号のうち前記少なくとも一部の信号の空間位相変動性、周波数、及び信号特性の各々に対応するすべての前記血管マップの組み合わせに基づいて作成される、請求項２に記載の撮像システム。
12. 前記ディスプレイが、前記血管マップのうち少なくとも１つ又は前記血管マップのうちの少なくとも２つの前記組み合わせを表示するために、拡張現実ヘッドアップディスプレイデバイスの中に組み込まれ、前記拡張現実ヘッドアップディスプレイデバイスが、ユーザによって装着されるヘッドピースを備える、請求項２に記載の撮像システム。
13. 対象者内部の異常な組織を示す異常な血管を、カラービデオ獲得能力を有するカメラであって、前記対象者の内部に挿入可能な介入器具の遠位端に取り付けられたカメラからの画像を使用して特定する方法であって、前記方法が、
    前記対象者内のターゲット部分の血管構造を撮像するために前記ターゲット部分から前記カメラによって提供される複数の画像フレームの各々の中の複数のピクセルに対応する信号を受け取るステップと、
    前記複数の画像フレームの各々の中の前記複数のピクセルに対応する前記信号の色及び運動の少なくとも一方における変動を増幅して、それぞれ増幅された信号を提供するステップと、
    それぞれ前記複数のピクセルに対応する前記増幅された信号のうち少なくとも一部の信号の空間位相変動性、周波数、及び信号特性の少なくとも１つを決定するステップと、
    前記増幅された信号のうち前記少なくとも一部の信号の空間位相変動性、周波数、及び信号特性の前記少なくとも１つに基づいて、前記複数の画像フレームの各々の中の前記複数のピクセルのうち、異常な血管を示すピクセルを特定するステップと、
    特定された前記ピクセルを使用して、前記増幅された信号のうち前記少なくとも一部の信号の空間位相変動性、周波数、及び信号特性の前記少なくとも１つの各々に対応する血管マップを作成するステップであって、各血管マップは、前記異常な血管を有する前記対象者の部分を含む、作成するステップと、
    各血管マップを表示するステップと
    を有する、方法。
14. 前記増幅された信号のうち前記少なくとも一部の信号の空間位相変動性、周波数、及び信号特性の前記少なくとも１つの各々に対応する前記血管マップのうち少なくとも２つを組み合わせて、総合血管マップを作成するステップと、
    前記総合血管マップを表示するステップと
    をさらに有する、請求項１３に記載の方法。
15. 対象者内部の異常な組織を示す異常な血管を、カラービデオ獲得能力を有するカメラであって、前記対象者の内部に挿入可能な介入器具の遠位端に取り付けられたカメラからの画像を使用して特定するためにコンピュータプロセッサにより実行可能なソフトウェアを含むコンピュータ可読媒体であって、前記コンピュータ可読媒体が、
    前記対象者内のターゲット部分の血管構造を撮像するために前記ターゲット部分から前記介入器具を介して前記カメラによって提供される複数の画像フレームの各々の中の複数のピクセルに対応する信号を受け取るための受取りコードと、
    前記複数の画像フレームの各々の中の前記複数のピクセルに対応する前記信号の少なくとも運動の変動を増幅して、それぞれ増幅された信号を提供するための増幅コードと、
    それぞれ前記複数のピクセルに対応する前記増幅された信号のうち少なくとも一部の信号の空間位相変動性、周波数、及び信号特性の少なくとも１つを決定するための決定コードと、
    前記増幅された信号のうち前記少なくとも一部の信号の空間位相変動性、周波数、及び信号特性の前記少なくとも１つに基づいて、前記複数の画像フレームの各々の中の前記複数のピクセルのうち、異常な血管を示すピクセルを特定するための特定コードと、
    特定された前記ピクセルを使用して、前記増幅された信号のうち前記少なくとも一部の信号の空間位相変動性、周波数、及び信号特性の前記少なくとも１つの各々に対応する血管マップを作成するための作成コードであって、各血管マップは、前記異常な血管を有する前記対象者の部分を含む、作成コードと、
    前記増幅された信号のうち前記少なくとも一部の信号の空間位相変動性、周波数、及び信号特性の前記少なくとも１つの各々に対応する前記血管マップのうち少なくとも２つを組み合わせることにより、総合血管マップを提供するための組み合わせコードと、
    前記総合血管マップをディスプレイ上に表示させるための表示コードであって、表示された前記総合血管マップは、前記異常な血管を有する前記対象者の前記部分を、正常な血管を有する前記対象者の部分との強化されたコントラストによって示す、表示コードと
    を含む、コンピュータ可読媒体。

Images