JP7130003B2

JP7130003B2 - 画像捕捉デバイスの視野内の物体の検出のためのシステムおよび方法

Info

Publication number: JP7130003B2
Application number: JP2019564993A
Authority: JP
Inventors: アレクセイシャロノフ，
Original assignee: コヴィディエンリミテッドパートナーシップ
Priority date: 2017-05-25
Filing date: 2018-05-08
Publication date: 2022-09-02
Anticipated expiration: 2038-05-08
Also published as: CN110177518B; CN110177518A; EP3629981A4; WO2018217444A2; JP2020520760A; EP3629981A2; WO2018217444A3; US20200155254A1; US11553974B2

Description

ロボット外科用システムは、低侵襲医療処置においてますます使用されている。典型的に、ロボット外科用システムは、外科用器具および／またはカメラが結合される１つ以上のロボットアームから離れて位置する外科医コンソールを含む。外科医コンソールは、ロボットアームから手術室の別の側面上、別の部屋に、または別の建物に位置付けられ得、外科医からの入力を受信するための入力ハンドルまたは他の入力デバイスを含む。入力は、中央コントローラと通信され、中央コントローラは、入力を患者付近のロボットアームを操作するためのコマンドに変換する。

外科用部位を見るために、外科医コンソールは、三次元（３Ｄ）表示と呼ばれることもある立体表示を含み得る。いくつかの構成では、外科医によって着用される、対応する一対の立体眼鏡と組み合わせて、かかる表示は、左目と右目の間のオフセットの効果を再現する、左目と右目にそれぞれ別々に提供される一対の別個の画像として外科医に画像を提示することによって、画像の奥行き知覚を促進し、これにより、各目で表示内で見られるものに違いをもたらす。各目により、表示内で見られる異なる画像は、画像内の物体の深度における違いとして認識される。他の構成では、立体表示は、眼鏡を必要とせずに表示される。

外科医コンソールは、外科医の画像を捕捉するように位置決めされたカメラをさらに含み得る。捕捉された画像は、外科医の目または頭部の位置を追跡して、外科医が表示を見ていないインスタンスを検出するために使用され得る。ロボットシステムのいくつかの構成では、中央コントローラは、外科医の検出された目または頭部の位置に応じて、器具の移動を防止するために、信号を生成、または生成された信号を遮断し得る。

ロボット外科用システムおよびロボット外科用システムを操作するための方法が、提供される。本開示の一態様に従って、ロボット外科用システムは、ロボットアーム、外科医コンソール、プロセッサ、およびメモリを含む。外科医コンソールは、光源と、所定範囲内の波長を有する光を反射するように構成された光学素子と、光学素子によって反射された光を検出するように構成された画像捕捉デバイスと、通知を提供するように構成された通知デバイスと、を含む。プロセッサは、ロボットアームと動作可能に結合され、コンソールと通信する。メモリは、内部に記憶された命令を有し、プロセッサによって実行されると、プロセッサに、画像捕捉デバイスによって、光学素子により反射される光の不在または存在を検出させ、かつ画像捕捉デバイスが光学素子によって反射された光の不在を検出することに応じて、通知デバイスに通知を提供させる。

本開示の別の態様では、ロボット外科用システムは、光学素子を含むウェアラブルデバイスを含む。

本開示の別の態様では、光学素子は、拡散／反射素子を含む。

本開示の別の態様では、拡散／反射素子は、複数の仕切りを含む。本開示のさらに別の態様では、光学素子は、所定範囲内の波長を有する光を反射するように構成された反射素子を有する透明体を含むフィルムを含む。

本開示のさらに別の態様では、光学素子は、第１の所定範囲内の波長を有する光を反射して、第１の形状が視覚的に認識されることを許容するように構成された第１の拡散素子と、第２の所定範囲内の波長を有する光を反射して、第２の形状が視覚的に認識されることを許容するように構成された第２の拡散素子と、を有する透明体を含むフィルムを含み、画像捕捉デバイスは、第１の形状および第２の形状を検出するように構成され、通知デバイスは、画像捕捉デバイスが第１の形状の不在を検出することに応じて、通知を提供するようにさらに構成される。

本開示の別の態様では、外科医コンソールは、入力ハンドルをさらに含み、メモリは、内部に記憶されたさらなる命令を有し、プロセッサによって実行されると、入力ハンドルの操作に応じて、プロセッサに信号を生成させ、かつ画像捕捉デバイスが光学素子によって反射された光の不在を検出することに応じて、入力ハンドルを無効にさせる。本開示のさらに別の態様では、メモリは、内部に記憶されたさらなる命令を有し、プロセッサによって実行されると、画像捕捉デバイスが、閾値期間よりも長い期間、光学素子によって反射された光の不在を検出することに応じて、プロセッサに入力ハンドルを無効にさせる。

本開示の別の態様では、メモリは、内部に記憶されたさらなる命令を有し、プロセッサによって実行されると、画像捕捉デバイスが、閾値期間よりも長い期間、光学素子によって反射された光の不在を検出することに応じて、通知デバイスに通知を提供させることをプロセッサに行わせる。

本開示の別の態様に従って、ロボット外科用システムを操作する方法が提供され、ロボット外科用システムの画像捕捉デバイスによって検出されるように構成された光学素子において光を方向付けることであって、光学素子が、所定範囲内の波長を有する光を反射するように構成される、方向付けることと、光学素子の画像を捕捉する画像捕捉デバイスを使用して、光学素子からの反射光の不在または存在を検出することと、画像捕捉デバイスによる光学素子からの反射光の不在の検出に応じて、通知を提供することと、を含む。

本開示の別の態様では、光学素子はウェアラブルデバイス上に配設される。

本開示の別の態様では、拡散／反射素子は、複数の仕切りを含む。

本開示の別の態様では、光学素子は、所定範囲内の波長を有する光を反射するように構成された反射素子を有する透明体を含むフィルムを含む。

本開示の別の態様では、光学素子は、第１の所定範囲内の波長を有する光を反射して、第１の形状が視覚的に認識されることを許容するように構成された第１の拡散素子と、第２の所定範囲内の波長を有する光を反射して、第２の形状が視覚的に認識されることを許容するように構成された第２の拡散素子と、を有する透明体を含むフィルムを含み、本方法は、画像捕捉デバイスを使用して、第１の形状および第２の形状の不在または存在を検出することと、画像捕捉デバイスが第１の形状の不在を検出することに応じて、通知を提供することと、をさらに含む。

本開示の別の態様では、本方法は、ロボット外科用システムの入力ハンドルの操作に応じて、信号を生成することと、画像捕捉デバイスが光学素子におって反射された光の不在を検出することに応じて、入力ハンドルを無効にすることと、をさらに含む。

本開示の別の態様では、本方法は、画像捕捉デバイスが、閾値期間よりも長い期間、光学素子によって反射された光の不在を検出することに応じて、入力ハンドルを無効にすること、をさらに含む。

本開示の別の態様では、本方法は、画像捕捉デバイスが、閾値期間よりも長い期間、光学素子によって反射された光の不在を検出することに応じて、通知デバイスに通知を提供させること、をさらに含む。

本開示の例示的な実施形態のさらなる詳細および態様が、添付の図面を参照して以下により詳細に説明される。
本発明は、例えば、以下を提供する。
（項目１）
ロボット外科用システムであって、
ロボットアームと、
外科医コンソールであって、
光源と、
所定範囲内の波長を有する光を反射するように構成された光学素子と、
前記光学素子によって反射された前記光を検出するように構成された画像捕捉デバイスと、
通知を提供するように構成された通知デバイスと、を含む、外科医コンソールと、
前記ロボットアームに動作可能に結合され、前記コンソールと通信するプロセッサと、
内部に記憶された命令を有するメモリであって、前記プロセッサによって実行されると、前記プロセッサに
前記光学素子によって反射された前記光の不在または存在を前記画像捕捉デバイスによって検出することと、
前記画像捕捉デバイスが前記光学素子によって反射された前記光の前記不在を検出することに応じて、前記通知デバイスに前記通知を提供させることと、を行わせる、メモリと、を含む、システム。
（項目２）
前記光学素子を含むウェアラブルデバイスをさらに備える、項目１に記載のロボット外科用システム。
（項目３）
前記光学素子が、拡散／反射素子を含む、項目２に記載のロボット外科用システム。
（項目４）
前記拡散／反射素子が、複数の仕切りを含む、項目３に記載のロボット外科用システム。
（項目５）
前記光学素子が、前記所定範囲内の波長を有する光を反射するように構成された反射素子を有する透明体を含むフィルムを含む、項目３に記載のロボット外科用システム。
（項目６）
前記光学素子が、第１の所定範囲内の波長を有する光を反射して、第１の形状が視覚的に認識されることを許容するように構成された第１の拡散素子と、第２の所定範囲内の波長を有する光を反射して、第２の形状が視覚的に認識されることを許容するように構成された第２の拡散素子と、を有する透明体を含むフィルムを含み、
前記画像捕捉デバイスが、前記第１の形状および前記第２の形状を検出するように構成され、前記画像捕捉デバイスが前記第１の形状の前記不在を検出することに応じて、前記通知デバイスが、前記通知を提供するようにさらに構成されている、項目３に記載のロボット外科用システム。
（項目７）
前記外科医コンソールが、入力ハンドルをさらに含み、
前記メモリが、内部に記憶されたさらなる命令を有し、前記プロセッサによって実行されると、前記プロセッサに、
前記入力ハンドルの操作に応じて、信号を生成することと、
前記画像捕捉デバイスが前記光学素子によって反射された前記光の前記不在を検出することに応じて、前記入力ハンドルを無効にすることと、を行わせる、項目１に記載のロボット外科用システム。
（項目８）
前記メモリが、内部に記憶されたさらなる命令を有し、前記プロセッサによって実行されると、前記プロセッサに、
前記画像捕捉デバイスが閾値期間よりも長い期間、前記光学素子によって反射された前記光の前記不在を検出することに応じて、前記入力ハンドルを無効にすること、を行わせる、項目７に記載のロボット外科用システム。
（項目９）
前記メモリが、内部に記憶されたさらなる命令を有し、前記プロセッサによって実行されると、前記プロセッサに、
前記画像捕捉デバイスが閾値期間よりも長い期間、前記光学素子によって反射された前記光の前記不在を検出することに応じて、前記通知デバイスに前記通知を提供させること、を行わせる、項目１に記載のロボット外科用システム。
（項目１０）
ロボット外科用システムを操作する方法であって、
前記ロボット外科用システムの画像捕捉デバイスによって検出されるように構成された光学素子において光を方向付けることであって、前記光学素子が、所定範囲内の波長を有する光を反射するように構成されている、方向付けることと、
前記光学素子の画像を捕捉する画像捕捉デバイスを使用して、前記光学素子からの前記反射光の不在または存在を検出することと、
前記画像捕捉デバイスによる、前記光学素子からの前記反射光の前記不在の前記検出に応じて、通知を提供することと、を含む、方法。
（項目１１）
前記光学素子が、ウェアラブルデバイス上に配設されている、項目８に記載の方法。
（項目１２）
前記光学素子が、拡散／反射素子を含む、項目８に記載の方法。
（項目１３）
前記拡散／反射素子が、複数の仕切りを含む、項目１２に記載の方法。
（項目１４）
前記光学素子が、前記所定範囲内の波長を有する光を反射するように構成された、反射素子を有する透明体を含むフィルムを含む、項目１２に記載の方法。
（項目１５）
前記光学素子が、第１の所定範囲内の波長を有する光を反射して、第１の形状が視覚的に認識されることを許容するように構成された第１の拡散素子と、第２の所定範囲内の波長を有する光を反射して、第２の形状が視覚的に認識されることを許容するように構成された第２の拡散素子と、を有する透明体を含むフィルムを含み、
前記画像捕捉デバイスを使用して、前記第１の形状および前記第２の形状の不在または存在を検出することと、
前記画像捕捉デバイスが前記第１の形状の前記不在を検出することに応じて、前記通知を提供することと、をさらに含む、項目１２に記載の方法。
（項目１６）
前記ロボット外科用システムの入力ハンドルの操作に応じて、信号を生成することと、
前記画像捕捉デバイスが、前記光学素子によって反射された前記光の前記不在を検出することに応じて、前記入力ハンドルを無効にすることと、をさらに含む、項目１０に記載の方法。
（項目１７）
前記画像捕捉デバイスが閾値期間よりも長い期間、前記光学素子によって反射された前記光の前記不在を検出することに応じて、前記入力ハンドルを無効にすることをさらに含む、項目１６に記載の方法。
（項目１８）
前記画像捕捉デバイスが閾値期間よりも長い期間、前記光学素子によって反射された前記光の前記不在を検出することに応じて、前記通知デバイスに前記通知を提供させることをさらに含む、項目１０に記載の方法。

添付の図面を参照しながら本開示の実施形態を本明細書に記載する。

本開示に従って、ロボット外科用システムの概略図である。本開示に従って、図１のロボット外科用システムに実装するための表示システムの一部の斜視図である。一実施形態に従って、図１のロボット外科用システムにおいて使用するためのマーカーおよび画像捕捉デバイスの簡略図である。別の実施形態に従って、図１のロボット外科用システムにおいて使用するためのマーカーおよび画像捕捉デバイスの簡略図である。さらに別の実施形態に従って、図１のロボット外科用システムにおいて使用するためのマーカーおよび画像捕捉デバイスの簡略図である。一実施形態に従って、図１のロボット外科用システムにおいて使用するためのヘッドセット上のマーカーおよび画像捕捉デバイスの簡略図である。本開示に従って、ロボット外科用システムの機能ブロック図である。本開示に従って、ロボット外科用システムの表示デバイスに対する外科医の位置を判定するための方法のフロー図である。本開示に従って、ロボット外科用システムの表示デバイスに対する外科医の位置を判定するための別の方法のフロー図である。

本開示は、光学素子、マーカーおよびカメラ、または画像捕捉デバイスを用いて、物体または人の位置を判定する。以下により詳細に説明するように、マーカーがカメラまたは画像捕捉デバイスによって検出されると、検出されたマーカーの場所が、物体または人の位置を計算するために使用される。ここで本開示の実施形態が図面を参照して詳細に記載され、図面の中で同様の参照番号は、いくつかの図の各々において同一のまたは対応する要素を示す。本明細書に使用される際、「臨床医」という用語は、医師、看護師、または任意の他の医療提供者を指し、医療支援従事者を含み得る。この説明全体を通して、「近位」という用語は、患者から最も離れたデバイスまたはその構成要素の部分を指し、「遠位」という用語は、患者に最も近いデバイスまたはその構成要素の部分を指す。

図１を参照すると、ロボット外科用システム１０が提供され、これは、低侵襲外科用手術の実施のために手術台「Ｔ」に横たわっている患者「Ｐ」上で使用するために構成される。一実施形態に従って、ロボット外科用システム１０は、概して、遠隔に位置する外科医コンソール４０で受信された入力に応じて、ロボットアーム１２のうちの１つ以上を操作するためのコントローラ３０からコマンドを受信するように構成された複数のロボットアーム１２を含む。

ロボットアーム１２の各々は、基部１８に連結され、そこから延在するジョイントを通じて接続された複数の部材で構成されている。各基部１８は、各ロボットアーム１２が延在する異なる場所を提供する。例えば、基部１８は、複数の可動カートで構成されてもよい。別の実施形態では、ロボットアーム１２のすべてが、単一の基部から延在する。一実施形態では、各ロボットアーム１２の遠位端に接続されているのは、外科用器具２０と取り外し可能に連結するように構成される外科用器具ホルダー１６を含む、外科用アセンブリ１４である。各ロボットアーム１２は、異なる目的のために構成された外科用器具２０を含むことができる。例えば、１つのロボットアーム１２は、把持顎器具２０を含む外科用器具を含んでもよく、一方で別のロボットアーム１２は、はさみを含む外科用器具を含んでもよい。他の好適な器具２０ａ、２０ｂは、限定されるものではないが、ステープラ、クリップアプライヤ、縫合糸パサー、へらなどを含む。

４つのロボットアーム１２が図示されるが、外科用システム１０は、４つより少ないまたは４つを超えるロボットアーム１２を含んでもよい。これに関して、付加的なロボットアーム（図示せず）も同様にコントローラ３０に接続され、コンソール４０を介して遠隔操作可能である。したがって、１つ以上の付加的な外科用アセンブリ１４、外科用器具ホルダー１６、および／または外科用器具２０ａ、２０ｂもまた、付加的なロボットアームに取り付けられ得る。別の実施形態では、１つ以上のロボットアーム１２は、外科用部位「Ｓ」上に位置決めされた画像捕捉デバイス６６、外科用部位「Ｓ」内に配設された画像捕捉デバイス６６（図示せず）などを含む。画像捕捉デバイス６６は、外科用部位「Ｓ」の視覚画像、赤外線画像、超音波画像、Ｘ線画像、熱画像、および／または他の既知のリアルタイム画像を捕捉する。さらに別の実施形態では、１つ以上の画像捕捉デバイス６６は、ロボットアーム１２に取り付けられず、手術室の周りの所定の場所に設置される。いずれにせよ、画像捕捉デバイス６６は、捕捉された画像データをコントローラ３０に送信し、コントローラ３０は、画像データから外科用部位「Ｓ」および／または手術室の画像をリアルタイムで作成し、表示用の表示デバイス４４に画像を送信する。別の実施形態では、表示された画像は、画像捕捉デバイスによって捕捉されたデータの二次元レンダリングである。

ロボットアーム１２は、コントローラ３０に接続される電気駆動装置（図示せず）によって駆動されてもよい。一実施形態によれば、コントローラ３０は、例えば、コンピュータプログラムを介して駆動装置を起動するように構成され、そのためロボットアーム１２およびロボットアーム１２に対応する外科用アセンブリ１４、外科用器具ホルダー１６、および／または外科用器具２０ａ、２０ｂは、コンソール４０を通じて受信された所望の移動を実行する。コントローラ３０はまた、ロボットアーム１２および／または駆動装置の移動を調節するように構成されてもよい。

コントローラ３０は、複数のモータ３２を制御することができ、各モータが、外科用器具２０に結合されたケーブル（図示せず）などの１つ以上のケーブルの押しまたは引きを駆動するように構成される。使用中、これらのケーブルが押されおよび／または引かれる際、１つ以上のケーブルは、外科用器具２０ａ、２０ｂの動作および／または移動をもたらす。コントローラ３０は、１つ以上の外科用器具２０の動作および／または移動を調整するために、１つ以上のケーブルの押しまたは引き動作を調整するように、様々なモータ３２の起動を調整する。一実施形態では、各モータ３２は、駆動ロッドまたはレバーアームを作動させて、１つ以上のケーブルに加えて、またはその代わりに、外科用器具２０ａ、２０ｂの動作および／または移動をもたらすように構成される。

コントローラ３０は、命令一式に従って計算を実行し、および／または動作するように適合された任意の好適な論理制御回路を含む。コントローラ３０は、無線（例えば、Ｗｉ－Ｆｉ、ブルートゥース（登録商標）、ＬＴＥなど）および／または有線接続を介して遠隔システム（図示せず）と通信するように構成することができる。リモートシステムは、コンソール４０の様々な構成要素、アルゴリズム、および／または操作に関連するデータ、命令、および／または情報を含むことができる。リモートシステムは、任意の好適な電子サービス、データベース、プラットフォーム、クラウドなどを含むことができる。コントローラ３０は、メモリ３４に動作可能に接続された中央処理ユニットを含んでもよい。メモリは、一時的なタイプのメモリ（例えば、ＲＡＭ）および／または非一時的なタイプのメモリ（例えば、フラッシュメディア、ディスクメディアなど）を含んでもよい。いくつかの実施形態では、メモリは、リモートシステムの一部であり、および／またはリモートシステムに動作可能に結合される。

コントローラ３０は、駆動回路を介してなど、コンソール４０の構成要素とインターフェースするための複数の入力および出力を含むことができる。コントローラ３０は、入力信号を受信し、および／または出力信号を生成して、コンソール４０の１つ以上の様々な構成要素（例えば、１つ以上のモータおよび／または表示デバイス４４）を制御するように構成され得る。出力信号は、ユーザーにより事前にプログラムおよび／または入力され得る、アルゴリズム命令を含むことができ、および／またはそれに基づくことができる。コントローラ３０は、システム１０から離れて結合され得るユーザインターフェース（例えば、コンソール４０を操作するスイッチ、ボタン、タッチスクリーンなど）から複数のユーザー入力を受け入れるように構成され得る。

メモリ３４は、生物（複数可）および／または解剖学的アトラス（複数可）からの術前データを含む、命令および／またはデータベースを記憶するために、コントローラ３０に直接および／または間接的に結合することができる。メモリ３４は、遠隔システム１０の一部である、および／または遠隔システム１０に動作可能に結合することができる。

入力をコントローラ３０に提供するために、外科医コンソール４０は、様々な入力デバイスを含む。一実施形態では、外科医コンソール４０は、作動を通じて外科医によって操作されるように構成された入力ハンドル７０または入力ペダルを含む。特に、外科医は、彼または彼女の手を使用して、入力ハンドル７０を握り、かつ移動させ、入力ハンドル７０の移動は、コントローラ３０を介して変換されて、それによりロボットアーム１２および／または外科用器具２０ａ、２０ｂに対応する移動を提供する。外科医は、選択を提供するために入力ペダルを踏んで、ロボットアーム１２または外科用器具２０ａ、２０ｂのさらなる制御を提供する。

表示デバイス４４は、画像捕捉デバイス６６から受信された二次元または三次元画像を表示するようにセットアップされる。３次元画像が提供される実施形態では、表示デバイス４４は、例えば、メガネとして構成されたもの、または別の好適な構成など、ヘッドセット５０の形態で提供される特殊な観察レンズの有無にかかわらず、観察のための３次元画像を提供するように構成される。

ヘッドセット５０は、その上に配設されたマーカー６４を含む。一実施形態では、マーカー６４の検出は、ヘッドセット５０を装着している外科医の目が表示デバイス４４に方向付けられることを示す。ヘッドセット５０上のマーカー６４は、外科用アセンブリ１４、外科用器具ホルダー１６、外科用器具２０ａ、２０ｂ、および／またはロボットアーム１２の遠位端に含まれるものと同様の様式で構成されてもよい。一実施形態によれば、１つ以上のマーカー６４は、ヘッドセット５０の特定の場所に設置され、そのためマーカー６４の検出は、外科医の頭部が、例えば、表示デバイス４４で前方を見る特定の様式で位置決めされることを示す。マーカー６４を検出するために、外科医コンソール４０は、表示デバイス４４または別の場所に取り付けられた画像捕捉デバイス４８を含んで、システム操作中に画像捕捉デバイス４８を外科医に方向付けることを可能とする。一実施形態では、画像捕捉デバイス４８は、マーカー６４の検出のために、帯域通過光学フィルタなどの１つ以上のフィルタ５２を含み得る。

図２は、本明細書の様々な実施形態に従って、表示デバイス４４、ヘッドセット５０、光源５４、画像捕捉デバイス４８、およびオーディオデバイス６８の例示的な配置を示す、ロボット外科用システム１０に実装するための表示システムの一部の斜視図である。一実施形態では、表示デバイス４４は、スクリーン７０と、スクリーン７０の前方に配設された１つ以上の層７２と、を含む。スクリーン７０は、１つ以上の層７２として、特定の画素によって表示される視覚コンテンツを外科医の特定の目に方向付ける画素を含む。特に、１つ以上の層７２は、レンチキュラーレンズ層を含み得る。例えば、レンチキュラーレンズ層は、外科医の第１の目によって認識される第１の組の画素および外科医の第２の目によって認識される第２の組の画素の視覚的内容を許容するための好適な角度で、方向付けられるように構成された対応する画素行にわたって配設された複数の垂直レンズを含む。

光源５４は、光を提供するように構成され、（図１に示されるように）表示デバイス４４の縁部に沿って取り付けられ、または表示デバイス４４の上下に隣接して位置決めされてもよい。光源５４は、ヘッドセット５０上の所定の場所に含まれ得るマーカー６４によって反射される可視および／または不可視スペクトル（紫外線、赤外線など）の光を提供し得る。マーカー６４は、一実施形態に従って、画像捕捉デバイス４８による検出のために、所定の角度範囲内の角度で見たときに反射光の視認性を許容する機構を含む光学素子であってもよい。一実施形態では、表示システムは、マーカー６４が検出されない場合、表示デバイス４４を介して触覚的または視覚的に、例えばオーディオデバイス６８によって可聴的に通知が提供されるように構成される。

図３に示されるように、マーカー６４は、反射素子３００と拡散素子３０２から構成される。反射素子３００は、ミラーを含むことができ、拡散素子３０２は、長方形の断面形状を有するチューブ状素子であり得、反射素子３００によって反射された光を制限することにより画像捕捉デバイス４８によるマーカー６４の視認性を制限することを許容する。具体的には、反射光の進行は、水平方向に第１の角度βによって制限され、垂直方向に第２の角度αによって制限され得る。長方形の断面形状を有するように図示されているが、チューブ状素子は、異なる断面形状を有してもよい。別の実施形態では、図４に示されるように、マーカー６４は、反射素子４００および拡散素子４０２を含み、長方形の断面形状を有する複数のチューブ状素子を含む。チューブ状素子は、同じ方向に延在し、互いに実質的に同一であり、協働して反射素子４００によって反射される光を制限して、マーカー６４が画像捕捉デバイス４８によって検出されることを可能にする。

別の実施形態に従って、マーカー６４は、例えば、図５に図示されるように、所定の角度範囲内の角度で見たときに反射光の視認性を許容する機構を含む光学素子であってもよい。ここで、マーカー６４は、反射素子５００および拡散素子５０２を有し、拡散素子５０２は、マーカー６４の視認を所定の角度範囲に制限するように構成された透明体を備えるフィルムの形態である。一実施形態では、拡散素子５０２は、光を反射素子５００に対してある範囲内に方向付けることを可能にして、反射させ（例えば、反射素子５００に実質的に垂直な角度を含む視野角の範囲）、それにより画像捕捉デバイス４８に可視となるように構成される。視野角の範囲外の角度で拡散素子５０２に方向付けられた光は、反射素子５００によって反射されず、したがって、画像捕捉デバイス４８に可視ではない。

別の実施形態では、図６に図示されるように、マーカー６４は、特定の波長範囲（例えば、可視または不可視）内の光を反射するように構成される。かかる実施形態では、画像捕捉デバイス４８は、マーカー６４の特定の波長範囲に対応するように選択されたバンドパス光学フィルタ５２を含む。このため、マーカー６４から反射された光の波長がバンドパス光学フィルタ５２を通過するとき、画像捕捉デバイス４８は、マーカー６４を検出し、それにより画像捕捉デバイス４８がマーカー６４を見ることを許容する。この実施形態では、マーカー６４は、一対の眼鏡の形態でヘッドセット５０上に配設されるものとして示される。代替的に、マーカー６４は、ヘッドバンドまたは他のウェアラブルに含まれてもよく、またはユーザーの顔または頭部の様々な場所上に設置されるステッカーであってもよいことが理解されるであろう。

図７は、図１のロボット外科用システム１０の簡略ブロック図である。ロボット外科用システム１０は、コントローラ７２０と、タワー７３０と、コンソール７４０と、を含む。コントローラ７２０は、コンソール７４０から受信された入力に応じて、タワー７３０と通信し、それにより動作の指示を提供するように構成される。

コントローラ７２０は、概して、処理ユニット７２２と、メモリ７２４と、タワーインターフェース７２６と、コンソールインターフェース７２８と、を含む。処理ユニット７２２は、特にメモリ７２４内に記憶されたコンピュータプログラムによって、タワー７３０の構成要素に、コンソール７４０の入力デバイス７４２によって定義された移動による所望の移動を実行させるように機能する。これに関して、処理ユニット７２２は、命令一式に従って、計算を実行し、および／または動作するように適合された任意の好適な論理制御回路を含む。処理ユニット７２２は、マイクロプロセッサタイプの処理デバイス、またはメモリ７２４内に記憶された命令を実行および／またはデータを処理することができる他の物理的なデバイスなど、１つ以上の処理デバイスを含み得る。メモリ７２４は、一時的なタイプのメモリ（例えば、ＲＡＭ）および／または非一時的タイプのメモリ（例えば、フラッシュメディア、ディスクメディアなど）を含んでもよい。タワーインターフェース７２６およびコンソールインターフェース７２８は、それぞれ無線（例えば、Ｗｉ－Ｆｉ、ブルートゥース（登録商標）、ＬＴＥなど）および／または有線構成を介して、タワー７３０およびコンソール７４０と通信する。別個のモジュールとして図示されているが、インターフェース７３２、７３４は、他の実施形態では単一の構成要素であってもよい。

タワー７３０は、モータ機構７３４を操作してロボットアーム７３６ａ～７３６ｄを移動させるために、通信および／またはタワーインターフェース７２６からのデータを受信するように構成された通信インターフェース７３２を含む。一実施形態に従って、モータ機構７３４は、処理ユニット７２２からの命令に応じて、ロボットアーム７３６ａ～７３６ｄに取り付けられたケーブル（図示せず）の機械的操作のための電流の印加を受容し、ロボットアーム７３６ａ～７３６ｄのうちの選択された１つおよび／またはロボットアーム７３６ａ～７３６ｄのうちの１つに結合された器具の所望の移動を行わせるように構成される。タワー７３０はまた、リアルタイム画像を捕捉し、通信インターフェース７３２を介してコントローラ７３０に画像を表すデータを送信する画像捕捉デバイス７３８を含む。

タワー７３０のデバイスを操作する外科医を支援するために、コンソール７４０は、入力デバイス７４２と、表示器７４６と、コンピュータ７４８と、カメラ７５０と、を有する。入力デバイス７４２は、コンピュータ７４８に結合され、入力を提供するために臨床医によって使用される。これに関して、入力デバイス７４２は、ハンドルまたはペダル、もしくはキーボード、ジョイスティック、マウス、ボタン、トラックボール、または他の構成要素などの他のコンピュータアクセサリであってもよい。コンピュータ７４８は、タワー７３０の様々な構成要素、アルゴリズム、および／または動作に関するデータ、命令、および／または情報を含む処理ユニットおよびメモリを含み、任意の好適な電子サービス、データベース、プラットフォーム、クラウドなどを使用して操作することができる。表示器７４６は、コンピュータ７４８から命令を受信して、画像捕捉デバイス７３８および／または通信インターフェース７３２から受信した情報を表示する。カメラ７５０は、コンソール７４０で外科医の画像を捕捉する。

上記で簡単に説明したマーカー６４は、様々な位置決め、および安全機構を実装するために有用である。一実施例では、手術中、システム１０が表示デバイス４４に対する外科医の位置決めを認識することが有利である場合がある。ここで図８を参照すると、方法８００のフロー図が、一実施形態に従って、ロボット外科用システム１０の表示デバイス４４に対する外科医の位置決めを判定するために提供される。方法８００は、少なくとも部分的に、メモリ７２４（図７）に記憶された命令を実行する処理ユニット７２２によって実装され得る。付加的に、図８の方法８００に示される工程の特定のシーケンスは、限定するものではなく、実施例として提供される。方法８００の工程は、本開示の範囲から逸脱することなく、図８に示されるシーケンス以外のシーケンスにおいて実行されてもよい。さらに、図８の方法８００に示されるいくつかの工程は、順次実行される代わりに並行して実行されてもよい。

図８を参照すると、光源５４からの光は、工程８０２でマーカー６４に向かって方向付けられる。上記のように、マーカー６４は、例えば、ヘッドセット５０上で、外科医の頭部または顔上に配設される。このため、外科医の頭部または顔の位置決めに応じて、マーカー６４は、光源５４からの光を反射してもしなくてもよい。例えば、一実施形態では、複数のマーカー６４は、特定の場所でヘッドセット５０上に含まれ、そのためマーカー６４のすべての検出は、外科医の目が表示デバイス４４に方向付けられていることを示す。別の実施形態では、マーカーまたはマーカー６４は、ヘッドセット５０を少なくとも部分的に覆って、特定の形状を形成し、特定の形状の検出は、外科医の目が表示デバイス４４に方向付けられていることを示す。

いずれにせよ、１つ以上のマーカー６４が検出されるかどうかを判定するために、画像捕捉デバイス４８は、工程８０４で、外科医の画像を捕捉する。工程８０４からの画像に基づいて、判定は、すべてのマーカー６４、特定の場所に配設された複数のマーカー６４、または特定の形状を形成する１つ以上のマーカー６４が、工程８０６で検出されるかどうかでなされる。マーカー６４が検出される場合、方法８００は、工程８０４を反復して、画像捕捉デバイス４８を使用して外科医の追加の画像を捕捉する。すべてのマーカー６４が検出されない場合、外科医の目が表示デバイス４４に方向付けられていないことを示す通知が、工程８０８においてシステム１０により提供される。一実施形態では、通知は、期間の閾値を超えた後に提供されてもよい。例えば、通知は、マーカー６４が１秒、３秒などの期間検出されなかった後に開始し得る。他の実施形態では、期間は、より長くても、またはより短くてもよい。一実施例では、システム１０は、オーディオデバイス６８を介する可聴通知、触覚通知、および／または視覚通知を提供し得る。一実施形態に従って、通知を提供することに加えて、システム１０は、入力ハンドル７０またはペダル（含まれる場合）などの他の入力デバイスで入力が受信されることを防ぐ。

マーカー６４を使用する別の例では、ロボットアーム１２の付加的な制御を提供するために、システム１０は、外科医の目が、表示デバイス４４に方向付けられているかどうかを判定するために、外科医により着用されるヘッドセット５０上の１つ以上のマーカーを使用して意図しない移動をさらに防ぐように構成される。これに関して、システム１０は、カメラ４８を介してヘッドセット５０（１つ以上のマーカー６４が配設される）を含む画像データを捕捉し、かつ捕捉された画像データ内のマーカー６４を検出するように構成される。ここで図９を参照すると、一実施形態に従って、表示デバイス４４に対する外科医の頭部の位置を判定する方法９００のフロー図が提供される。方法９００は、少なくとも部分的に、メモリ７２４（図７）に記憶された命令を実行する処理ユニット７２２によって実装され得る。付加的に、図９の方法９００に示される工程の特定のシーケンスは、限定ではなく、例として提供される。方法９００の工程は、本開示の範囲から逸脱することなく、図９に示されるシーケンス以外のシーケンスにおいて実行されてもよい。さらに、図９の方法９００に示されるいくつかの工程は、順次実行される代わりに並行して実行されてもよい。

一実施形態では、外科医の画像は、工程９０２でカメラ４８によって捕捉される。次いで、工程９０４において、１つ以上のマーカー６４が捕捉された画像内で検出されたかどうかに関して判定が行われる。一実施形態では、カメラ４８は、マーカー（複数可）６４がその視野内にあり、それに対して特定の角度または場所に位置付けられるかどうかを検出するように構成される。マーカー６４の検出は、マーカー６４が配設されているヘッドセット５０を装着している外科医の目が表示デバイス４４に方向付けられていることを示す。一実施形態では、マーカー６４は、拡散および／または反射材料を含み、カメラ４８は、対応するフィルタ５２を含んで、マーカー６４が特定の角度で提示されたときのみマーカー６４の視覚的知覚を可能にする。マーカー６４は、光学ターゲットの視認性が壁または仕切りによって制限され、それにより特定の角度で見たときのみ光学ターゲットを視覚的に認識することを許容するタイプを含む。別の実施例では、マーカー６４は、光が反射される特定の角度範囲に限定された工学透明フィルムで覆われた前面ミラーから構成される。別の実施例では、マーカー６４は、ニュージャージー州ニュートンのＴｈｏｒＬａｂｓ社によって販売されるものなど、水平面および／または垂直面内の特定の角度にマーカー６４の可視性を制限する工学拡散体で覆われた反射材料を含む。このため、外科医によって着用されるヘッドセット５０が、マーカー６４から光が離れて反射されることを許容する角度で傾き、カメラ４８上のフィルタ５２を通してフィルタにかけられて、カメラ４８に可視であると、マーカー６４が、次いで検出される。別様に、マーカー６４は、検出されない。

ヘッドセット５０上のマーカー（複数可）６４が検出されないという判定がなされた場合、システム１０は、工程９０６において、ロボットアーム１２および器具２０ａ、２０ｂの移動を無効にする。一実施例では、入力ハンドル７０から受信した入力は、ロボットアーム１２または器具２０ａ、２０ｂと通信されない。例えば、外科医が入力ハンドル７０を作動または移動させると、信号は生成されないか、または生成された場合も、信号はロボットアーム１２および／または器具２０ａ、２０ｂと通信されない。このようにして、外科医が表示デバイス４４を見ていないとき、システム１０は、患者「Ｐ」に影響を与える可能性のある操作を許可しないようにする。無効化は、ある実施形態では、期間閾値が過ぎた後に発生し得る。例えば、無効化は、マーカー６４が１秒、３秒などの期間にわたって検出されなかった後に開始し得る。他の実施形態では、期間は、より長くても、またはより短くてもよい。必要に応じて、通知が、表示デバイス４４上で可聴的にまたは触覚的に工程９０８において提供されて、外科医がロボットアーム１２および／または器具２０ａ、２０ｂの機能を再び有効にするために彼または彼女の頭部を再度位置決めするべきであることを示す。マーカー６４がカメラ４８の視野内で検出されないという判定がなされた場合、システム１０は、ロボットアーム１２および器具２０ａ、２０ｂの動作を通常通りに許容し、追加の画像を捕捉するために工程９０２において反復する。

一実施形態に従って、ロボットアーム１２および／または器具２０ａ、２０ｂの移動を無効にすること、および有効にすることは、マーカー６４のうちの１つが検出されるかどうかに依存する。別の実施形態では、ロボットアーム１２および／または器具２０ａ、２０ｂの移動を無効にすることおよび有効にすることは、ヘッドセット５０上の一式のマーカー６４内に含まれるマーカー６４のすべてが検出されるかどうかに依存する。

本明細書で説明するシステムはまた、１つ以上のコントローラを利用して、様々な情報を受信し、受信した情報を変換して出力を生成することができる。コントローラは、メモリ内に記憶された一連の命令を実行することが可能な、任意のタイプのコンピューティングデバイス、計算回路、または任意のタイプのプロセッサまたは処理回路を含むことができる。コントローラは、複数のプロセッサおよび／またはマルチコア中央処理ユニット（ＣＰＵ）を含むことができ、マイクロプロセッサ、デジタル信号プロセッサ、マイクロコントローラなどの任意のタイプのプロセッサを含むことができる。コントローラはまた、一連の命令を実行するためのデータおよび／またはアルゴリズムを記憶するメモリを含んでもよい。

本明細書で説明される方法、プログラム、アルゴリズム、またはコードのいずれも、プログラミング言語またはコンピュータプログラムに変換されるか、または表現されてもよい。「プログラミング言語」および「コンピュータプログラム」は、コンピュータへの命令を特定するために使用される任意の言語を含み、これらの言語およびその派生物は（限定されるものではないが、）Ａｓｓｅｍｂｌｅｒ、Ｂａｓｉｃ、Ｂａｔｃｈｆｉｌｅｓ、ＢＣＰＬ、Ｃ、Ｃ＋、Ｃ＋＋、Ｄｅｌｐｈｉ、Ｆｏｒｔｒａｎ、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、Ｍａｃｈｉｎｅｃｏｄｅ、オペレーティングシステムコマンド言語、Ｐａｓｃａｌ、Ｐｅｒｌ、ＰＬ１、スクリプト言語、ＶｉｓｕａｌＢａｓｉｃ、プログラム自体を特定するメタ言語、およびすべての第１、第２、第３、第４、第５世代のコンピュータ言語を含む。また、データベースおよび他のデータスキーマ、ならびに任意の他のメタ言語も含まれる。解釈され、コンパイルされ、またはコンパイルおよび解釈されたアプローチの両方を使用する言語間に区別はされない。プログラムのコンパイル済みバージョンとソースバージョン間にも区別はされない。このため、プログラミング言語が、プログラミング言語が複数の状態（ソース、コンパイル済み、オブジェクト、またはリンクなど）で存在し得る、プログラムへの参照は、かかる状態のいずれか、およびすべてへの参照である。プログラムへの参照は、実際の命令および／またはそれらの命令の意図を包含し得る。

本明細書で説明される方法、プログラム、アルゴリズム、またはコードのいずれも、１つ以上の機械可読媒体またはメモリ上に収容され得る。「メモリ」という用語は、プロセッサ、コンピュータ、またはデジタル処理デバイスなどの機械によって読み取り可能な形式で情報を提供する（例えば、記憶および／または送信する）機構を含み得る。例えば、メモリは、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイス、または他の揮発性または不揮発性メモリ記憶デバイスを含み得る。その上に収容されるコードまたは命令は、搬送波信号、赤外線信号、デジタル信号、および他の同様の信号によって表すことができる。

本開示の幾つかの実施形態が図面に示されているが、本開示は当該技術分野が許容する広い範囲として捉えられるべきであり、本明細書も同様に読み取られるべきと考えられるので、本開示はこれらの実施形態に限定されるものではないことが意図される。上記の実施形態の任意の組み合わせもまた想定され、これらは、添付の特許請求の範囲内である。したがって、上記の説明は、限定として解釈されるべきではなく、特定の実施形態の単なる例示として解釈されるべきである。当業者は本明細書に添付される特許請求の範囲内での他の修正を想定するであろう。

Claims

ロボット外科用システムであって、
ロボットアームと、
外科医コンソールであって、
光源と、
所定範囲内の波長を有する光を反射するように構成された光学素子と、
前記光学素子によって反射された前記光を検出するように構成された画像捕捉デバイスと、
通知を提供するように構成された通知デバイスと、を含む、外科医コンソールと、
前記ロボットアームに動作可能に結合され、前記コンソールと通信するプロセッサと、
内部に記憶された命令を有するメモリであって、前記命令は、前記プロセッサによって実行されると、前記プロセッサに
前記光学素子によって反射された前記光の不在または存在を前記画像捕捉デバイスによって検出することと、
前記画像捕捉デバイスが前記光学素子によって反射された前記光の前記不在を検出することに応じて、前記通知デバイスに前記通知を提供させることと、を行わせる、メモリと、
前記光学素子を含むウェアラブルデバイスと
を含み、前記光学素子が、拡散／反射素子を含み、
前記拡散／反射素子が、複数の仕切りを含み、前記複数の仕切りは、前記光学要素の視認性を制限し、それにより、特定の角度で見られたときにのみ前記光学要素が視覚的に認識されることを許容するように構成されている、システム。
前記光学素子が、前記所定範囲内の波長を有する光を反射するように構成された反射素子を有する透明体を含むフィルムを含む、請求項１に記載のロボット外科用システム。
前記外科医コンソールが、入力ハンドルをさらに含み、
前記メモリが、内部に記憶されたさらなる命令を有し、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、
前記入力ハンドルの操作に応じて、信号を生成することと、
前記画像捕捉デバイスが前記光学素子によって反射された前記光の前記不在を検出することに応じて、前記入力ハンドルを無効にすることと、を行わせる、請求項１に記載のロボット外科用システム。
前記メモリが、内部に記憶されたさらなる命令を有し、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、
前記画像捕捉デバイスが閾値期間よりも長い期間、前記光学素子によって反射された前記光の前記不在を検出することに応じて、前記入力ハンドルを無効にすること、を行わせる、請求項３に記載のロボット外科用システム。
前記メモリが、内部に記憶されたさらなる命令を有し、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、
前記画像捕捉デバイスが閾値期間よりも長い期間、前記光学素子によって反射された前記光の前記不在を検出することに応じて、前記通知デバイスに前記通知を提供させること、を行わせる、請求項１に記載のロボット外科用システム。
ロボット外科用システムを操作する方法であって、
前記ロボット外科用システムの画像捕捉デバイスによって検出されるように構成された光学素子において光を方向付けることであって、前記光学素子が、所定範囲内の波長を有する光を反射するように構成されている、方向付けることと、
前記光学素子の画像を捕捉する画像捕捉デバイスを使用して、前記光学素子からの前記反射光の不在または存在を検出することと、
前記画像捕捉デバイスによる、前記光学素子からの前記反射光の前記不在の前記検出に応じて、通知を提供することと、を含み、
前記光学素子は、ウェアラブルデバイス上に配設され、
前記光学素子が、拡散／反射素子を含み、
前記拡散／反射素子が、複数の仕切りを含み、前記複数の仕切りは、前記光学要素の視認性を制限し、それにより、特定の角度で見られたときにのみ前記光学要素が視覚的に認識されることを許容するように構成されている、方法。
前記光学素子が、前記所定範囲内の波長を有する光を反射するように構成された、反射素子を有する透明体を含むフィルムを含む、請求項６に記載の方法。
前記ロボット外科用システムの入力ハンドルの操作に応じて、信号を生成することと、
前記画像捕捉デバイスが、前記光学素子によって反射された前記光の前記不在を検出することに応じて、前記入力ハンドルを無効にすることと、をさらに含む、請求項６に記載の方法。
前記画像捕捉デバイスが閾値期間よりも長い期間、前記光学素子によって反射された前記光の前記不在を検出することに応じて、前記入力ハンドルを無効にすることをさらに含む、請求項８に記載の方法。
前記画像捕捉デバイスが閾値期間よりも長い期間、前記光学素子によって反射された前記光の前記不在を検出することに応じて、前記通知デバイスに前記通知を提供させることをさらに含む、請求項６に記載の方法。