以下、本開示の実施形態について、図面を用いて説明する。
(第1の実施形態)
図1は、第1の実施形態におけるロボット手術支援装置100の構成例を示すブロック図である。ロボット手術支援装置100は、手術支援ロボット300によるロボット手術を支援し、例えば術前シミュレーション、術中シミュレーション、及び術中ナビゲーションを実施してよい。
手術支援ロボット300は、ロボット操作端末、ロボット本体、及び画像表示端末を備える。
ロボット操作端末は、術者による操作されるハンドコントローラやフットスイッチを備える。ロボット操作端末は、術者によるハンドコントローラやフットスイッチの操作に応じて、ロボット本体に設けられた複数のロボットアームARを動作させる。また、ロボット操作端末は、ビューワを備える。ビューワは、ステレオビューワでよく、内視鏡により取込まれた画像を融合させて3次元画像を表示してよい。なお、ロボット操作端末が複数存在し、複数のロボット操作端末を複数の術者が操作するによりロボット手術が行われてもよい。
ロボット本体は、ロボット手術を行うための複数のロボットアームAR及びロボットアームARに装着される手術器具としてのエンドエフェクタEF(鉗子類、インストゥルメント)を備える。
手術支援ロボット300のロボット本体は4つのロボットアームARを備えており、内視鏡カメラが装着されるカメラアームと、ロボット操作端末の右手用ハンドコントローラで操作されるエンドエフェクタEFが装着される第1エンドエフェクタアームと、ロボット操作端末の左手用ハンドコントローラで操作されるエンドエフェクタEFが装着される第2エンドエフェクタアームと、交換用のエンドエフェクタEFが装着される第3エンドエフェクタアームと、を含む。各ロボットアームARは、複数の関節を有しており、各関節に対応してモータとエンコーダを備えている。各ロボットアームARは、少なくとも6自由度、好ましくは7又は8自由度を有しており、3次元空間内において動作し、3次元空間内の各方向に可動自在でよい。エンドエフェクタEFには、ロボット手術において被検体PS内の処置対象に実際に接する器具であり、様々な処置(例えば、把持、切除、剥離、縫合)を可能とする。
エンドエフェクタEFは、例えば、把持鉗子、剥離鉗子、電気メス、等を含んでよい。エンドエフェクタEFは、役割毎に異なる別個のエンドエフェクタEFが複数用意されてよい。例えば、ロボット手術では、2つのエンドエフェクタEFによって組織を抑えたり引っ張ったりして、1つのエンドエフェクタEFで組織を切る処置が行われてよい。ロボットアームAR及びエンドエフェクタEFは、ロボット操作端末からの指示を基に、動作してよい。
画像表示端末は、モニタ、内視鏡のカメラによって撮像された画像を処理し、ビューワやモニタに表示させるためのコントローラ、等を有する。モニタは、例えばロボット手術の助手や看護師により確認される。
手術支援ロボット300は、術者によるロボット操作端末のハンドコントローラやフットスイッチの操作を受け、ロボット本体のロボットアームARやエンドエフェクタEFの動作を制御し、被検体PSに対して各種処置を行うロボット手術を行う。ロボット手術では、被検体PS内で腹腔鏡手術が行われてよい。
ロボット手術では、被検体PSの体表にポートPTが穿孔され、ポートPTを介して気腹されてよい。気腹(preumoperitoneum)では、二酸化炭素が送り込まれて被検体PSの腹腔を膨らませられてよい。ポートPTには、トロッカー(trocar)TCが設置されてよい。トロッカーTCは弁を有し、被検体PS内を気密に維持する。また、気密状態を維持するために、被検体PS内に空気(例えば二酸化炭素)が継続的に導入される。
トロッカーTCにはエンドエフェクタEF(エンドエフェクタEFのシャフト)が挿通される。エンドエフェクタEFの挿通時にトロッカーTCの弁が開き、エンドエフェクタEFの脱離時にはトロッカーTCの弁が閉じる。トロッカーTCを経由してポートPTからエンドエフェクタEFが挿入され、術式に応じて様々な処置が行われる。ロボット手術は、腹部を手術対象とした腹腔鏡手術以外に、手術対象に腹部以外を含めた鏡視下手術に適用されてもよい。
図1に示すように、ロボット手術支援装置100は、通信部110、ユーザインタフェース(UI:User Interface)120、ディスプレイ130、プロセッサ140、及びメモリ150を備える。なお、UI120、ディスプレイ130、及びメモリ150は、ロボット手術支援装置100に含まれても、ロボット手術支援装置100とは別体として設けられてもよい。
ロボット手術支援装置100には、通信部110を介して、CT(Computed Tomography)装置200が接続される。ロボット手術支援装置100は、CT装置200からボリュームデータを取得し、取得されたボリュームデータに対して処理を行う。ロボット手術支援装置100は、PC(Personal Computer)とPCに搭載されたソフトウェアにより構成されてもよい。ロボット手術支援装置100は、手術支援ロボット300の一部として構成されてもよい。
ロボット手術支援装置100には、通信部110を介して、手術支援ロボット300が接続される。ロボット手術支援装置100は、例えば、手術支援ロボット300へ各種データや情報や画像を提供し、ロボット手術を支援してよい。ロボット手術支援装置100は、例えば、手術支援ロボット300から手術支援ロボット300の機構や動作に関する情報、ロボット手術前、手術中、又は手術後に得られたデータを取得し、取得された情報やデータを基に各種分析や解析を行ってよい。分析結果や解析結果は、可視化されてよい。
ロボット手術支援装置100には、通信部110を介して、計測器400が接続されてよい。計測器400は、手術支援ロボット300により手術される被検体PS(例えば患者)に関する情報(例えば被検体PSの体表位置)を計測してよい。計測器400は、被検体PSの体表に設けられるポートPTの位置を計測してよい。計測器400は、例えば深度センサ410でよい。深度センサ410は、手術支援ロボット300(例えばロボット本体)に含まれていてもよいし、ロボット手術が行われる手術室の天井等に設置されてもよい。また、計測器400は、計測器400の操作部が手動計測の結果の入力を受け付けてよい。手動計測では、例えば、患者に関する情報や体表におけるポート位置が定規や巻尺により計測されてよい。
また、ロボット手術支援装置100には、CT装置200が接続されるとともに、又はCT装置200が接続される代わりに、各種画像を撮像可能な装置が接続されてよい。この装置は、血管造影装置(Angiography装置)や超音波装置等でよい。この装置は、ロボット手術前、及びロボット手術中に被検体PSの内部の様子を確認するときに使用されてよい。
CT装置200は、生体へX線を照射し、体内の組織によるX線の吸収の違いを利用して、画像(CT画像)を撮像する。被検体PSは、例えば人体でよく、生体でよい。なお、被検体PSは、人体でなくてもよく、生体でなくてもよい。例えば動物でよく、手術訓練用ファントムでもよい。
CT画像は、時系列に複数撮像されてもよい。CT装置200は、生体内部の任意の箇所の情報を含むボリュームデータを生成する。生体内部の任意の箇所は、各種臓器(例えば脳、心臓、腎臓、大腸、小腸、肺、胸部、乳腺、前立腺、肺)を含んでもよい。CT画像が撮像されることにより、CT画像における各画素(ボクセル)の画素値(CT値、ボクセル値)が得られる。CT装置200は、CT画像としてのボリュームデータをロボット手術支援装置100へ、有線回線又は無線回線を介して送信する。
具体的に、CT装置200は、ガントリ(図示せず)及びコンソール(図示せず)を備える。ガントリは、X線発生器(図示せず)やX線検出器(図示せず)を含み、コンソールにより指示された所定のタイミングで撮像することで、被検体PSを透過したX線を検出し、X線検出データを得る。X線発生器は、X線管(図示せず)を含む。コンソールは、ロボット手術支援装置100に接続される。コンソールは、ガントリからX線検出データを複数取得し、X線検出データに基づいてボリュームデータを生成する。コンソールは、生成されたボリュームデータを、ロボット手術支援装置100へ送信する。コンソールは、患者情報、CT撮像に関する撮像条件、造影剤の投与に関する造影条件、その他の情報を入力するための操作部(図示せず)を備えてよい。この操作部は、キーボードやマウスなどの入力デバイスを含んでよい。
CT装置200は、連続的に撮像することで3次元のボリュームデータを複数取得し、動画を生成することも可能である。複数の3次元のボリュームデータによる動画のデータは、4D(4次元)データとも称される。
CT装置200は、複数のタイミングの各々でCT画像を撮像してよい。CT装置200は、被検体PSが造影された状態で、CT画像を撮像してよい。CT装置200は、被検体PSが造影されていない状態で、CT画像を撮像してよい。
ロボット手術支援装置100では、通信部110は、他の装置との間で各種データや情報を通信する。通信部110は、CT装置200、手術支援ロボット300、計測器400、との間で各種データを通信してよい。通信部110は、有線通信や無線通信を行う。通信部110と、CT装置200、手術支援ロボット300、及び計測器400との間は、有線又は無線により接続されてよい。
通信部110は、手術支援ロボット300からロボット手術のための各種情報を取得してよい。この各種情報は、例えば、手術支援ロボット300のキネマティクスの情報を含んでよい。通信部110は、手術支援ロボット300へロボット手術のための各種情報を送信してよい。この各種情報は、例えば、処理部160により生成された情報(例えば画像やデータ)を含んでよい。
通信部110は、計測器400からロボット手術のための各種情報を取得してよい。例えば、計測器400で計測された被検体PSの体表の位置情報や被検体PSの体表に穿孔されたポート位置の情報を含んでよい。
通信部110は、CT装置200からボリュームデータを取得してよい。取得されたボリュームデータは、直ぐにプロセッサ140に送られて各種処理されてもよいし、メモリ150において保管された後、必要時にプロセッサ140へ送られて各種処理されてもよい。また、ボリュームデータは、記録媒体や記録メディアを介して取得されてもよい。
CT装置200により撮像されたボリュームデータは、CT装置200から画像データサーバ(PACS:Picture Archiving and Communication Systems)(不図示)に送られ、保存されてよい。通信部110は、CT装置200から取得する代わりに、この画像データサーバからボリュームデータを取得してよい。このように、通信部110は、ボリュームデータ等の各種データを取得する取得部として機能する。
UI120は、タッチパネル、ポインティングデバイス、キーボード、又はマイクロホンを含んでよい。UI120は、ロボット手術支援装置100のユーザから、任意の入力操作を受け付ける。ユーザは、医師、放射線技師、又はその他医療従事者(Paramedic Staff)を含んでよい。医師は、ロボット操作端末を操作してロボット手術を手動して行う術者や、被検体PSの近傍でロボット手術を補助する助手を含んでよい。
UI120は、ボリュームデータにおける関心領域(ROI:Region of Interest)の指定や輝度条件の設定等の操作を受け付ける。関心領域は、各種組織(例えば、血管、気管支、臓器、骨、脳、心臓、足、首、血流)の領域を含んでよい。組織は、病変組織、正常組織、臓器、器官、など被検体PSの組織を広く含んでよい。また、UI120は、ボリュームデータやボリュームデータに基づく画像(例えば後述する3次元画像、2次元画像)における関心領域の指定や輝度条件の設定等の操作を受け付けてもよい。
ディスプレイ130は、LCD(Liquid Crystal Display)を含んでもよく、各種情報を表示する。各種情報は、ボリュームデータから得られる3次元画像や2次元画像を含んでよい。3次元画像は、ボリュームレンダリング画像、サーフェスレンダリング画像、仮想内視鏡画像(VE画像)、仮想超音波画像、CPR(Curved Planar Reconstruction)画像、等を含んでもよい。ボリュームレンダリング画像は、レイサム(RaySum)画像(単に「SUM画像」とも称する)、MIP(Maximum Intensity Projection)画像、MinIP(Minimum Intensity Projection)画像、平均値(Average)画像、又はレイキャスト(Raycast)画像を含んでもよい。2次元画像は、アキシャル(Axial)画像、サジタル(Sagittal)画像、コロナル(Coronal)画像、MPR(Multi Planer Reconstruction)画像、等を含んでよい。3次元画像及び2次元画像は、カラーフュージョン画像を含んでよい。
メモリ150は、各種ROM(Read Only Memory)やRAM(Random Access Memory)の一次記憶装置を含む。メモリ150は、HDD(Hard Disk Drive)やSSD(Solid State Drive)の二次記憶装置を含んでもよい。メモリ150は、USBメモリやSDカードの三次記憶装置を含んでもよい。メモリ150は、各種情報を記憶する。各種情報は、通信部110を介して取得された情報、プロセッサ140により生成された情報や画像、プロセッサ140により設定された設定情報、各種プログラムを含んでよい。通信部110を介して取得された情報は、例えば、CT装置200からの情報(例えばボリュームデータ)、手術支援ロボット300からの情報、計測器400からの情報、外部サーバからの情報、を含んでよい。メモリ150は、プログラムが記録される非一過性の記録媒体の一例である。
投射部170は、被検体に向けて可視光(例えばレーザー光)を投射する。投射部170は、可視光の投射により、被検体PSの体表(例えば腹部の体表部)に、各種情報(例えばポート位置の情報)を表示させる。可視光、つまり被検体PSの体表に表示された情報は、ユーザ(例えば助手)に確認される。
プロセッサ140は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、又はGPU(Graphics Processing Unit)を含んでよい。プロセッサ140は、メモリ150に記憶されたプログラムを実行することにより、各種処理や制御を行う処理部160として機能する。
図2は、処理部160の機能構成例を示すブロック図である。
処理部160は、領域抽出部161、画像生成部162、変形シミュレーション部163、ポート位置処理部164、表示制御部166、及び投射制御部167を備える。
処理部160は、ロボット手術支援装置100の各部を統括する。なお、処理部160に含まれる各部は、1つのハードウェアにより異なる機能として実現されてもよいし、複数のハードウェアにより異なる機能として実現されてもよい。また、処理部160に含まれる各部は、専用のハードウェア部品により実現されてもよい。
領域抽出部161は、ボリュームデータにおいて、セグメンテーション処理を行ってよい。この場合、UI120がユーザからの指示を受け付け、指示の情報が領域抽出部161に送られる。領域抽出部161は、指示の情報に基づいて、公知の方法により、ボリュームデータから、セグメンテーション処理を行い、関心領域を抽出(segment)してよい。また、ユーザからの詳細な指示により、手動で関心領域を設定(set)してよい。また、観察対象が予め定められている場合、領域抽出部161は、ユーザ指示なしでボリュームデータから、セグメンテーション処理を行い、観察対象を含む関心領域を抽出してもよい。抽出される領域には、各種組織(例えば、血管、気管支、臓器、骨、脳、心臓、足、首、血流、乳腺、胸部、腫瘍)の領域を含んでよい。観察対象は、ロボット手術による処置が行われる対象でよい。
画像生成部162は、通信部110により取得されたボリュームデータに基づいて、3次元画像や2次元画像を生成してよい。画像生成部162は、通信部110により取得されたボリュームデータから、指定された領域や領域抽出部161により抽出された領域に基づいて、3次元画像や2次元画像を生成してよい。
変形シミュレーション部163は、手術対象の被検体PSにおける変形に関する処理を行う。例えば、変形シミュレーション部163は、仮想的に被検体PSに対して気腹する気腹シミュレーションを行ってよい。気腹シミュレーションの具体的な方法は、公知の方法であってよく、例えば参考非特許文献1に記載された方法でよい。つまり、変形シミュレーション部163は、通信部110又は領域抽出部161から取得されたボリュームデータ(気腹前(非気腹状態)のボリュームデータ)を基に、気腹シミュレーションを行い、気腹後のボリュームデータ(気腹状態のボリュームデータ)を生成してよい。気腹シミュレーションにより、ユーザは、被検体PSに対して実際に気腹しなくても、被検体PSが気腹された状態を仮定し、仮想的に気腹された状態を観察できる。なお、気腹状態のうち、気腹シミュレーションにより推定される気腹の状態を仮想気腹状態と称し、実際の気腹された状態を実気腹状態と称してよい。
(参考非特許文献1)Takayuki Kitasaka, Kensaku Mori, Yuichiro Hayashi, Yasuhito Suenaga, Makoto Hashizume, and Jun-ichiro Toriwaki, “Virtual Pneumoperitoneum for Generating Virtual Laparoscopic Views Based on Volumetric Deformation”, MICCAI (Medical Image Computing and Computer-Assisted Intervention),2004, P559-P567
気腹シミュレーションは、有限要素法を用いた大変形シミュレーションでよい。この場合、変形シミュレーション部163は、被検体PSの皮下脂肪を含む体表と、被検体PSの腹部内臓と、をセグメンテーションしてよい。そして、変形シミュレーション部163は、体表を皮膚と体脂肪との2層の有限要素にモデル化し、腹部内臓を有限要素にモデル化してよい。変形シミュレーション部163は、任意に、肺と骨とをセグメンテーションし、モデルに追加してよい。変形シミュレーション部163は、体表と腹部内臓との間にガス領域を設け、仮想的なガス注入に応じてガス領域(気腹空間)が拡張(膨張)してよい。
図3は、気腹シミュレーションの実施前後における腹部のMPR断面の画像例を示す図である。画像G11は、気腹シミュレーションの実施前の様子を示しており、被検体PSの腹部が膨らんでいない状態(非気腹状態)である。画像G12は、気腹シミュレーションの実施後の様子を示しており、被検体PSの腹部が膨らんでいる状態(仮想気腹状態)であり、気腹空間KSを有する。ロボット手術では、被検体PSが気腹状態で手術されるので、非気腹状態で撮像されて得られるボリュームデータに対しては、変形シミュレーション部163により気腹シミュレーションが実施され、仮想気腹状態のボリュームデータが導出されてよい。
変形シミュレーション部163は、被検体PS内の臓器や病変等の観察対象を仮想的に変形させてよい。観察対象は、術者によって手術される手術対象であってよい。変形シミュレーション部163は、例えば、臓器がエンドエフェクタEFにより引っ張られたり押されたり、切断される様子をシミュレートしてよい。また、変形シミュレーション部163は、例えば、***変換による臓器の移動をシミュレートしてよい。
ポート位置処理部164は、被検体PSの体表上に設けられる複数のポートPTの情報を取得する。ポートPTの情報は、ポートPTの識別情報、ポートPTが穿孔される被検体PSの体表上の位置(ポート位置)の情報、ポートPTのサイズの情報、等を含んでよい。複数のポートの情報は、テンプレートとしてメモリ150や外部サーバに保持されていてよい。複数のポートの情報は、術式によって定められていてよい。複数のポートの情報は術前計画に用いることを目的としてよい。
ポート位置処理部164は、メモリ150から複数のポート位置の情報を取得してよい。ポート位置処理部164は、通信部110を介して、外部サーバから複数のポート位置の情報を取得してよい。ポート位置処理部164は、UI120を介して、複数のポートPTのポート位置の指定を受け付けて、複数のポート位置の情報を取得してよい。複数のポート位置の情報は、複数のポート位置の組み合わせの情報でよい。
ポート位置処理部164は、手術支援ロボット300のキネマティクスの情報を取得する。キネマティクスの情報は、メモリ150に保持されていてよい。ポート位置処理部164は、メモリ150からキネマティクスの情報を取得してよい。ポート位置処理部164は、通信部110を介して、手術支援ロボット300や外部サーバからキネマティクスの情報を取得してよい。キネマティクスの情報は、手術支援ロボット300毎に異なってよい。
キネマティクスの情報は、例えば、手術支援ロボット300が備えるロボット手術を行うための器具(例えばロボットアームAR、エンドエフェクタEF)の形状に関する形状情報や動作に関する動作情報を含んでよい。この形状情報は、ロボットアームARやエンドエフェクタEFの各部位の長さ、重さ、基準方向(例えば水平面)に対するロボットアームARの角度、ロボットアームARに対するエンドエフェクタEFの取付角度、等の少なくとも一部の情報を含んでよい。この動作情報は、例えばロボットアームARやエンドエフェクタEFの3次元空間における可動範囲、ロボットアームARを動作する際のロボットアームARの位置、速度、加速度、エンドエフェクタEFを動作する際のロボットアームARに対する位置、速度、加速度、等の少なくとも一部の情報を含んでよい。
なお、キネマティクスでは、自ロボットアームによる可動範囲とともに他ロボットアームの可動範囲が規定される。したがって、手術支援ロボット300は、手術支援ロボット300の各ロボットアームARがキネマティクスに基づいて動作することで、手術中に複数のロボットアームARが干渉することを回避できる。
ポート位置処理部164は、術式の情報を取得する。術式は、被検体PSに対する外科手術の方式を示す。術式は、UI120を介して指定されてよい。術式により、ロボット手術における各処置が定まってよい。処置に応じて、処置に必要なエンドエフェクタEFが定まってよい。よって、術式に応じて、ロボットアームARに装着されるエンドエフェクタEFが定まってよく、どのロボットアームARにどの種類のエンドエフェクタEFが装着されるかが定まってよい。また、処置に応じて、処置に最低限必要な最小領域や処置のために確保されることが推奨される推奨領域が定まってよい。
ポート位置処理部164は、ターゲット領域の情報を取得する。ターゲット領域は、ロボット手術による処置が行われる対象(例えば組織(例えば血管、気管支、臓器、骨、脳、心臓、足、首))を含む領域でよい。組織は、病変組織、正常組織、臓器、器官、など被検体PSの組織を広く含んでよい。
ポート位置処理部164は、メモリ150からターゲット領域の位置の情報を取得してよい。ポート位置処理部164は、通信部110を介して、外部サーバからターゲット領域の位置の情報を取得してよい。ポート位置処理部164は、UI120を介して、ターゲット領域の位置の指定を受け付けて、ターゲット領域の位置の情報を取得してよい。
ポート位置処理部164は、ポート位置シミュレーションを実行してよい。ポート位置シミュレーションは、ユーザがUI120を操作することで、被検体PSにおける所望のロボット手術が可能か否かを判定するためのシミュレーションでよい。ポート位置シミュレーションでは、ユーザが手術を想定しながら、仮想空間において、各ポート位置から挿入されたエンドエフェクタEFを動作させ、手術対象となるターゲット領域へアクセス可能か否かを判定してよい。つまり、ポート位置シミュレーションでは、ユーザによる手術支援ロボット300に対する手動の操作を受けながら、手術支援ロボット300のロボット手術に係る可動部(例えばロボットアームARやエンドエフェクタEF)が、手術対象となるターゲット領域へ問題なくアクセス可能か否かが判定されてよい。ポート位置処理部164は、ポート位置シミュレーションによりポート位置の計画情報を得てよい。
ポート位置シミュレーションでは、被検体PSのボリュームデータ、取得された複数のポート位置の組み合わせ、手術支援ロボット300のキネマティクス、術式、仮想気腹状態のボリュームデータ、等に基づいて上記のアクセスが可能か否かが判定されてよい。ポート位置処理部164は、被検体PSの体表における複数のポート位置を変えながら、各ポート位置においてターゲット領域にアクセス可能か否かを判定してよく、順次ポート位置シミュレーションを行ってよい。ポート位置処理部164は、最終的に好ましい(例えば最適な)ポート位置の組み合わせの情報を、UI120を介してユーザ入力に応じて指定してよい。これにより、ポート位置処理部164が、穿孔対象の複数のポート位置を計画してよい。ポート位置シミュレーションの詳細については後述する。
ポート位置処理部164は、被検体PSの体表上に設けられる複数のポート位置を用いてロボット手術する場合の適切度を示すポート位置スコアを導出(例えば算出)してよい。つまり、複数のポート位置の組み合わせに基づくポート位置スコアは、ロボット手術を行うための複数のポート位置の組み合わせの価値を示している。ポート位置スコアは、複数のポート位置の組み合わせ、手術支援ロボット300のキネマティクス、術式、仮想気腹状態のボリュームデータ、等に基づいて算出されてよい。ポート位置スコアは、ポート位置毎に導出される。ポート位置スコアの詳細については後述する。
ポート位置処理部164は、ポート位置スコアに基づいて、ポート位置を調整してよい。この場合、ポート位置処理部164は、ポート位置の移動に伴うポート位置スコアの変動量に基づいて、ポート位置を調整してよい。ポート位置調整の詳細については後述する。
このように、ポート位置処理部164は、ポート位置シミュレーションに従って、穿孔対象の複数のポート位置を導出してよい。また、ポート位置処理部164は、ポート位置スコアに基づいて、穿孔対象の複数のポート位置を導出してよい。
表示制御部166は、各種データ、情報、画像をディスプレイ130に表示させる。表示制御部166は、画像生成部162により生成された3次元画像又は2次元画像を表示させてよい。表示制御部166は、画像生成部162により生成された複数のポートPTの情報(例えばポート位置の情報)を示す画像を表示させてよい。
投射制御部167は、投射部170による可視光の投射を制御する。投射制御部167は、例えば、可視光の周波数、光量、可視光を投射する位置、可視光を投射する時刻(タイミング)を制御してよい。
投射制御部167は、被検体PSに向かって可視光を投射部170に投射させ、被検体PSの体表(例えば腹部の体表部)に、各種情報を表示させる。投射制御部167は、被検体PSの体表に向かってレーザ光を投射し、体表上の特定位置にマーキングを行ってよい。この特定位置は、例えば、穿孔対象のポート位置、体表面のこの特定位置から法線方向に向かうとボリュームデータ上で観察対象(例えば患部)が存在する位置、でよい。つまり、投射制御部167は、ポート位置を示すレーザポインタであってよい。
また、投射制御部167は、被検体PSの体表面に可視光を投射部170に投射させ、被検体PSの体表に、ロボット手術を支援する情報(例えばポート位置に関する情報)を重畳させて表示させてよい。重畳される情報は、文字情報、図形情報、等であってよい。つまり、投射制御部167は、ロボット手術において拡張現実(AR:Augmented Reality)技術を用いてユーザを支援してよい。
図4は、既孔ポートPT1のポート位置の計測例を説明するための図である。ポート位置の計測は、3次元計測でよい。図4では、ベッドBDに被検体PS(例えば患者)が横になって載置されている。
深度センサ410は、赤外線を発光する発光部と、赤外線を受光する受光部と、画像を撮像するカメラと、を含んでよい。深度センサ410は、発光部により被検体PSへ発光された赤外線と、被検体PSで反射され受光された反射光と、に基づいて、深度センサ410から被検体PSまでの距離を検出してよい。深度センサ410は、カメラにより撮像された撮像画像により、被写体の上下左右を検出してよい。これにより、深度センサ410は、被検体PSの体表における各位置(例えば既孔ポートPT1のポート位置)の3次元位置(3次元座標)の情報を取得してよい。
深度センサ410は、プロセッサ及び内部メモリを有してよい。内部メモリは、トロッカーTCの形状の情報を保持しておいてよい。深度センサ410は、内部メモリに保持されたトロッカーTCの形状情報を参照し、被検体PSの体表面に穿孔されたポートPTに設置されたトロッカーTCを検出(認識)し、トロッカーTCの3次元位置を検出(計測)してよい。
また、トロッカーTCの表面に所定のマークが付されていてよい。深度センサ410は、トロッカーTCにおける所定のマークを特徴点として撮像することで、画像認識によりトロッカーTCを検出(認識)してよい。これにより、深度センサ410は、トロッカーTCの認識精度を向上でき、トロッカーTCの3次元位置の計測精度を向上できる。
また、深度センサ410は、赤外線センサ(発光部及び受光部)を備えず、ステレオカメラを備え、画像処理によりトロッカーTCの3次元位置を計測してよい。この場合、深度センサ410は、ステレオカメラにより撮像された撮像画像において物体認識によりトロッカーTCを認識し、被検体における体表上のトロッカーTCの位置を検出(認識)し、トロッカーTCまでの距離を算出することで、トロッカーTCの3次元位置を計測してよい。
深度センサ410は、赤外線センサから発光された赤外線が到達可能な範囲やカメラにより撮像可能な範囲(図4の範囲A1参照)で、被検体PSの体表上の各位置やトロッカーTCの位置を計測してよい。
なお、ロボット手術支援装置100の変形シミュレーション部163は、深度センサ410から、被検体PSの実気腹状態での体表上の各位置の情報、つまり被検体PSの実気腹状態での体表の形状の情報を取得してよい。また、変形シミュレーション部163は、被検体PSの非気腹状態でのボリュームデータを基に、被検体PSの輪郭(体表に相当)を抽出して、被検体PSの非気腹状態での体表上の各位置の情報、つまり被検体PSの非気腹状態での体表の形状の情報を取得してよい。
変形シミュレーション部163は、被検体PSの実気腹状態での体表上の各位置と被検体PSの非気腹状態での体表上の各位置との差分、つまり被検体PSの実気腹状態での体表の形状と被検体PSの非気腹状態での体表の形状との差分を算出してよい。これにより、変形シミュレーション部163は、被検体PSの実気腹状態とするための気腹条件を認識できる。
気腹条件として、気腹時の送気量を示すパラメータがあってよい。送気量はガス注入量、ガス圧、腹腔内のガス体積であってよい。肺体積、肺機能、心機能、年齢、性別、体重、既往症、その他、医師が送気量を決定するときに因子を気腹シミュレーション時の送気量を決定するときに用いてよい。気腹条件には、被検体の体組織の伸張のしやすさを示すパラメータがあってよい。例えば、出産の経験があれば被検体の皮膚は伸びやすくなり、同じ送気量であったとして大きく気腹する。気腹条件には、腹囲、皮下脂肪、手術歴、年齢、性別、体重、既往症、その他、被検体の体組織の伸張のしやすさに影響を与えるパラメータがあってよい。また、被検体の体組織の伸張のしやすさは、臓器や血管の硬さを推定させるパラメータがあってよい。また、被検体の体組織の伸張のしやすさは、体表の場所によって異なってよい。気腹条件と気腹シミュレーションは、有限要素法を用いた大変形シミュレーションで表現してよい。気腹条件と気腹シミュレーションは、有限体積法、レベルセット法、格子ボルツマン法(Lattice Boltzmann methods)、CIP法(Constrained Interpolation Profile Scheme)、あるいはこれらの組み合わせで表現してよい。
また、変形シミュレーション部163は、実気腹状態と気腹シミュレーションによる仮想気腹状態との差分を基に、気腹シミュレーションのシミュレーション方法やシミュレーション結果を補正してよい。つまり、変形シミュレーション部163は、実際の気腹条件を基に、気腹シミュレーションのシミュレーション方法やシミュレーション結果を補正してよい。変形シミュレーション部163は、この補正情報を、メモリ150に保持しておいてよい。また、変形シミュレーション部163は、通信部110を介して気腹装置より掃気量を受け取って、気腹シミュレーションのシミュレーション方法やシミュレーション結果を補正してよい。これにより、ロボット手術支援装置100は、気腹シミュレーションの精度を向上できる。
また、ポート位置処理部164は、実気腹状態と気腹シミュレーションによる仮想気腹状態との差分を基に補正された気腹シミュレーション結果を基に、ポート位置シミュレーションの結果を補正してよい。ポート位置処理部164は、この補正情報を、メモリ150に保持しておいてよい。これにより、ロボット手術支援装置100は、ポート位置シミュレーションの精度を向上できる。
次に、ポート位置の表示例について説明する。
変形シミュレーション部163は、非気腹状態(例えば術前CT撮像)で得られたボリュームデータに気腹シミュレーションを行い、仮想気腹状態のボリュームデータを生成する。画像生成部162は、仮想気腹状態のボリュームデータをボリュームレンダリングして、ボリュームレンダリング画像を生成してよい。画像生成部162は、気腹状態のボリュームデータをサーフィスレンダリングして、サーフィスレンダリング画像を生成してよい。
変形シミュレーション部163は、非気腹状態(例えば術前CT撮像)で得られたボリュームデータに気腹シミュレーションを行い、非気腹状態のボリュームデータの各点が気腹によって移動する先を表す変形情報を生成してよい。画像生成部162は、非気腹状態(例えば術前CT撮像)で得られたボリュームデータに変形情報を適用して仮想気腹ボリュームデータを作成してよい。画像生成部162は、非気腹状態(例えば術前CT撮像)で得られたボリュームデータからサーフィスを生成してサーフィスレンダリング画像を生成してよい。画像生成部162は、非気腹状態(例えば術前CT撮像)で得られたボリュームデータからサーフィスを生成したものに変形情報を適用して、仮想気腹状態のサーフィスレンダリング画像を生成してよい。変形情報は、少なくともポート位置の気腹による移動を表現する情報を含んでいればよい。画像生成部162は、非気腹状態(例えば術前CT撮像)で得られたボリュームデータから骨をセグメンテーションして、骨は気腹によって動かないものとして変形情報から除外し、その他の組織の移動を変形情報として作成してよい。
表示制御部166は、仮想気腹状態のボリュームレンダリング画像又はサーフィスレンダリング画像に、ポート位置処理部164により導出されたポート位置を重畳して、ディスプレイ130に表示させてよい。
投射制御部167は、被検体PS(例えば患者)の体表におけるポート位置処理部164により導出されたポート位置に可視光を投射させ、可視光によりポート位置を指し示し、ポート位置を可視化してよい。これにより、ユーザは、被検体PSの体表におけるポート位置を確認しながら、ポート位置に対する穿孔等の処置を実施できる。
また、投射制御部167は、被検体PSに可視光を投射させ、被検体PS(例えば患者)の体表におけるポート位置処理部164により導出されたポート位置を示す情報を表示させてよい。この場合、投射制御部167は、AR技術を用いて、被検体PSに、ポート位置を示す情報(例えばポートの識別情報、ポート位置を示す矢印)を重畳して表示させてよい。これにより、ユーザは、可視光によるガイド情報を参照することで、被検体PSの体表におけるポート位置に関する情報を確認しながら、ポート位置に対する穿孔等の処置を実施できる。
ここで変形情報について詳述する。
変形シミュレーション部163は、変形情報を利用して非気腹状態のボリュームデータから仮想気腹ボリュームデータを生成する。気腹前後に得られる複数のボリュームデータ(CT画像)を基に、ボリュームデータに含まれる各部の動き(変形)を検出し、変形情報を生成する。この場合、変形シミュレーション部163は、複数の気腹条件(非気腹状態も含み得る)のボリュームデータを基に、複数のボリュームデータの変形に対して動き解析(変形解析)を行い、ボリュームデータにおける変形情報を取得する。変形解析の具体的手法は、例えば参考特許文献1、参考特許文献2に記載されている。これらは、非剛体レジストレーションの例における手法であるが、動き解析(変形解析)、動き解析情報(変形情報)と読み替えることができる。
(参考特許文献1:米国特許第8311300号明細書)
(参考特許文献2:日本国特許第5408493号公報)
変形シミュレーション部163は、変形情報として、ボリュームデータの任意の点の移動量に係る情報や速度に係る情報を取得してよい。変形シミュレーション部163は、参考特許文献1の手法を適用すると、ボリュームデータを2次元格子node(k,l)に区切り、2次元格子のフェーズtの格子node(k,l,t)における2次元座標を(x,y)とした場合、フェーズtの値を変更して得られる複数のnode(k,l,t)の差分を基に、node(k,l)の格子点に係る移動量の情報を算出してよい。また、変形シミュレーション部163は、移動量の情報を時間微分することで、速度の情報を算出してよい。移動量や速度の情報は、ベクトルで示されてよい。
変形シミュレーション部163がこの2次元格子の変形情報をボリュームデータ全体の各点に対して補間すると、ボリュームデータの各点の変形情報が得られる。この所定の点の変形情報を、観察部位を含む領域の各点に対して適用すると、観察部位を含む領域の各点の変形情報が得られる。
また、変形シミュレーション部163は、参考特許文献2の手法を適用すると、時系列に並ぶ(気腹前後の)ボリュームデータのうち、ボリュームデータtk-1及びその時刻情報tk-1、並びにボリュームデータtk及びその時刻情報tkを基に、変形情報を生成してよい。変形情報は、複数のボリュームデータ上の対応する位置もしくは対応する物体の対応関係の情報、位置及び物体が移動変化する過程の情報を指してよい。各ボリュームデータの画素が、時刻k-1と時刻kとの間の任意の時刻での位置を示す指標となる。また、これによって、変形シミュレーション部163は、呼吸や心拍による臓器の移動を加味して、より正確な変形情報を得ることができる。
なお、変形シミュレーション部163は、参考特許文献1の手法に限られず、公知の手法を用いて変形解析を行ってもよい。また、その他の公知のレジストレーション手法を用いて変形解析を行ってもよい。ロボット手術支援装置100は、変形情報を用いた各点や観察部位の変形解析により、被検体内の任意の位置が気腹前後でどの位置に移動したかを把握可能である。
なお、変形情報は、変形シミュレーションの結果であればなんでもよく、変形情報は少なくとも一点が気腹によってどこに移動するのかが表現されていればよい。また、変形情報は、直接的に表現されていてもよいし、間接的に表現されてもよい。例えば、変形情報は、変形前の格子と変形後の格子の組として表現されてよい。例えば、変形情報は、少なくとも一点の移動ベクトルとして表現されてよい。
変形情報と仮想気腹状態は、気腹シミュレーションの気腹条件を変えることによって、それぞれ複数存在しうる。気腹条件として、気腹時の送気量を示すパラメータがあってよい。送気量はガス注入量、ガス圧、腹腔内のガス体積であってよい。肺体積、肺機能、心機能、年齢、性別、体重、既往症、その他、医師が送気量を決定するときの因子を、気腹シミュレーション時の送気量を決定するときに用いてよい。気腹条件には、被検体の体組織の伸張のしやすさを示すパラメータがあってよい。例えば、出産の経験があれば被検体の皮膚は伸びやすくなり、同じ送気量であったとして大きく気腹する。気腹条件として、腹囲、皮下脂肪、手術歴、年齢、性別、体重、既往症、その他、被検体の体組織の伸張のしやすさに影響を与えるパラメータがあってよい。また、被検体の体組織の伸張のしやすさは、臓器や血管の硬さを推定させるパラメータがあってよい。また、被検体の体組織の伸張のしやすさは、体表の場所によって異なってよい。気腹条件と気腹シミュレーションは、有限要素法を用いた大変形シミュレーションで表現してよい。気腹条件と気腹シミュレーションは、有限体積法、レベルセット法、格子ボルツマン法(Lattice Boltzmann methods)、CIP法(Constrained Interpolation Profile Scheme)、あるいはこれらの組み合わせで表現してよい。
次に、標準的なポート位置の具体例について説明する。標準的なポート位置の配置は、本実施形態にも適用である。
図5Aは、被検体PSの体表に設置されるポート位置の第1配置計画例を示す図である。図5Bは、被検体PSの体表に設置されるポート位置の第2配置計画例を示す図である。図5Cは、被検体PSの体表に設置されるポート位置の第3配置計画例を示す図である。複数のポート位置の配置は、例えば術式に応じて計画されてよい。図5A~図5Cでは、被検体PSの体格や観察対象の病変等の位置や大きさは考慮されていない。
なお、図5A~図5Cにおいて示された複数のポート位置は、穿孔予定のポート位置である。穿孔予定のポート位置と実際に穿孔されたポート位置とでは多少の誤差が生じることがあり、例えば25mm程度の誤差が生じることがある。
被検体PSの体表に設けられるポートPTには、カメラCAが挿入されるカメラポートPTC、エンドエフェクタEFが挿入されるエンドエフェクタポートPTE、助手が把持する鉗子類が挿入される補助ポートPTA、が含まれてよい。各ポートPTは種類毎(例えばカメラポートPTC、エンドエフェクタポートPTE、補助ポートPTA毎)に複数存在してよく、各ポートPTの大きさは種類毎に同じでも異なってもよい。例えば、臓器を抑えるためのエンドエフェクタEFや被検体PS内での動きが複雑なエンドエフェクタEFが挿入されるエンドエフェクタポートPTEは、電気メスとしてのエンドエフェクタEFが挿入されるエンドエフェクタポートPTEよりも大きくてよい。補助ポートPTAは、比較的自由に配置位置が計画されてよい。
図5Aでは、カメラポートPTCのポート位置を基準(頂点)として、被検体PSの右方向及び被検体PSの左方向において、多くのエンドエフェクタポートPTE及び補助ポートPTAが直線状に配列されている。
図5Bでは、臍hsの位置を挟んで、多くのエンドエフェクタポートPTE及び補助ポートPTAが直線状に配列されている。また、カメラポートPTCも臍hsの近傍に配置されている。
図5Cでは、多くのエンドエフェクタポートPTE及び補助ポートPTAが直線状に配列されている。臍hsの位置は、この直線上の位置から、ややずれている。また、カメラポートPTCも臍hsの近傍に配置されている。
既存の計画では、直線的に多くのポートPTが並んで配置されることが多いのは、ユーザがポート位置を位置決めしやすいことと安心感があるためと考えられる。なお、複数のポートPTのうち、カメラポートPTCが被検体PSの体表面の中央部に配置されなくてもよい。
図6は、ロボット手術時の被検体PS、ポートPT、トロッカーTC、及びロボットアームARの位置関係の一例を示す図である。
被検体PSには、1つ以上のポートPTが設けられる。ポートPTのそれぞれには、トロッカーTCが配置される。トロッカーTCにはエンドエフェクタEFが接続(例えば挿通)され、被検体内でのエンドエフェクタEFによる作業(処置)が可能となる。ポート位置は、固定して配置され、術中に移動しない。したがって、ポート位置に配置されるトロッカーTCの位置も移動しない。一方、術中の処置に応じて、ロボット操作端末の操作を基にロボットアームAR及びエンドエフェクタが制御され、ロボットアームARは移動する。よって、ロボットアームARとトロッカーTCの位置関係が変化し、被検体の体表面に対するトロッカーTCの角度やトロッカーTCに取り付けられたエンドエフェクタEFの角度が変化する。なお、図6では、助手が把持する監視類もエンドエフェクタとして示されている。
次に、ロボット手術支援装置100の動作について説明する。
まず、ポート位置シミュレーションの手順について説明する。図7は、ポート位置シミュレーションの手順の一例を示すフローチャートである。
まず、ポート位置処理部164は、例えば通信部110を介して、被検体PSを含むボリュームデータを取得する(S11)。ポート位置処理部164は、例えば通信部110を介して、手術支援ロボット300のキネマティクスの情報を取得する(S12)。変形シミュレーション部163は、気腹シミュレーションを実行し(S13)、被検体PSの仮想気腹状態のボリュームデータを生成する。
ポート位置処理部164は、術式の情報を取得する(S14)。ポート位置処理部164は、取得された術式に応じた複数のポートPTの位置(初期位置)を取得し、設定する(S14)。この場合、ポート位置処理部164は、3次元座標で複数のポートPTの位置を設定してよい。
ポート位置処理部164は、ターゲット領域の位置の情報を取得する(S15)。
ポート位置処理部164は、S14で取得された複数のポートの位置とターゲット領域の位置とに基づいて、各ポートPTから挿入された各エンドエフェクタEFがターゲット領域にアクセス可能か否かを判定する(S16)各エンドエフェクタEFがターゲット領域にアクセス可能か否かは、ターゲット領域における全ての位置に、各エンドエフェクタEFが到達可能であるか否かに相当してよい。つまり、エンドエフェクタEF(必要に応じて複数のエンドエフェクタEF)によって、取得された術式に従ったロボット手術が可能であるか否かを示しており、アクセス可能な場合には、ロボット手術が可能であることを示している。
各エンドエフェクタEFの少なくも1つがターゲット領域の少なくとも一部にアクセス不可能である場合、ポート位置処理部164は、穿孔対象の複数のポートPTに含まれる少なくとも1つのポートPTのポート位置を、被検体PSの体表に沿って、移動する(S17)。この場合、ポート位置処理部164は、UI120を介したユーザ入力を基に、ポート位置を移動してよい。移動させるポートPTは、少なくとも、ターゲット領域の少なくとも一部にアクセス不能であったエンドエフェクタEFが挿入されたポートPTを含む。
各エンドエフェクタEFがターゲット領域にアクセス可能である場合、処理部160は、図7のポート位置シミュレーションの処理を終了する。
このように、ロボット手術支援装置100は、ポート位置シミュレーションを実施することで、取得された複数のポート位置を用いてターゲット領域にアクセス可能であるか否か、よって取得された複数のポート位置を用いた手術支援ロボット300によるロボット手術が可能であるか否かを判定できる。複数のポート位置を用いてターゲット領域にアクセス不能である場合、UI120介してポート位置の少なくとも一部を変更して、変更された複数のポート位置を用いてターゲット領域にアクセス可能であるか否かを再度判定してよい。ロボット手術支援装置100は、ターゲット領域にアクセス可能である複数のポート位置の組み合わせを、穿孔対象の複数のポート位置に計画できる。このように、ロボット手術支援装置100は、ユーザ手動でポート位置を調整し、ポート位置を計画できる。
次に、ポート位置スコアの算出例について説明する。
複数のポート位置は、例えば術式に従って定められ、被検体PSの体表上の任意の位置にそれぞれ配置されることが仮定されてよい。よって、複数のポート位置の組み合わせも、様々なポート位置の組み合わせが仮定されてよい。1つのポートPTから、ロボットアームARに装着された1つのエンドエフェクタEFが被検体PS内に挿入可能である。よって、複数のポートPTから、複数のロボットアームARに装着された複数のエンドエフェクタEFが被検体PS内に挿入可能である。
1つのエンドエフェクタEFがポートPTを介して被検体PS内において到達可能な範囲が、1つのエンドエフェクタEFによって作業(ロボット手術における処置)が可能なワーキングエリア(個別ワーキングエリアWA1)となる。よって、複数のエンドエフェクタEFによる個別ワーキングエリアWA1が重複するエリアが、複数のエンドエフェクタEFが複数のポートPTを介して被検体PS内において同時に到達可能なワーキングエリア(全体ワーキングエリアWA2)となる。術式に従った処置では、所定数(例えば3つ)のエンドエフェクタEFが同時動作することが必要であるので、所定数のエンドエフェクタEFが同時に到達可能な全体ワーキングエリアWA2が考慮される。
また、手術支援ロボット300のキネマティクスによってエンドエフェクタEFが到達可能な被検体PSにおける位置が異なるので、エンドエフェクタEFが被検体PS内に挿入される位置であるポート位置の導出に加味される。また、術式によって確保すべき全体ワーキングエリアWA2の被検体PS内における位置が異なるので、全体ワーキングエリアWA2の位置に対応するポート位置の導出に加味される。
ポート位置処理部164は、取得された(仮定された)複数のポート位置の組み合わせ毎に、ポート位置スコアを算出してよい。ポート位置処理部164は、仮定された複数のポート位置の組み合わせのうち、所定条件を満たすポート位置スコア(例えば最大となるポートスコア)となるポート位置の組み合わせを計画してよい。つまり、計画されたポート位置の組み合わせに含まれる複数のポート位置を、穿孔対象の複数のポート位置に計画してよい。
なお、ポート位置と手術支援ロボット300の可動部の動作との関係性は、例えば参考非特許文献2,3に記載された関係性を満たしてよい。
(参考非特許文献2):Mitsuhiro Hayashibe, Naoki Suzuki, Makoto Hashizume, Kozo Konishi, Asaki Hattori, “Robotic surgery setup simulation with the integration of inverse-kinematics computation and medical imaging”, computer methods and programs in biomedicine, 2006, P63-P72
(参考非特許文献3)Pal Johan From, “On the Kinematics of Robotic-assisted Minimally Invasive Surgery”, Modeling Identication and Control, Vol.34, No.2, 2013, P69-P82
図8は、ロボット手術支援装置100によるポート位置スコアを算出する場合の動作例を示すフローチャートである。
図8の処理前には、図7に示したポート位置シミュレーションのS11~S14と同様に、被検体PSのボリュームデータの取得、手術支援ロボット300のキネマティクスの情報の取得、気腹シミュレーションの実行、及び術式の情報の取得が事前に行われる。また、キネマティクスの情報は、術式に応じて各ロボットアームARに装着された各エンドエフェクタEFの情報が含まれてよい。なお、ポート位置スコアの初期値は値0である。ポート位置スコアは、ポート位置の組み合わせの価値を示す評価関数(評価値)である。なお、変数iは、作業の識別情報の一例であり、変数jは、ポートの識別情報の一例である。
ポート位置処理部164は、術式に応じて、各エンドエフェクタEFを用いた作業work_iのリストである作業リストworksを生成する(S21)。作業work_iには、術式に従った手術手順で各エンドエフェクタEFが作業するための情報が含まれる。作業work_iには、例えば把持、切除、縫合等が含まれてよい。なお、作業には、単一のエンドエフェクタEFによる単独作業、複数のエンドエフェクタEFによる協調作業、が含まれてよい。
ポート位置処理部164は、術式及び仮想気腹状態のボリュームデータに基づいて、作業リストworksに含まれる作業work_iを行うために最低限必要な領域である最小領域least_region_iを計画する(S22)。最小領域は、被検体PSにおける3次元領域で定められてよい。ポート位置処理部164は、最小領域least_region_iのリストである最小領域リストLeast_regionsを生成する(S22)。
ポート位置処理部164は、術式、手術支援ロボット300のキネマティクス、及び仮想気腹状態のボリュームデータに基づいて、作業リストworksに含まれる作業work_iを行うために推奨される領域である推奨領域effective_region_iを計画する(S23)。ポート位置処理部164は、推奨領域effective_region_iのリストである推奨領域リストeffective_regionsを生成する(S23)。推奨領域には、作業を行うための最低限の空間(最小領域)とともに、例えばエンドエフェクタEFが動作するために推奨される空間が含まれてよい。
ポート位置処理部164は、複数のポート位置port_jのリストであるポート位置リストportsの情報を取得する(S24)。ポート位置は、3次元座標(x,y,z)で定められてよい。ポート位置処理部164は、例えば、UI120を介してユーザ入力を受け付け、ユーザにより指定された1つ以上のポート位置を含むポート位置リストportsを取得してよい。ポート位置処理部164は、メモリ150にテンプレートとして保持されたポート位置リストportsを取得してもよい。
ポート位置処理部164は、術式、手術支援ロボット300のキネマティクス、仮想気腹状態のボリュームデータ、及び取得された複数のポート位置に基づいて、各作業work_iについて、各ポート位置port_jを介して各エンドエフェクタEFが作業可能な領域であるポート作業領域region_iを計画する(S25)。ポート作業領域は、3次元領域で定められてよい。ポート位置処理部164は、ポート作業領域region_iのリストであるポート作業領域リストregionsを生成する(S25)。
ポート位置処理部164は、作業work_i毎に、最小領域least_region_iからポート作業領域region_iから引いて、減算領域(減算値)を算出する(S26)。ポート位置処理部164は、減算領域が空領域(減算値が負の値)でないか否かを判定する(S26)減算領域が空領域でないか否かは、最小領域least_region_i内の少なくとも一部に、ポート作業領域region_iに覆われていない領域(ポートPTを介してエンドエフェクタEFが到達しない領域)が存在する否かを示している。
減算領域が空領域である場合、ポート位置処理部164は、推奨領域effective_region_iとポート作業領域region_iとの積である体積値Volume_iを算出する(S27)。そして、ポート位置処理部164は、作業work_i毎に算出された体積値Volume_iを合計し、合計値Volume_sumを算出する。ポート位置処理部164は、合計値Volume_sumをポート位置スコアに設定する(S27)。
つまり、減算領域が空領域である場合、最小領域内にポート作業領域に覆われていない領域が存在せず、このポート位置リストports(ポート位置port_jの組み合わせ)が選択されることが好ましいので、このポート位置リストが選択され易くように、ポート位置スコアに作業work_i毎の値が加算される。また、体積Volume_iを基準にポート位置スコアが計画されることで、最小領域やポート作業領域が大きい程、ポート位置スコアが大きくなり、このポート位置リストportsが選択され易くなる。よって、ポート位置処理部164は、最小領域やポート作業領域が大きく、手術における各処置が容易になるポート位置の組み合わせを選択し易くできる。
一方、減算領域が空領域でない場合、ポート位置処理部164は、ポート位置リストportsについてのポート位置スコアを、値0に設定する(S28)。つまり、最小領域内の少なくとも一部にポート作業領域に覆われていない領域が存在し、対象の作業work_iの作業を完結できない可能性があるので、このポート位置リストPostsが選択されることが好ましくない。そのため、ポート位置処理部164は、このポート位置リストPostsが選択されにくくなるように、ポート位置スコアを値0とし、選択候補から除外する。この場合、ポート位置処理部164は、同じポート位置リストportsを用いて他の作業work_iを行う場合に空領域となっても、全体でのポート位置スコアを値0に設定する。
なお、ポート位置処理部164は、全ての作業work_iについて図8の各ステップを繰り返し、全作業work_iを加味したポート位置スコアを算出してよい。
このように、ロボット手術支援装置100は、ポート位置スコアを導出することで、被検体PSの体表上に設けられる複数のポート位置を用いてロボット手術する場合に、穿孔候補のポート位置の組み合わせが、どの程度適切であるかを把握できる。個別ワーキングエリアWA1や全体ワーキングエリアWA2は、穿孔対象となる複数のポートの配置位置によって左右される。この場合でも、手術支援ロボット300は、複数のポート位置の組み合わせ毎のスコア(ポート位置スコア)を加味することで、例えばポート位置スコアが閾値th1以上(例えば最大)となる複数のポート位置の組み合わせを導出でき、ロボット手術を実施し易いポート位置を設定できる。
また、ポート位置スコアに基づいてワーキングエリアが適切に確保されることで、ユーザは、ロボット手術において直接目視できない被検体内での視野を広く確保でき、ポート作業領域を広く確保でき、不測の事態に対処し易くなる。
また、ロボット手術では、穿孔されたポート位置は不変であるが、ポート位置に挿入されるエンドエフェクタが装着されるロボットアームARは所定範囲で移動可能である。そのため、ロボット手術では、計画されるポート位置によっては、ロボットアームARが相互に干渉し得るので、ポート位置の計画は重要である。また、手術支援ロボット300と被検体PSとの位置関係を術中に変更することは原則的に行われないので、ポート位置の計画は重要である。
図9は、ポート位置を基に定められるワーキングエリアの一例を示す図である。個別ワーキングエリアWA1は、各ポート位置port_jに対応する個別のワーキングエリアである。個別ワーキングエリアWA1は、個別のエンドエフェクタが到達可能な被検体PS内の領域でよい。各個別ワーキングエリアWA1が重複するエリアが、全体ワーキングエリアWA2である。全体ワーキングエリアWA2は、ポート作業領域region_iに相当してよい。ロボット手術支援装置100は、ポート位置スコアを用いることで、各ポート位置を最適化でき、好適な個別ワーキングエリアWA1及び全体ワーキングエリアWA2を導出できる。
次に、ポート位置調整の詳細について説明する。
ポート位置処理部164は、例えばメモリ150に保持されたテンプレートやUI120を介したユーザ指示を基に、複数のポート位置(候補位置)の情報を取得する。ポート位置処理部164は、取得された複数のポート位置の組み合わせに基づいて、この複数のポート位置を用いた場合のポート位置スコアを算出する。
ポート位置処理部164は、ポート位置スコアに基づいて、ポートPTの位置を調整してよい。この場合、ポート位置処理部164は、取得された複数のポート位置の場合のポート位置スコアと、この複数のポート位置のうちの少なくとも1つのポート位置を変更した場合のポート位置スコアと、に基づいて、ポートPTの位置を調整してよい。この場合、ポート位置処理部164は、3次元空間での各方向(x方向、y方向、z方向)に沿ったポート位置の微小移動や微分を加味してよい。
なお、x方向は、被検体PSを基準とした左右方向に沿ってよい。y方向は、被検体PSを基準とした前後方向(被検体PSの厚み方向)でよい。z方向は、被検体PSを基準とした上下方向(被検体PSの体軸方向)でよい。x方向、y方向、z方向は、DICOM(Digital Imaging and COmmunications in Medicine)で規定された3方向でよい。x方向、y方向、z方向は、これ以外の方向でもよく、被検体PSを基準にしない方向でもよい。
例えば、ポート位置処理部164は、(式1)に従って、複数のポート位置に対して、ポート位置スコアF(ports)を算出し、Fの微分値F’を算出してよい。
F(port_j(x+Δx, y, z)) - F(port_j(x, y, z))
F(port_j(x, y+Δy, z)) - F(port_j(x, y, z)) ・・・(式1)
F(port_j(x, y, z+Δz)) - F(port_j(x, y, z))
つまり、ポート位置処理部164は、ポート位置F(port_j(x+Δx, y, z))の場合のポート位置スコアFを算出し、ポート位置F(port_j(x, y, z))の場合のポート位置スコアFを算出し、その差分を算出する。この差分値は、ポート位置F(port_j(x, y, z))におけるx方向の微小変化に対するポート位置スコアFの変化を示し、つまり、x方向のFの微分値F’を示す。
また、ポート位置処理部164は、ポート位置F(port_j(x, y+Δy, z))の場合のポート位置スコアFを算出し、ポート位置F(port_j(x, y, z))の場合のポート位置スコアFを算出し、その差分を算出する。この差分値は、ポート位置F(port_j(x, y, z))におけるy方向の微小変化に対するポート位置スコアFの変化を示し、つまり、y方向のFの微分値F’を示す。
また、ポート位置処理部164は、ポート位置F(port_j(x, y, z+Δz))の場合のポート位置スコアFを算出し、ポート位置F(port_j(x, y, z))の場合のポート位置スコアFを算出し、その差分を算出する。この差分値は、ポート位置F(port_j(x, y, z))におけるz方向の微小変化に対するポート位置スコアFの変化を示し、つまり、z方向のFの微分値F’を示す。
ポート位置処理部164は、各方向の微分値F’に基づいて、ポート位置スコアの最大値を算出する。この場合、ポート位置処理部164は、微分値F’に基づいて、再急降下法に従ってポート位置スコアが最大となるポート位置を算出してよい。ポート位置処理部164は、算出されたポート位置を穿孔対象の位置とするように、ポート位置を調整し、ポート位置を最適化してよい。なお、ポート位置スコアが最大となるポート位置でなくても、例えばポート位置スコアが閾値th1以上となる位置でもよく、ポート位置スコアが改善されれば(高くなれば)よい。
ポート位置処理部164は、このようなポート位置の調整を、複数のポート位置の組み合わせに含まれる他のポート位置の調整に適用したり、複数のポート位置の他の組み合わせにおけるポート位置の調整に適用したりしてよい。これにより、ポート位置処理部164は、各ポート位置が調整された(例えば最適化された)複数のポートPTを、穿孔対象のポート位置に計画できる。このように、ロボット手術支援装置100は、自動でポート位置を調整し、ポート位置を計画できる。
なお、複数のポート位置(ポート位置の座標)は、穿孔予定位置と実際の穿孔位置とで所定長(例えば25mm)程度の誤差が生じ得、またポート位置の計画精度は精々3mmあれば十分であると考えられる。そのため、ポート位置処理部164は、被検体PSの体表において所定長毎に、ポート位置の組み合わせに含まれる複数のポート位置を総当たりで穿孔予定位置とし、この複数のポート位置についてのポート位置スコアをそれぞれ算出してよい。つまり、被検体PSの体表における所定長(例えば3mm)の格子状(グリッド)に、穿孔予定位置が配置されてよい。また、体表上に仮定されるポート数(例えば格子状の交点の数)がn個であり、ポート位置の組み合わせに含まれるポート数がm個である場合、ポート位置処理部164は、n個のポート位置からm個のポート位置を順番に選択して組み合わせ、それぞれの組み合わせでのポート位置スコアを算出してよい。このように、3mm間隔の格子状のようにグリッドが過度に細かくない場合には、ポート位置処理部164の計算負荷が過大となることを抑制でき、全組み合わせのポート位置スコアを算出可能である。
なお、ポート位置処理部164は、公知の方法に従って、複数のポート位置の調整を行ってよい。ポート位置処理部164は、穿孔対象のポート位置を、調整後のポート位置の組み合わせに含まれる複数のポート位置に計画してよい。ポート位置調整の公知の方法は、以下の参考非特許文献4,5及び参考特許文献3に記載された技術を含んでよい。
(参考非特許文献4)Shaun Selha、Pierre Dupont, Robert Howe, David Torchiana, “Dexterity optimization by port placement in robot-assisted minimally invasive surgery”, SPIE International Symposium on Intelligent Systems and Advanced Manufacturing, Newton, MA, 28-31, 2001
(参考非特許文献5)Zhi Li, Dejan Milutinovic, Jacob Rosen, “Design of a Multi-Arm Surgical Robotic System for Dexterous Manipulation”, Journal of Mechanisms and Robotics, 2016
(参考特許文献3)米国特許出願公開第2007/0249911明細書
次に、ポートPTの位置決めを行うための位置決め治具50について説明する。位置決め治具50は、3次元位置決めデバイスの一例である。
ロボット手術の手術中又は手術前には、ポート位置が計画され、位置決め治具50を用いて、計画されたポート位置にポートPTの位置決めが行われてよい。そして、位置決めされた位置にマーキングが施され、マーキングされた位置にポートPTが穿孔されてよい。
ポートPTの位置(ポート配置)の計画(Port placement planning)は、手術計画におけるポート位置の決定すること、シミュレーション上でポート位置を定めること、を含んでよい。また、ポートの位置決め(port positioning)は、手術計画におけるポート配置に従って体表を計測し、位置を定めてポートPTを設置することを含んでよい。また、ポートの位置決めは、実際に位置決め治具50を用いて体表上に具体的にポートPTの穿孔位置を計測しマーキングすること、又はマーキングを省略してポートを穿孔すること、を含んでよい。ポートPTの穿孔は、具体的に被検体PSの体表に孔を開けてトロッカーTCを挿入すること、を含んでよい。マーキングは、ポートPTの穿孔前にポート位置にマーカーなどで印をつけることを含んでよい。
本実施形態のロボット手術支援装置100は、術前シミュレーションに機能を追加し、位置決め治具50を使用するためのパラメータを出力する。このパラメータは、位置決め治具50を用いて複数のポートPTの計画位置を特定するためのポート位置特定情報の一例である。パラメータの出力例として、例えば、第1出力例~第4出力例が挙げられる。第1出力例~第4出力例において説明する位置決め治具50A,50B,50C,50Dは、位置決め治具50の一例である。
(パラメータの第1出力例)
図10は、パラメータの第1出力例における位置決め治具50Aの一例を示す図である。位置決め治具50Aは、弾性材料で形成された板状テンプレートである。弾性材料は、例えば、ステンレス、弾性樹脂でよい。位置決め治具50Aは、術式毎に予め用意されてよい。位置決め治具50Aの形状は、術式に応じて定まっていてよい。なお、図10に示す位置決め治具50Aの形状は一例であり、他の形状であってもよい。
位置決め治具50Aは、標識部Mhs、ポート識別標識Pid、ランドマークLM、及びスケールSCを備える。
標識部Mhsは、被検体PSの臍hsと位置合わせするための標識を有する。なお、臍hsは、被検体PSと位置決め治具50Aとを位置合わせするための基準位置の一例である。なお、基準位置は、臍hs以外の他の位置であってもよい。標識部Mhsを示す情報は、図10では半円弧状のマークであるが、他の形状のマークでもよいし、記号で示されてもよいし、その他の情報により示されてもよい。
ポート識別標識Pidは、位置決めされるポートPTを識別するための識別情報である。ポート識別標識は、カメラポートPTCやエンドエフェクタポートPTEの識別情報(例えばポートA,B,C,D,E)、助手用の補助ポートPTAの識別情報(例えば「assist」)、を含んでよい。
ランドマークLMは、位置計測カメラ(例えば深度センサ410のカメラ)により基準点として撮像される点である。ランドマークLMを示す情報は、様々な形状のマークであってよい。ランドマークLMは、1つ存在しても複数存在してもよく、図10では5つ存在している。
スケールSCは、所定間隔に配列された目盛りを有してもよいし、所定の位置に長さを示す情報(例えば目盛りの数字に相当する数字情報)を有してもよい。位置決め治具50Aは、スケールSCの値(スケールSCにおける位置)によって、ポートPTの位置を特定してよい。
図11は、位置決め治具50Aが設置された被検体PSの腹部のアキシャル断面の一例を示す図である。図11に示すように、位置決め治具50Aは、弾性により被検体PSの体表に沿って曲がって配置される。
図12は、パラメータの第1出力例におけるロボット手術支援装置100による動作例を示すフローチャートである。
まず、ポート位置処理部164は、仮想気腹状態のボリュームデータを用いて、位置決め治具50Aを設置するための基準位置の情報を取得する(S31)。基準位置は、3次元位置でよく、被検体PSの臍hsの位置でよい。
ポート位置処理部164は、位置決め治具50Aに関する治具情報を取得する。治具情報は、メモリ150に保持されていてもよいし、通信部110を介して外部サーバから取得されてもよい。治具情報は、位置決め治具50Aの形状やサイズの情報を含んでよい。位置決め治具50Aの形状は、曲げられたり伸縮したりしていない標準的な形状を示してよい。治具情報は、位置決め治具50Aの材料の情報(例えば弾性樹脂の情報)や材料に関するパラメータの情報(例えば弾性率、気腹による変形量の情報)を含んでよい。治具情報は、複数種類存在する位置決め治具50Aの型番を含んでよい。
ポート位置処理部164は、基準位置に合わせて位置決め治具50Aを設置するための治具設置シミュレーションを実行する(S32)。治具設置シミュレーションでは、ポート位置処理部164は、仮想空間において、基準位置に位置決め治具50Aの標識部Mhsを合わせて位置決め治具50Aを設置する。被検体PSに位置決め治具50Aが設置された様子は、ディスプレイ130等を介して確認可能である。なお、被検体PSが非気腹状態である場合、取得された位置決め治具50Aの形状データが用いられてよい。被検体PSが非気腹状態である場合、取得された位置決め治具50Aの形状データに、気腹による変形量や伸張量が加味された形状データが用いられてよい。ポート位置処理部164は、治具設置シミュレーションにより、被検体PSにおける位置と位置決め治具50Aにおける位置とを対応付ける。
ポート位置処理部164は、位置決め治具50Aを加味したポート位置シミュレーション又はポート位置調整を行う(S33)。この場合、ポート位置処理部164は、位置決め治具50Aを加味したポート位置シミュレーション又はポート位置調整では、位置決め治具50Aの設置位置や形状に基づいて、穿孔対象のポート位置を計画(例えば算出)する。例えば、ポート位置処理部164は、位置決め治具50Aと重複する被検体PSにおける体表上の範囲や、位置決め治具50Aでは到達しない範囲(位置決め不可能な範囲)を除外して、ポート位置を計画してよい。このように、このポート位置シミュレーション又はポート位置調整では、ポート位置が位置決め治具50Aで設定可能な位置に限定され得る。
ポート位置処理部164は、計画された各ポート位置の、前記位置決め治具50Aにおける位置を示すパラメータを出力する(S34)。このパラメータは、「ポートA:13mm」、「ポートassist:107mm」、等の形式でよい。この場合、ポート識別標識Pidが「A」であり、このポート用のスケールSCの13mmの値の位置に、ポートAの位置が特定されてよい。ポート識別標識Pidが「assist」であり、このポート用のスケールSCの107mmの値の位置に、ポートassitの位置が特定されてよい。つまり、ポートPTの位置を具体的に示す値が、パラメータとして出力されてよい。
S34では、ポート位置処理部164は、例えばディスプレイ130にパラメータを出力してよい。つまり、ディスプレイ130は、パラメータに係るポートPTの位置を具体的に示す値を表示してよい。この表示がユーザに確認されてよい。そして、ユーザが、実空間において、基準位置及び標識部Mhsによって位置合わせして位置決め治具50Aを設置し、位置決め治具50AのスケールSCにおける値によって指示された体表の位置を穿孔し、被検体PSにポートPTを設置してよい。
図13は、位置決め治具50Aが設置された被検体PSを腹側(y方向負側)から見た様子の一例を示す図である。位置決め治具50Aは、標識部Mhsを基準に被検体PSと位置合わせされ、体表に設置される。設置された位置決め治具50AのスケールSCにおいて、導出されたパラメータとしてのスケールSCの値によって、各ポートA,B,C,D,E,assistの詳細な位置が特定される。そして、ユーザは、ポートPTを穿孔するための器具を用いて、位置決め治具50Aによって位置決めされたポートPTを穿孔可能である。
このように、パラメータの第1出力例によれば、ロボット手術支援装置100は、ロボット手術支援装置100は、三次元座標上の計画されたポート位置にポートPTを高精度に位置決め可能な位置決め治具50Aに関するパラメータを出力できる。よって、ユーザは、例えば術式に応じた所定の形状を有する位置決め治具50Aを用いて、パラメータが指示するポート位置に、穿孔対象のポートPTを位置決めできる。
また、ポート位置処理部164は、気腹シミュレーション結果を基に、気腹によって位置決め治具50がどの程度曲がったり伸縮したりするかを類推して、パラメータを生成して出力してよい。この場合、ポート位置処理部164は、位置決め治具50に設定可能なポート位置の範囲に限定して、ポート位置シミュレーションやポート位置調整を行ってよい。例えば、ポート位置処理部164は、位置決め治具50の設置位置とポート位置とが重複するポート位置を除外したり、位置決め治具50の設置範囲から遠いポート位置を除外したり、位置決め治具50のスケールSCの範囲内でないポート位置は除外したりして、ポート位置を計画してよい。位置決め治具50のテンプレート形状は、術式によって定まってよい。
ロボット手術支援装置100は、パラメータの取り得る値を制限することで、パラメータを導出するための計算範囲を制限可能であり、計算を高速化できる。また、ロボット手術支援装置100は、意図しないパラメータが出力される可能性は減らせることができ、位置決め治具50によってポート位置の位置決めが不能となる事態の発生を抑制できる。
なお、パラメータの第1出力例の位置決め治具50Aは、予め用意されるのではなく、第2出力例のように、出力パラメータ(形状データ)を基に生成されてもよい。
(パラメータの第2出力例)
パラメータの第2出力例では、パラメータの第1出力例と同様の事項については、その説明を省略又は簡略化する。
図14は、パラメータの第2出力例における位置決め治具50Bの一例を示す図である。位置決め治具50Bは、レーザ加工機や3Dプリンタにより都度生成されてよい。位置決め治具50Bは、複数の板(板部材)が加工され、複数の板がテープtp等により連結されて形成されてよい。位置決め治具50Bは、1枚の板が加工され、一枚の板が一部折り曲げられるように溝加工されてよい。溝加工により一枚の板の位置決め治具50Bが折り曲げられてよい。1枚又は複数の板は、例えば硬性材料やその他の材料で形成されてよい。硬性材料は、ステンレスでよく、硬質樹脂でよく、ポリプロピレン、ポリエチレン、硬質塩化ビニル、等でよい。1枚又は複数の板は、その一部に弾性材料があってもよい。
位置決め治具50Bは、予め用意されておらず、パラメータとしての形状データや模様データに基づいて生成される。
位置決め治具50Bは、標識部Mhs、ポート識別標識Pid、ランドマークLM、及びポート位置指示部を備える。ポート位置指示部は、位置決め治具50Bの形状や標識により、ポート位置を指し示す。ポート位置指示部は、ポート位置を指し示す突起51、切欠き、ポート位置指示標識51Aを有してよい。また、ポート位置指示部は、突起51によりポート位置を1点で指し示すのではなく、突起51Bによりポート位置の範囲を指し示してもよい。突起51Bでは、三角形の頂点の一部が削除されて台形のような形状を有してよい。ポート位置の範囲は、ポートの穿孔において許容される誤差の範囲と同じ又は対応してよい。この許容誤差の範囲は、例えば、計画される各ポート位置を移動した場合のポート位置スコアの低下量に基づいて規定されてよい。
図15は、位置決め治具50Bが設置された被検体PSの腹部のアキシャル断面の一例を示す図である。図15に示すように、位置決め治具50Bは、被検体PSの体表に沿って折れ曲がって配置される。
図16は、パラメータの第2出力例におけるロボット手術支援装置100による動作例を示すフローチャートである。
まず、ポート位置処理部164は、仮想気腹状態のボリュームデータを用いて、位置決め治具50Aを設置するための基準位置の情報を取得する(S41)。基準位置は、3次元位置でよく、被検体PSの臍hsの位置でよい。
ポート位置処理部164は、ポート位置シミュレーション又はポート位置調整を行い、穿孔対象のポート位置を導出(例えば算出)する(S42)。つまり、ポート位置処理部164は、ポート位置を計画する。ここでは、S41において基準位置が定まっている。ポート位置処理部164は、仮想的に、位置決め治具50の標識部Mhsと取得された基準位置との位置合わせを行い、導出された被検体PSにおけるポート位置を基に、位置決め治具50におけるポート位置を導出(例えば算出)する。
ポート位置処理部164は、導出された各ポート位置を指示可能となる位置決め治具50Bの形状を示すパラメータ(例えば形状データ)を出力する(S43)。各ポート位置の指示は、位置決め治具50Bのポート位置指示部により行われる。また、位置決め治具50Bの形状を示すパラメータは、各ポート位置を指示するポート位置指示部を有する板(位置決め治具50Bの一部の部材)の組み合わせの情報と、各板の形状データと、を示すパラメータを含んでよい。つまり、1つの板状部材により位置決め治具50Bが生成されてもよいし、複数の板状部材が組み合わされて位置決め治具50Bが生成されてもよい。
出力されたパラメータは、3Dプリンタやレーザ加工機に入力されてよい。3Dプリンタやレーザ加工機は、入力されたパラメータ(例えば位置決め治具50Bの形状データや、各板の組み合わせと各板の形状とのデータ)に基づいて、位置決め治具50Bを生成してよい。3Dプリンタやレーザ加工機は、各板の形状データに基づいて各板を生成し、各板の組み合わせの情報に基づいて各板を組み合わせて、位置決め治具50Bを生成してよい。なお、位置決め治具50Bの形状データは、位置決め治具50Bのサイズのデータも含んでよい。そして、ユーザが、実空間において、基準位置及び標識部Mhsによって位置合わせして位置決め治具50Bを設置し、位置決め治具50Bの形状(例えば突起51,51B,切欠き)や模様(例えばポート位置指示標識)が指示する位置を穿孔し、被検体PSにポートPTを設置してよい。
なお、ロボット手術支援装置100の通信部110と3Dプリンタやレーザ加工機の通信部とが、通信により形状データ等を受け渡してよい。また、形状データ等は、記憶媒体を介して受け渡しされてもよい。
図17は、位置決め治具50Bが設置された被検体PSを腹側(y方向負側)から見た様子の一例を示す図である。導出されたパラメータとしての形状データを基に、位置決め治具50Bが生成される。形状データでは、各ポートA,B,C,D,E及び補助ポートPTAを指示するポート位置指示部の形状や位置決め治具50Bにおけるポート位置指示部の位置が加味されている。これにより、位置決め治具50Bにおける各ポート位置指示部は、各ポートA,B,C,D,E及び補助ポートPTAを指示し、ポート位置を特定できる。よって、ユーザは、ポートPTを穿孔するための器具を用いて、位置決め治具50Aによって位置決めされたポートPTを穿孔可能である。
このように、パラメータの第2出力例によれば、ロボット手術支援装置100は、予め用意された位置決め治具50Bを用いてポート位置を特定する以外であっても、位置決め治具50Bの形態(例えば形状、模様、色彩)によってポート位置を特定可能である。この場合、ロボット手術支援装置100は、パラメータが指示する位置決め治具50Bの形状データや模様データを他装置(例えば3Dプリンタ、レーザー加工機)に提供することで、形状データや模様データに基づく位置決め治具50Bを生成させることができる。
また、ポート位置シミュレーションやポート位置調整の結果によりポートの計画位置が導出され、ポートの計画位置に応じて位置決め治具50Bの形状が導出されるので、例えば、手術の度に毎回異なる位置決め治具50Bが生成されてよい。この場合、手術毎に位置決め治具50Bが生成され、使い捨てされてよい。また、被検体PS毎に位置決め治具50Bが生成され、使い捨てされてよい。これにより、位置決め治具50Bの使用時に位置決め治具50Bの清潔性が保たれるので、ロボット手術支援装置100は、オートクレープ等で滅菌するための手間や時間を低減できる。
なお、パラメータの第2出力例の位置決め治具50Bは、出力パラメータ(形状データ)を基に生成されるのではなく、第2出力例のように、予め用意されてもよい。つまり、予め用意された位置決め治具50Bを用いて、ポート位置を特定するためのパラメータが導出され、導出されたパラメータを用いて、位置決め治具50Bによってポート位置が詳細に指示されてもよい。
また、形状データを基に位置決め治具50が一から生成されなくてもよい。この場合、複数の板(位置決め治具50の部品)が用意されており、ポート位置処理部164は、導出された形状データを基に、どの板を組み合わせて位置決め治具50Bを生成するかを決定してもよい。つまり、ポート位置処理部164は、複数の板状部材のうち位置決め治具50Bを生成するための板状部材を選択する選択情報を、パラメータとして出力してもよい。この場合でも、各板を組み合わせすることで位置決め治具50Bを生成できる。
(パラメータの第3出力例)
パラメータの第3出力例では、パラメータの第1出力例,第2出力例と同様の事項については、その説明を省略又は簡略化する。
図18は、パラメータの第1出力例における位置決め治具50Cの一例を示す図である。
位置決め治具50Cは、伸縮性材料で形成された伸縮性領域D1と、伸縮性領域D1の両端に形成され、非伸縮性材料で形成された非伸縮性領域D2と、を有する。非伸縮性材料は、伸縮性材料よりも伸縮性が小さい。伸縮性材料は、例えば、布、伸縮性樹脂、ゴムでよい。伸縮性樹脂は、ビニール(例えばポリ塩化ビニル)を含んでよい。伸縮性材料は、弾性材料であってもよい。つまり、伸縮性領域D1は、伸縮性を有し、弾性を有してもよい。非伸縮性材料は、硬性材料であってもよい。つまり、伸縮性領域D1は、伸縮性を有さず、硬性を有してもよい。位置決め治具50Cは、伸縮性領域D1が巻かれたり展開されたりして、巻物のように使用可能である。非使用時には巻かれて収容される。使用時には展開されてポートPTの位置決めに利用される。
位置決め治具50Cは、透光性を有してよく、透明材料、半透明材料で形成されてよい。位置決め治具50Cが透光性を有する場合、位置決め50Cが被検体PSの体表に設置されても、ユーザは、位置決め治具50Cを介して被検体PSの体表面や体内を目視できる。よって、位置決め治具50Cを用いた作業性が向上し、位置決め精度が向上し、位置決め時の安全性にも配慮できる。
位置決め治具50Cは、孔の開いた部位を有していてよく、孔の開いた部位がポート位置指定部であってよい。また、孔の開いた部位は、多数の孔を含んで構成されていてもよい。また、孔の開いた部位は、一つの孔で構成されていてもよい。位置決め治具50Cが孔の開いた部位を有する場合、位置決め治具50Cが被検体PSの体表に設置されたときに、ユーザは、位置決め治具50Cの上から、被検体PSの体表にマーキングできる。
位置決め治具50Cは、予め用意されてよい。位置決め治具50Cは、術式毎に又は術式に依らず共通に予め用意されてよい。位置決め治具50Cは、術式毎に又は術式毎に予め用意されてよい。位置決め治具50Cの形状は、矩形以外の形状であってもよい。
位置決め治具50Cは、伸縮性領域D1に、標識部Mhs、ポート識別標識Pidを備える。また、位置決め治具50Cには、導出されたパラメータ(後述)に基づいて、計画されたポート位置を指定するためのポート位置指定部が設けられる。位置決め治具50Cには、伸縮性領域D1における計画されたポート位置に対応する位置が穿孔されたりマーキングされたりしてよい。つまり、ポート位置指定部は、伸縮性領域D1の開口部やマーキング部Mpであってよい。図18では、マーキング部Mpが例示されている。
また、位置決め治具50Cのポート位置指定部(例えば開口部又はマーキング部Mp)が設けられた後には、このポート位置指定部を目印にしてポート位置指定部の位置をポート位置として穿孔できる。つまり、ユーザは、位置決め治具50Cのポート位置指定部を用いて位置決めすることで、計画されたポート位置を容易に穿孔できる。この場合、伸縮性領域D1の一部を切ったり破いたりして体表にポートPTが設置され得る。そのため、位置決め治具50Cを一度設置した後には、手術終了まで位置決め治具50Cを取り除くことが不要となり、ロボット手術支援装置100は、術者や助手への負担を低減できる。
図19は、位置決め治具50Cが設置された被検体PSの腹部のアキシャル断面の一例を示す図である。図19に示すように、位置決め治具50Aは、伸縮性により被検体PSの体表に沿って曲がって配置される。位置決め治具50Aが被検体PSの体表に配置される際には、ユーザが位置決め治具50Aの非伸縮性領域D2の部分を持って引っ張り、位置決め治具50Aを展開させてよい。非伸縮性領域D2が存在することで、非伸縮性領域D2を持ってユーザが操作でき、伸縮性領域D1を安定して設置することができる。
図20は、パラメータの第3出力例におけるロボット手術支援装置100による動作例を示すフローチャートである。
まず、ポート位置処理部164は、仮想気腹状態のボリュームデータを用いて、位置決め治具50Cを設置するための基準位置の情報を取得する(S51)。基準位置は、3次元位置でよく、被検体PSの臍hsの位置でよい。
ポート位置処理部164は、位置決め治具50Cに関する治具情報を取得する。治具情報は、メモリ150に保持されていてもよいし、通信部110を介して外部サーバから取得されてもよい。治具情報は、位置決め治具50Cの形状データを含んでよい。位置決め治具50Cの形状データは、曲げられたり伸縮したりしていない標準的な形状を示してよい。治具情報は、位置決め治具50Cの材料の情報(例えば布の情報)や材料に関するパラメータの情報(例えば弾性率、伸縮率、気腹による変形量や伸張量の情報)を含んでよい。
ポート位置処理部164は、基準位置に合わせて位置決め治具50Cを設置するための治具設置シミュレーションを実行する(S52)。治具設置シミュレーションでは、ポート位置処理部164は、仮想空間において、基準位置に標識部Mhsを合わせて位置決め治具50Cを設置する。被検体PSに位置決め治具50Cが設置された様子は、ディスプレイ130等を介して確認可能である。なお、被検体PSが非気腹状態である場合、取得された位置決め治具50Cの形状データが用いられてよい。被検体PSが非気腹状態である場合、取得された位置決め治具50Cの形状データに、気腹による変形量や伸張量が加味された形状データが用いられてよい。ポート位置処理部164は、治具設置シミュレーションにより、被検体PSにおける位置と位置決め治具50Cにおける位置とを対応付ける。
ポート位置処理部164は、位置決め治具50Cを加味したポート位置シミュレーション又はポート位置調整を行う(S53)。この場合、ポート位置処理部164は、位置決め治具50Cを加味したポート位置シミュレーション又はポート位置調整では、位置決め治具50Cの設置位置や形状に基づいて、穿孔対象のポート位置を計画(例えば算出)する。
なお、位置決め治具50Cを用いる場合には、位置決め治具50Aの伸縮性領域D1と計画されたポート位置とが重複してもマーキングしたり穿孔したりすることが可能である。また、位置決め治具50Aは、被検体PSの穿孔対象となり得る腹部全体を覆うことができる。そのため、位置決め治具50Cにより位置決め不能となる位置がほとんど発生しないので、位置決め治具50Cによるポート位置シミュレーション又はポート位置調整の制約はほとんど発生しない。
ポート位置処理部164は、計画された各ポート位置の、位置決め治具50Aにおける位置を示すパラメータを出力する(S54)。このパラメータは、「ポートA、45°、+30mm」、「ポートassist、120°、-45mm」、等の形式でよい。つまり、パラメータは、ポートの位置を極座標形式で示してよい。この場合、ポート識別標識Pidが「A」であり、基準位置(基準方向)から45°の方向において、基準位置から+30mmの位置に、ポートAの位置が特定されてよい。また、ポート識別標識Pidが「assist」であり、基準位置(基準方向)から120°の方向において、基準位置から-45mmの位置に、ポートassitの位置が特定されてよい。つまり、ポートPTの位置を具体的に示す値が、パラメータとして出力されてよい。
S54では、ポート位置処理部164は、例えばディスプレイ130にパラメータを出力してよい。つまり、ディスプレイ130は、パラメータに係るポートPTの位置を具体的に示す値を表示してよい。この表示がユーザに確認されてよい。そして、ユーザが、パラメータに係るポートPTの位置に対応する位置決め治具50Cの位置に、マーキング部Mpや開口部を生成してよい。ユーザが、実空間において、基準位置及び標識部Mhsによって位置合わせして位置決め治具50Cを設置し、位置決め治具50Cのマーキング部Mpや開口部を介して穿孔し、被検体PSにポートPTを設置してよい。
S54では、例えば位置決め治具50Cに情報を印刷するためのプリンタに、パラメータが出力(例えば送信)されてよい。プリンタは、ロボット手術支援装置100からのパラメータの情報を取得し、パラメータに係るポートPTの位置に対応する位置決め治具50Cの位置に、マーキング部Mpを印刷してよい。そして、ユーザが、実空間において、基準位置及び標識部Mhsによって位置合わせして位置決め治具50Cを設置し、位置決め治具50Cのマーキング部Mpを介して穿孔し、被検体PSにポートPTを設置してよい。
S54では、例えば位置決め治具50Cに孔を開けるための穿孔機に、パラメータが出力(例えば送信)されてよい。穿孔機は、ロボット手術支援装置100からのパラメータの情報を取得し、パラメータに係るポートPTの位置に対応する位置決め治具50Cの位置を穿孔し、開口部を生成してよい。ユーザが、実空間において、基準位置及び標識部Mhsによって位置合わせして位置決め治具50Cを設置し、位置決め治具50Cの開口部を介して穿孔し、被検体PSにポートPTを設置してよい。
図21は、位置決め治具50Cが設置された被検体PSを腹側(y方向負側)から見た様子の一例を示す図である。位置決め治具50Cは、標識部Mhsを基準に被検体PSと位置合わせされ、体表に設置される。設置された位置決め治具50Cにおいて、導出されたパラメータとしての各ポート位置を示す値(例えば極座標形式の情報)によって、各ポートA,B,C,D,E,assistの詳細な位置が特定され、ポート位置指定部(例えば開口部、マーキング部Mp)が設けられる。そして、ユーザは、ポートPTを穿孔するための器具を用いて、位置決め治具50Aによって位置決めされたポートPT(ポート位置指定部の位置)を穿孔可能である。
このように、パラメータの第3出力例によれば、ロボット手術支援装置100は、三次元座標上の計画されたポート位置にポートPTを高精度に位置決め可能な位置決め治具50Cに関するパラメータを出力できる。よって、ユーザは、位置決め治具50Cを用いて、パラメータが指示するポート位置に、穿孔対象のポートPTを位置決めできる。
また、ロボット手術支援装置100は、極座標形式のパラメータを出力することで、基準位置を基準とした位置や方向(角度)をユーザに直感的に分かり易く出力できる。
なお、パラメータの第3出力例の位置決め治具50Cは、予め用意されるのではなく、第2出力例のように、出力パラメータ(形状データ)を基に生成されてもよい。
(パラメータの第4出力例)
パラメータの第4出力例では、パラメータの第1出力例~第3出力例と同様の事項については、その説明を省略又は簡略化する。パラメータの第4出力例は、パラメータの第3出力例のバリエーションである。
図22は、パラメータの第4出力例における位置決め治具50Dの一例を示す図である。
位置決め治具50Dは、伸縮性材料で形成される。位置決め治具50Dは、被検体PSの体表面の周囲を周回し、腹巻のように利用されてよい。位置決め治具50Dは、円筒状に形成され、被検体PSの周囲を周回するように配置されてもよいし、平面的に形成され、被検体PSの周囲を周回するように巻かれ、ピンやファスナーで留められてもよい。位置決め治具50Dは、透光性を有してよく、透明材料、半透明材料で形成されてよい。
位置決め治具50Dは、予め用意されてよい。位置決め治具50Dは、術式毎に又は樹脂気に依らず共通に予め用意されてよい。位置決め治具50Dは、術式毎に又は術式毎に予め用意されてよい。位置決め治具50Dの形状は、矩形以外の形状であってもよい。
位置決め治具50Dは、標識部Mhs、ポート識別標識Pidを備える。また、位置決め治具50Dには、導出されたパラメータに基づいて、計画されたポート位置を指定するためのポート位置指定部が設けられる。位置決め治具50Dは、計画されたポート位置が穿孔されたりマーキングされたりしてよい。つまり、ポート位置指定部は、位置決め治具50Dの開口部やマーキング部Mpであってよい。図22では、マーキング部Mpが例示されている。ユーザは、位置決め治具50Dのポート位置指定部を用いて位置決めすることで、計画されたポート位置を容易に穿孔できる。
図23は、位置決め治具50Dが設置された被検体PSの腹部のアキシャル断面の一例を示す図である。図23に示すように、位置決め治具50Dは、伸縮性により被検体PSの体表に沿って曲がって配置される。また、位置決め治具50Dは、被検体PSの体表の周囲を周回して配置される。よって、例えば腹部側等の一方側の体表だけでなく、側部や背部なども同時に、ポートPTの位置決めを実施できる。
パラメータの第4出力例における動作例は、パラメータの第3出力例で示した図20の動作例と同じあるので、説明を省略する。
図24は、位置決め治具50Dが設置された被検体PSを腹側(y方向負側)から見た様子の一例を示す図である。位置決め治具50Dは、標識部Mhsを基準に被検体PSと位置合わせされ、体表に設置される。設置された位置決め治具50Dにおいて、導出されたパラメータとしての各ポート位置を示す値(例えば極座標形式の情報)によって、各ポートA,B,C,D,E,assistの詳細な位置が特定され、ポート位置指定部(例えば開口部、マーキング部Mp)が設けられる。そして、ユーザは、ポートPTを穿孔するための器具を用いて、位置決め治具50Dによって位置決めされたポートPT(ポート位置指定部の位置)を穿孔可能である。
このように、パラメータの第4出力例によれば、ロボット手術支援装置100は、三次元座標上の計画されたポート位置にポートPTを高精度に位置決め可能な位置決め治具50Dに関するパラメータを出力できる。よって、ユーザは、位置決め治具50Dを用いて、パラメータが指示するポート位置に、穿孔対象のポートPTを位置決めできる。
また、ロボット手術支援装置100は、極座標形式のパラメータを出力することで、基準位置を基準とした位置や方向(角度)をユーザに直感的に分かり易く出力できる。
なお、パラメータの第4出力例の位置決め治具50Dは、予め用意されるのではなく、第2出力例のように、出力パラメータ(形状データ)を基に生成されてもよい。
次に、比較例と本実施形態の各パラメータの出力例とを考察する。
図25は、比較例と本実施形態の各出力例との位置決め治具が有する特徴の分類図である。図25では、比較例1,2と本実施形態のパラメータの第1出力例~第4出力例の各特徴の有無が表形式で示されている。比較例1は、非特許文献2に記載の治具(Leksell Stereotactic System(登録商標))を用いた例である。比較例2は、一般的な形成外科で用いられる治具を用いた例である。治具の特徴として、弾性の有無、折り曲げの可否、伸縮性の有無、切り取りの可否、スケールの有無、再利用の可否、被検体PS(例えば患者)毎の生成の可否、の情報が例示されている。なお、治具の特徴は、これら以外の特徴を有してもよい。
図25では、パラメータの第1出力例の位置決め治具50Aが、弾性を有し、スケールSCを有し、再利用可能であることを例示している。パラメータの第2出力例の位置決め治具50Bが、折り曲げ可能であり、被検体PS(例えば患者)毎に生成可能であることを例示している。パラメータの第3出力例の位置決め治具50Cが、弾性を有し、折り曲げ可能であり、伸縮性を有し、切り取り可能であり、スケールSCを有することを例示している。パラメータの第4出力例の位置決め治具50Dが、弾性を有し、折り曲げ可能であり、伸縮性を有し、切り取り可能であり、スケールSCを有することを例示している。
なお、位置決め治具50は、先に説明したパラメータの第1出力例~第4出力例の位置決め治具50A~50Dの各特徴は、それぞれ組み合わせて有してもよい。例えば、パラメータの第3出力例の位置決め治具50CがスケールSCを有していてもよい。
次に、本実施形態のバリエーションについて説明する。
ポート位置処理部164は、実際に穿孔されたポート(既孔ポート)の位置を基に、ポート位置を調整してもよい。
図26は、手術室内における被検体PS及び各機器の位置関係の一例を示す図である。例えば、ポート位置処理部164は、通信部110を介して、深度センサ410が有するカメラ(深度カメラ)によって撮像された撮像画像を取得してよい。この撮像画像には、被検体PS、被検体PSを載置するベッドBD、位置決め治具50、穿孔されたポートPTに挿入されたトロッカーTC、が映り込んでいてよい。ディスプレイ130は、この撮像画像を表示し、ユーザによるモニタリングを可能にしてよい。また、ポート位置処理部164は、画像処理により被検体PSの特徴点を抽出してよい。ポート位置処理部164は、被検体PSの特徴点、ベッドBD、位置決め治具50、トロッカーTC、等の位置関係を基に、ポート配置の計画を逐次修正してよく、即ちポート位置シミュレーションやポート位置調整を行ってよい。
つまり、ポート位置処理部164は、既に穿孔されたポート(既孔ポート)の位置に基づいて、ポート位置シミュレーションやポート位置調整を行ってよい。この場合、既孔ポートの位置が固定位置となり、未だ穿孔されていないポート(未孔ポート)の位置が可変位置となり、未孔ポートの位置が調整可能である。これにより、ロボット手術支援装置100は、実際に穿孔された既孔ポートを基準に、その後のポート配置の計画を行うことができる。
なお、既孔ポートの位置の情報は、計測器400の操作部(不図示)を介して入力され、ロボット手術支援装置100に通知されてもよい。既孔ポートの位置の情報は、ロボット手術支援装置100のUI120を介して入力されてもよい。
位置決め治具50が有するスケールSCは、曲線状に形成されてよい。位置決め治具50は、スケールSCが曲線状に形成されることで、皮膚科の組織の輪郭や骨の輪郭などが術前シミュレーションで利用され易くできる。例えば、曲線状の被検体PSの肋骨の輪郭や臓器の輪郭に沿って、スケールSCを用いたポートの位置決めが可能となる。また、スケールSCは、一次元的に(つまり線状に)設けられてよい。スケールSCが一次元的に設けられることで、スケールSCの利用が簡便になる。スケールSCは、極座標形式(つまり基準点からの距離及び基準方向に対する角度)で示されてよい。スケールSCは、xy座標形式(つまり直交するx軸及びy軸の値)で示されてよい。
位置決め治具50を設置するための基準位置は、臍hs以外の位置でもよい。例えば、基準位置は、被検体PSの骨(例えば、肋骨や肋骨と肋骨の間の隙間、骨盤の左右上端)、被検体PSが載置されるベッドBDの位置であってよい。基準位置は、計画された又は実際に穿孔されたカメラポートの位置であってもよい、基準位置は、1つ目に穿孔されたポート(既孔ポート位置、例えばカメラポート)の位置であってもよい。
また、基準位置は、複数設けられてもよい。例えば、複数の基準位置は、剣状突起下端及び臍hsの位置を含んでよい。1つ以上の基準位置は、被検体PSの体表から認識できる特徴を有する位置であってよいし、手術室に設置され被検体PSに対して固定された器具の位置であってもよい。
位置決め治具50には、巻き尺が取り付けてよいし、取っ手が取り付けられてよい。位置決め治具50には、固定具が取り付けられて、位置決め治具50が固定具を用いて所定の位置に取り付けられてよい。
計画されるポート位置の数は、ロボットアームARの数と同数でも、ロボットアームARの数より少なくても、ロボットアームARの数より多くてもよい。計画されるポート位置の数がロボットアームARの数より多い場合、1つのポートの計画位置を予備として用意しておくことができる。例えば、術中に穿孔すべきポート位置が変更になった場合や既孔ポートを介した処置が困難であった場合に、予備に用意されたポート位置を穿孔するために、位置決め治具50を用いて位置決めしてよい。例えば、ポート位置処理部164は、精密な位置決めが必要なポートについてのみ、ポート位置を計画してもよい。
気腹シミュレーションに用いる気腹の手技は、複数存在してよく、例えば、Open法、Closed法、Direct法、の3種類を含んでよい。
Open方法では、開腹手術と同様に、被検体PSの体表に第1ポートが開けられる。第1ポートが安全に貫通したことが確認されると、第1トロッカー(Hasson Trocar)が挿入され、気腹が開始される。Open法は、安全性は高いが手技に時間がかかり、侵襲が比較的大きいので、被検体PSに癒着があると予想される際に実施される。
Closed法では、Veress針(気腹針)と呼ばれる針が被検体PSの体表に穿刺されて第1ポートが穿孔され、Veress針からガスが送り込まれて被検体PSが気腹され、気腹後に第1ポートに第1トロッカーが挿入される。Closed方法は、盲目的な作業になるので、難易度が高い。Closed方法は、迅速な手技であるが、臓器を損傷する可能性がある。
Direct法では、被検体PSの体表がいきなり第1トロッカーで穿孔され、気腹される。Direct法は、迅速な手技であるが、臓器を損傷する可能性がある。臓器を損傷する可能性があり、その時の損傷の程度も大きくなる可能性がある。ただし、Closed法と異なり、第1トロッカーにカメラが付けられて穿孔されるので、視野が確保されて作業される。
したがって、本実施形態では、気腹前に計測、位置決め、及びマーキングされて設置されるポートPTと、気腹後に計測、位置決め、及びマーキングされて設置されるポートPTがあってよい。例えば、Direct法、Open法では、最初に穿孔される第1ポート(通常、カメラポート)が気腹前に設置され、第1ポートを介してガスが送り込まれて気腹される。Closed法では気腹されてから一つ目のポートが設置されてよい。
位置決め治具50は、樹脂板、布、ビニール、紙、等の材料により形成されてよい。
このように、ロボット手術支援装置100は、三次元座標上の計画されたポート位置にポートPTを高精度に位置決め可能な位置決め治具50に関するパラメータを出力できる。よって、ユーザは、例えば術式に応じた所定の形状を有する位置決め治具50を用いて、パラメータが指示するポート位置に、穿孔対象のポートPTを位置決めできる。また、ロボット手術支援装置100は、パラメータが指示する位置決め治具50の形状データや模様データを他装置(例えば3Dプリンタ、レーザー加工機)に提供することで、形状データや模様データに基づく位置決め治具50を生成させることができる。
この位置決め治具50は、三次元座標上の計画されたポート位置に位置決めするために専用に生成されてよい。したがって、ユーザは、生成された位置決め治具50を用いることで、三次元座標上の計画されたポート位置に高精度に位置決めできる。また、ロボット手術支援装置100は、固定的に設置される治具ではなく、術前又は術中に動かしながら設置できる位置決め治具50を用いることで、迅速にポートPTを位置決めし、穿孔することを補助できる。
また、ロボット手術支援装置100によれば、計画されたポートPTの位置を3次元空間で指定できる。また、ポートPTを穿孔する時点では、手術支援ロボット300がベッドBDに接続(ドッキング)されていないことが多いが、位置決め治具50を用いることで、手術支援ロボット300が不在の状況でもポートPTを位置決めできる。位置決め治具50は、被検体PSの気腹後又は気腹前に体表上に設置されてよい。位置決め治具50は、例えば布状や曲げられる面素材で小型に作成可能であるので、手軽に被検体PSの体表に設置できる。また、ロボット手術支援装置100は、位置決め治具50を用いてポートPTを位置決めするためのプランニングシステムに使用可能である。また、位置決め治具50は、実際に穿孔されたポートの位置を確認するために、使用可能である。
また、ロボット手術支援装置100は、位置決め治具50を用いてポートPTを位置決めでき、骨等を基準に位置決め治具50を固定することなく、位置決めできる。よって、ユーザは、短時間で位置決め治具50を設置できる。
気腹では被検体PSへの麻酔が施されるので、気腹は手術時間に含まれる。そのため、被検体PSに対して大がかりな治具を設置することは困難であるが、位置決め治具50は、小型であるので、被検体PSの体表上に短時間で所望の位置に設置できる。
また、腹部等の脳以外の部位のポートPTの位置決めに位置決め治具50を使用する場合、位置決め精度が多少低くても許容され得る。この場合、簡易的な位置決め治具50を用いることで、位置決め治具50の設置から位置決め治具50を用いた位置決めに要する時間が更に短縮可能である。
気腹により、気腹前のポート位置からポート位置が移動しても、ユーザは、気腹後に短時間で位置決め治具50を設置して、ポートPTの位置決めを行うことができる。また、気腹条件に応じて位置決め治具50の少なくとも一部が変形でき、被検体PSの体形に合わせて位置決め治具50が設置可能である。また、ポートPTによっては気腹前に設置するものと気腹後に設置するものがあるが、ユーザは、気腹前でも気腹後でも簡単に位置決め治具50を設置し、ポートPTを位置決めできる。
位置決め治具50は、ポートPTの位置決め、マーキング、穿孔の後には、除去可能である。位置決め治具50は、例えば使い捨て可能であることで、清潔な状態を維持できる。
位置決め治具50は、被検体PS専用に(被検体PS毎に)生成されても、各被検体PS共通に生成されてもよい。位置決め治具50が被検体PS毎に生成された場合、被検体PSの体形や術式に応じた固有の位置決め治具50が使用可能である。位置決め治具50が各被検体PS共通に生成された場合、1つの位置決め治具50を多数回使用でき、使用効率が向上する。
位置決め治具50は、使い捨ての治具であってもよいし、繰り返し使用可能な治具であってもよい。位置決め治具50が使い捨ての治具である場合、位置決め治具50の清潔性が維持され易くなる。位置決め治具50が繰り返し使用可能な治具である場合、1つの位置決め治具50を多数回使用でき、使用効率が向上する。
以上、図面を参照しながら各種の実施形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。
第1の実施形態では、撮像されたCT画像としてのボリュームデータは、CT装置200からロボット手術支援装置100へ送信されることを例示した。この代わりに、ボリュームデータが一旦蓄積されるように、ネットワーク上のサーバ等へ送信され、サーバ等に保管されてもよい。この場合、必要時にロボット手術支援装置100の通信部110が、ボリュームデータを、有線回線又は無線回線を介してサーバ等から取得してもよいし、任意の記憶媒体(不図示)を介して取得してもよい。
第1の実施形態では、撮像されたCT画像としてのボリュームデータは、CT装置200からロボット手術支援装置100へ通信部110を経由して送信されることを例示した。これは、実質的にCT装置200とロボット手術支援装置100とを併せて一製品として成立している場合も含まれるものとする。また、ロボット手術支援装置100がCT装置200のコンソールとして扱われている場合も含む。
第1の実施形態では、CT装置200により画像を撮像し、生体内部の情報を含むボリュームデータを生成することを例示したが、他の装置により画像を撮像し、ボリュームデータを生成してもよい。他の装置は、MRI(Magnetic Resonance Imaging)装置、PET(Positron Emission Tomography)装置、血管造影装置(Angiography装置)、又はその他のモダリティ装置を含む。また、PET装置は、他のモダリティ装置と組み合わせて用いられてもよい。
第1の実施形態では、ロボット手術支援装置100に、手術支援ロボット300が接続されているが、接続されていなくてもよい。手術支援ロボット300のキネマティクスの情報があらかじめ取得されていれば十分だからである。また、ポートの穿孔を終了してから手術支援ロボット300を接続してもよい。また、手術支援ロボット300を構成する装置のうち一部の装置にのみ接続してもよい。また、ロボット手術支援装置100自体が、手術支援ロボット300の一部であってもよい。
第1の実施形態では、手術支援ロボット300は、低侵襲手術を目的とする手術支援ロボットであったが、低侵襲手術を目的とする手術支援ロボット300は、腹腔鏡手術を支援する手術支援ロボットであってよい。また、手術支援ロボット300は、内視鏡手術を支援する手術支援ロボットであってよい。
第1の実施形態では、ロボット手術支援装置100が被検体PSの仮想気腹状態のボリュームデータを基にポート位置を計画することを例示したが、これに限られない。例えば観察対象が呼吸器や頸部では気腹されずにロボット手術されることがあるためである。つまり、ロボット手術支援装置100は、非気腹状態のボリュームデータを基にポート位置を計画してもよい。
第1の実施形態では、被検体PSとして人体を例示したが、動物の体でもよい。
本開示は、第1の実施形態のロボット手術支援装置の機能を実現するプログラムを、ネットワーク又は各種記憶媒体を介してロボット手術支援装置に供給し、ロボット手術支援装置内のコンピュータが読み出して実行するプログラムも適用範囲である。
以上のように、上記実施形態のロボット手術支援装置100は、手術支援ロボット300による低侵襲なロボット手術を支援する。処理部160は、被検体PSの3Dデータ(例えば非気腹状態又は仮想気腹状態のボリュームデータ)を取得してよい。処理部160は、3Dデータにおける被検体PSの体表に穿孔される複数のポートPTの計画位置を導出してよい。処理部160は、複数のポートPTの計画位置と、複数のポートPTの計画位置に複数のポートPTを位置決めする位置決め治具50の、被検体PSに対する位置と、に基づいて、位置決め治具50における複数のポートPTの計画位置を導出してよい。処理部160は、位置決め治具50を被検体Pの体表に沿って設置したときにおける複数のポートPTの計画位置を特定するポート位置特定情報を出力してよい。
これにより、ロボット手術支援装置100は、手軽に扱うことができるポートPTを位置決めするためのデバイス(治具)として位置決め治具50を用いて、被検体PSにおけるポートPTの3次元位置の指定を可能にできる。また、非特許文献2に記載の治具のような頭部用の固定的に設置されるものとは異なり、位置決め治具50は、可動性が高いので、手術における被検体PSの様々な姿勢に対して柔軟に対応できる。また、気腹等により被検体PSの体表面の位置やサイズが変化する場合にも、位置決め治具50は、柔軟に対応できる。また、被検体の体表に沿って設置していることにより、位置決め治具50は、被検体PSの呼吸や体動には追従する。
また、ポート位置特定情報には、位置決め治具50の形状データが含まれてよい。
これにより、ロボット手術支援装置100は、位置決め治具50の形状データを出力(例えば送信、外部記憶媒体への出力)して、例えば外部装置に提供できる。外部装置(例えば3Dプリンタ、レーザー加工機)は、形状データを取得し、形状データを基に位置決め治具50を生成できる。この形状データは、位置決め治具50の例えばポート位置指定部が、複数のポートPTの計画位置を特定するような形状のデータである。よって、位置決め治具50の形状自体によって、複数のポートPTの3次元の計画位置を指定できる。
ポート位置特定情報には、位置決め治具50の模様データが含まれてよい。
これにより、ロボット手術支援装置100は、位置決め治具50の模様データを出力(例えば送信、外部記憶媒体への出力)して、例えば外部装置に提供できる。模様データは、図形、符号、文字等を含むパターンを含んでよい。模様データは、色彩情報を含んでよい。外部装置(例えば3Dプリンタ、レーザー加工機)は、模様データを取得し、模様データを基に位置決め治具50を生成できる。この模様データは、位置決め治具50の例えばポート位置指定部(例えばマーキング部Mp)であり、複数のポートPTの計画位置を特定するような模様データである。よって、位置決め治具50の模様によって、複数のポートPTの3次元の計画位置を指定できる。
また、位置決め治具50は、複数のポートPTの計画位置を実空間の被検体PSにおいて位置決めするためのスケールSCを有してよい。ポート位置特定情報は、位置決め治具50のスケールSCにおける計画位置を示す情報でよい。
これにより、ロボット手術支援装置100は、導出された計画位置に対応するスケールSC上での位置(例えば値)の情報を提供できる。よって、ユーザは、スケールSCを用いて、提供されたスケールSCの値の位置を計測し、計画されたポート位置を位置決めできる。
また、位置決め治具50は、複数のポートPTの計画位置を実空間の被検体PSにおいて指示するための指示部(例えばポート位置指示部)を有してよい。ポート位置特定情報は、位置決め治具50の指示部により指示される計画位置を示す情報でよい。
これにより、ロボット手術支援装置100は、導出された計画位置に対応する指示部(例えば突起、切欠き、標識)の情報を提供できる。位置決め治具50は、指示部によって、導出された計画位置を指し示すことができる。よって、ユーザは、位置決め治具50の指示部を確認することで、ポートPTの計画位置を容易に認識できる。
また、位置決め治具50は、スケールSCを2つ以上有してよい。
これにより、ロボット手術支援装置100は、位置決め治具50の2つ以上のスケールSCを用いて複数のポートPTを位置決めできるように支援できる。これによって、ユーザは、2以上のポートPTについてそれぞれ独立した最適なスケールSCを用いることができる。これによって、ユーザは、2以上のポートPTについて、それぞれ独立したスケールSCについて、簡易なパラメータを受け取ることができる。また、ロボット手術支援装置100は、2以上のポートPTのそれぞれについてのポート位置特定情報を提供できる。
また、位置決め治具50は、伸縮性を有してよい。
これにより、ロボット手術支援装置100は、被検体PSにおいて位置決め治具50が配置される体表上の部位が伸縮する場合でも、被検体PSの伸縮に合わせて伸縮する位置決め治具50を用いて、被検体PSにおけるポートの3次元位置の位置決めを補助できる。また、位置決め治具50が伸縮することにより、被検体の呼吸や体動に位置決め治具50を追従させることができる。
また、位置決め治具50は、伸縮性を有する伸縮性領域D1と、伸縮性領域D1の両端に形成され、伸縮性領域D1よりも伸縮性が小さい非伸縮性領域D2と、を有してよい。
これにより、ロボット手術支援装置100は、非伸縮性領域D2を用いることで体表面に沿って位置決め治具50の形状を調整し易く、位置決め治具50の両端において体表面に対する位置を固定し易くできる。
また、位置決め治具50は、弾性を有してよい。
これにより、ロボット手術支援装置100は、被検体PSにおいて位置決め治具50が配置される体表に沿って、位置決め治具50を曲げて被検体PSにおけるポートPTの3次元位置を位置決めすることを補助できる。例えば、計画されたポート位置付近の体表が凸凹している場合でも、位置決め治具50は、体表の凸凹に沿って設置されることが可能であり、ポート位置の正確な計測を実現できる。
また、位置決め治具50は、折り曲げ自在な板状部材で形成されてよい。
これにより、ユーザは、位置決め治具50を折り曲げながら被検体PSの体表面に沿わせて使用可能である。
位置決め治具50は、複数の硬性部材が折り曲げ自在に連結されて形成されてよい。
これにより、ユーザは、位置決め治具50の強度を確保して、位置決め治具50を折り曲げながら被検体PSの体表面に沿わせて使用可能である。
位置決め治具50は、透光性を有してよい。
これにより、ロボット手術支援装置100は、ユーザが、体表上に位置決め治具50が配置された状態で体表面を確認し、位置決め治具50においてマーキング部Mpや開口部が設けられた位置を確認しながら、容易にポートPTを穿孔することを支援できる。
3Dデータは、被検体PSのボリュームデータに気腹シミュレーションを行って生成された仮想気腹状態の3Dデータでよい。
これにより、ロボット手術支援装置100は、被検体PSが気腹された状態でも、操作性の高いデバイスとしての位置決め治具50を用いた被検体PSにおけるポートPTの3次元位置の指定を支援できる。