JP2016214781A - 手術システム、並びに画像処理装置および方法 - Google Patents

Abstract

【課題】より堅強かつ高精度に眼の姿勢を求めることができるようにする。【解決手段】画像情報取得部は、患者の眼における眼軸方向と略平行な方向の断面の画像である断層画像を取得する。画像認識部は、断層画像に基づいて画像認識により断層画像上の眼の各部位を認識する。制御部は、眼の各部位の認識結果に基づいて、眼の姿勢を算出する。このように、断層画像に基づいて眼の各部位を認識し、その認識結果に基づいて眼の姿勢を算出することで、より堅強かつ高精度に眼の姿勢を求めることができる。本技術は、手術システムに適用することができる。【選択図】図１４

Description

本技術は手術システム、並びに画像処理装置および方法に関し、特に、より堅強かつ高精度に眼の姿勢を求めることができるようにした手術システム、並びに画像処理装置および方法に関する。

従来、患者の眼を対象として手術を行うときに、術中の眼の光学像や画像に重畳させて、患者の眼の角膜範囲や、眼に挿入する眼内レンズの向きなど、術者のガイドとなるガイド情報を提示する技術が提案されている（例えば、特許文献１参照）。

このようなガイド情報を提示するには、例えば術中の各時刻における眼の姿勢を特定する方法があり、眼の姿勢の特定には、例えば患者の眼を正面から撮影して得られた正面画像を用いる方法がある。

具体的には、例えば術前と術中とで正面画像から角膜範囲や瞳孔範囲を認識し、それらの認識結果に基づいて、術前と術中の眼の位置の変化を把握するとともに、正面画像における血管や虹彩の対応関係を認識することで、眼の眼軸回りの回旋角度を眼の姿勢として検出する方法がある。また、このようにして検出された回旋角度等に基づいて、術前に計画された創口作成位置や前嚢切開位置、眼内レンズ向きなどをガイド情報として提示する方法がある。

特開２０１２−１５２４６９号公報

しかしながら、上述した技術では、堅強かつ高精度に眼の姿勢を求めることが困難となり、提示されるガイド情報が術前計画と大きくずれてしまう場合があった。

例えば、患者個人の特徴として正面画像から血管が検出しづらい場合や、正面画像の撮影条件によって血管や虹彩の視認性が低い場合、照明の鏡面反射等により画像に白飛びが生じてしまう場合などには、正面画像から眼の回旋角度を推定することが困難となる。また、患者の眼から出血がある場合や、照明が暗く正面画像のコントラストが低い場合などにおいても眼の回旋角度の推定が困難となる。

さらに、正面画像から眼の３次元的な姿勢を推定することもできるが、高い精度で眼の姿勢を推定できないこともあり、結果としてガイド情報の提示位置にもずれが生じてしまう場合があった。

本技術は、このような状況に鑑みてなされたものであり、より堅強かつ高精度に眼の姿勢を求めることができるようにするものである。

本技術の第１の側面の手術システムは、手術対象である眼の眼軸方向と略平行な方向の断面の画像である断層画像を取得する断層画像取得部と、前記断層画像に基づいて、前記断層画像における前記眼の所定部位を認識する画像認識部と、前記所定部位の認識結果に基づいて、前記眼の姿勢を算出する姿勢算出部とを備える。

手術システムには、前記手術対象である前記眼を略眼軸方向から撮影する正面画像取得部をさらに設けることができる。

前記姿勢算出部には、前記所定部位の認識結果と、前記正面画像取得部により得られた正面画像とに基づいて、前記眼の姿勢を算出させることができる。

本技術の第１の側面においては、手術対象である眼の眼軸方向と略平行な方向の断面の画像である断層画像が取得され、前記断層画像に基づいて、前記断層画像における前記眼の所定部位が認識され、前記所定部位の認識結果に基づいて、前記眼の姿勢が算出される。

本技術の第２の側面の画像処理装置は、手術対象である眼の眼軸方向と略平行な方向の断面の画像である断層画像に基づいて、前記断層画像における前記眼の所定部位を認識する画像認識部と、前記所定部位の認識結果に基づいて、前記眼の姿勢を算出する姿勢算出部とを備える。

前記姿勢算出部には、前記眼軸を回転軸とする前記眼の回旋角度を前記眼の姿勢として算出させることができる。

前記姿勢算出部には、前記眼の３次元の姿勢を算出させることができる。

前記姿勢算出部には、前記眼の回転量に基づいて前記眼の３次元の姿勢を算出させることができる。

前記姿勢算出部には、前記所定部位として認識された視神経乳頭と中心窩の位置関係に基づいて前記眼の姿勢を算出させることができる。

前記画像認識部には、前記眼の手術前または手術中の前記断層画像に基づいて、前記眼の所定部位を認識させることができる。

前記画像認識部には、前記眼を略前記眼軸方向から撮影して得られた正面画像に基づいて、前記正面画像における前記眼の特定の部位を認識させ、前記特定の部位の認識結果により定まる前記断層画像上の領域を対象として、前記断層画像における前記所定部位を認識させることができる。

前記姿勢算出部には、前記所定部位の認識結果に基づく前記眼の姿勢の算出結果と、前記眼を略前記眼軸方向から撮影して得られた正面画像とに基づいて、最終的な前記眼の姿勢を算出させることができる。

前記姿勢算出部には、前記所定部位の認識結果に基づく前記眼の姿勢の算出結果により定まる姿勢の範囲内で、前記正面画像に基づいて前記最終的な前記眼の姿勢を算出させることができる。

前記画像認識部には、前記眼を略前記眼軸方向から撮影して得られた正面画像に基づいて、前記正面画像における前記眼の特定の部位を認識させ、画像処理装置には、前記特定の部位の認識結果により定まる断面位置の前記断層画像を取得させる取得制御部をさらに設けることができる。

前記画像認識部には、前記眼の手術中に前記眼を略前記眼軸方向から撮影して得られた正面画像に基づいて、前記正面画像上の術具を認識させ、前記術具の認識結果により定まる前記断層画像上の領域を除外して、前記所定部位を認識させることができる。

前記画像認識部には、互いに断面位置が異なる複数の前記断層画像から得られるボリュームデータにおける前記所定部位を認識させることができる。

画像処理装置には、前記眼の姿勢に基づいて、前記眼の手術時のガイドとなるガイド情報を生成するガイド情報生成部をさらに設けることができる。

前記断層画像を、光干渉断層計により撮影された画像とすることができる。

本技術の第２の側面の画像処理方法は、手術対象である眼の眼軸方向と略平行な方向の断面の画像である断層画像に基づいて、前記断層画像における前記眼の所定部位を認識し、前記所定部位の認識結果に基づいて、前記眼の姿勢を算出するステップを含む。

本技術の第２の側面においては、手術対象である眼の眼軸方向と略平行な方向の断面の画像である断層画像に基づいて、前記断層画像における前記眼の所定部位が認識され、前記所定部位の認識結果に基づいて、前記眼の姿勢が算出される。

本技術の第１の側面および第２の側面によれば、より堅強かつ高精度に眼の姿勢を求めることができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。

手術システムの構成例を示す図である。 手術顕微鏡の構成例を示す図である。 白内障手術について説明する図である。 術前計画について説明する図である。 術前計画について説明する図である。 術前計画について説明する図である。 ガイド情報の提示について説明する図である。 ガイド情報の提示について説明する図である。 ガイド情報の提示について説明する図である。 断層画像について説明する図である。 断層画像のボリュームデータについて説明する図である。 術前計画について説明する図である。 ガイド情報の提示について説明する図である。 手術システムの構成例を示す図である。 画像情報取得部の構成例を示す図である。 画像情報取得部の構成例を示す図である。 ガイド情報提示処理を説明するフローチャートである。 術具の画像認識への影響について説明する図である。 術具の画像認識への影響について説明する図である。 断層画像を取得する断面位置について説明する図である。 正面画像と断層画像を用いた画像認識について説明する図である。 正面画像と断層画像を用いた画像認識について説明する図である。 コンピュータの構成例を示す図である。

以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈第１の実施の形態〉
〈手術システムの構成例〉
本技術は、手術対象となる患者の眼の断層画像を用いて眼の各部位を認識することで、より堅強かつ高精度に眼（眼球）の姿勢を求めることができるようにするものである。

図１は、本技術を適用した手術システムの一実施の形態の構成例を示す図である。

図１に示す手術システム１１は、手術顕微鏡２１および患者用ベッド２２を有しており、患者は患者用ベッド２２に横たわった状態で眼の手術を受ける。また、術者である医師は、手術顕微鏡２１により患者の眼を観察しながら手術を行う。

すなわち、手術顕微鏡２１は、手術対象となる患者の眼を拡大観察するための対物レンズ３１や接眼レンズ３２、モニタ３３などを有している。この例では、医師は接眼レンズ３２を覗き、対物レンズ３１を介して患者の眼を観察しながら手術を行う。また、図示せぬカメラにより撮影された正面画像がモニタ３３に表示されるようになっている。

このとき、必要に応じて接眼レンズ３２から観察される患者の眼の光学像にガイド情報が重畳表示されたり、モニタ３３に表示される正面画像にガイド情報が重畳表示されたりする。

また、手術顕微鏡２１の機能的な構成は、例えば図２に示すような構成とされる。なお、図２において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図２に示す手術顕微鏡２１は、光源６１、観察光学系６２、提示部６３、接眼レンズ３２、正面画像取得部６４、断層画像取得部６５、制御部６６、インターフェース部６７、およびモニタ３３を有している。

光源６１は、制御部６６の制御に従って照明光を射出し、患者の眼を照明する。また、観察光学系６２は、例えば対物レンズ３１やハーフミラー７１、図示せぬレンズなどの光学素子から構成され、患者の眼から入射した光（観察光）を接眼レンズ３２および正面画像取得部６４へと導く。

すなわち、患者の眼から入射した観察光は、対物レンズ３１や図示せぬレンズ等を介してハーフミラー７１に入射する。ハーフミラー７１に入射した観察光のうちの略半分は、ハーフミラー７１をそのまま透過し、透過型の提示部６３を介して接眼レンズ３２へと入射する。一方、ハーフミラー７１に入射した観察光の残りの半分は、ハーフミラー７１で反射して正面画像取得部６４へと入射する。

接眼レンズ３２は、提示部６３を介して観察光学系６２から入射した観察光を集光して、患者の眼の光学像を結像させる。これにより、接眼レンズ３２を覗いている術者には、患者の眼の光学像が観察される。

正面画像取得部６４は、例えばビデオカメラなどからなり、観察光学系６２から入射した観察光を受光して光電変換することで、患者の眼を正面から観察した画像、つまり患者の眼を略眼軸方向から撮影した画像である正面画像を撮影する。正面画像取得部６４は、制御部６６の制御に従って正面画像を撮影し、得られた正面画像を制御部６６に供給する。

断層画像取得部６５は、例えば光干渉断層計（OCT(Optical Coherence Tomography)）やシャインプルークカメラなどからなる。断層画像取得部６５は、制御部６６の制御に従って患者の眼の断面の画像である断層画像を撮影し、得られた断層画像を制御部６６に供給する。ここで、断層画像とは、患者の眼における眼軸方向と略平行な方向の断面の画像である。

なお、断層画像取得部６５は、例えば赤外光を用いて干渉原理により断層画像を取得するが、その際の赤外光の光路と、観察光学系６２内の観察光の光路の一部とが共通の光路となるようにしてもよい。

制御部６６は、手術顕微鏡２１全体の動作を制御する。提示部６３は、透過型の表示デバイスからなり、接眼レンズ３２と観察光学系６２との間に配置されている。提示部６３は、観察光学系６２から入射した観察光を透過させて接眼レンズ３２に入射させるとともに、制御部６６から供給されたガイド情報を提示（表示）する。これにより、接眼レンズ３２を覗いている術者に対して、患者の眼の光学像に重畳されてガイド情報が提示されることになる。

インターフェース部６７は、例えばモニタ３３に重畳して設けられたタッチパネルや、コントローラ、図示せぬリモートコントローラからの指令を受信したり、外部装置との通信を行ったりする通信部などからなり、術者等の操作に応じた情報などを制御部６６に供給する。すなわち、インターフェース部６７は、操作に応じた情報や画像を取得して制御部６６に供給する。

モニタ３３は、制御部６６の制御に応じて正面画像を表示する。また、モニタ３３において、正面画像にガイド情報が重畳表示されるようにしてもよい。

例えば患者の手術時には、まず制御部６６は、インターフェース部６７から、ガイドとして提示すべきガイド情報を示す情報や、ガイド情報の提示位置を示す情報などからなる術前計画情報と、術前の正面画像や断層画像である術前画像とを取得する。

そして、制御部６６は光源６１を制御して照明光を射出させる。これにより、患者の眼が照明されて、術者は接眼レンズ３２から患者の眼を観察できるようになる。

また、制御部６６は、正面画像取得部６４を制御して正面画像を撮影させ、得られた正面画像をモニタ３３に供給し、表示させる。さらに、制御部６６は、断層画像取得部６５を制御して術中の断層画像を術中画像として撮影させるとともに、得られた術中画像と、術前画像としての断層画像とから眼の姿勢を推定により求める。

制御部６６は、求められた眼の姿勢と、予め取得した術前計画情報とからガイド情報を生成するとともに、ガイド情報を提示部６３やモニタ３３に供給して提示（表示）させる。これにより、術者は、手術対象である患者の眼の光学像に重畳表示されたガイド情報を参照しながら、効率よく手術を行うことができる。また、モニタ３３では、正面画像に重畳されてガイド情報が表示されることになる。

なお、ここでは断層画像に基づいて眼の姿勢を求める例について説明したが、断層画像と正面画像を用いて眼の姿勢を求めるようにしてもよい。

〈ガイド情報について〉
続いて、ガイド情報の具体例について説明する。

本技術は、例えば患者の眼を手術する場合に適用することができるが、以下では例として患者の白内障手術を行う場合について説明する。

白内障手術では、図３の矢印A11に示すように、まず患者の眼球１０１の角膜１０２部分がナイフにより切開され、創口１０３が作成される。そして、創口１０３部分から術具が挿入されて眼球１０１内部にある水晶体１０４の前方部分、つまり前嚢部分が円形状に切開される。

そして、矢印A12に示すように創口１０３から水晶体１０４の前嚢切開部分に術具が挿入されて、核処理と呼ばれる超音波振動による水晶体１０４の核の乳化（粉砕）と吸引が行われ、さらに皮質も吸引される。その後、矢印A13に示すように水晶体１０４内部に眼内レンズ１０５が挿入されて手術終了となる。

このような白内障手術が行われる場合、術前に撮影された正面画像から、図４乃至図６に示す術前計画が立てられる。なお、図４乃至図６において、互いに対応する部分には同一の符号を付してあり、その説明は適宜省略する。

まず術前計画では、例えば図４に示すように正面画像上の患者の眼１３１における角膜部分、具体的には角膜輪部１３２の付近およびその内側で、創口を作成する位置が決定される。この例では、瞳孔１３３の図中、右下の部分が創口作成位置１３４とされている。

続いて、例えば図５に示すように、正面画像上の患者の眼１３１における角膜輪部１３２の内側部分の円形状の領域が前嚢切開位置１４１として決定される。例えば前嚢切開位置１４１として示される円の半径は、眼内レンズの大きさなどに基づいて定められる。

さらに、図６に示すように、眼内レンズを配置するときの正面画像上の患者の眼１３１に対する眼内レンズの方向が眼内レンズ向き１５１として決定される。この例では、眼内レンズ向き１５１は直線により表されている。

例えば眼内レンズ向き１５１は、患者の眼の角膜屈折などの眼の各部の屈折情報や、創口作成位置など、各種の情報に基づいて決定される。

このようにして創口作成位置、前嚢切開位置、および眼内レンズ向きが術前計画で定められると、手術中には、それらの術前計画に従って、例えば図７乃至図９に示すようにガイド情報が提示される。なお、図７乃至図９において、互いに対応する部分には同一の符号を付してあり、その説明は適宜省略する。

白内障手術時には、術者が接眼レンズ３２を覗くと、図７に示すように患者の眼の光学像が観察される。そして、その患者の眼の光学像に重畳されて、角膜輪部、つまり角膜と強膜の境界を示す角膜輪部情報G11と、創口作成位置を示す創口位置情報G12とがガイド情報として提示部６３に提示（表示）される。術者は、創口位置情報G12が表示されている部分をナイフにより切開し、創口を作成する。

このときガイド情報として提示される角膜輪部情報G11および創口位置情報G12は、図４に示した角膜輪部１３２および創口作成位置１３４に対応し、それらの角膜輪部１３２および創口作成位置１３４と同じ位置に提示される。すなわち、常に患者の眼の光学像における特定部分にガイド情報が提示されるように、眼の動きに合わせてガイド情報の提示位置が調整される。

さらに手術が進められ、図８に示すように患者の眼の光学像に重畳されて角膜輪部情報G11と、前嚢の切開位置を示す前嚢切開位置情報G13とがガイド情報として提示部６３に提示される。術者は、患者の眼における前嚢切開位置情報G13が表示されている部分を切開する。

図８の例においても図７における場合と同様に、ガイド情報として提示される角膜輪部情報G11および前嚢切開位置情報G13は、図５に示した角膜輪部１３２および前嚢切開位置１４１に対応する位置に表示される。

前嚢が切開され、核処理と皮脂吸引が行われると、その後、図９に示すように患者の眼の光学像に重畳されて角膜輪部情報G11と、眼内レンズの向きを示す眼内レンズ方向情報G14とがガイド情報として提示部６３に提示される。術者は、眼内レンズの方向が眼内レンズ方向情報G14により示される方向となるように、患者の眼の水晶体内部に眼内レンズを挿入する。

図９では、ガイド情報として提示される角膜輪部情報G11および眼内レンズ方向情報G14は、図６に示した角膜輪部１３２および眼内レンズ向き１５１に対応する位置に表示される。

以上のように、白内障手術を行う場合には、例えばガイド情報として角膜輪部情報G11、創口位置情報G12、前嚢切開位置情報G13、および眼内レンズ方向情報G14が提示される。これらのガイド情報を提示するにあたっては、術前計画で定められたガイド情報の提示位置と、術中の実際のガイド情報の提示位置とにずれが生じないように、術中の患者の眼の各部位の位置や、眼の姿勢を堅強かつ高精度に推定することが重要である。

上述したように正面画像を用いて眼の部位や姿勢を推定する場合には、状況によっては推定精度が低下してしまったり、そもそも推定を行うことが困難となったりすることがある。そこで、本技術では、患者の眼の断層画像を用いることで、より堅強かつ高精度に患者の眼の各部位と眼の姿勢を推定することができるようにした。

例えば断層画像を光干渉断層計などからなる断層画像取得部６５により取得（撮影）するようにすれば、照明等の撮影条件や、血管が見えづらい等の個人的な特徴などによらず、断層画像からより堅強に角膜と強膜の境界位置、隅角、虹彩の端点（内縁）などの部位を認識（検出）することが可能である。また、手術時の出血による眼の各部位の認識への影響も正面画像を用いる場合と比較すると十分に小さい。

このように断層画像を用いて、より堅強かつ高精度に眼の各部位を認識することができれば、その認識結果を用いて患者の眼の姿勢を、より堅強かつ高精度に推定することができる。また、患者の眼の各部位の認識結果と、患者の眼の姿勢の推定結果とを用いて、より高精度にガイド情報を提示させることができる。

例えば断層画像取得部６５では、図１０に示す断層画像P11が得られる。なお、より詳細には、断層画像P11は、実際に得られる断層画像の一部分のみを示している。

図１０に示す断層画像P11は、患者の眼の眼軸と略平行な断面の画像、正面画像と略垂直な断面の画像であり、この断層画像P11では、患者の眼の角膜１８１、強膜１８２、および虹彩１８３が観察されている。

手術顕微鏡２１の制御部６６では、予め学習された辞書を用いた画像認識や、画像のコントラストを利用した画像認識等によって、断層画像P11から眼の各部位を認識することができる。例えば角膜１８１と強膜１８２の境界部分である境界位置B11および境界位置B12や、強膜１８２と虹彩１８３により形成される隅角の位置である隅角位置B13および隅角位置B14、虹彩の端点（内縁）である虹彩端点B15および虹彩端点B16などを画像認識により特定することができる。さらに、断層画像からは、後眼部における視神経乳頭の位置や中心窩の位置なども画像認識により求めることができる。

また、制御部６６では、断層画像取得部６５で得られた各断面位置の断層画像から、例えば図１１に示すボリュームデータP21を得ることができる。なお、図１１において図１０における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

ボリュームデータP21は、互いに断面位置が異なる複数の断層画像から再構築された、断層画像の被写体である患者の眼の３次元形状を示す立体画像である。すなわち、ボリュームデータP21は各断面位置の断層画像の集積結果として得られる画像である。

例えばボリュームデータP21では、患者の眼の角膜１８１、虹彩１８３、および瞳孔２１１が観察されており、ボリュームデータP21から、直接、角膜１８１の境界である角膜輪部や、虹彩１８３と瞳孔２１１の境界部分である瞳孔２１１の輪郭を求めることができる。

さらに、制御部６６では、正面画像取得部６４で得られる正面画像の撮影方向と同じ方向、つまり眼軸方向から見た患者の眼の画像を、断層画像取得部６５で得られた各断面位置の断層画像を用いた被写体の再構築により求めることもできる。

以下では、断層画像から再構築された、正面画像の撮影方向と同じ方向から見た患者の眼の画像を、再構築正面画像とも称することとする。また、以下では、正面画像の撮影方向を正面方向とも称することとする。

制御部６６は、上述した断層画像、ボリュームデータ、および再構築正面画像を適宜用いて、ガイド情報を提示するために必要となる角膜範囲、瞳孔範囲、および眼（眼球）の姿勢を認識する。なお、瞳孔範囲は必ずしも必要ではなく、ガイド情報の提示位置を定めるのに用いられる場合にのみ求められる。

以下、これらの角膜範囲、瞳孔範囲、および眼の姿勢の認識について説明する。

（角膜範囲の認識について）
例えば角膜範囲は、以下の（ア）および（イ）に示すように隅角位置、または角膜と強膜の境界位置を認識することで求めることが可能である。

（ア）隅角位置から角膜範囲を求める
（１）１または数枚の断層画像における隅角位置から角膜範囲を推定する
（２）断層画像のボリュームデータにおける隅角内側を角膜範囲とする
（イ）角膜と強膜の境界位置から角膜範囲を求める
（１）１または数枚の断層画像における角膜と強膜の境界から角膜範囲を推定する
（２）断層画像のボリュームデータにおける角膜と強膜の境界内側を角膜範囲とする

すなわち、（ア）の（１）に示す方法で角膜範囲を求める場合、１または複数の断層画像について、断層画像から画像認識により２つの隅角位置が認識される。例えば図１０に示した例では、断層画像P11から隅角位置B13および隅角位置B14が認識される。

そして、そのようにして認識された断層画像上の各隅角位置と、各断層画像の断面位置とに基づいて角膜範囲が推定により求められる。

具体的には、例えば複数の断層画像を用いる場合には、各断層画像で認識された隅角位置の正面方向から見たときの位置が求められ、正面方向から見たときに互いに隣接する隅角位置同士を結んで得られる円（環状の線）の内側の領域が角膜範囲とされる。ガイド情報の生成時には、このようにして求められた角膜範囲の輪郭部分が角膜輪部とされる。

また、（ア）の（２）に示す方法で角膜範囲を求める場合、断層画像のボリュームデータから画像認識により隅角が認識される。この場合、認識結果として隅角の３次元形状が得られるので、その認識結果として得られた環状（円状）の隅角部分の内側の領域が角膜範囲とされる。

（イ）の（１）に示す方法で角膜範囲を求める場合、１または複数の断層画像について、各断層画像から画像認識により角膜と強膜の境界位置が２つ認識される。例えば図１０に示した例では、断層画像P11から境界位置B11および境界位置B12が認識される。

そして、そのようにして認識された断層画像上の各境界位置と、各断層画像の断面位置とに基づいて、（ア）の（１）の方法と同様にして角膜範囲が推定により求められる。すなわち、例えば正面方向から見たときに互いに隣接する、角膜と強膜の各境界位置同士を結んで得られる円の内側の領域が角膜範囲とされる。

さらに、（イ）の（２）に示す方法で角膜範囲を求める場合、断層画像のボリュームデータから画像認識により角膜と強膜の境界位置が認識される。この場合、認識結果として角膜と強膜の３次元形状が得られる。そのため、認識結果として得られた角膜と強膜の境界は環状（円形状）となるので、その環状の境界の内側の領域が角膜範囲とされる。

（瞳孔範囲の認識について）
また、例えば瞳孔範囲は、以下の（ウ）の（１）または（２）に示すように虹彩の端点の位置に基づいて求めることが可能である。

（ウ）虹彩の端点位置から瞳孔範囲を求める
（１）１または数枚の断層画像における虹彩の端点位置から瞳孔範囲を推定する
（２）断層画像のボリュームデータにおける虹彩端点の内側を瞳孔範囲とする

すなわち、（ウ）の（１）に示す方法で瞳孔範囲を求める場合、１または複数の断層画像について、断層画像から画像認識により虹彩の２つの端点位置が認識される。例えば図１０に示した例では、断層画像P11から虹彩端点B15および虹彩端点B16が認識される。

そして、そのようにして認識された断層画像上の各虹彩端点と、各断層画像の断面位置とに基づいて瞳孔範囲が推定により求められる。

具体的には、例えば複数の断層画像を用いる場合には、各断層画像で認識された虹彩端点位置の正面方向から見たときの位置が求められ、正面方向から見たときに互いに隣接する虹彩端点位置同士を結んで得られる円の内側の領域が瞳孔範囲とされる。ガイド情報の生成時には、このようにして求められた瞳孔範囲が適宜利用されてガイド情報の提示位置が定められる。

また、（ウ）の（２）に示す方法で瞳孔範囲を求める場合、断層画像のボリュームデータから画像認識により虹彩が認識される。この場合、認識結果として虹彩の３次元形状が得られるので、その認識結果として得られた虹彩の内側の端点、つまり環状（円状）である、虹彩の内側の端部分さらに内側の領域が瞳孔範囲とされる。

（眼の姿勢の認識について）
さらに、例えば眼（眼球）の姿勢としては、正面方向から見た眼の回旋角度、つまり眼軸を回転軸とした眼球の回転角度と、３次元的な眼球の姿勢とが考えられる。

ここで、眼の回旋角度は、正面方向から眼を見た場合における、術前画像を基準としたときの術中画像における眼球の回転角度、つまり眼球位置の眼軸回りの変化量である。

例えば、眼の姿勢として回旋角度が求められる場合、眼の回旋角度は、以下の（エ）の（１）乃至（３）に示すように、視神経乳頭と中心窩の位置関係、または血管分布から求めることが可能である。

（エ）眼球の回旋角度を眼の姿勢として求める
（１）断層画像のボリュームデータにおける視神経乳頭と中心窩の位置関係から求める
（２）数枚の断層画像における視神経乳頭と中心窩のくぼみの位置関係から求める
（３）数枚の断層画像または断層画像のボリュームデータにおける血管分布から求める

すなわち、（エ）の（１）に示す方法では、断層画像のボリュームデータから視神経乳頭部分のくぼみと、中心窩部分のくぼみとが画像認識により求められ、それらの視神経乳頭部分のくぼみと、中心窩部分のくぼみとを結ぶ線分が、回旋角検出線として求められる。そして、正面方向から見た、術前における回旋角検出線と術中における回旋角検出線とのなす角度が、眼球の回旋角度として求められる。

（エ）の（２）に示す方法では、複数の各断層画像から画像認識により視神経乳頭部分のくぼみと、中心窩部分のくぼみとが求められる。そして、その認識結果、例えばくぼみの深さと、各断層画像の断面位置とから、正面方向から見た視神経乳頭と中心窩の位置が推定され、それらの視神経乳頭と中心窩の位置関係から回旋角検出線が求められて、眼球の回旋角度が求められる。

また、（エ）の（３）に示す方法では、数枚の断層画像、または断層画像のボリュームデータから血管分布が画像認識により求められ、術前と術中での血管分布を比較（マッチング）することにより、眼球の回旋角度が求められる。

さらに、例えば眼の姿勢として、眼球の３次元的な姿勢、つまり３次元空間上の姿勢が求められる場合、以下の（オ）の（１）または（２）に示すように眼の各部位の位置の変化を求めることで、眼の姿勢を求めることができる。

（オ）眼球の３次元的な姿勢を眼の姿勢として求める
（１）上記の（ア）乃至（エ）の一部または全部を組み合わせて求める
（２）上記の（ア）乃至（エ）の一部または全部の組み合わせと、眼の部位の３次元形状とを組み合わせて求める

（オ）の（１）に示す方法では、例えば（ア）または（イ）に示した方法により角膜範囲が認識され、（ウ）に示した方法により瞳孔範囲が認識され、（エ）に示した方法により視神経乳頭と中心窩の位置関係（回旋角検出線）が認識される。

そして、それらの角膜範囲、瞳孔範囲、および回旋角検出線の術前と術中での位置関係から、３次元空間における眼球の位置関係が眼球の３次元的な姿勢として求められる。

ここで、眼球の３次元的な姿勢は、例えば３次元空間における眼の回転移動量に基づいて求めることができる。具体的には、例えば術前での眼の所定部位の位置、つまり３次元座標系における座標（x,y,z）が、術中に座標（x’,y’,z’）へと移動したときの移動量（回転量）を示す行列により眼球の３次元的な姿勢を表現することができる。すなわち、次式（１）に示すように、座標（x,y,z）を座標（x’,y’,z’）へと変換する変換行列により表現することができる。

式（１）では、変換行列の各要素a_ij（但しi＝1,2,3，j＝1,2,3）は、例えば変換行列の各行のベクトルのノルムが１となるように定められたり、それぞれの行のベクトルが互いに直交するように定められたりするなどとすればよい。

また、式（１）に示す変換行列を眼球の３次元的な姿勢を示す情報とする場合には、眼球の平行移動は無視され、眼球の向き、つまり回転移動のみが考慮されている。

さらに、（オ）の（２）に示す方法では、上述した（オ）の（１）に示す方法に加えて、断層画像のボリュームデータから得られる強膜や網膜などの３次元形状も加味されて変換行列が求められ、眼球の３次元的な姿勢とされる。

なお、以上において説明した（ア）乃至（オ）に示す方法により断層画像やボリュームデータから角膜範囲、瞳孔範囲、および眼の姿勢を求める対象となるのは、手術中に撮影された断層画像に限らず、手術前に撮影された断層画像でもよい。この場合、例えば手術前に撮影された断層画像に基づいて、手術前の眼の各部位や基準となる眼の姿勢が求められ、術前計画が立てられる。

以上のようにして角膜範囲、瞳孔範囲、および眼の姿勢が求まると、それらの角膜範囲、瞳孔範囲、および眼の姿勢から、術中の眼の光学像や正面画像に重畳させて、ガイド情報を提示することができるようになる。

このとき、ガイド情報を提示するには、角膜範囲や瞳孔範囲などの眼の部位と、ガイドとして提示すべきガイド情報との位置関係を予め求めておく必要がある。

例えばガイド情報として眼内レンズ方向情報が提示される場合、術前計画時に図１２に示すように、眼内レンズ方向情報により示される眼内レンズの方向と、回旋角検出線とのなす角度θが予め求められる。

すなわち、図１２の矢印A41に示すように、術前に正面画像取得部６４により撮影された正面画像における患者の眼２４１に対する眼内レンズの方向が眼内レンズ向き２４２として決定されたとする。この例では、術中には患者の眼２４１における角膜輪部２４３に対応する角膜輪部情報と、眼内レンズ向き２４２に対応する眼内レンズ方向情報がガイド情報として提示される。

この場合、矢印A42に示すように、術前に断層画像取得部６５により取得された断層画像P31を含むいくつかの断層画像や、断層画像のボリュームデータに基づいて、上述した（エ）の（１）や（エ）の（２）に示した方法と同様にして、視神経乳頭と中心窩の位置が画像認識により求められる。

この例では、断層画像P31における矢印B31に示す部分のくぼみが視神経乳頭の部分であると認識され、矢印B32に示す部分のくぼみが中心窩の部分であると認識される。

このような認識結果から、例えば断層画像P31等から再構築された再構築正面画像P32における視神経乳頭と中心窩の位置関係が求まる。この例では、再構築正面画像P32における矢印B33により示される部分が視神経乳頭の部分を示しており、矢印B34に示す部分が中心窩の部分を示している。そして、これらの視神経乳頭と中心窩を結ぶ線分（直線）が、回旋角検出線２４４として求められる。

このようにして正面方向における回旋角検出線２４４が求まると、矢印A41に示した正面画像における回旋角検出線の方向も求まる。矢印A41に示す図では、直線２４５が回旋角検出線の方向を示している。

術前計画では、例えば直線２４５により示される回旋角検出線の方向と、眼内レンズ向き２４２により示される方向とのなす角度が角度θとして求められ、術前計画を示す術前計画情報の１つとされる。

また、手術時には図１３の矢印A51に示すように、術中に断層画像取得部６５により取得された断層画像P41を含むいくつかの断層画像や、断層画像のボリュームデータに基づいて、上述した（エ）の（１）や（エ）の（２）に示した方法と同様にして、眼の姿勢として回旋角度が求められる。

すなわち、まず画像認識により視神経乳頭と中心窩の位置が求められる。この例では、断層画像P41における矢印B41に示す部分のくぼみが視神経乳頭の部分であると認識され、矢印B42に示す部分のくぼみが中心窩の部分であると認識される。

そして、視神経乳頭と中心窩の認識結果から、例えば断層画像P41等から再構築された再構築正面画像P42における視神経乳頭と中心窩の位置関係が求まる。この例では、再構築正面画像P42における矢印B43により示される部分が視神経乳頭の部分を示しており、矢印B44に示す部分が中心窩の部分を示している。

なお、上記の説明では、断層画像P31や断層画像P41が丁度視神経乳頭や中心窩を通る形で取得される例を用いている。しかし、視神経乳頭と中心窩の双方を含む断層画像が取得できない場合でも、複数の断層画像から構成されるボリュームデータにおけるくぼみの位置に基づき、または、数枚の断層画像の各々におけるくぼみの位置とくぼみの程度に基づき、視神経乳頭と中心窩の位置を推定することができる。

このようにして正面方向から見た視神経乳頭と中心窩の位置関係が求まると、これらの視神経乳頭と中心窩を結ぶ線分（直線）が、回旋角検出線２７１として求まり、この回旋角検出線２７１と、術前の回旋角検出線とから眼球の回旋角度が求められる。

すると、眼球の回旋角度からガイド情報としての眼内レンズ方向情報を提示させる角度が分かるので、矢印A52に示すように、患者の眼の光学像に重畳されて、角膜輪部情報G31および眼内レンズ方向情報G32がガイド情報として提示される。

ここで、角膜輪部情報G31は、術中に画像認識により求められた角膜範囲により特定される。また、眼内レンズ方向情報G32の提示方向は、眼球の回旋角度から求まる。すなわち、眼内レンズ方向情報が、術前計画により定められている、角度θにより定まる眼内レンズ方向情報の提示方向に対して、求められた回旋角度の分だけ回転された状態で提示される。換言すれば、眼内レンズ方向情報G32は、回旋角検出線２７１に対応する方向を示す直線２７２とのなす角度が、予め求められている角度θとなるように提示される。

なお、ここでは、眼球の回旋角度に応じて眼内レンズ方向情報の提示方向を定める例について説明したが、眼の姿勢としての眼球の３次元的な姿勢と、術前計画とに基づいて眼内レンズ方向情報を表示するようにしてもよい。この場合、眼球の３次元的な姿勢に応じて、適宜、眼内レンズ方向情報に対して線形変換が行われて提示される。これにより、眼内レンズ方向情報が適切な方向で提示されるだけでなく、眼球の３次元的な姿勢に応じて、眼内レンズ方向情報が適切に変形される。

また、例えばガイド情報として提示される創口位置情報については、角膜輪部に対する、眼の中心、すなわち角膜輪部の中心からの位置と大きさなどを術前計画情報として求めておけば、その術前計画情報と、術中の眼の姿勢とから正しい位置に創口位置情報を表示させることができる。

さらに、ガイド情報として提示される前嚢切開位置情報については、角膜輪部に対する前嚢切開位置の大きさを術前計画情報として求めておけば、その術前計画情報と、術中の角膜範囲の認識結果とに基づいて、適切な位置に前嚢切開位置情報を提示することができる。

〈手術システムの構成例〉
次に、以上において説明した手術システム１１における、患者の眼の姿勢を推定するとともにガイド情報を生成して提示する部分のより詳細な構成について説明する。

図１４は、そのような機能を実現する手術システム１１の構成例を示している。なお、図１４において図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図１４に示す例では、手術システム１１は、画像情報取得部３０１、画像処理装置３０２、およびガイド情報提示部３０３を有している。

画像情報取得部３０１は、断層画像や正面画像を取得して画像処理装置３０２に供給する。なお、画像情報取得部３０１では、少なくとも断層画像が取得できればよく、正面画像は必要に応じて取得できればよい。

画像処理装置３０２は、画像情報取得部３０１から供給された断層画像に基づいて、患者の眼の姿勢を求めるとともにガイド情報を生成してガイド情報提示部３０３に供給する。このとき、画像処理装置３０２は、正面画像にガイド情報を重畳させてガイド情報提示部３０３に供給するようにしてもよい。

ガイド情報提示部３０３は、画像処理装置３０２から供給されたガイド情報を提示する。ここで、ガイド情報提示部３０３は、例えば図２に示した提示部６３やモニタ３３などからなる。

また、画像処理装置３０２は、例えば図２に示した制御部６６およびインターフェース部６７により実現される。

画像処理装置３０２は、画像認識部３１１、制御部３１２、インターフェース部６７、およびガイド情報生成部３１３を有している。ここで、例えば画像認識部３１１、制御部３１２、およびガイド情報生成部３１３は、図２に示した制御部６６がプログラムを実行することにより実現される。

画像認識部３１１は、画像情報取得部３０１から供給された断層画像や正面画像に対して画像認識を行って、隅角位置、角膜と強膜の境界位置、虹彩の端点位置、視神経乳頭部、中心窩などの眼の各部位を認識し、その認識結果を制御部３１２に供給する。

インターフェース部６７は、術前の断層画像や正面画像、術前計画情報、術者等の入力指示などを取得して制御部３１２に供給する。

制御部３１２は、画像処理装置３０２の各部を制御する。例えば制御部３１２は、画像認識部３１１から供給された眼の各部位の認識結果と、インターフェース部６７から供給された術前の断層画像および術前計画情報とに基づいて、角膜範囲などの各部位の範囲や眼の姿勢を認識し、ガイド情報生成部３１３にガイド情報の生成を指示する。

ガイド情報生成部３１３は、必要に応じて画像情報取得部３０１から供給された正面画像を用いて、制御部３１２の指示に従ってガイド情報を生成し、ガイド情報提示部３０３に供給する。上述したようにガイド情報は、患者の眼の光学像に重畳表示されるように、ガイドのみが提示される情報とされてもよいし、正面画像に重畳表示される画像情報とされてもよい。ガイド情報が正面画像に重畳表示される場合には、ガイド情報生成部３１３は、ガイド情報が重畳された正面画像を生成し、ガイド情報提示部３０３に出力する。

また、画像情報取得部３０１が正面画像と断層画像を取得する場合、画像情報取得部３０１は、例えば図１５に示す構成とされる。なお、図１５において図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図１５に示す画像情報取得部３０１は、正面画像取得部６４および断層画像取得部６５から構成される。この例では、正面画像取得部６４が正面画像を撮影して画像認識部３１１およびガイド情報生成部３１３に供給するとともに、断層画像取得部６５が断層画像を撮影して画像認識部３１１に供給する。

また、画像情報取得部３０１は、図１６に示す構成とされるようにしてもよい。なお、図１６において図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図１６に示す画像情報取得部３０１は、断層画像取得部６５から構成される。この例では、断層画像取得部６５が断層画像を撮影して画像認識部３１１に供給し、画像情報取得部３０１では正面画像の撮影は行われない。

〈ガイド情報提示処理の説明〉
続いて、図１４に示した手術システム１１の動作について説明する。なお、以下では、ガイド情報提示部３０３としての提示部６３にガイド情報が提示（表示）される場合を例として説明する。

白内障手術が行われる場合、インターフェース部６７は、予め術前の断層画像である術前画像と、術前計画情報とを取得して制御部３１２に供給する。そして、手術が開始されると、手術システム１１は創口作成モード、前嚢切開モード、および眼内レンズ挿入モードの各モードでガイド情報提示処理を行って、ガイド情報を提示する。

ここで、創口作成モードとは、術者が創口を作成するときのガイドとして創口位置情報を提示するモードであり、前嚢切開モードとは、術者が前嚢を切開するときのガイドとして、前嚢切開位置情報を提示するモードである。また、眼内レンズ挿入モードは、術者が水晶体内に眼内レンズを挿入するときのガイドとして眼内レンズ方向情報を提示するモードである。

手術システム１１は、適宜、モードの切り替えを行いながら、各モードでガイド情報提示処理を行う。具体的には、まず創口作成モードでガイド情報提示処理が行われた後、前嚢切開モードでガイド情報提示処理が行われ、さらに眼内レンズ挿入モードでガイド情報提示処理が行われる。例えばモードの切り替えは、術者等がインターフェース部６７を操作することにより行われてもよいし、正面画像等に基づいて手術システム１１により行われるようにしてもよい。

ここで、図１７のフローチャートを参照して、創口作成モードである場合を例として、手術システム１１により行われるガイド情報提示処理について説明する。

ステップＳ１１において、画像情報取得部３０１は、画像情報を取得する。すなわち、画像情報取得部３０１の断層画像取得部６５は、術中の断層画像である術中画像を各断面位置において撮影し、画像認識部３１１に供給する。

ステップＳ１２において、画像認識部３１１は、断層画像取得部６５から供給された術中画像、または術中画像としての断層画像からなるボリュームデータに対して画像認識を行って、眼の各部位の位置を認識し、その認識結果を制御部３１２に供給する。

ステップＳ１２では、例えば術中画像としての断層画像またはボリュームデータにおける隅角位置や、角膜と強膜の境界位置、虹彩の端点位置、視神経乳頭の位置、中心窩の位置などの各部位の位置が認識される。

ステップＳ１３において、制御部３１２は、画像認識部３１１から供給された認識結果と、インターフェース部６７から供給された術前画像とに基づいて、患者の眼の姿勢を求める。例えば制御部３１２は、上述した（ア）乃至（ウ）に示した方法により、適宜、眼の角膜範囲や瞳孔範囲を求め、さらに上述した（エ）や（オ）に示した方法により、眼の姿勢を求める。

ここで、インターフェース部６７から供給される術前画像では、術前画像として手術前に撮影された断層画像に対する画像認識等により、事前に角膜範囲や瞳孔範囲、視神経乳頭、中心窩、回旋角検出線、強膜、網膜などの位置や血管分布が求められた状態となっている。換言すれば、基準となる手術前の眼の部位や姿勢が求められた状態となっている。

ステップＳ１４において、制御部３１２は、現在のモードに従って、提示するガイド情報を決定する。例えば、この例では創口作成モードであるので、角膜輪部情報および創口位置情報が提示するガイド情報として決定される。

提示するガイド情報を決定すると、制御部３１２は、ガイド情報の生成に必要となる各種の情報をガイド情報生成部３１３に供給し、ガイド情報の生成を指示する。

例えば、この例では、制御部３１２は画像認識部３１１から供給された画像認識の結果から求まる角膜範囲を示す情報をガイド情報生成部３１３に供給し、ガイド情報としての角膜輪部情報の生成を指示する。

また、制御部３１２は、ステップＳ１３の処理で求められた眼の姿勢と、角膜範囲等の眼の各部位の位置や範囲と、インターフェース部６７から供給された術前計画情報としての創口位置情報の提示位置を示す情報とに基づいて、現時刻において創口位置情報を提示すべき位置を求める。このとき、制御部３１２は、眼球の姿勢に応じて線形変換を行い、創口位置情報の形状を変形させるようにしてもよい。

制御部３１２は、このようにして求められた、創口位置情報を提示すべき位置を示す情報をガイド情報生成部３１３に供給し、ガイド情報としての創口位置情報の生成を指示する。

ステップＳ１５において、ガイド情報生成部３１３は、制御部３１２の指示に従ってガイド情報を生成し、ガイド情報提示部３０３に供給する。この例では、ガイド情報生成部３１３は、制御部３１２から供給された情報に基づいて、角膜輪部情報および創口位置情報を生成する。

ステップＳ１６において、ガイド情報提示部３０３の提示部６３は、ガイド情報生成部３１３から供給されたガイド情報を提示する。これにより、例えば図７に示した角膜輪部情報G11と創口位置情報G12とが、患者の眼の光学像に重畳されて提示される。

なお、モニタ３３において、正面画像に角膜輪部情報と創口位置情報とが重畳表示されるようにしてもよい。そのような場合には、ガイド情報生成部３１３は、画像情報取得部３０１の正面画像取得部６４から供給された正面画像に、生成した角膜輪部情報と創口位置情報を重畳させて、ガイド情報提示部３０３としてのモニタ３３に供給する。

ステップＳ１７において、制御部３１２は、処理を終了するか否かを判定する。例えば現時点のモードから次のモードへの切り替えが指示されたときなど、ガイド情報の提示の終了が指示された場合に処理を終了すると判定される。

ステップＳ１７においてまだ処理を終了しないと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返し行われる。

これに対して、ステップＳ１７において処理を終了すると判定された場合、ガイド情報提示処理は終了する。

以上のようにして手術システム１１は、患者の眼の断層画像に基づいて眼の各部位を認識し、その認識結果に基づいて眼の姿勢を求める。そして、手術システム１１は、求めた眼の姿勢に基づいてガイド情報を生成し、提示する。

このように断層画像に基づいて眼の各部位を認識し、眼の姿勢を求めることで、より堅強かつ高精度に眼の姿勢を求めることができる。その結果、より高精度にガイド情報を提示することができる。

なお、ここでは創口作成モードである場合におけるガイド情報提示処理について詳細に説明したが、前嚢切開モードである場合、および眼内レンズ挿入モードである場合であっても図１７を参照して説明したガイド情報提示処理と同様の処理が行われる。

例えば前嚢切開モードである場合、ステップＳ１４では、創口作成モードである場合と同様に、制御部３１２は角膜範囲を示す情報をガイド情報生成部３１３に供給し、ガイド情報としての角膜輪部情報の生成を指示する。

また、制御部３１２は、現時刻における角膜範囲から定める角膜輪部と、インターフェース部６７から供給された術前計画情報としての角膜輪部に対する前嚢切開位置の大きさを示す情報とに基づいて、現時刻において前嚢切開位置情報を提示すべき位置を求める。このとき、制御部３１２は、眼球の姿勢に応じて線形変換を行い、前嚢切開位置情報の形状を変形させるようにしてもよい。

制御部３１２は、このようにして求められた、前嚢切開位置情報を提示すべき位置を示す情報をガイド情報生成部３１３に供給し、ガイド情報としての前嚢切開位置情報の生成を指示する。そして、ステップＳ１５において、ガイド情報生成部３１３は、制御部３１２の指示に従って角膜輪部情報と前嚢切開位置情報とをガイド情報として生成する。

また、例えば眼内レンズ挿入モードである場合、ステップＳ１４では創口作成モードである場合と同様に、制御部３１２は角膜範囲を示す情報をガイド情報生成部３１３に供給し、ガイド情報としての角膜輪部情報の生成を指示する。

さらに、制御部３１２は、ステップＳ１３の処理で眼の姿勢として求められた回旋角度と、インターフェース部６７から供給された術前計画情報としての角度θとに基づいて、現時刻において眼内レンズ方向情報を提示すべき方向を求める。このとき、制御部３１２は、眼球の姿勢に応じて線形変換を行い、眼内レンズ方向情報の形状を変形させるようにしてもよい。

制御部３１２は、このようにして求められた、眼内レンズ方向情報を提示すべき方向を示す情報をガイド情報生成部３１３に供給し、ガイド情報としての眼内レンズ方向情報の生成を指示する。そして、ステップＳ１５において、ガイド情報生成部３１３は、制御部３１２の指示に従って角膜輪部情報と眼内レンズ方向情報とをガイド情報として生成する。

〈第２の実施の形態〉
〈画像認識について〉
ところで、手術中には例えば図１８に示すように、術者が術具を用いて手術を行うため、図１９に示すようにその術具の影となる部分では、断層情報を取得することができない。なお、図１９において図１８における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。また、図１９は、図１８に示す患者の眼における点線PL11の部分の断面図を示している。

図１８に示す例では、術者が患者の眼の角膜３４１の部分から水晶体内部に術具３４２を挿入して手術を行っている。従って、このような状態で断層画像を撮影した場合、術具３４２の図中、奥行き側にある部分は影になってしまう。

すなわち、図１９に示すように術具３４２の図中、下側の部分が影になり、断層画像における、その部分に対応する領域が暗くなったり、不鮮明になったりして、有用な情報が得られなくなってしまう。換言すれば、術具３４２の影となる部分では、患者の眼の各部位の認識を行うことが困難である。

そこで、断層画像における術具の影となる部分を画像認識に用いないようにしてもよい。そのような場合、例えば画像情報取得部３０１の構成は、図１５に示した構成とされ、正面画像取得部６４により撮影された正面画像が画像認識部３１１に供給される。すなわち、図１７を参照して説明したステップＳ１１の処理では、正面画像も取得される。

そして、ステップＳ１２では、まず画像認識部３１１により、正面画像に対する画像認識が行われる。正面画像に対する画像認識では、予め登録された辞書等を用いた画像認識などにより、正面画像から患者の眼以外の領域、例えば術具の領域が認識される。そして、その認識結果に基づいて、断層画像における術具の影となる領域が特定される。

具体的には、正面画像における術具の領域の認識結果から断層画像における術具の領域が特定可能であるので、断層画像における術具の領域よりも正面方向の奥行き側、つまり角膜から見て中心窩側の領域が、術具の影となる領域として特定される。なお、断層画像における術具の影となる領域を特定する処理は、画像認識部３１１により行われてもよいし、制御部３１２により行われてもよい。

さらに、画像認識部３１１は、断層画像における術具の影となる領域を除外して、断層画像や、その断層画像から得られるボリュームデータに基づき、画像認識により眼の各部位の位置を認識する。

なお、上記では断層画像における術具の影となる領域を、正面画像における術具の領域の認識結果から推定しているが、断層画像において術具に関して得られる情報、例えば術具による強反射位置の情報などを用いて断層画像のみから推定するようにする方法を用いてもよい。

このように患者の眼の各部位の位置を認識する際に、断層画像における有用な領域のみを用いることで、さらに堅強かつ高精度に眼の姿勢を求めることができる。

〈第３の実施の形態〉
〈断層画像の取得について〉
また、正面画像を用いれば、画像認識によって大まかに角膜や瞳孔の位置を特定することができる。そこで、画像情報取得部３０１の構成が図１５に示した構成とされる場合には、正面画像に基づいて、断層画像を取得する断面位置を決定するようにしてもよい。

例えば中心窩や視神経乳頭は、眼を正面方向から見たときに瞳孔の中心付近、つまり眼軸付近に位置している。そのため、断層画像やボリュームデータから視神経乳頭や中心窩の位置を認識し、その認識結果を用いて眼の姿勢を求めるときには、正面画像から適切な断面位置を特定し、その特定結果に応じて断層画像を取得するようにすれば、より効率よく眼の姿勢を求めることができる。

例えば術中において、図２０に示すように正面画像P61が画像情報取得部３０１を構成する正面画像取得部６４により取得されたとする。

この場合、正面画像P61からは角膜３７１や瞳孔３７２の範囲を画像認識により推定することができる。また、角膜３７１や瞳孔３７２の中心近傍を通る直線PL31を含む断面位置で断層画像を取得すれば、その断層画像には中心窩や視神経乳頭が含まれている可能性が高い。一方で、角膜３７１や瞳孔３７２の端近傍を通る直線PL32を含む断面位置で断層画像を取得しても、その断層画像には中心窩や視神経乳頭が含まれている可能性が低い。

そこで、正面画像P61から角膜３７１や瞳孔３７２の範囲を推定し、その推定結果を用いて直線PL31を含む断面位置など、１または複数の適切な断面位置で断層画像を取得し、直線PL32を含む断面位置では断層画像を取得しないようにするなどとすればよい。

このような場合、図１７を参照して説明したガイド情報提示処理のステップＳ１１では、まず画像情報取得部３０１を構成する正面画像取得部６４により、術中の正面画像が取得され、画像認識部３１１に供給される。

そして、画像認識部３１１は、正面画像取得部６４から供給された正面画像に対して画像認識を行って、角膜範囲や瞳孔範囲など、眼の各部位を認識し、その認識結果を制御部３１２に供給する。

さらに、制御部３１２は、画像認識部３１１から供給された、正面画像における角膜範囲や瞳孔範囲などの各部位の認識結果に基づいて、断層画像を取得する断面位置を決定し、その決定に応じて画像情報取得部３０１の断層画像取得部６５を制御する。この場合、例えば図２０に示した直線PL31を含む断面位置や、その断面位置近傍のいくつかの断面位置が、断層画像を取得すべき断面位置として決定される。このようにして制御部３１２が断層画像取得部６５を制御するときには、制御部３１２は取得制御部として機能する。

断層画像取得部６５は、制御部３１２の制御に従って、制御部３１２により指定された１または複数の断面位置で断層画像を取得して、画像認識部３１１に供給する。

このように、正面画像から得られる情報に基づいて、適切な断面位置を決定すれば、より効率よく患者の眼の姿勢を求めることができるようになる。

〈第４の実施の形態〉
〈正面画像を用いた画像認識の精度向上について〉
さらに、画像情報取得部３０１の構成が図１５に示した構成とされる場合、術中に撮影された正面画像から、画像認識により大まかな角膜や瞳孔の位置を特定することができる。そこで、その特定結果用いて断層画像からの眼の各部位の検出範囲を定め、その検出範囲を対象とした画像認識により、断層画像から眼の各部位の位置を検出（認識）するようにしてもよい。

例えば図２１に示すように、術中に正面画像P61および断層画像P71が撮影されたとする。なお、図２１において図２０における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図２１では、正面画像P61は、術中に正面画像取得部６４により取得された正面画像を示しており、断層画像P71は、正面画像P61と同時刻またはほぼ同時刻に断層画像取得部６５により撮影された断層画像を示している。

例えば、断層画像P71から隅角位置を認識する画像認識が画像認識部３１１により行われる場合について考える。この場合、画像認識部３１１は、まず正面画像P61に対して画像認識を行い、正面画像P61から角膜３７１を認識する。

そして画像認識部３１１は、断層画像P71における、角膜３７１の端部分に対応する位置を含む所定幅の領域である検出範囲ST11および検出範囲ST12を、隅角位置の認識を行う対象となる領域の範囲として決定する。これは、隅角は角膜の端部分近傍に位置するからである。

画像認識部３１１は、このようにして決定した検出範囲ST11および検出範囲ST12の領域のみを処理対象として、断層画像P71から画像認識により隅角位置を認識する。そして、例えば制御部３１２では、断層画像P71等からの隅角位置の認識結果に基づいて、角膜範囲が認識される。

このように、正面画像から得られる情報に基づいて、断層画像に対する画像認識時の検出範囲が決定される場合、図１７を参照して説明したガイド情報提示処理では、ステップＳ１１において、画像情報として正面画像と断層画像が取得される。

そして、ステップＳ１２において、画像認識部３１１は、正面画像取得部６４から供給された正面画像に対して画像認識を行い、眼の各部位を認識するとともに、その認識結果に基づいて断層画像について認識対象となっている眼の部位ごとに、検出範囲を決定する。

さらに、画像認識部３１１は、断層画像取得部６５から供給された断層画像に対して、決定された検出範囲の領域のみを処理対象として画像認識を行い、断層画像上の眼の各部位の位置を認識する。

このとき、断層画像上の眼の部位を認識するための検出範囲を決定するために、正面画像に対して行われる画像認識では、その画像認識で認識対象となる眼の部位は、断層画像での認識対象となる眼の部位と同じであってもよいし、異なる部位であってもよい。

このようにして正面画像から得られる情報から検出範囲を決定し、その検出範囲を対象として断層画像上の眼の各部位の位置を認識することで、断層画像での眼の各部位の位置の認識精度を向上させることができる。

なお、ここでは、断層画像上の眼の各部位の位置を認識する例について説明したが、正面画像に基づいて、断層画像から得られるボリュームデータについて検出範囲を決定し、ボリュームデータの検出範囲から眼の各部位の位置が認識されるようにしてもよい。

〈第５の実施の形態〉
〈正面画像を用いた画像認識の精度向上について〉
ところで、正面画像に被写体として含まれている眼の血管や虹彩は、正面画像中の血管や虹彩の位置を正確に認識することができれば、術中と術前の眼の位置関係、つまり眼の姿勢を精度よく把握するのに有用な情報である。

そこで、断層画像と正面画像の両方を用いて、より高精度に眼の姿勢を求めるようにしてもよい。具体的には、例えば画像情報取得部３０１の構成が図１５に示した構成とされる場合、断層画像に基づいて、粗い精度で眼の姿勢を把握しておき、さらに正面画像に基づいて、最終的な、より精度の高い眼の姿勢を求めるようにしてもよい。

例えば眼の姿勢として、回旋角度が求められるとする。そのような場合、まず術前に得られた断層画像と、術中に得られた断層画像とから、眼の姿勢を示す回旋角度が求められる。その結果、例えば図２２の矢印A71に示すように回旋角度θ₁が得られたとする。

図２２に示す例では、粗検出として求められた回旋角度θ₁は、術前と術中の断層画像に基づいて求められた、術前の断層画像から再構築された再構築正面画像P91における回旋角検出線に対する、術中の断層画像から再構築された再構築正面画像P92における回旋角検出線の回転角度を示している。

このようにして回旋角度θ₁が求められると、その回旋角度θ₁に基づいて、矢印A72に示すように正面画像を用いた回旋角度の検出範囲ST21が定められる。すなわち、正面画像を用いた回旋角度の検出範囲が、断層画像に基づいて算出された眼の姿勢から定まる、妥当であると思われる眼の姿勢の範囲内に制限される。具体的には、例えば回旋角度θ₁を中心とする所定の角度範囲が検出範囲ST21として定められる。

そして、矢印A73に示すように、回旋角度θ₁により定められた検出範囲ST21内で、術前に得られた正面画像P93と、術中に得られた正面画像P94とから最終的な回旋角度θ₂が求められる。ここで、回旋角度θ₂は、必ず回旋角度θ₁により定められた検出範囲ST21内の角度となる。

正面画像に基づいて回旋角度θ₂を求めるにあたっては、正面画像から画像認識により認識された血管や虹彩等の眼の各部位が用いられる。すなわち、それらの眼の各部位の位置関係がマッチングにより求められて、その結果得られた位置関係から回旋角度θ₂が求められる。このとき、検出範囲ST21内で正面画像P93が回転され、正面画像P93上の眼の各部位と、術中に得られた正面画像P94上の眼の各部位とが重なるときの正面画像P93の回転角度が回旋角度θ₂とされる。

このように、断層画像に基づいて眼の姿勢としての回旋角度を求め、さらにその回旋角度と正面画像とから最終的な回旋角度を求めることで、より高精度に眼の姿勢としての回旋角度を求めることができる。その結果、さらに堅強かつ高精度にガイド情報を提示することができるようになる。

なお、断層画像と正面画像とに基づいて眼の姿勢が求められる場合、手術システム１１では、図１７を参照して説明したガイド情報提示処理が開始される前に、予めインターフェース部６７により術前の断層画像および正面画像と、術前計画情報とが取得されて制御部３１２に供給される。

そして、ステップＳ１１では、画像情報取得部３０１の正面画像取得部６４および断層画像取得部６５により、術中の正面画像および断層画像が取得されて画像認識部３１１に供給される。

また、ステップＳ１２では、画像認識部３１１は、正面画像取得部６４から供給された、術中の正面画像に対して画像認識を行って、血管や虹彩等の各部位を認識するとともに、断層画像取得部６５から供給された断層画像に対して画像認識を行って、眼の各部位の位置を認識する。そして、画像認識部３１１は、正面画像からの各部位の認識結果と、断層画像からの各部位の認識結果とを制御部３１２に供給する。

さらにステップＳ１３では、制御部３１２は、画像認識部３１１から供給された、断層画像からの各部位の認識結果と、インターフェース部６７から供給された術前の断層画像とに基づいて、患者の眼の姿勢として回旋角度を求める。また、制御部３１２は、求めた回旋角度から、正面画像を用いた回旋角度の検出時の検出範囲を決定する。

制御部３１２は、決定した検出範囲内で、画像認識部３１１から供給された正面画像からの各部位の認識結果と、インターフェース部６７から供給された術前の正面画像とに基づいて、眼の回旋角度を最終的な患者の眼の姿勢として求める。

なお、ここでは眼の姿勢として回旋角度を求める例について説明したが、眼の姿勢として眼の３次元的な姿勢を求める場合においても、以上において説明した処理と同様の処理を行って、より高精度に眼の姿勢を求めることが可能である。

ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図２３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。

入力部５０６は、キーボード、マウス、マイクロフォン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。

以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、本技術は、以下の構成とすることも可能である。

（１）
手術対象である眼の眼軸方向と略平行な方向の断面の画像である断層画像を取得する断層画像取得部と、
前記断層画像に基づいて、前記断層画像における前記眼の所定部位を認識する画像認識部と、
前記所定部位の認識結果に基づいて、前記眼の姿勢を算出する姿勢算出部と
を備える手術システム。
（２）
前記手術対象である前記眼を略眼軸方向から撮影する正面画像取得部をさらに備える
（１）に記載の手術システム。
（３）
前記姿勢算出部は、前記所定部位の認識結果と、前記正面画像取得部により得られた正面画像とに基づいて、前記眼の姿勢を算出する
（２）に記載の手術システム。
（４）
手術対象である眼の眼軸方向と略平行な方向の断面の画像である断層画像に基づいて、前記断層画像における前記眼の所定部位を認識する画像認識部と、
前記所定部位の認識結果に基づいて、前記眼の姿勢を算出する姿勢算出部と
を備える画像処理装置。
（５）
前記姿勢算出部は、前記眼軸を回転軸とする前記眼の回旋角度を前記眼の姿勢として算出する
（４）に記載の画像処理装置。
（６）
前記姿勢算出部は、前記眼の３次元の姿勢を算出する
（４）に記載の画像処理装置。
（７）
前記姿勢算出部は、前記眼の回転量に基づいて前記眼の３次元の姿勢を算出する
（６）に記載の画像処理装置。
（８）
前記姿勢算出部は、前記所定部位として認識された視神経乳頭と中心窩の位置関係に基づいて前記眼の姿勢を算出する
（５）乃至（７）の何れか一項に記載の画像処理装置。
（９）
前記画像認識部は、前記眼の手術前または手術中の前記断層画像に基づいて、前記眼の所定部位を認識する
（４）乃至（８）の何れか一項に記載の画像処理装置。
（１０）
前記画像認識部は、前記眼を略前記眼軸方向から撮影して得られた正面画像に基づいて、前記正面画像における前記眼の特定の部位を認識し、
前記特定の部位の認識結果により定まる前記断層画像上の領域を対象として、前記断層画像における前記所定部位を認識する
（４）乃至（９）の何れか一項に記載の画像処理装置。
（１１）
前記姿勢算出部は、前記所定部位の認識結果に基づく前記眼の姿勢の算出結果と、前記眼を略前記眼軸方向から撮影して得られた正面画像とに基づいて、最終的な前記眼の姿勢を算出する
（４）乃至（９）の何れか一項に記載の画像処理装置。
（１２）
前記姿勢算出部は、前記所定部位の認識結果に基づく前記眼の姿勢の算出結果により定まる姿勢の範囲内で、前記正面画像に基づいて前記最終的な前記眼の姿勢を算出する
（１１）に記載の画像処理装置。
（１３）
前記画像認識部は、前記眼を略前記眼軸方向から撮影して得られた正面画像に基づいて、前記正面画像における前記眼の特定の部位を認識し、
前記特定の部位の認識結果により定まる断面位置の前記断層画像を取得させる取得制御部をさらに備える
（４）乃至（９）の何れか一項に記載の画像処理装置。
（１４）
前記画像認識部は、前記眼の手術中に前記眼を略前記眼軸方向から撮影して得られた正面画像に基づいて、前記正面画像上の術具を認識し、前記術具の認識結果により定まる前記断層画像上の領域を除外して、前記所定部位を認識する
（４）乃至（９）の何れか一項に記載の画像処理装置。
（１５）
前記画像認識部は、互いに断面位置が異なる複数の前記断層画像から得られるボリュームデータにおける前記所定部位を認識する
（４）乃至（９）の何れか一項に記載の画像処理装置。
（１６）
前記眼の姿勢に基づいて、前記眼の手術時のガイドとなるガイド情報を生成するガイド情報生成部をさらに備える
（４）乃至（１５）の何れか一項に記載の画像処理装置。
（１７）
前記断層画像は、光干渉断層計により撮影された画像である
（４）乃至（１６）の何れか一項に記載の画像処理装置。
（１８）
手術対象である眼の眼軸方向と略平行な方向の断面の画像である断層画像に基づいて、前記断層画像における前記眼の所定部位を認識し、
前記所定部位の認識結果に基づいて、前記眼の姿勢を算出する
ステップを含む画像処理方法。

１１ 手術システム， ２１ 手術顕微鏡， ３３ モニタ， ６３ 提示部， ６４ 正面画像取得部， ６５ 断層画像取得部， ６６ 制御部， ６７ インターフェース部， ３０１ 画像情報取得部， ３０２ 画像処理装置， ３０３ ガイド情報提示部， ３１１ 画像認識部， ３１２ 制御部， ３１３ ガイド情報生成部

Claims (18)

1. 手術対象である眼の眼軸方向と略平行な方向の断面の画像である断層画像を取得する断層画像取得部と、
   前記断層画像に基づいて、前記断層画像における前記眼の所定部位を認識する画像認識部と、
   前記所定部位の認識結果に基づいて、前記眼の姿勢を算出する姿勢算出部と
   を備える手術システム。
2. 前記手術対象である前記眼を略眼軸方向から撮影する正面画像取得部をさらに備える
   請求項１に記載の手術システム。
3. 前記姿勢算出部は、前記所定部位の認識結果と、前記正面画像取得部により得られた正面画像とに基づいて、前記眼の姿勢を算出する
   請求項２に記載の手術システム。
4. 手術対象である眼の眼軸方向と略平行な方向の断面の画像である断層画像に基づいて、前記断層画像における前記眼の所定部位を認識する画像認識部と、
   前記所定部位の認識結果に基づいて、前記眼の姿勢を算出する姿勢算出部と
   を備える画像処理装置。
5. 前記姿勢算出部は、前記眼軸を回転軸とする前記眼の回旋角度を前記眼の姿勢として算出する
   請求項４に記載の画像処理装置。
6. 前記姿勢算出部は、前記眼の３次元の姿勢を算出する
   請求項４に記載の画像処理装置。
7. 前記姿勢算出部は、前記眼の回転量に基づいて前記眼の３次元の姿勢を算出する
   請求項６に記載の画像処理装置。
8. 前記姿勢算出部は、前記所定部位として認識された視神経乳頭と中心窩の位置関係に基づいて前記眼の姿勢を算出する
   請求項５に記載の画像処理装置。
9. 前記画像認識部は、前記眼の手術前または手術中の前記断層画像に基づいて、前記眼の所定部位を認識する
   請求項４に記載の画像処理装置。
10. 前記画像認識部は、前記眼を略前記眼軸方向から撮影して得られた正面画像に基づいて、前記正面画像における前記眼の特定の部位を認識し、
    前記特定の部位の認識結果により定まる前記断層画像上の領域を対象として、前記断層画像における前記所定部位を認識する
    請求項４に記載の画像処理装置。
11. 前記姿勢算出部は、前記所定部位の認識結果に基づく前記眼の姿勢の算出結果と、前記眼を略前記眼軸方向から撮影して得られた正面画像とに基づいて、最終的な前記眼の姿勢を算出する
    請求項４に記載の画像処理装置。
12. 前記姿勢算出部は、前記所定部位の認識結果に基づく前記眼の姿勢の算出結果により定まる姿勢の範囲内で、前記正面画像に基づいて前記最終的な前記眼の姿勢を算出する
    請求項１１に記載の画像処理装置。
13. 前記画像認識部は、前記眼を略前記眼軸方向から撮影して得られた正面画像に基づいて、前記正面画像における前記眼の特定の部位を認識し、
    前記特定の部位の認識結果により定まる断面位置の前記断層画像を取得させる取得制御部をさらに備える
    請求項４に記載の画像処理装置。
14. 前記画像認識部は、前記眼の手術中に前記眼を略前記眼軸方向から撮影して得られた正面画像に基づいて、前記正面画像上の術具を認識し、前記術具の認識結果により定まる前記断層画像上の領域を除外して、前記所定部位を認識する
    請求項４に記載の画像処理装置。
15. 前記画像認識部は、互いに断面位置が異なる複数の前記断層画像から得られるボリュームデータにおける前記所定部位を認識する
    請求項４に記載の画像処理装置。
16. 前記眼の姿勢に基づいて、前記眼の手術時のガイドとなるガイド情報を生成するガイド情報生成部をさらに備える
    請求項４に記載の画像処理装置。
17. 前記断層画像は、光干渉断層計により撮影された画像である
    請求項４に記載の画像処理装置。
18. 手術対象である眼の眼軸方向と略平行な方向の断面の画像である断層画像に基づいて、前記断層画像における前記眼の所定部位を認識し、
    前記所定部位の認識結果に基づいて、前記眼の姿勢を算出する
    ステップを含む画像処理方法。

Images