JP6993043B1 - 手術支援装置 - Google Patents
手術支援装置 Download PDFInfo
- Publication number
- JP6993043B1 JP6993043B1 JP2021558994A JP2021558994A JP6993043B1 JP 6993043 B1 JP6993043 B1 JP 6993043B1 JP 2021558994 A JP2021558994 A JP 2021558994A JP 2021558994 A JP2021558994 A JP 2021558994A JP 6993043 B1 JP6993043 B1 JP 6993043B1
- Authority
- JP
- Japan
- Prior art keywords
- endoscope
- image
- eyeball
- control unit
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000006073 displacement reaction Methods 0.000 claims abstract description 4
- 230000004044 response Effects 0.000 claims abstract description 3
- 210000005252 bulbus oculi Anatomy 0.000 claims description 104
- 238000001356 surgical procedure Methods 0.000 claims description 27
- 238000003780 insertion Methods 0.000 abstract description 16
- 230000037431 insertion Effects 0.000 abstract description 16
- 238000000034 method Methods 0.000 description 33
- 238000012545 processing Methods 0.000 description 28
- 238000003384 imaging method Methods 0.000 description 18
- 210000004087 cornea Anatomy 0.000 description 8
- 210000003128 head Anatomy 0.000 description 7
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 210000001747 pupil Anatomy 0.000 description 4
- 210000001525 retina Anatomy 0.000 description 4
- 210000000795 conjunctiva Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 206010061218 Inflammation Diseases 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 206010025421 Macule Diseases 0.000 description 1
- 206010038848 Retinal detachment Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 210000000695 crystalline len Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000004264 retinal detachment Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00147—Holding or positioning arrangements
- A61B1/00149—Holding or positioning arrangements using articulated arms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0075—Apparatus for testing the eyes; Instruments for examining the eyes provided with adjusting devices, e.g. operated by control lever
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/50—Supports for surgical instruments, e.g. articulated arms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
- A61F9/007—Methods or devices for eye surgery
- A61F9/00736—Instruments for removal of intra-ocular material or intra-ocular injection, e.g. cataract instruments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00194—Optical arrangements adapted for three-dimensional imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
- A61B2090/309—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Optics & Photonics (AREA)
- Radiology & Medical Imaging (AREA)
- Ophthalmology & Optometry (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Vascular Medicine (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
Abstract
被術者に対する内視鏡の挿入状態を空間的に把握できるような表示を行うために、内視鏡を保持するためのホルダを有し、前記ホルダで前記内視鏡を保持した状態で前記内視鏡の位置を調節するアーム部と、前記ホルダに保持された前記内視鏡の視点による被術者の三次元モデルの画像である内視鏡視点マップ画像を生成する画像生成部と、前記内視鏡視点マップ画像と前記内視鏡により撮像した内視鏡撮像画像との表示制御を行う表示制御部と、前記内視鏡撮像画像を回転させるための操作部と、を備え、前記操作部の操作に応じて、前記内視鏡の位置変位を生じさせずに表示されている前記内視鏡撮像画像を回転させるとともに、該回転に連動して前記内視鏡視点マップ画像を回転させる。
Description
本発明は、内視鏡を保持する機能を備える手術支援装置の技術分野に関する。
例えば黄班症や網膜剥離等の治療のために、眼球内部の硝子体を吸引除去することにより網膜を正常な状態に戻す硝子体手術が知られている。
通常の硝子体手術において、施術者（医師）は、手術顕微鏡等により被術者（患者）の瞳孔を通じて眼球内部を観察することになるが、瞳孔を通じて観察できる眼球内部の範囲には限界があり、観察できない部分を可視範囲に入れるためには眼球を外側から圧迫する必要がある。このような圧迫は、手術中の疼痛や手術後の炎症を引き起こすおそれがある。
通常の硝子体手術において、施術者（医師）は、手術顕微鏡等により被術者（患者）の瞳孔を通じて眼球内部を観察することになるが、瞳孔を通じて観察できる眼球内部の範囲には限界があり、観察できない部分を可視範囲に入れるためには眼球を外側から圧迫する必要がある。このような圧迫は、手術中の疼痛や手術後の炎症を引き起こすおそれがある。
そこで、特許文献１に示すような硝子体手術に内視鏡を用いる手法が提案されている。
内視鏡を被術者の眼球内部に挿入することで、眼球内部の画像がモニタ等の表示手段に表示される。施術者は、眼球内部で内視鏡を移動させることで、通常瞳孔からは視認できない部分を容易に観察することができる。
このような内視鏡を用いた硝子体手術においては、眼球内部の観察にあたり眼球を圧迫する必要がなくなるため、被術者の眼球に対する負担を軽減することができる。
内視鏡を被術者の眼球内部に挿入することで、眼球内部の画像がモニタ等の表示手段に表示される。施術者は、眼球内部で内視鏡を移動させることで、通常瞳孔からは視認できない部分を容易に観察することができる。
このような内視鏡を用いた硝子体手術においては、眼球内部の観察にあたり眼球を圧迫する必要がなくなるため、被術者の眼球に対する負担を軽減することができる。
硝子体手術では、硝子体カッターや鉗子、灌流液等の注入器などの処置具を眼球に挿入することで手術が行われる。施術者は内視鏡による撮像に基づく内視鏡撮像画像をモニタ上で確認しながら眼球内部の手術を行う。
このような内視鏡を用いた手術において、施術者が、被術者の眼球に対する内視鏡の挿入状態を推測し、モニタ上に表示された内視鏡撮像画像が眼球内部のどの位置を映し出したものであるかを把握することは容易ではない。
そこで本発明では、被術者に対する内視鏡の挿入状態を空間的に把握できるような表示を行うことを目的とする。
このような内視鏡を用いた手術において、施術者が、被術者の眼球に対する内視鏡の挿入状態を推測し、モニタ上に表示された内視鏡撮像画像が眼球内部のどの位置を映し出したものであるかを把握することは容易ではない。
そこで本発明では、被術者に対する内視鏡の挿入状態を空間的に把握できるような表示を行うことを目的とする。
本発明に係る手術支援装置は、内視鏡を保持するためのホルダを有し、前記ホルダで前記内視鏡を保持した状態で前記内視鏡の位置を調節するアーム部と、前記ホルダに保持された前記内視鏡の視点による被術者の三次元モデルの画像である内視鏡視点マップ画像を生成する画像生成部と、前記内視鏡視点マップ画像と前記内視鏡により撮像した内視鏡撮像画像との表示制御を行う表示制御部と、前記内視鏡撮像画像を回転させるための操作部と、を備え、前記操作部の操作に応じて、前記内視鏡の位置変位を生じさせずに表示されている前記内視鏡撮像画像を回転させるとともに、該回転に連動して前記内視鏡視点マップ画像を回転させるものである。
これにより回転後の内視鏡撮像画像の状態に対応する内視鏡と被術者の位置関係を示す内視鏡視点マップ画像が表示される。
これにより回転後の内視鏡撮像画像の状態に対応する内視鏡と被術者の位置関係を示す内視鏡視点マップ画像が表示される。
上記した手術支援装置において、前記内視鏡視点マップ画像の回転は、前記内視鏡を示す画像の位置を固定した状態で行われることが考えられる。
これにより、内視鏡撮像画像の回転状態を問わず、必ず内視鏡を示す画像が映り込んだ状態で内視鏡視点マップ画像が表示される。
これにより、内視鏡撮像画像の回転状態を問わず、必ず内視鏡を示す画像が映り込んだ状態で内視鏡視点マップ画像が表示される。
上記した手術支援装置において、前記表示制御部は、前記内視鏡視点マップ画像と前記内視鏡撮像画像とを同一画面内に表示させることが考えられる。
これにより、内視鏡撮像画像を視認しながら手術を行うにあたり、他のモニタに視線を移すことなく内視鏡視点マップ画像を確認することができる。
これにより、内視鏡撮像画像を視認しながら手術を行うにあたり、他のモニタに視線を移すことなく内視鏡視点マップ画像を確認することができる。
上記した手術支援装置において、表示制御部は、三次元眼球モデル上で前記内視鏡の位置を示す眼球マップ画像と、前記内視鏡視点マップ画像とを同一画面内に表示させることが考えられる。
これにより、内視鏡視点マップ画像を視認しているときに、他のモニタに視線を移すことなく眼球マップ画像を確認することができる。
これにより、内視鏡視点マップ画像を視認しているときに、他のモニタに視線を移すことなく眼球マップ画像を確認することができる。
本発明によれば、被術者に対する内視鏡の挿入状態を空間的に把握することができる。
本発明の実施の形態について図１から図１１を参照して説明する。図面は、説明にあたり必要と認められる要部及びその周辺の構成を抽出して示している。また図面は模式的なものであり、図面に記載された各構造の寸法、比率等は一例に過ぎない。従って、本発明の技術的思想を逸脱しない範囲であれば設計などに応じて種々な変更が可能である。また一度説明した構成は、以降同一の符号を付して説明を省略することがある。
以下、実施の形態を次の順序で説明する。
＜１．手術システムの構成＞
＜２．演算・制御部の機能構成＞
＜３．実施の形態の処理例＞
＜４．まとめ＞
＜１．手術システムの構成＞
＜２．演算・制御部の機能構成＞
＜３．実施の形態の処理例＞
＜４．まとめ＞
＜１．手術システムの構成＞
眼球手術における手術システム１００の構成について説明する。
図１は手術システム１００が有する構成の一例を模式的に示している。
手術システム１００は、手術台１と手術支援装置２を有して構成される。
手術台１と手術支援装置２は手術室に設置されている。
眼球手術における手術システム１００の構成について説明する。
図１は手術システム１００が有する構成の一例を模式的に示している。
手術システム１００は、手術台１と手術支援装置２を有して構成される。
手術台１と手術支援装置２は手術室に設置されている。
手術台１には、被術者（患者）３が仰向けの状態で横たえられている。施術者（医師）４は、被術者３の頭部側に位置し、各種の処置具５を用いて被術者３の眼球３０（図２参照）内部の手術を行う。処置具５には、例えば硝子体カッターや鉗子、灌流液等の注入器などが用いられる。
図２は、眼球３０の断面構成を模式的に示している。眼球３０の表面は角膜３１及び結膜３２により覆われており、角膜３１の奥には瞳孔３３が形成された虹彩３４が存在し、虹彩３４の奥には水晶体３５が存在する。また眼球３０内部の眼底一面には網膜３６が存在する。
施術者４は、例えば結膜３２に処置具５を挿入して眼球３０内部の手術を行う。
施術者４は、例えば結膜３２に処置具５を挿入して眼球３０内部の手術を行う。
施術者４による眼球３０の手術は、手術支援装置２により支援される。
図３は、手術支援装置２が有する構成の一例を模式的に示している。
手術支援装置２は、内視鏡保持装置１１、内視鏡１２、操作部１３、演算・制御部１４、及びモニタ１５を有する。
図３は、手術支援装置２が有する構成の一例を模式的に示している。
手術支援装置２は、内視鏡保持装置１１、内視鏡１２、操作部１３、演算・制御部１４、及びモニタ１５を有する。
内視鏡保持装置１１は、基台部１６及びアーム部１７を有している。
基台部１６は手術室の床等に載置され、アーム部１７は基台部１６に取り付けられている。アーム部１７は基台部１６により回動可能に軸支される。
アーム部１７は、１又は複数の関節部や回動部を備え、アーム先端部２０を任意の位置に移動させることのできる機構に形成されている。
基台部１６は手術室の床等に載置され、アーム部１７は基台部１６に取り付けられている。アーム部１７は基台部１６により回動可能に軸支される。
アーム部１７は、１又は複数の関節部や回動部を備え、アーム先端部２０を任意の位置に移動させることのできる機構に形成されている。
ここでアーム先端部２０の構成について説明する。
図４は、アーム先端部２０が有する構成の一例を模式的に示している。
アーム先端部２０は、内視鏡１２を保持するためのホルダ２１と被術者３の角膜３１までの距離の計測に用いる計測部２２と、を有している。
図４は、アーム先端部２０が有する構成の一例を模式的に示している。
アーム先端部２０は、内視鏡１２を保持するためのホルダ２１と被術者３の角膜３１までの距離の計測に用いる計測部２２と、を有している。
ホルダ２１は、内視鏡１２が着脱可能となる機構に形成され、内視鏡１２を装着することでホルダ２１に対して内視鏡１２が固定される。内視鏡１２がホルダ２１に固定された状態でアーム部１７を動作させることで、内視鏡１２を任意の位置に自在に移動させることができる。
被術者３の眼球３０に挿入された内視鏡１２をホルダ２１で保持することで、施術者４は、手で内視鏡１２を保持する必要がなくなる。従って、施術者４は、両手で眼球３０の手術を行うことができる。
計測部２２は、照射部２３及び撮像部２４を有している。
照射部２３は、例えばＬＥＤ（Light Emitting Diode）であり、被術者３の眼球３０を照射する光を出力する。
照射部２３は、例えばＬＥＤ（Light Emitting Diode）であり、被術者３の眼球３０を照射する光を出力する。
撮像部２４は、いわゆるステレオ法による測距が可能となるように撮像部２４Ｌ，２４Ｒを有している。撮像部２４Ｌ，２４Ｒは、例えばホルダ２１の上部付近において所定間隔を空けて配置されている。撮像部２４Ｌ，２４Ｒの光軸は平行とされ、焦点距離はそれぞれ同値とされる。また、フレーム周期は同期し、フレームレートも一致している。
撮像部２４Ｌ，２４Ｒの各撮像素子で得られた撮像画像信号はそれぞれＡ／Ｄ（Analog
/ Digital）変換され、画素単位で所定階調による輝度値を表すデジタル画像信号（撮像画像データ）とされる。
/ Digital）変換され、画素単位で所定階調による輝度値を表すデジタル画像信号（撮像画像データ）とされる。
照射部２３により眼球３０が照射された状態において得られた撮像部２４Ｌ，２４Ｒの各撮像素子による撮像画像信号に基づいて、撮像部２４Ｌ，２４Ｒから被術者３の角膜３１までの距離を計測することができる。
計測部２２において照射部２３と撮像部２４Ｌ，２４Ｒの相対位置関係は固定されている。また撮像部２４Ｌ，２４Ｒと、上述したホルダ２１の相対位置関係は固定されている。従って、ホルダ２１に内視鏡１２を固定することで、照射部２３及び撮像部２４Ｌ，２４Ｒと内視鏡１２との相対位置関係が固定される。
図３に戻り、手術支援装置２の内視鏡１２は、ホルダ２１に固定された状態で眼球３０の内部に挿入される（図２参照）。挿入された内視鏡１２により眼球３０内部の状態が撮像される。内視鏡１２の撮像素子で得られた撮像画像信号はそれぞれＡ／Ｄ変換され、画素単位で所定階調による輝度値を表すデジタル画像信号（撮像画像データ）とされる。
内視鏡１２からの撮像画像データに基づく撮像画像は、モニタ１５の液晶に表示される。
内視鏡１２からの撮像画像データに基づく撮像画像は、モニタ１５の液晶に表示される。
操作部１３は、アーム部１７の操作やモニタ１５上で表示された内視鏡１２による撮像に基づく撮像画像の回転操作などを行う際に用いられる操作機器を包括的に示している。操作部１３は、フットペダルであってもよいし、手動により操作する遠隔操作装置（リモートコントローラ）などであってもよい。図３では一例としてフットペダルを図示しているが、上記の通り操作部１３はこれに限れられるものではない。
内視鏡１２による撮像画像の操作部１３の操作に応じた回転操作手法の詳細については後述する。
内視鏡１２による撮像画像の操作部１３の操作に応じた回転操作手法の詳細については後述する。
演算・制御部１４は、アーム部１７の動作制御や、モニタ１５上に表示させる各種画像の生成処理、モニタ１５への表示制御処理など、本実施の形態を実現するために必要な各種処理を実行する。
演算・制御部１４は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only
Memory）、ＲＡＭ（Random Access Memory）等を有するマイクロコンピュータを備えて構成される。演算・制御部１４は、１又は複数のマイクロコンピュータにより実現される。
Memory）、ＲＡＭ（Random Access Memory）等を有するマイクロコンピュータを備えて構成される。演算・制御部１４は、１又は複数のマイクロコンピュータにより実現される。
演算・制御部１４は、例えば内視鏡保持装置１１の基台部１６に内蔵されている。なお、演算・制御装置１４は他の外部機器に内蔵されていてもよい。
モニタ１５は、演算・制御部１４からの表示制御に基づいて液晶に表示画像６を表示する。
図５は、モニタ１５上に表示される表示画像６の一例を示している。
モニタ１５上には、例えば内視鏡撮像画像６１や、眼球マップ画像６２、内視鏡視点マップ画像６３、挿入長提示画像６４などを有する表示画像６が表示される。表示画像６には他にも必要に応じて各種情報に関する画像が含まれる。
図５は、モニタ１５上に表示される表示画像６の一例を示している。
モニタ１５上には、例えば内視鏡撮像画像６１や、眼球マップ画像６２、内視鏡視点マップ画像６３、挿入長提示画像６４などを有する表示画像６が表示される。表示画像６には他にも必要に応じて各種情報に関する画像が含まれる。
内視鏡撮像画像６１は、内視鏡１２からの撮像画像データに基づく撮像画像である。内視鏡撮像画像６１として、例えば内視鏡１２で撮像した眼球３０の内部の状態が表示される。内視鏡撮像画像６１は、操作部１３による操作により回転させることができる。内視鏡撮像画像６１の回転手法の詳細については後述する。
眼球マップ画像６２は眼球３０と内視鏡１２の位置関係を示している。
眼球マップ画像６２には、眼球３０が三次元眼球モデル画像３０Ａにより表示される。また眼球３０に対する内視鏡１２の位置が内視鏡モデル画像１２Ａにより表示される。
眼球マップ画像６２には、眼球３０が三次元眼球モデル画像３０Ａにより表示される。また眼球３０に対する内視鏡１２の位置が内視鏡モデル画像１２Ａにより表示される。
内視鏡視点マップ画像６３には、内視鏡１２を示す内視鏡モデル画像１２Ｂと、内視鏡１２の視点による被術者３の三次元モデル画像３００とが表示される。三次元モデル画像３００には眼球モデル画像３０Ｂが表示される。
内視鏡視点マップ画像６３は、内視鏡撮像画像６１の回転に連動して回転する。このとき内視鏡視点マップ画像６３においては、内視鏡１２を示す内視鏡モデル画像１２Ｂの位置を固定した状態で、三次元モデル画像３００が回転する。内視鏡視点マップ画像６３の回転手法の詳細については後述する。
内視鏡視点マップ画像６３は、内視鏡撮像画像６１の回転に連動して回転する。このとき内視鏡視点マップ画像６３においては、内視鏡１２を示す内視鏡モデル画像１２Ｂの位置を固定した状態で、三次元モデル画像３００が回転する。内視鏡視点マップ画像６３の回転手法の詳細については後述する。
挿入長提示画像６４には、眼球３０に対する内視鏡１２の挿入長の数値、及び内視鏡先端部１２０から網膜３６までの距離の数値が表示される。
施術者４は、モニタ１５上で表示された表示画像６を確認しながら眼球３０の手術を行う。
＜２．演算・制御部の機能構成＞
手術支援装置２における演算・制御部１４の機能構成について説明する。
図６は、手術支援装置２の構成の一例をブロック図として示している。
演算・制御部１４は、駆動制御部１４１、画像処理部１４２、位置判定部１４３、画像生成部１４４、及び表示制御部１４５を有している。
手術支援装置２における演算・制御部１４の機能構成について説明する。
図６は、手術支援装置２の構成の一例をブロック図として示している。
演算・制御部１４は、駆動制御部１４１、画像処理部１４２、位置判定部１４３、画像生成部１４４、及び表示制御部１４５を有している。
駆動制御部１４１は、例えば操作部１３からの入力された操作信号に基づいて、内視鏡保持装置１１のアーム部１７の関節部や回動部の動作制御を行う。駆動制御部１４１は、アーム部１７の動作制御を行うことで、アーム先端部２０のホルダ２１に固定した内視鏡１２の位置を移動させることができる。
また駆動制御部１４１は、照射部２３の出力制御や、撮像部２４の撮像制御を行う。
また駆動制御部１４１は、照射部２３の出力制御や、撮像部２４の撮像制御を行う。
画像処理部１４２は、内視鏡１２による撮像に基づく画像信号について、輝度信号処理、色処理、解像度変換処理、コーデック処理などの各種信号処理を施す。画像処理部１４２は、各種信号処理が施された画像信号を画像生成部１４４に出力する。
位置判定部１４３は、撮像部２４から入力された撮像部２４Ｌ，２４Ｒの各撮像素子による眼球３０の撮像画像信号に基づいて、撮像部２４から角膜３１までの距離である撮像距離を演算する。
また位置判定部１４３は、当該撮像距離に基づいて眼球３０と内視鏡先端部１２０との相対位置関係を演算する。
位置判定部１４３は、判定結果（眼球３０と内視鏡先端部１２０との相対位置関係）を画像生成部１４４に出力する。
また位置判定部１４３は、当該撮像距離に基づいて眼球３０と内視鏡先端部１２０との相対位置関係を演算する。
位置判定部１４３は、判定結果（眼球３０と内視鏡先端部１２０との相対位置関係）を画像生成部１４４に出力する。
画像生成部１４４は、画像処理部１４２や位置判定部１４３、操作部１３などからの各種入力情報を用いて図５に示すような表示画像６を生成する。表示画像６を構成する各種画像の生成手法の詳細については後述する。
画像生成部１４４は、生成した表示画像６の画像信号を表示制御部１４５に出力する。
画像生成部１４４は、生成した表示画像６の画像信号を表示制御部１４５に出力する。
表示制御部１４５は、画像生成部１４４から入力された画像信号に基づいて、モニタ１５上に表示画像６を表示させる制御を行う。
＜３．実施の形態の処理例＞
本実施の形態を実現するために手術支援装置２の演算・制御部１４が実行する処理について説明する。ここでは一例として、施術者４が被術者３の頭部側に位置して手術を行っているものとする（図１参照）。
図７は、演算・制御部１４が実行する処理の一例を示すフローチャートである。また図８は、眼球３０と内視鏡１２の位置関係を判定するための手順の概要を示している。
本実施の形態を実現するために手術支援装置２の演算・制御部１４が実行する処理について説明する。ここでは一例として、施術者４が被術者３の頭部側に位置して手術を行っているものとする（図１参照）。
図７は、演算・制御部１４が実行する処理の一例を示すフローチャートである。また図８は、眼球３０と内視鏡１２の位置関係を判定するための手順の概要を示している。
ステップＳ１０１において、演算・制御部１４は照射開始制御処理を行う。
照射開始制御処理において、演算・制御部１４は、図８Ａに示すように眼球３０を照射するための光２５を照射部２３に出力させる。なお、図８Ａでは照射部２３から出力される光２５を模式的に破線で示している。
照射開始制御処理は、後述する内視鏡視点マップ画像６３の画像データを生成するために用いられる眼球３０と内視鏡１２の位置関係を判定する際に必要となる処理である。
照射開始制御処理において、演算・制御部１４は、図８Ａに示すように眼球３０を照射するための光２５を照射部２３に出力させる。なお、図８Ａでは照射部２３から出力される光２５を模式的に破線で示している。
照射開始制御処理は、後述する内視鏡視点マップ画像６３の画像データを生成するために用いられる眼球３０と内視鏡１２の位置関係を判定する際に必要となる処理である。
その後、演算・制御部１４は、画像の１フレームタイミング毎にステップＳ１０２以降の処理を繰り返し実行する。
ステップＳ１０２において、演算・制御部１４は、内視鏡１２が眼球３０内部を撮像して得た撮像画像データとしての各フレーム画像データを内部メモリに格納する。
ステップＳ１０２において、演算・制御部１４は、内視鏡１２が眼球３０内部を撮像して得た撮像画像データとしての各フレーム画像データを内部メモリに格納する。
ステップＳ１０３において、演算・制御部１４は画像回転角データを取得する。
画像回転角データは、内視鏡１２からの撮像画像データの回転処理を行う際に用いられる当該撮像画像データの回転方向及び回転角度を示す情報である。
画像回転角データは、操作部１３からの操作入力に応じて適宜更新される。ただし、アーム部１７の動作に応じて内視鏡１２の撮像方向が変位することによっては、画像回転角データは更新されない。
画像回転角データは、内視鏡１２からの撮像画像データの回転処理を行う際に用いられる当該撮像画像データの回転方向及び回転角度を示す情報である。
画像回転角データは、操作部１３からの操作入力に応じて適宜更新される。ただし、アーム部１７の動作に応じて内視鏡１２の撮像方向が変位することによっては、画像回転角データは更新されない。
演算・制御部１４が図７の処理を開始してから操作部１３による操作入力を検知するまでの間（以下、初期状態とも表記する。）においては、画像回転角データは内視鏡撮像画像に対する回転処理の角度０°を指示する値とされる。
演算・制御部１４は、操作部１３からの操作入力を検知すると、その操作量に応じて画像回転角データを更新する。例えば更新された画像回転角データの角度の正負により回転方向が示される。画像回転角データの更新処理の詳細については後述する。
演算・制御部１４は、操作部１３からの操作入力を検知すると、その操作量に応じて画像回転角データを更新する。例えば更新された画像回転角データの角度の正負により回転方向が示される。画像回転角データの更新処理の詳細については後述する。
続くステップＳ１０４において、演算・制御部１４は、内視鏡１２からの撮像画像データ及び画像回転角データに基づいて、内視鏡撮像画像６１の画像データを生成する。
この場合少なくとも演算・制御部１４は、内視鏡１２からの撮像画像データを画像回転角データに基づいた方向及び角度で回転させた内視鏡撮像画像６１の画像データを生成する。
この場合少なくとも演算・制御部１４は、内視鏡１２からの撮像画像データを画像回転角データに基づいた方向及び角度で回転させた内視鏡撮像画像６１の画像データを生成する。
また初期状態の場合は画像回転角データとして回転角度０°が指示されていることになるため、演算・制御部１４は、内視鏡１２からの撮像画像データを回転させずに内視鏡撮像画像６１としての画像データを生成する。
ステップＳ１０５において、演算・制御部１４は、眼球マップ画像６２及び内視鏡視点マップ画像６３の画像生成処理を実行する。この画像生成処理について図９を参照して説明する。図９は、演算・制御部１４が実行する当該画像生成処理の一例を示すフローチャートである。
ステップＳ２０１において、演算・制御部１４は、撮像部２４Ｌ，２４Ｒが眼球３０を撮像することで得た撮像画像データとしての各フレーム画像データを内部メモリに格納する。
ステップＳ２０２において、演算・制御部１４は、各フレームとしての２つの撮像画像データに基づき、眼球３０や眼球３０の角膜３１に映る照射部２３からの光２５の光点を認識するなどの各種画像解析処理を行う。
ステップＳ２０３において、演算・制御部１４は、撮像部２４Ｌ，２４Ｒにより得られた一対の撮像画像データ（ステレオ画像）に対し、図８Ｂに示すような角膜３１に映る光点の位置のずれ量Ｌから三角測量の原理によって撮像部２４から角膜３１までの距離である撮像距離を演算する。
演算・制御部１４は、演算した撮像距離に基づいて撮像部２４と眼球３０の位置関係を判定する。
このとき眼球３０のサイズのデータとして眼球モデルデータが用いられる。
眼球モデルデータは、例えば一般的なヒトの眼球サイズを想定した三次元データである。ヒトの眼球サイズは、若干の個人差はあるものの大きく異なることがないため、標準的なヒトの眼球サイズに基づく眼球モデルデータとしてあらかじめ設定しておく。
このとき眼球３０のサイズのデータとして眼球モデルデータが用いられる。
眼球モデルデータは、例えば一般的なヒトの眼球サイズを想定した三次元データである。ヒトの眼球サイズは、若干の個人差はあるものの大きく異なることがないため、標準的なヒトの眼球サイズに基づく眼球モデルデータとしてあらかじめ設定しておく。
演算・制御部１４は、撮像距離と眼球モデルデータを用いることで、撮像部２４と眼球３０の位置関係を演算（判定）することができる。
なお、手術にあたりあらかじめ被術者３の眼球３０の眼球サイズを測定しておき、当該測定結果を反映させて眼球モデルデータを設定することもできる。
なお、手術にあたりあらかじめ被術者３の眼球３０の眼球サイズを測定しておき、当該測定結果を反映させて眼球モデルデータを設定することもできる。
続くステップＳ２０４において、演算・制御部１４は、撮像部２４と眼球３０の位置関係に基づいて、内視鏡１２と眼球３０の位置関係を判定する。
内視鏡１２は、アーム先端部２０のホルダ２１に固定されることで撮像部２４との相対位置関係が固定される。そのため内視鏡１２がホルダ２１に固定された状態では、撮像部２４の位置に応じておのずと内視鏡１２の位置が規定される。
またホルダ２１に固定された内視鏡１２の軸方向における内視鏡先端部１２０までの形状サイズは既知である。そのため、内視鏡１２の形状サイズに関する情報をあらかじめ設定しておくことで、演算・制御部１４は、規定された内視鏡１２の位置から内視鏡先端部１２０の位置を演算することができる。
またホルダ２１に固定された内視鏡１２の軸方向における内視鏡先端部１２０までの形状サイズは既知である。そのため、内視鏡１２の形状サイズに関する情報をあらかじめ設定しておくことで、演算・制御部１４は、規定された内視鏡１２の位置から内視鏡先端部１２０の位置を演算することができる。
以上により、演算・制御部１４は、眼球３０と撮像部２４の位置関係に基づいて、眼球３０に対する内視鏡１２（内視鏡先端部１２０）の位置関係を演算（判定）することができる。
続くステップＳ２０５において、演算・制御部１４は、判定した眼球３０と内視鏡１２（内視鏡先端部１２０）の位置関係を三次元眼球モデル画像３０Ａと内視鏡モデル画像１２Ａの位置関係として示した眼球マップ画像６２の画像データを生成する（図８Ｃ参照）。
さらにステップＳ２０６において、演算・制御部１４は、図５に示すような内視鏡視点マップ画像６３の画像データを生成する。内視鏡視点マップ画像６３は、被術者３の頭部を示す三次元モデル画像３００と、内視鏡１２を示す内視鏡モデル画像１２Ｂとから構成される。三次元モデル画像３００には眼球３０の三次元眼球モデル画像３０Ｂが表示される。
被術者３の三次元モデル画像３００には、あらかじめ設定されたヒトの三次元モデルデータが用いられる。
また内視鏡１２に対する被術者３の頭部の角度を示す値が、被術者３が手術台１に仰向けで横たえられた状態であり、手術台１に対する内視鏡保持装置１１の設置角度が規定されているという前提のもと、あらかじめ頭部角度データとして設定されている。
また内視鏡１２に対する被術者３の頭部の角度を示す値が、被術者３が手術台１に仰向けで横たえられた状態であり、手術台１に対する内視鏡保持装置１１の設置角度が規定されているという前提のもと、あらかじめ頭部角度データとして設定されている。
演算・制御部１４は、三次元モデルデータと頭部角度データに基づいて、三次元眼球モデル画像３０Ｂを有する三次元モデル画像３００の画像データを生成する。
そして演算・制御部１４は、ステップＳ２０４で判定した眼球３０と内視鏡１２の位置関係に基づいて三次元モデル画像３００と内視鏡モデル画像１２Ｂを合成することで、内視鏡視点マップ画像６３の画像データを生成する。
内視鏡視点マップ画像６３では、内視鏡１２の視点から三次元モデル画像３００の頭部を観察した画像が表示される。
内視鏡視点マップ画像６３では、内視鏡１２の視点から三次元モデル画像３００の頭部を観察した画像が表示される。
また演算・制御部１４は、図７のステップＳ１０３で取得した画像回転角データに基づいて、回転処理を施した内視鏡視点マップ画像６３の画像データを生成する。
このとき演算・制御部１４は、内視鏡モデル画像１２Ｂの位置を固定した状態で三次元モデル画像３００を回転させた画像データを内視鏡視点マップ画像６３として生成する。
このとき演算・制御部１４は、内視鏡モデル画像１２Ｂの位置を固定した状態で三次元モデル画像３００を回転させた画像データを内視鏡視点マップ画像６３として生成する。
なお、初期状態の場合は画像回転角データとして回転角度０°が指示されていることになるため、演算・制御部１４は、内視鏡視点マップ画像６３を回転さない画像データが内視鏡視点マップ画像６３として生成される。
演算・制御部１４は、ステップＳ２０６の処理を終えることで、図７のＳ１０５における眼球マップ画像６２及び内視鏡視点マップ画像６３の生成処理を完了する。
続いて演算・制御部１４は、ステップＳ１０６に処理を進める。
続いて演算・制御部１４は、ステップＳ１０６に処理を進める。
ステップＳ１０６において、演算・制御部１４は表示画像６の画像データを生成する。
演算・制御部１４は、内視鏡撮像画像６１、眼球マップ画像６２、内視鏡視点マップ画像６３、挿入長提示画像６４、その他必要な画像を合成することで表示画像６を生成する。
演算・制御部１４は、内視鏡撮像画像６１、眼球マップ画像６２、内視鏡視点マップ画像６３、挿入長提示画像６４、その他必要な画像を合成することで表示画像６を生成する。
ここで、挿入長提示画像６４の画像データの生成手法の例について説明する。
演算・制御部１４は、判定した眼球３０と内視鏡１２（内視鏡先端部１２０）の位置関係から、内視鏡１２の眼球３０への挿入長に関する情報と、内視鏡先端部１２０から被術者３の網膜３６までの距離に関する情報とを演算する。
そして演算・制御部１４は、それらの情報に基づいて挿入長提示画像６４の画像データを生成する。
演算・制御部１４は、判定した眼球３０と内視鏡１２（内視鏡先端部１２０）の位置関係から、内視鏡１２の眼球３０への挿入長に関する情報と、内視鏡先端部１２０から被術者３の網膜３６までの距離に関する情報とを演算する。
そして演算・制御部１４は、それらの情報に基づいて挿入長提示画像６４の画像データを生成する。
続くステップＳ１０７において、演算・制御部１４は、表示画像６をモニタ１５の液晶に表示させるための表示制御を行う。これにより、モニタ１５の同一画面内に図５に示すような表示画像６が表示される。
ところで、施術者４による眼球３０の手術中においては、図１０に示すように内視鏡撮像画像６１に処置具５が映り込むことがある。この場合において内視鏡撮像画像６１は、処置具５の表示位置から明らかなように、図１に示す施術者４が眼球３０内部の手術を行う方向と上下左右が一致していない。
これは眼球３０に挿入する内視鏡１２の位置を調節するときに、内視鏡１２に長手軸を中心とするひねりが生じたことに起因する。このようなひねりが生じた状態で内視鏡１２による眼球３０内部の撮像が行われると、施術者４が手術を行っている方向と上下左右が一致しない内視鏡撮像画像６１がモニタ１５上に表示されてしまう。
このような場合、施術者４は、手術を円滑に進行させるために操作部１３の操作により内視鏡撮像画像６１を見やすい位置（例えば図１１に示す位置）まで回転させる必要がある。
そのため、演算・制御部１４は、図７のステップＳ１０８，Ｓ１０９の処理を行うようにしている。
そのため、演算・制御部１４は、図７のステップＳ１０８，Ｓ１０９の処理を行うようにしている。
ステップＳ１０８において、演算・制御部１４は、操作部１３からの操作入力を検知したか否かを判定する。操作入力は、例えば施術者４がフットペダルを足で操作することにより行われる。
ステップＳ１０８において操作入力を検知しない場合、演算・制御部１４はステップＳ１０２に処理を戻し、以降同様の処理を実行する。
即ち、初期状態においては、回転していない状態の内視鏡撮像画像６１及び内視鏡視点マップ画像６３がモニタ１５上に表示される。
即ち、初期状態においては、回転していない状態の内視鏡撮像画像６１及び内視鏡視点マップ画像６３がモニタ１５上に表示される。
一方、ステップＳ１０８において操作入力を検知した場合、演算・制御部１４はステップＳ１０８からＳ１０９に処理を進める。
ステップＳ１０９において、演算・制御部１４は、画像回転角データの更新処理を行う。
演算・制御部１４は、操作部１３からの操作入力に基づいて、画像回転角データとして回転方向及び回転角度を更新する。
演算・制御部１４は、操作部１３からの操作入力に基づいて、画像回転角データとして回転方向及び回転角度を更新する。
ステップＳ１０９の処理を行った後、演算・制御部１４はステップＳ１０２に処理を戻す。そして演算・制御部１４は、ステップＳ１０２からＳ１０４の処理を行い、内視鏡１２からの撮像画像データを更新された画像回転角データに基づいて回転させた内視鏡撮像画像６１の画像データを生成する。
このような処理が実行されることで、操作部１３の操作に応じて、眼球３０内部での内視鏡１２の位置変位を生じさせずに、モニタ１５上に表示されている内視鏡撮像画像６１を回転させ続けることができる。例えば内視鏡撮像画像６１を、図１０に示す位置から図１１に示す位置まで回転させることができる。
続くステップＳ１０５の内視鏡視点マップ画像６３の生成処理において、演算・制御部１４は、内視鏡モデル画像１２Ｂの位置を固定した状態で、更新された画像回転角データに基づいて三次元モデル画像３００を回転させた内視鏡視点マップ画像６３の画像データを生成する。
このとき、固定された内視鏡モデル画像１２Ｂを基準として三次元モデル画像３００が回転する。例えば内視鏡撮像画像６１が、図１０に示す位置から図１１に示す位置まで回転することに連動して、三次元モデル画像３００を内視鏡モデル画像１２Ｂに対して図１０に示す位置から図１１に示す位置まで回転させる。
このように、画像回転角データに基づいて三次元モデル画像３００を回転させることで、内視鏡撮像画像６１の回転に連動して回転した内視鏡視点マップ画像６３の画像データを生成することができる。
このように、画像回転角データに基づいて三次元モデル画像３００を回転させることで、内視鏡撮像画像６１の回転に連動して回転した内視鏡視点マップ画像６３の画像データを生成することができる。
そしてステップＳ１０６において、演算・制御部１４は、回転させた内視鏡撮像画像６１及び内視鏡視点マップ画像６３を含む表示画像６の画像データを生成する。
そしてステップＳ１０７において、演算・制御部１４は、表示画像６をモニタ１５の液晶に表示させるための表示制御を行う。
そしてステップＳ１０７において、演算・制御部１４は、表示画像６をモニタ１５の液晶に表示させるための表示制御を行う。
演算・制御部１４の表示制御により、施術者４の操作部１３の操作に応じて回転された内視鏡撮像画像６１がモニタ１５上に表示される。また内視鏡撮像画像６１の回転に連動して回転した内視鏡視点マップ画像６３がモニタ１５上に表示される。
内視鏡撮像画像６１を回転させると、内視鏡撮像画像６１の映像から眼球３０と内視鏡１２の位置関係（例えば眼球３０に対する内視鏡１２の挿入状態（撮像方向））を空間的に把握することが困難な場合がある。このような場合に、内視鏡撮像画像６１の回転に連動して回転した内視鏡視点マップ画像６３を確認することで、眼球３０に対する内視鏡１２の挿入状態を容易に把握することができる。
施術者４が操作部１３を操作し続けている間、ステップＳ１０２からＳ１０９までの処理が演算・制御部１４により継続して実行される。
施術者４は、例えば内視鏡撮像画像６１に映り込んだ処置具５が手術の行いやすい位置になるまで操作部１３の操作を継続し、内視鏡撮像画像６１を回転させる。
施術者４は、例えば内視鏡撮像画像６１に映り込んだ処置具５が手術の行いやすい位置になるまで操作部１３の操作を継続し、内視鏡撮像画像６１を回転させる。
施術者４による操作部１３の操作の終了により、演算・制御部１４は、ステップＳ１０８で操作入力を検知しないと判定する。この場合、演算・制御部１４は、ステップＳ１０８からＳ１０２に処理を戻し、以降、ステップＳ１０８で操作入力を検知するまで、ステップＳ１０２からＳ１０８の処理を繰り返し実行する。
このとき演算・制御部１４は、最後に更新された画像回転角データに基づいて内視鏡撮像画像６１及び内視鏡視点マップ画像６３の画像データを生成し、モニタ１５への表示制御を行う。これにより、回転停止時点の回転角度が維持された状態で内視鏡撮像画像６１及び内視鏡視点マップ画像６３がモニタ１５上に表示される。
なお、内視鏡１２の撮像方向を変位させるためにアーム部１７の動作制御によりホルダ２１に保持された内視鏡１２を移動させたとしても、演算・制御部１４により画像回転角データが更新されることはない。
従って、モニタ１５上には、最後に更新された画像回転角データに基づく回転が維持された状態で、撮像方向のみが変位した内視鏡撮像画像６１が表示される。
よって、施術者４は、内視鏡１２の撮像方向を変位させた際に、操作部１３の操作により再度内視鏡撮像画像６１を回転させる必要がなくなる。
よって、施術者４は、内視鏡１２の撮像方向を変位させた際に、操作部１３の操作により再度内視鏡撮像画像６１を回転させる必要がなくなる。
また、内視鏡視点マップ画像６３においては、内視鏡撮像画像６１の回転状態に連動した状態が維持される。なお、内視鏡１２の撮像方向が変位した場合において、内視鏡視点マップ画像６３における内視鏡モデル画像１２Ｂに対する三次元モデル画像３００の位置は変位する。
ステップＳ１０２からＳ１０８の処理を繰り返し実行するなかで、再度ステップＳ１０８で操作入力を検知すると、演算・制御部１４はステップＳ１０９，Ｓ１０２の順に処理を進め、以降同様の処理を実行する。
＜４．まとめ＞
本発明の実施の形態における手術支援装置２は、内視鏡１２を保持するためのホルダ２１を有し、ホルダ２１で内視鏡１２を保持した状態で内視鏡１２の位置を調節するアーム部１７と、ホルダ２１に保持された内視鏡１２の視点による被術者３の三次元モデル画像３００が表示される内視鏡視点マップ画像６３を生成する画像生成部１４４と、内視鏡視点マップ画像６３と内視鏡１２により撮像した内視鏡撮像画像６１との表示制御を行う表示制御部１４５と、内視鏡撮像画像６１を回転させるための操作部１３と、を備え、操作部１３の操作に応じて、内視鏡１２の位置変位を生じさせずに表示されている内視鏡撮像画像６１を回転させるとともに、該回転に連動して内視鏡視点マップ画像６３を回転させる（図７及び図８等参照）。
本発明の実施の形態における手術支援装置２は、内視鏡１２を保持するためのホルダ２１を有し、ホルダ２１で内視鏡１２を保持した状態で内視鏡１２の位置を調節するアーム部１７と、ホルダ２１に保持された内視鏡１２の視点による被術者３の三次元モデル画像３００が表示される内視鏡視点マップ画像６３を生成する画像生成部１４４と、内視鏡視点マップ画像６３と内視鏡１２により撮像した内視鏡撮像画像６１との表示制御を行う表示制御部１４５と、内視鏡撮像画像６１を回転させるための操作部１３と、を備え、操作部１３の操作に応じて、内視鏡１２の位置変位を生じさせずに表示されている内視鏡撮像画像６１を回転させるとともに、該回転に連動して内視鏡視点マップ画像６３を回転させる（図７及び図８等参照）。
これにより回転後の内視鏡撮像画像６１の状態に対応する内視鏡１２と被術者３の位置関係を示す内視鏡視点マップ画像６３が表示される。
従って、施術者４が被術者３の眼球３０に対する内視鏡１２の挿入状態を空間的に把握することができる。よって、施術者４は、内視鏡撮像画像６１が回転された状態においても直感的に位置関係を把握した手術を行うことができ、眼球３０に対する手術を円滑に進行することができる。また内視鏡１２の位置が把握できるため、施術者４が内視鏡１２等と接触することを回避することができる。
従って、施術者４が被術者３の眼球３０に対する内視鏡１２の挿入状態を空間的に把握することができる。よって、施術者４は、内視鏡撮像画像６１が回転された状態においても直感的に位置関係を把握した手術を行うことができ、眼球３０に対する手術を円滑に進行することができる。また内視鏡１２の位置が把握できるため、施術者４が内視鏡１２等と接触することを回避することができる。
本実施の形態における手術支援装置２においては、内視鏡視点マップ画像６３の回転は、内視鏡１２を示す画像の位置を固定した状態で行われる（図７のＳ１０５、図９のＳ２０５、図１０、図１１等参照）。
これにより、内視鏡撮像画像６１の回転状態を問わず、必ず内視鏡１２を示す画像が映り込んだ状態で内視鏡視点マップ画像６３が表示される。
従って、内視鏡視点マップ画像６３を視認することで、内視鏡撮像画像６１の回転を問わずに被術者３の眼球３０に対する内視鏡１２の挿入状態を常に確認することができる。よって、眼球３０に対する手術を円滑に進行することができる。
従って、内視鏡視点マップ画像６３を視認することで、内視鏡撮像画像６１の回転を問わずに被術者３の眼球３０に対する内視鏡１２の挿入状態を常に確認することができる。よって、眼球３０に対する手術を円滑に進行することができる。
本実施の形態における手術支援装置２において、表示制御部１４５は、内視鏡視点マップ画像６３と内視鏡撮像画像６１とを同一画面内に表示させる（図５、図７のＳ１０７等参照）。
これにより、内視鏡撮像画像６１を視認しながら手術を行うにあたり、他のモニタ１５に視線を移すことなく内視鏡視点マップ画像６３を確認することができる。
従って、内視鏡視点マップ画像６３の視認性が向上し、眼球３０に対する手術を円滑に進行することができる。
従って、内視鏡視点マップ画像６３の視認性が向上し、眼球３０に対する手術を円滑に進行することができる。
本実施の形態における手術支援装置２において、表示制御部１４５は、三次元眼球モデル上で内視鏡１２の位置を示す眼球マップ画像６２と、内視鏡視点マップ画像６３とを同一画面内に表示させる（図５、図７のＳ１０７等参照）。
これにより、内視鏡視点マップ画像６３を確認するにあたり、他のモニタ１５に視線を移すことなく眼球マップ画像６２を確認することができる。
従って、一のモニタ１５で複数の情報を同時に確認することができるため、眼球３０に対する手術を円滑に進行することができる。
従って、一のモニタ１５で複数の情報を同時に確認することができるため、眼球３０に対する手術を円滑に進行することができる。
なお、本実施の形態では、内視鏡１２の一例として眼内内視鏡の例について説明したが、内視鏡１２は眼内内視鏡に限られるものではない。例えば被術者３の肋骨の間を切開し挿入する胸腔鏡や、腹部を切開し挿入する腹腔鏡など、様々な内視鏡を適用することができる。
最後に、本開示に記載された実施の形態はあくまでも例示であり、本発明が上述の実施の形態に限定されることはない。また実施の形態で説明されている構成の組み合わせの全てが課題の解決に必須であるとは限らない。さらに本開示に記載された効果はあくまでも例示であり限定されるものではなく、他の効果を奏するものであってもよいし、本開示に記載された効果の一部を奏するものであってもよい。
２ 手術支援装置
３ 被術者
１２ 内視鏡
１３ 操作部
１７ アーム部
２１ ホルダ
３０ 眼球
３０Ａ 三次元眼球モデル画像
３０Ｂ 三次元眼球モデル画像
６１ 内視鏡撮像画像
６２ 眼球マップ画像
６３ 内視鏡視点マップ画像
１４４ 画像生成部
１４５ 表示制御部
３００ 三次元モデル画像
３ 被術者
１２ 内視鏡
１３ 操作部
１７ アーム部
２１ ホルダ
３０ 眼球
３０Ａ 三次元眼球モデル画像
３０Ｂ 三次元眼球モデル画像
６１ 内視鏡撮像画像
６２ 眼球マップ画像
６３ 内視鏡視点マップ画像
１４４ 画像生成部
１４５ 表示制御部
３００ 三次元モデル画像
Claims (4)
- 内視鏡を保持するためのホルダを有し、前記ホルダで前記内視鏡を保持した状態で前記内視鏡の位置を調節するアーム部と、
前記ホルダに保持された前記内視鏡の視点による被術者の三次元モデルの画像である内視鏡視点マップ画像を生成する画像生成部と、
前記内視鏡視点マップ画像と、前記内視鏡により撮像した内視鏡撮像画像との表示制御を行う表示制御部と、
前記内視鏡撮像画像を回転させるための操作部と、
を備え、
前記操作部の操作に応じて、前記内視鏡の位置変位を生じさせずに表示されている前記内視鏡撮像画像を回転させるとともに、該回転に連動して前記内視鏡視点マップ画像を回転させる
手術支援装置。 - 前記内視鏡視点マップ画像の回転は、前記内視鏡を示す画像の位置を固定した状態で行われる
請求項１に記載の手術支援装置。 - 前記表示制御部は、前記内視鏡視点マップ画像と前記内視鏡撮像画像とを同一画面内に表示させる
請求項１又は請求項２に記載の手術支援装置。 - 前記表示制御部は、三次元眼球モデル上で前記内視鏡の位置を示す眼球マップ画像と、前記内視鏡視点マップ画像とを同一画面内に表示させる
請求項１から請求項３の何れかに記載の手術支援装置。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2020/040231 WO2022091210A1 (ja) | 2020-10-27 | 2020-10-27 | 手術支援装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6993043B1 true JP6993043B1 (ja) | 2022-01-13 |
| JPWO2022091210A1 JPWO2022091210A1 (ja) | 2022-05-05 |
Family
ID=80213773
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021558994A Active JP6993043B1 (ja) | 2020-10-27 | 2020-10-27 | 手術支援装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20230255452A1 (ja) |
| EP (1) | EP4179954B1 (ja) |
| JP (1) | JP6993043B1 (ja) |
| CN (1) | CN115697178B (ja) |
| WO (1) | WO2022091210A1 (ja) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11309A (ja) * | 1997-06-12 | 1999-01-06 | Hitachi Ltd | 画像処理装置 |
| JP2008262555A (ja) * | 2007-03-20 | 2008-10-30 | National Univ Corp Shizuoka Univ | 形状情報処理方法、形状情報処理装置及び形状情報処理プログラム |
| WO2017169823A1 (ja) * | 2016-03-30 | 2017-10-05 | ソニー株式会社 | 画像処理装置および方法、手術システム並びに手術用部材 |
| WO2018088107A1 (ja) * | 2016-11-10 | 2018-05-17 | ソニー株式会社 | 内視鏡システムの制御装置及び内視鏡システムの制御方法 |
| WO2019212018A1 (ja) * | 2018-05-02 | 2019-11-07 | 国立大学法人東京工業大学 | 眼内手術用器具ホルダ |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7037258B2 (en) * | 1999-09-24 | 2006-05-02 | Karl Storz Imaging, Inc. | Image orientation for endoscopic video displays |
| JP4472085B2 (ja) * | 2000-01-26 | 2010-06-02 | オリンパス株式会社 | 手術用ナビゲーションシステム |
| JP2004105539A (ja) * | 2002-09-19 | 2004-04-08 | Hitachi Ltd | カメラを用いた手術システムにおける画像表示方法および手術支援装置 |
| JP4855926B2 (ja) * | 2003-06-03 | 2012-01-18 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 旋回３次元超音波表示の振動対象との同期化 |
| JP4868959B2 (ja) * | 2006-06-29 | 2012-02-01 | オリンパスメディカルシステムズ株式会社 | 体腔内プローブ装置 |
| JP6242569B2 (ja) * | 2011-08-25 | 2017-12-06 | 東芝メディカルシステムズ株式会社 | 医用画像表示装置及びｘ線診断装置 |
| CN202723822U (zh) * | 2012-08-30 | 2013-02-13 | 三维医疗科技江苏股份有限公司 | 一种光电一体化三维立体***镜 |
| CN102999902B (zh) * | 2012-11-13 | 2016-12-21 | 上海交通大学医学院附属瑞金医院 | 基于ct配准结果的光学导航定位导航方法 |
| CN110769731B (zh) * | 2017-06-15 | 2022-02-25 | 奥林巴斯株式会社 | 内窥镜***、内窥镜用处理***、图像处理方法 |
| CN108542351A (zh) * | 2018-01-26 | 2018-09-18 | 徐州云联医疗科技有限公司 | 一种医学影像断层图像与三维解剖图像的同步显示*** |
| CN111000631B (zh) * | 2019-12-17 | 2021-04-06 | 上海嘉奥信息科技发展有限公司 | 基于Unity3D体渲染的内窥镜模拟方法及*** |
| CN111281540B (zh) * | 2020-03-09 | 2021-06-04 | 北京航空航天大学 | 基于虚实融合的骨科微创术中实时可视化导航*** |
| CN111466952B (zh) * | 2020-04-26 | 2023-03-31 | 首都医科大学附属北京朝阳医院 | 一种超声内镜与ct三维图像实时转化方法和*** |
-
2020
- 2020-10-27 EP EP20959728.5A patent/EP4179954B1/en active Active
- 2020-10-27 JP JP2021558994A patent/JP6993043B1/ja active Active
- 2020-10-27 WO PCT/JP2020/040231 patent/WO2022091210A1/ja unknown
- 2020-10-27 CN CN202080101148.8A patent/CN115697178B/zh active Active
-
2023
- 2023-04-25 US US18/306,424 patent/US20230255452A1/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11309A (ja) * | 1997-06-12 | 1999-01-06 | Hitachi Ltd | 画像処理装置 |
| JP2008262555A (ja) * | 2007-03-20 | 2008-10-30 | National Univ Corp Shizuoka Univ | 形状情報処理方法、形状情報処理装置及び形状情報処理プログラム |
| WO2017169823A1 (ja) * | 2016-03-30 | 2017-10-05 | ソニー株式会社 | 画像処理装置および方法、手術システム並びに手術用部材 |
| WO2018088107A1 (ja) * | 2016-11-10 | 2018-05-17 | ソニー株式会社 | 内視鏡システムの制御装置及び内視鏡システムの制御方法 |
| WO2019212018A1 (ja) * | 2018-05-02 | 2019-11-07 | 国立大学法人東京工業大学 | 眼内手術用器具ホルダ |
Also Published As
| Publication number | Publication date |
|---|---|
| EP4179954A4 (en) | 2023-08-30 |
| EP4179954B1 (en) | 2024-08-14 |
| WO2022091210A1 (ja) | 2022-05-05 |
| CN115697178A (zh) | 2023-02-03 |
| CN115697178B (zh) | 2024-05-10 |
| US20230255452A1 (en) | 2023-08-17 |
| EP4179954A1 (en) | 2023-05-17 |
| JPWO2022091210A1 (ja) | 2022-05-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6891244B2 (ja) | 視線追跡を使用する医療装置、システム、及び方法 | |
| WO2020045015A1 (ja) | 医療システム、情報処理装置及び情報処理方法 | |
| JP6819223B2 (ja) | 眼科情報処理装置、眼科情報処理プログラム、および眼科手術システム | |
| US20220413293A1 (en) | Systems and methods for superimposing virtual image on real-time image | |
| JPWO2018179681A1 (ja) | 医療用観察装置及び観察視野補正方法 | |
| JP2018075674A (ja) | 関節駆動用アクチュエータ | |
| US20230310098A1 (en) | Surgery assistance device | |
| US20190154953A1 (en) | Control apparatus, control system, and control method | |
| WO2020203225A1 (ja) | 医療システム、情報処理装置及び情報処理方法 | |
| JP6993043B1 (ja) | 手術支援装置 | |
| KR102169674B1 (ko) | 혼합 현실 안저카메라 | |
| JP7029216B1 (ja) | 手術支援装置 | |
| JP2018051208A (ja) | 眼科情報処理装置、眼科情報処理プログラム、および眼科情報処理システム | |
| KR20140009847A (ko) | 안과용 장치 및 이의 치료위치 측정방법 | |
| US20230222740A1 (en) | Medical image processing system, surgical image control device, and surgical image control method | |
| JP2021003530A (ja) | 医療用観察システム、制御装置及び制御方法 | |
| JP7322357B2 (ja) | 眼科装置及び眼科システム | |
| WO2020045014A1 (ja) | 医療システム、情報処理装置及び情報処理方法 | |
| JP7377331B2 (ja) | 眼科装置 | |
| US20240164706A1 (en) | In-vivo observation system, observation system, in-vivo observation method, and in-vivo observation device | |
| JP7216562B2 (ja) | 眼科装置 | |
| JP7166080B2 (ja) | 眼科装置 | |
| JP2023142781A (ja) | 眼科システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211001 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20211001 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211124 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211202 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6993043 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |