JP5919533B2 - 内視鏡およびこれを備えた内視鏡システム - Google Patents

内視鏡およびこれを備えた内視鏡システム Download PDF

Info

Publication number
JP5919533B2
JP5919533B2 JP2011274219A JP2011274219A JP5919533B2 JP 5919533 B2 JP5919533 B2 JP 5919533B2 JP 2011274219 A JP2011274219 A JP 2011274219A JP 2011274219 A JP2011274219 A JP 2011274219A JP 5919533 B2 JP5919533 B2 JP 5919533B2
Authority
JP
Japan
Prior art keywords
imaging
imaging unit
image
unit
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011274219A
Other languages
English (en)
Other versions
JP2013123558A (ja
Inventor
章吾 田中
章吾 田中
河野 治彦
治彦 河野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2011274219A priority Critical patent/JP5919533B2/ja
Priority to US14/364,368 priority patent/US20140350338A1/en
Priority to PCT/JP2012/007934 priority patent/WO2013088709A1/ja
Publication of JP2013123558A publication Critical patent/JP2013123558A/ja
Application granted granted Critical
Publication of JP5919533B2 publication Critical patent/JP5919533B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096Optical elements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00174Optical arrangements characterised by the viewing angles
    • A61B1/00183Optical arrangements characterised by the viewing angles for variable viewing angles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00193Optical arrangements adapted for stereoscopic vision
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00194Optical arrangements adapted for three-dimensional imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2415Stereoscopic endoscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2423Optical details of the distal end
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2461Illumination
    • G02B23/2469Illumination using optical fibres
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Description

本発明は、外部から直接観察できない観察対象の内部を撮像する内視鏡およびこれを備えた内視鏡システムに関し、特に、通常の2次元表示とともに3次元表示にも対応した内視鏡およびこれを備えた内視鏡システムに関するものである。
医療における手術や検査の際に人の体内の臓器などを観察するために内視鏡が広く用いられている。このような内視鏡には、体内に挿入される挿入部の先端部に撮像部を設け、この撮像部で撮像された画像をモニターに表示させるようにしたものがあるが、撮像部を2つ設けて、3次元モニターを用いて画像を3次元表示するようにすると、臓器などの被写体を立体的に観察することができるため、手術や検査の効率を向上させることができる。
このような3次元表示を可能にした内視鏡として、広角な撮像部と狭角な撮像部とを備え、広角な撮像部により取得した画像を用いて2次元表示を行うとともに、広角な撮像部および狭角な撮像部により取得した画像を用いて3次元表示を行うようにした技術が知られている(特許文献1参照)。この技術では、3次元表示された画像で、手術部位を詳細にかつ立体的に観察することができ、2次元表示された画像で、手術部位の周辺の広い範囲を観察することができる。
特開平9−005643号公報
さて、前記従来の技術では、広角な撮像部による撮像画像から、狭角な撮像部の撮像領域に対応した領域を切り出し、これにより得られた切り出し画像と、狭角な撮像部による撮像画像とから、3次元画像、すなわち3次元表示する際に左右の目で見る2つの画像を生成するようにしているが、内視鏡を動かすことで撮像部から被写体までの距離が変化すると、2つの撮像部の撮像領域の位置関係が変化するため、3次元画像の生成に用いる2つの画像に写った被写体の領域がずれて、適切な3次元画像を生成することができないという問題があった。
また、前記従来の技術では、広角な撮像部による撮像画像を、画素を補間する処理により拡大した上で、狭角な撮像部の撮像領域に対応した領域を切り出すことで、狭角な撮像部による撮像画像と同じ大きさとなるようにしている。このため、3次元表示する際に左右の目で見る2つの画像の実解像度が大きく異なる状態となり、このような画像を長時間見続けると疲労が進むため、長時間にわたる手術に用いることは望ましくないという問題があった。
本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、被写体までの距離が異なる場合でも、2つの撮像部の撮像領域の位置関係を一定に保持することができ、また、画像を3次元表示する際に、左右の目で見る2つの画像の実解像度が大きく異なることを避けることができるように構成された内視鏡およびこれを備えた内視鏡システムを提供することにある。
本発明の内視鏡は、観察対象の内部に挿入される挿入部と、この挿入部の先端部に並べて設けられた第1の撮像部および第2の撮像部と、この第1の撮像部および第2の撮像部による撮像画像から3次元画像を生成する画像処理部と、を備え、前記第1の撮像部は、その第1の撮像部および前記第2の撮像部の配列方向に沿って撮像領域を移動させることができるように、光軸の傾斜角度を変更可能に設けられ、さらに、前記第1の撮像部の撮像領域と前記第2の撮像部の撮像領域とが所定の位置関係となるように前記第1の撮像部の光軸の傾斜角度を制御する制御部を備え、この制御部は、前記第1の撮像画像と前記第2の撮像画像とを比較して、前記第1の撮像部の撮像領域と前記第2の撮像部の撮像領域との位置関係を検出し、この検出結果に基づいて前記第1の撮像部の光軸の傾斜角度を制御する構成とする。
また、本発明の内視鏡システムは、前記の内視鏡と、画像を2次元表示する第1の表示装置と、画像を3次元表示する第2の表示装置と、前記内視鏡から出力される2次元画像データおよび3次元画像データに基づいて前記第1の表示装置および前記第2の表示装置に画像を同時に表示させる表示制御装置と、を備えた構成とする。
本発明によれば、第1の撮像部の光軸の傾斜角度を変化させることで、2つの撮像部の配列方向に第1の撮像部の撮像領域を移動させることができ、これにより、被写体までの距離が異なる場合でも、2つの撮像部の撮像領域の位置関係を一定に保持することができる。このため、被写体との距離に関係なく、常に適切な3次元画像を得ることができる。さらに、第1の撮像部の撮像領域と第2の撮像部の撮像領域との位置合わせの作業が不要となり、使い勝手が向上する。その上、センサなどを特別に設けることなく、2つの撮像部の撮像領域の位置関係を検出することができるため、構成を複雑にすることなく、第1の撮像部の光軸の傾斜角度を適切に制御することができる。
第1実施形態に係る内視鏡システムを示す全体構成図 挿入部11の先端部12を示す断面図 挿入部11の先端部12を示す正面図 第1の撮像部13の光軸の傾斜角度を変更する角度調整機構16を示す模式的な側面図 角度調整機構16を駆動する制御系の概略構成を示すブロック図 撮像制御部26の概略構成を示すブロック図 撮像制御部26における画像の処理状況を示す説明図 2つの撮像部13,14の各撮像領域A1,A2の状況を模式的に示す側面図および平面図 被写体距離が変化する場合の撮像領域A1,A2の状況を模式的に示す側面図および平面図 第2実施形態に係る内視鏡における撮像制御部26のブロック図 撮像位置検出部62での撮像領域A1,A2の位置関係を求める要領を説明する模式的な側面図および平面図 第1の撮像部13の光軸傾斜角度θに応じた距離XL,XRの変化状況をグラフで示す説明図 第3実施形態に係る内視鏡の要部を示す斜視図
前記課題を解決するためになされた第1の発明は、観察対象の内部に挿入される挿入部と、この挿入部の先端部に並べて設けられた第1の撮像部および第2の撮像部と、この第1の撮像部および第2の撮像部による撮像画像から3次元画像を生成する画像処理部と、を備え、前記第1の撮像部は、その第1の撮像部および前記第2の撮像部の配列方向に沿って撮像領域を移動させることができるように、光軸の傾斜角度を変更可能に設けられた構成とする。
これによると、第1の撮像部の光軸の傾斜角度を変化させることで、2つの撮像部の配列方向に第1の撮像部の撮像領域を移動させることができ、これにより、被写体までの距離が異なる場合でも、2つの撮像部の撮像領域の位置関係を一定に保持することができる。このため、被写体との距離に関係なく、常に適切な3次元画像を得ることができる。
また、第2の発明は、前記第1の撮像部の光軸の傾斜角度を変更する操作をユーザーが行う角度操作部と、この角度操作部の操作に応じて前記第1の撮像部の光軸の傾斜角度を変更する角度調整機構と、をさらに備えた構成とする。
これによると、使用中、すなわち挿入部を観察対象の内部に挿入した状態で、被写体までの距離が変化するのに応じて、第1の撮像部の光軸の傾斜角度を変更することができるため、利便性が向上する。
また、第3の発明は、前記第1の撮像部は、広角な光学系を有し、前記第2の撮像部は、狭角な光学系を有し、前記画像処理部は、前記第1の撮像部により取得した第1の撮像画像から2次元画像を生成するとともに、前記第2の撮像部の撮像領域に対応する領域を前記第1の撮像画像から切り出して得られた切り出し画像と、前記第2の撮像部により取得した第2の撮像画像とから3次元画像を生成する構成とする。
これによると、広角な光学系を有する第1の撮像部が被写体の広い領域を撮像し、この第1の撮像部による撮像画像が2次元表示に供される。この2次元表示された画像では、被写体の広い範囲を観察することができ、特に、これを手術の際に補助者や研修者が見ることで、手術部位の周辺を広く観察することができるため、手術の補助および研修の効果を高めることができる。一方、狭角な光学系を有する第2の撮像部が被写体の狭い領域を撮像し、この第2の撮像部による撮像画像と切り出し画像とが3次元表示に供される。この3次元表示された画像では、被写体を詳細にかつ立体的に観察することができる。特に、これを手術の際に術者が見ることで、手術部位を立体的に認識して、手術の能率を高めることができる。
特に、第1の撮像部が被写体の広い領域を撮像するとともに、この第1の撮像部の光軸の傾斜角度を変更することで撮像領域を移動させることができるため、被写体をより一層広く観察することができる。特に、第1の撮像部の撮像領域に第2の撮像部の撮像領域が含まれる範囲内で、第1の撮像部の撮像領域を移動させれば、3次元画像に変化は現れないため、手術の際には、術者が見る3次元画像の表示領域を動かすことなく、補助者や研修者の必要に応じて2次元画像の表示領域を自由に動かすことができる。
また、第4の発明は、前記第1の撮像部は、高解像度な撮像素子を有し、前記第2の撮像部は、低解像度な撮像素子を有する構成とする。
これによると、広角な光学系を有する第1の撮像部が高解像度な撮像素子を有するため、被写体の広い領域を高精細に観察することができる。また、第2の撮像部が低解像度な撮像素子を有することから小型となるため、挿入部の先端部の外径を小さくすることができる。また、第1の撮像部が高解像度な撮像素子を有することから大型となるため、挿入部の先端部の外径を大きくすることなく、角度調整機構を容易に設けることができる。
また、第5の発明は、前記第1の撮像部および前記第2の撮像部は、前記切り出し画像と前記第2の撮像画像とが略同一の画素数となるように設定された構成とする。
これによると、画像を3次元表示する際に、左右の目で見る2つの画像の実解像度が略等しくなる。このため、3次元表示された画像を長時間見続けた際に生じる疲労を軽減することができる。
また、第6の発明は、前記第1の撮像部の撮像領域と前記第2の撮像部の撮像領域とが所定の位置関係となるように前記第1の撮像部の光軸の傾斜角度を制御する制御部をさらに備えた構成とする。
これによると、第1の撮像部の撮像領域と第2の撮像部の撮像領域との位置合わせの作業が不要となり、使い勝手が向上する。
また、第7の発明は、前記制御部は、前記第1の撮像画像と前記第2の撮像画像とを比較して、前記第1の撮像部の撮像領域と前記第2の撮像部の撮像領域との位置関係を検出し、この検出結果に基づいて前記第1の撮像部の光軸の傾斜角度を制御する構成とする。
これによると、センサなどを特別に設けることなく、2つの撮像部の撮像領域の位置関係を検出することができるため、構成を複雑にすることなく、第1の撮像部の光軸の傾斜角度を適切に制御することができる。
また、第8の発明は、観察対象の内部に挿入される挿入部と、この挿入部の先端部に並べて設けられた第1の撮像部および第2の撮像部と、この第1の撮像部および第2の撮像部による撮像画像から3次元画像を生成する画像処理部と、を備え、前記第1の撮像部は、広角な光学系と、高解像度な撮像素子と、を有し、前記第2の撮像部は、狭角な光学系と、低解像度な撮像素子と、を有し、前記画像処理部は、前記第1の撮像部により取得した第1の撮像画像から2次元画像を生成するとともに、前記第2の撮像部の撮像領域に対応する領域を前記第1の撮像画像から切り出して得られた切り出し画像と、前記第2の撮像部により取得した第2の撮像画像とから3次元画像を生成し、前記第1の撮像部および前記第2の撮像部は、前記切り出し画像と前記第2の撮像画像とが略同一の画素数となるように設定された構成とする。
これによると、画像を3次元表示する際に、左右の目で見る2つの画像の実解像度が略等しくなる。このため、3次元表示された画像を長時間見続けた際に生じる疲労を軽減することができる。
また、第9の発明は、前記の内視鏡と、画像を2次元表示する第1の表示装置と、画像を3次元表示する第2の表示装置と、前記内視鏡から出力される2次元画像データおよび3次元画像データに基づいて前記第1の表示装置および前記第2の表示装置に画像を同時に表示させる表示制御装置と、を備えた構成とする。
これによると、手術の際に、画像が3次元表示された第2の表示装置の画面を術者が見ることで、手術部位を立体的に認識することができるため、手術の能率を高めることができ、これと同時に、画像が2次元表示された第1の表示装置の画面を補助者や研修者が見ることで、手術の補助および研修の効果を高めることができる。
以下、本発明の実施の形態を、図面を参照しながら説明する。
(第1実施形態)
図1は、第1実施形態に係る内視鏡システムを示す全体構成図である。この内視鏡システムは、人の身体(観察対象)の内部の臓器などの被写体を撮像するために身体の内部に挿入される内視鏡1と、画像を2次元表示する2次元モニター(第1の表示装置)2と、画像を3次元表示する3次元モニター(第2の表示装置)3と、2次元モニター2および3次元モニター3の画像表示を制御するコントローラ(表示制御装置)4と、を有している。
内視鏡1は、いわゆる硬性内視鏡であり、身体の内部に挿入される挿入部11が屈曲不能となっている。この挿入部11の先端部12には、被写体を撮像する第1の撮像部13と第2の撮像部14とが並べて設けられている。第1の撮像部13は、光軸の傾斜角度を変更可能に設けられており、挿入部11には、第1の撮像部13の光軸の傾斜角度を変更する角度調整機構16が設けられている。また、挿入部11の先端部12には、被写体を照明する照明部15が設けられている。
挿入部11の先端部12と相反する側には、本体部17が設けられている。この本体部17には、角度調整機構16を駆動する2つの電動モータ18,19と、照明部15に照明光を送る光源20と、撮像部13,14、電動モータ18,19および光源20を制御する制御部21と、を有している。光源20は、LEDなどからなり、照明部15と光ファイバーケーブル22で接続されており、光源20が発する光が光ファイバーケーブル22を通って照明部15から出射される。
制御部21は、電動モータ18,19を制御して第1の撮像部13の光軸の傾斜角度を変更する角度制御部25と、2つの撮像部13,14を制御するともにその撮像部13,14から出力される撮像画像を処理する撮像制御部26と、光源20を制御する照明制御部27と、を有している。
制御部21には、角度操作部28が接続されている。この角度操作部28は、ユーザーが第1の撮像部13の光軸の傾斜角度を変更する操作を行うものであり、ジョイスティックやトラックボール等の位置入力装置で構成されており、この角度操作部28の操作に応じて第1の撮像部13の光軸の傾斜角度が変更される。
コントローラ4は、内視鏡1から出力される2次元画像データおよび3次元画像データに基づいて2次元モニター2および3次元モニター3に表示制御データを出力するものであり、2次元モニター2および3次元モニター3にそれぞれ2次元画像および3次元画像が同時に表示され、被写体を2次元的および3次元的に観察することができるようになっている。
2次元モニター2および3次元モニター3は、例えば液晶ディスプレイで構成され、2次元モニター2は、手術の際に補助者や研修者などの多数の人が見るために大画面となっており、3次元モニター3は、手術の際に術者などの少数の人が見るために小画面となっている。特に3次元モニター3は術者の使用を考慮するとHMD(Head Mounted Display)を採用してもよい。
図2は、挿入部11の先端部12を示す断面図である。なお、この図2などに示すX方向、Y方向およびZ方向は互いに直交する3方向である。
挿入部11の先端部12では、円筒状のカバー31の内部に第1の撮像部13および第2の撮像部14が収容されている。第1の撮像部13は、撮像素子33と、複数のレンズからなる光学系34と、これらを保持するホルダ35と、を有している。この第1の撮像部13のホルダ35は、カバー31に回動可能に保持されている。第1の撮像部13の前面側にはカバーガラス36が設けられている。第2の撮像部14は、撮像素子37と、複数のレンズからなる光学系38と、これらを保持するホルダ39と、を有している。第2の撮像部14の前面側にはカバーガラス40が設けられている。
第1の撮像部13の光学系34は広角に構成され、第2の撮像部14の光学系38は狭角に構成されている。例えば第1の撮像部13では画角(Field of View)が150度、第2の撮像部14では画角が50度となっている。
第1の撮像部13の撮像素子33は高解像度(高画素数)に構成され、第2の撮像部14の撮像素子37は低解像度(低画素数)に構成されている。例えば第1の撮像部13では解像度(画素数)が1920×1080(FullHD)、第2の撮像部14では解像度(画素数)が320×240(QVGA)となっている。各撮像素子33,37は、例えばCMOS(Complementary Metal Oxide Semiconductor)で構成されている。
このように第2の撮像部14の撮像素子37を低解像度に構成することで、第2の撮像部14が小型となるため、挿入部11の先端部12の外径を小さくすることができる。また、第1の撮像部13の撮像素子33を高解像度に構成することで、第1の撮像部13が大型となるため、挿入部11の先端部12の外径を大きくすることなく、角度調整機構16を容易に設けることができる。
図3は、挿入部11の先端部12を示す正面図である。第1の撮像部13および第2の撮像部14はX方向に並べて設けられている。照明部15は第2の撮像部14の両側に2つ設けられている。
図4は、第1の撮像部13の光軸の傾斜角度を変更する角度調整機構16を示す模式的な側面図であり、図4(A)にY方向から見た状態を、図4(B)にX方向から見た状態を、それぞれ示す。なお、ここでは、挿入部11の先端部12側を前側、本体部17側を後側として説明する(図1参照)。
角度調整機構16は、第1の撮像部13のホルダ35に前端が連結された4本の中継ロッド41a〜41dと、この4本の中継ロッド41a〜41dの後端が連結された中継部材42と、この中継部材42をその中心部を中心にして傾動可能に支持する支持シャフト43と、この支持シャフト43を支持するガイド部材44と、中継部材42に前端が連結された2本の駆動ロッド45a,45bと、中継部材42に前端が連結されるとともにガイド部材44に後端が連結された2つのばね46a,46bと、を有している。
4本の中継ロッド41a〜41dは、挿入部11の長手方向(Z方向)に延在する態様で互いに平行に配置されるとともに、第1の撮像部13の光軸に一致する中心線を中心とした周方向に等間隔(90度)をおいて配置されており、2本の中継ロッド41a,41bがX方向に並び、2本の中継ロッド41c,41dがY方向に並ぶ。
支持シャフト43は球面部47を有し、中継部材42の中心部には、球面部47と相互補完的な球面をなす受け部48が形成されており、中継部材42が球面部47の中心を中心にして回動する。この中継部材42の回動運動は中継ロッド41a〜41dを介して第1の撮像部13に伝達され、中継部材42の回動に応じて第1の撮像部13が回動する。
2本の駆動ロッド45a,45bは、挿入部11の長手方向(Z方向)に延在する態様で互いに平行に配置されるとともに、2本の中継ロッド41a,41cの延長線上に概ね位置するように配置されている。また、この2本の駆動ロッド45a,45bは、ガイド部材44の貫通孔49に挿通されており、各駆動ロッド45a,45bの後端はそれぞれ電動モータ18,19に連結されており(図1参照)、各駆動ロッド45a,45bが独立して電動モータ18,19により長手方向に進退するように駆動される。
2つのばね46a,46bは、2本の駆動ロッド45a,45bの各々と対をなし、第1のばね46aと第1の駆動ロッド45aとがX方向に並び、第2のばね46bと第2の駆動ロッド45bとがY方向に並ぶ。この2つのばね46a,46bは、引張状態で中継部材42およびガイド部材44に取り付けられており、各ばね46a,46bが連結された中継部材42の部分を後方に付勢する。
このばね46a,46bの付勢力は、各駆動ロッド45a,45bを前方に引くように作用し、各駆動ロッド45a,45bの移動が電動モータ18,19により拘束されることで、中継部材42が支持シャフト43の球面部47に当接した状態に保持される。電動モータ18,19により各ばね46a,46bの付勢力に抗して各駆動ロッド45a,45bを後方に移動させると中継部材42が回動し、また、各駆動ロッド45a,45bを前方に移動させると中継部材42が逆向きに回動する。
以上のように構成された角度調整機構16では、図4(A)に示すように、電動モータ18,19の一方により第1の駆動ロッド45aを前後に移動させると、中継部材42の回動に応じて第1の撮像部13がY方向の軸周りに回動し、図4(B)に示すように、電動モータ18,19の他方により第2の駆動ロッド45bを前後に移動させると、第1の撮像部13がX方向の軸周りに回動する。このように第1の撮像部13はX方向およびY方向の仮想的な2軸周りに回動して、第1の撮像部13の光軸の傾斜角度を任意の方向に変化させることができる。
図5は、角度調整機構16を駆動する制御系の概略構成を示すブロック図である。制御部21の角度制御部25は、2つの電動モータ18,19をそれぞれ制御する2つのモータコントローラ51,52を有し、各モータコントローラ51,52は制御信号をモータドライバ53,54に出力して各電動モータ18,19を駆動する。2つの電動モータ18,19はそれぞれ、図4に示した2本の駆動ロッド45a,45bに連結されており、第1の撮像部13のX方向およびY方向の2軸周りの回動位置が個別に制御される。
また、図5に示したように、角度制御部25には、2つの原点センサ55,56の検出信号と、角度操作部28の操作信号が入力される。原点センサ55,56は、各電動モータ18,19の出力軸の原点位置をそれぞれ検出するものである。角度制御部25のモータコントローラ51,52では、原点センサ55,56の検出信号と角度操作部28の操作信号に基づいて、2つの電動モータ18,19の回転方向および回転量が制御される。
なお、2つの原点センサ55,56で検出される各電動モータ18,19の出力軸の原点位置は、図2に示したように、挿入部11の長手方向(Z方向)に平行となる第2の撮像部14の光軸に対して、第1の撮像部13の光軸が平行となる初期位置に対応し、ステッピングモータで構成される電動モータ18,19の駆動パルス数に基づいて、初期位置を基準にした第1の撮像部13の回動位置、すなわち光軸の傾斜角度を制御することができる。
さて、上述の例では、本体部17の角度制御部25に設けられたX(Y)原点センサ55(56)で撮像部13の回動原点を検出し、その後に電動モータ18,19に印加されたパルス数をもって相対的に回転角度を検出するが、この構成はいわゆるオープンループであり、一般に駆動源と制御対象の間の機構要素が複雑であるほど実質的な検出精度が低下する。このように検出精度が問題となる場合は、例えば図4(A)に示すように回動可能に構成された第1の撮像部13の底部に磁石91と、これに対向して例えばホール素子で構成される磁気センサ92を設け、当該磁気センサ92の出力に基づいて回転角度を検出するとよい。この構成によれば、X(Y)原点センサ55(56)で原点を検出した際の磁気センサ92の出力によって原点の初期化を行い、この後の磁気センサ92の相対的な出力変化に基づいて回転角度を求めることができる。また回転方向は、電動モータ18,19に出力する制御パルスによって一意に定まる。この構成によって制御対象のごく近傍に配置された検出系に基づいてフィードバックループが形成されるため、回転角度を極めて高精度に検出でき、更に検出した回転角度に基づいて正確な位置決めをすることができる。
図6は、撮像制御部26の概略構成を示すブロック図である。撮像制御部26は、画像信号処理部61と、撮像位置検出部62と、画像切出部63と、2次元画像処理部64と、3次元画像処理部65と、を有している。
画像信号処理部61は、いわゆるISP(Imaging Signal Processor)で構成され、ノイズリダクション、色補正、γ補正などの前処理を実行する2つの前処理部66,67を有する。この2つの前処理部66,67では、2つの撮像部13,14から出力される画像信号が並行して処理されて、第1の撮像画像および第2の撮像画像が出力される。また、この画像信号処理部61は、2つの撮像部13,14を同期して動作させる機能も有する。
撮像位置検出部62では、第1の撮像画像と第2の撮像画像とを比較して、第1の撮像部13の撮像領域と第2の撮像部14の撮像領域との位置関係を検出する処理が行われる。ここでは、例えば第1の撮像画像および第2の撮像画像でそれぞれ特徴点を抽出して、その特徴点の対応関係から、第1の撮像画像および第2の撮像画像にそれぞれに写った被写体の像が整合する位置を求める。
画像切出部63では、撮像位置検出部62で検出された2つの撮像領域の位置関係に基づいて、狭角な光学系38でかつ低画素数の撮像素子37を備える第2の撮像部14の撮像領域に対応する領域を、広角な光学系34でかつ高画素数の撮像素子33を備える第1の撮像画像から切り出す処理が行われる。これにより、画像切出部63で得られた切り出し画像と第2の撮像画像とは、被写体の同一の領域が写ったものとなる。
2次元画像処理部64は、第1の撮像画像を処理して2次元画像を出力するものであり、2次元画像生成部68と後処理部69とを有している。3次元画像処理部65は、第2の撮像画像と画像切出部63から出力される切り出し画像とを処理して3次元画像を出力するものであり、2つのキャリブレーション部71,72と3次元画像生成部73と後処理部74とを有している。2次元画像処理部64および3次元画像処理部65では処理が並行して行われ、また、コントローラ4でも2つの画処理部75,76で処理が並行して行われ、2次元画像および3次元画像が2次元モニター2および3次元モニター3に同時に表示される。
3次元画像生成部65では、右目用画像および左目用画像からなる3次元画像を生成する処理が行われ、切り出し画像および第2の撮像画像の一方が右目用画像となり、他方が左目用画像となる。
さて、一般に立体視の技術においてキャリブレーションというときは、基準画像を特定の撮像条件(被写体までの距離や明るさ等を一定にした条件)で撮像した結果に基づき、画像回転や倍率誤差を補正するパラメータを算出しておき、このパラメータに基づく固定的な処理を指すことが多いが、キャリブレーション部71,72では、3次元画像を左右の目で見たときに違和感を生じないように2つの画像を調整する処理が行われる。即ち、キャリブレーション部71,72は、少なくとも一方の画像に対して拡大又は縮小処理を行なうことで左右2つの画像サイズ(主・副走査方向の画素数)を同一にするリサイズ処理、左右2つの画像のうち少なくとも一方に対して行なう3次元軸(X軸,Y軸,Z軸)方向へのシフト及びこれら3軸周りの回転処理、撮像部の光軸が交差する撮像系(交差法)において生じるキーストン歪の補正処理等をリアルタイムで実行する。
なお、撮像制御部26では2次元画像および3次元画像が所定のフレームレートで動画として出力されるが、静止画として出力することも可能であり、この場合、複数のフレーム画像から元の解像度より高い解像度の静止画を生成する超解像処理を行うようにしてもよい。
図7は、撮像制御部26における画像の処理状況を示す説明図である。本実施形態では、画像切出部63で第1の撮像画像から切り出す画像と第2の撮像画像の画素数は完全同一(例として320×240画素)とされている。そして画像サイズを同一としたときに切り出し画像と第2の撮像画像とで、倍率(即ち、画面の主・副走査方向サイズに対して被写体が占める長さ)が略同一となるように、2つの撮像部13,14の撮像素子33,37の光軸方向における位置関係および光学系34,38の倍率等が設定されている(図2参照)。
しかしながら、実際の倍率調整等には不完全性が伴う。従って、上述のように二つの画像のサイズを同一とすると、画像切出部63で第2の撮像画像に対応する領域を切出した場合に画像の倍率が異なることがある。このときキャリブレーション部71,72によって、少なくとも一方の画像がリサイズされるが、いずれの画像も同一サイズ(320×240画素)であるから、それぞれの画像に含まれる同一の特徴点の距離に基づいて拡大率を算出し、倍率が小さい画像を大きい方の画像に合わせて拡大処理し、更に拡大処理で発生した余分な周辺領域を除去することで、画像サイズを一定(320×240画素)に維持すればよい。
なお、光学系の調整不備等に起因して二つの画像の倍率が異なることで、対応する領域を切出そうとすると、結果的に画像サイズが異なることがある。この場合は、画像切出部63において、第1の撮像画像から第2の撮像画像に対応する領域を切出す際に、切出す画素数と第2の撮像画像の画素数とが異なるようにしてもよい。このときキャリブレーション部71,72によって、少なくとも一方の画像がリサイズされるが、切出す画像が320×240画素よりも大きい場合は、二つの画像の同一特徴点の位置に基づき縮小率を算出した上で切出した画像を縮小処理する。これによって画像サイズを一定に維持するとともに、解像度の劣化を防止できる。一方、切出した画像が320×240画素よりも小さい場合は、同様に、切出した画像を拡大処理する。これによって画像サイズを一定に維持することができる。
第1の撮像画像および第2の撮像画像の画素数は、2つの撮像部13,14の各撮像素子33,37の解像度に依存し、切り出し画像の画素数は、第1の撮像部13の光学系34の画角や倍率、撮像素子33の画素の大きさに依存し、これらの条件を適切に設定することで、理論上は切り出し画像と第2の撮像画像とが略同一の画素数となるようにすることができる。
ここで、撮像素子33,37の画素の大きさや光学系34,38の倍率を同一として簡略化した具体例を説明する。前記のように、第1の撮像部13では、画素数が1920×1080となる撮像素子33を用い、第2の撮像部14では、画素数が320×240となる撮像素子37を用いた場合、同一の被写体に対して第1の撮像部13で撮像領域が192mm×108mmとなるときに、第2の撮像部14で撮像領域が32mm×24mmとなるように、2つの撮像部13,14の光学系34,38の画角を設定する。具体的には、第1の撮像部13と第2の撮像部14の光軸方向の位置関係や、光学系と撮像素子33,37の位置関係を調整する。これにより、画像サイズを撮像領域と同一とすると、第1の撮像画像および第2の撮像画像では、1つの画素の大きさがともに100μm×100μmとなり、切り出し画像と第2の撮像画像とで画素の実サイズを同一とすることができる。このとき、第1の撮像部13の画角は140度、第1の撮像部13の画角は50度となる。
このように切り出し画像と第2の撮像画像とが略同一の画素数となるようにすると、3次元モニター3で画像を3次元表示する際に、左右の目で見る2つの画像の実解像度が略等しくなる。このため、3次元表示された画像を長時間見続けた際に生じる疲労を軽減することができる。また、切出した画像と第2の撮像画像の画素数を略同一とすることで、画像処理に用いるハードリソースを低減することができる。
なお、図6に示したように、画像切出部63の後段にキャリブレーション部71,72があり、ここで2つの画像にそれぞれ写った被写体の大きさが一致するように補正する処理が行われるため、切り出し画像と第2の撮像画像の画素数を厳密に一致させる必要はないが、できるだけ近似した画素数となるようにするとよい。また、これと同じ事情で、撮像位置検出部62では、第1の撮像画像と第2の撮像画像との位置関係を厳密に求める必要はなく、概略位置を求めることで足りる。
図8は、2つの撮像部13,14の各撮像領域A1,A2の状況を模式的に示す側面図および平面図である。前記のように、第1の撮像部13は広角な光学系34を有し、第2の撮像部14は狭角な光学系38を有し、第1の撮像部13の画角α1が第2の撮像部14の画角α2より大きくなっており、第1の撮像部13の撮像領域(以下、適宜に「第1の撮像領域」と呼称する)A1は、第2の撮像部14の撮像領域(以下、適宜に「第2の撮像領域」と呼称する)A2より大きくなる。
被写体Sの広い領域を撮像する第1の撮像部13による撮像画像は2次元表示に供され、この2次元表示された画像で、被写体Sの広い範囲を観察することができる。また、第1の撮像部13は高解像度な撮像素子33を有し、被写体Sの広い領域を高精細に観察することができる。このため、手術の際に補助者や研修者が見る場合には、手術部位の周辺を広くかつ詳細に観察することができるので、手術の補助および研修の効果を高めることができる。
一方、被写体Sの狭い領域を撮像する第2の撮像部14による撮像画像は3次元表示に供され、この3次元表示された画像で、被写体Sを詳細にかつ立体的に観察することができる。このため、手術の際に術者が見る場合には、手術部位を立体的に認識することができるので、リスクを低減しつつ手術の能率を高めることができる。
また、第1の撮像部13をX方向およびY方向の2軸周りに回動させることができるため、光軸の傾斜角度を任意の方向に変化させて、第1の撮像領域A1を任意の方向に移動させることができる。すなわち、第1の撮像部13をX方向の軸周りに回動させると、第1の撮像領域A1がY方向に移動し、第1の撮像部13をY方向の軸周りに回動させると、第1の撮像領域A1がX方向に移動し、第1の撮像部13をX方向およびY方向の2軸周りに回動させると、第1の撮像領域A1が斜め方向に移動する。
このため、ユーザーは2次元モニター2の画面を見ながら角度操作部28を操作して、第1の撮像部13の光軸の傾斜角度を変化させると、第1の撮像領域A1を所要の方向に移動させることができ、これにより被写体Sをより一層広く観察することができ、特に、第1の撮像領域A1に第2の撮像領域A2が含まれる範囲内であれば、第1の撮像領域A1を移動させても、第2の撮像領域A2は移動しないため3次元画像に変化は現れない。このため、手術の際には、術者が見る3次元画像の表示領域を動かすことなく、補助者や研修者の必要に応じて2次元画像の表示領域を自由に動かすことができる。
なお、第1の撮像領域A1の移動に伴い、画像切出部63は第1の撮像画像の異なる位置から画像を切出すことになる。この場合も、二つの画像の特徴点マッチングに基づいて画像を切出す範囲が決定される。
なお、術者が見る3次元画像の表示領域を動かす、すなわち第2の撮像領域A2を移動させるには、挿入部11の先端部12全体を動かす必要がある。
図9は、被写体距離が変化する場合の撮像領域A1,A2の状況を模式的に示す側面図および平面図である。被写体距離(撮像部13,14から被写体Sまでの距離)Lが変化すると、2つの撮像部13,14の撮像領域A1,A2の大きさが変わると同時に、撮像領域A1,A2の位置関係が変化し、特に第1の撮像領域A1が、2つの撮像部13,14の配列方向(X方向、図3参照)にずれる。
図9に示す例では、被写体SがIで示す位置(被写体距離L1)にあるとき、第2の撮像領域A2に対して第1の撮像領域A1が図中左寄りの位置となり、被写体SがIIで示す位置(被写体距離L2)にあるとき、第2の撮像領域A2に対して第1の撮像領域A1が図中右寄りの位置となる。
ここで、第1の撮像部13のX方向の軸周りの回動位置を初期位置とすると、2つの撮像部13,14の撮像領域A1,A2の中心位置はY方向に関して一致する。この状態で、第1の撮像部13をY方向の軸周りに回動させて光軸傾斜角度θを変化させると、第1の撮像領域A1をX方向に移動させることができ、これにより、第2の撮像領域A2が第1の撮像領域A1内の所定位置(例えば中心位置)とすることができる。
図9に示す例で、第2の撮像領域A2を第1の撮像領域A1内の中心位置とするには、被写体SがIで示す位置にある場合には、光軸傾斜角度θを大きくすればよく、被写体SがIIで示す位置にある場合には、光軸傾斜角度θを小さくすればよい。
このように、第1の撮像部13の光軸傾斜角度θを調整することで、2つの撮像部13,14の配列方向(X方向)に第1の撮像領域A1を移動させることができる。このため、被写体距離Lが変化した場合でも、2つの撮像部13,14の撮像領域A1,A2の位置関係を一定に保持することができ、被写体距離Lに関係なく、常に適切な3次元画像を得ることができる。
以降、図9を用いてステレオ画像の生成について説明する。説明を簡単にするため、被写体S’が他の被写体Sの面(水平面)からθ/2だけ傾斜している状態を仮定する。この前提では、第1の撮像部13及び第2の撮像部14の光軸は被写体S’の面の法線からそれぞれθ/2だけ傾斜している。被写体S’に対して二つの撮像部の光軸はそれぞれ等しい角度だけ傾斜しているので、第1の撮像部13の光軸と第2の撮像部14の光軸が交差する被写体S’の面上では、第2の撮像領域A2は第1の撮像領域A1内の中心位置に存在する。しかしながら、この面上において光軸が交差する点は、いずれの撮像素子においても中心に投影されているから、同一の特徴点を異なる撮像素子で観測したときの画素位置の差分である視差はゼロということになる。
視差がゼロであるとステレオ視にはならないため、3次元画像処理部73(図6参照)では、2つの画像をX軸方向に所定画素数分シフトする処理を行なう。
さて、既に説明したように、例えば第2の撮像領域A2が第1の撮像領域A1内の中心に位置するように第1の撮像部13の回転角度が調整されるが、この回転角度の制御は角度調整部25が電動モータ18を駆動することで行われ(図1参照)、その回転角度は例えば図4(A)で説明した磁気センサ91によって計測される。
回転角度の計測結果に基づき、3次元画像生成部73(図6参照)は、特定の基線長(例えば人の瞳孔間隔(およそ65mmとされる))を隔てて撮像された場合に生じる視差の分だけ、これら2つの画像を相対的にX軸方向にシフトさせる。具体的には3次元画像生成部73は、回転角度の計測値に基づきLUT(Luck Up Table)を参照してシフト量を決定する。
なお、2つの撮像部13,14の撮像領域A1,A2が一部でも重なるようにすれば、重なった領域で3次元表示することができ、必ずしも第2の撮像領域A2を第1の撮像領域A1内の中心位置とする必要はないが、第2の撮像領域A2の全体を3次元表示するには、第1の撮像領域A1内に第2の撮像領域A2が完全に含まれる状態とする必要がある。
また、第1の撮像部13は撮像領域A1を広くするために広角な光学系34を採用しているため、第1の撮像画像の周辺部には歪曲収差が発生しやすくなる。この歪曲収差は、2次元表示する場合にはさほど問題とならないが、3次元表示する場合に、歪曲収差が発生した第1の撮像画像の周辺部を切り出して3次元表示に用いると、画像が見辛くなるおそれがある。このため、3次元表示する場合には、第1の撮像領域A1の周辺部に第2の撮像領域A2が位置しないようにすることが望ましい。
(第2実施形態)
図10は、第2実施形態に係る内視鏡における撮像制御部26のブロック図である。なお、以下で特に言及しない点は第1実施形態と同様である。
この第2実施形態では、制御部21において、被写体距離に関係なく、第2の撮像領域が第1の撮像領域内の所定位置に保持されるように、第1の撮像部13の光軸傾斜角度を自動で調整する制御が行われ、撮像制御部26には、第2の撮像部14の撮像領域に対する第1の撮像部13の撮像領域のオフセット(位置ずれ)を修正する撮像位置補正部81が設けられている。これにより、2つの撮像部13,14の撮像領域の位置合わせの作業が不要となり、使い勝手が向上する。
撮像位置検出部62では、第1実施形態と同様に、2つの撮像部13,14によりそれぞれ取得した第1の撮像画像および第2の撮像画像とを比較して、2つの撮像部13,14の撮像領域の位置関係を検出する処理が行われる。
撮像位置補正部81では、撮像位置検出部62による検出結果に基づいて、第2の撮像部14の撮像領域に対する第1の撮像部13の撮像領域のオフセットを修正することができる光軸傾斜角度の目標値を算出する処理が行われ、この撮像位置補正部81で算出された光軸傾斜角度の目標値が角度制御部25に出力され、角度制御部25において実際の光軸傾斜角度が目標値に近づくように電動モータ18,19が駆動される。これにより第1の撮像部13の撮像領域が移動して、第2の撮像部14の撮像領域が第1の撮像部13の撮像領域内の所定位置(例えば中心位置)となる。
なお、撮像位置補正部81では、一度にオフセットを修正する光軸傾斜角度を、撮像画像の比較のみで求めることが難しい場合もあるため、段階的に光軸傾斜角度を変化させて、光軸傾斜角度の変更と撮像画像の比較とを繰り返しながら、2つの撮像領域が所要の位置関係となる光軸傾斜角度に調整されるようにしてもよい。
図11は、撮像位置検出部62での撮像領域A1,A2の位置関係を求める要領を説明する模式的な側面図および平面図である。なお、ここでは、撮像領域A1,A2について説明するが、撮像位置検出部62による実際の処理は撮像画像について行われる。
常に第2の撮像部14が被写体Sの撮像面に正対する、すなわち第2の撮像部14の光軸が被写体Sの撮像面に直交するものと仮定すると、被写体距離Lが変化した場合、第2の撮像領域A2の大きさは変化するが、撮像領域A2の中心O2の位置は変化しない。一方、第1の撮像部13の光軸が傾いていると、第1の撮像領域A1の位置は、被写体距離Lが変化するのに応じて変化する。
ここでは、第1の撮像領域A1の中心部に第2の撮像領域A2が位置するように位置あわせする際のオフセット状態を表すパラメータとして、第2の撮像領域A2の中心O2から第1の撮像領域A1の一方の端(図中左端)までの距離XL、および第2の撮像領域A2の中心O2から第1の撮像領域A1の他方の端(図中右端)までの距離XRを求める。
この距離XL,XRは、次式のように、第1の撮像部13の画角α1、第1の撮像部13の光軸傾斜角度θ、および基線長(2つの撮像部13,14の間隔)BLから次のように定義される。
XL=L×tan(α1/2−θ)+BL (式1)
XR=L×tan(α1/2+θ)−BL (式2)
ここで、XL≒XRとなるとき、第2の撮像領域A2が第1の撮像領域A1の略中心に位置する。
したがって、被写体距離Lに関係なく、第2の撮像領域A2が第1の撮像領域A1の中心に位置するように保持するには、第2の撮像領域A2の中心O2から第1の撮像領域A1の両端までの距離XL,XRを求める。具体的には、まず、特徴点マッチングによって第1の撮像領域A1に含まれる第2の撮像領域の位置を特定し、次に第2の撮像領域の中心O2の座標を算出し、このX座標の値に基づいてXLとXRを求める。そして、XL≒XRとなるように第1の撮像部13の光軸傾斜角度θを調整すればよい。
図12は、第1の撮像部13の光軸傾斜角度θに応じた距離XL,XRの変化状況をグラフで示す説明図であり、図12(A)に被写体距離Lが100mmの場合を、図12(B)に被写体距離Lが34mmの場合を、それぞれ示す。なお、ここでは、第1の撮像部13の画角α1を140度、基線長BLを5.5mmとしている。
第2の撮像領域A2の中心O2から第1の撮像領域A1の端までの距離XL,XRは、第1の撮像部13の光軸傾斜角度θに応じて変化する。図12(A)に示すように、被写体距離Lが100mmの場合には、光軸の傾きθを0.35度とすると、距離XL,XRが等しくなり、第2の撮像領域A2が第1の撮像領域A1の中心に位置する。図12(B)に示すように、被写体距離Lが34mmの場合には、光軸の傾きθを1.03度とすると、距離XL,XRが等しくなり、第2の撮像領域A2が第1の撮像領域A1の中心に位置する。
このように、被写体距離Lが異なると、第2の撮像領域A2が第1の撮像領域A1の中心に位置するときの光軸傾斜角度θが異なり、第2の撮像領域A2を第1の撮像領域A1の中心に位置させるには、距離XL,XRの差(|XL−XR|)が小さくなるように光軸傾斜角度θを設定すればよい。具体的には、上述した方法で求めた距離XL,XRの大小を比較して、図12(A)に示すように、XL<XRであれば、光軸傾斜角度θを小さくすればよく、図12(B)に示すように、XL>XRであれば、光軸傾斜角度θを大きくすればよい。
なお、ここでは、第2の撮像領域A2が第1の撮像領域A1の略中心に位置するように光軸傾斜角度θを調整するようにしたが、この撮像領域A1,A2の位置関係はこれに限定されない。すなわち、2つの撮像領域A1,A2に積極的に一定のオフセットを持たせた状態に保持するようにしてもよい。この場合、例えば第2の撮像領域A2の中心O2に対する第1の撮像領域A1の位置に関する距離XL,XRの比率(例えばXL/XR)が一定に保持されるように光軸傾斜角度θを調整すればよい。
(第3実施形態)
図13は、第3実施形態に係る内視鏡の要部を示す斜視図である。なお、以下で特に言及しない点は第1実施形態と同様である。
この第3実施形態では、挿入部91に、第1の撮像部13および第2の撮像部14が設けられた先端部92が屈曲部93を介して設けられ、先端部92が傾動(首振り運動)するように構成されている。挿入部91を観察対象の内部に挿入した状態で先端部92を傾動させることで、2つの撮像部13,14が一体的に向きを変え、腫瘍部分等の手術部位を様々な方向から観察することができる。
この第3実施形態では、第1実施形態と同様に、第1の撮像部13の光軸傾斜角度を変更する角度調整機構を設け、挿入部91を観察対象の内部に挿入した状態で、先端部92を傾動させるとともに第1の撮像部13の光軸傾斜角度を変更することができるように構成してもよい。この場合、先端部92の傾動範囲内で、屈曲部93および角度調整機構の各動作が円滑に行われるように構成する必要があり、例えば電動モータで押し引き動作する可撓性を有するケーブルで第1の撮像部13を回動させる構成とするとよい。
なお、以上の実施形態では、第1の撮像部13を2軸周りに回動する構成として、第1の撮像部13の光軸傾斜角度を任意の方向に変更することができるように構成したが、第1の撮像部13を1軸周りにのみ回動する構成としてもよい。この場合、2つの撮像部13,14の配列方向に第1の撮像部13の撮像領域を移動させることができるように構成すればよく、図4に示した例では、2つの撮像部13,14の配列方向(X方向)および第2の撮像部14の光軸方向(Z方向)の双方に略直交する方向(Y方向)の軸周りに回動するように構成すればよい。これにより、被写体距離が変化した場合でも、2つの撮像部13,14の撮像領域の位置関係を一定に保持することができる。
また、本実施形態では、光軸傾斜角度を変更可能に設けられた第1の撮像部13が、広角な光学系34と高解像度な撮像素子33とを有し、光軸傾斜角度を変更不能に設けられた第2の撮像部14が、狭角な光学系38と低解像度な撮像素子37とを有する構成としたが、本発明は、このような組み合わせに限定されるものではない。例えば、光軸傾斜角度を変更可能に設けられた撮像部が、狭角な光学系と低解像度な撮像素子とを有し、光軸傾斜角度を変更不能に設けられた撮像部が、広角な光学系と高解像度な撮像素子とを有する構成としてもよい。この場合、固定された2次元画像の表示領域内で3次元画像の表示領域を動かすことができるようになる。もっとも、高解像度な撮像素子を有する撮像部は比較的大型となって、これを駆動する駆動機構を実装し易いため、高解像度な撮像素子を有する撮像部にのみ角度調整機構を設けることが望ましく、これにより、挿入部の先端部の外径を大きくすることなく、角度調整機構を容易に設けることができる。
また、本実施形態では、角度調整機構16を電動モータ18,19で駆動する構成としたが、角度調整機構16を手動操作力で駆動する構成としてもよい。また、本実施形態では、使用中、すなわち挿入部11を観察対象の内部に挿入した状態で、第1の撮像部13の光軸の傾斜角度を変更することができるように構成したが、挿入部11を観察対象の内部に挿入していない不使用状態でのみ角度調整を行うことができるように構成してもよく、これにより構造を簡略化することができる。この場合、被写体である病変部の形状、サイズ等を予めX線や超音波を用いて把握すると共に、術式から想定される被写体までの距離に基づき、使用前や定期点検などで事前に角度調整作業を行う。
また、本実施形態では、2つの撮像部13,14により取得した撮像画像から2次元画像および3次元画像を生成して出力する画像処理を、内視鏡1の本体部17に設けた制御部21で行うものとしたが、この画像処理を内視鏡1と別体の画像処理装置で行うようにしてもよい。
また、本実施形態では、被写体までの距離が変化した場合でも、2つの撮像部13,14の撮像領域の位置関係を一定に保持することができるように、第1の撮像部13の光軸傾斜角度を変更する構成としたが、画像を3次元表示する際に、左右の目で見る2つの画像の実解像度が大きく異なることを避けるという目的のみを達成する上では、撮像部の光軸傾斜角度を変更する構成は必ずしも必要ではなく、2つの撮像部の光軸傾斜角度を変更することができない構成としてもよい。
また、本実施形態では、被写体距離に関係なく、2つの撮像部の撮像領域の位置関係を一定に保持するための角度調整に必要となる2つの撮像部の撮像領域の位置関係を、2つの撮像画像を比較する画像処理により取得するようにしたが、このような画像処理の代わりに、あるいは画像処理に加えて、センサを用いて被写体距離の変化を認識するようにしてもよい。例えば、加速度センサにより内視鏡1の動きを検出すると、被写体距離の変化状況を推定することができ、これにより光軸傾斜角度の変化方向や変化幅を求めて、角度調整に利用することができる。
本発明にかかる内視鏡およびこれを備えた内視鏡システムは、被写体までの距離が異なる場合でも、2つの撮像部の撮像領域の位置関係を一定に保持することができ、また、画像を3次元表示する際に、左右の目で見る2つの画像の実解像度が大きく異なることを避けることができる効果を有し、外部から直接観察できない観察対象の内部を撮像する内視鏡およびこれを備えた内視鏡システムなどとして有用である。
1 内視鏡
2 2次元モニター(第1の表示装置)
3 3次元モニター(第2の表示装置)
4 コントローラ(表示制御装置)
11 挿入部
12 先端部
13 第1の撮像部
14 第2の撮像部
16 角度調整機構
21 制御部
28 角度操作部
33,37 撮像素子
34,38 光学系
62 撮像位置検出部
63 画像切出部
64 2次元画像処理部
65 3次元画像処理部
81 撮像位置補正部
A1,A2 撮像領域
S 被写体
α1,α2 画角
θ 光軸傾斜角度

Claims (6)

  1. 観察対象の内部に挿入される挿入部と、
    この挿入部の先端部に並べて設けられた第1の撮像部および第2の撮像部と、
    この第1の撮像部および第2の撮像部による撮像画像から3次元画像を生成する画像処理部と、を備え、
    前記第1の撮像部は、その第1の撮像部および前記第2の撮像部の配列方向に沿って撮像領域を移動させることができるように、光軸の傾斜角度を変更可能に設けられ
    さらに、前記第1の撮像部の撮像領域と前記第2の撮像部の撮像領域とが所定の位置関係となるように前記第1の撮像部の光軸の傾斜角度を制御する制御部を備え、
    この制御部は、前記第1の撮像画像と前記第2の撮像画像とを比較して、前記第1の撮像部の撮像領域と前記第2の撮像部の撮像領域との位置関係を検出し、この検出結果に基づいて前記第1の撮像部の光軸の傾斜角度を制御することを特徴とする内視鏡。
  2. 前記第1の撮像部の光軸の傾斜角度を変更する操作をユーザーが行う角度操作部と、
    この角度操作部の操作に応じて前記第1の撮像部の光軸の傾斜角度を変更する角度調整機構と、をさらに備えたことを特徴とする請求項1に記載の内視鏡。
  3. 前記第1の撮像部は、広角な光学系を有し、
    前記第2の撮像部は、狭角な光学系を有し、
    前記画像処理部は、前記第1の撮像部により取得した第1の撮像画像から2次元画像を生成するとともに、前記第2の撮像部の撮像領域に対応する領域を前記第1の撮像画像から切り出して得られた切り出し画像と、前記第2の撮像部により取得した第2の撮像画像とから3次元画像を生成することを特徴とする請求項1または請求項2に記載の内視鏡。
  4. 前記第1の撮像部は、高解像度な撮像素子を有し、
    前記第2の撮像部は、低解像度な撮像素子を有することを特徴とする請求項3に記載の内視鏡。
  5. 前記第1の撮像部および前記第2の撮像部は、前記切り出し画像と前記第2の撮像画像とが略同一の画素数となるように設定されたことを特徴とする請求項4に記載の内視鏡。
  6. 請求項1から請求項5のいずれかに記載の内視鏡と、
    画像を2次元表示する第1の表示装置と、
    画像を3次元表示する第2の表示装置と、
    前記内視鏡から出力される2次元画像データおよび3次元画像データに基づいて前記第1の表示装置および前記第2の表示装置に画像を同時に表示させる表示制御装置と、を備えたことを特徴とする内視鏡システム。
JP2011274219A 2011-12-15 2011-12-15 内視鏡およびこれを備えた内視鏡システム Active JP5919533B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011274219A JP5919533B2 (ja) 2011-12-15 2011-12-15 内視鏡およびこれを備えた内視鏡システム
US14/364,368 US20140350338A1 (en) 2011-12-15 2012-12-12 Endoscope and endoscope system including same
PCT/JP2012/007934 WO2013088709A1 (ja) 2011-12-15 2012-12-12 内視鏡およびこれを備えた内視鏡システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011274219A JP5919533B2 (ja) 2011-12-15 2011-12-15 内視鏡およびこれを備えた内視鏡システム

Publications (2)

Publication Number Publication Date
JP2013123558A JP2013123558A (ja) 2013-06-24
JP5919533B2 true JP5919533B2 (ja) 2016-05-18

Family

ID=48612183

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011274219A Active JP5919533B2 (ja) 2011-12-15 2011-12-15 内視鏡およびこれを備えた内視鏡システム

Country Status (3)

Country Link
US (1) US20140350338A1 (ja)
JP (1) JP5919533B2 (ja)
WO (1) WO2013088709A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013244362A (ja) * 2012-05-29 2013-12-09 Olympus Corp 立体視内視鏡システム
US9602806B1 (en) * 2013-06-10 2017-03-21 Amazon Technologies, Inc. Stereo camera calibration using proximity data
JP6256872B2 (ja) * 2013-12-24 2018-01-10 パナソニックIpマネジメント株式会社 内視鏡システム
DE102014204244A1 (de) * 2014-03-07 2015-09-10 Siemens Aktiengesellschaft Endoskop mit Tiefenbestimmung
WO2016043063A1 (ja) * 2014-09-18 2016-03-24 ソニー株式会社 画像処理装置および画像処理方法
CN107405048B (zh) * 2015-05-14 2019-07-02 奥林巴斯株式会社 立体视内窥镜装置
JP6308440B2 (ja) * 2015-06-17 2018-04-11 パナソニックIpマネジメント株式会社 内視鏡
KR101719322B1 (ko) * 2015-07-20 2017-03-23 계명대학교 산학협력단 vSLAM 기법을 이용하여 병변과 주변조직의 3차원 정보를 측정할 수 있는 내시경 기기 및 이를 이용한 병변 측정 방법
JP6296365B2 (ja) * 2016-02-29 2018-03-20 パナソニックIpマネジメント株式会社 手術内視鏡用カメラコントロールユニット
JP6561000B2 (ja) * 2016-03-09 2019-08-14 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2017168986A1 (ja) * 2016-03-31 2017-10-05 ソニー株式会社 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム
CN110087524A (zh) * 2016-09-29 2019-08-02 270 外科有限公司 刚性医疗外科照明装置
WO2018123140A1 (ja) * 2016-12-26 2018-07-05 オリンパス株式会社 ステレオ撮像ユニット
JP6655756B2 (ja) * 2017-05-19 2020-02-26 オリンパス株式会社 3d内視鏡装置、及び、3d映像処理装置
WO2018225346A1 (ja) * 2017-06-05 2018-12-13 ソニー株式会社 医療用システム及び制御ユニット
JP6912313B2 (ja) * 2017-07-31 2021-08-04 パナソニックi−PROセンシングソリューションズ株式会社 画像処理装置、カメラ装置及び画像処理方法
KR20190013224A (ko) * 2017-08-01 2019-02-11 엘지전자 주식회사 이동 단말기
CN110944567B (zh) * 2017-08-03 2022-10-11 索尼奥林巴斯医疗解决方案公司 医疗观察装置
JP6915575B2 (ja) * 2018-03-29 2021-08-04 京セラドキュメントソリューションズ株式会社 制御装置及び監視システム
US10914191B2 (en) 2018-05-04 2021-02-09 Raytheon Technologies Corporation System and method for in situ airfoil inspection
US10902664B2 (en) 2018-05-04 2021-01-26 Raytheon Technologies Corporation System and method for detecting damage using two-dimensional imagery and three-dimensional model
US10958843B2 (en) 2018-05-04 2021-03-23 Raytheon Technologies Corporation Multi-camera system for simultaneous registration and zoomed imagery
US11268881B2 (en) 2018-05-04 2022-03-08 Raytheon Technologies Corporation System and method for fan blade rotor disk and gear inspection
US10928362B2 (en) 2018-05-04 2021-02-23 Raytheon Technologies Corporation Nondestructive inspection using dual pulse-echo ultrasonics and method therefor
US10943320B2 (en) 2018-05-04 2021-03-09 Raytheon Technologies Corporation System and method for robotic inspection
US11079285B2 (en) 2018-05-04 2021-08-03 Raytheon Technologies Corporation Automated analysis of thermally-sensitive coating and method therefor
JP7166957B2 (ja) * 2019-02-27 2022-11-08 オリンパス株式会社 内視鏡システム、プロセッサ、キャリブレーション装置、内視鏡
DE102019003378A1 (de) 2019-05-14 2020-11-19 Karl Storz Se & Co. Kg Beobachtungsinstrument und Videobildgeberanordnung für ein Beobachtungsinstrument
US20220031390A1 (en) * 2020-07-31 2022-02-03 Medtronic, Inc. Bipolar tool for separating tissue adhesions or tunneling

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06261860A (ja) * 1993-03-12 1994-09-20 Olympus Optical Co Ltd 内視鏡の映像表示装置
US5673147A (en) * 1995-04-18 1997-09-30 Mckinley Optics, Inc. Stereo video endoscope objective lens systems
JPH095643A (ja) * 1995-06-26 1997-01-10 Matsushita Electric Ind Co Ltd 立体内視鏡装置
JP2002191554A (ja) * 2000-12-26 2002-07-09 Asahi Optical Co Ltd 3次元画像検出装置を備えた電子内視鏡
EP2217132B1 (en) * 2007-11-02 2013-05-15 The Trustees of Columbia University in the City of New York Insertable surgical imaging device
US9192286B2 (en) * 2010-03-12 2015-11-24 Viking Systems, Inc. Stereoscopic visualization system
US9314148B2 (en) * 2010-12-06 2016-04-19 Lensvector, Inc. Motionless adaptive stereoscopic scene capture with tuneable liquid crystal lenses and stereoscopic auto-focusing methods

Also Published As

Publication number Publication date
US20140350338A1 (en) 2014-11-27
WO2013088709A1 (ja) 2013-06-20
JP2013123558A (ja) 2013-06-24

Similar Documents

Publication Publication Date Title
JP5919533B2 (ja) 内視鏡およびこれを備えた内視鏡システム
JP5730339B2 (ja) 立体内視鏡装置
JP5904750B2 (ja) 立体内視鏡装置
KR20160135271A (ko) 이미징 기기의 방향 제어 시스템 및 방법
JPWO2016043063A1 (ja) 画像処理装置および画像処理方法
JP2013085615A5 (ja)
JP2022514635A (ja) デュアル画像センサを有する内視鏡
WO2020054566A1 (ja) 医療用観察システム、医療用観察装置及び医療用観察方法
JP5889495B2 (ja) 内視鏡システム
US11698535B2 (en) Systems and methods for superimposing virtual image on real-time image
JP6256872B2 (ja) 内視鏡システム
JP7178385B2 (ja) 撮像システムおよび観察方法
JP2006320427A (ja) 内視鏡手術支援システム
JPH11337845A (ja) 内視鏡装置
JP5946777B2 (ja) 立体撮像装置
JP3816599B2 (ja) 体腔内処置観察システム
WO2021049220A1 (ja) 医療用支持アーム、及び医療用システム
JP2014175965A (ja) 手術用カメラ
JPH06261860A (ja) 内視鏡の映像表示装置
CN113905652A (zh) 医学观察***、控制装置和控制方法
US10602113B2 (en) Medical imaging device and medical observation system
WO2022269992A1 (ja) 医療用観察システム、情報処理装置及び情報処理方法
WO2023276242A1 (ja) 医療用観察システム、情報処理装置及び情報処理方法
US20230346196A1 (en) Medical image processing device and medical observation system
CN115868915A (zh) 一种多摄像头电子腹腔镜和图像处理器

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20141003

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20141009

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160226

R151 Written notification of patent or utility model registration

Ref document number: 5919533

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350