JP5965726B2 - 立体視内視鏡装置 - Google Patents

立体視内視鏡装置 Download PDF

Info

Publication number
JP5965726B2
JP5965726B2 JP2012118754A JP2012118754A JP5965726B2 JP 5965726 B2 JP5965726 B2 JP 5965726B2 JP 2012118754 A JP2012118754 A JP 2012118754A JP 2012118754 A JP2012118754 A JP 2012118754A JP 5965726 B2 JP5965726 B2 JP 5965726B2
Authority
JP
Japan
Prior art keywords
image
subject
light
stereoscopic
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012118754A
Other languages
English (en)
Other versions
JP2013244104A (ja
Inventor
池田　浩
浩 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2012118754A priority Critical patent/JP5965726B2/ja
Priority to CN201380026375.9A priority patent/CN104321005B/zh
Priority to EP13793831.2A priority patent/EP2856922B1/en
Priority to PCT/JP2013/061304 priority patent/WO2013175899A1/ja
Publication of JP2013244104A publication Critical patent/JP2013244104A/ja
Priority to US14/547,600 priority patent/US20150073209A1/en
Application granted granted Critical
Publication of JP5965726B2 publication Critical patent/JP5965726B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096—Optical elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A61B1/051—Details of CCD assembly
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1076—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2415—Stereoscopic endoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Lenses (AREA)

Description

本発明は、立体視内視鏡装置に関するものである。
従来、単一の対物レンズを光軸方向に駆動することにより被写体を異なる合焦位置で複数回撮影し、得られた複数の画像を用いて対物レンズから被写体までの距離分布情報を演算し、算出された距離分布情報を用いて被写体の視差画像を作成するカメラが知られている（例えば、特許文献１参照。）。視差画像とは、観察者の右眼と左眼とに対応した２つの視点から被写体を観察した一対の視点画像であり、視差画像から被写体の立体画像を構築することができる。
特許文献１によれば、このような一対の画像を単一の対物レンズを用いて作成することができるため、右眼と左眼とに対応する２つの対物レンズを備えたカメラと比べて構成が小型となり、内視鏡に好適に適用することができる。
特開平５−７３７３号公報
しかしながら、特許文献１の場合、視差画像を取得するためには、対物レンズを駆動しながら被写体を複数回撮影しなければならないため、比較的長い時間を要する。したがって、被写体の立体画像をリアルタイムで動画として観察することが難しいという問題を有している。
本発明は、上述した事情に鑑みてなされたものであって、被写体の立体画像の動画をリアルタイムで作成することができる立体視内視鏡装置を提供することを目的とする。
上記目的を達成するため、本発明は以下の手段を提供する。
本発明は、被写体からの光を集光して結像する単一の対物レンズと、該対物レンズにより集光された光を２以上の光に分割する光分割手段と、該光分割手段により分割された各前記光にそれぞれ異なる光路長を与えることによって、前記各光により結像される前記被写体の光学像の合焦位置が前記各光の結像位置に応じてそれぞれ異なるように調節する合焦位置調節手段と、該合焦位置調節手段によってそれぞれ異なる光路長が与えられた前記各光の結像位置に配置され、前記被写体の光学像を撮影することによって、前記各光の結像位置に応じて前記合焦位置がそれぞれ異なる２以上の前記被写体の２次元画像を取得する撮像素子と、該撮像素子により取得された前記２以上の２次元画像から前記被写体の各位置と前記対物レンズとの間の物体距離を演算する演算部と、前記被写体を観察する複数の視点の間隔を前記対物レンズの直径よりも小さな距離に設定し、前記演算部により演算された前記物体距離を用いて、前記複数の視点から前記被写体を観察した複数の視点画像を作成する視差画像作成部と、を備える立体視内視鏡装置を提供する。
本発明によれば、対物レンズによって集光された被写体からの光が、光分割手段によって２以上に分割された後、合焦位置調節手段によって互いに異なる光路長が与えられてから撮像素子によってそれぞれ撮影される。したがって、撮像素子によって取得される２次元画像は、同一の視野を異なる合焦位置で撮影した画像となる。
このような合焦位置の異なる複数の２次元画像から被写体の物体距離の分布が演算部によって演算され、算出された物体距離の分布に基づいて視差画像作成部が複数の視点画像を演算により作成する。
この場合に、視差画像の基となる複数の視点画像は同時に撮影されたものであり、視差画像を十分に短い間隔で作成することができる。これにより、被写体の立体画像の動画をリアルタイムで作成することができる。
上記発明においては、前記視差画像作成部が、前記複数の視点の間隔を前記対物レンズの直径よりも小さな距離に設定する。
単一の対物レンズを用いて撮影された複数の２次元画像から視差画像を演算により作成する場合には、対物レンズの直径に依らずに視点間の距離（基線長）を設定することが可能となる。視差画像から構築される立体画像は、基線長が大きいほど奥行き感が強調されたものとなるため、２つの対物レンズを用いて２つの視点画像を取得する構成では再現できないような被写体の奥行き感を立体画像で再現することができる。
また、上記発明においては、前記視差画像作成部によって作成された視差画像から立体画像を構築して表示する表示部を備え、前記視差画像作成部は、前記物体距離と、前記表示部に表示される立体画像において再現される奥行き方向の距離とが略線形関係を有する視差画像を作成してもよい。
このようにすることで、立体画像において、被写体が有する奥行き方向の距離が正確に再現されるので、観察者は立体画像から被写体の奥行き方向の位置を正確に把握することができる。
また、上記発明においては、前記視差画像作成部によって作成された視差画像から立体画像を構築して表示する表示部を備え、前記視差画像作成部は、前記物体距離と、前記表示部に表示される立体画像において再現される奥行き方向の再現距離とが、前記物体距離の変化に対して前記再現距離の変化が上に凸となる非線形の関係を有する視差画像を作成してもよい。
このようにすることで、立体画像において、被写体が有する奥行き方向の距離が圧縮して再現されるので、奥行きのある被写体を立体画像で観察する場合に立体画像が観察者に与える眼の疲労感を低減することができる。
また、上記発明においては、前記視差画像作成部が、前記複数の視点の間隔を５ｍｍ以下に設定してもよい。
このようにすることで、撮影される被写体が小さい場合であっても、立体画像において再現される被写体の奥行き感を適切にすることができる。
また、上記発明においては、前記視差画像作成部が、前記複数の視点の間隔を複数の距離に設定し、複数の視差画像を作成してもよい。
このようにすることで、同一の被写体について、奥行き感の異なる複数の立体画像を観察することができる。
また、上記発明においては、前記光分割手段が、分割した２以上の光を互いに略平行に出力し、前記撮像素子は、撮像面が２以上の領域に分割され、前記光分割手段から出力された前記２以上の光を別々の領域において撮影してもよい。
このようにすることで、撮像素子を共通化し、構成をより簡素にすることができる。
また、上記発明においては、前記光分割手段が、互いに接合され、その接合面が前記対物レンズの光軸に交差して配置された２つのプリズムを備え、前記合焦位置調節手段が、前記接合面に設けられ、前記対物レンズから一方の前記プリズムに入射した光のうち一部分を他方の前記プリズムへ透過させ、他の部分を前記光軸に交差する方向に偏向するビームスプリッタを備えていてもよい。
このようにすることで、光分割手段および合焦位置調節手段を一体構造とし、構成を簡素にすることができる。
また、上記発明においては、前記光分割手段が、前記撮像素子の外径寸法よりも小さい外径寸法を有していてもよい。
このようにすることで、より小型な構成とすることができる。
また、上記発明においては、前記視差画像作成部が、各視点から前記被写体を観察した仮想的な視線の交差位置が、前記撮像素子により撮影される２以上の光の合焦位置同士の間に配されるような視差画像を作成してもよい。
このようにすることで、画像の中心観察距離において合焦位置に近い画像を得ることができるようになり、鮮鋭度の高い画像を提供することができる。
また、上記発明においては、前記撮像素子が、撮影する前記光の結像状態を位相差方式で検出する結像状態検出手段を備えていてもよい。
このようにすることで、簡易な構成で撮像素子により撮影される光の結像状態を検出することができる。
本発明によれば、被写体の立体画像の動画をリアルタイムで作成することができるという効果を奏する。
本発明の一実施形態に係る立体視内視鏡装置の全体構成図である。 図１の立体視内視鏡装置が備える対物レンズおよびプリズム型ビームスプリッタの拡大図である。 図１の視差画像作成部が視差画像を作成するために設定する各種パラメータを説明する図である。 基線長を（ａ）５ｍｍ、（ｂ）３ｍｍおよび（ｃ）１ｍｍとしたときの物体距離と再現距離との関係を示すグラフである。 図１の立体視内視鏡装置の変形例を示す部分的な構成図である。 図１の立体視内視鏡装置のもう１つの変形例を示す部分的な構成図である。 図１の立体視内視鏡装置のもう１つの変形例を示す部分的な構成図である。 図１の立体視内視鏡装置のもう１つの変形例を示す部分的な構成図である。 図１の立体視内視鏡装置のもう１つの変形例を示す部分的な構成図である。 図１の立体視内視鏡装置のもう１つの変形例を示す部分的な構成図である。
以下、本発明の一実施形態に係る立体視内視鏡装置１について、図面を参照して説明する。
本実施形態に係る立体視内視鏡装置１は、図１に示されるように、被写体を異なる合焦位置において撮影して２つの２次元画像を取得する内視鏡本体（以下、本体ともいう。）２と、該本体２から２つの２次元画像を受け取りこれら２次元画像から視差画像を作成する画像処理ユニット３と、該画像処理ユニット３により作成された視差画像から立体画像を構築して表示する立体画像表示部（表示部）４とを備えている。
本体２は、被写体からの光を集光して被写体の光学像を形成する単一の対物レンズ５と、該対物レンズ５により形成された光学像を撮影する２つのＣＣＤのような撮像素子６，７と、これら撮像素子６，７により得られた画像情報から２次元画像を作成する２次元画像作成部８，９と、対物レンズ５と２つの撮像素子６，７との間に配置されたプリズム型ビームスプリッタ１０とを備えている。
図２は、本体２が備える対物レンズ５とプリズム型ビームスプリッタ１０とを拡大した図である。
対物レンズ５としては、例えば、４ｍｍの直径と８０°の画角とを有するものが用いられる。
プリズム型ビームスプリッタ１０は、斜面が互いに接合された２つの直角プリズム（合焦位置調節手段）１１，１２と、これら直角プリズム１１，１２の接合面に設けられた誘電体膜からなるビームスプリッタ（光分割手段）１３とを備えている。直角プリズム１１，１２は、斜面が対物レンズ５の光軸に対して４５°で交差するように配置されている。
対物レンズ５から前段側の第１の直角プリズム１１に入射した光は、ビームスプリッタ１３により略同等の光量となるように２つに分割される。分割された一方の光は、対物レンズ５の光軸に対して９０°偏向され、第１の撮像素子６に結像するようになっている。分割された他方の光は、ビームスプリッタ１３を透過して第２の直角プリズム１２内を直進し、第２の撮像素子７に結像するようになっている。
ここで、各直角プリズム１１，１２は、ビームスプリッタ１３により分割された２つの光に互いに異なる光路長を与える。例えば、図２に示されるように、一方の光の光路長をａ＋ｂとし、他方の光の光路長をａ＋ｃとすると、ｂ＜ｃとなるように各直角プリズム１１，１２の寸法が設定されている。ａ，ｂ，ｃはいずれも光路長であり、直角プリズム１１，１２の寸法と直角プリズム１１，１２の屈折率との積として定義される。これにより、第１の撮像素子６および第２の撮像素子７は、同一の視野であり合焦位置の異なる光学像を同時に撮影することとなる。２つの光の光路長の差は、対物レンズ５の光学設計と本体２による被写体の物体距離、および最終的に作成される視差画像の視差に応じて適宜設計可能であり、例えば、２ｍｍとされる。
第１の撮像素子６および第２の撮像素子７によって取得された画像情報はそれぞれ２次元画像作成部８，９において2次元画像に変換された後に画像処理ユニット３に送られる。
画像処理ユニット３は、各２次元画像作成部８，９から合焦位置の異なる２つの２次元画像を受け取り、被写体の各位置における物体距離の情報を含むデプスプロファイルを２つの２次元画像から演算により作成するデプスプロファイル作成部１４と、該デプスプロファイル作成部１４により作成されたデプスプロファイルを用いて視差画像を作成する視差画像作成部１５とを備えている。
デプスプロファイル作成部１４は、対物レンズ５の先端と被写体の各位置との間の物体距離を、２つの２次元画像における被写体の像のぼけ量に基づいて算出する。各２次元画像において、合焦位置からの対物レンズ５の光軸方向（奥行き方向）のずれ量が大きくなるほど、像のぼけ量は大きくなる。また、合焦位置が互いに異なる２つの２次元画像において、被写体の像のぼけ量は互いに異なる。デプスプロファイル作成部１４は、対物レンズ５の先端から被写体までの物体距離と２次元画像における像のぼけ量との関係とを対応付けたデータベースを保持している。そして、該データベースを参照することにより、２つの２次元画像の各位置におけるぼけ量の差が最小となるような物体距離を、その位置における被写体の物体距離として算出するようになっている。
視差画像作成部１５は、デプスプロファイル作成部１４により作成されたデプスプロファイルを用いて視差画像を演算により作成する。視差画像とは、観察者の右眼と左眼とに対応する２つの視点から被写体を見た一対の視点画像である。視差画像作成部１５は、作成した視差画像を立体画像表示部４に出力する。
立体画像表示部４は、視差画像作成部１５から受け取った視差画像から被写体の立体画像を構築して表示する。
この場合に、本実施形態に係る立体視内視鏡装置１によれば、画像処理ユニット３は、２つの撮像素子６，７により同時に撮影された２つの２次元画像を２次元画像作成部８，９から受け取り、視差画像を逐次作成して立体画像表示部４へと出力する。すなわち、視差画像の生成に要する時間が十分に短いので、立体画像表示部４は、撮像素子６，７により連続して動画として撮影された被写体の２次元画像を、立体画像の動画としてほぼリアルタイムで表示することができる。
次に、視差画像作成部１５によって作成される視差画像についてより詳細に説明する。
視差画像を作成するために、図３に示されるように、被写体Ｘを観察する２つの視点Ａ，Ｂの位置と、各視点Ａ，Ｂから被写体Ｘを観察する視線方向と設定する必要がある。これら視点Ａ，Ｂの位置および視線方向は、視点Ａ，Ｂの奥行き方向の位置が対物レンズ５の先端の位置と同一（すなわち、物体距離がゼロ）であるとすると、視点Ａ，Ｂ間の距離（基線長）ｄと、各視点Ａ，Ｂと注視点Ｏとを結ぶ２つの視線がなす角度（内向角）θと、２つの視線が交差する注視点Ｏと視点Ａ，Ｂとの奥行き方向の距離（交差距離）ｒとが設定されることにより、幾何学的に決定される。
本実施形態において、注視点Ｏは、２次元画像の中心であり、被写体Ｘの遠位端（被写体Ｘの各位置のうち対物レンズ５の先端から最も離れた位置）Ｐと同一の物体距離を有する点とする。すなわち、交差距離ｒは、被写体Ｘの遠位端Ｐにおける物体距離となり、被写体Ｘによって一意に決まる。交差距離ｒを遠位端Ｐにおける物体距離とすることで、一方の視点画像にしか現れない領域を無くすことができる。基線長ｄと内向角θは互いに依存して変化し、一方が決まれば他方も決まる。軸Ｓは、対物レンズ５の光軸と一致している。
一方、作成された立体画像を観察する観察者が立体画像から得る奥行き感は、本体２の画角と、立体画像を表示する立体画像表示部４の画角と、観察者の左右両眼の間隔と、左右両眼により同一の注視点を見たときの２つの視線がなす角度（輻輳角）とに応じて決まる。ただし、これらの条件は全て固定された値であるか、または、予め設定された適切な値が存在するため、観察者に与える立体画像の奥行き感を調節するためのパラメータは、実質的に上述した交差距離ｒ、基線長ｄおよび内向角θとなる。
ここで、基線長ｄと観察者が得る立体画像の奥行き感との関係について説明する。図４（ａ）〜（ｃ）は、基線長ｄを５ｍｍ、３ｍｍ、１ｍｍと変化させたときの、物体距離と再現距離との関係を示している。再現距離とは、観察者が立体画像表示部４に表示された立体画像から得る被写体Ｘの奥行き方向の距離であり、立体画像表示部４の画角と、観察者の輻輳角とに基づいて算出される。図４（ａ）〜（ｃ）に示されるグラフは、被写体Ｘの遠方端Ｐにおける物体距離が６０ｍｍである場合を想定し、交差距離ｒを６０ｍｍとして計算したものである。また、これらグラフは、立体画像表示部４の画角を４０°とし、観察者の輻輳角を５°として計算したものである。
基線長ｄを５ｍｍとした場合、図４（ａ）に示されるように、物体距離と再現距離とは、物体距離が大きくなるほど、物体距離の変化量に対して再現距離の変化量が大きくなる非線形関係を有し、グラフは下に凸の曲線となる。この関係において、遠くの被写体に対して手前の被写体が飛び出して小さく見える、いわゆる箱庭効果が立体画像に生じる。すなわち、立体画像において、手前側の被写体は実際よりもさらに手前に存在しているように、また、遠くの被写体は実際よりもさらに遠くに存在しているように表示されるため、被写体の正確な立体形状を立体画像から把握することが困難である。また、このように過剰に奥行き感が強調された立体画像は、観察者に大きな疲労感を与える。
基線長ｄを３ｍｍとした場合、図４（ｂ）に示されるように、物体距離と再現距離とが略線形関係にあり、被写体Ｘの奥行き感が立体画像において正確に再現される。この関係において、被写体Ｘを実際に肉眼で見たときの奥行き感と、立体画像における被写体の奥行き感とが一致するので、観察者は、立体画像から被写体Ｘである組織や処置具などの奥行き方向の正しい位置関係を容易に把握することができる。
基線長ｄを１ｍｍとした場合、図４（ｃ）に示されるように、物体距離と再現距離とは、物体距離が大きくなるほど、物体距離の変化量に対して再現距離の変化量が小さくなる非線形関係を有し、グラフは上に凸の曲線となる。そして、被写体が奥行き方向に圧縮され、いわゆる書き割り効果が立体画像に生じる。このような関係は、奥行き方向に大きく形状が変化するような被写体を観察する場合に適している。すなわち、立体画像において奥行きが異なる位置を見るとき観察者は輻輳を変化させる必要があり、奥行きの差が大きくなるほど疲れやすくなる。これに対し、被写体が奥行き方向に圧縮された立体画像においては、輻輳の調節幅が小さくて済むので、観察者に与える疲労感を低減することができる。
視差画像作成部１５は、図４（ｂ）に示されるような物体距離と再現距離とが略線形関係となる、交差距離ｒと基線長ｄとの組み合わせを記憶したテーブルを保持している。視差画像作成部１５は、デプスプロファイルから物体距離の最大値を抽出し、抽出した物体距離の最大値を交差距離ｒとして設定し、設定された交差距離ｒと対応する基線長ｄをテーブルを参照して設定する。そして、設定した交差距離ｒと基線長ｄとを用いて視差画像を作成する。
このようにして作成された視差画像から構築される立体画像は、実際の被写体Ｘの奥行き感と一致した被写体の奥行き感を観察者に与える。したがって、観察者は、被写体Ｘの奥行き方向の位置を常に正確に立体画像から把握することができるという利点がある。
また、２つの対物レンズを用いて被写体の視差画像を取得する２眼式の立体視内視鏡の場合、基線長となる左右の対物レンズの光軸間距離の下限には限界があるため、基線長を十分に小さくすることができない。例えば、本実施形態のように直径が４ｍｍの対物レンズを２つ並列に並べると、基線長の下限は４ｍｍを超えることとなり、基線長が３ｍｍや１ｍｍである視差画像を作成することができない。
内視鏡で観察する被写体Ｘは数ｍｍから１０ｍｍ程度と小さいため、実物の被写体Ｘの奥行き感と同等の被写体の奥行き感を立体画像で再現するためには、基線長も小さくしなければならない。しかし、２眼式の立体視内視鏡で得られる立体画像は、基線長が被写体の寸法に対して大きくなり過ぎるため、奥行き感が過剰に強調されたものとなる。これに対し、本実施形態によれば、視差画像の基線長ｄを対物レンズ５の直径以下にすることが可能であり、適切な奥行き感の立体画像を作成することができる。
また、デプスプロファイルは、単一の２次元画像を用いて作成することも可能であるが、その場合、２次元画像における輝度値の変化が、像の立体形状に因るものであるのか、像のぼけに因るものであるのかを区別することができないため、算出された物体距離には誤差が生じ得る。例えば、凸形状が凹形状として算出され、被写体の正しい立体形状を再現できないことがある。これに対し、本実施形態によれば、２つの２次元画像を用い、２つの２次元画像におけるぼけ量が最小となるような物体距離を計算することにより、物体距離を正確に計算することができる。これにより、被写体の立体形状を正しく再現した立体画像を作成することができる。
なお、本実施形態においては、視差画像作成部１５が、交差距離ｒと基線長ｄとをパラメータとして設定することとしたが、前述したように基線長ｄと内向角θとは互いに依存して変化する値であり、基線長ｄに代えて内向角θを変化させた場合にも、図４（ａ）〜（ｃ）に示されるような物体距離と再現距離との関係の説明が成り立つ。したがって視差画像作成部１５は、視差画像を作成する際のパラメータとして、基線長ｄに代えて内向角θを採用することとしてもよい。
また、本実施形態においては、視差画像作成部１５が視差画像の作成する際に、交差距離ｒを被写体Ｘの遠位端Ｐにおける物体距離とすることとしたが、交差距離ｒとして他の値を採用してもよい。この場合、交差距離ｒは、撮像素子６，７により撮影される光学像の２つの合焦位置の間の距離に設定されることが好ましい。
また、本実施形態においては、視差画像作成部１５が、複数の基線長ｄを設定し、同一の２次元画像から基線長ｄの異なる複数の視差画像を作成してもよい。例えば、視差画像作成部１５は、基線長ｄを１ｍｍとして視差画像を作成する第１のモードと、基線長ｄを３ｍｍとして視差画像を作成する第２のモードとを有し、いずれのモードで作成された視差画像を立体画像表示部４に出力するかを、観察者により選択可能に構成されていてもよい。
観察者は、被写体Ｘの全体を俯瞰観察する場合は、第１のモードを選択することにより、奥行きのある被写体であっても眼への負担を低減しながら立体画像を観察することができる。一方、観察者は、被写体の一部を詳細に観察する場合は、第２のモードを選択することにより、被写体Ｘの立体形状を立体画像から正確に把握することができ、例えば、被写体への処置を正確に行うことができる。
また、視差画像作成部１５は、第１のモードと第２のモードとの切り替えを、デプスプロファイルに含まれる物体距離の情報に基づいて行うこととしてもよい。例えば、物体距離の最大値と最小値との差が所定の閾値以上である場合に第１のモードを選択し、前記差が所定の閾値より小さい場合に第２のモードを選択することとしてもよい。
また、立体画像表示部４は、観察者の左右の視線が一点で交差しないように、視差画像である一対の視点画像を左右方向にずらして表示し、左右の視点画像間の距離を調節することにより観察者が得る奥行き感を調節することとしてもよい。
視差画像を立体視する場合、観察者の輻輳角に応じて物体距離と再現距離との関係を示す曲線の傾き（つまり曲線の交わる位置）が変化する。すなわち、左右の視点画像の間隔を変更することにより観察者の輻輳角を調節させ、輻輳角を大きくすることにより観察者が立体画像から得る被写体の奥行き感を低減することができる。
また、本実施形態において説明した光分割手段、合焦位置調節手段および撮像素子の構成は一例であって、この構成に限定されるものではない。図５から図１０は、光分割手段、合焦位置調節手段および撮像素子の変形例をそれぞれ示している。
図５において、光分割手段は、接合された２つのプリズム１１１ａ，１１１ｂを備え、合焦位置調節手段は、プリズム１１１ａ，１１１ｂの接合面に設けられたビームスプリッタ１３１を備えている。この構成において、ビームスプリッタ１３１によって分割された２つの光は、２つのプリズム１１１ａ，１１１ｂから互いに平行に出力され、共通の撮像素子６１の異なる領域において撮影されるようになっている。このようにすることで、撮像素子６１が１つで足りるので、本体２の先端部の構成をより簡素にし、該先端部の小型化を図ることができる。
図６において、光分割手段は、接合された２つのプリズム１１２ａ，１１２ｂを備え、合焦位置調節手段は、プリズム１１２ａ，１１２ｂの接合面に設けられた偏光ビームスプリッタ１３２と、該偏光ビームスプリッタ１３２により偏向された一部分の光に位相差を与える位相差板１６と、該位相差板１６に入射した光を反対側に折り返すミラー１７とを備えている。このようにすることで、偏光ビームスプリッタ１３２によりにより分割された２つの光の光路長の差をより自由に設定することが可能となる。
図７において、光分割手段は、互いに接合された４つのプリズム１１３ａ，１１３ｂ，１１３ｃ，１１３ｄを備え、合焦位置調節手段は、４つのプリズム１１３ａ，１１３ｂ，１１３ｃ，１１３ｄの接合面に設けられた２つのビームスプリッタ１３３ａ，１３３ｂを備えている。４つのプリズム１１３ａ，１１３ｂ，１１３ｃ，１１３ｄは、接合面が、互いに垂直に交差する２つの平面を形成するように接合され、対物レンズ５（図示略）からの光が２つのビームスプリッタ１３３ａ，１３３ｂにより３つに分割されるようになっている。
分割された３つの光は、別々の撮像素子６３ａ，６３ｂ，６３ｃによって撮影される。このようにすることで、デプスプロファイル作成部１４は、合焦位置の異なる３つの２次元画像からデプスプロファイルを作成することとなるので、奥行き方向に形状が大きく変化する被写体についてもより正確なデプスプロファイルを作成することができ、被写体の立体形状をより正確に再現した立体画像を構築することができる。
図８は、図６の構成にプリズム１１２ｃとビームスプリッタ１３２ｂと撮像素子６２ｂとを１つずつ追加した変形例を示しており、対物レンズ５（図示略）から入射した光を３つに分割して合焦位置の異なる３つの２次元画像を取得可能としている。
図９は、対物レンズ５（図示略）からの光をプリズム１１４ａ，１１４ｂ，１１４ｃのみで３つに分割し、分割された各光を撮像素子６４ａ，６４ｂ，６４ｃにより撮影する変形例を示している。すなわち、プリズム１１４ａ，１１４ｂ，１１４ｃが、光分割手段と合焦位置調節手段とを構成している。
また、本実施形態においては、撮像素子６，７が、撮像面に、該撮像面における光の結像状態を位相差方式で検出する結像状態検出手段を備えていてもよい。従来、異なる瞳領域を通過した光束により形成される各像間の位相差を検出することにより、結像状態を検出することが行われている。
結像状態検出手段１８としては、図１０に示されるように、特開２０１２−２２１４７号公報に記載されている光学フィルタが好適に採用される。この光学フィルタは、対物レンズ５からの光のうち、一の瞳領域を通過した光束を撮像素子６，７の一部の画素列へ入射させ、他の瞳領域を通過した光束を一部の画素列と平行であり該一部の画素列の近傍に設けられた他の画素列へ入射させている。図中の符号１８ｈ，１８ｖは、視野角瞳制御素子を示し、符号１８ａは透明部材を示している。
結像状態検出手段は、瞳領域を通過した光のうち一部のみを遮光マスクによって通過させるように構成されていてもよく、マイクロレンズの位置を調整することによって異なる瞳領域を通過した光を画素列に入射させるように構成されていてもよい。
このようにして結像状態検出手段を備えることにより、検出部の距離情報を正確に計測することができるようになり、この正確な距離情報を付加することにより、撮像面全面での距離推定の精度をより高めることが可能となる。
１ 立体視内視鏡装置
２ 内視鏡本体
３ 画像処理ユニット
４ 立体画像表示部（表示部）
５ 対物レンズ
６，７ 撮像素子
８，９ ２次元画像作成部
１０ プリズム型ビームスプリッタ
１１，１２ 直角プリズム（合焦位置調節手段）
１３ ビームスプリッタ（光分割手段）
１４ デプスプロファイル作成部（演算部）
１５ 視差画像作成部
１６ 位相差板
１７ ミラー
１８ 結像状態検出手段
Ａ，Ｂ 視点
Ｘ 被写体
ｄ 基線長
ｒ 交差距離
Ｏ 注視点
Ｓ 軸
θ 内向角

Claims (10)

  1. 被写体からの光を集光して結像する単一の対物レンズと、
    該対物レンズにより集光された光を２以上の光に分割する光分割手段と、
    該光分割手段により分割された各前記光にそれぞれ異なる光路長を与えることによって、前記各光により結像される前記被写体の光学像の合焦位置が前記各光の結像位置に応じてそれぞれ異なるように調節する合焦位置調節手段と、
    該合焦位置調節手段によってそれぞれ異なる光路長が与えられた前記各光の結像位置に配置され、前記被写体の光学像を撮影することによって、前記各光の結像位置に応じて前記合焦位置がそれぞれ異なる２以上の前記被写体の２次元画像を取得する撮像素子と、
    該撮像素子により取得された前記２以上の２次元画像から前記被写体の各位置と前記対物レンズとの間の物体距離を演算する演算部と、
    前記被写体を観察する複数の視点の間隔を前記対物レンズの直径よりも小さな距離に設定し、前記演算部により演算された前記物体距離を用いて、前記複数の視点から前記被写体を観察した複数の視点画像を作成する視差画像作成部と、
    を備える立体視内視鏡装置。
  2. 前記視差画像作成部によって作成された視差画像から立体画像を構築して表示する表示部を備え、
    前記視差画像作成部は、前記物体距離と、前記表示部に表示される立体画像において再現される奥行き方向の再現距離とが略線形関係を有する視差画像を作成する請求項１に記載の立体視内視鏡装置。
  3. 前記視差画像作成部によって作成された視差画像から立体画像を構築して表示する表示部を備え、
    前記視差画像作成部は、前記物体距離と、前記表示部に表示される立体画像において再現される奥行き方向の再現距離とが、前記物体距離の変化に対して前記再現距離の変化が上に凸となる非線形の関係を有する視差画像を作成する請求項１に記載の立体視内視鏡装置。
  4. 前記視差画像作成部が、前記複数の視点の間隔を５ｍｍ以下に設定する請求項１から請求項３のいずれかに記載の立体視内視鏡装置。
  5. 前記視差画像作成部が、前記複数の視点の間隔を複数の距離に設定し、複数の視差画像を作成する請求項１から請求項４のいずれかに記載の立体視内視鏡装置。
  6. 前記光分割手段が、分割した２以上の光を互いに略平行に出力し、
    前記撮像素子は、撮像面が２以上の領域に分割され、前記光分割手段から出力された前記２以上の光を別々の領域において撮影する請求項１から請求項５のいずれかに記載の立体視内視鏡装置。
  7. 前記光分割手段が、互いに接合され、その接合面が前記対物レンズの光軸に交差して配置された２つのプリズムを備え、
    前記合焦位置調節手段が、前記接合面に設けられ、前記対物レンズから一方の前記プリズムに入射した光のうち一部分を他方の前記プリズムへ透過させ、他の部分を前記光軸に交差する方向に偏向するビームスプリッタを備える請求項１から請求項６のいずれかに記載の立体視内視鏡装置。
  8. 前記光分割手段が、前記撮像素子の外径寸法よりも小さい外径寸法を有する請求項１から請求項７のいずれかに記載の立体視内視鏡装置。
  9. 前記視差画像作成部が、各視点から前記被写体を観察した仮想的な視線の交差位置が、前記撮像素子により撮影される２以上の前記被写体の光学像の前記合焦位置同士の間に配されるような視差画像を作成する請求項１から請求項８のいずれかに記載の立体視内視鏡装置。
  10. 前記撮像素子が、撮影する前記光の結像状態を位相差方式で検出する結像状態検出手段を備える請求項１から請求項９のいずれかに記載の立体視内視鏡装置。
JP2012118754A 2012-05-24 2012-05-24 立体視内視鏡装置 Active JP5965726B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012118754A JP5965726B2 (ja) 2012-05-24 2012-05-24 立体視内視鏡装置
CN201380026375.9A CN104321005B (zh) 2012-05-24 2013-04-16 立体视觉内窥镜装置
EP13793831.2A EP2856922B1 (en) 2012-05-24 2013-04-16 Stereoscopic endoscope device
PCT/JP2013/061304 WO2013175899A1 (ja) 2012-05-24 2013-04-16 立体視内視鏡装置
US14/547,600 US20150073209A1 (en) 2012-05-24 2014-11-19 Stereoscopic endoscope device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012118754A JP5965726B2 (ja) 2012-05-24 2012-05-24 立体視内視鏡装置

Publications (2)

Publication Number Publication Date
JP2013244104A JP2013244104A (ja) 2013-12-09
JP5965726B2 true JP5965726B2 (ja) 2016-08-10

Family

ID=49623601

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012118754A Active JP5965726B2 (ja) 2012-05-24 2012-05-24 立体視内視鏡装置

Country Status (5)

Country Link
US (1) US20150073209A1 (ja)
EP (1) EP2856922B1 (ja)
JP (1) JP5965726B2 (ja)
CN (1) CN104321005B (ja)
WO (1) WO2013175899A1 (ja)

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103957770B (zh) * 2012-08-30 2016-05-18 奥林巴斯株式会社 内窥镜
GB2505926A (en) * 2012-09-14 2014-03-19 Sony Corp Display of Depth Information Within a Scene
WO2016043107A1 (ja) 2014-09-18 2016-03-24 オリンパス株式会社 内視鏡システム
JP6153675B2 (ja) * 2015-05-12 2017-06-28 オリンパス株式会社 立体内視鏡装置
JP6600442B2 (ja) * 2015-08-13 2019-10-30 承▲イン▼生醫股▲フン▼有限公司 陰影からの形状復元法を使用する単眼内視鏡立体視システムおよびその方法
JP2018007840A (ja) * 2016-07-13 2018-01-18 オリンパス株式会社 画像処理装置
DE102017123320A1 (de) * 2017-10-09 2019-04-11 Olympus Winter & Ibe Gmbh Stereoendoskop
CN111565620A (zh) * 2017-12-27 2020-08-21 爱惜康有限责任公司 缺光环境中的荧光成像
CN112930676A (zh) * 2018-11-06 2021-06-08 奥林巴斯株式会社 摄像装置、内窥镜装置及摄像装置的工作方法
US11375886B2 (en) 2019-06-20 2022-07-05 Cilag Gmbh International Optical fiber waveguide in an endoscopic system for laser mapping imaging
US11412920B2 (en) 2019-06-20 2022-08-16 Cilag Gmbh International Speckle removal in a pulsed fluorescence imaging system
US11516388B2 (en) 2019-06-20 2022-11-29 Cilag Gmbh International Pulsed illumination in a fluorescence imaging system
US11533417B2 (en) 2019-06-20 2022-12-20 Cilag Gmbh International Laser scanning and tool tracking imaging in a light deficient environment
US11624830B2 (en) 2019-06-20 2023-04-11 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for laser mapping imaging
US11622094B2 (en) 2019-06-20 2023-04-04 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for fluorescence imaging
US11986160B2 (en) 2019-06-20 2024-05-21 Cllag GmbH International Image synchronization without input clock and data transmission clock in a pulsed hyperspectral imaging system
US11516387B2 (en) 2019-06-20 2022-11-29 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11218645B2 (en) 2019-06-20 2022-01-04 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for fluorescence imaging
US11892403B2 (en) 2019-06-20 2024-02-06 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed fluorescence imaging system
US11141052B2 (en) 2019-06-20 2021-10-12 Cilag Gmbh International Image rotation in an endoscopic fluorescence imaging system
US11540696B2 (en) 2019-06-20 2023-01-03 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US11674848B2 (en) 2019-06-20 2023-06-13 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for hyperspectral imaging
US11265491B2 (en) 2019-06-20 2022-03-01 Cilag Gmbh International Fluorescence imaging with fixed pattern noise cancellation
US11083366B2 (en) 2019-06-20 2021-08-10 Cilag Gmbh International Driving light emissions according to a jitter specification in a fluorescence imaging system
US11612309B2 (en) 2019-06-20 2023-03-28 Cilag Gmbh International Hyperspectral videostroboscopy of vocal cords
US11187658B2 (en) 2019-06-20 2021-11-30 Cilag Gmbh International Fluorescence imaging with fixed pattern noise cancellation
US10979646B2 (en) 2019-06-20 2021-04-13 Ethicon Llc Fluorescence imaging with minimal area monolithic image sensor
US10952619B2 (en) 2019-06-20 2021-03-23 Ethicon Llc Hyperspectral and fluorescence imaging and topology laser mapping with minimal area monolithic image sensor
US12013496B2 (en) 2019-06-20 2024-06-18 Cilag Gmbh International Noise aware edge enhancement in a pulsed laser mapping imaging system
US11716543B2 (en) 2019-06-20 2023-08-01 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for fluorescence imaging
US11432706B2 (en) 2019-06-20 2022-09-06 Cilag Gmbh International Hyperspectral imaging with minimal area monolithic image sensor
US11389066B2 (en) 2019-06-20 2022-07-19 Cilag Gmbh International Noise aware edge enhancement in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11288772B2 (en) 2019-06-20 2022-03-29 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11716533B2 (en) 2019-06-20 2023-08-01 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed fluorescence imaging system
US11276148B2 (en) 2019-06-20 2022-03-15 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11671691B2 (en) 2019-06-20 2023-06-06 Cilag Gmbh International Image rotation in an endoscopic laser mapping imaging system
US11122968B2 (en) 2019-06-20 2021-09-21 Cilag Gmbh International Optical fiber waveguide in an endoscopic system for hyperspectral imaging
US11172811B2 (en) 2019-06-20 2021-11-16 Cilag Gmbh International Image rotation in an endoscopic fluorescence imaging system
US11550057B2 (en) 2019-06-20 2023-01-10 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11531112B2 (en) 2019-06-20 2022-12-20 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a hyperspectral, fluorescence, and laser mapping imaging system
US11360028B2 (en) 2019-06-20 2022-06-14 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11294062B2 (en) 2019-06-20 2022-04-05 Cilag Gmbh International Dynamic range using a monochrome image sensor for hyperspectral and fluorescence imaging and topology laser mapping
US11172810B2 (en) 2019-06-20 2021-11-16 Cilag Gmbh International Speckle removal in a pulsed laser mapping imaging system
US11633089B2 (en) 2019-06-20 2023-04-25 Cilag Gmbh International Fluorescence imaging with minimal area monolithic image sensor
US11187657B2 (en) 2019-06-20 2021-11-30 Cilag Gmbh International Hyperspectral imaging with fixed pattern noise cancellation
US11134832B2 (en) 2019-06-20 2021-10-05 Cilag Gmbh International Image rotation in an endoscopic hyperspectral, fluorescence, and laser mapping imaging system
US11937784B2 (en) 2019-06-20 2024-03-26 Cilag Gmbh International Fluorescence imaging in a light deficient environment
US11758256B2 (en) 2019-06-20 2023-09-12 Cilag Gmbh International Fluorescence imaging in a light deficient environment
US11898909B2 (en) 2019-06-20 2024-02-13 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US11412152B2 (en) 2019-06-20 2022-08-09 Cilag Gmbh International Speckle removal in a pulsed hyperspectral imaging system
US11925328B2 (en) 2019-06-20 2024-03-12 Cilag Gmbh International Noise aware edge enhancement in a pulsed hyperspectral imaging system
US11012599B2 (en) 2019-06-20 2021-05-18 Ethicon Llc Hyperspectral imaging in a light deficient environment
US11233960B2 (en) 2019-06-20 2022-01-25 Cilag Gmbh International Fluorescence imaging with fixed pattern noise cancellation
US11221414B2 (en) 2019-06-20 2022-01-11 Cilag Gmbh International Laser mapping imaging with fixed pattern noise cancellation
US11793399B2 (en) 2019-06-20 2023-10-24 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed hyperspectral imaging system
US11924535B2 (en) 2019-06-20 2024-03-05 Cila GmbH International Controlling integral energy of a laser pulse in a laser mapping imaging system
US11931009B2 (en) 2019-06-20 2024-03-19 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a hyperspectral imaging system
US11903563B2 (en) 2019-06-20 2024-02-20 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11700995B2 (en) 2019-06-20 2023-07-18 Cilag Gmbh International Speckle removal in a pulsed fluorescence imaging system
US11457154B2 (en) 2019-06-20 2022-09-27 Cilag Gmbh International Speckle removal in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11237270B2 (en) 2019-06-20 2022-02-01 Cilag Gmbh International Hyperspectral, fluorescence, and laser mapping imaging with fixed pattern noise cancellation
US10841504B1 (en) 2019-06-20 2020-11-17 Ethicon Llc Fluorescence imaging with minimal area monolithic image sensor
US11617541B2 (en) 2019-06-20 2023-04-04 Cilag Gmbh International Optical fiber waveguide in an endoscopic system for fluorescence imaging
US11788963B2 (en) 2019-06-20 2023-10-17 Cilag Gmbh International Minimizing image sensor input/output in a pulsed fluorescence imaging system
US11471055B2 (en) 2019-06-20 2022-10-18 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US11398011B2 (en) 2019-06-20 2022-07-26 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed laser mapping imaging system
TWI718805B (zh) 2019-12-11 2021-02-11 財團法人工業技術研究院 內視鏡立體成像裝置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3112485B2 (ja) 1991-01-22 2000-11-27 オリンパス光学工業株式会社 立体電子スチルカメラ
JP2963990B1 (ja) * 1998-05-25 1999-10-18 京都大学長 距離計測装置及び方法並びに画像復元装置及び方法
JP2001103513A (ja) * 1999-09-27 2001-04-13 Sanyo Electric Co Ltd ２次元映像を３次元映像に変換する方法
JP2001108916A (ja) * 1999-10-08 2001-04-20 Olympus Optical Co Ltd 硬性鏡光学系
US20040125228A1 (en) * 2001-07-25 2004-07-01 Robert Dougherty Apparatus and method for determining the range of remote objects
US7101334B2 (en) * 2001-10-31 2006-09-05 Olympus Corporation Optical observation device and 3-D image input optical system therefor
US7170677B1 (en) * 2002-01-25 2007-01-30 Everest Vit Stereo-measurement borescope with 3-D viewing
GB0301923D0 (en) * 2003-01-28 2003-02-26 Qinetiq Ltd Imaging system
US7405877B1 (en) * 2003-02-10 2008-07-29 Visionsense Ltd. Stereoscopic endoscope
JP2004313523A (ja) * 2003-04-17 2004-11-11 Pentax Corp 固体撮像素子、電子内視鏡
JP4459549B2 (ja) * 2003-05-16 2010-04-28 Ｈｏｙａ株式会社 固体撮像素子、電子内視鏡、及び電子内視鏡装置
US20090076329A1 (en) * 2007-09-17 2009-03-19 Wei Su Disposable Stereoscopic Endoscope System
DE102008018636B4 (de) * 2008-04-11 2011-01-05 Storz Endoskop Produktions Gmbh Vorrichtung und Verfahren zur endoskopischen 3D-Datenerfassung
JP5177668B2 (ja) * 2008-10-08 2013-04-03 国立大学法人 千葉大学 立体画像作成装置及び方法並びに内視鏡検査システム
JP5443802B2 (ja) * 2009-03-24 2014-03-19 オリンパス株式会社 蛍光観察装置
CN201641949U (zh) * 2009-03-26 2010-11-24 庞维克 单镜头立体内窥镜***
EP2544579B1 (en) * 2010-03-12 2018-08-15 Viking Systems, Inc. Stereoscopic visualization system
JP5868183B2 (ja) * 2010-06-15 2016-02-24 パナソニック株式会社 撮像装置及び撮像方法
JP2012022147A (ja) * 2010-07-14 2012-02-02 Olympus Corp 位相差検出用情報取得装置、位相差検出装置、撮像装置
WO2012075631A1 (en) * 2010-12-08 2012-06-14 Industrial Technology Research Institute Methods for generating stereoscopic views from monoscopic endoscope images and systems using the same
JP2011211739A (ja) * 2011-06-01 2011-10-20 Fujifilm Corp 立体視画像作成装置、立体視画像出力装置及び立体視画像作成方法
CN202173382U (zh) * 2011-07-08 2012-03-28 蓝莫德(天津)科学仪器有限公司 双目单通道一体式窥镜
CN103313642B (zh) * 2011-09-29 2016-01-20 奥林巴斯株式会社 内窥镜装置

Also Published As

Publication number Publication date
US20150073209A1 (en) 2015-03-12
EP2856922A1 (en) 2015-04-08
EP2856922B1 (en) 2018-10-10
EP2856922A4 (en) 2016-01-27
CN104321005B (zh) 2017-02-22
WO2013175899A1 (ja) 2013-11-28
JP2013244104A (ja) 2013-12-09
CN104321005A (zh) 2015-01-28

Similar Documents

Publication Publication Date Title
JP5965726B2 (ja) 立体視内視鏡装置
US7298393B2 (en) Stereo-observation system
US9192286B2 (en) Stereoscopic visualization system
EP3254606B1 (en) Endoscope and imaging arrangement providing depth of field
US20160295194A1 (en) Stereoscopic vision system generatng stereoscopic images with a monoscopic endoscope and an external adapter lens and method using the same to generate stereoscopic images
JP5284731B2 (ja) 立体画像撮影表示システム
KR101476820B1 (ko) 3ｄ 비디오 현미경 장치
JP2006208407A (ja) 立体画像観察用顕微鏡システム
JP2007068876A (ja) 医療用立体観察システム
JP6210874B2 (ja) 立体観察装置の調整治具及び立体観察システム
WO2011145311A1 (ja) 表示装置および表示方法
JP6767481B2 (ja) ライトフィールド顕微鏡法を用いる眼科手術
JP4508569B2 (ja) 双眼立体観察装置、電子画像実体顕微鏡、電子画像立体観察装置、電子画像観察装置
US20100259820A1 (en) Stereoscopic image display
JP4253493B2 (ja) 光学観察装置及びこれに用いる立体画像入力光学系
JP4236345B2 (ja) 実体顕微鏡
JP2011053564A (ja) 表示装置および撮像装置
JP2006340017A (ja) 立体映像表示装置及び立体映像表示方法
JP2011215176A (ja) 画像処理装置および方法
JP2011158644A (ja) 表示装置
CN110623625A (zh) 用于二维腹腔镜的三维成像转换器
JP3226361B2 (ja) 立体視硬性内視鏡
US20240069320A1 (en) Digital microscope for medical procedure
JP2004233480A (ja) 立体内視鏡システム
KR101067965B1 (ko) 입체 영상 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160621

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160704

R151 Written notification of patent or utility model registration

Ref document number: 5965726

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250