JPWO2017047115A1 - 光走査型観察システム - Google Patents

光走査型観察システム Download PDF

Info

Publication number
JPWO2017047115A1
JPWO2017047115A1 JP2017540523A JP2017540523A JPWO2017047115A1 JP WO2017047115 A1 JPWO2017047115 A1 JP WO2017047115A1 JP 2017540523 A JP2017540523 A JP 2017540523A JP 2017540523 A JP2017540523 A JP 2017540523A JP WO2017047115 A1 JPWO2017047115 A1 JP WO2017047115A1
Authority
JP
Japan
Prior art keywords
light
image
unit
pixel
observation system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017540523A
Other languages
English (en)
Other versions
JP6640231B2 (ja
Inventor
和真 金子
和真 金子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2017047115A1 publication Critical patent/JPWO2017047115A1/ja
Application granted granted Critical
Publication of JP6640231B2 publication Critical patent/JP6640231B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00172Optical arrangements with means for scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00174Optical arrangements characterised by the viewing angles
    • A61B1/00183Optical arrangements characterised by the viewing angles for variable viewing angles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • G02B26/103Scanning systems having movable or deformable optical fibres, light guides or waveguides as scanning elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/60Rotation of whole images or parts thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00057Operational features of endoscopes provided with means for testing or calibration

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

光走査型観察システムは、光源部から供給される照明光を導光して端部から出射する導光部と、導光部の端部を揺動することにより、端部を経て被写体へ出射される照明光の照射位置を渦巻状の走査経路に沿って変位させることが可能なアクチュエータ部と、被写体からの戻り光を検出し、検出した戻り光に応じた光検出信号を生成して順次出力する光検出部と、光検出部から順次出力される光検出信号を変換して得られる画素情報を、渦巻状の走査経路の中心点を回転中心とする所望の回転角度に応じて回転することにより回転画像を生成するための処理を行う画像生成部と、を有する。

Description

本発明は、光走査型観察システムに関し、特に、被写体を走査して画像を取得する光走査型観察システムに関するものである。
医療分野の内視鏡においては、被検者の負担を軽減するために、当該被検者の体腔内に挿入される挿入部を細径化するための種々の技術が提案されている。そして、このような技術の一例として、前述の挿入部に相当する部分に固体撮像素子を有しない走査型内視鏡が知られている。
具体的には、走査型内視鏡を具備するシステムは、例えば、光源から発せられた照明光を照明用の光ファイバにより伝送し、当該照明用の光ファイバの先端部を揺動させるためのアクチュエータを駆動することにより被写体を所定の走査経路で2次元走査し、当該被写体からの戻り光を受光用の光ファイバで受光し、当該受光用の光ファイバで受光された戻り光に基づいて当該被写体の画像を生成するように構成されている。そして、例えば、日本国特開2011−115252号公報には、このような構成に類する医療用観察システムが開示されている。
ところで、走査型内視鏡を具備するシステムを用いて被写体を走査した際には、例えば、前述のアクチュエータが設けられた挿入部の先端部の上下方向と、当該被写体からの戻り光に基づいて生成された画像の上下方向と、が一致した状態の観察画像が表示装置に表示される。
そのため、走査型内視鏡を具備するシステムにおいては、例えば、表示装置に表示される観察画像の上下方向と、当該観察画像を見ながら被検者の手術を行う術者の意図した上下方向と、の間の相違の度合いに応じ、当該術者に視覚的な違和感を生じさせてしまう場合がある、という問題点が存在している。
しかし、日本国特開2011−115252号公報には、前述の問題点を解消可能な手法等について特に言及されておらず、すなわち、前述の問題点に応じた課題が依然として存在している。
本発明は、前述した事情に鑑みてなされたものであり、被写体を走査して得られた画像が表示装置に表示される際に生じる視覚的な違和感を極力軽減することが可能な光走査型観察システムを提供することを目的としている。
本発明の一態様の光走査型観察システムは、光源部から供給される照明光を導光して端部から出射する導光部と、前記導光部の端部を揺動することにより、前記端部を経て被写体へ出射される前記照明光の照射位置を渦巻状の走査経路に沿って変位させることが可能なアクチュエータ部と、前記被写体からの戻り光を検出し、当該検出した戻り光に応じた光検出信号を生成して順次出力する光検出部と、前記光検出部から順次出力される前記光検出信号を変換して得られる画素情報を、前記渦巻状の走査経路の中心点を回転中心とする所望の回転角度に応じて回転することにより回転画像を生成するための処理を行う画像生成部と、を有する。
実施例に係る光走査型観察システムの要部の構成を示す図。 アクチュエータ部の構成を説明するための断面図。 アクチュエータ部に供給される駆動信号の信号波形の一例を示す図。 中心点Aから最外点Bに至る渦巻状の走査経路の一例を示す図。 最外点Bから中心点Aに至る渦巻状の走査経路の一例を示す図。 画像生成部の構成の一例を示す図。 内視鏡により走査される被写体の一例を示す図。 図7の被写体を走査した際に生成される元画像の一例を示す図。 図8の元画像を用いて生成される回転画像の一例を示す図。 誤差角度θeの算出に係る処理を説明するための図。
以下、本発明の実施の形態について、図面を参照しつつ説明を行う。
図1から図10は、本発明の実施例に係るものである。図1は、実施例に係る光走査型観察システムの要部の構成を示す図である。
光走査型観察システム1は、例えば、図1に示すように、被検者の体腔内に挿入される走査型の内視鏡2と、内視鏡2を接続可能な本体装置3と、本体装置3に接続される表示装置4と、本体装置3に対する情報の入力及び指示を行うことが可能な入力装置5と、を有して構成されている。
内視鏡2は、被検者の体腔内に挿入可能な細長形状を備えて形成された挿入部11を有して構成されている。
挿入部11の基端部には、内視鏡2を本体装置3のコネクタ受け部62に着脱自在に接続するためのコネクタ部61が設けられている。
コネクタ部61及びコネクタ受け部62の内部には、図示しないが、内視鏡2と本体装置3とを電気的に接続するための電気コネクタ装置が設けられている。また、コネクタ部61及びコネクタ受け部62の内部には、図示しないが、内視鏡2と本体装置3とを光学的に接続するための光コネクタ装置が設けられている。
挿入部11の内部における基端部から先端部にかけての部分には、本体装置3の光源ユニット21から供給される照明光を導光して出射端部から出射する光ファイバである照明用ファイバ12と、被写体からの戻り光を受光して本体装置3の検出ユニット23へ導くための1本以上の光ファイバを具備する受光用ファイバ13と、がそれぞれ挿通されている。すなわち、照明用ファイバ12は、導光部としての機能を有して構成されている。
照明用ファイバ12の光入射面を含む入射端部は、本体装置3の内部に設けられた合波器32に配置されている。また、照明用ファイバ12の光出射面を含む出射端部は、挿入部11の先端部に設けられたレンズ14aの光入射面の近傍に配置されている。
受光用ファイバ13の光入射面を含む入射端部は、挿入部11の先端部の先端面における、レンズ14bの光出射面の周囲に固定配置されている。また、受光用ファイバ13の光出射面を含む出射端部は、本体装置3の内部に設けられた光検出器37に配置されている。
照明光学系14は、照明用ファイバ12の光出射面を経た照明光が入射されるレンズ14aと、レンズ14aを経た照明光を被写体へ出射するレンズ14bと、を有して構成されている。
挿入部11の先端部側における照明用ファイバ12の中途部には、本体装置3のドライバユニット22から供給される駆動信号に基づいて駆動するアクチュエータ部15が設けられている。
照明用ファイバ12及びアクチュエータ部15は、挿入部11の長手軸方向に垂直な断面において、例えば、図2に示す位置関係を具備するようにそれぞれ配置されている。図2は、アクチュエータ部の構成を説明するための断面図である。
照明用ファイバ12とアクチュエータ部15との間には、図2に示すように、接合部材としてのフェルール41が配置されている。具体的には、フェルール41は、例えば、ジルコニア(セラミック)またはニッケル等により形成されている。
フェルール41は、図2に示すように、四角柱として形成されており、挿入部11の長手軸方向に直交する第1の軸方向であるX軸方向に対して垂直な側面42a及び42cと、挿入部11の長手軸方向に直交する第2の軸方向であるY軸方向に対して垂直な側面42b及び42dと、を有している。また、フェルール41の中心には、照明用ファイバ12が固定配置されている。
アクチュエータ部15は、例えば、図2に示すように、側面42aに沿って配置された圧電素子15aと、側面42bに沿って配置された圧電素子15bと、側面42cに沿って配置された圧電素子15cと、側面42dに沿って配置された圧電素子15dと、を有している。
圧電素子15a〜15dは、予め個別に設定された分極方向を具備し、本体装置3から供給される駆動信号により印加される駆動電圧に応じてそれぞれ伸縮するように構成されている。
すなわち、アクチュエータ部15の圧電素子15a及び15cは、本体装置3から供給される駆動信号に応じて振動することにより、照明用ファイバ12をX軸方向に揺動させることが可能なX軸用アクチュエータとして構成されている。また、アクチュエータ部15の圧電素子15b及び15dは、本体装置3から供給される駆動信号に応じて振動することにより、照明用ファイバ12をY軸方向に揺動させることが可能なY軸用アクチュエータとして構成されている。
挿入部11の内部には、内視鏡2毎に固有の内視鏡情報として、例えば、後述の処理に用いられる誤差角度θe等の情報が格納される不揮発性のメモリ16が設けられている。そして、メモリ16に格納された内視鏡情報は、内視鏡2のコネクタ部61と本体装置3のコネクタ受け部62とが接続され、かつ、本体装置3の電源がオンされた際に、本体装置3のコントローラ25により読み出される。
本体装置3は、光源ユニット21と、ドライバユニット22と、検出ユニット23と、メモリ24と、コントローラ25と、を有して構成されている。
光源ユニット21は、光源31aと、光源31bと、光源31cと、合波器32と、を有して構成されている。
光源31aは、例えばレーザ光源等を具備し、コントローラ25の制御により発光された際に、赤色の波長帯域の光(以降、R光とも称する)を合波器32へ出射するように構成されている。
光源31bは、例えばレーザ光源等を具備し、コントローラ25の制御により発光された際に、緑色の波長帯域の光(以降、G光とも称する)を合波器32へ出射するように構成されている。
光源31cは、例えばレーザ光源等を具備し、コントローラ25の制御により発光された際に、青色の波長帯域の光(以降、B光とも称する)を合波器32へ出射するように構成されている。
合波器32は、光源31aから発せられたR光と、光源31bから発せられたG光と、光源31cから発せられたB光と、を合波して照明用ファイバ12の光入射面に供給することができるように構成されている。
ドライバユニット22は、コントローラ25の制御に基づき、アクチュエータ部15のX軸用アクチュエータを駆動させるための駆動信号DAを生成して供給するように構成されている。また、ドライバユニット22は、コントローラ25の制御に基づき、アクチュエータ部15のY軸用アクチュエータを駆動させるための駆動信号DBを生成して供給するように構成されている。また、ドライバユニット22は、信号発生器33と、D/A変換器34a及び34bと、アンプ35a及び35bと、を有して構成されている。
信号発生器33は、コントローラ25の制御に基づき、照明用ファイバ12の出射端部をX軸方向に揺動させるための第1の駆動御信号として、例えば、下記数式(1)により示されるような波形を具備する信号を生成してD/A変換器34aに出力するように構成されている。なお、下記数式(1)において、X(t)は時刻tにおける信号レベルを表し、Axは時刻tに依存しない振幅値を表し、G(t)は正弦波sin(2πft)の変調に用いられる所定の関数を表すものとする。

X(t)=Ax×G(t)×sin(2πft) ・・・(1)

また、信号発生器33は、コントローラ25の制御に基づき、照明用ファイバ12の出射端部をY軸方向に揺動させるための第2の駆動御信号として、例えば、下記数式(2)により示されるような波形を具備する信号を生成してD/A変換器34bに出力するように構成されている。なお、下記数式(2)において、Y(t)は時刻tにおける信号レベルを表し、Ayは時刻tに依存しない振幅値を表し、G(t)は正弦波sin(2πft+φ)の変調に用いられる所定の関数を表し、φは位相を表すものとする。

Y(t)=Ay×G(t)×sin(2πft+φ) ・・・(2)

D/A変換器34aは、信号発生器33から出力されたデジタルの第1の駆動制御信号をアナログの電圧信号である駆動信号DAに変換してアンプ35aへ出力するように構成されている。
D/A変換器34bは、信号発生器33から出力されたデジタルの第2の駆動制御信号をアナログの電圧信号である駆動信号DBに変換してアンプ35bへ出力するように構成されている。
アンプ35aは、D/A変換器34aから出力される駆動信号DAを増幅してアクチュエータ部15の圧電素子15a及び15cへ出力するように構成されている。
アンプ35bは、D/A変換器34bから出力される駆動信号DBを増幅してアクチュエータ部15の圧電素子15b及び15dへ出力するように構成されている。
ここで、例えば、上記数式(1)及び(2)において、Ax=Ayかつφ=π/2に設定された場合には、図3の破線で示すような信号波形を具備する駆動信号DAに応じた駆動電圧がアクチュエータ部15の圧電素子15a及び15cに印加されるとともに、図3の一点鎖線で示すような信号波形を具備する駆動信号DBに応じた駆動電圧がアクチュエータ部15の圧電素子15b及び15dに印加される。図3は、アクチュエータ部に供給される駆動信号の信号波形の一例を示す図である。
また、例えば、図3の破線で示すような信号波形を具備する駆動信号DAに応じた駆動電圧がアクチュエータ部15の圧電素子15a及び15cに印加されるとともに、図3の一点鎖線で示すような信号波形を具備する駆動信号DBに応じた駆動電圧がアクチュエータ部15の圧電素子15b及び15dに印加された場合には、照明用ファイバ12の出射端部が渦巻状に揺動され、このような揺動に応じて被写体の表面が図4及び図5に示すような渦巻状の走査経路で走査される。図4は、中心点Aから最外点Bに至る渦巻状の走査経路の一例を示す図である。図5は、最外点Bから中心点Aに至る渦巻状の走査経路の一例を示す図である。
具体的には、まず、時刻T1においては、被写体の表面における照明光の照射位置の中心点Aに相当する位置に照明光が照射される。その後、駆動信号DA及びDBの信号レベル(電圧)が時刻T1から時刻T2にかけて増加するに伴い、被写体の表面における照明光の照射位置が中心点Aを起点として外側へ第1の渦巻状の走査経路を描くように変位し、さらに、時刻T2に達すると、被写体の表面における照明光の照射位置の最外点Bに照明光が照射される。そして、駆動信号DA及びDBの信号レベル(電圧)が時刻T2から時刻T3にかけて減少するに伴い、被写体の表面における照明光の照射位置が最外点Bを起点として内側へ第2の渦巻状の走査経路を描くように変位し、さらに、時刻T3に達すると、被写体の表面における中心点Aに照明光が照射される。
すなわち、アクチュエータ部15は、ドライバユニット22から供給される駆動信号DA及びDBに基づいて照明用ファイバ12の出射端部を揺動することにより、当該出射端部を経て被写体へ出射される照明光の照射位置を図4及び図5に示す渦巻状の走査経路に沿って変位させることが可能な構成を具備している。
検出ユニット23は、光検出部としての機能を有し、内視鏡2の受光用ファイバ13により受光された戻り光を検出し、当該検出した戻り光の強度に応じた光検出信号を生成して順次出力するように構成されている。具体的には、検出ユニット23は、光検出器37と、A/D変換器38と、を有して構成されている。
光検出器37は、例えば、アバランシェフォトダイオード等を具備し、受光用ファイバ13の光出射面から出射される光(戻り光)を検出し、当該検出した光の強度に応じたアナログの光検出信号を生成してA/D変換器38へ順次出力するように構成されている。
A/D変換器38は、光検出器37から出力されたアナログの光検出信号をデジタルの光検出信号に変換してコントローラ25へ順次出力するように構成されている。
メモリ24には、本体装置3の制御の際に用いられる制御情報として、例えば、図3の信号波形を特定するためのパラメータ、及び、検出ユニット23から順次出力される光検出信号の出力タイミングと、当該光検出信号を変換して得られる画素情報の適用先となる画素位置と、の間の対応関係を示すテーブルであるマッピングテーブル等の情報が格納されている。
コントローラ25は、例えば、FPGA(Field Programmable Gate Array)等の集積回路を具備し、入力装置5の操作に応じた動作を行うことができるように構成されている。
コントローラ25は、図示しない信号線等を介してコネクタ受け部62におけるコネクタ部61の接続状態を検出することにより、挿入部11が本体装置3に電気的に接続されているか否かを検出することができるように構成されている。具体的には、コントローラ25は、例えば、コネクタ部61の所定の端子に設けられた抵抗器の抵抗値、または、コネクタ部61のGND端子の接続先となるコネクタ受け部62の所定の端子における電位差を計測することにより、挿入部11が本体装置3に電気的に接続されているか否かを検出するように構成されている。
なお、前述の抵抗値または電位差を計測する際には、チャタリングを防ぐために、例えば、0.5秒程度の検知期間を設けることが望ましい。また、コントローラ25は、例えば、前述の抵抗値または電位差の計測に失敗した際に、本体装置3に対する挿入部11の接続を検出できなかった旨を報知するための動作を行ってもよく、あるいは、コネクタ部61及びコネクタ受け部62のクリーニングを促す旨を報知するための動作を行ってもよい。
コントローラ25は、本体装置3の電源が投入された際にメモリ24に格納された制御情報を読み込み、当該読み込んだ制御情報に応じた動作を行うことができるように構成されている。また、コントローラ25は、光源制御部25aと、走査制御部25bと、演算処理部25cと、画像生成部25dと、を有して構成されている。
光源制御部25aは、メモリ24から読み込んだ制御情報に基づき、例えば、R光、G光及びB光をこの順番で繰り返し出射させるための制御を光源ユニット21に対して行うように構成されている。
走査制御部25bは、メモリ24から読み込んだ制御情報に基づき、例えば、図3に示すような信号波形を具備する駆動信号を生成させるための制御等をドライバユニット22に対して行うように構成されている。
演算処理部25cは、入力装置5の操作に応じて設定された回転角度θiと、メモリ16から読み込んだ内視鏡情報に含まれる誤差角度θeと、に基づき、メモリ24から読み込んだ制御情報に含まれるマッピングテーブルで規定されている回転前の画素位置を渦巻状の走査経路の中心点Aを回転中心として回転することにより回転後の画素位置を取得するための演算処理を行うとともに、当該演算処理により取得された回転後の画素位置を画像生成部25dに出力するように構成されている。
画像生成部25dは、メモリ24から読み込んだ制御情報に含まれるマッピングテーブルに基づき、時刻T1からT2までの期間内に検出ユニット23から順次出力される光検出信号をRGB成分等の画素情報に変換してマッピングする(配置する)ことにより、渦巻状の走査経路の中心点Aを回転中心とする回転角度θi及び誤差角度θeに応じて回転される前の画像である元画像を1フレーム分ずつ生成するように構成されている。また、画像生成部25dは、前述のように生成した元画像の各画素位置における画素情報を、演算処理部25cから出力される回転後の各画素位置に合わせてリマッピングする(再配置する)ことにより、渦巻状の走査経路の中心点Aを回転中心とする回転角度θi及び誤差角度θeに応じて回転した後の画像である回転画像を1フレーム分ずつ生成し、当該生成した回転画像に応じた観察画像を表示装置4へ出力するように構成されている。また、画像生成部25dは、例えば、図6に示すように、マッピング処理部51と、画像処理部52と、出力処理部53と、を有して構成されている。図6は、画像生成部の構成の一例を示す図である。
マッピング処理部51は、少なくとも1フレーム分の画像を記憶可能な記憶容量を備えたメモリ51mを有して構成されている。また、マッピング処理部51は、メモリ24から読み込んだ制御情報に含まれるマッピングテーブルに基づき、時刻T1からT2までの期間内に検出ユニット23から順次出力される光検出信号を画素情報に変換してマッピングする(配置する)マッピング処理を行うことにより元画像を1フレーム分ずつ生成し、当該生成した元画像をメモリ51mに順次書き込むように構成されている。
画像処理部52は、少なくとも1フレーム分の画像を記憶可能な記憶容量を備えたメモリ52mを有して構成されている。また、画像処理部52は、メモリ51mに書き込まれた最新の1フレーム分の元画像を読み出し、当該読み出した元画像に対して所定の画像処理を施すように構成されている。また、画像処理部52は、所定の画像処理を施した元画像の各画素位置における画素情報を、演算処理部25cから出力される回転後の各画素位置に合わせてリマッピングする(再配置する)リマッピング処理を行うことにより回転画像を1フレーム分ずつ生成し、当該生成した回転画像をメモリ52mに順次書き込むように構成されている。
ところで、内視鏡2は、例えば、アクチュエータ部15の取り付け状態が標準的な状態からずれている等の要因によるアクチュエータ部15の製造誤差(製造ばらつき)を有した状態で使用され得る。また、アクチュエータ部15の製造誤差(製造ばらつき)に起因し、例えば、図7に示すような「E」の文字を被写体として走査した際に、マッピング処理を経て生成された元画像に含まれる「E」の文字が、ユーザにより設定される回転角度θiとは関係なく、渦巻状の走査経路の中心点Aを回転中心として誤差角度θeだけ回転してしまうような現象が発生し得る(図8参照)。そのため、本実施例においては、例えば、図9に示すように、回転角度θi及び誤差角度θeを併せて考慮しつつ、前述のような現象が解消された状態の回転画像を生成するようにしている。図7は、内視鏡により走査される被写体の一例を示す図である。図8は、図7の被写体を走査した際に生成される元画像の一例を示す図である。図9は、図8の元画像を用いて生成される回転画像の一例を示す図である。
また、本実施例によれば、アクチュエータ部15の製造誤差(製造ばらつき)が、マッピング処理を経て生成された元画像における、渦巻状の走査経路の中心点Aを回転中心とする回転誤差として顕在化される。そのため、本実施例によれば、前述の回転誤差として顕在化されたアクチュエータ部15の製造誤差(製造ばらつき)を好適に補正することができる。
また、画像処理部52は、所定の画像処理として、例えば、メモリ51mから読み込んだ元画像のRGB成分を輝度成分及び色差成分に変換する変換処理と、当該変換処理を経て得られた色差成分に対して所定のマトリクスを用いた色補正処理を施す色補正処理と、当該変換処理を経て得られた輝度成分に対して輪郭強調または構造強調等を施す強調処理と、当該色補正処理を施した色差成分及び当該強調処理を施した輝度成分をRGB成分に再変換する再変換処理と、当該再変換処理を経て得られたRGB成分に対してガンマ補正を施すガンマ補正処理と、を行うように構成されている。
なお、以上に例示した所定の画像処理は、メモリ51mから読み込んだ元画像に対して行われるものに限らず、当該元画像を用いて生成した回転画像に対して行われるものであってもよい。また、本実施例によれば、画像処理部52において行われる所定の画像処理の中に、例えば、デジタル信号の信号値の上限値を最大値未満の所定値に制限する処理であるクリップ処理またはクロマサプレス処理を組み込むことにより、メモリ51mから読み込んだ元画像におけるハレーションの発生箇所が非飽和の色成分で着色されてしまう現象を回避するようにしてもよい。
出力処理部53は、メモリ52mに書き込まれた回転画像を1フレーム分ずつ順次読み出し、当該読み出した回転画像に対してトリミングまたはマスキング等の所定の処理を施すことにより円形の観察画像を生成するように構成されている。また、出力処理部53は、前述のように生成した観察画像をHD−SDI方式等のデジタル映像の伝送規格に則って表示装置4へ出力するように構成されている。
表示装置4は、例えば、デジタル入力に対応したLCD(液晶ディスプレイ)等を具備し、本体装置3から出力される観察画像を表示することができるように構成されている。
入力装置5は、例えば、スイッチ及びボタン等を具備して構成されている。なお、入力装置5は、本体装置3とは別体の装置として構成されていてもよく、または、本体装置3と一体化したインターフェースとして構成されていてもよい。
続いて、以上に述べたような構成を具備する光走査型観察システム1の動作等について説明する。なお、以降においては、誤差角度θe及び回転角度θiが、図4の第1の渦巻状の走査経路の中心点Aを回転中心とする角度である場合を例に挙げて説明する。
まず、メモリ16に格納される誤差角度θeの取得方法の具体例について説明する。
工場作業者は、例えば、内視鏡2の製造時に、光走査型観察システム1の各部を接続して電源を投入し、図示しないPSD(位置検出素子)の受光面と内視鏡2の先端面とを対向させた状態で配置し、当該PSDからの出力信号が演算処理部25cに入力されるようにケーブル等を配線する。
その後、工場作業者は、入力装置5の走査開始スイッチ(不図示)を操作することにより、内視鏡2による走査を開始させるための指示をコントローラ25に対して行う。そして、このような指示に応じ、PSDの受光面が渦巻状の走査経路で走査されるとともに、当該PSDからの出力信号が演算処理部25cに順次入力される。
演算処理部25cは、入力装置5の走査開始スイッチが操作されたこと、及び、メモリ16から読み込んだ内視鏡情報に誤差角度θeが含まれていないことをそれぞれ検出した際に、PSDから順次出力される出力信号に基づき、図4及び図5に示した渦巻状の走査経路の最外点Bに相当する座標値MVを取得する。また、誤差角度取得部としての機能を備えた演算処理部25cは、前述のように取得した座標値MVと、標準的な配置状態で配置されたアクチュエータ部15を有する内視鏡2を用いてPSDの受光面を走査した際に取得される最外点Bの座標値IVと、に基づいて誤差角度θeを算出するための処理を行う。
ここで、例えば、PSDから順次出力される出力信号に基づいて取得される座標値が、図10に示すような、第1の渦巻状の走査経路の中心点Aの座標値を原点(0,0)とするXY直交座標系の座標値である場合には、アクチュエータ部15の製造誤差(製造ばらつき)に起因して内視鏡2毎に異なる座標値MV(xm,ym)が取得され得るとともに、座標値IVをY軸上の座標値(0,ymax)として表すことができる。そのため、このような場合においては、座標値IV(0,ymax)に対する座標値MV(xm,ym)の回転角度を、第1の渦巻状の走査経路の最外点Bに相当する照明光の照射位置のずれの大きさを示す誤差角度θeとして算出することができる。図10は、誤差角度θeの算出に係る処理を説明するための図である。
なお、座標値IVの座標値は、誤差角度θeの算出時に既知の値として扱われる限りにおいては、例えば、メモリ24から読み込まれる制御情報に予め含まれていてもよく、または、入力装置5の操作に応じて入力されるものであってもよい。
演算処理部25cは、前述のように取得した誤差角度θeをメモリ16に格納させた後、誤差角度θeの取得に係る処理が完了した旨を工場作業者に報知するための文字列等を表示装置4に表示させるための制御を行う。
なお、本実施例によれば、座標値IVに対する座標値MVの回転角度を特定可能な限りにおいては、当該回転角度以外の他のパラメータが誤差角度θeとしてメモリ16に格納されるようにしてもよい。
次に、回転角度θi及び誤差角度θeに応じた回転画像の生成に係る動作の具体例について説明する。
術者等のユーザは、光走査型観察システム1の各部を接続して電源をオンした後、入力装置5の走査開始スイッチを操作することにより、内視鏡2による走査を開始させるための指示をコントローラ25に対して行う。また、ユーザは、内視鏡2による走査を開始させた後で入力装置5を操作することにより、表示装置4に表示される観察画像の回転角度θiを所望の回転角度に設定するための指示をコントローラ25に対して行う。
なお、本実施例においては、例えば、入力装置5に設けられた画像回転ボタン(不図示)が1回押下される毎に回転角度θiが45°ずつ(0°→45°→90°→…→315°→0°の順に)変化するようにしてもよく、入力装置5に設けられたジョグダイヤル(不図示)の回転操作に応じて回転角度θiが変化するようにしてもよく、または、入力装置5に設けられたタッチパネル(不図示)のタッチ操作に応じて回転角度θiが変化するようにしてもよい。
演算処理部25cは、内視鏡2のコネクタ部61と本体装置3のコネクタ受け部62とが接続され、かつ、本体装置3の電源がオンされた際に、メモリ24に予め格納された制御情報と、メモリ16に予め格納された内視鏡情報と、をそれぞれ読み込む。また、演算処理部25cは、入力装置5の走査開始スイッチが操作されたこと、及び、メモリ16から読み込んだ内視鏡情報に誤差角度θeが含まれていることをそれぞれ検出した際に、入力装置5の画像回転ボタンの操作に応じて設定された回転角度θiと、当該検出した誤差角度θeと、に基づき、メモリ24から読み込んだ制御情報に含まれるマッピングテーブルで規定されている回転前の画素位置を第1の渦巻状の走査経路の中心点Aを回転中心として回転することにより、回転後の画素位置を取得するための演算処理を行う。
ここで、回転後の画素位置を取得するための演算処理の具体例について説明する。
演算処理部25cは、メモリ24から読み込んだ制御情報に含まれるマッピングテーブルの中から、時刻T1に応じた出力タイミングで検出ユニット23から出力される光検出信号を変換して得られた画素情報が適用される画素である、図4の第1の渦巻状の走査経路の中心点Aに相当する画素位置の画素を抽出する。そして、設定部としての機能を備えた演算処理部25cは、前述のように抽出した画素を画像生成部25dにより生成される回転画像の回転中心の画素として設定するための処理として、例えば、当該画素を原点(0,0)とするXY直交座標系を設定する処理を行う。
演算処理部25cは、メモリ24から読み込んだ制御情報に含まれるマッピングテーブルで規定されている画素位置である回転前の画素位置(PXA,PYA)を、所定の変換パターンに則って変換することにより、前述のように設定したXY直交座標系の座標値(Pxa,Pya)を取得した後、当該取得した座標値(Pxa,Pya)を極座標形式の座標値(Pr,Pθ)に変換するための処理を行う。
演算処理部25cは、前述のように変換した座標値(Pr,Pθ)のPθに対し、回転角度θiから誤差角度θeを減じて得られる角度を加えることにより極座標形式の座標値(Pr,Pθ+(θi−θe))を算出し、当該算出した座標値(Pr,Pθ+(θi−θe))をXY直交座標系の座標値(Pxb,Pyb)に変換するための処理を行う。
そして、演算処理部25cは、前述のように取得した座標値(Pxb,Pyb)を、前述の所定の変換パターンとは逆のパターンに則って変換することにより、回転後の画素位置(PXB,PYB)を取得する。
一方、マッピング処理部51は、メモリ24から読み込んだ制御情報に含まれるマッピングテーブルに基づき、時刻T1からT2までの期間内に検出ユニット23から順次出力される光検出信号を画素情報に変換してマッピングする(配置する)マッピング処理を行うことにより元画像を1フレーム分ずつ生成し、当該生成した元画像をメモリ51mに順次書き込む。
画像処理部52は、メモリ51mに書き込まれた最新の1フレーム分の元画像を読み出し、当該読み出した元画像に対して所定の画像処理を施し、さらに、当該所定の画像処理を施した元画像の各画素位置における画素情報を、演算処理部25cから出力される回転後の各画素位置に合わせてリマッピングする(再配置する)リマッピング処理を行うことにより回転画像を1フレーム分ずつ生成し、当該生成した回転画像をメモリ52mに順次書き込む。すなわち、画像処理部52は、演算処理部25cから出力される回転後の画素位置に基づき、メモリ51mから読み出した元画像の各画素位置における画素情報を、第1の渦巻状の走査経路の中心点Aを回転中心とする回転角度θiから誤差角度θeを減じて得られる角度だけ回転することにより回転画像を生成する。
出力処理部53は、メモリ52mに書き込まれた回転画像を1フレーム分ずつ順次読み出し、当該読み出した回転画像に対してトリミングまたはマスキング等の所定の処理を施すことにより円形の観察画像を生成し、当該生成した観察画像をデジタル映像の伝送規格に則って表示装置4へ出力する。
以上に述べたように、本実施例によれば、アクチュエータ部15の製造誤差(製造ばらつき)に起因して生じる画像の回転を除去しつつ、渦巻状の走査経路の中心点Aを回転中心とするユーザの所望の回転角度に応じて回転した回転画像を観察画像として表示装置4に表示させることができる。そのため、本実施例によれば、被写体を走査して得られた画像が表示装置に表示される際に生じる視覚的な違和感を極力軽減することができる。
一方、本実施例によれば、例えば、内視鏡2毎に予め取得された歪み補正用のパラメータを用い、メモリ51mから読み込んだ元画像に対して歪み補正を施した後で回転画像を生成することができる。そのため、本実施例によれば、回転角度θi及び誤差角度θeに応じた回転画像の生成に起因して生じ得る観察画像の歪みを極力抑制することができる。
なお、本実施例の画像処理部52は、例えば、メモリ51mから読み込んだ元画像を拡大または縮小するための処理である変倍処理をリマッピング処理に併せて行うようにしてもよい。
また、本実施例の画像生成部25dは、例えば、回転角度θiの現在の設定値を示す文字列及び/またはマーク等の視覚情報を観察画像に併せて表示装置4に表示させるための動作を行うようにしてもよい。
また、本実施例によれば、例えば、メモリ24から読み込んだ制御情報に含まれるマッピングテーブルで規定されている回転前の画素位置(PXA,PYA)を、前述のように取得した回転後の画素位置(PXB,PYB)に置換することにより新たなマッピングテーブルを生成するための処理が演算処理部25cにおいて行われるとともに、当該新たなマッピングテーブルを用いたマッピング処理がマッピング処理部51において行われるようにしてもよい。そして、このような構成によれば、マッピング処理部51のマッピング処理により回転画像を直接生成することができ、すなわち、画像処理部52におけるリマッピング処理が不要となるため、例えば、当該回転画像に対して所定の画像処理を施す際の画像処理部52のリソースを十分に確保することができる。
また、本実施例によれば、例えば、入力装置5のフリーズスイッチ(不図示)の操作に応じ、出力処理部53から表示装置4への観察画像の出力を一時停止させるための動作が行われるようにしてもよい。
なお、本発明は、上述した実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
本出願は、2015年9月17日に日本国に出願された特願2015−184108号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。
本発明の一態様の光走査型観察システムは、光源部から供給される照明光を導光して端部から出射する導光部と、前記導光部の端部を揺動することにより、前記端部を経て被写体へ出射される前記照明光の照射位置を渦巻状の走査経路に沿って変位させることが可能なアクチュエータ部と、前記被写体からの戻り光を検出し、当該検出した戻り光に応じた光検出信号を生成して順次出力する光検出部と、前記渦巻状の走査経路の最外点に相当する前記照明光の照射位置のずれの大きさを示す誤差角度を取得するための処理を行う誤差角度取得部と、前記光検出部から順次出力される前記光検出信号を変換して得られる画素情報を、前記渦巻状の走査経路の中心点を回転中心とする所望の回転角度から前記誤差角度を減じて得られる角度だけ回転することにより回転画像を生成するための処理を行う画像生成部と、を有する。

Claims (7)

  1. 光源部から供給される照明光を導光して端部から出射する導光部と、
    前記導光部の端部を揺動することにより、前記端部を経て被写体へ出射される前記照明光の照射位置を渦巻状の走査経路に沿って変位させることが可能なアクチュエータ部と、
    前記被写体からの戻り光を検出し、当該検出した戻り光に応じた光検出信号を生成して順次出力する光検出部と、
    前記光検出部から順次出力される前記光検出信号を変換して得られる画素情報を、前記渦巻状の走査経路の中心点を回転中心とする所望の回転角度に応じて回転することにより回転画像を生成するための処理を行う画像生成部と、
    を有することを特徴とする光走査型観察システム。
  2. 前記渦巻状の走査経路の最外点に相当する前記照明光の照射位置のずれの大きさを示す誤差角度を取得するための処理を行う誤差角度取得部をさらに有し、
    前記画像生成部は、前記所望の回転角度から前記前記誤差角度を減じて得られる角度だけ前記画素情報を回転することにより前記回転画像を生成する
    ことを特徴とする請求項1に記載の光走査型観察システム。
  3. 前記画像生成部は、前記光検出信号の出力タイミングと、前記画素情報の適用先となる画素位置と、の間の対応関係を示すテーブルに基づいて前記画素情報をマッピングすることにより元画像を生成するための処理を行うとともに、前記元画像の各画素位置における前記画素情報を前記所望の回転角度に応じて回転することにより前記回転画像を生成するための処理を行う
    ことを特徴とする請求項1に記載の光走査型観察システム。
  4. 前記テーブルの中から前記渦巻状の走査経路の中心点に相当する画素位置の画素を抽出し、当該抽出した画素を前記画像生成部により生成される前記回転画像の回転中心の画素として設定するための処理を行う設定部をさらに有する
    ことを特徴とする請求項3に記載の光走査型観察システム。
  5. 前記画像生成部は、前記回転画像を生成するための処理に併せ、前記元画像を拡大または縮小するための処理を行う
    ことを特徴とする請求項3に記載の光走査型観察システム。
  6. 前記誤差角度は、前記導光部及び前記アクチュエータ部を有する内視鏡に設けられたメモリに格納される
    ことを特徴とする請求項1に記載の光走査型観察システム。
  7. 前記画像生成部は、前記所望の回転角度の現在の設定値を示す視覚情報を前記回転画像に併せて表示装置に表示させるための動作を行う
    ことを特徴とする請求項1に記載の光走査型観察システム。
JP2017540523A 2015-09-17 2016-02-08 光走査型観察システム Active JP6640231B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015184108 2015-09-17
JP2015184108 2015-09-17
PCT/JP2016/053659 WO2017047115A1 (ja) 2015-09-17 2016-02-08 光走査型観察システム

Publications (2)

Publication Number Publication Date
JPWO2017047115A1 true JPWO2017047115A1 (ja) 2018-08-09
JP6640231B2 JP6640231B2 (ja) 2020-02-05

Family

ID=58288602

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017540523A Active JP6640231B2 (ja) 2015-09-17 2016-02-08 光走査型観察システム

Country Status (3)

Country Link
US (1) US20180199798A1 (ja)
JP (1) JP6640231B2 (ja)
WO (1) WO2017047115A1 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0490743A (ja) * 1990-08-02 1992-03-24 Olympus Optical Co Ltd 内視鏡装置
JPH10262921A (ja) * 1997-03-24 1998-10-06 Olympus Optical Co Ltd 電子内視鏡装置
US7037258B2 (en) * 1999-09-24 2006-05-02 Karl Storz Imaging, Inc. Image orientation for endoscopic video displays
US7922654B2 (en) * 2004-08-09 2011-04-12 Boston Scientific Scimed, Inc. Fiber optic imaging catheter
US8929688B2 (en) * 2004-10-01 2015-01-06 University Of Washington Remapping methods to reduce distortions in images
WO2015004960A1 (ja) * 2013-07-12 2015-01-15 オリンパスメディカルシステムズ株式会社 内視鏡システム

Also Published As

Publication number Publication date
JP6640231B2 (ja) 2020-02-05
WO2017047115A1 (ja) 2017-03-23
US20180199798A1 (en) 2018-07-19

Similar Documents

Publication Publication Date Title
JP6017739B1 (ja) 走査型内視鏡装置
WO2014020943A1 (ja) 内視鏡システム
WO2017047115A1 (ja) 光走査型観察システム
JP5974208B1 (ja) 光走査型観察システム
US9974432B2 (en) Scanning endoscope apparatus with drive signal correction
JP6143953B2 (ja) 走査型内視鏡システム
JP2017086549A (ja) 走査型内視鏡装置
JP2018015110A (ja) 内視鏡プロセッサ
US20180055345A1 (en) Endoscope processor
JP6731426B2 (ja) 走査型内視鏡システム
JP6368627B2 (ja) 光走査型観察システム
JP2017018421A (ja) 内視鏡システム
US9585544B2 (en) Scanning endoscope system
WO2017006599A1 (ja) 走査型内視鏡システム
JP6437808B2 (ja) 光走査型観察システム
JP6062133B1 (ja) 内視鏡システム
WO2016181711A1 (ja) 走査型内視鏡
WO2017002412A1 (ja) 内視鏡システム
JP2018201812A (ja) 走査型内視鏡装置、及び画像生成方法
WO2015186385A1 (ja) 挿入補助具及び光走査型観察システム
WO2015076293A1 (ja) 内視鏡用画像生成装置及び内視鏡用画像生成方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180313

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191225

R151 Written notification of patent or utility model registration

Ref document number: 6640231

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250