JP2022525008A - 空間符号化システム、復号化システム、撮像システム、およびそれらの方法 - Google Patents

空間符号化システム、復号化システム、撮像システム、およびそれらの方法 Download PDF

Info

Publication number
JP2022525008A
JP2022525008A JP2021552733A JP2021552733A JP2022525008A JP 2022525008 A JP2022525008 A JP 2022525008A JP 2021552733 A JP2021552733 A JP 2021552733A JP 2021552733 A JP2021552733 A JP 2021552733A JP 2022525008 A JP2022525008 A JP 2022525008A
Authority
JP
Japan
Prior art keywords
lens
imaging
image
coding
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021552733A
Other languages
English (en)
Inventor
ズィーヴ ザレフスキー
イチャク オメル ワグナー
アサフ シャームーン
Original Assignee
ゼットスクエア リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ゼットスクエア リミテッド filed Critical ゼットスクエア リミテッド
Publication of JP2022525008A publication Critical patent/JP2022525008A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2461Illumination
    • G02B23/2469Illumination using optical fibres
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00172Optical arrangements with means for scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0605Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for spatially modulated illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4205Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4233Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application
    • G02B27/425Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application in illumination systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/957Light-field or plenoptic cameras or camera modules
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00165Optical arrangements with light-conductive means, e.g. fibre optics
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Endoscopes (AREA)

Abstract

撮像するためのシステムは、光ビームを生成するための光源と、複数の異なる空間符号化パターンによって物体を同時に照明するように撮像ビームを符号化するための1つまたは複数の光学素子を備える空間符号化パターン生成器であって、前記異なる符号化パターンの各符号化パターンは、撮像パターンの別個の波長によって特徴付けられる、空間符号化パターン生成器と、を含む、照明システムが提供される。システムは、物体を透過した、または物体から反射した、符号化撮像ビームを受信するための撮像センサと、撮像からの画像データを復号し、物体の画像を再構成するためのプロセッサとをさらに含み得る。【選択図】図2A

Description

本発明は、撮像に関する。より具体的には、本発明は、空間符号化システム、復号化システム、撮像システム、およびそれらの方法に関する。
インビボ生物学的組織撮像は、典型的には、特定の実験要件および条件に適合する異なるバイオ撮像方法の間で注意深い選択することを必要とする。磁気共鳴撮像(MRI)、コンピュータ断層撮影(CT)、高周波および低周波超音波(US)などの深部貫通非侵襲的撮像の技法は高価であり、持続時間にも空間分解能にも制約がある。単一/多光子蛍光または共焦点蛍光マイクロ内視鏡法のような他の高分解能アプローチは、インビボで使用され得るが、典型的には浅い調査深度においてのみ有用である。
微小内視鏡光ファイバは、最小侵襲技術で、患者の体内の標的領域に深く挿入されるように開発されてきた。このような装置によって、生体試料の長期間のインビボモニタリングが可能になる。多くの市販のマイクロ内視鏡光ファイバは、マルチコアファイバ(MCE)として知られる多数のコア束を含み、各コアは単一のファイバとして作用する。
多くのMCEは、各コアを通る多くの空間電磁モードの通過を可能にするマルチモードファイバ(MMF)を含み、こうして、内視鏡を通る画像の強度透過率を増加させる。しかしながら、MMFは、典型的には、空間と時間との両方において、これらのファイバを介して送信される情報をスクランブルする。この問題は、コア間光結合(クロストーク)を最小化するために、隣接するコア間に十分に大きな空間を有するMCF設計によって対処され得る。その結果、画像解像度が損なわれ、画素化アーチファクトが生成された画像に現れることがある。最適化アルゴリズム、デジタル位相共役、または伝送行列などの他の解決策が実証されたが、すべては、典型的には、ファイバ曲げに敏感である。
単一モードファイバ束(SMFB)は、典型的には、ファイバ曲げに対して感度が低く、情報スクランブルを受けにくいので、MMFの代わりに使用されることがある。SMFB撮像は、典型的には、レンズ付きの走査ヘッド、スペクトル分散機器、スペックル相関を採用することを含み、また、回折限界までの解像度をもたらし得る他の手法も含まれ得る。SMFBのコア間長さが短くなり得るが、その一方で、装置を通して伝送される画像の輝度もまた、減少され得る。その結果、信号対雑音比も同様に低減され得る。ファイバの幾何学的設計が必要なことに加え、分解能は依然として制限され、散乱媒体を介した視野の深さも大幅に低下する可能性がある。
MMF束およびSMFB束の両方において、ファイバを通る様々な照明方法が知られており、例えば、試料の照明および同じ束を通る反射光の収集、光学的切片化を行うことができる共焦点マイクロ内視鏡、染色することなく光学的切片化を行うことができるスペックル相関技術などが知られている。
現在の技術は、150μm未満の典型的な浸透深さを示し、ファイバの遠位端と試料との間の実際の生物学的散乱媒体(例えば、血液)を扱うことが困難である。また、典型的な撮像取得レートはかなり低くなる(典型的には、36×36画素画像で数分までの場合、約5Hzの間)。
したがって、本発明のいくつかの実施形態によれば、光ビームを生成するための光源と、複数の異なる空間符号化パターンによって物体を同時に照明するように撮像ビームを符号化するための1つまたは複数の光学素子を備える空間符号化パターン生成器であって、前記異なる符号化パターンの各符号化パターンは、撮像パターンの別個の波長によって特徴付けられる、空間符号化パターン生成器と、を含む、照明システムが提供される。
本発明のいくつかの実施形態では、システムは、光ビームを撮像ビームと参照ビームとに分割し、参照ビームが撮像ビームと結合された後に、参照ビームを撮像センサに導くための1つ以上の光学素子をさらに含む。
本発明のいくつかの実施形態では、空間符号化パターン生成器は、撮像ビームの伝搬方向に垂直な第一の軸を横切って物体上に前記複数の異なる空間符号化パターンを撮像するように構成され、第一の軸および撮像ビームの伝搬方向の両方に垂直な第二の軸を横切って物体上に前記複数の異なる空間符号化パターンのフーリエ変換を実行するように構成される。
本発明のいくつかの実施形態では、撮像ビームを符号化する1つまたは複数の光学素子は、回折格子グリッド、第一のレンズ、符号化パターン素子、および第二のレンズの順序で光路に沿って整列される。
本発明のいくつかの実施形態では、第一のレンズは、第一のレンズのX軸焦点距離に等しい距離だけ回折格子グリッドからも、符号化パターン素子からも離間しており、第二のレンズは、第二のレンズのX軸焦点距離に等しい距離だけ符号化パターン素子から離間している。
本発明のいくつかの実施形態では、レンズのそれぞれのX軸焦点距離が、そのレンズのY軸焦点距離の2倍である。
本発明のいくつかの実施形態では、撮像ビームを符号化する前記1つまたは複数の光学素子が、回折格子グリッド、第一のレンズ、符号化パターン素子、第二のレンズ、第二の回折格子グリッド、および第三のレンズの順序で備える光路を画定する。
本発明のいくつかの実施形態では、第一のレンズは、第一のレンズのX軸焦点距離に等しい距離だけ回折格子グリッドからも、符号化パターン素子からも離間しており、第二のレンズは、第二のレンズのX軸焦点距離に等しい距離だけ符号化パターン素子から離間しており、第三のレンズは、第三のレンズのX軸焦点距離に等しい距離だけ第二の回折格子グリッドから離間している。
本発明のいくつかの実施形態では、レンズのそれぞれのX軸焦点距離が、そのレンズのY軸焦点距離の2倍である。
本発明のいくつかの実施形態では、光源は、レーザ発生器である。
本発明のいくつかの実施形態では、レーザ源は、パルスレーザ源である。
本発明のいくつかの実施形態では、システムは、内視鏡に組み込まれる。
本発明のいくつかの実施形態では、システムは、撮像システムに組み込まれ、撮像システムが、物体を透過した、または物体から反射した、符号化撮像ビームを受信するための撮像センサと、撮像からの画像データを復号し、物体の画像を再構成するためのプロセッサとをさらに含む。
本発明のいくつかの実施形態では、物体の画像を再構成するために、プロセッサは、反射または透過された符号化撮像ビームから得られる前記異なる符号化パターンの各符号化パターンの画像に、対応する復号化パターンを乗算して、積を取得し、積のすべてを合計して、物体の再構成画像を取得するように構成される。
本発明のいくつかの実施形態では、複数の異なる空間符号化パターンによって物体を同時に照射する符号化撮像ビームを受信するための撮像センサを含む復号化システムが提供され、前記異なる符号化パターンの各符号化パターンは、前記物体を透過した、または前記物体から反射した、撮像パターンの別個の波長によって特徴付けられる。復号化システムは、また、撮像からの画像データを復号し、前記物体の画像を再構成するためのプロセッサを含む。
本発明のいくつかの実施形態では、物体の画像を再構成するために、プロセッサは、反射または透過された、符号化撮像ビームから得られる前記異なる符号化パターンの各符号化パターンの画像に、対応する復号化パターンを乗算して、積を取得し、積のすべてを合計して、物体の再構成画像を取得するように構成される。
本発明のいくつかの実施形態では、光ビームを生成するステップと、空間符号化パターン生成器を使用して、撮像ビームを、複数の異なる空間符号化パターンによって物体を同時に照射するように符号化するステップであって、前記異なる符号化パターンの各符号化パターンは、撮像パターンの個別の波長によって特徴付けられる、ステップと、を含む、方法が提供される。
本発明のいくつかの実施形態では、撮像ビームを符号化するステップは、時間ゲートを適用するステップを含む。
本発明のいくつかの実施形態では、前記時間ゲートは、短光パルスゲート、コヒーレンスゲート、および回折格子グリッドによって生成される干渉パターンからなる技術グループの技術のいずれかを用いて適用される。
ームを符号化するための1つまたは複数の光学素子を備え、前記1つまたは複数の光学素子は、回折格子グリッド、第一のレンズ、符号化パターン素子、および第二のレンズの順序で光路に沿って整列される。
本発明のいくつかの実施形態では、撮像ビームを符号化するステップは、時間ゲートを適用するステップを含み、時間ゲートは、光ビームを撮像ビームと参照ビームとに分割し、参照ビームが撮像ビームと結合された後に、参照ビームを撮像センサに導くことによって、実現される。
本発明のいくつかの実施形態では、撮像センサを使用して、複数の異なる空間符号化パターンによって物体を同時に照射した符号化撮像ビームを受信するステップであって、前記異なる符号化パターンの各符号化パターンは、撮像パターンの別個の波長によって特徴付けられ、物体を透過するか、または物体から反射されたものである、ステップと、プロセッサを使用して、撮像からの画像データを復号し、物体の画像を再構成するステップと、を含む方法が提供される。
本発明をより良く理解し、その実用性を理解するために、以降、以下の図面が提供され参照される。これらの図面は、例示として付与されるに過ぎず、本発明の範囲を制限するものではないので注意されたい。同様の構成要素には、同様の参照符号が付される。
光と散乱媒体との相互作用についての光子数対時間を示すグラフである。 散乱媒体を介して撮像するためのシステムにおいて使用され得る、一対のバーカーベースのアレイを示す。 一次元照明パターンを用いて、本発明のいくつかの実施形態に従って、散乱媒体を介して撮像するためのシステムを示す。 本発明のいくつかの実施形態に従って、異なる平面上の特定の波長の光強度の画像を示す。 二次元照明パターンを用いて、本発明のいくつかの実施形態に従って、散乱媒体を介して撮像するためのシステムを示す。 本発明のいくつかの実施形態に従って、散乱媒体を介して撮像するためのシステムによって達成される離散的な光照射を示す。 本発明のいくつかの実施形態に従って、散乱媒体を介して撮像するためのシステムによって達成される光照射における単一波長の畳み込み成分を示す。 本発明のいくつかの実施形態に従って、散乱媒体を介して撮像するためのシステムによって達成される光照射における単一波長に対する最終畳み込みを示す。 本発明のいくつかの実施形態に従って、単一周波数格子を使用する連続波長符号化のためのスペクトル領域およびパターン画素を示す。 本発明のいくつかの実施形態に従って、空間軸平面上の各第二の格子グリッド周波数の撓みを示す。 本発明のいくつかの実施形態に従って、散乱媒体を通して物体を撮像するためのシステムを組み込んだマルチコアファイバ内視鏡を示す。 本発明のいくつかの実施形態に従って、散乱媒体を通して物体を撮像するための方法の図である。
以下の詳細な説明において、方法およびシステムの徹底した理解を提供するために、多数の特定の詳細が記載される。しかしながら、本発明の方法およびシステムは、これら特定の詳細がなくても実施され得ることは当業者に理解されよう。一方、周知の方法、手順、および構成要素については、本発明の方法およびシステムを不明確としないようにするために、詳細な説明を行なっていない。
本明細書で開示され、記述される例は、この点に関しては限定されないが、本明細書で使用される「複数」および「複数の」という用語は、例えば、「多数」または「2つ以上」を含んでもよい。これら「複数」および「複数の」という用語は、2つ以上の構成要素、装置、要素、ユニット、パラメータなどを説明するために、本明細書全体にわたって使用されることがある。明示されていない限り、本明細書に記載される方法例は、特定の順序または手順には限定されない。さらに、本明細書に記載の方法、例、またはそれらの要素の一部は、同時点に生じることも、あるいは実行されることもある。
他に具体的に記載されていなければ、以下の記述から明らかなとおり、明細書全体を通じて、「追加する」、「関連付ける」、「選択する」、「評価する」、「処理する」、「演算する」、「計算する」、「決定する」、「指定する」、「配置する」などの用語を使用した記載は、コンピュータ、コンピュータプロセッサ、もしくは演算システムまたは同様の電子演算装置のアクションおよび/またはプロセスを意味し、この演算システムなどは、演算システムのレジスタおよび/またはメモリ内の電子量など物理量として表示されたデータを、演算システムのメモリ、レジスタ、または他の情報格納、送信もしくは表示装置内の物理量として同様に表示された他のデータに操作、実行、および/または変換する。
本発明のいくつかの実施形態によれば、空間照明を採用することによって、散乱媒体を介して、より深い撮像を可能にすることを目的とした新規な光学セットアップが提供される。
典型的には、4つの主要なパラメータが、散乱媒体内を光がどのように伝播するかに影響する。信号のエネルギーロスを決定する[m-1]で測定された吸収係数μと、[m-1]で測定され、散乱の間を光が通過する典型的な長さの尺度である散乱係数μと、θを散乱偏向角として、平均値<cos(θ)>を測定する散乱異方性gと、(これによって、典型的な散乱がどの程度「前方」方向にあるかを計算できる)と、媒体屈折率nである。
μおよびgから、低減散乱係数μ’を導くことができ、
μ’=μ*(1-g) (1)
である。
これは、典型的な散乱方向を考慮した現実的な散乱長を表す。典型的な散乱時間は、低減散乱係数と屈折率によって計算することができる。
Figure 2022525008000002
現実的な撮像の場合、光のパルスが散乱媒体を通して試料に向かって投影される。媒体中での散乱の結果として、パルスは、伸びて、弾道、スネークおよび拡散信号成分によって記述することがある。弾道成分は、媒体を通る最短経路をとり、画像情報を保存する。対照的に、拡散性光は多数の散乱を受け、散乱媒体内部を長距離移動し、直接像を形成するのに寄与しない。スネーク光子は、前方方向に何らかの散乱を受け、そのため、何らかの画像情報を保持する。次いで、光は、試料に衝突し、散乱して戻ってくるか、または再び散乱媒体を通ってセンサに向かって透過される。
前述のように、信号は伸びて、弾道、スネークおよび拡散信号成分によって記述することができる。
図1は、散乱媒体と相互作用する光についての光子数対時間のグラフである。散乱媒体を介して照明された光と試料との間の相互作用から到着する光子の3つのセクション(12、14および16)が示されており、センサへの到着時間で分割されている。第一のセクション12は、照射源から直接試料に到達した弾道光子(B1)と、試料と相互作用した後にセンサに到達した弾道光子(B2)とを含む。次のセクション14は、数ピコ秒後に、2つの群の光子を含み、それらは、散乱媒体によって試料からセンサへと途中で散乱された光子(B1およびP2)と、媒体によって試料の方向に散乱され、試料からセンサへ弾道的であった光子(P1およびB2)である。第三のセクション16は、センサに到着する前に、試料によっても散乱媒体によっても散乱されて、その結果、最後に到着する光子を含む。
画像データに寄与しない光子から画像データに寄与する光子をスクリーニングする多くのアプローチが知られている。理想的な結像方法は、第三のセクションの光子をゲートし、第一のセクションの光子を利用し、第二のセクションのスネーク光子からの最大量の情報を収集すべきである。
光の最初の到達から100ps未満のタイムゲーティングと共に、t’未満の短い光パルスが使用されていることが知られている。これには、数ピコ秒以下の高価なレーザ光源と専用の時間ゲートセンサが必要である。
本発明のいくつかの実施形態によれば、短いパルスおよび時間でのゲーティングをする代わりに、散乱媒体を介して撮像するためのシステムは、狭い角度の光収集を採用することができ、それにより、弾道光子を維持しながら散乱光子を省略することができる。
所定の角度(例えば、0.29°)よりも高い角度で進行する光を吸収する長い光学チャネルを含む光学系が知られているが、実際のインビボ条件で、散乱媒体を介する撮像には適さないことがある。また、このようなシステムで取得された信号は、通常、非常に弱く、多くの散乱を受けていた光子の迷光の影響を受けやすいので、すべての方向に均一に進む。
短いコヒーレンス長の照明源を有するホログラフィーベースのアプローチを採用することで、より長いパルス時間が可能になることがある。この手法では、コヒーレント長はμ’と比較することができ、コヒーレンス長未満の光路をもたらす散乱を受ける光子のみが干渉縞に寄与し、一方、より長い距離を進む光は平均化され、ランダムノイズのみに寄与する。散乱媒体の幅(撮像ビームの伝搬方向(弾道経路)に沿った長さ)を広げると、干渉光子の数が減少することもあるが、その一方で、平均化されたノイズが増加する。その結果、信号対雑音比は、試料の空間周波数の再構成のぼけ(blurring)および制限を低減し得る。変調位相を用いて照明を符号化することは、信号対雑音比を高めるために以前行われたことが知られている。しかしながら、実際のインビボシナリオのように、散乱媒体を通して散乱されることなく、照明システムが試料を直接照明しているものと想定されていた。また、このような方法は、取得持続時間を長びかせる時間多重化に依存する。
本発明のいくつかの実施形態によれば、散乱制限および高い取得時間は、空間的に構造化された照明を使用することによって対処することができる。これは、符号化照明パターンの自己相関を伴うことがある。
本発明のいくつかの実施形態によれば、散乱媒体を介して物体を撮像するシステムは、照明システムと、撮像センサと、撮像センサによって感知された画像データを処理するための処理ユニットとを含んでもよい。
本発明のいくつかの実施形態による照明システムは、光ビームを生成する光源を含むことができる。いくつかの実施形態では、光源は、例えば、白色光源、発光ダイオード(LED)、連続レーザ源、撮像光ビームを生成するためのパルスレーザ源(例えば、フェムト秒、ピコ秒、ナノ秒、ミリ秒パルスレーザ源など)であり得る。
空間符号化パターン生成器を使用して、物体を複数の異なる空間符号化パターンによって同時に照明するように撮像ビームを符号化することができ、ここで、異なる符号化パターンの各符号化パターンは、撮像パターンの個別の波長を有するものとして特徴付けられる。
異なる符号化パターンのいくつかは、全体的または部分的に重なり合っても、相関していないか、あるいは特定の点で急激な最大値を有する(これらの異なる符号化パターン間の)相関関数を有することができる。
撮像センサを用いて、画像ビームが物体を透過した後、または物体から反射した後に、画像ビームを受信することができ、処理ユニットを用いて、センサによって感知された画像データの画像を再構成することができる。
物体の画像の再構成において、処理ユニットは、画像再構成アルゴリズムを実行するように設計されてもよく、画像再構成アルゴリズムは、空間符号化パターンからの偏差を表す任意の画像データを無視することによって、物体を照射し、散乱媒体によって散乱された光子を無視する符号化された空間パターンを復号する。例えば、緑色光子が、他の1つ(または複数)の色によって照射されると想定された領域に到達した場合、それは、それが弾道光子ではないという仮定の下で、物体画像の再構成において無視される(例えば、それは、光源から検出された位置に直接進まず、その途中で散乱される可能性が最も高い)。
本発明のいくつかの実施形態では、散乱光子から弾道光子を分離するために、時間ゲートが使用される。時間ゲートは、例えば、非常に短いレーザパルスを印加することによって、短いコヒーレンスゲート(例えば、干渉を介して)を印加することによって、達成されてもよい。コヒーレンスゲートは、例えば、先着光(FAL)アプローチを採用して、照明のコヒーレンス成形を実行して、所望の時間ゲートを得ることによって実現することができる。
例えば、FALアプローチを適用するために、参照ビームを、光源によって生成された光ビームから分割し、代替の光路に沿ってセンサに向けて、干渉測定を可能にすることができる。
空間符号化パターンは、例えば、バーカー(Barker)ベースのアレイを使用することによって得ることができる。横方向にシフトしたバーカー符号化パターンのセット(図1Bに示される)が、試料上に投影されてもよい。このシフトは、試料のパターン走査を引き起こすことがある。
一次元(1D)走査は、元の走査方向に関係なく、すべての方向において二次元(2D)画像を強化することができる。本発明のいくつかの実施形態に従うシステムによって生成される照明に関連する別の特徴は、異なる波長で、同時に複数のパターンを投影できることである。次に、シフトパターン照明試料画像を分離し、(例えば、波長多重化を使用して)収集時間を増加させるために分析することができる。
図1Bは、一対のバーカーベースのアレイを示し、この対は、散乱媒体を介して撮像するためのシステムにおいて使用され得る。この例では、13×13バーカーベースのアレイ(a)であり、各行は、基本的なバーカー符号化ベクトルの5画素シフトである。アレイ(b)は、(a)のバーカーアレイの自己相関である。本発明のいくつかの実施形態では、他の配置(他の画素数、他の符号化ベクトル)を使用することもできる。
コヒーレンス長は、図1Aと相関して、計算することができる。簡単なアプローチは、第一のセクションからの光子のみが干渉するように、コヒーレンス長を決定することを含み得る。コヒーレンス長を長くすると、中間のセクションからより多くの光子を集めることができ、信号とノイズの両方が増加し得る。次いで、空間符号化は、データに寄与するスネーク光子を保持しながら、データに寄与しないB1+P2光子から来るノイズを除去する。
図2Aは、一次元照明パターンを用いて、本発明のいくつかの実施形態に従って、散乱媒体を介して撮像するためのシステムを示す。このシステムは、照明ビームの異なる波長に対して異なる空間符号化を実行して、分解能を向上し、散乱組織の向こう側を見るように設計することができる。
システム100は、照明源102、例えば、連続レーザ、パルスレーザ(例えば、いくつかの実施形態ではフェムト秒、ピコ秒パルスレーザ、他の実施形態ではナノ秒またはミリ秒パルスレーザ、パルスが速ければ速いほど、高解像度画像形成結果に、より良く寄与し得る)などのレーザビーム発生器を含む。光源102によって生成された光ビームは、ビームスプリッタ104によって2つのビームに分割することができる。一方のビームは、参照ビームとして働き、ミラー(106および118)によって、第二のビームスプリッタ126を介して、光学撮像センサ130に向けられる。他方のビームは、以下、撮像ビームと呼ぶが、これは、空間符号化パターン生成器105、例えば、一連の光学素子を通って導かれる。本発明のいくつかの実施形態によれば、空間符号化パターン生成器は、画像ビームを伝搬する方向に垂直な第一の軸を横切って画像される物体上に複数の異なる空間符号化パターンを撮像するように構成され、また第一の軸にも、画像ビームの伝搬方向にも直交する第二の軸を横切って物体上に前記複数の異なる空間符号化パターンのフーリエ変換を行うように構成される。
まず、撮像ビームは、回折格子グリッドG1 108、例えば、1mmあたり300本を横断し、他の格子は、1mmあたり200~2/ラムダ(中心照明波長)の範囲の格子線であってもよく、複数の平行なビームに回折され、次いで、複数の平行なビームは、円柱レンズL1を通過するとき、X軸方向にフーリエ変換される。L1は、2つの直交軸のそれぞれに対して、2つの異なる焦点長値(例えば、Y軸のfおよびX軸の2f、例えば、それぞれ、25.4mmおよび50.8mm)を有することを特徴とする。回折格子グリッドG1 108は、L1から2f(L1のX軸焦点距離)だけ離れており、その結果、X軸におけるフーリエ共役面がL1のX軸焦点に位置し、ビームの結像面がY軸焦点に位置するようになっている。これにより、撮像ビームは、X面内の波長に対応して、異なる偏向位置で異なる波長の複数のビームに分離され、Y面内のビームの元の高さが維持される。符号化パターン素子112(例えば、2つのバーカーベースのアレイ114で、例えば、図1Bに描かれているもののようなもの)は、L1から2f(L1のX軸焦点距離)の距離に位置する、撮像ビームの伝搬方向下方にさらに設けられ、それに応じて異なる波長の複数のビームの各ビームを符号化する。次に、撮像ビームは、再びレンズL2 116を通過し、X軸焦点距離が、そのレンズのY軸焦点距離の2倍である(例えば、それぞれ25.4mmおよび50.8mm)。符号化パターン素子112は、L1 110から2f(L1のX軸焦点距離)だけ離れ、その点に、Y軸における符号化パターンの像が形成され、レンズL2 116は、2fの距離(L1のX軸焦点距離)に位置し、X軸における撮像ビームをその元の幅に戻すように広げる役割を果たす。
L2 116から出る光は、L2から2fの距離(L2のX軸焦点距離)に位置し得る試料(例えば、患者の体内の組織)に向けられる。試料を透過した光は、光学撮像センサ130によって収集される。光学撮像センサ130に衝突する前に、参照ビームを撮像ビームと組み合わせるために、ビームスプリッタ126を途中に配置してもよい。
L1とL2の対応するX軸焦点距離、Y軸焦点距離は、同じであっても、異なっていてもよい。
図2Bは、本発明のいくつかの実施形態に従って、異なる平面上の特定の波長の光強度の画像を示す。画像(a)は、符号化パターンの直前のX軸焦点面において、撮像ビームがL1に達するときの強度画像を示す。画像(b)は、符号化パターンを横断した後の撮像ビームの強度画像を示す。明らかに、1つのラインのみが通過し、Y軸に符号化されている。画像(c)は、物体上の撮像ビームの投影強度である。
結局、図2の例では、(L1から現れる複数の波長の)各波長に対する結果は、Y軸において符号化されたパターンに従い、X軸において元のビームプロファイルに従うスポットである。各波長は、符号化パターンに従って、物体上に異なるパターンを生成する。
符号化パターンを使用して、横方向にシフトされたパターンのセットを導入する(例えば、2D画像、図2に示されるパターンにおける単一の行のパターンを符号化し、各波長に対して符号化行をシフトする)ことにより、導入部で説明したように、画像強調およびコヒーレンスゲート信号を維持することができる。
図3は、二次元照明パターンを用いて、本発明のいくつかの実施形態に従って、散乱媒体を介して撮像するためのシステムを示す。
システム200は、図2Aのシステム100と同様に設計されるが、空間符号化パターン生成器内に、いくつかの追加の光学素子を有する。これらの光学素子は、空間符号化パターン生成器の光路に沿って、第二の回折格子グリッド120、第三のレンズL3 122の順序である。第三のレンズのL3 122は、X軸焦点距離がそのレンズのY軸焦点距離の2倍である(例えば、それぞれ25.4mmおよび50.8mm)。
回折格子グリッド120(例えば、1mmあたり300本で、他の格子は、1mmあたり200~2/ラムダ(中心照明波長)の範囲の格子線であってもよい)は、レンズ116のX軸焦点およびレンズL3 122のX軸焦点に配置される。
レンズの焦点距離(X、Y)は、(図2Bおよび図3に描かれたシステムのいずれにおいても)必ずしも同じではない。
この構成で生成される空間符号化パターン投影は、追加された光学素子の結果として、二次元である。
本発明のいくつかの実施形態は、離散波長符号化パターンを利用することができる。本発明のいくつかの実施形態は、連続波長(帯域)符号化パターンを利用することができる。
第二の回折格子グリッドG2 120は、要求される機能性を満たすように設計されてもよい。
例えば、離散波長については、G2は、
Figure 2022525008000003
の周波数を有するように設計される。ここで、νはG1の周波数であり、fL1xおよびfL2xは、L1およびL2のX軸焦点距離である。
連続波長帯の場合、単一周波数G2を有するグリッドは、ΔΩが
Figure 2022525008000004
となるような周波数を有することができる。ここで、Nnumは物体に投影される異なるパターンの数で、λは最小投影波長であり、Δλである。
符号化パターンを使用して、横方向にシフトされたパターンのセット(例えば、図1Bに示されるパターンの2D画像、各波長の水平方向に1画素だけ符号化をシフトする円)を導入すると、画像再構成が強化され、コヒーレンスゲート信号が上述したように得られる。
空間符号化パターン生成器の光学的構成の数学的説明を、以下に提供する。
平面U(X,Y)の場合、波面が一定で、格子に向かってθ傾斜していると仮定すれば、
Figure 2022525008000005
となる。
周波数ν0の格子G1の後ろの平面U(X,Y)の場合、
Figure 2022525008000006
である。
平面U(X,Y)の場合、f1*ラムダによるスケーリングを伴うフーリエ変換で、一次回折次数のみをとると仮定し、
Figure 2022525008000007
を得る。
離散波長の場合。
レンズは、U(x1,y1)と平面U(x2,y2)との間の長さがfx=2*fyであるように異なる焦点を有し、したがって、y平面での撮像およびx平面でのフーリエ変換を生成することができる。
X平面において、レンズは、制限された直径アパーチャDを有し、その結果、平面U(x2,y2)において、パターンを配置するのに十分な位置があり、照明強度の変化は最小になる。
Figure 2022525008000008
空間符号化パターン素子(符号化マスク)は、同じ直径の正弦関数を再び得るように、L1の焦点面の前に配置されてもよい。
これらの条件下では、離散的な位置にある異なるカラースポットを符号化する前に、[f・sinθ+fνλ]を中心にして、異なるカラースポットを得ることができる。各位置について、図4に示すように、符号化パターンを一致させることができる。システム400内のレーザ源402は、格子グリッド404、レンズ406を横断し、空間符号化パターン素子408上に色(青410、緑412および赤414)の離散的に分離されたスポットを照射する撮像ビームを生成する。
平面Xは、符号化パターンで乗じる。
Figure 2022525008000009
平面Xは、f2*ラムダによるスケーリングでフーリエ変換する。
Figure 2022525008000010
グリッド2を導入する。
スポットを一体化するために、グリッド2は、
Figure 2022525008000011
と同じであるべきである。
Figure 2022525008000012
平面Xは、フーリエ変換する。
Figure 2022525008000013
これは、グリッドが波長に関係なく各波長を光軸位置に偏向させることを意味する。
別の解決策は、連続波長帯、1つの周波数格子を生成することを含む。
レンズは、U(x1,y1)と平面U(x2,y2)との間の長さがfx=2*fyとなるように異なる焦点を有するので、y平面撮像およびx平面におけるフーリエ変換を得ることができる。
X平面において、アパーチャDは、平面U(x2,y2)において、各波長に対してデルタ関数が存在するように開けられてもよい。
平面Xは、符号化パターンで乗じる。
(x,y)=
δ(x-[f・sinθ+fνλ]B(x-fνλmin)) (11)
ここで取り上げた例では、符号化パターンは、N個の大きさΔXptの離散画素から構築されていること、すなわち、各パターンがLpt=NΔXptの長さを必要とし得ることを意味し、Nnum個の異なったパターンが望まれる場合、大きさLnum=Nnum pt=Nnum ΔXptのスポットが必要とされる得ることに留意すべきである。
これは、レーザスペクトル帯域は、
Figure 2022525008000014
である必要があることを意味する。
平面Xは、f2*ラムダによるスケーリングを伴うフーリエ変換する。
Figure 2022525008000015
周波数が1つだけのグリッドG2を導入する。
=fかつθ=0と仮定すると、以下のようになる。
Figure 2022525008000016
ここで、ΔΩは、現在、決定されていない。
平面Xは、グリッド2で乗じる。
Figure 2022525008000017
平面Xは、フーリエ変換する。
Figure 2022525008000018
単一波長の場合、図5は、単一波長に対する式10の畳み込み成分を実証する。上は方程式の左成分であり、下は方程式の右成分であり、波長ごとの最終的な畳み込みは、図6に示す。
図6は、単一波長に対する最終的な畳み込みに関する式10を示す。
したがって、無限量のオーダーでは、空間全体が符号化パターンでカバーされ得るが、スケーリングされたバーカーコードが必要とされ得る。
最小波長位置は、以下である。
=λν (11)
第一の波長と重なり合う次の波長は、以下である。
λν=λ(ν-ΔΩ)
一般に、n番目の重なり合いは、以下である。
Figure 2022525008000019
全帯域幅を使用するために、グリッド周波数は、正確にNnum個のレプリカが得られるように取られる。
Figure 2022525008000020
最終的に、以下のようになる。
Figure 2022525008000021
≠fおよびθ=0で、どこでもνある場合、これは、
Figure 2022525008000022
に置き換えられ、以下のようになる。
Figure 2022525008000023
一般に、n番目の重なり合いは、以下のようになる。
Figure 2022525008000024
式(14)から、各パターンレジームλ-λn-1は、異なるスペクトルサイズを有するので、パターンは各パターン領域においてスケールされるべきであることに留意されたい。
図7は、異なるスペクトル領域がマークされているスペクトル軸の説明図を示している。各領域を開始する波長は、黒い破線でマークされる。各領域は、最終的にベーススペクトル領域にシフトされるであろう。
各領域内のパターン画素は、ベーススペクトル領域内のn個の等間隔画素に適合するようにスケールされる。図の下部には、各パターン画素が青色の線で示されており、異なるパターンは、指定されたパターン画素の内側の空間を埋めることによって示されている。L1レンズのX軸焦点に置かれる符号化パターンは、下部の合計パターンによって示されるように、これらの波長対応位置における全体の符号化パターンからなるべきである。
図8は、解決策2のスペクトル領域およびパターン画素を示す。n番目のスペクトルレジームは、各領域に対して異なるスペクトルサイズを有するλ-λn-1の領域を有する。レジーム内の画素は青色の線でマークされ、各パターンは異なるスペクトル画素を異なる方法で塗りつぶす。結局、符号化マスクは、レンズL1のX軸焦点面内の平面の空間軸内の対応する位置に、ここに例示されているのと同じパターンを含む。
スケールを見出すために、Np個の画素が第一のレジームにおいて等間隔である。式(14)および式(15)から、グリッド乗算による第一のパターンの重なり合いは、以下である。
Figure 2022525008000025
また、第一のレジームは、λ-λをNp個の等間隔画素に分割し、各画素長さは、以下のようになる。
Figure 2022525008000026
また、各画素の開始スペクトル波長は、以下のようになる。
Figure 2022525008000027
したがって、各n番目のレプリカにおいて、m番目の画素の開始スペクトル波長は、以下のようになる。
Figure 2022525008000028
解決策3:連続波長、多重周波数回折格子に対する示唆。
前節では、投影照明を最小波長のG1偏向位置に折り畳む1つの周波数を含むグリッドG2が示された。
その代わり、これは、複数の周波数を有する異なるG2回折格子を用いて行うことができ、各回折格子は、異なる波長を所望の位置に向かって偏向させることになる。この方法の利点は、単一周波数グリッド法よりも撮像ビームを光軸に近づけて偏向させることである。
必要な周波数と、それぞれの新しいパターンを開始する波長を計算するために、反復接続部を以下のように考えてもよい。
Figure 2022525008000029
この場合、光軸内のレプリカを図8に示すことができる。この図では、それぞれの新しいG2グリッド周波数の空間軸平面上でのたわみを示している。グリッド周波数の3つの例を示す。(ラムダ(λ)軸上の)太い線は、異なる各符号化パターン周波数間の分離波長をマークする。
上記の反復関係を適用すると、グリッド内の各新しい周波数が波長を既知の位置に偏向させ、レーザ源帯域幅内のセクションが特定のセクション内の特定の計算波長の間に留まる。(G1-ν)λから(G1-ν)λの間の第一の空間セクションでは、一連の空間符号化パターンが完了する間に、空間領域は、追加の波長を取得し、シフトし、または空間的な位置に到達する波長で別の時間に投影することによって、拡大される得ることに留意されたい。
物体の画像の再構成において、物体から反射された、または物体を透過した、符号化撮像ビームから取り出された異なる符号化パターンの各符号化パターンの画像に、対応する復号化パターンを乗算して積を取得し、積のすべてを合計して、物体の再構成画像を取得することができる。
本発明のいくつかの実施形態によれば、上述の方法で復号化することは、散乱媒体を介して撮像することにも、撮像解像度を超解像度に向上させることにも適している。
図9は、本発明のいくつかの実施形態に従って、散乱媒体を通して物体を撮像するためのシステムを組み込んだマルチコアファイバ内視鏡800を示す。内視鏡800は、1つまたは複数の照明ファイバ804と、1つまたは複数の撮像ファイバ812とを有する細長いマルチコアファイバ本体802を含むことができる。物体814(例えば、患者の体内の組織)を照射するように、空間符号化パターン生成器806によって生成された複数の異なる空間符号化パターンを内視鏡本体802を通してその遠位端から導くように設計された、1つまたは複数の照明ファイバ804に光学的に連結された空間符号化パターン生成器806を設けることができる。内視鏡の1つまたは複数の撮像ファイバ812は、物体814から反射された照明光を受信し、それを(例えば、ビームスプリッタ808を介して、撮像センサ816および処理ユニット818を含む撮像装置810に)送信する。
図10は、本発明のいくつかの実施形態に従って、散乱媒体を通して物体を撮像するための方法の図である。方法900は、光ビームを生成するステップ902を含むことができる。方法900はまた、空間符号化パターン生成器を使用して、物体を複数の異なる空間符号化パターンによって同時に照明するように撮像ビームを符号化するステップ904を含むことができ、ここで、異なる符号化パターンの各符号化パターンは、撮像パターンの個別の波長によって特徴付けられる。
方法900は、また、撮像センサを使用して、物体を透過した、または物体から反射した、符号化撮像ビームを受信するステップ906と、プロセッサを使用して、撮像からの画像データを復号し、物体の画像を再構成するステップ908と、を含むことができる。
本発明のいくつかの実施形態は、システム、方法、またはコンピュータプログラム製品の形態で具現化することができる。同様に、いくつかの実施形態は、ハードウェアとして、ソフトウェアとして、または両方の組合せとして具現化されてもよい。いくつかの実施形態は、1つ以上の非一時的コンピュータ可読媒体上に、そこに具現化されたコンピュータ可読プログラムコードの形態で、保存されたコンピュータプログラム製品として具現化することができる。このような非一時的コンピュータ可読媒体は、実行されると、プロセッサに実施例に従った方法ステップを実行させる命令を含むことができる。いくつかの例では、コンピュータ可読媒体上に記憶された命令は、インストールされたアプリケーションの形態であることも、インストールパッケージの形態であることもある。
このような命令は、例えば、1つ以上のプロセッサによってロードされ、実行され得る。
例えば、コンピュータ可読媒体は、非一時的コンピュータ可読記憶媒体であってもよい。非一時的なコンピュータ可読記憶媒体は、例えば、電子、光学、磁気、電磁気、赤外線、または半導体のシステム、機器、または装置、あるいはそれらの任意の組合せとすることができる。
コンピュータプログラムコードは、任意の適切なプログラミング言語で書くことができる。プログラムコードは、単一のコンピュータシステム上でも、あるいは複数のコンピュータシステム上でも実行することができる。
いくつかの実施形態は、様々な実施形態による方法、システム、およびコンピュータプログラム製品を描写するフローチャートおよび/またはブロック図を参照して、上記で説明されている。
本明細書で議論される様々な実施形態の特徴は、本明細書で議論される他の実施形態とともに使用されてもよい。実施形態の前述の説明は、例示および説明の目的で提示されている。前述の説明は、網羅的であることも、開示された厳密な形態に限定することも意図されていない。上記の教示に照らして、多くの修正、変形、置換、変更、および均等物が可能であることを、当業者は理解すべきである。したがって、添付の特許請求の範囲は、本発明の真の精神に含まれるそのようなすべての修正および変更を包含することを意図していることを理解されたい。

Claims (32)

  1. 照明システムであって、
    光ビームを生成するための光源と、
    複数の異なる空間符号化パターンによって物体を同時に照明するように撮像ビームを符号化するための1つまたは複数の光学素子を備える空間符号化パターン生成器であって、前記異なる符号化パターンの各符号化パターンは、撮像パターンの別個の波長によって特徴付けられる、空間符号化パターン生成器と、
    を備える、照明システム。
  2. 前記光ビームを撮像ビームと参照ビームとに分割し、前記参照ビームが前記撮像ビームと結合された後に、前記参照ビームを撮像センサに導くための1つ以上の光学素子をさらに備える、請求項1に記載の照明システム。
  3. 前記空間符号化パターン生成器は、前記撮像ビームの伝搬方向に垂直な第一の軸を横切って前記物体上に前記複数の異なる空間符号化パターンを撮像するように構成され、前記第一の軸および前記撮像ビームの伝搬方向の両方に垂直な第二の軸を横切って前記物体上に前記複数の異なる空間符号化パターンのフーリエ変換を実行するように構成される、請求項1または2に記載の照明システム。
  4. 前記撮像ビームを符号化する前記1つまたは複数の光学素子は、回折格子グリッド、第一のレンズ、符号化パターン素子、および第二のレンズの順序で光路に沿って整列される、請求項1~3のいずれか一項に記載の照明システム。
  5. 前記第一のレンズは、前記第一のレンズのX軸焦点距離に等しい距離だけ前記回折格子グリッドからも、前記符号化パターン素子からも離間しており、前記第二のレンズは、前記第二のレンズのX軸焦点距離に等しい距離だけ前記符号化パターン素子から離間している、請求項4に記載の照明システム。
  6. 前記レンズのそれぞれのX軸焦点距離が、そのレンズのY軸焦点距離の2倍である、請求項4または5に記載の照明システム。
  7. 前記撮像ビームを符号化する前記1つまたは複数の光学素子が、前記回折格子グリッド、前記第一のレンズ、前記符号化パターン素子、前記第二のレンズ、第二の回折格子グリッド、および第三のレンズの順序で備える光路を画定する、請求項4~6のいずれか一項に記載の照明システム。
  8. 前記第一のレンズは、前記第一のレンズのX軸焦点距離に等しい距離だけ前記回折格子グリッドからも、前記符号化パターン素子からも離間しており、前記第二のレンズは、前記第二のレンズのX軸焦点距離に等しい距離だけ前記符号化パターン素子から離間しており、前記第三のレンズは、前記第三のレンズのX軸焦点距離に等しい距離だけ前記第二の回折格子グリッドから離間している、請求項7に記載の照明システム。
  9. 前記レンズのそれぞれのX軸焦点距離は、そのレンズのY軸焦点距離の2倍である、請求項8に記載の照明システム。
  10. 前記光源がレーザ発生器である、請求項1~9のいずれか一項に記載の照明システム。
  11. レーザ源がパルスレーザ源である、請求項10に記載の照明システム。
  12. 内視鏡に組み込まれる、請求項1~11のいずれか一項に記載の照明システム。
  13. 撮像システムに組み込まれ、前記撮像システムが、
    前記物体を透過した、または前記物体から反射した、符号化撮像ビームを受信するための撮像センサと、
    撮像からの画像データを復号し、前記物体の画像を再構成するためのプロセッサと、
    をさらに備える、請求項1~12のいずれか一項に記載の照明システム。
  14. 前記物体の画像を再構成するために、前記プロセッサは、反射または透過された、前記符号化撮像ビームから得られる前記異なる符号化パターンの各符号化パターンの画像に、対応する復号化パターンを乗算して、積を取得し、前記積のすべてを合計して、前記物体の再構成画像を取得するように構成される、請求項13に記載の照明システム。
  15. 復号化システムであって、
    複数の異なる空間符号化パターンによって物体を同時に照射する符号化撮像ビームを受信するための撮像センサであって、前記異なる符号化パターンの各符号化パターンは、前記物体を透過した、または前記物体から反射した、撮像パターンの別個の波長によって特徴付けられる、撮像センサと、
    撮像からの画像データを復号し、前記物体の画像を再構成するためのプロセッサと、
    を備える、復号化システム。
  16. 前記物体の画像を再構成するために、前記プロセッサは、反射または透過された、前記符号化撮像ビームから得られる前記異なる符号化パターンの各符号化パターンの画像に、対応する復号化パターンを乗算して、積を取得し、前記積のすべてを合計して、前記物体の再構成画像を取得するように構成される、請求項15に記載の復号化システム。
  17. 光ビームを生成するステップと、
    空間符号化パターン生成器を使用して、撮像ビームを、複数の異なる空間符号化パターンによって物体を同時に照射するように符号化するステップであって、前記異なる符号化パターンの各符号化パターンは、撮像パターンの個別の波長によって特徴付けられる、ステップと、
    を含む、方法。
  18. 前記撮像ビームを符号化するステップは、時間ゲートを適用するステップを含む、請求項17に記載の方法。
  19. 前記時間ゲートは、短光パルスゲート、コヒーレンスゲート、および回折格子グリッドによって生成される干渉パターンからなる技術グループの技術のいずれかを用いて適用される、請求項18に記載の方法。
  20. 空間符号化パターン生成器が、前記撮像ビームを符号化するための1つまたは複数の光学素子を備え、前記1つまたは複数の光学素子は、回折格子グリッド、第一のレンズ、符号化パターン素子、および第二のレンズの順序で光路に沿って整列される、請求項17~19のいずれか一項に記載の方法。
  21. 前記撮像ビームを符号化するステップは、時間ゲートを適用するステップを含み、前記時間ゲートは、前記光ビームを撮像ビームと参照ビームとに分割し、前記参照ビームが前記撮像ビームと結合された後に、前記参照ビームを撮像センサに導くことによって、実現される、請求項20に記載の方法。
  22. 前記第一のレンズは、前記第一のレンズのX軸焦点距離に等しい距離だけ前記回折格子グリッドからも、前記符号化パターン素子からも離間しており、前記第二のレンズは、前記第二のレンズのX軸焦点距離に等しい距離だけ前記符号化パターン素子から離間している、請求項20または21に記載の方法。
  23. 前記レンズのそれぞれのX軸焦点距離が、そのレンズのY軸焦点距離の2倍である、請求項20~22のいずれか一項に記載の方法。
  24. 前記撮像ビームを符号化する前記1つまたは複数の光学素子が、前記回折格子グリッド、前記第一のレンズ、前記符号化パターン素子、前記第二のレンズ、第二の回折格子グリッド、および第三のレンズの順序で備える光路を画定する、請求項20~23のいずれか一項に記載の方法。
  25. 前記第一のレンズは、前記第一のレンズのX軸焦点距離に等しい距離だけ前記回折格子グリッドからも、前記符号化パターン素子からも離間しており、前記第二のレンズは、前記第二のレンズのX軸焦点距離に等しい距離だけ前記符号化パターン素子から離間しており、前記第三のレンズは、前記第三のレンズのX軸焦点距離に等しい距離だけ前記第二の回折格子グリッドから離間している、請求項24に記載の方法。
  26. 前記レンズのそれぞれのX軸焦点距離が、そのレンズのY軸焦点距離の2倍である、請求項25に記載の方法。
  27. 前記光ビームは、レーザ源によって生成される、請求項17~26のいずれか一項に記載の方法。
  28. 前記レーザ源がパルスレーザ源である、請求項27に記載の方法。
  29. 撮像センサを使用して、前記物体を透過した、または前記物体から反射した、符号化撮像ビームを受信するステップと、
    プロセッサを使用して、撮像からの画像データを復号し、前記物体の画像を再構成するステップと、
    をさらに含む、請求項17~28のいずれか一項に記載の方法。
  30. 前記物体の画像を再構成するために、反射または透過された、前記符号化撮像ビームから得られる前記異なる符号化パターンの各符号化パターンの画像に、対応する復号化パターンを乗算するステップと、積を取得し、前記積のすべてを合計して、前記物体の再構成画像を取得するステップをさらに含む、請求項29に記載の方法。
  31. 撮像センサを使用して、複数の異なる空間符号化パターンによって物体を同時に照射した符号化撮像ビームを受信するステップであって、前記異なる符号化パターンの各符号化パターンは、撮像パターンの別個の波長によって特徴付けられ、前記物体を透過するか、または前記物体から反射されたものである、ステップと、
    プロセッサを使用して、撮像からの画像データを復号し、前記物体の画像を再構成するステップと、
    を含む、方法。
  32. 前記物体の画像を再構成するステップは、反射または透過された、前記符号化撮像ビームから得られる前記異なる符号化パターンの各符号化パターンの画像に、対応する復号化パターンを乗算するステップと、積を取得し、前記積のすべてを合計して、前記物体の再構成画像を取得するステップを含む、請求項31に記載の方法。
JP2021552733A 2019-03-07 2020-03-05 空間符号化システム、復号化システム、撮像システム、およびそれらの方法 Pending JP2022525008A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/296,165 2019-03-07
US16/296,165 US11284786B2 (en) 2019-03-07 2019-03-07 Spatial encoding system decoding system imaging system and methods thereof
PCT/IL2020/050257 WO2020178834A1 (en) 2019-03-07 2020-03-05 Spatial encoding system decoding system imaging system and methods thereof

Publications (1)

Publication Number Publication Date
JP2022525008A true JP2022525008A (ja) 2022-05-11

Family

ID=72336633

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021552733A Pending JP2022525008A (ja) 2019-03-07 2020-03-05 空間符号化システム、復号化システム、撮像システム、およびそれらの方法

Country Status (6)

Country Link
US (1) US11284786B2 (ja)
EP (1) EP3935440A4 (ja)
JP (1) JP2022525008A (ja)
CN (1) CN113544572A (ja)
IL (1) IL285787B1 (ja)
WO (1) WO2020178834A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10571679B2 (en) * 2017-01-06 2020-02-25 Karl Storz Imaging, Inc. Endoscope incorporating multiple image sensors for increased resolution
GB202101997D0 (en) * 2021-02-12 2021-03-31 Ams Sensors Singapore Pte Ltd Coded aperture imaging system and method
US20230296876A1 (en) * 2022-03-17 2023-09-21 ZSquare Ltd. System and method for imaging through scattering medium

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6485413B1 (en) * 1991-04-29 2002-11-26 The General Hospital Corporation Methods and apparatus for forward-directed optical scanning instruments
ATE272224T1 (de) * 1997-11-17 2004-08-15 Max Planck Gesellschaft Konfokales spektroskopiesystem und -verfahren
US20070121196A1 (en) * 2005-09-29 2007-05-31 The General Hospital Corporation Method and apparatus for method for viewing and analyzing of one or more biological samples with progressively increasing resolutions
WO2007109861A1 (en) * 2006-03-29 2007-10-04 The University Of Queensland Super resolution microscopy
DE102006036255B4 (de) * 2006-08-03 2013-01-31 Seereal Technologies S.A. Verfahren und Vorrichtung zum Auslesen von in Lichtmodulatoren kodierten Informationen
US9080899B2 (en) 2011-12-23 2015-07-14 Mitutoyo Corporation Optical displacement encoder having plural scale grating portions with spatial phase offset of scale pitch
US20150238276A1 (en) * 2012-09-30 2015-08-27 M.S.T. Medical Surgery Technologies Ltd. Device and method for assisting laparoscopic surgery - directing and maneuvering articulating tool
WO2015103566A2 (en) * 2014-01-06 2015-07-09 The Regents Of The University Of California Spatial frequency domain imaging using custom patterns
CN104224117B (zh) * 2014-09-10 2017-06-30 南京航空航天大学 一种光谱编码共焦与光学相干层析协同成像方法与***
ES2827022T3 (es) * 2014-09-30 2021-05-19 Univ California Citómetro de flujo de formación de imágenes mediante transformación espacio-temporal
CN107427201A (zh) * 2015-03-31 2017-12-01 索尼公司 照明光传输装置及照明光传输方法
EP3391108A1 (en) * 2015-12-17 2018-10-24 Universite d'Aix-Marseille (AMU) Systems and methods for high resolution imaging using a bundle of optical fibers
WO2017169656A1 (ja) * 2016-03-31 2017-10-05 パナソニックIpマネジメント株式会社 撮像装置
TWI655522B (zh) * 2017-08-08 2019-04-01 國立臺灣師範大學 結構光照明數位全像之方法與裝置
US10016137B1 (en) * 2017-11-22 2018-07-10 Hi Llc System and method for simultaneously detecting phase modulated optical signals
KR102154649B1 (ko) * 2018-10-04 2020-09-11 고려대학교 산학협력단 샘플 내의 타겟 오브젝트를 측정하기 위한 고속 이미징 시스템

Also Published As

Publication number Publication date
CN113544572A (zh) 2021-10-22
IL285787A (en) 2021-10-31
US11284786B2 (en) 2022-03-29
WO2020178834A1 (en) 2020-09-10
IL285787B1 (en) 2024-07-01
EP3935440A1 (en) 2022-01-12
EP3935440A4 (en) 2022-12-28
US20200281451A1 (en) 2020-09-10

Similar Documents

Publication Publication Date Title
JP2022525008A (ja) 空間符号化システム、復号化システム、撮像システム、およびそれらの方法
US7695140B2 (en) Fourier-domain OCT ray-tracing on the eye
KR101336048B1 (ko) 광 단층촬영의 촬상방법 및 그 장치
CN104833634B (zh) 分光测量装置
Choi et al. Optical imaging with the use of a scattering lens
US20140071238A1 (en) Devices and methods for visualization and three-dimensional reconstruction in endoscopy
CN107615005A (zh) 高分辨率3‑d谱域光学成像设备和方法
US10352819B2 (en) Method of measuring transmission characteristics of optical transfer medium and image acquisition device using the same
US20190212124A1 (en) System and method for use in depth characterization of objects
JP2012198221A (ja) 内視鏡による角度分解低コヒーレンス干渉法のためのシステムおよび方法
US7282716B2 (en) Digital imaging assembly and methods thereof
US20190028641A1 (en) Systems and methods for high resolution imaging using a bundle of optical fibers
US11202572B2 (en) Multi-fiber optical probe and optical coherence tomography system
JP2022512037A (ja) マルチモード導波路イメージング
US7470903B2 (en) Digital imaging assembly & methods thereof
US20140064654A1 (en) Multimode fiber for spatial scanning
JP6818487B2 (ja) スペクトルの測定方法
US11892801B2 (en) Systems and methods for simultaneous multi-channel off-axis holography
JP2023543345A (ja) 光学装置及び物体の検査手順
KR102404070B1 (ko) 광섬유 번들을 이용하는 반사 내시현미경 및 이를 이용한 이미지 획득 방법
Wagner et al. Wavelengths encoded illumination for resolution enhancement and imaging beyond scattering medium
CN117794439A (zh) 利用波长梳照明的谱域光学成像
JP2018179529A (ja) 応答特性取得装置、応答特性取得方法および応答特性取得プログラム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230206

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230301

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240123

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240327