JP7064796B2 - 画像再構成方法、装置及び顕微結像装置 - Google Patents

画像再構成方法、装置及び顕微結像装置 Download PDF

Info

Publication number
JP7064796B2
JP7064796B2 JP2020541842A JP2020541842A JP7064796B2 JP 7064796 B2 JP7064796 B2 JP 7064796B2 JP 2020541842 A JP2020541842 A JP 2020541842A JP 2020541842 A JP2020541842 A JP 2020541842A JP 7064796 B2 JP7064796 B2 JP 7064796B2
Authority
JP
Japan
Prior art keywords
optical fiber
image
center position
grayscale value
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020541842A
Other languages
English (en)
Other versions
JP2020537162A (ja
Inventor
金華 邵
錦 孫
后利 段
強 王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Microview Medical Technologies Co Ltd
Original Assignee
Suzhou Microview Medical Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Microview Medical Technologies Co Ltd filed Critical Suzhou Microview Medical Technologies Co Ltd
Publication of JP2020537162A publication Critical patent/JP2020537162A/ja
Application granted granted Critical
Publication of JP7064796B2 publication Critical patent/JP7064796B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6408—Fluorescence; Phosphorescence with measurement of decay time, time resolved fluorescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036—Scanning details, e.g. scanning stages
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/02—Objectives
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/082—Condensers for incident illumination only
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N2021/6463—Optics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N2021/6484—Optical fibres
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/063—Illuminating optical parts
    • G01N2201/0635—Structured illumination, e.g. with grating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/08—Optical fibres; light guides
    • G01N2201/0826—Fibre array at source, distributing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/08—Optical fibres; light guides
    • G01N2201/0833—Fibre array at detector, resolving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)

Description

本発明は画像処理技術に関し、特に、画像再構成方法、装置及び顕微結像装置に関する。
構造化照明（ｓｔｒｕｃｔｕｒｅｄ ｉｌｌｕｍｉｎａｔｉｏｎ）に基づく顕微鏡は、焦点はずれ（ｏｕｔ ｏｆ ｆｏｃｕｓ）ノイズを抑制するセクショニング（ｓｅｃｔｉｏｎｉｎｇ）結像機能を有し、共焦点顕微鏡と比較すると、構造が簡単で結像速度が速いという利点を有する。現在の技術では、それは従来の内視鏡としてよく利用され、人の消化管などの臓器をスキャンして細胞の形状変化を観察することで、腫瘍の発生や進展を事前に予測することができ、癌検診にとって重要な指針となる。
この構造化光照明に基づく顕微鏡では、具体的には、励起器によって、生体蛍光を励起する蛍光を放出し、次に、この蛍光が光学格子を通過して、黒白の縞模様の正弦波光源が形成される。次に、毎回光学格子の１／３の光学格子間隔を移動することで、人の細胞をスキャンした後に返された複数枚の画像、例えば、画像I1、画像I2、画像I3を収集する。次に、自乗平均根式
Figure 0007064796000001
に従って、画像I1、画像I2、画像I3を再構成して、再構成後の画像Iを取得する。しかしながら、その再構成方法では、画像I1、画像I2、画像I3内の全ての画素のグレースケールを自乗平均根式で計算する必要がある。そのため、計算に時間がかかり、再構成された画像内の光学格子及び光ファイバ束（ｆｉｂｅｒ ｂｕｎｄｌｅ）のハニカム状グリッドが明らかに残り、結像品質が低下する。
構造化光照明に基づく顕微鏡が画像の再構成に対して効率的ではなく、画像内の残留光学格子が明らかであり、結像の品質が低下するという従来技術の技術的問題を解決するために、本発明は、画像再構成方法、装置及び顕微結像装置を提供して、画像再構成の速度を上げ、再構成画像内の光学格子の残留を除去し、再構成された画像の品質を向上させる。
本発明は画像再構成方法を提供する。この方法は、
１枚又は複数枚のサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するステップと、
光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、前記再構成画像を形成するステップと、を含む。
オプションで、
均一な蛍光の光ファイバ束の原画像を取得するステップと、
前記原画像において、周囲の画素値よりも高い画素値を有する目標画素点を確認し、前記目標画素点を光ファイバ束の各光ファイバの中心位置として確定するステップとを更に含む。
オプションで、均一な蛍光の光ファイバ束の原画像を取得する前記ステップは、
１つの光学格子間隔距離範囲内で、予め設定されたステップサイズの間隔をおいた複数の光ファイバ束の画像を収集するステップと、
前記複数の光ファイバ束の画像に対してそれらの平均画像を取得し、前記均一な蛍光の光ファイバ束の原画像を形成するステップと、を含む。
オプションで、前記空間補間を行うステップの前に、
各光ファイバの中心位置に基づいて、光ファイバ束の各画素点と各光ファイバの前記中心位置との間の補間重みを確定するステップを更に含む。
オプションで、以下の方法を使用して補間重みを確定するステップをさらに含む：
各光ファイバの中心位置、及び隣接する光ファイバの中心位置を頂点として、複数の三角形構造を形成し、
前記三角形構造に基づいて、各三角形構造内の画素点と各光ファイバの中心位置との間の補間重みを確定する。
オプションで、以下の方法を使用して複数枚のサンプル画像を取得するステップを更に含む。
予め設定された位相間隔に従って、１つの光学格子間隔距離内でＮ－１回移動して、初期位相を含む、前記初期位相から毎回前記予め設定された位相間隔を移動したＮ枚のサンプル画像を取得する。
オプションで、前記予め設定された位相間隔は１２０度であり、Ｎ＝３である。
オプションで、１枚又は複数枚のサンプル画像で各光ファイバの中心位置のグレースケール値を確定する前記ステップの後に、
各光ファイバの中心位置のグレースケール値に対して飽和度判断を行うステップと
前記サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがある場合、前記予め設定された飽和度閾値を超えた光ファイバを校正対象の光ファイバとして確定しており、
再構成画像で、前記校正対象の光ファイバの中心位置のグレースケール値を前記予め設定された飽和度閾値に校正し、校正された前記サンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するステップと、
前記サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがない場合、前記サンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するステップと、を更に含む。
オプションで、複数枚のサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算する前記ステップは、
各光ファイバの中心位置の前記複数枚のサンプル画像におけるグレースケール値の互いの差を計算し、得られた差の平方和を計算して平方を開いて、再構成画像内の光ファイバ束の各光ファイバ中心のグレースケール値を取得するステップを含む。
本発明は画像再構成装置を更に提供する。この装置は、
１枚又は複数枚のサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するための計算モジュールと、
光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、前記再構成画像を形成するための形成モジュールと、を備える。
オプションで、
均一な蛍光の光ファイバ束の原画像を取得するための第１取得モジュールと、
前記原画像において、周囲の画素値よりも高い画素値を有する目標画素点を確認し、前記目標画素点を光ファイバ束の各光ファイバの中心位置として確定するための第１確定モジュールとを更に備える。
オプションで、前記第１取得モジュールは、
１つの光学格子間隔距離範囲内で、予め設定されたステップサイズの間隔をおいた複数の光ファイバ束の画像を収集するための収集サブモジュールと、
前記複数の光ファイバ束の画像に対してそれらの平均画像を取得し、前記均一な蛍光の光ファイバ束の原画像を形成するための形成サブモジュールと、を含む。
オプションで、前記装置は、
各光ファイバの中心位置に基づいて、光ファイバ束の各画素点と各光ファイバの前記中心位置との間の補間重みを確定するための第２確定モジュールを更に備える。
オプションで、前記装置は、
各光ファイバの中心位置、及び隣接する光ファイバの中心位置を頂点として、複数の三角形構造を形成し、前記三角形構造に基づいて、各三角形構造内の画素点と各光ファイバの中心位置との間の補間重みを確定するための第３確定モジュールを更に備える。
オプションで、前記装置は、
予め設定された位相間隔に従って、１つの光学格子間隔距離内でＮ－１回移動して、初期位相を含む、前記初期位相から毎回前記予め設定された位相間隔を移動したＮ枚のサンプル画像を取得するための第２取得モジュールを更に備える。
オプションで、前記予め設定された位相間隔は１２０度であり、
Ｎ＝３である。
オプションで、前記装置は、
各光ファイバの中心位置のグレースケール値に対して飽和度判断を行うための判断モジュールと
前記サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがある場合、前記予め設定された飽和度閾値を超えた光ファイバを校正対象の光ファイバとして確定しており、再構成画像で、前記校正対象の光ファイバの中心位置のグレースケール値を前記予め設定された飽和度閾値に校正し、校正された前記サンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するための第１処理モジュールと、
前記サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがない場合、前記サンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するための第２処理モジュールと、を更に備える。
オプションで、前記計算モジュールは、具体的には各光ファイバの中心位置の前記複数枚のサンプル画像におけるグレースケール値の互いの差を計算し、得られた差の平方和を計算して平方を開いて、再構成画像内の光ファイバ束の各光ファイバ中心のグレースケール値を取得するために使用される。
本発明は顕微結像装置を更に提供する。この顕微結像装置は、
発光ユニットと、位相調節ユニットと、転向ユニットと、複数の光ファイバを含む光ファイバ束と、検出ユニットと、処理ユニットとを備え、
前記発光ユニットは、励起光を放射するために使用され、
前記位相調節ユニットは、前記励起光の光路の出口に設けられ、前記処理ユニットに接続され、前記処理ユニットによって送信された位相調節量に従って、前記励起光の位相を調節して、異なる位相の励起光を取得するために使用され、
前記転向ユニットは、異なる位相の励起光を転向させて、転向後の励起光を前記光ファイバ束に沿って検出される組織に集光し、前記検出される組織によって返される異なる位相の蛍光を通過するために使用され、
前記検出ユニットは、異なる位相の蛍光を収集して、複数枚のサンプル画像を形成するために使用され、
前記処理ユニットは、前記検出ユニットに接続され、前記複数枚のサンプル画像を受信し、複数枚のサンプル画像で確定された前記光ファイバ束の各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算しており、光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、前記再構成画像を形成するために使用される。
オプションで、前記位相調節ユニットはモーターと光学格子を含み、
前記モーターは、前記処理ユニット及び前記光学格子にそれぞれ接続され、前記処理ユニットによって送信された位相調節量に従って、前記光学格子をドラッグして移動させて、前記励起光が前記光学格子を透過した後に前記位相調節量に対応する励起光を取得するために使用される。
オプションで、前記モーターは直流モーターを含み、
それに対応して、前記処理ユニットは、予め設定された位相間隔に従って等間隔の位相調節量を確定し、前記直流モーターは、前記等間隔の位相調節量を受信し、前記光学格子をドラッグして、１つの光学格子間隔範囲内で等間隔距離移動させ、それにより、前記処理ユニットは前記予め設定された位相間隔に対応する複数枚のサンプル画像を取得する。
オプションで、前記予め設定された位相間隔は１２０度であり、前記位相調節量は３個である。
オプションで、前記発光ユニットは、励起光を放射するためのレーザーを含み、さらに、前記レーザーの励起光の出口に設けられ、前記励起光の光束を拡張して線状光束に１次元集光するための光束拡張線集束装置を含む。
オプションで、前記転向ユニットはダイクロイックミラーである。
オプションで、光フィルターを更に備え、前記光フィルターは、前記位相調節ユニットと前記転向ユニットとの間に配置され、迷光を除去するために使用される。
オプションで、前記検出ユニットは電荷結合素子ＣＣＤを含む。
オプションで、複数のレンズからなる対物レンズを更に備え、前記対物レンズは、前記転向ユニットと前記光ファイバ束との間に配置され、前記転向ユニットによって転向した励起光を集光処理するために使用される。
本発明の画像再構成方法、装置及び顕微結像装置では、１枚又は複数枚のサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算しており、光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、再構成画像を形成する。この画像再構成方法では、光ファイバの中心位置の画素点のグレースケール値を計算するだけで、空間補間に基づいて画像全体の画素点のグレースケール値を取得するため、各画素点のグレースケール値を計算するための計算量が削減され、画像再構成の速度が大幅に加速される。また、この方法は、再構成画像内の光学格子と光ファイバ束のハニカム状グリッドの残留の除去を容易にし、再構成画像の結像品質を改善する。
例示的な実施例で示される本発明の画像再構成方法のフローチャートである。 図１に示される実施例の構造化光顕微内視鏡装置の模式図である。 別の例示的な実施例で示される本発明の画像再構成方法のフローチャートである。 図３に示される実施例の光ファイバ画素三角形構造の模式図である。 例示的な実施例で示される本発明の画像再構成装置の構造模式図である。 別の例示的な実施例で示される本発明の画像再構成装置の構造模式図である。 例示的な実施例で示される本発明の顕微結像装置の構造模式図である。 別の例示的な実施例で示される本発明の顕微結像装置の構造模式図である。
本発明の実施例の目的、技術的解決手段及び利点をさらに明確にするために、以下、本発明の実施例に添付の図面を参照しながら、本発明の実施例の技術的解決手段を明確かつ完全に説明する。当然のことながら、ここで説明する実施例は本発明の実施例の全てではなく一部にすぎない。当業者が創造的な作業なしに本発明の実施例に基づいて得られる他の全ての実施例は、本発明の保護範囲に含まれるべきである。
図１は、例示的な実施例で示される本発明の画像再構成方法のフローチャートである。図１に示すように、本発明の画像再構成方法は、すべての光学的に結像された画像の再構成に適し、特に、構造化光に基づく画像再構成に適している。まず、本実施例では、構造化光に基づく内視鏡を例として、構造化光結像の原理を簡単に説明する。
図２に示すような構造化光に基づく顕微内視鏡装置では、励起装置によって放出された光源は光学格子を通して正弦波光に変調され、正弦波光は、ダイクロイックミラー（即ち、特定の周波数の光を透過させ、非特定の周波数の光を反射する）、対物レンズを経て、光ファイバ束に沿って染色された組織（例えば、人体内の細胞組織）を励起して、励起された蛍光は、光ファイバ束、対物レンズ、ダイクロイックミラーを経て電荷結合素子（Ｃｈａｒｇｅ－ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ、「ＣＣＤ」と略称）に達して、画像が収集される。ＣＣＤは、画像センサー又は画像コントローラーとも呼ばれ、半導体素子であり、光学画像を電気信号に変換できる。変調された正弦波光源を組織のある焦平面に集光し、複数の位相（例えば、３つの位相）の蛍光結像を励起し、Ｎｅｉｌを使用して、焦平面外の背景蛍光を除去することによって、セクショニング結像を実現する。セクショニング結像技術は、医学ＣＴを参考にして、放射線走査に基づいて、得られた情報を逆計算し、測定される範囲内の岩盤の弾性波と電磁波パラメータ分布法則の画像を再構成することによって、地質学的異常に丸をつけて選定する物理探査逆解析方法である。
光学格子によって変調された構造化光光源は次の式で表すことができる。
Figure 0007064796000002
式では、ｍは変調コントラスト（ｍｏｄｕｌａｔｉｏｎ ｃｏｎｔｒａｓｔ）である。
Figure 0007064796000003
は正規化された空間周波数であり、
Figure 0007064796000004
値が変更された後、異なる深さ（軸方向の深さ、ａｘｉａｌ ｄｅｐｔｈ）の画像のセクショニングを実現するために使用され得る。βは試料平面（ｓｐｅｃｉｍｅｎ ｐｌａｎｅ）とグリッド平面（ｇｒｉｄ ｐｌａｎｅ）との間の拡張倍率であり、λは波長であり、ｖは実際の空間周波数であり、NAは開口数（ｎｕｍｅｒｉｃａｌ ａｐｅｒｔｕｒｅ ）である。
本実施例では、構造化光が染色組織を照射した後に返される蛍光情報を正確に取得し、その情報に対して鮮明で正確な画像を形成するために、図２の光ファイバ束の各光ファイバ中から伝送された画素情報を確定する必要がある。本実施例の画像再構成方法の具体的な実現ステップは、以下のステップ１０１～ステップ１０２を含む。
ステップ１０１では、１枚又は複数枚のサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算する。
具体的には、図２に示すような構造化光顕微内視鏡装置では、光学格子をドラッグして移動させるように直流モーターを駆動することによって、１枚又は複数枚のサンプル画像を取得する。サンプル画像には、光ファイバ束の各光ファイバによって伝送された画素情報が含まれる。光ファイバ束の場合、１つの光ファイバ束は通常、３万本近くの光ファイバ（数の差は数千に達し得る）からなる。各光ファイバには画素情報が伝送されるため、光ファイバ束はマルチセンサーとも呼ばれてもよい。光ファイバの結像は、一般に、画像内で六角のハニカム状を呈し、各光ファイバの直径は５～６個の画素であることが好ましい。複数枚のサンプル画像では、各光ファイバの中心位置を確定し、各中心位置の画素点のグレースケール値を取得する。中心位置のグレースケール値を確定する方法は、上記の自乗平均根式を使用して行うことができる。即ち、複数枚のサンプル画像内の同じ中心位置のグレースケール値に対してそれらのグレースケール値の平均値を計算し、計算されたグレースケール値の平均値を、再構成された画像内の光ファイバの中心のグレースケール値として使用して、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を取得する。
ステップ１０２では、光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、再構成画像を形成する。
具体的には、各光ファイバの中心位置を基準として、各光ファイバの他の画素点と該中心位置の画素点との間の線形関係を見つけ、それにより、中心位置の画素点に対する各光ファイバのすべての画素点の補間重み、即ち、中心位置の画素点に対する各光ファイバの他の画素点の重み値を確定する。各画素点と光ファイバの中心との間の補間重みに基づいて、光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、再構成画像を形成する。
本実施例の画像再構成方法では、１枚又は複数枚のサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算しており、光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、再構成画像を形成する。この画像再構成方法では、光ファイバの中心位置の画素点のグレースケール値を計算するだけで、空間補間に基づいて画像全体の画素点のグレースケール値を取得するため、各画素点のグレースケール値を計算するための計算量が削減され、画像再構成の速度が大幅に加速される。また、この方法は、再構成画像内の光学格子と光ファイバ束のハニカム状グリッドの残留の除去を容易にし、再構成画像の結像品質を改善する。
図３は、別の例示的な実施例で示される本発明の画像再構成方法のフローチャートである。図３に示すように、本実施例の画像再構成方法は、ステップ３０１～ステップ３０５を含む。
ステップ３０１では、均一な蛍光の光ファイバ束の原画像を取得する。
ステップ３０２では、原画像において、周囲の画素値よりも高い画素値を有する目標画素点を確認し、目標画素点を光ファイバ束の各光ファイバの中心位置として確定する。
具体的には、画像の再構成前に、光ファイバを正確に位置決めするための均一な蛍光の画像を撮影することができる。光ファイバ束の場合、１つの光ファイバ束は通常、３万本近くの光ファイバ（数の差は数千に達し得る）からなる。各光ファイバには画素情報が伝送されるため、光ファイバ束はマルチセンサーとも呼ばれてもよい。光ファイバの結像は、画像内で六角のハニカム状を呈し、各光ファイバの直径は５～６個の画素であることが好ましい。光ファイバ間の相互干渉を低減するために、光ファイバを行又は列に配置するのではなく、空間に不規則に配置する。本実施例における光ファイバの中心位置とは、光ファイバの中心の最も明るい点を光ファイバの中心と意味する。いわゆる最も明るい点とは、原画像において、画素値が周囲の画素値よりも高いことが確認される目標画素点を意味する。目標画素点を光ファイバ束の各光ファイバの中心位置として確定し、該中心の最も明るい点の座標を光ファイバの座標として使用して、各光ファイバの他の画素点を位置決めする。グリッド、即ち、光ファイバの六角ハニカムを除去するために、光ファイバの中心のグレースケールを使用して空間補間を行い、光ファイバ束範囲全体における他の画素のグレースケールを取得する必要がある。通常、光学格子を取り付けた後、撮影される位置決め画像、即ち、原画像には光学格子が存在するため、光学格子を取り外して撮影することによって、均一な蛍光の光ファイバ束の原画像を取得することができる。オプションで、１つの光学格子間隔距離範囲内で、予め設定されたステップサイズの間隔をおいた複数の光ファイバ束の画像を収集し、複数の光ファイバ束の画像に対してそれらの平均画像を取得し、均一な蛍光の光ファイバ束の原画像を形成することもできる。即ち、図２の直流モーターを、１つの光学格子間隔範囲において幾つかの同じ変位均等に移動させ、収集した平均画像を取得する。当業者は、均一な蛍光の光ファイバ束の原画像を取得する方法を自分から決定することができ、これは、本実施例では特に限定されない。
ステップ３０３では、複数枚のサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算する。
サンプル画像の取得は、予め設定された位相間隔に従って、１つの光学格子間隔距離内でＮ－１回移動して、初期位相を含む、前記初期位相から毎回前記予め設定された位相間隔を移動したＮ枚のサンプル画像を取得することによって実行され得る。例えば、光学格子を取り付け、モーターにより光学格子をドラッグして移動させることによって、Ｎ枚の光ファイバ束のサンプル画像を取得する。例えば、サンプル画像の収集を開始する前に、モーターの初期位置でサンプル画像を撮影する。その後、モーターが別の位置に移動し、サンプル画像を撮影する。モーターが再移動し、再撮影して、それにより、Ｎ枚のサンプル画像を取得する。取得したサンプル画像の精度を保証するために、モーターを時計回りに複数の位置に回転させて、上記のＮ枚のサンプル画像を取得しており、しばらく待ってから、モーターを反時計回りに逆方向に移動させて、Ｎ枚のサンプル画像を取得する。このようにして、２枚の構造化光の画像を再構成することができる。比較を通して、再構成画像の精度を保証することができる。好ましくは、予め設定された位相間隔は１２０度であり、Ｎ＝３である。これに対応して、モーターは光学格子をドラッグして水平方向に移動し、毎回移動する予め設定された位相間隔閾値が１／３の光学格子間隔である。収集を開始する前に、モーターの移動の初期位置で、カメラにより１枚の写真を撮影し、モーターが移動し、撮影し、モーターが再移動し、撮影して、３つの位相のサンプル画像を取得した後に画像を再構成する。その後、サイクルの一貫性を保つために、一定時間待機する。次に、再撮影し、逆方向に移動し．．．．．．これにより、モーターが１回往復移動すると、２枚の構造化光の画像を再構成することができる。３枚のサンプル画像は、それぞれ０度位相のサンプル画像I1（初期位相）、１２０度位相のサンプル画像I2（１つの予め設定された位相間隔閾値を移動）、２４０度位相のサンプル画像I3（２つの予め設定された位相間隔閾値を移動）であってもよい。３枚のサンプル画像において、光ファイバの中心位置に応じて、３つの位相の画像の光ファイバの中心のグレースケールを検索すると、０度位相のサンプル画像I1の光ファイバの中心のグレースケール値G1、１２０度位相のサンプル画像I2の光ファイバの中心のグレースケール値G2、及び２４０度位相のサンプル画像I3の光ファイバの中心のグレースケール値G3を取得する。オプションで、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値の計算では、各光ファイバの中心位置の複数枚のサンプル画像におけるグレースケール値の互いの差を計算し、得られた差の平方和を計算して平方を開いて、再構成画像内の光ファイバ束の各光ファイバ中心のグレースケール値を取得する方法を使用することができる。例えば、Ｎｅｉｌ式
Figure 0007064796000005
に基づいて、３枚のサンプル画像内の３つの中心のグレースケール値の２つごとの差を計算し、差値を２乗し、２乗された差値を加算してから平方根を求める。それにより、再構成画像内の光ファイバの中心のグレースケール値を算出する。
しかしながら、上記のＮｅｉｌ式は、サンプル画像が過飽和になると、中心のグレースケール値を２つごとに減算すると、中心点で算出されたグレースケール値が非常に小さいグレースケールの黒い点になり、それにより、再構成された画像に黒色領域が出現し、細胞を明瞭に結像することができなくなるという欠点を有する。画像飽和が再構成画像の結像を不明瞭にするという問題を回避するために、光ファイバの中心点のグレースケールを飽和校正することができる。この方法でのみ、再構成された画像は良好なセクショニング効果を有する。
オプションで、１枚又は複数枚のサンプル画像で各光ファイバの中心位置のグレースケール値を確定するステップの後に、各光ファイバの中心位置のグレースケール値の飽和度を判断するステップを追加することができる。即ち、サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがある場合、予め設定された飽和度閾値を超えた光ファイバを校正対象の光ファイバとして確定する。再構成画像で、校正対象の光ファイバの中心位置のグレースケール値を予め設定された飽和度閾値に校正し、校正されたサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算する。
サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがない場合、前記サンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算する。
予め設定された飽和度閾値は、ＣＣＤの性能に応じて決定することができる。例えば、０度位相のサンプル画像I1の光ファイバの中心のグレースケール値G1、１２０度位相のサンプル画像I2の光ファイバの中心のグレースケール値G2、２４０度位相のサンプル画像I3の光ファイバの中心のグレースケール値G3の３つのグレースケール値は４０９５、（４０９５は、１２ビット画像の最大値に対応し、ＣＣＤ飽和を示す）を超えたか否かを判断する。その後、上記のＮｅｉｌ式
Figure 0007064796000006
を使用して再構成画像の中心点のグレースケール値を計算する代わりに、４０９５の予め設定された飽和度閾値を該中心点のグレースケール値として直接素量する。このような処理は、サンプル画像と再構成された構造化光画像が視覚的に白黒反転になるという問題を回避する。しかしながら、このような処理は、やむを得ず採用される救済措置であり、当業者にとっては、サンプル画像を収集するときの画像飽和の問題を回避するように努めるべきである。例えば、カメラパラメータの露出時間が長すぎることやゲインが過剰になることを回避する措置、試料の蛍光染色物質が多すぎることを回避する措置、レーザーから放出されたレーザー光の光強度が強すぎることを回避する措置などを採用してもよい。
同様に、再構成画像において、光ファイバの中心位置のグレースケール値が、予め設定された飽和度閾値を超えた光ファイバがある場合、予め設定された飽和度閾値を超えた光ファイバを校正対象の光ファイバとして確定する再構成画像で、校正対象の光ファイバの中心位置のグレースケール値を予め設定された飽和度閾値に校正する。即ち、算出された
Figure 0007064796000007
の値が予め設定された飽和度閾値を超えた場合、この光ファイバを校正対象の光ファイバとして確定し、予め設定された飽和度閾値をこの光ファイバの中心位置のグレースケール値として使用する。これにより、サンプル画像の飽和校正が実現される。
ステップ３０４では、各光ファイバの中心位置に基づいて、光ファイバ束の各画素点と各光ファイバの中心位置との間の補間重みを確定する。
具体的には、上記のように、サンプル画像でも原画像でも、同じ構造の光ファイバ束に対する光学結像である。そのため、原画像で確定された各光ファイバの中心位置に基づいて、サンプル画像内の対応する光ファイバの中心位置を見つけ、該中心点のグレースケール値を読み取る。Ｎ枚のサンプル画像内の各光ファイバをいずれも位置決めし、グレースケール値を取得する。従って、各光ファイバは、Ｎ個の中心位置のグレースケール値に対応する。予め設定されたアルゴリズム（例えば、上記の自乗平均根のＮｅｉｌ式）に従って、Ｎ個の中心位置のグレースケール値に対して、グレースケール値の平均値を求め、算出されたグレースケール値の平均値を再構成された画像内の該光ファイバの中心のグレースケール値として使用する。
光ファイバ束の各画素点と各光ファイバの中心位置との間の補間重みについては、各光ファイバの中心位置、及び隣接する光ファイバの中心位置を頂点として、複数の三角形構造を形成しており、三角形構造に基づいて、各三角形構造内の画素点と各光ファイバの中心位置との間の補間重みを確定することができる。
具体的には、領域最大値法により光ファイバの中心座標を取得することができる。即ち、図４に示される光ファイバＡの中心位置を１つの頂点として、光ファイバＡとそれに隣接する光ファイバＢ及び光ファイバＣの３つの中心位置が三角形を構成することにより、光ファイバ束範囲全体が複数の三角形に分割される。これらの三角形により、画素と光ファイバとの補間関係が確立される。光線はほぼ六辺形であるため、分布は不規則である。隣接する光ファイバには、横方向又は縦方向の座標位置合わせ関係がないため、通常の双線形補間のように、４つの規則的な頂点によって中央の画素を補間することができない。ただし、このような三角形構造を使用すると、各三角形構造内の画素点と各光ファイバの中心位置との間の補間重みを確定することもできる。
ステップ３０５では、光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、再構成画像を形成する。
具体的には、均一な蛍光の光ファイバ束の原画像を取得した後、原画像で光ファイバ束に含まれるすべての光ファイバの中心位置、即ち、各光ファイバの最も明るい画素点の位置座標を確定する。各光ファイバの中心位置を基準として、各光ファイバの他の画素点と該中心位置の画素点との間の線形関係を見つけ、それにより、中心位置の画素点に対する各光ファイバのすべての画素点の補間重み、即ち、中心位置の画素点に対する各光ファイバの他の画素点の重み値を確定する。その後、構造化光が組織に照射された後に得られたサンプル画像の再構成では、事前に計算された線形重み値に基づいて、再構成時に光ファイバのグレースケール値を乗算して、補間される画素のグレースケール値を取得して、再構成画像を形成することができる。
本実施例の画像再構成方法では、三角形の画素空間に基づいて、光ファイバで位置決めすることによって、構造化光結像の再構成を取得する。光ファイバの中心点の画素のみに対して、Ｎｅｉｌ式を使用してグレースケール値を計算し、補間して、構造化光画像全体を再構成する。計算時間を大幅に節約し、光ファイバのハニカム構造を除去することができる。Ｎ枚のサンプル画像、例えば、３枚のサンプル画像の位相の差がちょうど１２０度となる場合、光学格子の痕跡はない。従って、本発明の画像再構成方法は、各画素点のグレースケール値を計算するための計算量を大幅に削減し、画像再構成の速度を大幅に加速することができる。また、この方法は、再構成画像内の光学格子と光ファイバ束のハニカム状グリッドの残留の除去を容易にし、再構成画像の結像品質を改善する。
図５は、例示的な実施例で示される本発明の画像再構成装置の構造模式図である。図５に示すように、本実施例の画像再構成装置は、
１枚又は複数枚のサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するための計算モジュール１と、
光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、再構成画像を形成するための形成モジュール２と,
を備える。
本実施例は、図１に示される実施例を実現することができる。その実現原理は同様であり、ここでは繰り返し説明しない。
本実施例の画像再構成装置では、複数枚のサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算しており、光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、再構成画像を形成する。この画像再構成方法では、光ファイバの中心位置の画素点のグレースケール値を計算するだけで、空間補間に基づいて画像全体の画素点のグレースケール値を取得するため、各画素点のグレースケール値を計算するための計算量が削減され、画像再構成の速度が大幅に加速される。また、この方法は、再構成画像内の光学格子と光ファイバ束のハニカム状グリッドの残留の除去を容易にし、再構成画像の結像品質を改善する。
図６は、別の例示的な実施例で示される本発明の画像再構成装置の構造模式図である。図６に示すように、上記の実施例に基づいて、本実施例の画像再構成装置は、
均一な蛍光の光ファイバ束の原画像を取得するための第１取得モジュール３と、
原画像において、周囲の画素値よりも高い画素値を有する目標画素点を確認し、目標画素点を光ファイバ束の各光ファイバの中心位置として確定するための第１確定モジュール４とを更に備える。
オプションで、第１取得モジュール３は、
１つの光学格子間隔距離範囲内で、予め設定されたステップサイズの間隔をおいた複数の光ファイバ束の画像を収集するための収集サブモジュール３１と、
複数の光ファイバ束の画像に対してそれらの平均画像を取得し、均一な蛍光の光ファイバ束の原画像を形成するための形成サブモジュール３２と、を含む。
オプションで、この装置は、
各光ファイバの中心位置に基づいて、光ファイバ束の各画素点と各光ファイバの中心位置との間の補間重みを確定するための第２確定モジュール５を更に備える。
オプションで、この装置は、
各光ファイバの中心位置、及び隣接する光ファイバの中心位置を頂点として、複数の三角形構造を形成し、三角形構造に基づいて、各三角形構造内の画素点と各光ファイバの中心位置との間の補間重みを確定するための第３確定モジュール６を更に備える。
オプションで、この装置は、
予め設定された位相間隔に従って、１つの光学格子間隔距離内でＮ－１回移動して、初期位相を含む、初期位相から毎回予め設定された位相間隔を移動したＮ枚のサンプル画像を取得するための第２取得モジュール７を更に備える。
オプションで、予め設定された位相間隔は１２０度であり、Ｎ＝３である。
オプションで、この装置は、
各光ファイバの中心位置のグレースケール値に対して飽和度判断を行うための判断モジュール８と、
サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがある場合、予め設定された飽和度閾値を超えた光ファイバを校正対象の光ファイバとして確定しており、再構成画像で、校正対象の光ファイバの中心位置のグレースケール値を予め設定された飽和度閾値に校正し、校正されたサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するための第１処理モジュール９と、
サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがない場合、サンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するための第２処理モジュール１０と、を更に備える。
オプションで、計算モジュール１は、具体的には各光ファイバの中心位置の複数のサンプル画像におけるグレースケール値の互いの差を計算し、得られた差の平方和を計算して平方を開いて、再構成画像内の光ファイバ束の各光ファイバ中心のグレースケール値を取得するために使用される。
本実施例は、図３に示される実施例を実現することができる。その実現原理は同様であり、ここでは繰り返し説明しない。
図７は、例示的な実施例で示される本発明の顕微結像装置の構造模式図である。図７に示すように、本実施例は顕微結像装置を提供し、この装置は、発光ユニット０１と、位相調節ユニット０２と、転向ユニット０３と、複数の光ファイバを含む光ファイバ束０４と、検出ユニット０５と、処理ユニット０６とを備える。
発光ユニット０１は、励起光を放射するために使用される。
位相調節ユニット０２は、励起光の光路の出口に配置され、処理ユニット０６に接続され、処理ユニット０６によって送信された位相調節量に従って、励起光の位相を調節して、異なる位相の励起光を取得するために使用される。
転向ユニット０３は、異なる位相の励起光を転向させて、転向後の励起光を光ファイバ束０４に沿って検出対象の組織に集光し、検出対象の組織によって返される異なる位相の蛍光を通過させるために使用される。
検出ユニット０５は、異なる位相の蛍光を収集して、複数のサンプル画像を形成するために使用される。
処理ユニット０６は、検出ユニット０５に接続され、複数のサンプル画像を受信し、複数のサンプル画像で確定された光ファイバ束の各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算しており、光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、再構成画像を形成するために使用される。
具体的には、発光ユニット０１によって放出された励起光は、転向ユニット０３（即ち、特定の周波数の光を透過させ、非特定の周波数の光を反射する）を経て、光ファイバ束０４に沿って染色された組織（例えば、人体内の細胞組織）を励起し、励起された蛍光は光ファイバ束、転向ユニット０３に沿って検出ユニット０５に達して、画像が収集される。検出ユニット０５は、電荷結合素子（Ｃｈａｒｇｅ－ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ、「ＣＣＤ」と略称される）であってもよい。電荷結合素子は、画像センサー又は画像コントローラーとも呼ばれ、半導体素子であり、光学画像を電気信号に変換できる。発光ユニット０１から放出された励起光は、組織のある焦平面に集光される。位相調節ユニット０２によって、処理ユニット０６から送信された位相調節量に従って、励起光の位相が調節され、異なる位相の励起光が取得される。処理ユニット０６は、複数の位相（例えば、３つの位相）の蛍光結像を励起し、Ｎｅｉｌ式を使用して、焦平面外の背景蛍光を除去することによって、セクショニング結像を実現する。セクショニング結像技術は、医学ＣＴを参考にして、放射線走査に基づいて、得られた情報を逆計算し、測定される範囲内の岩盤の弾性波と電磁波パラメータ分布法則の画像を再構成することによって、地質学的異常に丸をつけて選定する物理探査逆解析方法である。具体的には、処理ユニット０６は、複数の位相の複数のサンプル画像で確定された光ファイバ束の各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算しており、光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、再構成画像を形成する。
本実施例の顕微結像装置は、発光ユニットと、位相調節ユニットと、転向ユニットと、複数の光ファイバを含む光ファイバ束と、検出ユニットと、処理ユニットとを備える。発光ユニットは、励起光を放射するために使用される。位相調節ユニットは、励起光の光路の出口に配置され、処理ユニットに接続され、処理ユニットによって送信された位相調節量に従って、励起光の位相を調節して、異なる位相の励起光を取得するために使用される。転向ユニットは、異なる位相の励起光を転向させて、転向後の励起光を光ファイバ束に沿って検出対象の組織に集光し、検出対象の組織によって返される異なる位相の蛍光を通過させるために使用される。検出ユニットは、異なる位相の蛍光を収集して、複数のサンプル画像を形成するために使用される。処理ユニットは、検出ユニットに接続され、複数のサンプル画像を受信し、複数のサンプル画像で確定された光ファイバ束の各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算しており、光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、再構成画像を形成するために使用される。位相調節ユニットが処理ユニットから送信された位相調節量に従って励起光の位相を調節し、処理ユニットが所望の位相の複数のサンプル画像を取得できるようにすることによって、複数のサンプル画像を処理した後に得られた再構成画像の結像品質が向上する。また、この装置を使用することによって、再構成画像内の画素点のグレースケール値の計算量が削減され、画像再構成の速度が加速される。
図８は、別の例示的な実施例で示される本発明の顕微結像装置の構造模式図である。図８に示すように、前の実施例に基づいて、位相調節ユニット０２は、モーター０２１と光学格子０２２を含む。
モーター０２１は、処理ユニット０６及び光学格子０２２にそれぞれ接続され、処理ユニット０６から送信された位相調節量に従って、光学格子０２２をドラッグして移動させて、励起光が光学格子０２２を透過した後に位相調節量に対応する励起光を取得するために使用される。
オプションで、モーター０２１は直流モーターを含む。処理ユニット０６は、予め設定された位相間隔に従って、等間隔の位相調節量を確定する。直流モーターは、等間隔の位相調節量を受信し、光学格子０２２をドラッグして、１つの光学格子間隔範囲内で等間隔距離移動させる。それにより、処理ユニット０６は、予め設定された位相間隔に対応する複数枚のサンプル画像を取得する。
具体的には、処理ユニット０６は、光学格子０２２をドラッグして移動させるように直流モーターを駆動することによって、複数枚のサンプル画像を取得する。サンプル画像には、光ファイバ束０４の各光ファイバによって伝送された画素情報が含まれる。光ファイバ束０４の場合、１つの光ファイバ束０４は通常、３万本近くの光ファイバ（数の差は数千に達し得る）からなる。各光ファイバには画素情報が伝送されるため、光ファイバ束０４はマルチセンサーと呼ばれてもよい。光ファイバ結像の模式図は図４に示される。光ファイバの結像は、画像内で六角のハニカム状を呈し、各光ファイバの直径は５～６個の画素であることが好ましい。複数枚のサンプル画像では、各光ファイバの中心位置を確定し、各中心位置の画素点のグレースケール値を取得する。中心位置のグレースケール値を確定する方法は、自乗平均根式を使用して行うことができる。即ち、複数枚のサンプル画像内の同じ中心位置のグレースケール値に対してそれらのグレースケール値の平均値を計算し、計算されたグレースケール値の平均値を、再構成された画像内の該光ファイバの中心のグレースケール値として使用して、再構成画像内の光ファイバ束０４の各光ファイバの中心のグレースケール値を取得する。
オプションで、予め設定された位相間隔は１２０度であり、位相調節量は３個である。
例えば、光学格子０２２を取り付け、モーター０２１により光学格子０２２をドラッグして移動させることによって、Ｎ枚の光ファイバ束のサンプル画像を取得する。例えば、サンプル画像の収集を開始する前に、モーター０２１の初期位置でサンプル画像を撮影する。その後、モーター０２１が別の位置に移動し、サンプル画像を撮影する。モーター０２１が再移動し、再撮影して、それにより、Ｎ枚のサンプル画像を取得する。取得したサンプル画像の精度を保証するために、モーター０２１を時計回りに複数の位置に回転させて、上記のＮ枚のサンプル画像を取得しており、しばらく待ってから、モーター０２１を反時計回りに逆方向に移動させて、Ｎ枚のサンプル画像を取得する。このようにして、２枚の構造化光の画像を再構成することができる。比較を通して、再構成画像の精度を保証することができる。予め設定された位相間隔が１２０度であり、位相調節量が３個（即ち、Ｎ＝３）である場合、モーター０２１は光学格子をドラッグして水平方向に移動し、毎回移動する予め設定された位相間隔閾値が１／３の光学格子０２２間隔である。収集を開始する前に、モーター０２１の移動の初期位置で、カメラにより１枚の写真を撮影し、モーター０２１が移動し、撮影し、モーター０２１が再移動し、撮影して、３つの位相のサンプル画像を取得した後に画像を再構成する。その後、サイクルの一貫性を保つために、一定時間待機する。次に、再撮影し、逆方向に移動し．．．．．．これにより、モーター０２１が１回往復移動すると、２枚の構造化光の画像を再構成することができる。３枚のサンプル画像は、それぞれ０度位相のサンプル画像I1（初期位相）、１２０度位相のサンプル画像I2（１つの予め設定された位相間隔閾値を移動）、２４０度位相サンプル画像I3（２つの予め設定された位相間隔閾値を移動）であってもよい。３枚のサンプル画像において、光ファイバの中心位置に応じて、３つの位相の画像の光ファイバの中心のグレースケールを検索すると、０度位相のサンプル画像I1の光ファイバの中心のグレースケール値G1、１２０度位相のサンプル画像I2の光ファイバの中心のグレースケール値G2、及び２４０度位相のサンプル画像I3の光ファイバの中心のグレースケール値G3を取得する。
オプションで、発光ユニット０１は、励起光を放射するためのレーザー装置０１１を含み、さらに、レーザー装置０１１の励起光の出口に設けられ、励起光の光束を拡張して線状光束に１次元集光するための光束拡張線集束装置０１２を含む。
レーザー装置０１１は、励起光を放射するために使用される。それは、特定の波長のコリメートレーザー光を放射するレーザー装置であってもよい。前記特定の波長範囲は２０ｎｍ～２０００ｎｍであってもよい。この波長範囲内のレーザー光は、広い範囲の蛍光体を励起することができる。レーザー０１１は、量子井戸レーザー、固体レーザー、気体レーザー（例えば、アルゴンイオンレーザー）又はレーザーダイオードであってもよい。光束拡張線集束装置０１２は、レーザー０１１の励起光の出口に設けられ、励起光の光束を拡張して線状光束に１次元集光するために使用される。それは、光束拡張レンズと柱レンズを含み得る。光束拡張レンズは、レーザー０１１から放出されたコリメート光束を拡張して、コリメート光束の直径を変化させる。柱レンズは、拡張された光束を線状光束に１次元集光して転向ユニット０３に伝送する。
オプションで、転向ユニット０３はダイクロイックミラーであり、二色鏡とも呼ばれる。その波長範囲は４０ｎｍ～２２００ｎｍの波長範囲であり、特定の周波数の光を透過し、非特定の周波数の光を反射させることができる。
オプションで、光フィルター０７を更に備える。光フィルター０７は、位相調節ユニット０２と転向ユニット０３との間に配置され、迷光を除去することによって、サンプル画像の結像品質を向上させ、さらに、再構成画像の結像品質を向上させるために使用される。
オプションで、検出ユニット０５は電荷結合素子ＣＣＤを含む。この検出ユニット０５は、ラインスキャン検出ユニットであってもよいし、エリアスキャン検出ユニットであってもよいし。例えば、ＣＣＤ（電荷結合素子）ラインスキャンカメラ又はＣＭＯＳ（相補型金属酸化膜半導体）ラインスキャンカメラなどが挙げられる。ラインスキャン検出ユニットの結像速度は、数十フレームから数千万フレームの範囲内である。
オプションで、複数のレンズからなる対物レンズ０８を更に備える。対物レンズ０８は、転向ユニット０３と光ファイバ束０４との間に配置され、転向ユニット０３によって転向した励起光を集光処理するために使用される。
この顕微結像装置は、図１、図３のいずれかの方法実施例の画像再構成方法を実現するために使用することができる。実現原理は同様であり、ここでは繰り返し説明しない。
当業者によって理解されるように、前述の各方法の実施例におけるステップの全部または一部を実現することは、プログラムコマンドに関連するハードウェアにより完成することができる。上記のプログラムは、コンピュータの読み取り可能な記憶媒体に記憶されていてもよい。該プログラムが実行されると、上述した各方法の実施例におけるステップは実行される。前述の記憶媒体は、ＲＯＭ、ＲＡＭ、磁気ディスク、又は光ディスクなどの、プログラムコードを記憶することができる各種の媒体を含む。
なお、以上の各実施例は、本発明の技術的手段を説明するためのものに過ぎず、それを制限するものではない。上記の各実施例を参照して本発明について詳述したが、当業者であれば、上記の各実施例に記載の技術的手段を修正し、又は技術的特徴の一部もしくは全部を均等物で置き換えることができる。これらの修正や置き換えは、対応する技術的解決手段の本質を本発明の各実施例の技術的手段の範囲から逸脱させない。
発光ユニット０１、レーザー装置０１１、光束拡張線集束装置０１２、位相調節ユニット０２、モーター０２１、光学格子０２２、転向ユニット０３、光ファイバ束０４、検出ユニット０５、処理ユニット０６、光フィルター０７、対物レンズ０８。

Claims (25)

  1. 画像再構成方法であって、
    １つ又は複数のサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するステップと、
    光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得して、前記再構成画像を形成するステップと、を含み、
    前記１つ又は複数のサンプル画像で各光ファイバの中心位置のグレースケール値を確定する前記ステップの後に、
    各光ファイバの中心位置のグレースケール値に対して飽和度判断を行うステップと、
    前記サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがある場合、前記予め設定された飽和度閾値を超えた光ファイバを校正対象の光ファイバとして確定しており、再構成画像で、前記校正対象の光ファイバの中心位置のグレースケール値を前記予め設定された飽和度閾値に校正し、校正された前記サンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するステップと、
    前記サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがない場合、前記サンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するステップと、を更に含むことを特徴とする方法。
  2. 均一な蛍光の光ファイバ束の原画像を取得するステップと、
    前記原画像において、周囲の画素値よりも高い画素値を有する目標画素点を確認し、前記目標画素点を光ファイバ束の各光ファイバの中心位置として確定するステップとを更に含むことを特徴とする請求項１に記載の方法。
  3. 均一な蛍光の光ファイバ束の原画像を取得する前記ステップは、
    １つの光学格子間隔距離範囲内で、予め設定されたステップサイズの間隔をおいた複数の光ファイバ束の画像を収集するステップと、
    前記複数の光ファイバ束の画像に対してそれらの平均画像を取得し、前記均一な蛍光の光ファイバ束の原画像を形成するステップと、を含むことを特徴とする請求項２に記載の方法。
  4. 前記空間補間を行う前に、
    各光ファイバの中心位置に基づいて、光ファイバ束の各画素点と各光ファイバの前記中心位置との間の補間重みを確定するステップを更に含むことを特徴とする請求項１に記載の方法。
  5. 各光ファイバの中心位置、及び隣接する光ファイバの中心位置を頂点として、複数の三角形構造を形成し、
    前記三角形構造に基づいて、各三角形構造内の画素点と各光ファイバの中心位置との間の補間重みを確定することによって、前記補間重みを確定するステップを更に含むことを特徴とする請求項４に記載の方法。
  6. 予め設定された位相間隔に従って、１つの光学格子間隔距離内でＮ－１回移動して、初期位相を含む、前記初期位相から毎回前記予め設定された位相間隔を移動したＮ枚のサンプル画像を取得することによって、複数枚のサンプル画像を取得するステップを更に含むことを特徴とする請求項１に記載の方法。
  7. 前記予め設定された位相間隔は１２０度であり、
    Ｎ＝３であることを特徴とする請求項６に記載の方法。
  8. 複数のサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算する前記ステップは、
    各光ファイバの中心位置の前記複数のサンプル画像におけるグレースケール値の互いの差を計算し、得られた差の平方和を計算して平方を開いて、再構成画像内の光ファイバ束の各光ファイバ中心のグレースケール値を取得するステップを含むことを特徴とする請求項１に記載の方法。
  9. 画像再構成装置であって、
    １つ又は複数のサンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するための計算モジュールと、
    光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、前記再構成画像を形成するための形成モジュールと、を備え、
    各光ファイバの中心位置のグレースケール値に対して飽和度判断を行うための判断モジュールと、
    前記サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがある場合、前記予め設定された飽和度閾値を超えた光ファイバを校正対象の光ファイバとして確定しており、再構成画像で、前記校正対象の光ファイバの中心位置のグレースケール値を前記予め設定された飽和度閾値に校正し、校正された前記サンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するための第１処理モジュールと、
    前記サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがない場合、前記サンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するための第２処理モジュールと、を更に備えることを特徴とする装置。
  10. 均一な蛍光の光ファイバ束の原画像を取得するための第１取得モジュールと、
    前記原画像において、周囲の画素値よりも高い画素値を有する目標画素点を確認し、前記目標画素点を光ファイバ束の各光ファイバの中心位置として確定するための第１確定モジュールとを更に備えることを特徴とする請求項９に記載の装置。
  11. 前記第１取得モジュールは、
    １つの光学格子間隔距離範囲内で、予め設定されたステップサイズの間隔をおいた複数の光ファイバ束の画像を収集するための収集サブモジュールと、
    前記複数の光ファイバ束の画像に対してそれらの平均画像を取得し、前記均一な蛍光の光ファイバ束の原画像を形成するための形成サブモジュールと、を含むことを特徴とする請求項１０に記載の装置。
  12. 各光ファイバの中心位置に基づいて、光ファイバ束の各画素点と各光ファイバの前記中心位置との間の補間重みを確定するための第２確定モジュールを更に備えることを特徴とする請求項９に記載の装置。
  13. 各光ファイバの中心位置、及び隣接する光ファイバの中心位置を頂点として、複数の三角形構造を形成し、前記三角形構造に基づいて、各三角形構造内の画素点と各光ファイバの中心位置との間の補間重みを確定するための第３確定モジュールを更に備えることを特徴とする請求項１２に記載の装置。
  14. 予め設定された位相間隔に従って、１つの光学格子間隔距離内でＮ－１回移動して、初期位相を含む、前記初期位相から毎回前記予め設定された位相間隔を移動したＮ枚のサンプル画像を取得するための第２取得モジュールを更に備えることを特徴とする請求項９に記載の装置。
  15. 前記予め設定された位相間隔は１２０度であり、
    Ｎ＝３であることを特徴とする請求項１４に記載の装置。
  16. 前記計算モジュールは、具体的には各光ファイバの中心位置の前記複数のサンプル画像におけるグレースケール値の互いの差を計算し、得られた差の平方和を計算して平方を開いて、再構成画像内の光ファイバ束の各光ファイバ中心のグレースケール値を取得するために使用されることを特徴とする請求項９に記載の装置。
  17. 顕微結像装置であって、発光ユニットと、位相調節ユニットと、転向ユニットと、複数の光ファイバを含む光ファイバ束と、検出ユニットと、処理ユニットとを備え、
    前記発光ユニットは、励起光を放射するために使用され、
    前記位相調節ユニットは、前記励起光の光路の出口に設けられ、前記処理ユニットに接続され、前記処理ユニットによって送信された位相調節量に従って、前記励起光の位相を調節して、異なる位相の励起光を取得するために使用され、
    前記転向ユニットは、前記異なる位相の励起光を転向させて、転向後の励起光を前記光ファイバ束に沿って検出される組織に集光し、前記検出される組織によって返される異なる位相の蛍光を通過するために使用され、
    前記検出ユニットは、前記異なる位相の蛍光を収集して、複数のサンプル画像を形成するために使用され、
    前記処理ユニットは、前記検出ユニットに接続され、前記複数のサンプル画像を受信し、複数のサンプル画像で確定された前記光ファイバ束の各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算しており、光ファイバの中心のグレースケール値を使用して空間補間を行って、再構成画像内の光ファイバ束の他の画素点のグレースケール値を取得し、前記再構成画像を形成するために使用され、
    前記処理ユニットはさらに、前記複数のサンプル画像で確定された各光ファイバの中心位置のグレースケール値に対して飽和度判断を行い、
    前記サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがある場合、前記予め設定された飽和度閾値を超えた光ファイバを校正対象の光ファイバとして確定しており、再構成画像で、前記校正対象の光ファイバの中心位置のグレースケール値を前記予め設定された飽和度閾値に校正し、校正された前記サンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算し、
    前記サンプル画像において中心位置のグレースケール値が予め設定された飽和度閾値を超えた光ファイバがない場合、前記サンプル画像で確定された各光ファイバの中心位置のグレースケール値に基づいて、再構成画像内の光ファイバ束の各光ファイバの中心のグレースケール値を計算するために使用されることを特徴とする顕微結像装置。
  18. 前記位相調節ユニットはモーターと光学格子を含み、
    前記モーターは、前記処理ユニット及び前記光学格子にそれぞれ接続され、前記処理ユニットによって送信された位相調節量に従って、前記光学格子をドラッグして移動させて、前記励起光が前記光学格子を透過した後に前記位相調節量に対応する励起光を取得するために使用されることを特徴とする請求項１７に記載の装置。
  19. 前記モーターは直流モーターを含み、
    それに対応して、前記処理ユニットは、予め設定された位相間隔に従って等間隔の位相調節量を確定し、前記直流モーターは、前記等間隔の位相調節量を受信し、前記光学格子をドラッグして、１つの光学格子間隔範囲内で等間隔距離移動させ、それにより、前記処理ユニットは前記予め設定された位相間隔に対応する複数のサンプル画像を取得することを特徴とする請求項１８に記載の装置。
  20. 前記予め設定された位相間隔は１２０度であり、前記位相調節量は３個であることを特徴とする請求項１９に記載の装置。
  21. 前記発光ユニットは、励起光を放射するためのレーザーを含み、さらに、前記レーザーの励起光の出口に設けられ、前記励起光の光束を拡張して線状光束に１次元集光するための光束拡張線集束装置を含むことを特徴とする請求項１７に記載の装置。
  22. 前記転向ユニットは、ダイクロイックミラーであることを特徴とする請求項１７に記載の装置。
  23. 光フィルターを更に備え、前記光フィルターは、前記位相調節ユニットと前記転向ユニットとの間に配置され、迷光を除去するために使用されることを特徴とする請求項１７に記載の装置。
  24. 前記検出ユニットは電荷結合素子ＣＣＤを含むことを特徴とする請求項１７に記載の装置。
  25. 複数のレンズからなる対物レンズを更に備え、前記対物レンズは、前記転向ユニットと前記光ファイバ束との間に配置され、前記転向ユニットによって転向した励起光を集光処理するために使用されることを特徴とする請求項１７に記載の装置。
JP2020541842A 2017-10-16 2018-09-29 画像再構成方法、装置及び顕微結像装置 Active JP7064796B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710959434.8 2017-10-16
CN201710959434.8A CN107621463B (zh) 2017-10-16 2017-10-16 图像重建方法、装置及显微成像装置
PCT/CN2018/108865 WO2019076192A1 (zh) 2017-10-16 2018-09-29 图像重建方法、装置及显微成像装置

Publications (2)

Publication Number Publication Date
JP2020537162A JP2020537162A (ja) 2020-12-17
JP7064796B2 true JP7064796B2 (ja) 2022-05-11

Family

ID=61092506

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020541842A Active JP7064796B2 (ja) 2017-10-16 2018-09-29 画像再構成方法、装置及び顕微結像装置

Country Status (11)

Country Link
US (1) US11449964B2 (ja)
EP (1) EP3699576A4 (ja)
JP (1) JP7064796B2 (ja)
KR (1) KR102358848B1 (ja)
CN (1) CN107621463B (ja)
AU (1) AU2018352821B2 (ja)
BR (1) BR112020007609B1 (ja)
CA (1) CA3079243C (ja)
MX (1) MX2020003985A (ja)
RU (1) RU2747129C1 (ja)
WO (1) WO2019076192A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107622491B (zh) * 2017-10-16 2022-03-11 苏州微景医学科技有限公司 光纤束图像分析方法和装置
CN107621463B (zh) 2017-10-16 2024-03-22 苏州微景医学科技有限公司 图像重建方法、装置及显微成像装置
CN111024659B (zh) * 2019-11-28 2020-12-11 浙江大学 一种基于并行探测的多图像重建显微成像方法和装置
CN111461975B (zh) * 2020-03-17 2021-04-23 中国科学院苏州生物医学工程技术研究所 光纤束超分辨成像方法、***、计算机设备和存储介质
CN113570520A (zh) * 2021-07-28 2021-10-29 苏州微景医学科技有限公司 光纤图像校正方法、装置和计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090092363A1 (en) 2006-03-14 2009-04-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and device for generating a structure-free fiberscopic picture
JP2013192063A (ja) 2012-03-14 2013-09-26 Hitachi-Ge Nuclear Energy Ltd 画像処理方法および装置
JP2016109579A (ja) 2014-12-08 2016-06-20 ソニー株式会社 情報処理装置、画像取得システム、情報処理方法、画像情報取得方法及びプログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5436980A (en) * 1988-05-10 1995-07-25 E. I. Du Pont De Nemours And Company Method for determining quality of dispersion of glass fibers in a thermoplastic resin preform layer and preform layer characterized thereby
JPH04138127A (ja) * 1990-09-28 1992-05-12 Olympus Optical Co Ltd 内視鏡網目画像軽減装置
AUPQ685900A0 (en) * 2000-04-12 2000-05-11 Goyen Controls Co Pty Limited Method and apparatus for detecting particles in a gas flow
EP1567898B1 (en) * 2002-12-05 2007-06-13 Telefonaktiebolaget LM Ericsson (publ) Fusion temperature calibration
CN100417225C (zh) * 2005-10-27 2008-09-03 中国科学院上海技术物理研究所 基于光纤耦合的焦平面阵列图像时空变换的方法
CN100481937C (zh) * 2006-05-12 2009-04-22 北京理工大学 一种高动态、超分辨率图像重建装置
DE102007018048A1 (de) * 2007-04-13 2008-10-16 Michael Schwertner Verfahren und Anordnung zur optischen Abbildung mit Tiefendiskriminierung
DE102007026595A1 (de) * 2007-06-08 2008-12-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Kompensation von Farbverschiebungen in faseroptischen Abbildungssystemen
WO2009008838A1 (en) * 2007-07-06 2009-01-15 National University Of Singapore Fluorescence focal modulation microscopy system and method
TWI426296B (zh) * 2009-06-19 2014-02-11 Ind Tech Res Inst 利用光學偏極特性之三維顯微共焦量測系統與方法
CN101692971B (zh) * 2009-10-13 2011-04-06 西安电子科技大学 非接触式光学断层成像方法
JP5343065B2 (ja) * 2010-12-07 2013-11-13 富士フイルム株式会社 放射線撮影システム
KR101260051B1 (ko) * 2012-01-30 2013-05-06 한국화학연구원 살아있는 세포에 대한 명시야 이미징 및 형광 이미징의 동시 수행이 가능한 세포 이미징 장치 및 방법
WO2014005195A2 (en) * 2012-07-05 2014-01-09 Martin Russell Harris Structured illumination microscopy apparatus and method
US10096098B2 (en) * 2013-12-30 2018-10-09 Carestream Health, Inc. Phase retrieval from differential phase contrast imaging
CN103592722B (zh) * 2013-08-22 2015-08-05 浙江大学 一种熊猫型保偏光纤侧视对轴装置及方法
CN103438802B (zh) * 2013-09-17 2016-04-20 上海理工大学 光纤涂覆层几何参数测量方法
EP3108649B1 (en) * 2014-02-21 2017-10-25 Koninklijke Philips N.V. Color space in devices, signal and methods for video encoding, transmission, and decoding
CN104794475B (zh) * 2015-04-03 2018-04-27 燕山大学 一种光子晶体光纤的端面结构特征提取方法
CN106447717B (zh) * 2016-09-30 2019-05-03 中国科学院自动化研究所 一种基于多角度的选择性光片照明显微成像的重建方法
CN106981090B (zh) * 2017-02-16 2020-04-28 南京邮电大学 一种管内步进单向光束扫描断层图像的三维重建方法
CN107621463B (zh) 2017-10-16 2024-03-22 苏州微景医学科技有限公司 图像重建方法、装置及显微成像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090092363A1 (en) 2006-03-14 2009-04-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and device for generating a structure-free fiberscopic picture
JP2013192063A (ja) 2012-03-14 2013-09-26 Hitachi-Ge Nuclear Energy Ltd 画像処理方法および装置
JP2016109579A (ja) 2014-12-08 2016-06-20 ソニー株式会社 情報処理装置、画像取得システム、情報処理方法、画像情報取得方法及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Anant Shinde et al.，Pixelate Removal in an Image Fiber Probe Endoscope Incorporating Comb Structure Removal Methods，J. Med. Imaging Health Inf.，American Scientific Publishers，2014年，Vol. 4, No. 2，203-211
Nenad Bozinovic et al.，Fluorescence endomicroscopy with structured illumination，OPTICS EXPRESS，OSA，2008年，Vol. 16, No. 11，8016-8025

Also Published As

Publication number Publication date
CA3079243C (en) 2023-05-16
US20200242732A1 (en) 2020-07-30
CN107621463B (zh) 2024-03-22
CN107621463A (zh) 2018-01-23
EP3699576A1 (en) 2020-08-26
BR112020007609B1 (pt) 2023-11-28
US11449964B2 (en) 2022-09-20
KR20200070313A (ko) 2020-06-17
CA3079243A1 (en) 2019-04-25
EP3699576A4 (en) 2020-11-25
KR102358848B1 (ko) 2022-02-08
RU2747129C1 (ru) 2021-04-28
AU2018352821B2 (en) 2021-09-16
MX2020003985A (es) 2020-08-13
JP2020537162A (ja) 2020-12-17
BR112020007609A2 (pt) 2020-11-10
WO2019076192A1 (zh) 2019-04-25
AU2018352821A1 (en) 2020-05-14

Similar Documents

Publication Publication Date Title
JP7064796B2 (ja) 画像再構成方法、装置及び顕微結像装置
JP7252190B2 (ja) 生物試料の向上された被写界深度の合成２ｄ画像を生成するシステム
CN110262026B (zh) 孔径扫描傅立叶重叠关联成像
JP6140737B2 (ja) 多焦点構造化照射顕微鏡検査システムおよび方法
JP6706263B2 (ja) 物体の超解像度画像を取得するための撮像方法およびシステム
JP5784435B2 (ja) 画像処理装置、蛍光顕微鏡装置および画像処理プログラム
JP2002531840A (ja) コンピュータを使用した適応画像形成装置及び方法
EP3211595B1 (en) Microscope and method for generating 3d images of a collection of samples
JP2012190021A (ja) レーザ走査顕微鏡およびその動作方法
JP7225108B2 (ja) 多焦点構造化照明顕微鏡システム及び方法
US10776955B2 (en) Method for the analysis of spatial and temporal information of samples by means of optical microscopy
JP7053845B2 (ja) プログラマブル・アレイ顕微鏡を用いた光学共焦点結像のための方法および装置
JP7030986B2 (ja) 画像生成装置、画像生成方法および画像生成プログラム
JP6722883B2 (ja) 画像取得装置および画像取得方法
JP5471715B2 (ja) 合焦装置、合焦方法、合焦プログラム及び顕微鏡
JP6003072B2 (ja) 顕微鏡装置
CN117607049A (zh) 一种空间谱估计双光子超分辨显微装置与方法
CN116539576A (zh) 寻址扫描超分辨率显微成像方法及相关设备
CN117631249A (zh) 线扫共聚焦扫描光场显微成像装置及方法
Corbett et al. Toward multi-focal spot remote focusing two-photon microscopy for high speed imaging

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200612

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210514

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220418

R150 Certificate of patent or registration of utility model

Ref document number: 7064796

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150