JP2017138787A - 撮像システム、撮像装置、撮像方法 - Google Patents

撮像システム、撮像装置、撮像方法 Download PDF

Info

Publication number
JP2017138787A
JP2017138787A JP2016019057A JP2016019057A JP2017138787A JP 2017138787 A JP2017138787 A JP 2017138787A JP 2016019057 A JP2016019057 A JP 2016019057A JP 2016019057 A JP2016019057 A JP 2016019057A JP 2017138787 A JP2017138787 A JP 2017138787A
Authority
JP
Japan
Prior art keywords
imaging
speckle
light
image
speckle image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016019057A
Other languages
English (en)
Inventor
悠策 中島
Yusaku Nakajima
悠策 中島
哲朗 桑山
Tetsuro Kuwayama
哲朗 桑山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2016019057A priority Critical patent/JP2017138787A/ja
Priority to PCT/JP2016/085081 priority patent/WO2017134907A1/ja
Priority to US16/070,347 priority patent/US10681283B2/en
Publication of JP2017138787A publication Critical patent/JP2017138787A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

【課題】クロストークを排除することができる、スペックルを用いた撮像技術を提供する。【解決手段】撮像システム101は、第一の波長帯のコヒーレント光を撮像対象Oに照射する第一光源11と、第二の波長帯のインコヒーレント光を撮像対象Oに照射する第二光源12と、前記コヒーレント光が照明された撮像対象Oの散乱光から得られるスペックル画像及びインコヒーレント光が照明された撮像対象Oの反射光から得られる非スペックル画像を撮像する画像撮像部13と、撮像されたスペックル画像と非スペックル画像との間に生じるクロストークを排除するクロストーク排除部14を備える。【選択図】図2

Description

本技術は、撮像システム、撮像装置、撮像方法に関する。より詳しくは、撮像対象への光の照射によって発生するスペックルを利用する撮像システム、撮像装置、撮像方法に関する。
一般に、体内にある血管の状態や位置の確認には、血管に造影剤を注入してX線画像を取得する方法が用いられている。また、近年、コンピュータ断層撮影(ComputedTomography:CT)血管造影や磁気共鳴血管造影(Magnetic Resonance Angiography:MRA)等のように、三次画像が得られる血管造影方法も開発されている。
また、従来、光学的手法を用いて、血管等の流路を撮像する方法も提案されている(特許文献1参照)。特許文献1に記載の撮像システムでは、第一のタイミングで発光部からの光がオブジェクトに反射して干渉した光により干渉光画像を撮像し、第二のタイミングでオブジェクトから発せられた光の発光画像を撮像している。
このように、近年、医療分野等においては、光学的手法を用いた撮像方法が種々開発されており、その検出精度も、年々向上している。ここで、光学的手法を用いた撮像技術においては、様々なノイズの発生が検出精度の低下をもたらすことが懸念されており、ノイズの一つとして、スペックルが知られている。スペックルは、照射面の凹凸形状に応じて、照射面上に斑点状の揺れ動くパターンが出現する現象である。近年では、ノイズの一つであるスペックルを利用した血管等の流路を撮像する方法に関しても技術が開発されつつある。
ここで、スペックルは、光路中の散乱等によるランダムな干渉・回折パターンである。また、スペックルの大小は、強度分布の標準偏差を強度分布の平均で割った値であるスペックルコントラストという指標で表される。コヒーレント光を用いて照明された物体を、結像光学系を用いて観察すると、像面で物体の散乱によるスペックルが観測される。そして、物体が動いたり形状変化したりすると、それに応じたランダムなスペックルパターンが観測される。
血液のような光散乱流体を観察すると、流れによる微細形状の変化によってスペックルパターンは刻一刻と変化する。その際、像面に撮像素子を設置し、スペックルパターンの変化よりも十分長い露光時間で流体を撮影すると、血液の流れている部分、即ち血管の部分のスペックルコントラストは、時間平均化することにより減少する。このようなスペックルコントラストの変化を利用することで、血管造影を行うことができる。
特開2009−136396号公報
このようなスペックルを用いた撮像技術において、画素としては、モノクロの画素が配列された撮像素子を用いてスペックル画像の撮像が行われることが通常であるが、例えば、通常の明視野画像を撮像する際の白色照明のように、照明をRGB照明にしてしまうと、スペックルを撮像する素子に緑色のクロストークが影響してしまい、適切にスペックル画像を撮像することができないとの課題があった。
そこで、本技術では、クロストークを排除することができる、スペックルを用いた撮像技術を提供することを主目的とする。
本技術は、第一の波長帯のコヒーレント光を撮像対象に照射する第一光源と、第二の波長帯のインコヒーレント光を撮像対象に照射する第二光源と、前記コヒーレント光が照明された前記撮像対象の散乱光から得られるスペックル画像及び前記インコヒーレント光が照明された前記撮像対象の反射光から得られる非スペックル画像を撮像する画像撮像部と、撮像されたスペックル画像と非スペックル画像との間に生じるクロストークを排除するクロストーク排除部と、を備える、撮像システムを提供する。
本技術に係る撮像システムにおいて、前記第一光源は赤色光源であり、前記第二光源は青色光源であってもよい。
また、本技術に係る撮像システムにおいて、前記コヒーレント光の波長帯は550〜700nmであり、前記インコヒーレント光の波長帯は350〜550nmであってもよい。
更に、本技術に係る撮像システムにおいて、前記第二光源は、前記第一光源と同時にインコヒーレント光を前記撮像対象に照射する構成であってもよい。
更に、本技術に係る撮像システムにおいて、撮像されたスペックル画像と非スペックル画像とを分離する分離部を備えていてもよい。
また、本技術に係る撮像システムにおいて、分離されたスペックル画像と前記非スペックル画像とを合成する画像合成部を備えていてもよい。
更に、本技術に係る撮像システムにおいて、前記クロストーク排除部は、複数の色成分の各色成分に対応する画素を平面上に規則的に配置した画素部であってもよい。
また、本技術に係る撮像システムにおいて、前記クロストーク排除部は、ベイヤー配列の構成であってよい。
本技術は、第一の波長帯のコヒーレント光を撮像対象に照射する第一光源と、第二の波長帯のインコヒーレント光を撮像対象に照射する第二光源と、前記コヒーレント光が照明された前記撮像対象の散乱光から得られるスペックル画像及び前記インコヒーレント光が照明された前記撮像対象の反射光から得られる非スペックル画像を撮像する画像撮像部と、撮像されたスペックル画像と非スペックル画像との間に生じるクロストークを排除するクロストーク排除部と、を備える、撮像装置をも提供する。
本技術に係る撮像システムにおいて、前記第一光源は赤色光源であり、前記第二光源は青色光源であってもよい。
また、本技術に係る撮像装置において、前記コヒーレント光の波長帯は550〜700nmであり、前記インコヒーレント光の波長帯は350〜550nmであってもよい。
更に、本技術に係る撮像装置において、前記第二光源は、前記第一光源と同時にインコヒーレント光を前記撮像対象に照射する構成であってもよい。
更に、本技術に係る撮像装置において、撮像されたスペックル画像と非スペックル画像とを分離する分離部を備えていてもよい。
また、本技術に係る撮像装置において、分離されたスペックル画像と前記非スペックル画像とを合成する画像合成部を備えていてもよい。
更に、本技術に係る撮像装置において、前記クロストーク排除部は、複数の色成分の各色成分に対応する画素を平面上に規則的に配置した画素であってもよい。
また、本技術に係る撮像装置において、前記クロストーク排除部は、ベイヤー配列の構成であってよい。
本技術は、第一の波長帯のコヒーレント光を撮像対象に照射するコヒーレント光照射工程と、第二の波長帯のインコヒーレント光を前記撮像対象に照射するインコヒーレント光照射工程と、前記コヒーレント光が照明された前記撮像対象の散乱光から得られるスペックル画像を撮像するスペックル画像撮像工程と、前記インコヒーレント光が照明された前記撮像対象の反射光から得られる非スペックル画像を撮像する非スペックル画像撮像工程と、撮像されたスペックル画像と非スペックル画像との間に生じるクロストークを排除するクロストーク排除工程と、を含む、撮像方法をも提供する。
本技術に係る撮像方法において、前記コヒーレント光は赤色であり、前記インコヒーレント光は青色であってもよい。
また、本技術に係る撮像方法において、前記コヒーレント光の波長帯は550〜700nmであり、前記インコヒーレント光の波長帯は350〜550nmであってもよい。
更に、本技術に係る撮像方法において、前記コヒーレント光照射工程とインコヒーレント光照射工程が同時に行われるようにしてもよい。
また、本技術に係る撮像方法において、撮像されたスペックル画像と非スペックル画像とを分離する分離工程を含んでいてもよい。
更に、本技術に係る撮像方法において、分離されたスペックル画像と前記非スペックル画像とを合成する画像合成工程を含んでいてもよい。
本技術によれば、クロストークを排除することができるため、より鮮明なスペックル画像を撮像することができる。
なお、ここに記載された効果は、必ずしも限定されるものではなく、本技術中に記載されたいずれかの効果であってもよい。
本技術に係る撮像システムの第一実施形態を模式的に示す概念図である。 図1に示す撮像システムの詳細を示す模式概念図である。 本技術に係る撮像システムの第二実施形態を模式的に示す模式概念図である。 図3に示す撮像システムが備える画像合成部の機能を示す写真代用図面である。 本技術に係る撮像装置の第一実施形態を模式的に示す模式概念図である。 本技術に係る撮像方法を示すフローチャートである。
以下、本技術を実施するための好適な形態について図面を参照しながら説明する。以下に説明する実施形態は、本技術の代表的な実施形態の一例を示したものであり、これにより本技術の範囲が狭く解釈されることはない。なお、説明は以下の順序で行う。
1.第一実施形態に係る撮像装置
(1)第一光源
(2)第二光源
(3)画像撮像部
(4)クロストーク排除部
(5)解析部
(6)記憶部
(7)表示部
(8)撮像対象
2.第二実施形態に係る撮像装置
(1)分離部
(2)スペックル処理部
(3)スペックル画像処理部
(4)非スペックル画像処理部
(5)画像合成部
3.撮像装置
(1)第一光源
(2)第二光源
(3)画像撮像部
(4)クロストーク排除部
(5)解析部
(6)記憶部
(7)表示部
4.撮像方法
(1)コヒーレント光照射工程
(2)インコヒーレント光照射工程
(3)画像撮像工程
(4)クロストーク排除工程
(5)分離工程
(6)スペックル処理工程
(7)スペックル画像処理工程
(8)非スペックル画像処理工程
(9)画像合成工程
(10)解析工程
(11)記憶工程
(12)表示工程
1.第一実施形態に係る撮像装置
図1は、本技術に係る撮像システムの第一実施形態を模式的に示す模式概念図である。第一実施形態に係る撮像システム101は、大別して、第一光源11、第二光源12、画像撮像部13、クロストーク排除部14、を少なくとも備える。また、必要に応じて、解析部15、記憶部16、及び表示部17などを更に備えることも可能である。以下、各部について詳細に説明する。
(1)第一光源
第一光源11は、撮像対象Oに対してコヒーレント光を照射する。第一光源11が発するコヒーレント光とは、光束内の任意の二点における光波の位相関係が時間的に不変で一定であり、任意の方法で光束を分割した後、大きな光路差を与えて再び重ねあわせても完全な干渉性を示す光をいう。本技術に係る第一光源11から出力されるコヒーレント光はその波長帯が550〜700nmの範囲であって赤色であることが好ましく、より好ましくは波長帯が600nmの赤色である。
コヒーレント光を照射する第一光源11の種類は、本技術の効果を損なわない限り特に限定されない。一例としては、レーザー光等を挙げることができる。レーザー光を発する第一光源11としては、例えば、アルゴンイオン(Ar)レーザー、ヘリウム−ネオン(He−Ne)レーザー、ダイ(dye)レーザー、クリプトン(Cr)レーザー、半導体レーザー、または、半導体レーザーと波長変換光学素子を組み合わせた固体レーザー等を、1種又は2種以上、自由に組み合わせて用いることができる。
(2)第二光源
第二光源12は、撮像対象Oに対してインコヒーレント光を照射する。本技術に係る撮像システムでは、前記撮像対象Oに対して、コヒーレント光とインコヒーレント光とが同時に照射される。すなわち、前記第二光源12は、第一光源11と同時に光の照射を行う。前記第二光源12が発するインコヒーレント光とは、物体光(物体波)のように干渉性を殆ど示さない光をいう。
本技術に係る第二光源12から出力されるインコヒーレント光はその波長帯が350〜550nmの範囲であって青色であることが好ましく、より好ましくは波長帯が400nmの青色である。
第二光源12の種類は、本技術の効果を損なわない限り特に限定されない。一例としては、発光ダイオード等を挙げることができる。また、他の光源としては、キセノンランプ、メタルハライドランプ、高圧水銀ランプ等も挙げられる。
(3)画像撮像部
画像撮像部13では、スペックル画像の撮像及び非スペックル画像の撮像が行われる。
すなわち、当該画像撮像部13では、前記コヒーレント光が照射された前記撮像対象Oから得られる散乱光に基づくスペックルの撮像が行われる。更には、インコヒーレント光が照射された前記撮像対象Oから得られる反射光に基づいて、撮像対象Oの撮像が行われる。ここで、インコヒーレント光は干渉性を殆ど示さない光であるため、インコヒーレント光に基づく撮像画像は、ランダムな干渉・回折パターンであるスペックルが発生しないものとなる。以下、説明の便宜上、スペックルが発生しない撮像画像を「非スペックル画像」という。
また、前記画像撮像部13では、撮像されたスペックル画像におけるスペックルの輝度分布の測定が行われるようにしてもよい。ここで、コヒーレント光を用いて照明された物体を結像光学系により観察すると、像面で物体の散乱によるスペックルが観測される。この画像撮像部13では、例えば輝度計を用いて、撮像画像におけるスペックルの輝度分布が測定される。その他には、CCDやCMOSなどの撮像素子より撮影した画像からスペックル輝度分布を算出することが可能である。
この輝度分布の測定方法は、本技術の効果が損なわれない限り特に限定されず、公知の算出方法を1種又は2種以上選択して、自由に組み合わせて用いることができる。
このような画像撮像部13が行う撮像方法は、本技術の効果が損なわれない限り特に限定されず、公知の撮像方法を1種又は2種以上選択して、自由に組み合わせて用いることができる。例えば、CCD(ChargeCoupled Device)やCMOS(ComplementaryMetal Oxide Semiconductor)センサー等の撮像素子を用いた撮像方法を挙げることができる。
この画像撮像部13では、例えば、疑似血液が流れている疑似血管を、前記スペックル輝度分布に基づいてマッピングした画像等が生成される。ここで、前述の如く、スペックルはランダムな干渉・回折パターンであるため、血液などの散乱流体が移動したり、時間的に変化すると、前記スペックルも時間的に変動する。このため、流体とそれ以外の部分の境界を観察することができる。
尚、前記画像撮像部13では、スペックルが生じている部分をより明確にするため、例えば複数のスペックル画像を用いて平準化を行い、スペックル画像のムラを低減させる構成を備えていてもよい。
(4)クロストーク排除部
本技術に係る撮像システム101では前述の如く、前記撮像対象Oに対してコヒーレント光及びインコヒーレント光の照射が同時に行われ、撮像対象Oからの散乱光及び反射光に基づいてスペックル画像及び非スペックル画像の撮像が行われる。
かかる場合、前記画像撮像部13が備える撮像素子の構成によっては、当該撮像素子を構成する配列された各画素は、本来配列内の隣接する画素を対象として照射されていたはずの光などの迷光を受け取る可能性がある。すなわち、前記画像撮像部13において、所謂クロストークが発生してしまう可能性がある。
前記クロストーク排除部14では、前記クロストークの排除が行われる。
より具体的には、前記クロストーク排除部14を、複数の色成分の各色成分に対応する画素を平面上に規則的に配置した画素部として構成し、前記画像撮像部13よりも撮像対象O側に配置する。そして、特定の波長の光(例えば、赤色のコヒーレント光)に感度のある画素のみから得られる画素データをスペックル画像とし、特定の波長の光(例えば、青色のインコヒーレント光)に感度のある画素のみから得られる画素データを非スペックル画像とする方法が考えられる。このようにクロストーク排除部14を構成した場合、当該クロストーク排除部14を構成する各画素が迷光を受光することがなくなるため、クロストークを可及的に排除することができる。
前記クロストーク排除部14の具体的な構成としては、R,G,Bの各色成分に対応する画素を有するベイヤー配列などカラーフィルターでマスクされた単板式のデジタルイメージャが挙げられる。他の構成としては、三板式のデジタルイメージャなども挙げられる。
(5)解析部
本技術に係る撮像システム101は、必要に応じて、解析部15を備えることができる。この解析部15では、前記クロストーク排除部14によりクロストークが排除されたスペックル画像及び非スペックル画像からなるスペックル合成画像の解析が行われる。具体的には、当該スペックル合成画像に示された輝度分布やスペックルから、撮像対象Oの状態解析が行われる。
当該解析部15では、例えば、撮像対象Oを血管とした場合、血液などの散乱流体が移動したり、時間的に変化すると、これに応じてスペックルも時間的に変動することとなる。このため、前記解析部15により、血流の速度を測定することができる。
尚、この解析部15は、本技術に係る撮像システム101に必須ではなく、外部の解析装置等を用いて撮像対象Oの状態を解析することも可能である。
(6)記憶部
本技術に係る撮像システム101は、必要に応じて、記憶部16を備えることができる。この記憶部16には、前記画像撮像部13によって撮像されたスペックル画像及び非スペックル画像、前記スペックル合成画像、前記解析部15による解析結果などが記憶される。
この記憶部16は、本技術に係る撮像システム101においては必須ではなく、例えば、外部の記憶装置を接続して、前記スペックル画像等を記憶することも可能である。
(7)表示部
本技術に係る撮像システム101は、必要に応じて、表示部17を備えることができる。この表示部17には、前記画像撮像部13によって撮像されたスペックル画像及び非スペックル画像、前記スペックル合成画像、前記解析部15による解析結果などが表示される。
ここで、当該表示部17においては、前記画像撮像部13により測定されたスペックルの輝度分布を、前記スペックル画像に重畳させて表示することもできる。
この表示部17は、本技術に係る撮像システム101においては必須ではなく、例えば、外部のモニター等を用いて撮像対象Oに光照射を行うことも可能である。
(8)撮像対象
本技術に係る撮像システム101は、様々なものを撮像対象とすることができるが、例えば、流体を含むものを撮像対象Oとするイメージングに、好適に用いることができる。スペックルの性質上、流体からはスペックルが発生しにくいという性質がある。そのため、本技術に係る撮像システム101を用いて流体を含むものをイメージングとすると、流体とそれ以外の部分の境界や流体の流速等を、求めることができる。
より具体的には、撮像対象Oを生体組織とし、流体としては血液を挙げることができる。例えば、本技術に係る撮像システム101を、手術用顕微鏡や手術用内視鏡などに搭載すれば、血管の位置を確認しながら手術を行うことが可能である。そのため、より安全で高精度な手術を行うことができ、医療技術の更なる発展にも貢献することができる。
以上のような本技術に係る撮像システム101によれば、前記クロストーク排除部14を備えているため、前記画像撮像部13により撮像されるスペックル画像及び非スペックル画像の解像度を向上させることができ、より鮮明なスペックル画像を得ることができる。
その結果、例えば、血液が流れる血管を撮像した際、血液の時間的変動に従ったスペックルが変動を観測することができるため、血球の流路を正確に認識可能な画像を取得することができる。その結果、生体組織(例えば、心臓など)に対する血管の相対的位置を正確に観測することができる。
また、本技術に係る撮像システム101によれば、単一の画像撮像部13によってスペックル画像及び非スペックル画像を撮像する構成を採用しているため、例えば前記スペックル画像と非スペックル画像とを合成する場合、それぞれの画像の位置ずれが発生することを可及的に排除することができる。その結果、前記スペックル合成画像の解像度を向上させることができ、もって撮像対象Oの解析をより的確に行うことができる。
更に、本技術に係る撮像システム101によれば、例えば、第一光源11から赤色のコヒーレント光を撮像対象Oに対して照射させ、当該撮像対象Oからの散乱光に基づいてスペックル画像を撮像する場合、前記撮像対象Oは散乱が支配的である血液とすると、血流の描出力を高めることができる。一方、例えば、第二光源12から青色のインコヒーレント光を撮像対象Oに照射させ、当該撮像対象Oからの反射光に基づいて非スペックル画像を撮像する場合、撮像対象Oを血管とすると、青色の光が血液に吸収されやすいため、血管の描出力を高めることができる。
2.第二実施形態に係る撮像システム
次に、本技術に係る撮像システムの第二実施形態について説明する。図3は、第二実施形態に係る撮像システム201を示す模式概念図である。
この第二実施形態に係る撮像システム201は、分離部21、スペックル処理部22、スペックル画像処理部23、非スペックル画像処理部24、画像合成部25を備える点が第一実施形態に係る撮像システム101と異なる。その一方で、前記第一光源11、第二光源12、画像撮像部13、クロストーク排除部14、を少なくとも備える点は同一であり、更に必要に応じて、解析部15、記憶部16、及び表示部17を備えていてもよい点は同一である。
このため、以下の第二実施形態に係る撮像システム201の説明において、第一実施形態に係る撮像システム101と共通する構成についてはその説明を省略する。以下、分離部21、スペックル処理部22、スペックル画像処理部23、非スペックル画像処理部24、画像合成部25、について説明する。
(1)分離部
本技術に係る撮像システムでは、前記画像撮像部13によりスペックル画像及び非スペックル画像の撮像が行われるようになっており、前記分離部21では、撮像されたスペックル画像の画像情報と、非スペックル画像の画像情報とが分離されるようになっている。
当該分離部21にて行われる画像情報の分離方法は特に限定されず、公知の方法を採用することができる。
(2)スペックル処理部
第二実施形態に係る撮像システム201では、前記分離部21によって分離されたスペックル画像及び非スペックル画像に対して所定の処理が行われる。
前記スペックル画像は、前記スペックル処理部22及びスペックル画像処理部23により所定の処理が施される。
前記スペックル処理部22は、コヒーレント光に基づいたスペックル画像を、スペックルが所定の方向に流動したスペックル流体画像へと変換する。かかる場合、スペックルの流動を演算する方法としては、強度分布の標準偏差を強度分布の平均で割った値であるスペックルコントラストを指標とした方法が挙げられる。
そして、スペックル処理部22では、当該スペックルコントラストを画像化することにより、スペックル流体画像の作成が行われる。
(3)スペックル画像処理部
前記スペックル処理部22によりスペックル流体画像が作成された後、前記スペックル画像処理部23では先ず、前記スペックル流体画像において、スペックルコントラストの反転を行う。ここで、スペックルコントラストを反転させていない画像では、スペックルコントラストが撮像対象Oにおいて静止している箇所での値が、動いている箇所での値よりも大きくなる。従って、スペックルコントラストを反転させることにより、流速の大きい箇所とスペックル画像の値の大小を揃えることができる。更に、スペックルコントラストの最適化を行う。その結果、スペックル流体画像において、スペックルコントラストを最大とすることができ、もって血液等の散乱流体の検出精度を向上させることができる。
尚、当該スペックル画像処理部23におけるスペックルコントラストを反転させる方法、及び最適化の方法は特に限定されず、公知の方法を採用することができる。
(4)非スペックル画像処理部
第二実施形態に係る撮像システム201では、前記分離部21により非スペックル画像がスペックル画像から分離された後、前記非スペックル画像処理部24により当該非スペックル画像に対して所定の処理が行われる。
具体的には、前記画像撮像部13により測定された輝度分布の最適化が行われる。この結果、非スペックル画像において、撮像対象Oに対する輝度分布を最適にすることができるため、非スペックル画像の解像度を高めることができる。
尚、当該非スペックル画像処理部24による輝度分布を最適化する方法は特に限定されず、公知の方法を採用することができる。
(5)画像合成部
第二実施形態に係る撮像システム201では、前記スペックル画像処理部23により処理されたスペックル画像と、前記非スペックル画像処理部24により処理された非スペックル画像と、を合成する画像合成部25を備える。
この画像合成部25では、例えば、前記非スペックル画像の画像情報とスペックル画像の画像情報とを重ねあわせて、スペックル合成画像を作成する。このとき、テンプレートマッチングなど、重ね合わせの位置の調節が不要である。
具体的には、図4に示すように、赤色のコヒーレント光に基づいたスペックル画像Iと、青色のインコヒーレント光に基づいた非スペックル画像IIと、を重ねあわせて、スペックル合成画像IIIを作成する。かかる場合、図4に示されるように、スペックルが反映された散乱流体(赤色部分)だけでなく、前記インコヒーレント光の照射により当該散乱流体の背面に設けられる事象(青色部分)をも確認できるスペックル合成画像IIIが作成される。
ここで、前記解析部15による解析結果の精度を向上させるため、スペックル合成画像IIIにおける輝度分布が一様になるように、スペックル合成画像の輝度値を補正するようにしてもよい。この補正方法としては特に限定されず、公知の方法を用いることができる。
尚、前記スペックル合成画像を作成する方法については特に限定されず、公知の方法を採用することができる。
以上のように構成された第二実施形態に係る撮像システム201によれば、前記スペックル処理部22及びスペックル画像処理部23により、スペックル画像の解像度を高めることができ、前記非スペックル画像処理部24により非スペックル画像の解像度を高めることができる。その結果、前記スペックル合成画像の解像度も高めることができ、もって撮像対象Oの状態解析の精度を高めることができる。
3.撮像装置
本技術は、撮像装置をも提供する。図5を用いて、本技術に係る撮像装置301を左折名する。当該撮像装置301は、大別して、第一光源110、第二光源120、画像撮像部130、クロストーク排除部140、を少なくとも備える。また、必要に応じて、解析部150、記憶部160、表示部170、分離部180、スペックル処理部190、スペックル画像処理部200、非スペックル画像処理部210、画像合成部220を備えることができる。以下、各部について説明する。
(1) 第一光源
第一光源110は、本技術に係る撮像システム101の第一光源11と同一の構成からなり、撮像対象Oに対してコヒーレント光を照射する。第一光源110が発するコヒーレント光とは、光束内の任意の二点における光波の位相関係が時間的に不変で一定であり、任意の方法で光束を分割した後、大きな光路差を与えて再び重ねあわせても完全な干渉性を示す光をいう。本技術に係る第一光源110から出力されるコヒーレント光はその波長帯が550〜700nmの範囲であって赤色であることが好ましく、より好ましくは波長帯が600nmの赤色である。
コヒーレント光を照射する第一光源110の種類は、本技術の効果を損なわない限り特に限定されない。一例としては、レーザー光等を挙げることができる。レーザー光を発する第一光源110としては、例えば、アルゴンイオン(Ar)レーザー、ヘリウム−ネオン(He−Ne)レーザー、ダイ(dye)レーザー、クリプトン(Cr)レーザー、半導体レーザー、または、半導体レーザーと波長変換光学素子を組み合わせた固体レーザー等を、1種又は2種以上、自由に組み合わせて用いることができる。
(2)第二光源
第二光源120は、本技術に係る撮像システム101の第二光源12と同一の構成からなり、撮像対象Oに対してインコヒーレント光を照射する。本技術に係る撮像装置301では、前記撮像対象Oに対して、コヒーレント光とインコヒーレント光とが同時に照射される。すなわち、前記第二光源120は、第一光源110と同時に光の照射を行う。前記第二光源120が発するインコヒーレント光とは、物体光(物体波)のように干渉性を殆ど示さない光をいう。ここで、インコヒーレント光の波長は、前記第一光源110が発するコヒーレント光の波長と同程度であることが好ましいため、インコヒーレント光を照射する際には、バンドパスフィルターを用いてインコヒーレント光の波長の調整を行うことが可能な構成を採用することが好ましい。
本技術に係る第二光源12から出力されるインコヒーレント光はその波長帯が350〜550nmの範囲であって青色であることが好ましく、より好ましくは波長帯が400nmの青色である。
第二光源120の種類は、本技術の効果を損なわない限り特に限定されない。一例としては、発光ダイオード等を挙げることができる。また、他の光源としては、キセノンランプ、メタルハライドランプ、高圧水銀ランプ等も挙げられる。
(3)画像撮像部
画像撮像部130は、本技術に係る撮像システム101の画像撮像部13と同一の構成からなり、スペックル画像の撮像及び非スペックル画像の撮像が行われる。
すなわち、当該画像撮像部130では、前記コヒーレント光が照射された前記撮像対象Oから得られる散乱光に基づくスペックルの撮像が行われる。更には、インコヒーレント光が照射された前記撮像対象Oから得られる反射光に基づいて、撮像対象Oの撮像が行われる。ここで、インコヒーレント光は干渉性を殆ど示さない光であるため、インコヒーレント光に基づく撮像画像は、ランダムな干渉・回折パターンであるスペックルが発生しないものとなる。以下、説明の便宜上、スペックルが発生しない撮像画像を「非スペックル画像」という。
また、前記画像撮像部130では、撮像されたスペックル画像におけるスペックルの輝度分布の測定が行われるようにしてもよい。ここで、コヒーレント光を用いて照明された物体を結像光学系により観察すると、像面で物体の散乱によるスペックルが観測される。この画像撮像部130では、例えば輝度計を用いて、撮像画像におけるスペックルの輝度分布が測定される。その他には、CCDやCMOSなどの撮像素子より撮影した画像からスペックル輝度分布を算出することが可能である。
この輝度分布の測定方法は、本技術の効果が損なわれない限り特に限定されず、公知の算出方法を1種又は2種以上選択して、自由に組み合わせて用いることができる。
このような画像撮像部130が行う撮像方法は、本技術の効果が損なわれない限り特に限定されず、公知の撮像方法を1種又は2種以上選択して、自由に組み合わせて用いることができる。例えば、CCD(ChargeCoupled Device)やCMOS(ComplementaryMetal Oxide Semiconductor)センサー等の撮像素子を用いた撮像方法を挙げることができる。
この画像撮像部130では、例えば、疑似血液が流れている疑似血管を、前記スペックル輝度分布に基づいてマッピングした画像等が生成される。ここで、前述の如く、スペックルはランダムな干渉・回折パターンであるため、血液などの散乱流体が移動したり、時間的に変化すると、前記スペックルも時間的に変動する。このため、流体とそれ以外の部分の境界を観察することができる。
尚、前記画像撮像部130では、スペックルが生じている部分をより明確にするため、例えば複数のスペックル画像を用いて平準化を行い、スペックル画像のムラを低減させる構成を備えていてもよい。
(4)クロストーク排除部
前記クロストーク排除部140は、本技術に係る撮像システム101のクロストーク排除部14と同一の構成からなり、前記クロストークの排除が行われる。
より具体的には、前記クロストーク排除部140を、複数の色成分の各色成分に対応する画素を平面上に規則的に配置した画素部として構成し、前記画像撮像部130よりも撮像対象O側に配置する。そして、特定の波長の光(例えば、赤色のコヒーレント光)に感度のある画素のみから得られる画素データをスペックル画像とし、特定の波長の光(例えば、青色のインコヒーレント光)に感度のある画素のみから得られる画素データを非スペックル画像とする方法が考えられる。このようにクロストーク排除部140を構成した場合、当該クロストーク排除部140を構成する各画素が迷光を受光することがなくなるため、クロストークを可及的に排除することができる。
前記クロストーク排除部140の具体的な構成としては、R,G,Bの各色成分に対応する画素を有するベイヤー配列などカラーフィルターでマスクされた単板式のデジタルイメージャが挙げられる。他の構成としては、三板式のデジタルイメージャなども挙げられる。
(5)解析部
本技術に係る撮像装置301は、必要に応じて、解析部150を備えることができる。この解析部150は、本技術に係る撮像システム101の解析部15と同一の構成からなり、前記クロストーク排除部140によりクロストークが排除されたスペックル画像及び非スペックル画像からなるスペックル合成画像の解析が行われる。具体的には、当該スペックル合成画像に示された輝度分布やスペックルから、撮像対象Oの状態解析が行われる。
当該解析部150では、例えば、撮像対象Oを血管とした場合、血液などの散乱流体が移動したり、時間的に変化すると、これに応じてスペックルも時間的に変動することとなる。このため、前記解析部150により、血流の速度を測定することができる。
尚、この解析部150は、本技術に係る撮像装置301に必須ではなく、外部の解析装置等を用いて撮像対象Oの状態を解析することも可能である。
(6)記憶部
本技術に係る撮像装置301は、必要に応じて、記憶部160を備えることができる。この記憶部160は、本技術に係る撮像システム101の記憶部16と同一の構成からなり、前記画像撮像部130によって撮像されたスペックル画像及び非スペックル画像、前記解析部150による解析結果などが記憶される。
この記憶部160は、本技術に係る撮像装置301においては必須ではなく、例えば、外部の記憶装置を接続して、前記スペックル画像等を記憶することも可能である。
(7)表示部
本技術に係る撮像装置301は、必要に応じて、表示部170を備えることができる。この表示部170は、本技術に係る撮像システム101の表示部17と同一の構成からなり、前記画像撮像部130によって撮像されたスペックル画像及び非スペックル画像、前記解析部150による解析結果などが表示される。
ここで、当該表示部170においては、前記画像撮像部130により測定されたスペックルの輝度分布を、前記スペックル画像に重畳させて表示することもできる。
この表示部170は、本技術に係る撮像装置301においては必須ではなく、例えば、外部のモニター等を用いて撮像対象Oに光照射を行うことも可能である。
(8)分離部
本技術に係る撮像装置301は、必要に応じて、分離部180を備えることができる。当該分離部180は、本技術に係る撮像システム101の分離部21と同一の構成からなり、当該分離部180では、撮像されたスペックル画像の画像情報と、非スペックル画像の画像情報とが分離されるようになっている。分離部180にて行われる画像情報の分離方法は特に限定されず、公知の方法を採用することができる。
(9)スペックル処理部
本技術に係る撮像装置301では、前記分離部180により分離されたスペックル画像及び非スペックル画像の各画像に対して所定の処理が行われる。当該撮像装置301では、前記スペックル画像に対し、前記スペックル処理部190及びスペックル画像処理部200により所定の処理が施される。
前記スペックル処理部190は、コヒーレント光に基づいたスペックル画像を、スペックルが所定の方向に流動したスペックル流体画像へと変換する。かかる場合、スペックルの流動を演算する方法としては、強度分布の標準偏差を強度分布の平均で割った値であるスペックルコントラストを指標とした方法が挙げられる。
そして、スペックル処理部190では、当該スペックルコントラストを画像化することにより、スペックル流体画像の作成が行われる。
(10)スペックル画像処理部
前記スペックル処理部190によりスペックル流体画像が作成された後、前記スペックル画像処理部200では先ず、前記スペックル流体画像において、スペックルコントラストの反転を行う。これにより、撮像対象Oにおいて、流速の大きい箇所とスペックル画像の値の大小を揃えることができる。更に、スペックルコントラストの最適化を行う。その結果、スペックル流体画像において、スペックルコントラストを最大することができ、もって血液等の散乱流体の検出精度を向上させることができる。
尚、当該スペックル画像処理部200におけるスペックルコントラストを反転させる方法、及び最適化の方法は特に限定されず、公知の方法を採用することができる。
(11)非スペックル画像処理部
本技術に係る撮像装置301では、前記分離部180により非スペックル画像がスペックル画像から分離された後、非スペックル画像処理部210により当該非スペックル画像に対して所定の処理が行われる。
具体的には、前記画像撮像部130により測定された輝度分布の最適化が行われる。この結果、非スペックル画像において、撮像対象Oに対する輝度分布を最適にすることができるため、非スペックル画像の解像度を高めることができる。
尚、当該非スペックル画像処理部210による輝度分布を最適化する方法は特に限定されず、公知の方法を採用することができる。
(12)画像合成部
本技術に係る撮像装置301は、前記スペックル画像処理部200により処理されたスペックル画像と、前記非スペックル画像処理部210により処理された非スペックル画像と、を合成する画像合成部220を備える。
この画像合成部220では、例えば、前記非スペックル画像の画像情報とスペックル画像の画像情報とを重ねあわせて、スペックル合成画像を作成する。かかる場合、前記解析部150による解析結果の精度を向上させるため、スペックル合成画像における輝度分布が一様になるように、スペックル合成画像の輝度値を補正するようにしてもよい。この補正方法としては特に限定されず、公知の方法を用いることができる。
尚、前記スペックル合成画像を作成する方法については特に限定されず、公知の方法を採用することができる。
以上のような本技術に係る撮像装置301によれば、前記クロストーク排除部140を備えているため、前記画像撮像部13により撮像されるスペックル画像及び非スペックル画像がより鮮明なものとなる。
その結果、例えば、血液が流れる血管を撮像した際、血液の時間的変動に従ったスペックルが変動を観測することができるため、血球の流路を正確に認識可能な画像を取得することができる。その結果、生体組織(例えば、心臓など)に対する血管の相対的位置を正確に観測することができる。
また、本技術に係る撮像装置301によれば、単一の画像撮像部130によってスペックル画像及び非スペックル画像を撮像する構成を採用しているため、例えば前記スペックル画像と非スペックル画像とを合成する場合、それぞれの画像の位置ずれが発生することを可及的に排除することができる。その結果、前記スペックル合成画像の解像度を向上させることができ、もって撮像対象Oの解析をより的確に行うことができる。
更に、本技術に係る撮像装置301によれば、例えば、第一光源110から赤色のコヒーレント光を撮像対象Oに対して照射させ、当該撮像対象Oからの散乱光に基づいてスペックル画像を撮像する場合、前記撮像対象Oは散乱が支配的である血液とすると、血流の描出力を高めることができる。一方、例えば、第二光源120から青色のインコヒーレント光を撮像対象Oに照射させ、当該撮像対象Oからの反射光に基づいて非スペックル画像を撮像する場合、撮像対象Oを血管とすると、青色の光が血液に吸収されやすいため、血管の描出力を高めることができる。
また、本技術に係る撮像装置301において、前記スペックル処理部190及びスペックル画像処理部200により、スペックル画像の解像度を高めることができ、前記非スペックル画像処理部210により非スペックル画像の解像度を高めることができる。その結果、前記スペックル合成画像の解像度も高めることができ、もって撮像対象Oの状態解析の精度を高めることができる。
4.撮像方法
図6は、本技術に係る撮像方法のフローチャートである。第一実施形態に係る撮像方法は、コヒーレント光照射工程、インコヒーレント光照射工程、画像撮像工程、クロストーク排除工程、を少なくとも含み、また、必要に応じて、分離工程、スペックル処理工程、スペックル画像処理工程、非スペックル画像処理工程、画像合成工程、解析工程、記憶工程、表示工程を含んでいてもよい。
尚、図6では、前記分離工程、スペックル処理工程、スペックル画像処理工程、非スペックル画像処理工程、画像合成工程、解析工程、記憶工程、表示工程に関しても示されているが、前述の如くこれらの工程は必須ではないため、本技術に係る撮像方法にて行わなくとも差支えない。但し、これら分離工程、スペックル処理工程、スペックル画像処理工程、非スペックル画像処理工程、画像合成工程、解析工程、記憶工程、表示工程を含むことにより、所定の効果を発揮するため、これらの工程に関しては含まれていることが好ましい。各工程について、以下に、本技術に係る撮像方法を実行する順序に説明する。
(1) コヒーレント光照射工程
本技術に係る撮像方法では先ず、前記撮像対象Oに対して、コヒーレント光を照射するコヒーレント光照射工程S1を行う。当該コヒーレント光照射工程にて照射されるコヒーレント光はその波長帯が550〜700nmの範囲であって赤色であることが好ましく、より好ましくは波長帯が600nmの赤色である。
当該コヒーレント光照射工程S1にて用いることができる光源の種類は、本技術の効果を損なわない限り特に限定されない。一例としては、レーザー光等を挙げることができる。レーザー光を発する第一光源110としては、例えば、アルゴンイオン(Ar)レーザー、ヘリウム−ネオン(He−Ne)レーザー、ダイ(dye)レーザー、クリプトン(Cr)レーザー、半導体レーザー、または、半導体レーザーと波長変換光学素子を組み合わせた固体レーザー等を、1種又は2種以上、自由に組み合わせて用いることができる。
(2) インコヒーレント光照射工程
本技術に係る撮像方法では、コヒーレント光照射工程S1が行われると同時に、前記撮像対象Oに対して、インコヒーレント光を照射する。ここで、前記インコヒーレント光源の種類としては、本技術の効果を損なわない限り特に限定されず、一例としては、発光ダイオード等を挙げることができる。また、他の光源としては、キセノンランプ、メタルハライドランプ、高圧水銀ランプ等も挙げられる。
当該インコヒーレント光照射工程にて照射されるインコヒーレント光は、その波長帯が350〜550nmの範囲であって青色であることが好ましく、より好ましくは波長帯が400nmの青色である。
(3)画像撮像工程
本技術に係る撮像方法では、コヒーレント光照射工程S1及びインコヒーレント光照射工程S2が行われた後、画像撮像工程S3が行われる。
この画像撮像工程S3では、単一の撮像素子を用いて、スペックル画像及び非スペックル画像の撮像が行われる。
具体的には、コヒーレント光が照射された前記撮像対象Oから得られる散乱光に基づいて、スペックルの撮像が行われる。更には、インコヒーレント光が照射された前記撮像対象Oから得られる反射光に基づいて、スペックルが映し出されない非スペックル画像、すなわち明視野画像の撮像が行われる。
この画像撮像工程S3では、例えば、疑似血液が流れている疑似血管を、前記スペックル輝度分布に基づいてマッピングした画像等が生成される。ここで、前述の如く、スペックルはランダムな干渉・回折パターンであるため、血液などの散乱流体が移動したり、時間的に変化すると、前記スペックルも時間的に変動する。このため、流体とそれ以外の部分の境界を観察することができる。
ここで、画像撮像工程S3における撮像方法は特に限定されず、公知の撮像方法を1種又は2種以上選択して、自由に組み合わせて用いることができる。例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)センサー等の撮像素子を用いた撮像方法を挙げることができる。また、前記画像撮像工程S3では、スペックルが生じている部分をより明確にするため、例えば複数のスペックル画像を用いて平準化を行い、スペックル画像のムラを低減させる構成を備えていてもよい。
(4)クロストーク排除工程
本技術に係る撮像方法では、スペックル画像及び非スペックル画像の撮像が行われた後、所定の撮像素子を用いてクロストークを可及的に排除するクロストーク排除工程S4が行われる。
前記撮像素子としては、複数の色成分の各色成分に対応する画素を平面上に規則的に配置した撮像素子を用いることができ、一例としては、R,G,Bの各色成分に対応する画素を有するベイヤー配列などカラーフィルターでマスクされた単板式のデジタルイメージャが挙げられる。他の構成としては、三板式のデジタルイメージャなども挙げられる。
そして、クロストーク排除工程S4では、前記撮像素子を介してコヒーレント光及びインコヒーレント光を照射し、特定の波長の光(例えば、赤色のコヒーレント光)に感度のある画素のみから得られる画素データをスペックル画像とし、特定の波長の光(例えば、青色のインコヒーレント光)に感度のある画素のみから得られる画素データを非スペックル画像とする方法が考えられる。このようなクロストーク排除工程S4によれば、各画素が迷光を受光することがなくなるため、クロストークを可及的に排除することができる。
(5)分離工程
本技術に係る撮像方法は、前記クロストーク排除工程S4によりクロストークが排除された後、撮像されたスペックル画像の画像情報と、非スペックル画像の画像情報との分離が行われる。当該画像情報の分離方法は特に限定されず、公知の方法を採用することができる。
(6)スペックル処理工程
本技術に係る撮像方法では、前記分離工程S5により分離されたスペックル画像がスペックル処理工程S6に供される。
このスペックル処理工程S6では、コヒーレント光に基づいて撮像されたスペックル画像を、スペックルが流動したスペックル流体画像へと変換する。
具体的には、前記スペックル画像におけるスペックルの流動を演算する。当該演算方法としては、強度分布の標準偏差を強度分布の平均で割った値であるスペックルコントラストを指標とした方法が挙げられる。その後、前記スペックルコントラストを画像化し、スペックル流体画像の作成を行う。
(7)スペックル画像処理工程
本技術に係る撮像方法では、前記スペックル処理工程S6が行われた後、前記スペックル流体画像に対してスペックル画像処理工程S7が行われる。
このスペックル画像処理工程S7では先ず、前記スペックル流体画像において、スペックルコントラストの反転を行う。これにより、撮像対象Oにおいて、流速の大きい箇所とスペックル画像の値の大小を揃えることができる。その後、スペックルコントラストの最適化を行う。その結果、スペックル流体画像において、スペックルコントラストを最大することができ、もって血液等の散乱流体の検出精度を向上させることができる。
尚、当該スペックル画像処理工程S7におけるスペックルコントラストを反転させる方法、及び最適化の方法は特に限定されず、公知の方法を採用することができる。
(8)非スペックル画像処理工程
本技術に係る撮像方法では、非スペックル画像処理工程S8が行われる。
すなわち、前記分離工程S5により非スペックル画像がスペックル画像から分離された後、非スペックル画像処理工程S8により当該非スペックル画像に対して所定の処理が行われる。尚、図6では、非スペックル画像処理工程S8が前記スペックル画像処理工程S7の後に行われるように示されているが、当該非スペックル画像処理工程S8は、前記分離工程S5の後、前記スペックル処理工程S6と並列に行われる。
具体的には、前記画像撮像工程S3時に測定された輝度分布の最適化が行われる。この結果、非スペックル画像において、撮像対象Oに対する輝度分布を最適にすることができるため、非スペックル画像の解像度を高めることができる。ここで、前記輝度分布を最適化する方法は特に限定されず、公知の方法を採用することができる。
(9)画像合成工程
本技術に係る撮像方法では、前記スペックル画像処理工程S7に供されたスペックル画像と、前記非スペックル画像処理工程S8に供された非スペックル画像と、を合成する画像合成工程S9を含む。
この画像合成工程S9では、例えば、前記非スペックル画像の画像情報とスペックル画像の画像情報とを重ねあわせて、スペックル合成画像を作成する。かかる場合、後述する解析工程による解析結果の精度を向上させるため、スペックル合成画像における輝度分布が一様になるように、スペックル合成画像の輝度値を補正するようにしてもよい。この補正方法としては特に限定されず、公知の方法を用いることができる。
尚、前記スペックル合成画像を作成する方法については特に限定されず、公知の方法を採用することができる。
(10)解析工程
本技術に係る撮像方法は、必要に応じて、解析工程S10を含んでいてもよい。当該解析工程S10では、前前記画像合成工程S9により作成されたスペックル合成画像の解析が行われる。具体的には、当該スペックル合成画像に示された輝度分布やスペックルから、撮像対象Oの状態解析が行われる。
当該解析工程S10では、例えば、撮像対象Oを血管とした場合、血液などの散乱流体が移動したり、時間的に変化すると、これに応じてスペックルも時間的に変動することとなる。このため、前記解析工程S10では、血流の速度を測定することができる。
(11)記憶工程
本技術に係る撮像方法は、必要に応じて、記憶工程S11を含んでいてもよい。
この記憶工程S11では、前記スペックル処理工程S6及びスペックル画像処理工程S7に供されたスペックル画像、前記非スペックル画像処理工程S8に供された非スペックル画像、前記画像合成工程S9により作成されたスペックル合成画像、前記解析工程S10による解析結果、などを記憶する。
(12)表示工程
本技術に係る撮像方法は、必要に応じて、表示工程S12を含んでいてもよい。
この表示工程S12では、前記スペックル処理工程S6及びスペックル画像処理工程S7に供されたスペックル画像、前記非スペックル画像処理工程S8に供された非スペックル画像、前記画像合成工程S9により作成されたスペックル合成画像、前記解析工程S10による解析結果、などを表示する。
以上のような本技術に係る撮像方法によれば、前記クロストーク排除工程を含んでいるため、前記画像撮像工程S3により撮像されるスペックル画像及び非スペックル画像の解像度を向上させることができる。
その結果、例えば、血液が流れる血管を撮像した際、血液の時間的変動に従ったスペックルが変動を観測することができるため、血球の流路を正確に認識可能な画像を取得することができる。その結果、生体組織(例えば、心臓など)に対する血管の相対的位置を正確に観測することができる。
また、本技術に係る撮像方法によれば、例えば、コヒーレント光照射工程S1にて赤色のコヒーレント光を撮像対象Oに対して照射させ、当該撮像対象Oからの散乱光に基づいてスペックル画像を撮像する場合、前記撮像対象Oは散乱が支配的である血液とすると、血流の描出力を高めることができる。一方、例えば、インコヒーレント光照射工程S2にて青色のインコヒーレント光を撮像対象Oに照射させ、当該撮像対象Oからの反射光に基づいて非スペックル画像を撮像する場合、撮像対象Oを血管とすると、青色の光が血液に吸収されやすいため、血管の描出力を高めることができる。
また、本技術に係る撮像方法において、前記スペックル処理工程S6及びスペックル画像処理工程S7を含む場合、スペックル画像の解像度を高めることができ、前記非スペックル画像処理工程S8を含む場合には、非スペックル画像の解像度を高めることができる。その結果、前記スペックル合成画像の解像度も高めることができ、もって撮像対象Oの状態解析の精度を高めることができる。
なお、本技術は、以下のような撮像システムをも提供することができる。
(1)
第一の波長帯のコヒーレント光を撮像対象に照射する第一光源と、
第二の波長帯のインコヒーレント光を撮像対象に照射する第二光源と、
前記コヒーレント光が照明された前記撮像対象の散乱光から得られるスペックル画像及び前記インコヒーレント光が照明された前記撮像対象の反射光から得られる非スペックル画像を撮像する画像撮像部と、
撮像されたスペックル画像と非スペックル画像との間に生じるクロストークを排除するクロストーク排除部と、
を備える、撮像システム。
(2)
前記第一光源は赤色光源であり、前記第二光源は青色光源である、(1)記載の撮像システム。
(3)
前記コヒーレント光の波長帯は550〜700nmであり、前記インコヒーレント光の波長帯は350〜550nmである、(1)又は(2)に記載の撮像システム。
(4)
前記第二光源は、前記第一光源と同時にインコヒーレント光を前記撮像対象に照射する、(1)〜(3)のいずれか一つに記載の撮像システム。
(5)
更に、撮像されたスペックル画像と非スペックル画像とを分離する分離部を備える、(1)〜(4)のいずれか一つに記載の撮像システム。
(6)
更に、分離されたスペックル画像と前記非スペックル画像とを合成する画像合成部を備える、(1)〜(5)のいずれか一つに記載の撮像システム。
(7)
前記画像撮像部は、複数の色成分の各色成分に対応する画素を平面上に規則的に配置した画素部を備える、(1)〜(6)のいずれか一つに記載の撮像システム。
(8)
前記画素部は、ベイヤー配列の構成である、(7)記載の撮像システム。
また、本技術は、以下のような撮像装置をも提供することができる。
(9)
第一の波長帯のコヒーレント光を撮像対象に照射する第一光源と、
第二の波長帯のインコヒーレント光を撮像対象に照射する第二光源と、
前記コヒーレント光が照明された前記撮像対象の散乱光から得られるスペックル画像及び前記インコヒーレント光が照明された前記撮像対象の反射光から得られる非スペックル画像を撮像する画像撮像部と、
撮像されたスペックル画像と非スペックル画像との間に生じるクロストークを排除するクロストーク排除部と、
を備える、撮像装置。
(10)
前記第一光源は赤色光源であり、前記第二光源は青色光源である、(9)記載の撮像装置。
(11)
前記コヒーレント光の波長帯は550〜700nmであり、前記インコヒーレント光の波長帯は350〜550nmである、(9)又は(10)に記載の撮像装置。
(12)
前記第二光源は、前記第一光源と同時にインコヒーレント光を前記撮像対象に照射する、(9)〜(11)のいずれか一つに記載の撮像装置。
(13)
更に、撮像されたスペックル画像と非スペックル画像とを分離する分離部を備える、(9)〜(12)のいずれか一つに記載の撮像装置。
(14)
更に、分離されたスペックル画像と前記非スペックル画像とを合成する画像合成部を備える、(9)〜(13)のいずれか一つに記載の撮像装置。
(15)
前記画像撮像部は、複数の色成分の各色成分に対応する画素を平面上に規則的に配置した画素部を備える、(9)〜(14)のいずれか一つに記載の撮像装置。
(16)
前記画素部は、ベイヤー配列の構成である、(15)記載の撮像装置。
本技術は、以下のような撮像方法を提供することができる。
(17)
第一の波長帯のコヒーレント光を撮像対象に照射するコヒーレント光照射工程と、
第二の波長帯のインコヒーレント光を前記撮像対象に照射するインコヒーレント光照射工程と、
前記コヒーレント光が照明された前記撮像対象の散乱光から得られるスペックル画像を撮像するスペックル画像撮像工程と、
前記インコヒーレント光が照明された前記撮像対象の反射光から得られる非スペックル画像を撮像する非スペックル画像撮像工程と、
撮像されたスペックル画像と非スペックル画像との間に生じるクロストークを排除するクロストーク排除工程と、
を含む、撮像方法。
(18)
前記第一光源は赤色光源であり、前記第二光源は青色光源である、(17)記載の撮像方法。
(19)
前記コヒーレント光の波長帯は550〜700nmであり、前記インコヒーレント光の波長帯は350〜550nmである、(17)又は(18)に記載の撮像方法。
(20)
前記コヒーレント光照射工程とインコヒーレント光照射工程が同時に行われる、(17)〜(19)のいずれか一つに記載の撮像方法。
(21)
更に、撮像されたスペックル画像と非スペックル画像とを分離する分離工程を含む、(17)〜(20)のいずれか一つに記載の撮像方法。
(22)
更に、分離されたスペックル画像と前記非スペックル画像とを合成する画像合成工程を含む、(17)〜(21)のいずれか一つに記載の撮像方法。
101、201 撮像システム
301 撮像装置
11、110 第一光源
12、120 第二光源
13、130 画像撮像部
14、140 クロストーク排除部14
15、150 解析部
16、160 記憶部
17、170 表示部
21、180 分離部
22、190 スペックル処理部
23、200 スペックル画像処理部
24、210 非スペックル画像処理部
25、220 画像合成部

Claims (22)

  1. 第一の波長帯のコヒーレント光を撮像対象に照射する第一光源と、
    第二の波長帯のインコヒーレント光を撮像対象に照射する第二光源と、
    前記コヒーレント光が照明された前記撮像対象の散乱光から得られるスペックル画像及び前記インコヒーレント光が照明された前記撮像対象の反射光から得られる非スペックル画像を撮像する画像撮像部と、
    撮像されたスペックル画像と非スペックル画像との間に生じるクロストークを排除するクロストーク排除部と、
    を備える、撮像システム。
  2. 前記第一光源は赤色光源であり、前記第二光源は青色光源である、請求項1記載の撮像システム。
  3. 前記コヒーレント光の波長帯は550〜700nmであり、前記インコヒーレント光の波長帯は350〜550nmである、請求項2記載の撮像システム。
  4. 前記第二光源は、前記第一光源と同時にインコヒーレント光を前記撮像対象に照射する、請求項1記載の撮像システム。
  5. 更に、撮像されたスペックル画像と非スペックル画像とを分離する分離部を備える、請求項1記載の撮像システム。
  6. 更に、分離されたスペックル画像と前記非スペックル画像とを合成する画像合成部を備える、請求項5記載の撮像システム。
  7. 前記クロストーク排除部は、複数の色成分の各色成分に対応する画素を平面上に規則的に配置した画素部である、請求項1記載の撮像システム。
  8. 前記クロストーク排除部は、ベイヤー配列の構成である、請求項7記載の撮像システム。
  9. 第一の波長帯のコヒーレント光を撮像対象に照射する第一光源と、
    第二の波長帯のインコヒーレント光を撮像対象に照射する第二光源と、
    前記コヒーレント光が照明された前記撮像対象の散乱光から得られるスペックル画像及び前記インコヒーレント光が照明された前記撮像対象の反射光から得られる非スペックル画像を撮像する画像撮像部と、
    撮像されたスペックル画像と非スペックル画像との間に生じるクロストークを排除するクロストーク排除部と、
    を備える、撮像装置。
  10. 前記第一光源は赤色光源であり、前記第二光源は青色光源である、請求項9記載の撮像装置。
  11. 前記コヒーレント光の波長帯は550〜700nmであり、前記インコヒーレント光の波長帯は350〜550nmである、請求項10記載の撮像装置。
  12. 前記第二光源は、前記第一光源と同時にインコヒーレント光を前記撮像対象に照射する、請求項9記載の撮像装置。
  13. 更に、撮像されたスペックル画像と非スペックル画像とを分離する分離部を備える、請求項9記載の撮像装置。
  14. 更に、分離されたスペックル画像と前記非スペックル画像とを合成する画像合成部を備える、請求項13記載の撮像装置。
  15. 前記クロストーク排除部は、複数の色成分の各色成分に対応する画素を平面上に規則的に配置した画素部である、請求項9記載の撮像装置。
  16. 前記クロストーク排除部は、ベイヤー配列の構成である、請求項15記載の撮像装置。
  17. 第一の波長帯のコヒーレント光を撮像対象に照射するコヒーレント光照射工程と、
    第二の波長帯のインコヒーレント光を前記撮像対象に照射するインコヒーレント光照射工程と、
    前記コヒーレント光が照明された前記撮像対象の散乱光から得られるスペックル画像を撮像するスペックル画像撮像工程と、
    前記インコヒーレント光が照明された前記撮像対象の反射光から得られる非スペックル画像を撮像する非スペックル画像撮像工程と、
    撮像されたスペックル画像と非スペックル画像との間に生じるクロストークを排除するクロストーク排除工程と、
    を含む、撮像方法。
  18. 前記コヒーレント光は赤色であり、前記インコヒーレント光は青色である、請求項17記載の撮像方法。
  19. 前記コヒーレント光の波長帯は550〜700nmであり、前記インコヒーレント光の波長帯は350〜550nmである、請求項18記載の撮像方法。
  20. 前記コヒーレント光照射工程とインコヒーレント光照射工程が同時に行われる、請求項17記載の撮像方法。
  21. 更に、撮像されたスペックル画像と非スペックル画像とを分離する分離工程を含む、請求項17記載の撮像方法。
  22. 更に、分離されたスペックル画像と前記非スペックル画像とを合成する画像合成工程を含む、請求項21記載の撮像方法。
JP2016019057A 2016-02-03 2016-02-03 撮像システム、撮像装置、撮像方法 Pending JP2017138787A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016019057A JP2017138787A (ja) 2016-02-03 2016-02-03 撮像システム、撮像装置、撮像方法
PCT/JP2016/085081 WO2017134907A1 (ja) 2016-02-03 2016-11-18 撮像システム、撮像装置、撮像方法
US16/070,347 US10681283B2 (en) 2016-02-03 2016-11-18 Imaging system, imaging apparatus, and imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016019057A JP2017138787A (ja) 2016-02-03 2016-02-03 撮像システム、撮像装置、撮像方法

Publications (1)

Publication Number Publication Date
JP2017138787A true JP2017138787A (ja) 2017-08-10

Family

ID=59499506

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016019057A Pending JP2017138787A (ja) 2016-02-03 2016-02-03 撮像システム、撮像装置、撮像方法

Country Status (3)

Country Link
US (1) US10681283B2 (ja)
JP (1) JP2017138787A (ja)
WO (1) WO2017134907A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113301278A (zh) 2020-02-21 2021-08-24 三星电子株式会社 校准图像传感器的方法和校准图像传感器的设备
CN112950731B (zh) * 2021-02-02 2024-01-23 西安电子科技大学 一种单帧强背景干扰下的透散射介质成像方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8502926B2 (en) * 2009-09-30 2013-08-06 Apple Inc. Display system having coherent and incoherent light sources
CN103460024B (zh) 2012-02-03 2017-09-22 松下知识产权经营株式会社 摄像装置和摄像***
JP5740559B2 (ja) * 2012-11-30 2015-06-24 パナソニックIpマネジメント株式会社 画像処理装置および内視鏡
JP6498126B2 (ja) 2013-11-28 2019-04-10 オリンパス株式会社 蛍光観察装置
JP6463903B2 (ja) 2014-05-14 2019-02-06 オリンパス株式会社 内視鏡システム

Also Published As

Publication number Publication date
US10681283B2 (en) 2020-06-09
US20190068861A1 (en) 2019-02-28
WO2017134907A1 (ja) 2017-08-10

Similar Documents

Publication Publication Date Title
US11025812B2 (en) Imaging apparatus, imaging method, and imaging system
US8994753B2 (en) Displaying extracted structures from an OCT image superimposed on an eyeground image
JP6798511B2 (ja) 撮像装置及び撮像システム
WO2017168984A1 (ja) 撮像装置、撮像方法
US20140168424A1 (en) Imaging device for motion detection of objects in a scene, and method for motion detection of objects in a scene
US10362933B2 (en) Ophthalmologic apparatus, tomographic image generation method, and program that determine an imaging region for capturing a plurality of tomographic images for generating an averaged tomographic image
US9095255B2 (en) Method and device for locating function-supporting tissue areas in a tissue region
JP6507509B2 (ja) 流路撮像装置及び流路撮像方法
US20190099089A1 (en) Image analysis apparatus and image analysis method
JP2016209147A (ja) 眼底画像処理装置、および眼底画像処理プログラム
CN110879398A (zh) 飞行时间相机和用于校准飞行时间相机的方法
JP6230303B2 (ja) 画像処理装置、画像処理方法、撮影制御装置、放射線撮影システムおよびプログラム
JP7030455B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6948407B2 (ja) 表面トポロジおよび関連する色を決定するための装置および方法
WO2017134907A1 (ja) 撮像システム、撮像装置、撮像方法
JP2015046019A (ja) 画像処理装置、撮像装置、撮像システム、画像処理方法、プログラム、および、記憶媒体
JP2010281778A (ja) 三次元形状計測装置
JP2006308323A (ja) 3次元形状測定方法
JP2005258622A (ja) 三次元情報取得システムおよび三次元情報取得方法
JP6346032B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2006220424A (ja) X線ct検査装置及びx線ct検査方法
WO2019098005A1 (ja) 光測定装置及び光測定方法
JP2010240068A (ja) 眼科観察装置
JP3729035B2 (ja) 3次元画像撮像装置および3次元画像撮像方法
JP2007147507A (ja) 分光測定方法及び分光測定装置