JP6409978B2 - 撮像装置および撮像方法 - Google Patents

撮像装置および撮像方法 Download PDF

Info

Publication number
JP6409978B2
JP6409978B2 JP2017537204A JP2017537204A JP6409978B2 JP 6409978 B2 JP6409978 B2 JP 6409978B2 JP 2017537204 A JP2017537204 A JP 2017537204A JP 2017537204 A JP2017537204 A JP 2017537204A JP 6409978 B2 JP6409978 B2 JP 6409978B2
Authority
JP
Japan
Prior art keywords
light
fluorescence
exposure
imaging
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017537204A
Other languages
English (en)
Other versions
JPWO2017038015A1 (ja
Inventor
今川 太郎
太郎 今川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2017038015A1 publication Critical patent/JPWO2017038015A1/ja
Application granted granted Critical
Publication of JP6409978B2 publication Critical patent/JP6409978B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6408Fluorescence; Phosphorescence with measurement of decay time, time resolved fluorescence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/06Illumination; Optics
    • G01N2201/061Sources

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Endoscopes (AREA)

Description

本開示は、撮像対象に光を照射して撮像する撮像装置に関する。
特許文献1は、励起光照射によって対象物で発生した蛍光の画像を撮像する蛍光イメージング装置を開示する。特許文献1は、蛍光画像の各画素について蛍光強度変化の変調度および位相を求め、蛍光画像中の基準点に対する他画素の位相差を求め、蛍光画像の各画素の蛍光成分の判別と基準点からの相対的距離を求める。
特開2015−87171号公報
本開示は、被写体の蛍光の遅延時間画像を撮像するために有効な撮像装置を提供する。
本開示における撮像装置は、照明部と、画像取得部とを備える。照明部は、被写体に少なくとも1つの励起光と、照明光とを照射する。画像取得部は、励起光により被写体が放射する少なくとも1つの蛍光と、被写体が照明光を反射した反射光とを撮像する。画像取得部は、さらに、励起光の入射から蛍光を放射するまでの遅延時間から生成した少なくとも1つの蛍光の遅延時間画像を取得する。
本開示における撮像方法は、被写体に少なくとも1つの励起光と、照明光とを照射する。さらに、被写体が照明光を反射した反射光と、励起光により被写体が発生した蛍光を撮像する。撮像した結果に基づき、少なくとも1つの蛍光の遅延時間画像を取得する。
本開示における撮像装置は、被写体から離れた位置から被写体の蛍光の遅延時間画像を取得することができる。
図1は、実施の形態1にかかる撮像装置の具体的な構成を示す模式図である。 図2は、実施の形態1にかかる撮像装置の動作を説明するフローチャートである。 図3は、実施の形態1にかかる撮像装置の励起光照射時の動作を説明する図である。 図4は、実施の形態1にかかる撮像装置の照明光照射時の動作を説明する図である。 図5は、被写体の一例を説明する図である。 図6は、蛍光の遅延時間画像の一例を説明する図である。 図7は、距離画像の一例を説明する図である。 図8は、実施の形態2にかかる撮像装置の動作を説明するフローチャートである。 図9は、実施の形態2にかかる撮像装置の動作を説明する図である。 図10は、照射タイミング信号の他の一例を説明する図である。 図11は、遅延時間算出の他の一例を説明する図である。 図12は、励起光および照明光の波長と撮像波長帯の関係について説明する図である。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。つまり、以下で説明する実施の形態は、いずれも本開示の好ましい一具体例を示すものである。以下の実施の形態で示される数値、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示における技術を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、より好ましい形態を構成する任意の構成要素として説明される。
(実施の形態1)
以下、図1〜7を用いて、実施の形態1を説明する。
[1−1.構成]
図1は、実施の形態1にかかる撮像装置100の具体的な構成を示す模式図である。
図1に示すように、本開示の撮像装置100は、照明部110、画像取得部120、制御部130を備える。また、画像取得部120は、撮像部121、メモリ122、蛍光検出部123、測距部124を備える。
照明部110は、被写体200に少なくとも1つの励起光と、照明光とを選択的に照射する。照明部110は例えば、照明光を発光する発光部と、少なくとも1つの励起光を発光する発光部とを有する。制御部130の制御に従って、いずれかの発光部が発光する構成としてもよい。照明部110は、励起光と照明光を切り替えて発光できるものであれば、どのような構成でも構わない。
本実施の形態の照明部110は、1つの励起光L1と照明光L2を発光する。制御部130は、所定の露出時間(1フレームの画像を撮像する期間)毎にどの光を発光するかを選択する。照明部110は、制御部130の制御に従って、選択された光を所定の照射タイミングで被写体200に照射する。
ここで、照明光とは、被写体200に照射し、被写体200が反射した反射光を観測するための光とする。また、励起光は、被写体200に照射することにより、被写体200に蛍光を発生させる光とする。すなわち、励起光とは、被写体200に照射し、被写体200の蛍光を観測するための光である。また、本開示では、励起光を被写体200に照射してから蛍光が生じるまでの遅延時間を示す画像を、蛍光の遅延時間画像と称する。蛍光の遅延時間画像は、蛍光が発生したために、撮像装置100へ到達する時間に生じた遅延時間の値を画素毎に持った画像である。
本開示では、励起光L1として、紫外線(短波長光)を用いる。なお、励起光L1は、紫外線以外を用いてもよい。励起光L1は、撮像部121の撮像波長帯の上限付近の光や、撮像波長帯より短波長の光を用いてもよい。例えば、可視光を用いてもよい。なお、撮像波長帯は、撮像部121が撮像できる光の波長の範囲である。
また、本開示では、照明光L2として、近赤外線(長波長光)を用いる。なお、照明光L2は、撮像波長帯に含まれる波長の光であれば、近赤外線以外を用いてもよい。また、照明光L2には、撮像部121の撮像波長帯の下限付近の光を用いてもよい。
画像取得部120は、蛍光L3または反射光L4を受光する。蛍光L3は、励起光L1により被写体200が放射した光である。反射光L4は、照明部110から照射された照明光L2を被写体200が反射した光である。画像取得部120は、所定の露出時間内に、照射タイミングに同期した露光タイミングで露光する。画像取得部120は、所定の露出時間内に受光した蛍光L3と反射光L4とから、蛍光の遅延時間画像、及び、距離画像を取得する。本開示では、画像取得部120はモノクロカメラ(可視光、及び、近赤外線を撮像するカメラ)として説明する。画像取得部120は、例えば、内部に入出力ポート、プログラムなどを実行、格納などするためのメモリ、プロセッサなどを備える。
撮像部121は、イメージセンサ及びレンズなどの光学系を有する。本実施の形態では、撮像部121は、走査型CMOSイメージセンサを有する。撮像部121は、撮像波長帯に含まれる、蛍光L3または反射光L4を撮像する。撮像部121は、露出時間内に、所定の露光タイミングで複数回露光動作を行い、画像を撮像する。撮像部121は撮像した画像をメモリ122に格納する。
メモリ122は、例えば、複数フレーム分の画像信号を記憶するように構成された画像信号用の記憶装置である、フレームメモリである。メモリ122は、例えば、DRAM等の高速動作が可能な半導体記憶素子で構成される。また、メモリ122は、制御部130の内部に設けるなど、画像取得部120の外部に設ける構成であってもよい。
蛍光検出部123は、撮像部121が蛍光L3と反射光L4を各々撮像した画像に基づき、励起光L1と照明光L2の往復遅延時間をそれぞれ算出する。蛍光検出部123は、励起光L1の往復遅延時間と、照明光L2の往復遅延時間とに基づき、遅延蛍光時間を算出する。蛍光検出部123は、算出された遅延蛍光時間に基づき、蛍光の遅延時間画像を生成する。
測距部124は、反射光L4を撮像した複数の画像から、TOF(Time Of Flight)方式を用いて、撮像部121から被写体200までの距離を推定する。測距部124は、推定された撮像部121から被写体200までの距離に基づき、被写体200の距離画像を生成する。距離画像はデプスマップ(Depth Map)とも呼ばれる。なお、反射光L4を撮像した複数の画像は、撮像部121が露出期間において撮像し、メモリ122に格納したものである。
制御部130は、例えば、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、入出力ポート、プログラムを実行するプロセッサなどを有する。制御部130は、照明部110が照射する光の選択や光の照射タイミング、撮像部121の露光タイミング、露出期間の長さである露出時間などを制御する。また、制御部130は、蛍光検出部123と測距部124の動作も制御する。
[1−2.動作]
以上のように構成された撮像装置について、図2を用いてその動作(撮像方法)を説明する。図2は、実施の形態1にかかる撮像装置100の動作を説明するフローチャートである。
(ステップS201)
制御部130は、照射タイミング信号を用いて、照明部110が所定のタイミングで被写体200に励起光L1を照射するよう制御する。照明部110は、照射タイミング信号に従って、被写体200に励起光L1を照射する。本開示では、照明部110は励起光L1として、紫外線を用いる。
(ステップS202)
制御部130は、撮像部121の露光動作を、照射タイミング信号に同期させた露光タイミング信号を用いて制御する。制御部130は、露光タイミング信号を撮像部121に出力する。撮像部121は露光タイミング信号に従って、露光動作を行う。本開示においては、制御部130は、2種類の露光タイミング信号を撮像部121に出力する。すなわち、撮像部121は、照明部110の照射タイミング信号に同期して2種類の露光を行い、蛍光L3を撮像する。
励起光照射時の撮像装置100の動作を、図3を用いて説明する。図3は、実施の形態1にかかる撮像装置100の励起光照射時の動作を説明する図である。
図3は、時刻t0から時刻tnまでの露出期間における撮像装置100の動作を示す。
図3に示す励起光の照射タイミング信号は、照明部110が励起光を照射するタイミングを制御するための照射タイミング信号を示す。励起光の照射タイミング信号がONの場合は照射状態、OFFの場合は非照射状態を示す。図3に示す蛍光の受光強度変化は、励起光L1により被写体200が放射する蛍光L3について、撮像部121に入射する蛍光L3の強度の時間変化を示す。図3は撮像部121の2種類の露光タイミングを制御するための、第1の露光タイミング信号、及び、第2の露光タイミング信号を示している。図3において、第1の露光タイミング信号、及び、第2の露光タイミング信号は、ONが撮像部121の露光状態を示し、OFFが非露光状態を示す。図3に示す第1の露光タイミングの画像は、第1の露光タイミング信号に従って撮像した画像を示す模式図である。図3に示す第2の露光タイミングの画像は、第2の露光タイミング信号に従って撮像した画像を示す模式図である。
図3の励起光の照射タイミング信号に示すように、照明部110は、露出期間において、所定時間d1毎に、励起光L1の照射と非照射の動作を繰り返す。このように、本開示では、蛍光の遅延時間画像、及び、距離画像を1回(1フレーム)撮像するために、励起光を複数回照射する。
図3に示すように、撮像部121は、励起光L1により被写体200に発生した蛍光L3を受光する。撮像部121の蛍光L3の受光タイミングは、照明部110の照射タイミングに対して、被写体200までの光の往復遅延時間(第1の遅延時間)と、励起光L1に反応して被写体200に発生する遅延蛍光の発生時間(遅延蛍光時間)とを合わせた時間だけ遅れる。図3の例では、受光タイミングは、照射タイミングより時間d2だけ遅延している。ここで、第2の遅延時間(第1の遅延時間+遅延蛍光時間)d2を検出するために、本開示の撮像部121は、時間変調させた2種類の露光タイミング信号に応じて被写体200を撮像する。撮像部121は撮像した画像を、順次、メモリ122に格納する。
図3に示すように、第1及び第2の露光タイミング信号は、励起光の照射タイミング信号と同期している。第1の露光タイミング信号は照射タイミング信号と同位相の信号である。例えば、照明部110が照射している時刻t0〜時刻t1の期間においては、撮像部121は露光動作を行い、照明部110が励起光を照射していない時刻t1〜時刻t2の期間においては、撮像部121は露光動作を行わない。これに対して、第2の露光タイミング信号は、照射タイミング信号と逆位相の信号である。例えば、照明部110が励起光を照射している時刻t0〜t1の期間においては、露光動作を行わず、照明部110が照射していない時刻t1〜t2の期間においては、露光動作を行う。
図3に示すように、撮像部121は、第1の露光タイミング信号により露光している期間のうち蛍光L3を受光している期間は、露光を開始して時間d2経過後から露光終了時間までの間である。撮像部121が1回の露光を完了すると、メモリ122に1枚の画像が格納される。
同様に、図3に示すように、撮像部121は、第2の露光タイミング信号による露光では、露光開始時から蛍光L3を受光している。撮像部121が、1回の露光を完了すると、メモリ122に一枚の画像が格納される。この場合、第2の露光タイミング信号による露光は、第1の露光タイミング信号による露光で受光できなかった蛍光L3を受光し、撮像する。すなわち、2つの露光により、1回照射された励起光L1に反応して発生した蛍光L3を漏れなく受光することが可能となる。
また、例えば、被写体200が撮像装置100の近くにある場合は、第1の遅延時間が短いので、第1の露光タイミング信号による露光で蛍光L3を撮像できる可能性が高くなる。これに対して、被写体200が撮像装置100より離れた位置にある場合は、第1の遅延時間が長くなるので、第2の露光タイミング信号による露光で蛍光L3を撮像できる可能性が高くなる。このように、1回の照射に対して、2回露光を行うことで、いずれか一方、または両方の露光で、蛍光L3を撮像することが可能となる。
撮像部121は、露出期間において、第1の露光タイミングに対応する画像と第2の露光タイミングに対応する画像とを、それぞれ、露光の回数だけ取得する。撮像部121は、第1の露光タイミングで撮像した複数の画像から画像A1を取得する。また、撮像部121は、第2の露光タイミングで撮像した複数の画像から画像A2を取得する。
このように、露出期間の間に、励起光を照射し、露光することを複数回繰り返す。励起光により被写体200が放射する蛍光L3は一般的に強度が低い。蛍光L3の強度が低いため、蛍光L3を撮像した画像のノイズが問題となりうる。そこで、蛍光L3を撮像した複数の画像を足し合わせることにより、SN比を改善することができる。これにより、撮像部121において受光される蛍光L3の強度をより正確に推定できる。なお、第1の露光タイミングで撮像した複数の画像のすべてをメモリ122に記憶する必要はない。例えば、メモリ122に記憶された1つの画像に、新たに撮像された画像を演算により足し合わせてもよい。第2の露光タイミングで撮像した複数の画像についても同様である。
(ステップS203)
制御部130は、撮像部121が撮像開始後、露出時間経過したかどうかを判断する。制御部130は、タイマーや露光タイミング信号の矩形数のカウントなどにより撮像時間を算出する。制御部130は、撮像時間が露出時間に達していないと判断した場合は、ステップS201に戻る。制御部130は、撮像時間が露出時間に達していると判断した場合は、ステップS204に進む。
(ステップS204)
制御部130は、撮像部121が撮像した画像の画素毎に、第2の遅延時間を算出する。第2の遅延時間は、照明変調の1周期の範囲で考える。図3においては、例えば、照明変調の1周期は時刻t0〜t1の時間d1を指す。図3の第2の遅延時間d2は、ステップS202で得た位相の異なる第1の露光タイミングにおける露光量(露光中に撮像部121が受光した光の量)と第2の露光タイミングの露光量の違いに対応付けられる。例えば、第2の遅延時間d2が、時間d1/2の場合、第1の露光タイミングにおける露光量と第2の露光タイミングにおける露光量の差は0になる。また、このとき第1の露光タイミング露光量と第2の露光タイミングの露光量の比は1になる。このように、時間d1と第2の遅延時間d2との比は、第1の露光タイミングにおける露光量と第2の露光タイミングにおける露光量との比から推定できる。第1の露光タイミングにおける露光量と第2の露光タイミングにおける露光量の差または比と、第2の遅延時間d2との関係を予め求めておき、露光結果から第2の遅延時間d2を求めることができる。なお、第1の露光タイミングにおける露光量と第2の露光タイミングにおける露光量との差に基づき第2の遅延時間d2を求める場合、露光量の差は被写体との距離にも依存する。そこで、第1の露光タイミングにおける露光量と第2の露光タイミングにおける露光量の和で正規化するなどしてから第2の遅延時間d2と対応付ける。
(ステップS205)
制御部130は、照明光の照射タイミング信号を用いて、照明部110が所定のタイミングで被写体200に照明光L2を照射するよう制御する。照明部110は、照明光の照射タイミング信号に従って、被写体200に照明光L2を照射する。本開示では、照明部110は照明光L2として、近赤外線の照明を用いる。
(ステップS206)
制御部130は、撮像部121の露光動作を、照射タイミング信号に同期させた露光タイミング信号を用いて制御する。制御部130は、露光タイミング信号を撮像部121に出力する。撮像部121は露光タイミング信号に従って、露光動作を行う。本開示においては、制御部130は、2種類の露光タイミング信号を撮像部121に出力する。すなわち、撮像部121は、照明部110の照射タイミング信号に同期して2種類の露光を行い、反射光L4を撮像する。
照明光照射時の撮像装置100の動作を、図4を用いて説明する。図4は、実施の形態1にかかる撮像装置100の照明光照射時の動作を説明する図である。図4は、時刻t0から時刻tnまでの露出期間における撮像装置100の動作を示す。
図4の照明光の照射タイミング信号は、照明部110が照明光を照射するタイミングを制御するための照射タイミング信号を示す。照明光の照射タイミング信号がONの場合は照射状態、OFFの場合は非照射状態を示す。反射光の受光強度変化は、照明光L2を被写体200が反射した反射光L4について、撮像部121に入射する反射光L4の強度の時間変化を示す。図4は、撮像部121の2種類の露光タイミングを制御するための、第1の露光タイミング信号、及び、第2の露光タイミング信号を示している。図4において、第1の露光タイミング信号、及び、第2の露光タイミング信号は、ONが撮像部121の露光状態を示し、OFFが非露光状態を示す。図4に示す第1の露光タイミングの画像は、第1の露光タイミング信号に従って撮像した画像を示す模式図である。図4に示す第2の露光タイミングの画像は、第2の露光タイミング信号に従って撮像した画像を示す模式図である。
図4の照明光の照射タイミング信号に示すように、照明部110は、露出期間において、所定時間d3毎に、照射と非照射の動作を繰り返す。このように、本開示では、距離画像を1回(1フレーム)撮像するために、照明光を複数回照射する。なお、励起光照射時の露出時間と照明光照射時の露出時間は同じである必要はない。励起光L1と照明光L2では、照明強度や撮像部121の感度が異なるため、露出時間は異なってもよい。また、複数の励起光を用いる場合も同様に、励起光毎に、露出時間を変更してもよい。
図4に示すように、撮像部121は、照明光L2を被写体200が反射した反射光L4を受光する。撮像部121の反射光L4の受光タイミングは、照明部110の照射タイミングに対して、被写体200までの光の往復遅延時間(第1の遅延時間)だけ遅れる。図4の例では、受光タイミングは、照射タイミングより時間d4だけ遅延する。ここで、第1の遅延時間d4を検出するために、本開示の撮像部121は、時間変調させた2種類の露光タイミング信号に応じて被写体200を撮像する。撮像部121は撮像した画像を、順次、メモリ122に格納する。
図4に示すように、第1及び第2の露光タイミング信号は、照明光の照射タイミング信号と同期している。第1の露光タイミング信号は、照射タイミング信号と同位相の信号である。これに対して、第2の露光タイミング信号は、照射タイミング信号と逆位相の信号である。第1及び第2の露光タイミング信号は、図3の第1及び第2の露光タイミング信号と同様であるので、説明を省略する。
図4に示すように、撮像部121は、第1の露光タイミング信号により露光している期間のうち反射光L4を受光している期間は、露光を開始して時間d4経過後から露光終了時間までの間である。撮像部121が1回の露光を完了すると、メモリ122に1枚の画像が格納される。
同様に、図4に示すように、撮像部121は、第2の露光タイミング信号による露光では、露光開始時から反射光L4を受光している。撮像部121が1回の露光を完了すると、メモリ122に一枚の画像が格納される。第2の露光タイミング信号による露光は、第1の露光タイミング信号による露光とは逆のタイミングで受光した反射光L4を撮像する。すなわち、2つの露光により、1回照射された照明光L2を反射した反射光L4を漏れなく受光することが可能となる。照明光L2を照射した場合も、励起光L1を照射した場合と同様に、撮像装置100と被写体200の位置関係により、第1の露光タイミング信号による露光か、第2の露光タイミング信号による露光のいずれか、又は両方で、反射光L4を撮像することが可能となる。
撮像部121は、露出期間において、第1の露光タイミングに対応する画像と、第2の露光タイミングに対応する画像とを、それぞれ、露光の回数だけ取得する。撮像部121は、第1の露光タイミングで撮像した複数の画像から画像B1を取得する。また、撮像部121は、第2の露光タイミングで撮像した複数の画像から画像B2を取得する。なお、通常の撮影画像は、画像B1と画像B2を用いて生成できる。
このように、露出期間の間に、照明光を照射し、露光することを複数回繰り返す。複数回の照明と露光を行うことで、蛍光L3を撮像するときと同様に、反射光L4の撮像におけるSN比を向上させることができる。これにより、撮像部121において反射光L4の強度をより正確に推定できる。
(ステップS207)
制御部130は、撮像部121が撮像開始後、露出時間経過したかどうかを判断する。制御部130は、タイマーや露光タイミング信号の矩形数のカウントなどにより撮像時間を算出する。制御部130は、撮像時間が露出時間に達していないと判断した場合は、ステップS205に戻る。制御部130は、撮像時間が露出時間に達していると判断した場合は、ステップS208に進む。
(ステップS208)
ステップS204と同様の手順で、制御部130は、撮像部121が撮像した画像の画素毎に、第1の遅延時間d4を算出する。ステップS204と同様に、第1の露光タイミングにおける露光量と第2の露光タイミングにおける露光量の差または比と、第1の遅延時間d4との関係を予め求めておき、露光結果から第1の遅延時間d4を求めてもよい。
(ステップS209)
制御部130は、ステップS204で求めた第2の遅延時間d2と、ステップS208で求めた第1の遅延時間d4から、被写体200の距離画像と蛍光の遅延時間画像を取得する。具体的には、制御部130は、測距部124を制御して、第1の遅延時間d4に基づき、距離画像を生成する。測距部124は、画素毎に被写体200までの距離D(m)を算出し、距離画像を生成する。距離Dは、D=(d4/2)×光速で算出する。ここで、光速は、299,792,458(m/s)とする。
また、制御部130は、蛍光検出部123を制御して、画素毎に算出した第1の遅延時間d4と、第2の遅延時間d2とに基づき、蛍光の遅延時間画像を生成する。蛍光検出部123は、画素毎に遅延蛍光時間τを算出し、蛍光の遅延時間画像を生成する。遅延蛍光時間τは、τ=d2―d4により算出する。生成された距離画像と蛍光の遅延時間画像はメモリ122に格納される。
以上が、一回の露出期間(1フレーム)に対する撮像装置100の動作である。なお、必要に応じて、ステップS201〜ステップS209の動作を繰り返してもよい。複数回動作を繰り返すことで、距離画像や蛍光の遅延時間画像を、動画像として取得することができる。
以下、図5〜7を用いて、本実施の形態の具体例を説明する。図5は、被写体の一例を説明する図である。図6は、蛍光の遅延時間画像の一例を説明する図である。図7は、距離画像の一例を説明する図である。
図5は、撮像装置100が撮像する被写体の一例である。3つ被写体501〜503は、各々撮像装置100からの距離や遅延蛍光時間が異なっているとする。
図6は、被写体501〜503を実施の形態1の撮像方法で撮像して取得した蛍光の遅延時間画像600を示す。矩形601〜603は各々被写体501〜503に対応する蛍光の遅延時間画像である。図6において、点線の矩形603は、被写体503には励起光L1によっては蛍光を発生しなかったことを示す。矩形601、矩形602は、被写体501、被写体502が蛍光を発生させたことを示し、被写体501の方が、遅延蛍光時間が長かったことを示す。
図7は、被写体501〜503を実施の形態1の撮像方法で撮像して取得した距離画像700を示す。矩形701〜703は各々被写体501〜503に対応する蛍光の遅延時間画像である。図7は、被写体501が撮像装置100から最も遠く、被写体503が撮像装置100から最も近いことを示す。
図6、7より、例えば、被写体503は撮像装置100に一番近い位置にあるが、励起光L1によって蛍光を発生させる蛍光物質は含んでいないことが分かる。また、被写体501は撮像装置100に一番遠い位置にあるが、励起光L1によって蛍光を発生させることと、被写体501の遅延蛍光時間が分かる。
[1−3.効果等]
以上のように、本実施の形態において、撮像装置100は、照明部110と、画像取得部120とを備える。照明部110は、被写体200に少なくとも1つの励起光L1と、照明光L2とを照射する。画像取得部120は、励起光L1により被写体200が発生した少なくとも1つの蛍光L3と、被写体200が照明光L2を反射した反射光L4とを撮像する。画像取得部120は、さらに、蛍光L3の遅延時間と反射光L4の遅延時間とから生成した少なくとも1つの蛍光の遅延時間画像を取得する。画像取得部120は、反射光L4の遅延時間から生成した距離画像を取得する。
これにより、被写体200に対する励起光L1の往復遅延時間d2と照明光L2の往復遅延時間d4を算出することができる。
従って、励起光L1に対する蛍光L3の往復遅延時間と、照明光L2に対する反射光L4の往復遅延時間との算出の処理を共通とすることができる。さらに、2種類の波長の光を照射することにより、高速に遅延蛍光時間τを測定することができる。また、機械的な切り替え機構を必要としないため、簡単な構成で実現できる。さらに、反射光L4の往復遅延時間から、撮像装置100から被写体200までの距離Dを得ることが出来る。遅延蛍光時間は物質固有の特性であり、離れた位置から被写体を構成する物質固有の特性を計測できるという効果がある。これにより、蛍光の遅延時間画像により、被写体200の識別が容易となる。
同様にカラーカメラを用いて撮像部121を構成することで、遅延蛍光時間に加えて蛍光スペクトルの情報も得ることもできる。蛍光スペクトルの画像は、図3における画像A1、A2より生成できる。この場合、被写体を構成する物質固有の特性として遅延蛍光時間と蛍光スペクトルの双方が得られることから、物体認識や状態認識などにも有効である。
(実施の形態2)
以下、図8、9を用いて、実施の形態2を説明する。
[2−1.構成]
実施の形態2における撮像装置100の具体的な構成は実施の形態1と同じであるが、動作が異なるので、動作のみを説明する。
実施の形態2の撮像装置100において、照明部110は、露出期間に励起光と照明光を選択的に照射する。実施の形態2では、1種類の励起光と照明光を用いる場合を一例として説明する。実施の形態2の制御部130は、2つの照射タイミング信号と4つの露光タイミング信号を用いて、照明部110と撮像部121を制御する。
図8は、実施の形態2にかかる撮像装置100の動作(撮像方法)を説明するフローチャートである。図9は実施の形態2にかかる撮像装置100の動作を説明する図である。
図9は露出時間における照明部110、撮像部121を制御するタイミング信号の一例を示す。図9は、第1の照射タイミング信号、第2の照射タイミング信号、撮像部121の受光強度変化のタイミング、第1の露光タイミング信号、第2の露光タイミング信号、第3の露光タイミング信号、第4の露光タイミング信号を示す。なお、受光強度変化のタイミングは、撮像部121に入射する蛍光L3や反射光L4の強度が変化するタイミングを示している。撮像部121に実際に入射する光の強度や波形は、蛍光L3と反射光L4とで異なるが、図9においては、光の強度が変化するタイミングに着目して模式的に表している。
[2−2.動作]
(ステップS801)
制御部130は、照射タイミング信号を用いて、照明部110を制御する。照明部110は、照射タイミング信号に基づき、被写体200に露出期間内に励起光L1と照明光L2を選択的に照射する。実施の形態2では、制御部130は2つの照射タイミング信号を用いて、1種類の励起光と、照明光とを制御する。照明部110は、2つの照射タイミング信号に基づき、露出期間に励起光L1と照明光L2を交互に照射する。図9に示すように、照明部110は第1の照射タイミング信号に従って、時刻t0から時刻t1まで被写体200に励起光L1を照射する。次に、照明部110は第2の照射タイミング信号に従って、時刻t2から時刻t3まで照明光L2を被写体200に照射する。次に、照明部110は第1の照射タイミング信号に従って、時刻t4から励起光L1を被写体200に照射する。このように、照明部110は2つの照射タイミング信号に従って、励起光L1と照明光L2の照射を交互に繰り返す。
(ステップS802)
制御部130は、4つの露光タイミング信号を用いて、撮像部121の露光動作を制御する。図9に示すように、撮像装置100は、被写体200からの蛍光L3と反射光L4を交互に受光する。
撮像部121は、照射タイミング信号毎に、照射タイミング信号に同期し、位相が異なる2つの露光タイミング信号に応じて4種類の露光を行う。これは、励起光L1に対する蛍光L3の遅延と、照明光L2に対する反射光L4の遅延が異なるためである。
第1および第2の露光タイミング信号は、第1の照射タイミング信号で照射した励起光L1に対応する蛍光L3を撮像する。この動作は、実施の形態1のステップS202と同様である。
第3および第4の露光タイミング信号は、第2の照射タイミング信号で照射した照明光L2を反射した反射光L4を撮像する。この動作は、実施の形態1のS206と同様である。
(ステップS803)
制御部130は、撮像部121が撮像開始後、露出時間だけ時間が経過したかどうかを判断する。制御部130は、タイマーや露光タイミング信号の矩形数のカウントなどにより撮像時間を算出する。制御部130は、撮像時間が露出時間に達していると判断した場合は、ステップS804へ進み、露出時間に達していないと判断した場合は、ステップS801に戻る。
(ステップS804)
制御部130は、蛍光L3の第2の遅延時間p1を画素ごとに算出する。第2の遅延時間p1は、照明変調の1周期の範囲(ここでは、時刻t0〜t1の時間)で考える。また、第2の遅延時間p1は、第1の露光タイミングにおける露光量と第2の露光タイミングにおける露光量とから推定される。例えば、第1の露光量と第2の露光量の差や比率と、第2の遅延時間p1との関係を予め求めておき、露光結果から第2の遅延時間p1を求めてもよい。
(ステップS805)
制御部130は、反射光L4の第1の遅延時間p2を画素ごとに算出する。第1の遅延時間p2は、照明変調の1周期の範囲(ここでは、時刻t2〜t3の時間)で考える。また、第1の遅延時間p2は、第3の露光タイミングにおける露光量と第4の露光タイミングにおける露光量とから推定される。例えば、第3の露光量と第4の露光量の差や比率と、第1の遅延時間p2との関係を予め求めておき、露光結果から第1の遅延時間p2を求める。
(ステップS806)
ステップS209と同等の手続きで、制御部130は、蛍光検出部123と測距部124とを用いて、距離画像と蛍光の遅延時間画像を生成する。蛍光検出部123は、第1の遅延時間p2と第2の遅延時間p1を用いて、蛍光の遅延時間画像を生成する。測距部124は、第1の遅延時間p2を用いて距離画像を生成する。生成された距離画像と蛍光の遅延時間画像とは、メモリ122に格納される。
以上が、一回の露出期間(1フレーム)に対する処理が完了するまでのステップである。必要に応じて、ステップS801〜ステップS806を繰り返すことで、距離画像や蛍光の遅延時間画像を動画像として得ることができる。
[2−3.効果等]
以上のように、本実施の形態2の撮像装置100において、照明部110は所定の露出時間内に励起光L1と照明光L2を選択的に照射する。また、画像取得部120は、蛍光L3および反射光L4を各々2つの露光タイミングで撮像する。
これにより、一回の露出時間で、被写体200に対する励起光L1の往復遅延時間d2と照明光L2の往復遅延時間d4を算出することができる。
従って、蛍光の遅延時間画像と距離画像を同じタイミングで取得することができる。特に、被写体200が移動している場合など、各画素における蛍光L3や反射光L4の大きさが時間変化するため、蛍光L3と反射光L4を異なるタイミングで取得することにより、誤差が大きくなる恐れがある。これは、蛍光L3と反射光L4の遅延時間の差が影響する蛍光L3においてより顕著である。実施の形態2の撮像装置100は、ほぼ同じタイミングに蛍光L3と反射光L4を撮像する。ほぼ同じタイミングに撮像された蛍光L3と反射光L4に基づき、蛍光の遅延時間画像と距離画像を取得することにより、被写体200の移動等による影響を抑えることができる。
(他の実施の形態)
以上のように、本出願において開示する技術の例示として、実施の形態1〜2を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態1〜2で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下、他の実施の形態を例示する。
本開示では、第1の露光タイミング信号と第2の露光タイミング信号とは、ONするタイミングが異なっていればよい。第1の露光タイミング信号と第2の露光タイミング信号とは、照射タイミング信号に対して、同位相の信号または逆位相の信号でも構わない。例えば、1つの露光タイミング信号は、照射タイミング信号を逆位相とし、他の露光タイミング信号は、照射タイミング信号に対して、例えば、1/4周期だけずれていてもよい。また、照射タイミング信号に同期しつつ、周期がより短い露光タイミング信号の組み合わせでも以下同様の手順を行うことができる。例えば、周期の長さを2倍とし、4種類の露光タイミング信号で露光動作を行ってもよい。これは、実施の形態2における第3の露光タイミング信号と第4の露光タイミング信号の関係も同様である。なお、上記撮像では、必要に応じて照明による反射光の影響を低減するため、紫外線カットフィルタ(光学フィルタ)を通じて撮像することが望ましい。
本開示では照明部110の発光強度の変化を矩形として説明したが、他の変調波形でも同様の効果を得ることができる。図10は、照射タイミング信号の他の一例を説明する図である。照射タイミング信号は、例えば、図10に示すように発光強度の波形が三角関数のような形状でもよい。図10は、照射タイミング信号、受光強度変化のタイミング、第1の露光タイミング信号、第2の露光タイミング信号を示している。照射タイミング信号は、照明部110が照明光L2を照射するタイミングを制御するための信号である。受光強度変化のタイミングは、撮像部121が受光する反射光L4の強度の時間変化を示したものである。なお、反射光L4は、照明部110が照射した照明光L2に対する被写体200からの反射光である。図10において、照射タイミング信号の高低は、照明光L2の強度を表す。また、図10に示す、第1の露光タイミング信号、及び、第2の露光タイミング信号において、矩形の上辺は露光状態、下辺は非露光状態を示す。
本開示では、時間位相の異なる2種類の露光タイミング信号の差や比に対応付けて、反射光について第1の遅延時間を、蛍光について第2の遅延時間を求めたが、他の方法によって遅延時間を求めても良い。
図11を用いて遅延時間を求める他の方法を説明する。図11は、照射タイミング信号、受光強度変化のタイミング、カウンタのタイミングを示す。照射タイミング信号は、照明部110が照明光L2や励起光L1を照射するタイミングを示す。受光強度変化のタイミングは、撮像部121が受光する反射光L4または蛍光L3の強度が変化するタイミングを模式的に示す。カウンタのタイミングは、遅延時間をカウントするためのカウンタ信号が変化するタイミングを示す。ここで、カウンタ信号のカウント周期は、発光周期や遅延時間に対して充分に短く設定する。撮像部121は、カウンタ信号が、ON状態のみ、OFF状態のみ、または、ON状態とOFF状態の両方で露光する。遅延時間の計測においては、露光量が予め定めた量を超えるまでのカウント数を遅延時間とする。例えば、図11の場合は、時刻t0から受光量を計測し、時刻t4時点で受光量が予め定めた量を越えたとする。この場合、遅延時間はカウンタの2周期分の時間s1となる。各照明に対する遅延時間が求まった後は実施の形態1、2と同様の手順で蛍光画像と距離画像を得ることが出来る。なお、カウンタ式以外にも時間計測可能な回路に置き換えてもよい。
また、本開示では、励起光は1種類で説明したが、2種類以上の励起光(短波長照明)を切り替えて用いてもよい。この場合、励起光の種類に応じて、異なる照射タイミング信号を用いてもよい。励起光毎に、励起光が1種類の場合と同様の動作を行い、蛍光の遅延時間画像を取得する。これにより、被写体の中に異なる複数の蛍光物質が存在する場合、異なる複数の照明を用いることで、いずれかの照明により効果的に蛍光発光を得られる可能性が高まる。
また、実施の形態1において励起光と照明光は異なるタイミングで照射したが、同じタイミング(逆位相でも可)で照射してもよい。この場合、撮像部121において、被写体から得られる蛍光と反射光を光学的に分離(波長分離)して取得することで蛍光の遅延時間画像と距離画像を取得してもよい。例えば、ベイヤー配列カメラのようなカラーカメラのカラーフィルタの一部に、蛍光波長帯をカットして近赤外光を透過するフィルタを設けることで実現できる。この構成においては、RGBフィルタを通じた光が入射する画素から蛍光の遅延時間を取得する。さらに、可視光を遮断する近赤外線フィルタを通じた光が入射する画素から反射光の遅延時間を取得する。蛍光の遅延時間と反射光の遅延時間とから、蛍光の遅延時間画像、及び、距離画像を取得する。ここで、撮像部は、ベイヤー配列カラーカメラを用いる以外に、ダイクロイックミラーやダイクロイックプリズムを用いた複数撮像素子で構成にしてもよい。この構成では、1フレームの露出中に図3のような2種類の露光タイミング信号を用いるだけで蛍光の遅延時間画像と距離画像を同時に取得することができる。
また、本開示では、撮像部121の画像を2次元画像で説明したが、1次元(ライン画像)や1画素のみの場合でも適用し、同様の効果を得ることが出来る。
また、本実施の形態の撮像部121は、モノクロカメラを想定して説明したが、カラーカメラやマルチバンドカメラで撮像しても同様の効果を得ることが出来る。この場合、ステップS202では、カラーカメラの波長バンド数に応じた蛍光スペクトル撮像が可能となる。これにより、被写体200の蛍光の遅延時間画像と蛍光スペクトル画像と距離画像の3通りの情報を取得することができる。なお、蛍光スペクトル画像とは、複数の波長帯について、被写体200が放射する蛍光のその波長帯における強度を示したものである。蛍光スペクトル画像を取得できることにより、複数の被写体200の蛍光の遅延時間が同等であっても、蛍光スペクトル画像により区別できる可能性がある。すなわち、蛍光スペクトル画像を取得できることにより、撮像装置100の識別能力を向上させることができる。
また、本開示では複数の露光後に、露光回数分の画像を取得するとしたが、露光毎に同一メモリに加算蓄積を行い、複数の露光後に1枚の画像を取得するようにしてもよい。
図12を用いて、励起光L1、照明光L2の波長と、撮像部121の撮像波長帯の関係について説明する。図12の横軸は、光の波長を示している。横軸の右側が短波長側であり、左側が長波長側である。図12の縦軸は、光の強度を示している。可視光は、目で視認可能な波長帯を示している。撮像波長帯は、撮像部121が撮像可能な波長帯を示している。
照明部110が励起光L1を被写体200に照射すると、被写体200は、蛍光L3を放射するとともに、励起光L1を反射した反射光L5を出射する。反射光L5の波長は、励起光L1の波長と同じである。被写体200の励起光L1の波長における反射率によるが、一般的に反射光L5の強度は、蛍光L3の強度よりも強い。照明部110が照明光L2を被写体に照射すると、被写体200は、照明光L2を反射した反射光L4を出射する。反射光L4の波長は、照明光L2の波長と同じである。被写体200は、照明光L2により蛍光L6を放射するが、蛍光L6は、反射光L4よりも波長が長く、一般的には反射光L4よりも強度が弱い。
本開示の実施の形態1および実施の形態2においては、撮像部121(画像取得部)は、撮像波長帯の光を撮像する。撮像波長帯は、撮像部121に用いるイメージセンサやフィルタの特性によって限定された波長帯である。照明光L2の波長は、撮像波長帯に含まれるように設定される。励起光L1の波長は、撮像波長帯に含まれず、撮像波長帯より短い波長であることが望ましい。これにより、撮像部121は、蛍光L3と反射光L5とのうち、蛍光L3のみを撮像できる。一般に反射光L5の強度は蛍光L3の強度より強いため、蛍光L3の遅延時間を計測するときに、無視できないノイズとなる恐れがある。励起光L1の波長が撮像波長帯より短いことにより、撮像部121は、撮像波長帯に含まれる蛍光L3の遅延時間を、より正確に計測することができる。
ここで、撮像部121は、撮像波長帯を限定するためのフィルタを有してもよい。図12の撮像波長帯の破線部のように、撮像波長帯が励起光L1の波長を含む場合、反射光L5がノイズとなり、蛍光L3の遅延時間を正確に計測できない恐れがある。撮像部121に、励起光L1の波長を遮断するフィルタを用いることにより、撮像部121は、撮像波長帯に含まれる蛍光L3の遅延時間を、より正確に計測することができる。
なお、撮像部121にカラーフィルタを用いて撮像する場合、撮像部121の撮像波長帯は、カラーフィルタにより限定される。カラーフィルタがRGBフィルタである場合、撮像部121は、RGBフィルタのそれぞれの色に対応した複数の撮像波長帯を有する。励起光L1により励起される蛍光L3は、被写体200を構成する物質に依存して、様々な波長をとり得る。撮像部121は、複数の異なる撮像波長帯を有することにより、波長の異なる複数の蛍光L3を識別できる場合がある。このように、撮像部121は、複数の撮像波長帯を有することにより、蛍光の遅延時間画像とともに蛍光スペクトルを取得できるように構成することができる。
本開示の撮像装置100は、励起光L1として紫外線を用い、さらに、照明光L2として赤外線を用いることが望ましい。特に、照明光L2の波長は、目に視認されにくく、イメージセンサの感度は比較的高い、近赤外線であることが望ましい。照明光L2の波長は、具体的には、780nm以上であることが望ましい。これにより、図12に示すように、照明光L2、反射光L4、照明光L2により励起される蛍光L6を可視光の帯域に含まれないようにできる。これにより、撮像装置100による撮像を視認されにくくすることができる。また、励起光L1として紫外線を用いることにより、励起光L1、反射光L5を可視光の帯域に含まれないようにできる。なお、励起光L1は、撮像部121の撮像波長帯に含まれていないため、反射光L5を用いて遅延時間を計測することは難しい。励起光と異なる波長の照明光L2を用いることにより、撮像部121が単一の撮像波長帯だけを有する場合であっても、反射光の遅延時間を計測することができる。すなわち、撮像部121の撮像波長帯が励起光L1の波長を含まず、かつ、照明光L2の波長が可視光の波長より長いことにより、撮像時に視認されにくくすることができる。
ここで、励起光L1が励起する蛍光L3の波長は、可視光の帯域に含まれる場合が多い。しかしながら、撮像部121が蛍光L3を高い感度で撮像することにより、蛍光L3の強度が弱くても、蛍光の遅延時間画像を取得できる。この場合、励起光L1の照射強度を抑えることにより、蛍光L3を視認されにくくすることができる。照明部110は、励起光L1または照明光L2を所定の照射タイミングで照射し、撮像部121は、照射タイミングに同期した露光タイミングに露光することを所定の露出時間の間繰り返す。これにより、SN比を高くすることができ、蛍光L3を高い感度で撮像することができる。また、撮像部121は、照明部110が励起光L1を照射しているときと、照明光L2を照射しているときとで、所定の露出時間を変更してもよい。これにより、特に蛍光L3に対する撮像部121の感度を高くすることができる。
なお、撮像部121は、励起光L1を蛍光L3の遅延時間以上の長さ照射して撮像した画像と、励起光L1を照射せずに撮像したときの画像との差から、被写体200が放射する蛍光L3の強度を推定してもよい。
また、本開示の撮像装置において、各機能構成要素(機能ブロック)は、IC(Integrated Circuit)、LSI(Large Scale Integration)等の半導体装置により個別に1チップ化されてもよいし、一部又は全部を含むように1チップ化されてもよい。また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
また、上述した各種処理(例えば、図2、図8に示す手順)の全部又は一部は、電子回路等のハードウェアにより実現されても、ソフトウェアを用いて実現されてもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現してもよい。なお、ソフトウェアによる処理は、撮像装置に含まれるプロセッサがメモリに記憶された制御プログラムを実行することにより実現されるものである。加えて、上記実施の形態の各処理をソフトウェアで実現する場合に、処理の一部あるいは全体を別々のハードウェアで行ってもよい。
なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示は、撮像装置に適用可能である。具体的には、ロボットビジョンや監視カメラに、本開示は適用可能である。
100 撮像装置
110 照明部
120 画像取得部
121 撮像部
122 メモリ
123 蛍光検出部
124 測距部
130 制御部
200 被写体
600 蛍光の遅延時間画像
700 距離画像
L1 励起光
L2 照明光
L3 蛍光
L4 反射光

Claims (10)

  1. 被写体に少なくとも1つの励起光と照明光を照射する照明部と、
    前記励起光により前記被写体が放射する少なくとも1つの蛍光と、前記被写体が前記照明光を反射した反射光とを撮像し、前記励起光の入射から前記蛍光を放射するまでの遅延時間から生成した少なくとも1つの蛍光の遅延時間画像を取得する画像取得部とを備えた撮像装置。
  2. 前記照明部は、所定の長さの時間である、それぞれの露出時間において、
    前記励起光と前記照明光とのうちいずれかの光を所定の照射タイミングで照射し、
    前記画像取得部は、前記照射タイミングに同期した露光タイミングで前記反射光または前記蛍光を撮像する、
    請求項1記載の撮像装置。
  3. 前記画像取得部は、前記照明部が照射している光に応じて、前記露出時間を変更する、
    請求項2記載の撮像装置。
  4. 前記照明部は、所定の長さの時間である、それぞれの露出時間において、
    前記励起光と前記照明光とを所定の照射タイミングで照射し、
    前記画像取得部は、前記照射タイミングに同期した露光タイミングで前記反射光または前記蛍光を撮像し、
    前記励起光と、前記照明光とは、排他的に照射される、
    請求項1記載の撮像装置。
  5. 前記画像取得部は、前記励起光および前記反射光を各々2つの露光タイミングで撮像する、
    請求項2または請求項4記載の撮像装置。
  6. 前記画像取得部は、
    前記反射光の撮像画像において、画素毎に算出した前記照明光の往復遅延時間と、前記蛍光の撮像画像において、前記画素毎に算出した前記励起光の往復遅延時間とに基づき、前記画素毎の前記被写体の遅延蛍光時間を算出して、前記蛍光の遅延時間画像を取得する、
    請求項1記載の撮像装置。
  7. 前記画像取得部は、所定の波長帯である撮像波長帯の光を撮像し、
    前記照明光の波長は、前記画像取得部の前記撮像波長帯に含まれ、
    前記励起光の波長は、前記画像取得部の前記撮像波長帯より短い、
    請求項1〜3、5のいずれか1項に記載の撮像装置。
  8. 前記照明光は近赤外線であり、前記励起光は紫外線である、
    請求項7記載の撮像装置。
  9. 前記画像取得部は、前記蛍光を撮像して蛍光スペクトルの画像を取得する、
    請求項1記載の撮像装置。
  10. 被写体に少なくとも1つの励起光と照明光を照射し、前記被写体が前記照明光を反射した反射光と、前記励起光により前記被写体が放射する蛍光とを撮像し、前記少なくとも1つの蛍光の遅延時間画像を取得する撮像方法。
JP2017537204A 2015-08-28 2016-08-08 撮像装置および撮像方法 Active JP6409978B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015168578 2015-08-28
JP2015168578 2015-08-28
PCT/JP2016/003641 WO2017038015A1 (ja) 2015-08-28 2016-08-08 撮像装置および撮像方法

Publications (2)

Publication Number Publication Date
JPWO2017038015A1 JPWO2017038015A1 (ja) 2018-02-15
JP6409978B2 true JP6409978B2 (ja) 2018-10-24

Family

ID=58186809

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017537204A Active JP6409978B2 (ja) 2015-08-28 2016-08-08 撮像装置および撮像方法

Country Status (3)

Country Link
US (1) US9958388B2 (ja)
JP (1) JP6409978B2 (ja)
WO (1) WO2017038015A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3205257B1 (en) * 2016-02-15 2022-11-16 Leica Instruments (Singapore) Pte Ltd Illumination filter for an illumination filter system of a surgical multispectral fluorescence microscope having a spatial filter pattern
CN114827573A (zh) * 2018-03-20 2022-07-29 魔眼公司 调整相机曝光以用于三维深度感测和二维成像
DE112020001413T5 (de) * 2019-03-22 2021-12-16 Ams International Ag Flugzeit-entfernungs-rechner
EP4105707A4 (en) * 2020-03-19 2023-08-23 Sony Olympus Medical Solutions Inc. MEDICAL OBSERVATION SYSTEM, CONTROL DEVICE AND CONTROL METHOD

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2359637A1 (en) * 1999-01-26 2000-07-27 Stephen F. Fulghum, Jr. Autofluorescence imaging system for endoscopy
JP3309276B2 (ja) * 1999-03-17 2002-07-29 エーカポット・パンナチェート 蛍光電子内視鏡システム
IL152427A0 (en) * 2001-02-28 2003-05-29 Imaging Res Inc An imaging fluorometer for time resolved fluorescence
US6793723B2 (en) * 2001-05-10 2004-09-21 Pitney Bowes Inc. Homogeneous photosensitive optically variable ink compositions for ink jet printing
US6827769B2 (en) * 2001-05-10 2004-12-07 Pitney Bowes Inc. Photosensitive optically variable ink heterogeneous compositions for ink jet printing
US7890157B2 (en) * 2003-08-19 2011-02-15 Cedars-Sinai Medical Center Method for fluorescence lifetime imaging microscopy and spectroscopy
US20090131800A1 (en) * 2007-11-15 2009-05-21 Carestream Health, Inc. Multimodal imaging system for tissue imaging
US20110017915A1 (en) * 2009-07-23 2011-01-27 Palo Alto Research Center Incorporated Drift scanner for rare cell detection
US9235901B2 (en) 2009-10-14 2016-01-12 Carestream Health, Inc. Method for locating an interproximal tooth region
KR101172745B1 (ko) * 2010-01-29 2012-08-14 한국전기연구원 생체로부터 발생하는 다중 분광 광 영상 검출 및 광치료를 위한 복합 장치
JP2012016545A (ja) * 2010-07-09 2012-01-26 Fujifilm Corp 内視鏡装置
DE102011119608B4 (de) * 2011-11-29 2021-07-29 Karl Storz Se & Co. Kg Vorrichtung und Verfahren zur endoskopischen 3D-Datenerfassung
CA2877992A1 (en) * 2012-07-02 2014-01-09 Agricam Ab Camera housings, camera modules, and monitoring systems
JP5914242B2 (ja) 2012-08-08 2016-05-11 浜松ホトニクス株式会社 観察装置
US8724979B2 (en) * 2012-09-27 2014-05-13 Viewpoint Laboratories, LLC. Imaging enclosure apparatus and methods
JP6359819B2 (ja) * 2013-10-29 2018-07-18 浜松ホトニクス株式会社 蛍光イメージング装置
JP6633268B2 (ja) * 2014-09-03 2020-01-22 グローリー株式会社 センサモジュール及び紙葉類処理装置

Also Published As

Publication number Publication date
US20180067046A1 (en) 2018-03-08
JPWO2017038015A1 (ja) 2018-02-15
US9958388B2 (en) 2018-05-01
WO2017038015A1 (ja) 2017-03-09

Similar Documents

Publication Publication Date Title
JP6409978B2 (ja) 撮像装置および撮像方法
US10582178B2 (en) Systems and methods for active depth imager with background subtract
US8717417B2 (en) Three-dimensional mapping and imaging
KR20200123483A (ko) 3 차원 깊이 감지 및 2 차원 이미징을 위한 카메라 노출의 조정
EP2899583A2 (en) Periodic fringe imaging with structured pattern illumination and electronic rolling shutter detection
JPWO2017098725A1 (ja) 固体撮像装置、距離測定装置および距離測定方法
JP6467516B2 (ja) 距離画像取得装置付きプロジェクタ装置及びプロジェクション方法
JP2008046047A (ja) 距離画像作成方法及び距離画像センサ、及び撮影装置
US20170289468A1 (en) Image pickup apparatus including light source, image sensor, and control circuit
US20180196249A1 (en) Method for simultaneous capture of image data at multiple depths of a sample
JP2008032427A (ja) 距離画像作成方法及び距離画像センサ、及び撮影装置
US20160266347A1 (en) Imaging apparatus and method, and program
EP3227721B1 (en) Distance measuring device and method for determining a distance
JPWO2016133053A1 (ja) 距離画像計測装置
JP2001313958A (ja) 3次元画像入力装置
KR20160058607A (ko) 영상 처리 장치 및 영상 처리 방법
CN112740065B (zh) 成像装置、用于成像的方法和用于深度映射的方法
JP2012220479A (ja) 撮像対象物の境界検知装置および境界検知方法
JP2019135468A (ja) 擾乱光判別装置、擾乱光分離装置、擾乱光判別方法及び擾乱光分離方法
CN112213730B (zh) 三维测距方法和装置
JP6309489B2 (ja) 画像検出装置及び画像検出システム
JP7362670B2 (ja) 撮像装置組立体、3次元形状測定装置及び動き検出装置
US20230243937A1 (en) Optical detection device, optical distance measurement device, and non-transitory computer readable medium
WO2022004259A1 (ja) 画像処理装置および測距装置
JP2004325397A (ja) 測距装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171011

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180828

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180910

R151 Written notification of patent or utility model registration

Ref document number: 6409978

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151