JP2018207446A - 固体撮像素子,当該固体撮像素子を用いた観察装置,固体撮像素子の駆動方法及び駆動用プログラム - Google Patents
固体撮像素子,当該固体撮像素子を用いた観察装置,固体撮像素子の駆動方法及び駆動用プログラム Download PDFInfo
- Publication number
- JP2018207446A JP2018207446A JP2017114268A JP2017114268A JP2018207446A JP 2018207446 A JP2018207446 A JP 2018207446A JP 2017114268 A JP2017114268 A JP 2017114268A JP 2017114268 A JP2017114268 A JP 2017114268A JP 2018207446 A JP2018207446 A JP 2018207446A
- Authority
- JP
- Japan
- Prior art keywords
- light receiving
- receiving element
- unit
- solid
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 36
- 238000003384 imaging method Methods 0.000 claims description 147
- 238000005286 illumination Methods 0.000 claims description 134
- 230000003287 optical effect Effects 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 16
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000007405 data analysis Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 2
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 abstract description 57
- 238000003475 lamination Methods 0.000 abstract 1
- 230000004048 modification Effects 0.000 description 42
- 238000012986 modification Methods 0.000 description 42
- 238000006243 chemical reaction Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 11
- 239000000470 constituent Substances 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000593 degrading effect Effects 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
- G02B27/0938—Using specific optical elements
- G02B27/095—Refractive optical elements
- G02B27/0955—Lenses
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/533—Control of the integration time by using differing integration times for different sensor regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/705—Pixels for depth measurement, e.g. RGBZ
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Power Engineering (AREA)
- General Physics & Mathematics (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Electromagnetism (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Optics & Photonics (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Measurement Of Optical Distance (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
【課題】高画質な画像データを高速に取得するのと同時に観察対象物に関する距離データを取得し得る構造の固体撮像素子を提供することである。【解決手段】固体撮像素子11は、受光面に設けられたレンズ103と、レンズを介して対象物から入射する光を受光する第1の受光素子101と、第1の受光素子の下層に設けられレンズ及び第1の受光素子を介して対象物から入射する光を受光して対象物までの距離に関する情報を取得する第2の受光素子102とが積層構造を成して一単位の受光部100が形成されており、受光部が2次元に配列して形成されている。【選択図】図3
Description
この発明は、所望の対象物を観察する観察装置において適用される固体撮像素子,当該固体撮像素子を用いた観察装置,固体撮像素子の駆動方法及び駆動用プログラムに関するものである。
従来、撮像光学系及び固体撮像素子等を含む撮像ユニットを用いて所望の対象物を観察する観察装置については、種々の形態のものが実用化されている。例えば、近年においては、撮像ユニットを用いて培養器内の細胞等の試料を透過照明によって観察する観察装置等についての提案がなされており、また実用化されている。
この種の従来の観察装置は、例えば培養器内の細胞等の試料(観察対象物)の全体を自動的に走査する機能を備えるほか、当該試料(観察対象物)の所望の部位を任意に拡大観察する機能等を有して構成されている。
従来の観察装置を用いて所望の観察対象物の観察を行う場合、撮像ユニットは、撮像光学系によって観察対象物の光学像を形成し、この光学像を固体撮像素子の結像面上に結像させ、当該固体撮像素子が光電変換処理を行うことによって、上記観察対象物の画像データを生成する。
また、従来の観察装置における撮像ユニットにおいては、観察対象物の光学像を形成するのに際して自動焦点調節動作(以下、AF動作という)を行う。このAF動作は、例えば、撮像光学系を光軸に沿う方向へと移動させながら、固体撮像素子により取得される画像データに基づく画像の最大コントラストを検出して合焦状態を検出するいわゆるコントラスト検出方式のAF動作が一般に採用されている。
しかしながら、上記コントラスト検出方式のAF動作は、高精度な合焦結果を得ることができる一方、AF動作に時間がかかるという問題点がある。例えば、観察対象物全体を走査して撮像する場合、走査及び撮像の対象とする全エリアを分割し、各エリア毎にAF動作及び撮像動作を繰り返すことになる。したがって、観察対象物全体のAF動作及び撮像動作を完了するまでには膨大な時間がかかってしまうことになる。
一方、近年の観察装置においては、撮像ユニットに含まれる固体撮像素子を用いて取得することのできる情報としては、一般的な通常のカラー画像情報だけではなく、特殊光観察(例えば蛍光観察や赤外光観察等)の画像情報や、所望の観察対象物までの距離情報(距離データ等を同時に取得することができるようにした観察装置が、種々提案されている。
例えば、観察装置の撮像ユニットに含まれる固体撮像素子として、次に示すような形態の固体撮像素子を採用することによって、例えば距離データ等を取得するようにした観察装置が、例えば特開2016−52054号公報等によって提案されている。
上記特開2016−52054号公報等によって開示されている観察装置は、例えば、固体撮像素子の受光平面内に2次元配列(a two-dimensional array)の複数の受光素子のうち、一部を除く略全領域に位相差検出方式若しくは瞳分割方式の焦点検出が可能な受光素子を配置すると共に、一部の領域には、TOF(Time Of Flight)方式の距離画像センサー(ダイレクトに距離データを取得し得る素子)を配置する形態の固体撮像素子を採用している。
ところが、上記特開2016−52054号公報等によって開示されている観察装置は、受光平面内の一部領域にTOF方式の距離画像センサーを配置しているために、その部分の画像データを取得することができないという問題点があり、これに起因して画質を劣化させる要因になるという問題点がある。また、画像データを取得できない領域については画素補間処理等が必要となることから、画像データ生成時の信号処理が増加すると共に処理が複雑化してしまうという問題点もある。
さらに、受光平面内の一部領域にTOF方式の距離画像センサーを用いる場合、これを作用させるためには、所望の観察対象に対して照明光の照射を所定のタイミングで行う必要がある。しかし、例えば培養器内の細胞等の試料を観察対象物とする場合、観察対象物への照明光の照射は、細胞等の試料(観察対象物)に悪影響を及ぼす場合もある。したがって、このことを考慮すると、観察対象物への照明光の照射時間は極力短時間に抑えたいという要望がある。
さらにまた、位相差検出方式若しくは瞳分割方式の焦点検出が可能な受光素子では、画像形成用受光素子をも兼ねることから、画像データの読み出しのタイミングの制御が必要になる。さらに、TOF方式の距離画像センサーに対する照明光のオンオフタイミングの制御と、当該距離画像センサーのデータ読み出しタイミングの制御等を同時に行う必要がある。したがって、これら種々の制御が複雑になってしまうという問題点がある。
本発明は、上述した点に鑑みてなされたものであって、その目的とするところは、取得される画像データの画質を劣化させることなく高画質な画像データを高速に取得することができると共に、所望の観察対象物に関する距離データを同時に取得することができるようにした固体撮像素子,当該固体撮像素子を用いた観察装置,固体撮像素子の駆動方法及び駆動用プログラムを提供することである。
上記目的を達成するために、本発明の一態様の固体撮像素子は、受光面に設けられたレンズと、前記レンズを介して対象物から入射する光を受光する第1の受光素子と、前記第1の受光素子の下層に設けられ、前記レンズ及び前記第1の受光素子を介して前記対象物から入射する光を受光して対象物までの距離に関する情報を取得する第2の受光素子とが積層構造を成して一単位の受光部が形成されており、前記受光部が2次元に配列して形成されている。
本発明の一態様の観察装置は、受光面に設けられたレンズと、前記レンズを介して対象物から入射する光を受光する第1の受光素子と、前記第1の受光素子の下層に設けられ前記レンズ及び前記第1の受光素子を介して前記対象物から入射する光を受光して対象物までの距離に関する情報を取得する第2の受光素子とが積層構造を成して一単位の受光部が形成されており、前記受光部が2次元に配列して形成されている固体撮像素子と、前記固体撮像素子の受光面に観察対象物の光学像を結像させる撮像光学系とを有する撮像ユニットと、観察対象物に照明光を照射する照明ユニットと、前記撮像ユニットによって取得された画像信号に基づいて観察対象物の画像を表示する表示ユニットと、前記撮像ユニット,前記照明ユニット,前記表示ユニットを駆動制御する制御部を有するコントロールユニットとを具備する。
本発明の一態様の固体撮像素子の駆動方法は、レンズと第1の受光素子と第2の受光素子とを積層構造で形成した受光部を2次元に配列して形成した固体撮像素子の駆動方法であって、前記第1の受光素子からの信号読出処理の終了後に、前記第2の受光素子の信号読出処理を実行する。
本発明の一態様の固体撮像素子の駆動用プログラムは、レンズと第1の受光素子と第2の受光素子とを積層構造で形成した受光部を2次元に配列して形成した固体撮像素子の駆動用プログラムであって、垂直同期信号を発生させる手順と、前記垂直同期信号に同期させて前記第1の受光素子及び第1照明部の駆動制御を開始させる手順と、前記第1の受光素子及び前記第1照明部の駆動制御の開始から所定時間の経過後に、前記第1の受光素子及び前記第1照明部の駆動を停止させる手順と、前記第1の受光素子及び前記第1照明部の駆動停止後に、前記第2の受光素子及び第2の照明部の駆動制御を開始させる手順と、前記第2の受光素子及び前記第2照明部の駆動制御の開始から所定時間の経過後に、前記第2の受光素子及び前記第2照明部の駆動を停止させる手順とをコンピュータに実行させる。
本発明によれば、取得される画像データの画質を劣化させることなく高画質な画像データを高速に取得することができると共に、所望の観察対象物に関する距離データを同時に取得することができるようにした固体撮像素子,当該固体撮像素子を用いた観察装置,固体撮像素子の駆動方法及び駆動用プログラムを提供することができる。
以下、図示の実施の形態によって本発明を説明する。以下の説明に用いる各図面は模式的に示すものであり、各構成要素を図面上で認識できる程度の大きさで示すために、各部材の寸法関係や縮尺等を各構成要素毎に異ならせて示している場合がある。したがって、本発明は、各図面に記載された各構成要素の数量や各構成要素の形状や各構成要素の大きさの比率や各構成要素の相対的な位置関係等に関して、図示の形態のみに限定されるものではない。
[一実施形態]
本発明の一実施形態は、例えば、撮像光学系及び固体撮像素子等を含む撮像ユニットを用いて培養器内の細胞等の試料を透過照明によって観察する観察装置を例示するものである。
本発明の一実施形態は、例えば、撮像光学系及び固体撮像素子等を含む撮像ユニットを用いて培養器内の細胞等の試料を透過照明によって観察する観察装置を例示するものである。
なお、本実施形態の観察装置においては、透過照明によって観察対象物を観察するように構成した照明ユニットを例示するが、照明ユニットの形態としては、この形態(透過照明)に限定されるものではない。他の形態の照明ユニットとしては、例えば、反射照明等によって観察対象物を照明する形態のものを適用するようにしてもよい。
まず、本発明の固体撮像素子の詳細構成を説明する前に、本発明の固体撮像素子を用いた観察装置の概略構成を、図1を用いて以下に説明する。図1は、本発明の一実施形態の固体撮像素子を用いた観察装置の概略構成を示すブロック構成図である。
図1に示すように、本実施形態の固体撮像素子11を用いた観察装置1は、撮像ユニット10と、コントロールユニット20と、照明ユニット30と、表示ユニット40と、培養器50を含む駆動ユニット等によって主に構成されている。
撮像ユニット10は、観察を対象とする観察対象物の光学像を電気信号に変換して画像データを出力する構成ユニットである。この撮像ユニット10は、固体撮像素子(solid state image sensor)11と、撮像光学系12と、レンズ駆動部13と、撮像ユニット駆動部14等によって主に構成されている。
固体撮像素子11は、観察対象物の光学像を受けて、この光学像を電気信号に変換し、観察対象物に基く画像信号を生成すると同時に、観察対象物までの距離情報(距離データ)等の各種情報を取得するための光電変換素子である。なお、当該固体撮像素子11は、本発明の主要部であり、その詳細な構成については後述する。
撮像光学系12は、複数の光学レンズ及びこれら複数の光学レンズを保持するレンズ鏡筒等によって構成され、観察対象物の光学像を形成するための構成ユニットである。この撮像光学系12によって形成された観察対象物の光学像は、固体撮像素子11の所定の結像面上に結像する。
レンズ駆動部13は、撮像光学系12を駆動する駆動機構及び駆動源等を含んで構成される構成ユニットである。例えば、レンズ駆動部13は、撮像光学系12を、その光軸に沿う方向に進退移動させることによって焦点調節動作を行う。ここで行われる焦点調節動作は、例えば、固体撮像素子11から出力される情報に基づいて後述するコントロールユニット20の制御部21によって制御される。
撮像ユニット駆動部14は、撮像ユニット10を観察対象物に対して所定の平面内で移動させるための駆動機構及び駆動源等を含んで構成される構成ユニットである。この撮像ユニット駆動部14は、コントロールユニット20の制御部21によって駆動制御がなされる。なお、当該撮像ユニット駆動部14自体は、本発明に直接関連しない部分であるので、その詳細構成は省略する。
コントロールユニット20は、観察装置1の各構成ユニットを統括的に制御する構成ユニットである。このコントロールユニット20は、制御部21と、信号読出部22と、画像処理部23と、信号解析部24と、計数部25と、外部インターフェース部(外部IF部)26等によって主に構成されている。
制御部21は、本観察装置1の各構成ユニットをそれぞれ制御する制御回路である。
信号読出部22は、撮像ユニット10の固体撮像素子11からの出力信号(光電変換された電気信号)を読み出す信号読出処理を行う回路部である。この信号読出部22によって読み出された信号は、画像処理部23や信号解析部24へと出力されて、それぞれの各所において所定の信号処理が施される。
画像処理部23は、信号読出部22からの出力信号を受けて、各種の画像信号処理、例えば表示用画像データや記録用画像データ等のほか、計数処理用画像データ等を生成する処理を施す回路部である。この画像処理部23において生成された画像データは、表示ユニット40,計数部25等へと出力されて、それぞれの各所において所定の処理が行われる。また、画像処理部23において生成された画像データのうちの一部は、外部インターフェース部26を介して当該コントロールユニット20に接続される外部装置(不図示)へと出力される。
信号解析部24は、信号読出部22からの出力信号を受けて、各種のデータ解析処理を行って各種の情報データを生成する回路部である。この信号解析部24においては、例えば、固体撮像素子11により生成される画像信号から得られる距離情報(距離データ)や画像の位相差情報(フォーカスデータ)等に基づいて観察対象物の合焦状態の検出等を行って自動焦点調節処理(AF処理)に用いる情報を算出したり、画像の輝度等の検出を行って自動露出調節処理(AE処理)や自動ホワイトバランス調整処理に用いられる情報を算出する。
計数部25は、画像処理部23によって生成された計数処理用画像データに基づいて、観察対象物についての計数処理を行う回路部である。
本実施形態の観察装置1においては、観察対象物として、例えば培養器内の細胞等の試料としている。そして、上記計数部25は、具体的には、当該細胞等の試料の計数処理を行うことを想定している。
外部インターフェース部(図1において「外部IF部」と略記している)26は、当該コントロールユニット20に接続される外部装置(不図示)との接続を確保するための接続回路を含む接続ユニットである。
外部IF部26に接続される外部装置としては、例えば、画像処理部23によって生成された記録用画像データを記録するデータ記録装置(ストレージ装置;不図示)等がある。この場合、画像処理部23によって生成された記録用画像データは、外部IF部26を介して当該コントロールユニット20に接続された外部装置であるデータ記録装置(不図示)へと出力される。そして、当該データ記録装置は、受信した記録用画像データを所定の記憶領域に記録する。
照明ユニット30は、観察対象物に照明光を照射する光源を備えた構成ユニットである。照明ユニット30は、第1照明部31と、第2照明部32と、照明光反射板33等によって主に構成されている。
第1照明部31は、観察対象物を照明するための照明光のうち、第1の照明光を出射する照明部材及びその照明回路を含む構成部である。ここで、第1の照明光は、例えば、固体撮像素子11によって生成される画像信号のうち観察対象物の通常画像データを形成するのに寄与する照明光である(詳細は後述する)。
第2照明部32は、観察対象物を照明するための照明光のうち、第2の照明光
を出射する照明部材及びその照明回路を含む構成部である。ここで、第2の照明光は、例えば、固体撮像素子11によって生成される画像信号のうち観察対象物までの距離に関する情報若しくは特殊画像データ(赤外線画像や蛍光画像データ等)を形成するのに寄与する照明光である(詳細は後述する)。
を出射する照明部材及びその照明回路を含む構成部である。ここで、第2の照明光は、例えば、固体撮像素子11によって生成される画像信号のうち観察対象物までの距離に関する情報若しくは特殊画像データ(赤外線画像や蛍光画像データ等)を形成するのに寄与する照明光である(詳細は後述する)。
照明光反射板33は、第1照明部31,第2照明部32のそれぞれから出射された照明光を観察対象物へ向けて反射させる構成物である。この照明光反射板33は、照明光を反射しやすい反射面を有して構成されている。そして、当該照明光反射板33によって反射された照明光は、観察対象物を照明すると共に、当該観察対象物を透過した後は撮像ユニット10の固体撮像素子11の受光面へと入射する。
なお、図1においては、照明ユニット30を独立した構成ユニットとして図示しているが、この形態に限られることはない。例えば、照明ユニット30を撮像ユニット10に含めて構成するようにしてもよい。
また、上記照明光反射板33については、照明光源の構成によっては不要とすることができる。例えば、第2受光素子102に対応する第2照明部32として、TOF式距離画像センサーに適合する照明を用いる場合には照明光反射板33を用いることなく、所定の機能、即ち距離情報検出機能を実現できる。
表示ユニット40は、撮像ユニット10によって取得した画像データに基づいて観察対象物の画像を表示する構成ユニットである。表示ユニット40は、表示パネルとその駆動回路及び表示用画像データの入力回路(不図示)等によって構成される構成ユニットである。当該表示ユニット40は、コントロールユニット20と電気的に接続されている。そして、当該表示ユニット40は、画像処理部23によって生成された表示用画像データを受けて観察対象物の画像を表示パネル(不図示)を用いて表示する。
培養器50は、観察対象物としての試料51を内部に収納し、外気との閉鎖空間を形成する容器である。この培養器50は、照明光を透過させ得るように、ガラス若しくは樹脂製部材を用いた透明部材によって形成されている。なお、培養器50は、従来一般に用いられている通常形態のものを適用し得る。
観察装置1に関するその他の構成は、従来一般的な形態のものと同様であるものとして、他の部位の構成の説明及び図示は省略する。
このように構成された観察装置1の撮像ユニット10において、本実施形態の固体撮像素子11が適用されている。
次に、本実施形態の固体撮像素子11の詳細構成について、図2〜図4を用いて以下に説明する。
図2〜図4は、本発明の一実施形態の固体撮像素子の構成を概念的に示す図である。このうち図2は、本発明の一実施形態の固体撮像素子における受光面の一部を拡大して示す平面図である。図3は、本発明の一実施形態の固体撮像素子を構成する受光部の一単位を取り出して概念的に示す要部分解斜視図である。図4は、本発明の一実施形態の固体撮像素子における受光面の一部を拡大して示す断面図である。なお、図4は、図2の[4]−[4]線に沿う断面を示している。
本実施形態の固体撮像素子11は、上述したように、観察対象物の光学像を受けて、観察対象物の画像信号を生成すると同時に、観察対象物までの距離データ等の各種情報を取得する光電変換素子である。
固体撮像素子11は、図2に示すように、複数の受光部100を2次元に配列して形成されている。ここで、複数の受光部100が配列される2次元平面は、図2,図3に示すX軸及びY軸を含むXY平面に平行な面である。この2次元平面を、以下受光面というものとする。また、図3に示すように、上記XY平面(受光面)に対して直交する軸を符号Zで示し、このZ軸をマイクロレンズ103の光軸というものとする。
本実施形態の固体撮像素子11における一単位の受光部100は、第1受光素子101と、第2受光素子102と、マイクロレンズ103と、配線104及び回路基板等によって主に構成されている。
そして、本実施形態の固体撮像素子11を構成する上記一単位の受光部100のそれぞれは、図3,図4に示すように、上層からマイクロレンズ103,第1受光素子101,第2受光素子102の順に、積層構造を成すように構成されている。
マイクロレンズ103は、受光面に設けられるいわゆるオンチップマイクロレンズである。マイクロレンズ103は、観察対象物からの光を入射させて、当該観察対象物の光学像を所定の結像面上に結像させる光学部材である。このマイクロレンズ103の下層部分には、第1受光素子101が設けられている。
第1受光素子101は、マイクロレンズ103を介して入射する観察対象物からの光を受光して通常画像データを取得する通常画像情報取得用の受光素子(電気部品)である。この第1受光素子101は、例えば、光を検出して電荷を発生させるフォトダイオード等が適用されている。なお、本実施形態においては、第1受光素子101は単一の受光面によって形成した例を示している。当該第1受光素子101の下層部分には、第2受光素子102が設けられている。
第2受光素子102は、マイクロレンズ103及び第1受光素子101を介して入射する観察対象物からの光を受けて、当該観察対象物までの距離に関する距離データを取得する距離画像検出用の受光素子(電気部品)である。この第2受光素子102は、TOF(Time of Flight)法によって距離計測を行う距離画像センサー(TOF式距離画像センサーという)である。
ここで、TOF式距離画像センサーは、照明光が観察対象物によって反射した後に入射する光の位相の変化、あるいは光の飛行に伴う遅れ時間に反応する受光素子によってダイレクトに距離データを計測し取得する素子(センサー)である。
なお、本実施形態においては、第2受光素子102は2分割された受光面によって形成されている例を示している。この場合において、第2受光素子102の2分割された受光面のそれぞれは、各長辺が受光面上における垂直方向(Y方向)に平行となるように配置されている例を示している。
そして、当該第2受光素子102の下層部分には、図示を省略しているが、例えば信号処理回路や一時メモリ等を実装する回路基板が配設されている。そして、図4に示すように、例えば隣接する受光素子同士の間の空間等には、配線104等が配設されている。
なお、図2において、第2受光素子102は斜線(ハッチング)を付して示される領域部分である。即ち、図2における斜線(ハッチング)表記は、部材の断面を示すものではなく、単に第2受光素子102の配置領域を明示するために用いている。
このように構成された上記受光部100は、上述したように、上層からマイクロレンズ103,第1受光素子101,第2受光素子102の順に、積層構造を成すように構成されている。このことから、第2受光素子102には、第1受光素子101を透過した光が入射する構成となっている。そのために、第2受光素子102への入射光量は、第1受光素子101への入射光量に比べて減少する。したがって、これを補うために、第2受光素子102の受光面積は、第1受光素子101の受光面積よりも大きく設定されている。
なお、図2では、第2受光素子102の受光面積を第1受光素子101の受光面積よりも大きく設定しているが、第1の受光素子と第2の受光素子とを同じ大きさで構成しても問題はない。
なお、本実施形態の固体撮像素子11において、第1受光素子101および第2受光素子102は、列毎に信号を逐次読み出すローリングシャッタ機能を用いても良いし、全ての素子(画素)からの信号を同時に一括して読み出すことの出来るグローバルシャッタ機能を用いても良い。また、第1受光素子と第2受光素子とで異なる読出し機能を選択しても良い。
ここで、上述の一実施形態の固体撮像素子11における受光部の構成についての各種の変形例を以下に示す。
[第1変形例]
上述の一実施形態においては、受光部100における第1受光素子101を単一の受光面によって形成した例を示している。これに対し、以下に示す第1変形例では、第1受光素子を複数の分割された受光素子で構成する例を示す。
上述の一実施形態においては、受光部100における第1受光素子101を単一の受光面によって形成した例を示している。これに対し、以下に示す第1変形例では、第1受光素子を複数の分割された受光素子で構成する例を示す。
図5,図6は、本発明の一実施形態の固体撮像素子において、受光部に関する第1変形例を示す図である。図5は、第1変形例の受光部を適用した固体撮像素子11Aの受光面の一部を拡大して示す平面図である(図2に相当)。図6は、第1変形例の受光部の一単位を取り出して概念的に示す要部分解斜視図である(図3に相当)。
この第1変形例における受光部100Aは、第1受光素子101Aを4つに分割した受光素子101Aa,101Ab,101Ac,101Adを有して構成されている。その他の構成は、上記一実施形態と同様である。
このような構成とした場合、第1受光素子101Aの複数の受光素子(101Aa,101Ab,101Ac,101Ad)は、それぞれが異なる位相の光学像を表す異なる画像データを生成することができる。
したがって、この構成によれば、第1受光素子101Aは、複数の受光素子(101Aa,101Ab,101Ac,101Ad)によって取得された複数の画像データに基づいて、位相差検出を行うことによるフォーカスに関するフォーカスデータを生成することができると同時に、上記複数の画像データの加算処理を行うことにより通常の一つの画像データをも生成することができる。
[第2変形例]
上述の一実施形態においては、受光部100における第2受光素子102を2分割された受光面によって形成し、各受光面の各長辺が受光面上における垂直方向(Y方向)に平行となるように配置した例を示している。これに対し、以下に示す第2変形例では、第2受光素子の各受光面の配置が異なる例示である。
上述の一実施形態においては、受光部100における第2受光素子102を2分割された受光面によって形成し、各受光面の各長辺が受光面上における垂直方向(Y方向)に平行となるように配置した例を示している。これに対し、以下に示す第2変形例では、第2受光素子の各受光面の配置が異なる例示である。
図7,図8は、本発明の一実施形態の固体撮像素子において、受光部に関する第2変形例を示す図である。図7は、第2変形例の受光部を適用した固体撮像素子11Bの受光面の一部を拡大して示す平面図である(図2に相当)。図8は、第2変形例の受光部の一単位を取り出して概念的に示す要部分解斜視図である(図3に相当)。
この第2変形例における受光部100Bは、第2受光素子102Bを2分割された受光面によって形成している点は上述の一実施形態と同様である。第2変形例においては、各受光面の各長辺を受光面上における水平方向(X方向)に平行となるように配置している点が異なる。
なお、第1受光素子101Aは、4つに分割した受光素子101Aa,101Ab,101Ac,101Adを有して構成した点は上述の第1変形例と同様である。その他の構成は、上記一実施形態と同様である。
このような構成とした場合の効果は、上述の第1変形例と同様である。
[第3変形例]
上述の一実施形態及び第1,第2変形例においては、受光部における第2受光素子を2分割された受光面によって形成した例を示している。これに対し、以下に示す第3変形例では、第2受光素子を単一の受光面として構成した例示である。
上述の一実施形態及び第1,第2変形例においては、受光部における第2受光素子を2分割された受光面によって形成した例を示している。これに対し、以下に示す第3変形例では、第2受光素子を単一の受光面として構成した例示である。
図9,図10は、本発明の一実施形態の固体撮像素子において、受光部に関する第3変形例を示す図である。図9は、第3変形例の受光部を適用した固体撮像素子11Cの受光面の一部を拡大して示す平面図である(図2に相当)。図10は、第3変形例の受光部の一単位を取り出して概念的に示す要部分解斜視図である(図3に相当)。
この第3変形例における受光部100Cは、第2受光素子102Cを単一の受光面によって形成している点において、上述の一実施形態及び第1,第2変形例と異なる。
なお、第1受光素子101Aは、4つに分割した受光素子101Aa,101Ab,101Ac,101Adを有して構成した点は上述の第1,第2変形例と同様である。その他の構成は、上記一実施形態と同様である。
このような構成とした場合、第2受光素子102Cの受光面積をより大きく確保することができる。したがって、これにより、第2受光素子102Cによって得られるデータ(例えば距離データ)の精度を高めることができる。その他の効果は、上述の第1,第2変形例と同様である。
[第4変形例]
上述の第3変形例においては、一単位の受光部における第2受光素子を単一の受光面によって形成した例を示している。これに対し、以下に示す第4変形例では、4つのマイクロレンズ及び4つの第1受光素子に対して単一の受光面からなる第2受光素子を設けて一単位の受光部として構成した例示である。
上述の第3変形例においては、一単位の受光部における第2受光素子を単一の受光面によって形成した例を示している。これに対し、以下に示す第4変形例では、4つのマイクロレンズ及び4つの第1受光素子に対して単一の受光面からなる第2受光素子を設けて一単位の受光部として構成した例示である。
図11,図12は、本発明の一実施形態の固体撮像素子において、受光部に関する第4変形例を示す図である。図11は、第4変形例の受光部を適用した固体撮像素子11Dの受光面の一部を拡大して示す平面図である(図2に相当)。図12は、第4変形例の受光部の一単位を取り出して概念的に示す要部分解斜視図である(図3に相当)。
この第4変形例における一単位の受光部100Dは、4つのマイクロレンズ103と、4つの第1受光素子101Aと、1つの第2受光素子102D等によって構成されている。
この場合において、4つのマイクロレンズ103は、上述の一実施形態及び上記各変形例のマイクロレンズ103と同形態のものが適用されている。また、4つの第1受光素子101Aは、上述の各変形例の第1受光素子101Aと同形態のものが適用されている。
そして、第4変形例において、第2受光素子102Dは、単一の受光面によって構成されている。この第2受光素子102Dは、上記4つのマイクロレンズ103及び上記4つの第1受光素子101Aを覆う受光面積を有して構成されている。その他の構成は、上記一実施形態と同様である。
このような構成とした場合、第2受光素子102Dの受光面積を、さらに大きく確保することができる。
[第5変形例]
上述の一実施形態及び各変形例においては、第2受光素子としてTOF式距離画像センサーを適用する例を示しているが、第2受光素子は、上述の例に限らず、他の受光素子を適用しても良い。
上述の一実施形態及び各変形例においては、第2受光素子としてTOF式距離画像センサーを適用する例を示しているが、第2受光素子は、上述の例に限らず、他の受光素子を適用しても良い。
例えば、図13に示す第5変形例では、第2受光素子102Eとして、第1受光素子101Aと同様のフォトダイオードを適用し、加えて、第1受光素子101Aと第2受光素子102Eとの間には、所定の波長領域の光のみを通過させるカラーフィルタ105を設けて構成している。この場合において、上記カラーフィルタ105は、例えば吸収フィルタ(Barrier Filter)等とする。
そして、これに対応させて、照明ユニット30の第2照明部32(図13では不図示)としては、観察対象物に対して励起光を照射する照明を適用している。
このような構成とすることにより、第1受光素子101Aを用いて通常観察を行うのと同時に、第2受光素子102Eを用いた特殊観察(上記の例では蛍光観察)を行うことができる。
なお、上記カラーフィルタ105及び第2照明部32を適宜変更することによって、他の形態の特殊観察を行うことができる。例えば、特定の波長領域の光のみ(例えば赤外光若しくは紫外光等)を透過させるカラーフィルタ105を適用し、これに対応する照明光を照射する第2照明部32とすればよい。
また、上述の一実施形態及び各変形例においては、第1受光素子によって得られる通常画像はモノクロ画像であるが、マイクロレンズ103と第1受光素子101Aとの間にカラーフィルタを設けることにより、カラー画像を取得し得る構成としてもよい。この構成におけるカラーフィルタは、カラー画像を取得可能に構成される従来の固体撮像素子と同様構成であるので、図示及び詳細説明は省略する。
なお、上記一実施形態及び上記各変形例における固体撮像素子は、2次元配列される複数の受光部のうちの全部を、上記各例で示す形態の受光部として適用する形態としてもよいし、そのほかの形態として、複数の受光部のうちの一部に各例の受光部を適用して構成する形態としてもよい。例えば、カラーフィルタの配置の一部をクリア(透明)にしてもよい。
次に、本発明の一実施形態の固体撮像素子の電気的な構成の概略を、図14を用いて以下に説明する。図14は、本発明の一実施形態の固体撮像素子の電気的な構成の概略を示すブロック構成図である。
上記一実施形態の固体撮像素子11は、上述したように、コントロールユニット20の制御部21によって駆動制御される。
上記制御部21は、図14に示すタイミングコントローラ114を介して第1水平垂直ドライバ111及び第2水平垂直ドライバ112の動作タイミングを制御して、第1受光素子101及び第2水平垂直ドライバ112を駆動する。この場合において、第1受光素子101は第1水平垂直ドライバ111によって、第2受光素子102は第2水平垂直ドライバ112によってそれぞれ駆動制御される。そして、第1受光素子101及び第2受光素子102からの各出力信号(アナログ画像信号)はAD変換部115へと出力される。
また、上記制御部21は、図14に示すタイミングコントローラ114を介してAD変換部115の動作タイミングを制御している。AD変換部115は、第1受光素子101及び第2受光素子102からの各出力信号(アナログ画像信号)を受けて、デジタル画像信号へと変換する回路部である。このAD変換部115において生成されたデジタル画像信号は、信号読出部22へと出力される。これを受けて、信号読出部22は、入力されたデジタル画像信号についてデータの並び替え処理等を行った後、画像処理部23(図1参照)へと出力する。
そして、上記制御部21は、図14に示すタイミングコントローラ114を介して照明ユニット30の動作タイミングも制御している。
タイミングコントローラ114は、第1受光素子101,第2受光素子102,AD変換部115,照明ユニット30のそれぞれを駆動するのに必要なタイミングパルスを出力する回路部である。タイミングコントローラ114から出力されるタイミングパルスは、発振素子113から一定のタイミングで出力されるパルス信号を参照して予め設定されているタイミングで出力される。
なお、上記の各例では、上記照明ユニット30を固体撮像素子11に含めて構成しているが、この形態に限ることはない。即ち、照明ユニット30の動作タイミングが確実かつ正確に制御することができる構成であれば、照明ユニット30を別ユニットとして構成してもよい。
上述の図14の構成例では、信号読出部22を一つ設け、この一つの信号読出部22に対して、第1受光素子101及び第2受光素子102から出力される全ての画像信号を出力するように構成している。
詳細は後述するが、本実施形態の固体撮像素子11においては、一方の受光素子の駆動期間には他方の受光素子は被駆動状態とする駆動制御が行われる。このことから、図14の構成例の固体撮像素子11では、信号読出部22は略常時駆動されている状態である。
これに対し、別の形態として、図15に示す構成例が考えられる。図15は、本発明の一実施形態の固体撮像素子の電気的な構成についての別の変形例を示すブロック構成図である。
図15に示す別の変形例においては、第1受光素子101の出力信号のみを扱う第1信号読出部22aと、第2受光素子102の出力信号のみを扱う第2信号読出部22bとを、設けて構成している。その他の構成は、図14に示す形態と同様である。
このように、第1受光素子101と第2受光素子102との出力回路を別個に構成することにより、第1受光素子101と第2受光素子102とで、出力信号の形態が異なる場合であっても、信号読出部をそれぞれに適した形態とすることができ回路構成を簡素化することができる。
例えば、第1信号読出部22aは、第1受光素子101(通常画像センサー)に対応した通常の画像信号に適合した読み出し回路構成とし、第2信号読出部22bは、第2受光素子102(TOF式距離画像センサー)に対応した距離画像信号に適合した読み出し回路構成とすることで、それぞれの信号読出部の回路構成を簡素化できる。
さらに、各信号読出部22a,22bは、対応する各受光素子101,102の駆動タイミングに合わせて駆動させればよい。したがって、各受光素子101,102の非駆動期間には、各信号読出部22a,22bも非駆動状態とすることができる。したがって、図14に示す構成例に比べて低消費電力化に寄与することができる。
なお、図14,図15で示す構成例では、タイミングコントローラ114及びAD変換部115は、1つに統合して構成した例を示しているが、この形態に限ることはない。例えば、第1受光素子と第2受光素子とのそれぞれに対応させたタイミングコントローラ及びAD変換部を設けて構成してもよい。
このように構成された上記一実施形態の固体撮像素子11の作用を、図16を用いて以下に説明する。図16は、本実施形態の固体撮像素子の作用を示すタイミングチャートの一例である。
まず、当該固体撮像素子11が適用された装置が動作可能な通電状態にあるとき、コントロールユニット20の制御部21下で、タイミングコントローラ114は所定のタイミングで垂直同期信号(Vertical Synchronization)VDを発生させる(図16(A)−(1))。
これを受けて、制御部21は、照明ユニット30の第1照明部31の駆動制御を開始する(図16(B)−(1))。
これと同時に、制御部21は、第1水平垂直ドライバ111を介して第1受光素子101の駆動制御を開始すると共に、AD変換部115,信号読出部22を駆動制御して、第1受光素子101の出力信号の信号読出制御を実行する(図16(D)−(1))。
この場合において、第1照明部31の駆動制御は、予め設定された所定の期間(図16の点灯期間A)だけ行われる(図16(B)−(2))。同様に、第1受光素子101の駆動制御も、予め設定された所定の期間(図16の撮像期間)だけ行われる(図16(D)−(2))。なお、第1照明部31の点灯期間Aの間は、第2照明部32は非駆動状態にあり消灯状態にある(図16の消灯期間B)。
所定の点灯期間A及び所定の撮像期間が経過したら、制御部21は、第1照明部31を制御して駆動を停止する(図16(B)−(3))と共に、第2照明部32の駆動制御を開始する(図16(C)−(3))。
同時に、第1受光素子101を制御して駆動を停止すると共に、第2受光素子102,の駆動制御を開始して、第2受光素子102の出力信号の信号読出制御を実行する(図16(E)−(3))。なお、AD変換部115,信号読出部22の駆動制御は引き続き行われている。
この場合において、第2照明部32の駆動制御は、予め設定された所定の期間(図16の点灯期間B)だけ行われる(図16(C)−(4))。第2照明部32の点灯期間Bの間は、第1照明部31は非点灯状態になる(図16の消灯期間A)。
同様に、第2受光素子102の駆動制御も、予め設定された所定の期間である第2撮像期間(本実施形態において第2撮像期間は図16のフォーカス期間が相当する)だけ行われる(図16(E)−(4))。このフォーカス期間の間、第1受光素子101は非駆動状態にある。
所定の点灯期間B及び所定のフォーカス期間が経過したら、制御部21は、第2照明部32を制御して駆動を停止するのと同時に、第2受光素子102,AD変換部115,信号読出部22を制御して駆動を停止する。
その後、再度の垂直同期信号VDを待って(図16の(A)−(5))、同様の動作、即ち第1照明部31の駆動制御の開始(図16の(B)−(5))と、AD変換部115の駆動制御と、信号読出部22の駆動制御(図16の(D)−(5))を行う。以後、同様の作用を繰り返す。
上述の図16に示す第1作用例では、第1受光素子101の出力信号を読み出した後に第2受光素子102の出力信号を読み出すような作用としているが、この例示に限られることはない。
例えば、図17に示す第2作用例のように、タイミング信号を受けた後、まず先に、第2受光素子102の出力信号を読み出した後、第1受光素子101の出力信号を読み出すような作用としてもよい。
図17においては、タイミングコントローラ114から垂直同期信号VDが発生する(図17(A)−(1))と、これを受けて、制御部21は、照明ユニット30の第1照明部31を制御して駆動を停止する(駆動中の場合;図17(B))と共に、第2照明部32の駆動制御を開始する(図17(C))。
同時に、制御部21は、第2受光素子102の駆動制御を開始し、AD変換部115,信号読出部22を駆動制御して、第2受光素子102の出力信号の信号読出制御を実行する(図17(E))。
このとき、第2照明部32は、予め設定された所定の期間(図17の点灯期間B)だけ駆動制御される(図17(B))。同様に、第2受光素子102も、予め設定された所定の期間(図17のフォーカス期間)だけ駆動制御される(図17(E))。第2照明部32の点灯期間Bの間は、第1照明部31は消灯状態にある(図17の消灯期間A)。
所定の点灯期間B及び所定のフォーカス期間の経過後、制御部21は、第2照明部32の駆動を停止する(図17(C))と共に、第1照明部31の駆動制御を開始する(図17(B)−(3))。
同時に、第2受光素子102を制御して駆動を停止すると共に、第1受光素子101の駆動制御を開始して、第1受光素子101の出力信号の信号読出制御を実行する(図17(D)(3))。
このとき、第1照明部31の駆動制御は、予め設定された所定の期間(図17の点灯期間A)だけ行われる(図17(B)−(4))。第1照明部31の点灯期間Aの間は、第2照明部32は非点灯状態になる(図17の消灯期間B)。
同様に、第1受光素子101の駆動制御も、予め設定された所定の期間(図17の撮像期間)だけ行われる(図17(D))。この撮像期間の間、第2受光素子102は非駆動状態にある。
所定の点灯期間A及び所定の撮像期間の経過後、制御部21は、第1照明部31の駆動を停止すると同時に、第1受光素子101を制御して駆動を停止する。
その後、再度の垂直同期信号VDを待って(図17の(A)−(5))、同様の動作、即ち第2照明部32の駆動制御の開始(図17の(B))と、AD変換部115の駆動制御と、信号読出部22の駆動制御(図17の(E))を行う。以後、同様の作用を繰り返す。
他方、上述の図16,図17に示す各作用例では、第1受光素子101の出力信号と第2受光素子102の出力信号とを交互に読み出すような作用としているが、これらの例示に限られることはない。
例えば、図18に示す第3作用例のように、第2受光素子102の出力信号を読み出しを、複数回の第1受光素子101の出力信号を読み出しの後に間欠的に行うような作用としてもよい。
図18において、タイミングコントローラ114から垂直同期信号VDが発生する(図18(A)−(1))と、これを受けて、制御部21は、照明ユニット30の第1照明部31を制御して駆動制御を開始する(図18(B)。このとき、第2照明部32の駆動は停止している(図18(C))。
同時に、制御部21は、第1受光素子101の駆動制御を開始し、AD変換部115,信号読出部22を駆動制御して、第1受光素子101の出力信号の信号読出制御を実行する(図18(D))。
このとき、第1照明部31は、予め設定された所定の期間(図18の点灯期間A)だけ駆動制御される(図18(B)−(2))。同様に、第1受光素子101も、予め設定された所定の期間(図18の撮像期間)だけ駆動制御される(図18(D))。第1照明部31の点灯期間Aの間は、第2照明部32は消灯状態にある(図18の消灯期間B)。
所定の点灯期間A及び所定の撮像期間の経過後、制御部21は、第1照明部31の駆動を停止する(図18(B)−(3))と共に、第2照明部32の駆動制御を開始する(図18(C))。
同時に、第1受光素子101を制御して駆動を停止する(図18(D))と共に、第2受光素子102の駆動制御を開始して、第2受光素子102の出力信号の信号読出制御を実行する(図18(E))。
このとき、第2照明部32の駆動制御は、予め設定された点灯期間Bだけ行われる(図18(C))。第2照明部32の点灯期間Bの間は、第1照明部31は非点灯状態になる(消灯期間A1;図18の(B)−(4))。
同様に、第2受光素子102の駆動制御も、予め設定された所定の期間(図18のフォーカス期間)だけ行われる(図18(E))。このフォーカス期間の間、第1受光素子101は非駆動状態にある。
所定の点灯期間B及び所定のフォーカス期間の経過後、制御部21は、第2照明部32の駆動を停止すると同時に、第2受光素子102を制御して駆動を停止する。
その後、再度の垂直同期信号VDを待って(図18の(A)−(5))、第1照明部31の駆動制御の開始(図18の(B))と、AD変換部115の駆動制御と、信号読出部22の駆動制御(図18の(D))を行う。
第1照明部31は、予め設定された点灯期間Aだけ駆動制御される(図18(B))。同様に、第1受光素子101も、予め設定された撮像期間だけ駆動制御される(図18(D))。第1照明部31の点灯期間Aの間は、第2照明部32は消灯状態にある(図18の消灯期間B)。
所定の点灯期間A及び所定の撮像期間の経過後、制御部21は、第1照明部31の駆動を停止する(図18(B)−(6))と共に、第1受光素子101を制御して駆動を停止する(図18(D))。そして、予め設定された消灯期間A2(図18の(B)−(7))の経過後、再度の垂直同期信号VDを待って(図18の(A)−(8))、第1照明部31の駆動制御の開始(図18の(B))と、AD変換部115の駆動制御と、信号読出部22の駆動制御(図18の(D))を行う。
このように、第1受光素子101の駆動制御を、予め決められた複数回(図18に示す作用例では4回)繰り返した後、
制御部21は、第1照明部31の駆動を停止する(図18(B)−(9))と共に、第2照明部32の駆動制御を開始する(図18(C))。
制御部21は、第1照明部31の駆動を停止する(図18(B)−(9))と共に、第2照明部32の駆動制御を開始する(図18(C))。
同時に、第1受光素子101を制御して駆動を停止する(図18(D))と共に、第2受光素子102の駆動制御を開始して、第2受光素子102の出力信号の信号読出制御を実行する(図18(E))。
所定の点灯期間B及び所定のフォーカス期間の経過後、制御部21は、第2照明部32の駆動を停止すると同時に、第2受光素子102を制御して駆動を停止する。
その後、再度の垂直同期信号VDを待って(図18の(A)−(10))、以下同様の作用を繰り返す。
以上説明したように上記一実施形態によれば、固体撮像素子11は、受光面に設けられたマイクロレンズ103と、マイクロレンズ103を介して観察対象物から入射する光を受光して通常画像データを取得する通常画像取得用の第1受光素子101(フォトダイオード)と、第1受光素子101の下層に設けられマイクロレンズ103及び第1受光素子101を介して観察対象物から入射する光を受光して観察対象物までの距離に関する情報を取得する距離画像検出用の第2受光素子102(TOF式距離画像センサー)とを積層構造を成して一単位の受光部100が形成され、この受光部100が2次元に配列して形成されている。
この構成により、本実施形態の固体撮像素子11は、通常画像データと距離画像データとを同時に取得することができる。したがって、通常画像データに基づいて観察対象物の判別を行うことができると同時に、観察対象物までの距離データを取得することができる。
また、第2受光素子102の受光面積は、第1受光素子101の受光面積よりも大きく設定したので、第1受光素子101を透過した光を受ける第2受光素子102の受光量を確保することができ、よって、高精度な距離画像データを取得することができる。
第1受光素子101及び第2受光素子102によって光電変換された電気信号を読み出す信号読出部22は、第1受光素子101又は第2受光素子102のいずれか一方の信号読出処理の終了後に、第1受光素子101又は第2受光素子102のいずれか他方の信号読出処理を実行するように構成している。
つまり、第1受光素子101による通常画像データの信号読出処理の終了後におけるブランキング期間中に、第2受光素子102による距離画像データの信号読出処理を実行するようにしたので、距離データ取得のための駆動期間を特別に設ける必要がない。したがって、処理の高速化に寄与すると共に、省電力化に寄与することができる。
第1受光素子101又は第2受光素子102の信号読出処理や、照明ユニット30の照明制御は、垂直同期信号VDに同期させて行うように構成している。これにより、常に正確なタイミングで信号読出処理や照明制御を実行できる。
照明ユニット30は、第1受光素子101に対応する第1照明部31と、第2受光素子102に対応する第2照明部32とを有して構成している。そして、第1照明部31と第2照明部32とは、それぞれが異なる波長の照明光を照射するように構成している。ここで、例えば第1照明部31は通常光を照射し、第2照明部32は特殊光(例えば蛍光や赤外光等)を照射する。これにより、第1受光素子101によって通常画像データを取得することができると共に、第2受光素子102によって蛍光画像データ,赤外光画像データ等を同時に取得することができる。
また、第1受光素子101Aは、少なくとも一部が分割された複数の受光素子(101Aa,101Ab,101Ac,101Ad)を有して形成されている。これにより、当該第1受光素子101Aは、分割された複数の受光素子(101Aa,101Ab,101Ac,101Ad)がそれぞれ位相の異なる画像データを取得して、フォーカスに関するフォーカスデータをも生成することができる。
したがって、第1受光素子101Aによって取得されたフォーカスデータと、第2受光素子102によって取得された距離画像データとを用いることで、より正確で高速な焦点調節動作を実現できる。
本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用を実施することができることは勿論である。さらに、上記実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせによって、種々の発明が抽出され得る。例えば、上記一実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題が解決でき、発明の効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。この発明は、添付のクレームによって限定される以外にはそれの特定の実施態様によって制約されない。
本発明は、光学像を受けて光電変換を行う固体撮像素子を含んで構成される各種の電子機器、例えばデジタルカメラ,ビデオカメラ,ムービーカメラ,携帯電話,スマートフォン,電子手帳,電子辞書,携帯情報端末,パーソナルコンピュータ,タブレット型端末機器,ゲーム機器,テレビジョン受像器,時計,GPS(Global Positioning System)を利用したナビゲーション機器等の撮像機能付き電子機器のほか、望遠鏡,双眼鏡,単眼鏡,顕微鏡,試料観察装置等の観察用電子機器等に対して適用することができる。
さらに、本発明は、内視鏡,顕微鏡のような産業用若しくは医療用の観察装置等のほかにも、監視カメラや車載用カメラ等の撮像観察装置に対しても同様に適用することができる。
1……観察装置
10……撮像ユニット
11,11A,11B,11C,11D……固体撮像素子
12……撮像光学系
13……レンズ駆動部
14……撮像ユニット駆動部
20……コントロールユニット
21……制御部
22……信号読出部
22a……第1信号読出部
22b……第2信号読出部
23……画像処理部
24……信号解析部
25……計数部
26……外部インターフェース部
30……照明ユニット
31……第1照明部
32……第2照明部
33……照明光反射板
40……表示ユニット
50……培養器
51……試料
100,100A,100B,100C,100D……受光部
101,101A……第1受光素子
101Aa,101Ab,101Ac,101Ad……複数の受光素子
102,102B,102C,102D,102E……第2受光素子
103……マイクロレンズ
104……配線
105……カラーフィルタ
111……第1水平垂直ドライバ
112……第2水平垂直ドライバ
113……発振素子
114……タイミングコントローラ
115……AD変換部
10……撮像ユニット
11,11A,11B,11C,11D……固体撮像素子
12……撮像光学系
13……レンズ駆動部
14……撮像ユニット駆動部
20……コントロールユニット
21……制御部
22……信号読出部
22a……第1信号読出部
22b……第2信号読出部
23……画像処理部
24……信号解析部
25……計数部
26……外部インターフェース部
30……照明ユニット
31……第1照明部
32……第2照明部
33……照明光反射板
40……表示ユニット
50……培養器
51……試料
100,100A,100B,100C,100D……受光部
101,101A……第1受光素子
101Aa,101Ab,101Ac,101Ad……複数の受光素子
102,102B,102C,102D,102E……第2受光素子
103……マイクロレンズ
104……配線
105……カラーフィルタ
111……第1水平垂直ドライバ
112……第2水平垂直ドライバ
113……発振素子
114……タイミングコントローラ
115……AD変換部
Claims (15)
- 受光面に設けられたレンズと、
前記レンズを介して対象物から入射する光を受光する第1の受光素子と、
前記第1の受光素子の下層に設けられ、前記レンズ及び前記第1の受光素子を介して前記対象物から入射する光を受光して対象物までの距離に関する情報を取得する第2の受光素子と、
が積層構造を成して一単位の受光部が形成されており、
前記受光部が2次元に配列して形成されていることを特徴とする固体撮像素子。 - 前記第1の受光素子は、光を検出して電荷を発生させるフォトダイオードであり、
前記第2の受光素子は、TOF(Time of Flight)法によって距離計測を行うTOF式距離画像センサーである
ことを特徴とする請求項1に記載の固体撮像素子。 - 前記第2の受光素子は、前記第1の受光素子よりも受光面積が大きいことを特徴とする請求項1に記載の固体撮像素子。
- 光電変換された電気信号を読み出す信号読出部を、さらに有し、
前記信号読出部は、前記第1の受光素子又は前記第2の受光素子のいずれか一方の信号読出処理の終了後に、前記第1の受光素子又は前記第2の受光素子のいずれか他方の信号読出処理を実行することを特徴とする請求項1に記載の固体撮像素子。 - 前記第1の受光素子又は前記第2の受光素子のいずれか一方の信号読出処理は、垂直同期信号に同期して行われることを特徴とする請求項4に記載の固体撮像素子。
- 対象物を照射する照明部を、さらに有し、
上記照明部は、垂直同期信号に同期して照明制御を行うことを特徴とする請求項1に記載の固体撮像素子。 - 前記照明部は、前記第1の受光素子と前記第2の受光素子とのそれぞれに対して異なる波長の照明光を照射することを特徴とする請求項6に記載の固体撮像素子。
- 前記第1の受光素子は、入射光量に応じた電荷量に関する出力を行い、
前記第1の受光素子のうちの少なくとも一部は、分割された複数の受光素子を有し、
前記第1の受光素子のうちの前記分割された複数の受光素子は、フォーカスに関するフォーカスデータを生成することを特徴とする請求項1に記載の固体撮像素子。 - 前記第2の受光素子のうちの少なくとも一部は、対象物までの距離に応じた光の飛行時間に関する出力を行い、対象物までの距離に関する距離データを生成することを特徴とする請求項1に記載の固体撮像素子。
- 前記第1の受光素子又は前記第2の受光素子からの出力に基づいてデータ解析を行う解析部を、さらに有し、
前記解析部は、前記フォーカスデータに基づいて対象物までの距離を算出することを特徴とする請求項8に記載の固体撮像素子。 - 前記第1の受光素子又は前記第2の受光素子からの出力に基づいてデータ解析を行う解析部を、さらに有し、
前記解析部は、前記距離データに基づいて対象物までの距離を算出することを特徴とする請求項9に記載の固体撮像素子。 - 前記第1の受光素子は、グローバルシャッタ機能を有することを特徴とする請求項1に記載の固体撮像素子。
- 受光面に設けられたレンズと、前記レンズを介して対象物から入射する光を受光する第1の受光素子と、前記第1の受光素子の下層に設けられ前記レンズ及び前記第1の受光素子を介して前記対象物から入射する光を受光して対象物までの距離に関する情報を取得する第2の受光素子とが積層構造を成して一単位の受光部が形成されており、前記受光部が2次元に配列して形成されている固体撮像素子と、前記固体撮像素子の受光面に観察対象物の光学像を結像させる撮像光学系と、を有する撮像ユニットと、
観察対象物に照明光を照射する照明ユニットと、
前記撮像ユニットによって取得された画像信号に基づいて観察対象物の画像を表示する表示ユニットと、
前記撮像ユニット,前記照明ユニット,前記表示ユニットをそれぞれ駆動制御する制御部を有するコントロールユニットと、
を具備して構成される観察装置。 - レンズと第1の受光素子と第2の受光素子とを積層構造で形成した受光部を2次元に配列して形成した固体撮像素子の駆動方法であって、
前記第1の受光素子からの信号読出処理の終了後に、前記第2の受光素子の信号読出処理を実行することを特徴とする固体撮像素子の駆動方法。 - レンズと第1の受光素子と第2の受光素子とを積層構造で形成した受光部を2次元に配列して形成した固体撮像素子の駆動用プログラムであって、
垂直同期信号を発生させる手順と、
前記垂直同期信号に同期させて前記第1の受光素子及び第1照明部の駆動制御を開始させる手順と、
前記第1の受光素子及び前記第1照明部の駆動制御の開始から所定時間の経過後に、前記第1の受光素子及び前記第1照明部の駆動を停止させる手順と、
前記第1の受光素子及び前記第1照明部の駆動停止後に、前記第2の受光素子及び第2の照明部の駆動制御を開始させる手順と、
前記第2の受光素子及び前記第2照明部の駆動制御の開始から所定時間の経過後に、前記第2の受光素子及び前記第2照明部の駆動を停止させる手順と、
をコンピュータに実行させるための固体撮像素子の駆動用プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017114268A JP2018207446A (ja) | 2017-06-09 | 2017-06-09 | 固体撮像素子,当該固体撮像素子を用いた観察装置,固体撮像素子の駆動方法及び駆動用プログラム |
US15/992,142 US10616508B2 (en) | 2017-06-09 | 2018-05-29 | Solid state imaging sensor, observation apparatus using solid state image sensor, method for driving image pickup section, and recording medium for recording program for driving image pickup section |
CN201810568449.6A CN109040536B (zh) | 2017-06-09 | 2018-06-05 | 固体摄像元件、观察装置、摄像部的驱动方法和记录介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017114268A JP2018207446A (ja) | 2017-06-09 | 2017-06-09 | 固体撮像素子,当該固体撮像素子を用いた観察装置,固体撮像素子の駆動方法及び駆動用プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018207446A true JP2018207446A (ja) | 2018-12-27 |
Family
ID=64563772
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017114268A Pending JP2018207446A (ja) | 2017-06-09 | 2017-06-09 | 固体撮像素子,当該固体撮像素子を用いた観察装置,固体撮像素子の駆動方法及び駆動用プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10616508B2 (ja) |
JP (1) | JP2018207446A (ja) |
CN (1) | CN109040536B (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6805448B2 (ja) * | 2019-04-23 | 2020-12-23 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 制御装置、撮像システム、移動体、制御方法、及びプログラム |
JP6841366B2 (ja) * | 2019-08-30 | 2021-03-10 | Toto株式会社 | 便座装置及び***物検知装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9264676B2 (en) * | 2012-01-06 | 2016-02-16 | Microsoft Technology Licensing, Llc | Broadband imager |
US8569700B2 (en) * | 2012-03-06 | 2013-10-29 | Omnivision Technologies, Inc. | Image sensor for two-dimensional and three-dimensional image capture |
JP6452354B2 (ja) | 2014-09-01 | 2019-01-16 | キヤノン株式会社 | 撮像装置 |
US9826214B2 (en) * | 2014-09-08 | 2017-11-21 | Microsoft Technology Licensing, Llc. | Variable resolution pixel |
US9437633B2 (en) * | 2014-11-06 | 2016-09-06 | Taiwan Semiconductor Manufacturing Company, Ltd. | Depth sensing pixel, composite pixel image sensor and method of making the composite pixel image sensor |
JP6688165B2 (ja) * | 2016-06-10 | 2020-04-28 | キヤノン株式会社 | 撮像装置及び撮像システム |
JP2018036102A (ja) * | 2016-08-30 | 2018-03-08 | ソニーセミコンダクタソリューションズ株式会社 | 測距装置、および、測距装置の制御方法 |
US10129377B2 (en) * | 2017-01-04 | 2018-11-13 | Essential Products, Inc. | Integrated structure including image capture and depth sensing components |
US10271037B2 (en) * | 2017-01-20 | 2019-04-23 | Semiconductor Components Industries, Llc | Image sensors with hybrid three-dimensional imaging |
-
2017
- 2017-06-09 JP JP2017114268A patent/JP2018207446A/ja active Pending
-
2018
- 2018-05-29 US US15/992,142 patent/US10616508B2/en active Active
- 2018-06-05 CN CN201810568449.6A patent/CN109040536B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
US10616508B2 (en) | 2020-04-07 |
CN109040536B (zh) | 2020-12-15 |
US20180359433A1 (en) | 2018-12-13 |
CN109040536A (zh) | 2018-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9798129B2 (en) | Microscope system and method for deciding stitched area | |
JP2002369049A (ja) | 画像検出装置と絞り装置 | |
KR102053316B1 (ko) | 디지털 촬영장치 | |
US9632303B2 (en) | Optical microscope, and autofocus device for optical microscope | |
JP2006163094A (ja) | デジタル一眼レフカメラ | |
JP2008141666A (ja) | 立体視画像作成装置、立体視画像出力装置及び立体視画像作成方法 | |
JP2014150412A (ja) | 画像取得装置及び撮像装置 | |
US20190049710A1 (en) | Image forming apparatus, image forming method, image forming system, and recording medium | |
JP2012138891A (ja) | 撮像装置 | |
JP2016127043A (ja) | 固体撮像素子及び電子機器 | |
JP4786207B2 (ja) | 顕微鏡システム | |
CN1847905A (zh) | 对焦检测设备和用于对焦检测的信号处理方法 | |
CN109040536B (zh) | 固体摄像元件、观察装置、摄像部的驱动方法和记录介质 | |
KR102068744B1 (ko) | 초점 검출장치 | |
JP2023535916A (ja) | 深度データ測定機器及び構造化光投影ユニット | |
JP2014165778A (ja) | 固体撮像素子、撮像装置及び焦点検出装置 | |
JP6380986B2 (ja) | 撮影装置および方法 | |
JP2013122494A (ja) | 焦点検出装置およびカメラ | |
US7912364B2 (en) | Optical observation apparatus and image-pickup apparatus | |
JP2012128098A (ja) | 撮像装置 | |
CN112285915B (zh) | 增强现实组件以及显微镜 | |
US20240177442A1 (en) | Highly efficient active illumination imaging systems and methods | |
US20150124074A1 (en) | Image acquisition apparatus and image acquisition method | |
JP2004294270A (ja) | レンズアレイ装置、撮像装置、及び、輝度分布測定装置 | |
JP2015159541A (ja) | 画像取得装置及び撮像装置 |