JP6661617B2 - 光センサ及びカメラ - Google Patents

光センサ及びカメラ Download PDF

Info

Publication number
JP6661617B2
JP6661617B2 JP2017513116A JP2017513116A JP6661617B2 JP 6661617 B2 JP6661617 B2 JP 6661617B2 JP 2017513116 A JP2017513116 A JP 2017513116A JP 2017513116 A JP2017513116 A JP 2017513116A JP 6661617 B2 JP6661617 B2 JP 6661617B2
Authority
JP
Japan
Prior art keywords
light
camera
scene
storage
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017513116A
Other languages
English (en)
Other versions
JP2017527222A (ja
Inventor
コーエン,デイヴィッド
タドモル,エレズ
ヤハヴ,ジオラ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2017527222A publication Critical patent/JP2017527222A/ja
Application granted granted Critical
Publication of JP6661617B2 publication Critical patent/JP6661617B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/781Details
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4816Constructional features, e.g. arrangements of optical elements of receivers alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4912Receivers
    • G01S7/4913Circuits for detection, sampling, integration or read-out
    • G01S7/4914Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4912Receivers
    • G01S7/4915Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14603Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14607Geometry of the photosensitive area
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14609Pixel-elements with integrated switching, control, storage or amplification elements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14609Pixel-elements with integrated switching, control, storage or amplification elements
    • H01L27/14612Pixel-elements with integrated switching, control, storage or amplification elements involving a transistor
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14627Microlenses
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14643Photodiode arrays; MOS imagers
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/148Charge coupled imagers
    • H01L27/14806Structural or functional details thereof
    • H01L27/14812Special geometry or disposition of pixel-elements, address lines or gate-electrodes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

カメラは典型的に、例えばCCD(電荷結合素子)又はCMOS(相補型金属酸化膜半導体)光センサなどの光センサを有しており、その上に、カメラによって撮像されるシーンからの光が、カメラの露光期間にわたって、カメラの光学系によってフォーカシング(焦点合わせ)されることで、シーンの画像が取得される。光センサは典型的に、カメラの光学系によって光センサ上にフォーカシングされた光を記録する行及び列をなす感光ピクセルのアレイを有する。これらのピクセル(画素)によって記録された光の量が決定され、シーンの画像を提供するために使用される。
光センサ内のピクセルは、光学系によって当該ピクセル上に結像されたシーンの領域からの入射光を、この入射光によって当該ピクセル内で生成された電子−正孔対によって提供される正又は負の電荷を蓄積することによって記録する。光によって生成される電子−正孔対からの電子又は正孔によって提供される電荷は、しばしば、“光電荷”として参照される。電子−正孔対は、ピクセルが有するフォトダイオードの空乏領域の中で生成されることができ、そして、電子又は正孔が、フォトダイオードに隣接した、ピクセルの蓄積領域に転送される。場合により“転送電圧”と称される電圧を、蓄積領域の上に位置する導電性の“転送”ゲートに印加することで、電子又は正孔がフォトダイオードから蓄積領域へと転送される。光センサ内のピクセルの蓄積領域に蓄積された光電荷は電圧に変換され、そして、ピクセル群によって提供される電圧のセット(組)を用いてシーンの画像を作り出し得る。光センサによって提供されるこの電圧セットは、光センサの“フレーム”として参照され得る。光センサが有する半導体材料のドーピング構造が、入射光によって生成された電子又は正孔のどちらを光センサ内のピクセルが蓄積するのかを決定する。通常、ピクセルは、電子−正孔対に由来する電子(従来から光電子としても参照されている)を蓄積することで入射光を記録する。
カメラの露光期間は一般的に、例えばカメラ光学系の焦点距離及びシーンから利用可能な光など、その下でシーンが撮像される所与の撮影条件で、カメラの光センサ内のピクセルがシーンの満足な画像を提供するのに十分な量の光を記録するように、制御可能である。例えば、光センサ内のピクセルが、薄暗く照らされたシーンの満足な画像を提供するのに十分な光を記録するため、カメラは有利には、比較的長い露光期間の間、シーンからの光を取得するように制御され得る。明るく照らされたシーンを撮像することには、比較的短い露光期間で十分であり得る。
一部の特殊目的のカメラは、露光期間について特別な制約を用いて動作することができる。例えば、飛行時間(TOF)3次元(3D)測距カメラは、それが撮像するシーンの距離画像を取得する。距離画像は、シーン内のフィーチャ(造形物)までの距離を提供する。このカメラは、カメラからフィーチャまで、そしてカメラに戻るまで、光が往復するのにどれだけ長く要するかを決定することによって、撮像シーン内のフィーチャまでの距離を決定する。往復時間は、シーンを照らすように光のパルス群を送出し、フィーチャ群によって反射された送出光パルス内の光が、カメラからフィーチャへ、そしてカメラに戻るように伝播するのに、どれだけ長く要するかを測定することによって決定され得る。このカメラは、複数の異なる露光期間の各々の間にシーンからカメラに戻る送出光パルスからの光を記録することで、往復時間を決定するためのデータを取得し得る。それらの露光期間は、それらそれぞれの継続時間についての、及び光パルスの送出時間に対するそれらそれぞれのタイミングについての、比較的厳しい制約を満足する必要があり得る。
カメラ露光期間の継続時間は、一般に、入射光に対するカメラの光センサ内のピクセルの感度の関数である。高めの光感度によって特徴付けられるピクセルを有する光センサは、一般に、低めの光感度のピクセルを持つ光センサを用いてシーンを撮像するのに有利な光強度よりも低い、シーンからの光の強度で、シーンの満足な画像を取得するように動作可能である。入射光に対するピクセル感度は概して、ピクセル内のフォトダイオードのサイズが大きくなるにつれて上昇する。所与の露光期間で、大きめのフォトダイオードを持つピクセルは、小さめのフォトダイオードを持つピクセルよりも多くの光電荷を蓄積する。大きめのフォトダイオードを持つ光センサは、故に、小さめのフォトダイオードを持つピクセルを有するカメラよりも低い光強度で、シーンの満足な画像を提供することが可能であり得る。しかしながら、カメラの光センサ内のフォトダイオードがサイズ的に大きくなるにつれ、光センサの空間分解能、及びそれが作り出す画像の空間解像度が低下する。
本発明の一実施形態の一態様は、ピクセルに印加される電圧によって空間解像度が制御される感光ピクセルを有する光センサ(以下、“マルチモード光センサ”とも称する)を提供することに関する。一実施形態において、各“マルチモードピクセル”が、例えばCMOS又はCCD技術などの好適技術を用いて製造された、例えばフォトダイオード又はフォトゲートなどの感光領域を有する。各感光領域が、該感光領域内で生成された光電荷を蓄積する複数の光電荷蓄積領域と関連付けられる。各光電荷蓄積領域は、それ自身の転送ゲート及び少なくとも1つのマイクロレンズと関連付けられる。所与の蓄積領域に付随する該少なくとも1つのマイクロレンズが、該マイクロレンズに入射する光を、ピクセルのその他の蓄積領域に対してよりもこの所与の蓄積領域に対して近い感光領域の領域に導き、そこで感光領域が光を電子−正孔対に変換する。以下、本明細書においては、提示の単純さのため、ピクセルの感光領域はフォトダイオードであると仮定する。
実質的に同じ適切な転送電圧がピクセルの全ての転送ゲートに同時に印加されるとき、転送電圧によってフォトダイオード内に生成される電界が、所与のマイクロレンズに入射する光からフォトダイオード内で生成された光電荷を、実質的に、該マイクロレンズに付随する蓄積領域のみに転送するよう作用する。各蓄積領域が、それに付随するマイクロレンズに入射する光の量に応じた光電荷を、ピクセル内のその他のマイクロレンズに入射する光の量とは実質的に独立に、蓄積する。故に、ピクセルは、オプションで数的にマイクロレンズ数に等しいとし得る複数のいっそう小さいピクセルとして動作する。これらの、より小さいピクセルは、ピクセルの生来の寸法に対して縮小された寸法を持ち、マイクロレンズ寸法と印加される転送電圧とによって実質的に決定される高められた空間解像度を伴う。ピクセルの全ての転送ゲートへの同じ転送電圧の印加を用いて動作しているとき、そのピクセルは高空間解像度モードで動作していると言い得る。
転送ゲートのうちの1つのみに転送電圧が印加されるとき、それに付随する蓄積領域が、フォトダイオードの実質的に全ての領域から光電荷を受け取り、ピクセルは、その生来寸法によって実質的に決定される空間解像度を持つ単一の非分割ピクセルとして動作する。ピクセル内の唯一の転送ゲートへの転送電圧の印加を用いて動作しているとき、そのピクセルは低空間解像度モードで動作していると言い得る。その転送ゲートのうちの全てよりは少ないが2つ以上に転送電圧を印加して動作している本発明の一実施形態に従ったピクセルは、中間の空間解像度モードで動作していると言い得る。
本発明の一実施形態において、フォトダイオード及びマイクロレンズは、光センサに対して垂直であり且つ実質的にフォトダイオードの中心にある軸の周りで、回転対称性を示すように構成される。一実施形態において、この回転対称性は、2以上の回数(次数)のものである。オプションで、この回転対称性の回数は4以上である。本発明の一実施形態において、マルチモードピクセルは、2つ以上の蓄積領域を有する。一実施形態において、マルチモードピクセルは、4つの蓄積領域を有する。
本発明の一実施形態の一態様は、光センサとコントローラとを有するカメラを提供することに関し、コントローラは、光センサの空間分解能を制御し、それによりカメラの空間解像度を制御するよう、光センサ内のピクセルの転送ゲートに印加される電圧を制御する。本発明の一実施形態において、コントローラは、カメラが撮影するシーンから利用可能な光に応じて電圧を制御する。オプションで、コントローラは、ピクセルの各々に届く光の強度を決定して、以下では写真とも称するシーンのコントラスト画像を取得するように、光センサ及び転送電圧を制御する。一実施形態において、カメラはTOF−3Dカメラであり、コントローラは、シーンの距離画像及びオプションでシーンの写真を取得するのに適した露光期間でカメラをON(オン)及びOFF(オフ)にシャッターするよう、光センサ及び転送電圧を制御する。
説明において、別の断りが述べられていない限り、例えば“実質的に”及び“約”などの、本発明の実施形態の1つ以上の特徴の条件又は関係性を修飾する副詞は、その条件又は特性が、意図される用途に関するその実施形態の動作にとって受け入れ可能である許容範囲内で規定されていることを意味するように理解される。別の断りが指し示されていない限り、明細書及び/又は請求項の中の用語“or”は、排他的なorではなく包含的なorであると見なされるものであり、それが結合するアイテムのうちの少なくとも1つ又は何らかの組み合わせを指し示すものである。
この概要は、詳細な説明で更に後述される複数の概念の一部を簡略化した形態で紹介するために提示されるものである。この概要は、特許請求に係る事項の主要な特徴や本質的な特徴を特定することを意図したものではないし、特許請求に係る事項の範囲を限定するために使用されることを意図したものでもない。
以下にて、本発明の実施形態の非限定的な例が、この段落に続けてリストアップされる添付図面を参照して説明される。2つ以上の図に現れる相等しい機構は、概して、それらが現れる図の全てにおいて同じ参照符号を付される。図中の本発明の実施形態の所与の機構を表現するアイコン又はその他の図式的なしるしに付されるラベルは、その所与の機構を参照するために使用されることがある。図中に示される構成要素及び機構の寸法は、提示の簡便さ及び明瞭さのために選ばれたものであり、必ずしも縮尺通りに示されているわけではない。
本発明の一実施形態に従った、マルチモードピクセルを有するマルチモード光センサを模式的に示している。 本発明の一実施形態に従った、ピクセル内の全ての転送ゲートが転送電圧を与えられたときの、図1Aに示したマルチモードピクセルにおける等電位線を模式的に示している。 本発明の一実施形態に従った、ピクセル内の転送ゲートのうちの異なる1つに転送電圧が与えられた状態での、図1Aに示したマルチモードピクセルにおける等電位線を模式的に示している。 本発明の一実施形態に従った、ピクセル内の転送ゲートのうちの異なる1つに転送電圧が与えられた状態での、図1Aに示したマルチモードピクセルにおける等電位線を模式的に示している。 本発明の一実施形態に従った、ピクセル内の転送ゲートのうちの異なる1つに転送電圧が与えられた状態での、図1Aに示したマルチモードピクセルにおける等電位線を模式的に示している。 本発明の一実施形態に従った、ピクセル内の転送ゲートのうちの異なる1つに転送電圧が与えられた状態での、図1Aに示したマルチモードピクセルにおける等電位線を模式的に示している。 本発明の一実施形態に従った、シーンを撮像してシーンの距離画像を取得するマルチモード光センサを有するTOF−3Dカメラを模式的に示している。 本発明の一実施形態に従った、図2Aに示したシーンの撮像中のTOF−3Dカメラにおける、マルチモード光センサの動作及び露光期間のタイミング関係を例示するグラフである。 本発明の一実施形態に従った、図2Aに示したシーンの撮像中のTOF−3Dカメラにおける、マルチモード光センサの動作及び露光期間のタイミング関係を例示するグラフである。 本発明の一実施形態に従った、図2Aに示したシーンの撮像中のTOF−3Dカメラにおける、マルチモード光センサの動作及び露光期間のタイミング関係を例示するグラフである。 本発明の一実施形態に従った、図2Aに示したシーンの撮像中のTOF−3Dカメラにおける、マルチモード光センサの動作及び露光期間のタイミング関係を例示するグラフである。 本発明の一実施形態に従った、図2Aに示したシーンの距離画像を提供するために使用されるTOF−3Dカメラによって取得されるデータのグラフを示している。 本発明の一実施形態に従ったマルチモード光センサを有するスマートフォンを模式的に示している。
図1Aは、本発明の一実施形態に従った、好適な基板31に形成されたピクセル30(マルチモードピクセル30とも称する)を有するマルチモード光センサ20の一部の簡略化された上面図を模式的に示している。マルチモード光センサ20は、CCD又はCMOS光センサとすることができ、例として、ピクセル30が有するフォトダイオード(以下参照)に入射する光によって生成される電子−正孔対からの光電子を蓄積することでピクセルに入射する光の量を記録するCMOS光センサであると仮定する。図1A及び後続の図に示されるピクセル30の機構は、必ずしもピクセル内の同一深さにあるものではない。これらの図は、マルチモード光センサ20の頂面(これらの図の紙面内にあると仮定)上へのこれらの機構の図解的な投影を示しており、これらの機構の相対的な横方向の位置を指し示すものである。
各マルチモードピクセル30は、オプションで、フォトダイオード32と4つの光電子蓄積領域41、42、43及び44を有する。転送ゲート50が、各蓄積領域41、42、43及び44の上に重なり、及びオプションで、フォトダイオード32の小さい領域の上に重なる。ピクセル30の構成要素は、オプションで、エピタキシャルpドープ層(図示せず)が上に形成された高濃度nドープされたシリコン基板31(図示せず)上に形成される。フォトダイオード32は、上記pドープエピタキシャル層内に形成されたnドープ領域のジャンクションに生成される空乏領域を有し得る。蓄積領域41、42、43及び44は、埋め込まれたnドープチャネルの部分とし得る。蓄積領域41、42、43及び44の上に位置する転送ゲート50は、例えば金属又はポリシリコンなどの様々な好適な導電材料のうちの何れかを用いて形成される。各ピクセル30は、各蓄積領域41、42、43及び44に蓄積された光電荷の量の測定値を、ピクセル30内のこれら蓄積領域のうちのその他のものに蓄積された光電荷の量とは独立に提供するように構成された読み出し(リードアウト)回路34を有し得る。フォトダイオード32は矩形のように示されているが、本発明の実施形態に従ったマルチモードピクセル内のフォトダイオードは、矩形以外の形状を有していてもよい。例として、フォトダイオードは、矩形以外の多角形形状を有していてもよいし、円形又は不規則形状であってもよい。
マイクロレンズ60のアレイが、フォトダイオード32の複数部分の上に重なる。オプションで、マイクロレンズのアレイは、所与の蓄積領域41、42、43及び44の各々に対してマイクロレンズ60を有し、これが、当該マイクロレンズに入射する光を、その他の蓄積領域に対してよりもその所与の蓄積領域に対して近いフォトダイオード32の領域に導く。図1Aにおいて、マイクロレンズ60内の星形のアイコン62は、そのマイクロレンズ60の焦点領域を表しており、そこにそのマイクロレンズ60は光を導く。本発明の一実施形態において、図1Aに示すように、マイクロレンズ60のアレイは有利には、当該アレイがフォトダイオード32の実質的全体の上に重なり、更にフォトダイオード32の外側の領域の上にも重なり得るように構成される。オプションで、全てのマイクロレンズ60が円形であり、同じ直径を持ち、且つ4回回転対称構成で配列される。
本発明の一実施形態において、マルチモード光センサ20をON及びOFFにシャッターするとともに、入射光に応答してピクセル30内で生成された光電子をピクセルの選択された蓄積領域41、…、44に導くために、基板31及び転送ゲート50に印加される電圧を、コントローラ(図1Aに示されず)が制御する。本発明の一実施形態において、コントローラは、基板31に、電圧VONを印加してマルチモード光センサ20をONにシャッターし、電圧VOFFを印加してマルチモード光センサ20をOFFにシャッターする。
OFFは、コントローラによって転送ゲート50に印加される転送電圧よりも正側の電圧であり、これが基板31に印加されるとき、マルチモードピクセル30内の光電子は基板31に流れ出て、蓄積領域41、…、44の何れにも蓄積されずに廃棄される。VONは、コントローラによって転送ゲート50に印加される転送電圧“VG+”よりも正側でない電圧であり、オプションで、共通グランド電圧である。コントローラが、基板31にVONを印加するとともに、ピクセル30の所与の蓄積領域41、…、44に付随する転送ゲート50に転送電圧VG+を印加するとき、フォトダイオード32内で生成される光電子は基板31に流れ出ない。転送電圧VG+は、その転送ゲートに付随する蓄積領域の方に光電子をドリフトさせて該蓄積領域に蓄積させる力をフォトダイオード内の光電子に印加する電界を、フォトダイオード32内に生成する。基板31を電圧VONに維持するとともに、ゲート50に転送電圧VG+を選択的に印加することにより、コントローラは、マルチモード光センサを有するカメラに、異なるシーケンス及びタイプの露光期間を提供するようにマルチモード光センサ20を動作させ、シーンの画像を取得するための異なる空間分解能を該カメラに提供し得る。
例として、図1Bは、ピクセルが有する全ての転送ゲート50にコントローラが同時に同じVG+を与える高空間解像度モードで動作しているマルチモードピクセル30を模式的に示している。転送ゲート50の陰影付けは、転送ゲートが転送電圧VG+によって帯電されることを指し示している。各転送ゲート50を帯電させる転送電圧は、蓄積領域に隣接するフォトダイオード32の部分から蓄積領域に光電子を引き付ける電界を、フォトダイオード32内に生成する。蓄積領域41、42、43、44が、その蓄積領域の転送ゲート50が転送電圧を与えられるときに、そこから光電子を集めるフォトダイオード32の部分は、フォトダイオードの“収集領域”として参照され得る。蓄積領域41、42、43、44の収集領域内の等高線70は、等電位面を表しており、以下では、生成される電界の“等電位面”又は“等電位線”とも称する。フォトダイオード32内の或る位置における電界の向きは、その位置での等電位面70に垂直であり、電界の強さは、その位置での等電位同士間の距離に反比例する。図1B中の“フィールド”矢印71が、帯電された転送ゲート50によってフォトダイオード32内の様々な位置に生成される電界の向きを模式的に指し示している。
図1Bに示した、蓄積領域41、…、44、転送ゲート50、及び同一転送電圧VG+による転送ゲート50の同時帯電の構成では、蓄積領域41、42、43、44のそれぞれの収集領域は、実質的に同じ形状及びサイズであり、隣接し合う収集領域内の電界は、実質的に互いの鏡像である。所与の蓄積領域41、42、43、44の収集領域は、その所与の蓄積領域に付随するマイクロレンズ60の下にあるフォトダイオード32の部分を有する。加えて、所与の蓄積領域の収集領域は、付随するマイクロレンズが上に重なってはいないが、他の蓄積領域のマイクロレンズに対してよりも付随するマイクロレンズに対して近いフォトダイオード32の領域を有し得る。所与の蓄積領域41、42、43、44の付随するマイクロレンズ60に対して近い、その蓄積領域の収集領域に含められるフォトダイオード32の上記領域は、収集領域の周辺領域として参照され得る。
各蓄積領域41、42、43、44によって、その付随する収集領域から集められる光電子は、その収集領域の上に位置するマイクロレンズ60によって収集領域に向けられる光、及びその収集領域の周辺領域に入射する光によって生成される。しかしながら、上述のように、また、図1A及び1Bに示されるマイクロレンズ60の構成によって指し示されるように、マイクロレンズ60は、フォトダイオード32の外側のピクセル30の領域の上に重なっている。所与の蓄積領域41、42、43、44に付随するマイクロレンズ60は、その収集領域よりも実質的に大きいとし得るピクセル30の領域から、その蓄積領域の収集領域に、光を集めて導き得る。ピクセル30が有する各蓄積領域41、42、43、44及び付随するマイクロレンズ60は、故に、ピクセル30よりも小さく、且つ付随するマイクロレンズの寸法によって実質的に決定される寸法を持った、独立したピクセルとして動作し得る。
図1Cは、コントローラが、基板31に電圧VONを印加するとともに蓄積領域41に付随する転送ゲート50のみに転送電圧VG+を印加する低空間解像度モードで動作しているピクセル30を模式的に示している。蓄積領域42、43、44に付随する転送ゲート50は、フローティングであり、あるいはVONに帯電され得る。蓄積領域41に付随する転送ゲート50に印加された転送電圧VG+は、フォトダイオード32内の実質的にあらゆる場所で生成される電子−正孔対によって提供される光電子について、それを蓄積領域41に移動させるように作用する電界を生成する。等電位線70は、生成される電界の構成を示しており、フィールド矢印71は、フォトダイオード32内の様々な位置における電界の向きを模式的に指し示している。この低解像度モードにおいて、マルチモードピクセル30は、ピクセルの生来の寸法によって実質的に決定される空間分解能を持ち、ピクセルに入射する光の強度は、(オプションで読み出し回路34によって提供される)蓄積領域41に蓄積された光電子の量の指標に応じて決定され得る。
なお、図1Cに模式的に示した低空間解像度モードで動作するとき、マルチモードピクセル30は、ピクセルが高空間解像度モードで動作することによって提供される空間解像度に対して約1/4の乏しさの空間解像度をもたらす。しかしながら、同じ強度の入射光及び同じ露光期間で、低空間解像度モードで動作するピクセル30は、フォトダイオード32内で生成される光電子を蓄えるのに使用される蓄積領域41、42、43、又は44の中で、高解像度モードで動作するときにピクセルが行うものの約4倍の多さの光電子を集める。故に、蓄積領域41、42、43又は44に蓄積される特定の最小数の光電子が、ショット雑音の有利な大きさによって特徴付けられる場合、ピクセル30は、ピクセルが高空間解像度モードでの最小動作を提供するための強度よりも約1/4の低さの入射光の強度で上記最小数を提供する。結果として、マルチモード光センサ20は有利には、低照度の条件下でシーンを撮像するために使用されるときに低空間解像度モードで動作され得る。
図1D、1E及び1Fは、図1Cに示した低空間解像度モードと同様の低空間解像度モードで動作しているピクセル30を模式的に示しているが、それぞれ蓄積領域42、43及び44に付随する転送ゲート50に転送電圧VG+が印加されている。
数値例として、マルチモード光センサ20は、約15μm(マイクロメートル)以下のピッチによって特徴付けられるマルチモードピクセル30を有し得る。各マルチモードピクセル30は、約8μmに等しい最大横方向寸法を持つフォトダイオード32を有し得る。約10μm又は約7μmのピッチを持つピクセル30に関し、フォトダイオード32は、それぞれ、約6μm又は4.5μmの最大横方向寸法を持ち得る。本発明の一実施形態に従ったマルチモードピクセルのフィルファクタは約70%以上であり得る。
図2Aは、本発明の一実施形態に従った、シーン130の距離画像を取得するように動作している、図1A−1Fに示したマルチモード光センサ20と同様のマルチモード光センサ20を有するTOF−3Dカメラ120を模式的に示している。物体131及び132を有するシーン130が模式的に示されている。
TOF−3Dカメラ120は、非常に模式的に表されたものであり、シーン130をマルチモード光センサ20上に結像するレンズ121によって表されたレンズ系を有する。オプションで、TOF−3Dカメラは、オプションでIR(赤外)光のパルスでシーン130を照らすように制御可能な、例えばレーザ若しくはLED又はレーザ及び/又はLEDのアレイなどの光源126を有する。コントローラ124が、光源126のパルス動作と、光源126によって放たれた光パルスからシーン内のフィーチャによって反射された光を用いたマルチモード光センサ20によるシーン130の撮像とを制御する。コントローラ124はオプションで、マルチモード光センサをON及びOFFにシャッターするために、それぞれ、VON及びVOFFを適用する。コントローラは、異なる露光期間において、異なる光電荷蓄積領域41、42、43及び44に付随する転送ゲート50に選択的に転送電圧VG+を印加して、シーン130をマルチモード光センサ20上に結像させる。シーン130内のフィーチャまでの距離を決定するためのデータを取得してシーンの距離画像を得るために、これら異なる露光期間は、シーン130を照らすように光源126が光パルスを送出する時間に対して時間を決められる。
本発明の一実施形態において、データ及びそれによるシーン130内のフィーチャまでの距離を取得するため、コントローラ124は、マルチモード光センサ20をONにするとともに、矩形パルス141のトレイン140によって図2Aに模式的に表された光パルスのトレインでシーン130を照らすように光源126を制御する。シーン130内のフィーチャが、送出された光パルストレイン140からの光を、反射光パルストレインにてTOF−3Dカメラに反射し返す。例として、図2Aは、物体132及び131それぞれのフィーチャA及びBによって反射された光パルス146及び148をそれぞれ有する反射光パルストレイン145及び147を模式的に示している。例えば反射光パルストレイン145内の反射光パルス146又は反射光パルストレイン147内の反射光パルス148などの、反射光パルストレイン内の各反射光パルスは、送出光パルス141のものと実質的に同じパルス形状及び幅を持つ。同一の反射光パルストレイン内の反射パルスの繰り返し周期は、送出光パルストレイン140内の送出光パルス141の繰り返し周期と実質的に同じである。光パルス141、146及び148は、オプションで約10−30ns(ナノ秒)の間の、パルス幅“τ”を有し得る。
各送出光パルス141の送出後の所定の遅延の後、コントローラ124は、マルチモード光センサ20の露光期間を決定する電圧設定をマルチモード光センサ20に与え、その露光期間の間、マルチモード光センサ20は、シーン130内のフィーチャによって送出光パルスから反射された光パルスの光を記録する。一実施形態において、コントローラ124は、少なくとも1つの蓄積領域41、42,43又は44に付随する転送ゲート50に転送電圧VG+を印加するとともに、露光期間のタイミング及び継続時間を決定する電圧VON及びVOFFをマルチモード光センサ20の基板31(図1A)に印加する。露光期間の間、マルチモード光センサ20のピクセル30に入射した光によって生成された光電子が、その蓄積領域に関して転送ゲート50が転送電圧によって帯電されているそのピクセルの少なくとも1つの蓄積領域41、42、43又は44に、ドリフトして、そこに蓄積される。
所与のピクセル30が、当該所与のピクセル上に結像された、シーン130内のフィーチャによって送出光パルス141から反射された反射光パルスから、露光期間中に記録する光の量は、露光期間と反射光パルスとの畳み込み(コンボリューション)に実質的に比例する。この畳み込みは、送出光パルス141の送出の時間と露光期間との間の所定の遅延、撮像されるフィーチャのTOF−3Dカメラ120からの距離、反射光パルスの形状及び露光期間の関数である。
本発明の一実施形態において、コントローラ124は、3つの異なるタイプの露光期間に間にシーン130のフィーチャによって反射された反射光パルスの光を記録するように、マルチモード光センサ20を制御する。図2B、図2C及び図2Dそれぞれのグラフ181、182及び183は、光源126によって送出される光パルスとピクセル30の露光期間とを模式的に表したものを示している。これらのグラフは、3つのタイプの露光期間、及び、露光期間と送出光パルス141との間の時間的関係を例示している。
図2Bに示されるグラフ181は、“二重露光期間”として参照する2つの順次の構成露光期間をオプションで有する第1タイプの露光期間を例示している。このグラフは、“照射”というラベルが付されたグラフ線191に沿った、時間Tに送出される送出光パルス141と、グラフ線192に沿った、蓄積領域41、42、43又は44の転送ゲート50にコントローラ124によって印加される電圧と、“基板”というラベルが付されたグラフ線193に沿った、マルチモード光センサ20の基板31に印加される電圧とを模式的に示している。この複合的な露光期間の間に光電子を蓄積するよう、コントローラ124はオプションで、グラフ線192に沿って示される転送電圧VG+を、ピクセル30の蓄積領域41に付随する転送ゲート50のみに印加する。転送電圧VG+は、光パルス141の送出に先立って印加され得る。図2B中の挿絵195は、ピクセル30と、ピクセルの蓄積領域41に付随する転送ゲート50とを模式的に示しており、蓄積領域41に付随する転送ゲート50は、光電荷蓄積領域41の転送ゲート50のみに転送電圧VG+が印加されることを図形的に指し示すために陰影付けることによって区別されている。グラフ線192も、蓄積領域41の転送ゲート50のみが転送電圧VG+を与えられることを指し示すために、41−VG+なるラベルを付されている。コントローラ124は、光パルス141の送出に先立って基板31に電圧VOFFを印加する。基板31上にVOFFが維持される限り、マルチモード光センサ20内のピクセル30のフォトダイオード32に入射する光によって生成される光電子は、基板31に流れ出て、マルチモード光センサ内のピクセルの何れの蓄積領域によっても蓄積されない。
遅延時間T後、コントローラ124は、二重露光期間のうちの第1の構成露光期間において、そしてその後に再び、二重露光期間のうちの第2の構成露光期間における遅延時間Tに、マルチモード光センサ20の基板31に電圧VON(グラフ線193)を印加して光を記録する。オプションで、これらの構成露光期間は、送出光パルスのものに等しい継続時間を有し、例として、T−Tは、約6ns以上且つ約30ns以下とし得る。コントローラ124が基板31にVONを印加する構成露光期間の各々の間、送出光パルス141から反射された光パルスの光によってピクセル30のフォトダイオード32内のあらゆる場所で生成された光電子が、ピクセルの蓄積領域41にドリフトし、その中に蓄積される。所与のピクセル30の蓄積領域41が、当該所与のピクセル上に結像された、シーン130内のフィーチャによって送出光パルス141から反射された光パルスから、二重露光期間中に蓄積する光の量は、二重露光期間と反射光パルスとの畳み込みに実質的に比例する。本発明の一実施形態において、コントローラ124は、パルストレイン140内の複数の光パルス141の各々に関する二重露光期間の間、光電子を蓄積するようにマルチモード光センサ20を制御する。
図2Cのグラフ182は、本発明の一実施形態に従った、3つの露光期間のうちの第2タイプの露光期間を模式的に例示している。第2タイプの露光期間では、コントローラ124は、オプションで、蓄積領域42に付随する転送ゲート50のみに転送電圧を印加する。図2Cにおいて、グラフ182中のグラフ線192は、42−VG+なるラベルを付されており、挿絵195は、蓄積領域42の転送ゲート50のみが転送電圧VG+を与えられることを指し示すために陰影付けられた蓄積領域42の転送ゲート50を示している。コントローラ124は、シーン130を照らすように光パルス141が送出される時間T後の時間Tに第2タイプの露光期間を開始するように、マルチモード光センサ20の基板31に電圧VON及びVOFFを印加する(グラフ線193)。オプションで、T2は、Tよりも遅延時間ΔT12だけ後であり、且つTよりも先である。例として、ΔT12は、約2ns以上且つ約10ns以下とし得る。第2タイプの露光期間の間、送出光パルス141(グラフ線191)から反射された光パルスの入射光によって生成された光電子が、蓄積領域42内に蓄積される。本発明の一実施形態において、コントローラ124は、パルストレイン140内の複数の光パルス141の各々に関する第2タイプの露光期間の間、光電子を蓄積するようにマルチモード光センサ20を制御する。
図2Dのグラフ183は、本発明の一実施形態に従った、3つの露光期間のうちの第3タイプの露光期間を模式的に例示している。第3タイプの露光期間は、オプションで、第2タイプの露光と同様であるが、Tよりも先であり且つTよりも時間ΔT23の期間だけ後であるとし得る時間Tに開始する。例として、ΔT23は、約2ns以上且つ約10ns以下とし得る。第3タイプの露光期間では、コントローラ124は、オプションで、蓄積領域43に付随する転送ゲート50のみに転送電圧を印加する。図2Dにおいて、グラフ183中のグラフ線192は、43−VG+なるラベルを付されており、挿絵195は、蓄積領域43の転送ゲート50のみが転送電圧VG+を与えられることを指し示すために陰影付けられた蓄積領域43の転送ゲート50を示している。第3タイプの露光期間の間、送出光パルス141から反射された光パルスの入射光によって生成された光電子が、蓄積領域43内に蓄積される。本発明の一実施形態において、コントローラ124は、パルストレイン140内の複数の光パルス141の各々に関する第3タイプの露光期間の間、光電子を蓄積するようにマルチモード光センサ20を制御する。
本発明の一実施形態において、コントローラ124は、TOF−3Dカメラ120に到達する背景光の量を決定するために、シーンが光パルスで照らされないときの或る露光期間中にシーン130を撮像するよう、マルチモード光センサ20を制御する。オプションで、コントローラ124は、図2E中のグラフ184に模式的に例示されるように、マルチモード光センサ20を動作させ、電圧VONによって決定される露光期間の間、蓄積領域44に光電荷を蓄積するよう、光電荷蓄積領域44の転送ゲート50のみに転送電圧VG+を印加する。
蓄積領域41、42、43及び44内での光電荷の蓄積後、コントローラ124は、マルチモード光センサ20のフレームを取得することで、各マルチモードピクセル30の蓄積領域41、42、43及び44に蓄積された光電子の量の指標を提供する電圧を得る。コントローラ124は、各ピクセル30の蓄積領域41、42、43及び44に蓄積された光電子の測定量を、そのピクセルの蓄積領域44に蓄積された光電子の測定量に応じた、背景光によって蓄積領域に蓄積された光電子に関して補正する。ピクセル30の蓄積領域41、42及び43に関する補正された指標は、それぞれ、二重露光期間、第2タイプの露光期間、及び第3タイプの露光期間の間に送出光パルス141からピクセル上に結像された、シーン130内のフィーチャによって反射された光パルスの上記畳み込みに比例する。コントローラ124は、これらの畳み込みの指標を用いて、TOF−3Dカメラ120からフィーチャまでの距離を決定する。
例えば、物体132のフィーチャA(図2A)が結像されるピクセル130の蓄積領域41、42及び43に関する補正された指標は、二重、第2タイプ、及び第3タイプの露光期間の、反射光パルス146との畳み込みの指標を提供する。コントローラ124は、これらの指標を用いて、TOF−3Dカメラ120からのフィーチャAの距離を決定し得る。
例として、シーン130内のフィーチャを撮像する所与のピクセル30の光電荷蓄積領域41、42及び43に関して決定された畳み込みを、それぞれ、C41、C42及びC43とする。C41、C42及びC43の値を、図2Fのグラフ185に、該グラフの横座標に沿って示したセンチメートル(cm)単位でのフィーチャの距離の関数として示す。このグラフの縦座標は、任意単位で目盛り付けられている。所与のピクセル上で撮像されたフィーチャの距離は、その所与のピクセルに関して決定されたC41、C42及びC43の値から求められ得る。グラフ185は、C41、C42及びC43によって表された決定値を示している。このグラフから、これらの決定値が、約125cmに等しい撮像フィーチャの距離に対する値と最も適合することが分かる。
本発明の一実施形態において、マルチモード光センサ20と同様の光センサが、本発明の一実施形態に従ったシーンの写真を取得するように動作するカメラに含められ得る。例として、図3は、本発明の一実施形態に従ったマルチモード光センサ20を持つカメラ202を有するスマートフォン200を模式的に示している。図3は、シーン300を撮像するために使用されているスマートフォンカメラ202を模式的に示している。
本発明の一実施形態において、スマートフォン200内のコントローラ(図示せず)が、スマートフォンカメラ202によってシーン300から収集される光の強度の指標と強度閾値とに応じて、高空間解像度モード又は低空間解像度モードで動作するようにマルチモード光センサ20を制御する。収集される光の強度は、スマートフォン200が有する何らかの好適な光メータ及び/又はアプリケーション(図示せず)によって決定され得る。光の強度が強度閾値よりも高い場合、コントローラは、高空間解像度モードで動作するようにマルチモード光センサ20を制御して、シーン300を撮像し得る。収集される光の強度が強度閾値よりも低い場合、コントローラは、低空間解像度モードで動作するようにマルチモード光センサ20を制御して、シーン300を撮像し得る。
故に、本発明の一実施形態に従って、基板上に形成された複数の感光ピクセルを持つマルチモード光センサが提供され、各ピクセルは、その中で入射光が光電荷キャリアを生成する感光領域と、前記感光領域内で生成された光電荷キャリアを蓄積する複数の蓄積領域と、前記複数の蓄積領域の各蓄積領域に付随する転送ゲートであり、前記感光領域内の光電荷を該蓄積領域にドリフトさせるように帯電可能な転送ゲートと、前記複数の蓄積領域の各蓄積領域に対して少なくとも1つのマイクロレンズを有するマイクロレンズのアレイであり、該少なくとも1つのマイクロレンズは、該少なくとも1つのマイクロレンズに入射する光を、前記複数の蓄積領域のうちの他の蓄積領域に対してよりも該蓄積領域に対して近い前記感光領域の領域に導く、マイクロレンズのアレイとを有する。
オプションで、前記マイクロレンズのアレイは、各蓄積領域に対して単一のマイクロレンズを有する。代わりに、あるいは加えて、前記マイクロレンズのアレイは回転対称性を示す。オプションで、前記回転対称性は、前記複数の蓄積領域の個数に等しい回数を持つ。本発明の一実施形態において、前記複数の蓄積領域の個数は2である。発明の一実施形態において、前記複数の蓄積領域の個数は4以上である。
本発明の一実施形態において、当該マルチモード光センサは、蓄積領域に付随する転送ゲートを帯電させることで前記感光領域内で生成された光電荷を該蓄積領域にドリフトさせるコントローラを有する。オプションで、前記コントローラは、1つの蓄積領域のみの転送ゲートを転送電圧で帯電させることで、前記感光領域内の実質的にあらゆる位置で生成された光電荷を前記1つの蓄積領域にドリフトさせる。代わりに、あるいは加えて、前記コントローラは、各蓄積領域に付随する転送ゲートを同時に同じ転送電圧で帯電させることで、或る蓄積領域に対して最も近い前記感光領域内の位置で生成された光電荷を該蓄積領域にドリフトさせる。
本発明の一実施形態において、前記コントローラは、前記基板を帯電させることで、当該光センサをオン及びオフにシャッターする。
本発明の一実施形態において、前記感光領域はフォトダイオードを有する。一実施形態において、前記感光領域はフォトゲートを有する。
本発明の一実施形態において、さらに、シーンを撮像して前記シーン内のフィーチャまでの距離を決定する飛行時間(TOF)3次元(3D)カメラが提供され、当該TOF−3Dカメラは、前記シーンを照らすように光パルスのトレインを送出する光源と、前記送出された光パルスから前記フィーチャによって反射された光を受ける本発明の一実施形態に従ったマルチモード光センサと、各光パルスの後に前記光センサをオン及びオフにシャッターし、複数の異なる露光期間から選択された露光期間の間、前記フィーチャによって反射された前記光パルスからの光によって前記マルチモード光センサ内のピクセルのフォトダイオード内で生成された光電荷を蓄積させるコントローラとを有し、前記コントローラは、異なる蓄積領域内に、異なる露光期間の間に生成された光電荷を蓄積させるように、異なる蓄積領域の転送ゲートを帯電させ、異なる蓄積領域内に蓄積された光電荷の量を前記マルチモード光センサの同じフレームから決定し、前記量を用いて前記シーン内のフィーチャまでの距離を決定する。
オプションで、前記異なる露光期間は、前記光パルスのトレイン内の光パルスが送出された時間の後の異なる時間に開始する露光期間を有する。加えて、あるいは代わりに、前記異なる露光期間は、異なる継続時間を持つ露光期間を有し得る。前記異なる露光期間は、異なる形状を持つ露光期間を有し得る。
本発明の一実施形態において、前記複数の異なる露光期間の個数は2以上である。オプションで、前記複数の蓄積領域の個数は、前記複数の異なる露光期間の個数以上である。
本発明の一実施形態において、さらに、シーンを撮像して前記シーン内の写真を取得するカメラが提供され、当該カメラは、前記シーンからの光を受ける本発明の一実施形態に従ったマルチモード光センサと、前記シーンから当該カメラに到達する光の強度を決定する光メータと、前記光メータによる光の強度の指標に応じて伝送ゲートの帯電を制御するコントローラとを有する。オプションで、前記コントローラは、光強度閾値に応じて前記転送ゲートの帯電を制御する。測定された強度が前記閾値よりも低い場合、前記コントローラは、1つの蓄積領域のみの転送ゲートを転送電圧で帯電させ得る。測定された強度が前記閾値よりも高い場合、前記コントローラは、各蓄積領域に付随する転送ゲートを同時に同じ転送電圧で帯電させ得る。
本出願の明細書及び請求項において、動詞“有する”、“含む”及び“持つ”の各々、並びにこれらの活用形は、その動詞の1つ以上の目的語が必ずしも、その動詞の1つ以上の対象の構成要素、要素又は部分の完全なる列挙ではないことを指し示すために使用される。
本出願における発明の実施形態の説明は、例として提供されたものであり、発明の範囲を限定することを意図したものではない。説明された実施形態は、それらの全てが本発明の全ての実施形態に必要とされるわけではない様々な特徴を有する。一部の実施形態は、それらの特徴のうちの一部のみ、又はそれらの特徴の可能な組み合わせを使用する。説明された本発明の実施形態の変形、及び説明された実施形態にて言及された特徴の様々な組み合わせを有する本発明の実施形態が可能である。

Claims (15)

  1. 基板上に形成された複数のピクセルを持つ光センサであって、各ピクセルが、
    その中で入射光が光電荷キャリアを生成する感光領域と、
    前記感光領域内で生成された光電荷キャリアを蓄積する複数の蓄積領域と、
    前記複数の蓄積領域の各蓄積領域に付随する転送ゲートであり、該転送ゲートに転送電圧が印加されることにより、前記感光領域内の光電荷を該蓄積領域にドリフトさせるように帯電可能な転送ゲートと、
    前記複数の蓄積領域の各蓄積領域に対して少なくとも1つのマイクロレンズを有するマイクロレンズのアレイであり、該少なくとも1つのマイクロレンズは、該少なくとも1つのマイクロレンズに入射する光を、前記複数の蓄積領域のうちの他の蓄積領域に対してよりも該蓄積領域に対して近い前記感光領域の領域に導く、マイクロレンズのアレイと
    を有する、
    光センサ。
  2. 前記マイクロレンズのアレイは、各蓄積領域に対して単一のマイクロレンズを有する、請求項1に記載の光センサ。
  3. 前記マイクロレンズのアレイは回転対称性を示す、請求項1又は2に記載の光センサ。
  4. 前記回転対称性は、前記複数の蓄積領域の個数に等しい回数を持つ、請求項3に記載の光センサ。
  5. 前記複数の蓄積領域の個数は2以上である、請求項1乃至4の何れかに記載の光センサ。
  6. 蓄積領域に付随する転送ゲートを帯電させることで、前記感光領域内で生成された光電荷を該蓄積領域にドリフトさせるコントローラ、を有する請求項1乃至5の何れかに記載の光センサ。
  7. 前記コントローラは、1つの蓄積領域のみの転送ゲートを転送電圧で帯電させることで、前記感光領域内の実質的にあらゆる位置で生成された光電荷を前記1つの蓄積領域にドリフトさせる、請求項6に記載の光センサ。
  8. 前記コントローラは、各蓄積領域に付随する転送ゲートを同時に同じ転送電圧で帯電させることで、或る蓄積領域に対して最も近い前記感光領域内の位置で生成された光電荷を該蓄積領域にドリフトさせる、請求項6又は7に記載の光センサ。
  9. 前記コントローラは、前記基板を帯電させることで、当該光センサをオン及びオフにシャッターする、請求項乃至8の何れかに記載の光センサ。
  10. シーンを撮像して前記シーン内のフィーチャまでの距離を決定する飛行時間(TOF)3次元(3D)カメラであって、当該TOF−3Dカメラは、
    前記シーンを照らすように光パルスのトレインを送出する光源と、
    前記送出された光パルスから前記フィーチャによって反射された光を受ける請求項1乃至の何れかに記載の光センサと、
    各光パルスの後に前記光センサをオン及びオフにシャッターし、複数の異なる露光期間から選択された露光期間の間、前記フィーチャによって反射された前記光パルスからの光によって前記光センサ内のピクセルのフォトダイオード内で生成された光電荷を蓄積させるコントローラと
    を有し、
    前記コントローラは、異なる蓄積領域内に、異なる露光期間の間に生成された光電荷を蓄積させるように、異なる蓄積領域の転送ゲートを帯電させ、異なる蓄積領域内に蓄積された光電荷の量を前記光センサの同じフレームから決定し、前記量を用いて前記シーン内のフィーチャまでの距離を決定する、
    TOF−3Dカメラ。
  11. 前記異なる露光期間は、前記光パルスのトレイン内の光パルスが送出された時間の後の異なる時間に開始する露光期間を有する、請求項10に記載のTOF−3Dカメラ。
  12. 前記異なる露光期間は、異なる継続時間を持つ露光期間を有する、請求項10又は11に記載のTOF−3Dカメラ。
  13. 前記複数の異なる露光期間の個数は2以上であり、前記複数の蓄積領域の個数は、前記複数の異なる露光期間の個数以上である、請求項10乃至12の何れかに記載のTOF−3Dカメラ。
  14. シーンを撮像して前記シーン内の写真を取得するカメラであって、
    前記シーンからの光を受ける請求項8に記載の光センサと、
    前記シーンから当該カメラに到達する光の強度を決定する光メータと、
    を有し、前記コントローラは、前記光メータによる光の強度の指標に応じて前記転送ゲートの帯電を制御するカメラ。
  15. 前記コントローラは、光強度閾値に応じて前記転送ゲートの帯電を制御する、請求項14に記載のカメラ。
JP2017513116A 2014-09-08 2015-09-08 光センサ及びカメラ Active JP6661617B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/479,381 US9826214B2 (en) 2014-09-08 2014-09-08 Variable resolution pixel
US14/479,381 2014-09-08
PCT/US2015/048775 WO2016040219A1 (en) 2014-09-08 2015-09-08 Variable resolution pixel

Publications (2)

Publication Number Publication Date
JP2017527222A JP2017527222A (ja) 2017-09-14
JP6661617B2 true JP6661617B2 (ja) 2020-03-11

Family

ID=54147328

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017513116A Active JP6661617B2 (ja) 2014-09-08 2015-09-08 光センサ及びカメラ

Country Status (12)

Country Link
US (1) US9826214B2 (ja)
EP (1) EP3192100B1 (ja)
JP (1) JP6661617B2 (ja)
KR (1) KR102451868B1 (ja)
CN (1) CN106688099B (ja)
AU (1) AU2015315416B2 (ja)
BR (1) BR112017002841B1 (ja)
CA (1) CA2959702C (ja)
ES (1) ES2687378T3 (ja)
MX (1) MX370926B (ja)
RU (1) RU2699313C2 (ja)
WO (1) WO2016040219A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8547428B1 (en) * 2006-11-02 2013-10-01 SeeScan, Inc. Pipe mapping system
JP6160971B2 (ja) * 2013-06-27 2017-07-12 パナソニックIpマネジメント株式会社 固体撮像素子及び測距撮像装置
JP6808623B2 (ja) * 2015-07-08 2021-01-06 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子および駆動方法、並びに電子機器
KR102645722B1 (ko) 2016-10-27 2024-03-08 삼성디스플레이 주식회사 렌즈 패널 및 이를 포함하는 표시 장치
WO2018186329A1 (ja) * 2017-04-06 2018-10-11 パナソニックIpマネジメント株式会社 撮像装置、およびそれに用いられる固体撮像装置
JP2018207446A (ja) * 2017-06-09 2018-12-27 オリンパス株式会社 固体撮像素子,当該固体撮像素子を用いた観察装置,固体撮像素子の駆動方法及び駆動用プログラム
EP3471086B1 (en) * 2017-08-16 2020-06-10 Shenzhen Goodix Technology Co., Ltd. Image sensing circuit and image depth sensing system
US10804301B2 (en) 2017-12-13 2020-10-13 Magic Leap, Inc. Differential pixel circuit and method of computer vision applications
CN108259744B (zh) * 2018-01-24 2020-06-23 北京图森智途科技有限公司 图像采集控制方法及其装置、图像采集***和tof相机
US10598936B1 (en) * 2018-04-23 2020-03-24 Facebook Technologies, Llc Multi-mode active pixel sensor
JP7115390B2 (ja) * 2019-03-28 2022-08-09 株式会社デンソー 測距装置
WO2021021872A1 (en) * 2019-07-31 2021-02-04 OPSYS Tech Ltd. High-resolution solid-state lidar transmitter
CN110336938B (zh) * 2019-08-12 2021-02-26 浙江大华技术股份有限公司 光敏组件、图像采集装置、镜头驱动方法、存储介质
US11463634B2 (en) * 2020-04-07 2022-10-04 Caeleste Cvba Charge domain binning in a MOS pixel
FR3110706B1 (fr) * 2020-05-20 2022-07-08 Commissariat Energie Atomique Dispositif de détection amélioré et système lidar associé

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5949483A (en) * 1994-01-28 1999-09-07 California Institute Of Technology Active pixel sensor array with multiresolution readout
US5867215A (en) 1995-04-11 1999-02-02 Eastman Kodak Company Image sensor having multiple storage wells per pixel
DE69810968T2 (de) * 1998-02-08 2003-11-27 3Dv Systems Ltd., Yokneam Elit Optischer verschluss mit grosser blendenöffnung
DE69827529T2 (de) 1998-09-28 2005-11-10 3Dv Systems Ltd. Entfernungsmessung mittels kamera
JP2003218332A (ja) 2002-01-22 2003-07-31 Sony Corp 固体撮像素子
US7554587B2 (en) * 2003-03-11 2009-06-30 Fujifilm Corporation Color solid-state image pickup device
US20050157194A1 (en) 2004-01-06 2005-07-21 Altice Peter P.Jr. Imager device with dual storage nodes
US7244918B2 (en) 2005-08-30 2007-07-17 Micron Technology, Inc. Method and apparatus providing a two-way shared storage gate on a four-way shared pixel
US7283609B2 (en) 2005-11-10 2007-10-16 General Electric Company CT detector photodiode having multiple charge storage devices
US7705869B2 (en) * 2007-05-14 2010-04-27 Seiko Epson Corporation Light shielding member, a line head and an image forming apparatus using the line head
JP4909924B2 (ja) * 2007-05-23 2012-04-04 パナソニック株式会社 固体撮像装置及びカメラ
JP2009047475A (ja) * 2007-08-15 2009-03-05 Hamamatsu Photonics Kk 固体撮像素子
US7924333B2 (en) * 2007-08-17 2011-04-12 Aptina Imaging Corporation Method and apparatus providing shared pixel straight gate architecture
EP2235563A1 (en) * 2007-12-19 2010-10-06 Microsoft International Holdings B.V. 3d camera and methods of gating thereof
KR20090118795A (ko) * 2008-05-13 2009-11-18 삼성전자주식회사 이중 트랜스퍼 게이트를 구비한 거리측정 센서 및 그를구비한 입체 컬러 이미지 센서
JP5333869B2 (ja) * 2008-06-04 2013-11-06 本田技研工業株式会社 撮像装置
EP2304795A1 (en) 2008-07-17 2011-04-06 Microsoft International Holdings B.V. Cmos photogate 3d camera system having improved charge sensing cell and pixel geometry
KR20100054540A (ko) * 2008-11-14 2010-05-25 삼성전자주식회사 픽셀 회로, 광전 변환장치, 및 이를 포함하는 이미지 센싱 시스템
KR101543664B1 (ko) * 2008-12-08 2015-08-12 삼성전자주식회사 픽셀 어레이 및 이를 포함하는 입체 영상 센서
US8218068B2 (en) * 2009-04-01 2012-07-10 Omnivision Technologies, Inc. Exposing pixel groups in producing digital images
KR101648353B1 (ko) * 2009-09-25 2016-08-17 삼성전자 주식회사 거리 센서를 포함하는 이미지 센서
EP2521926B1 (en) 2010-01-06 2020-07-29 Heptagon Micro Optics Pte. Ltd. Demodulation sensor with separate pixel and storage arrays
GB2477083A (en) 2010-01-13 2011-07-27 Cmosis Nv Pixel structure with multiple transfer gates to improve dynamic range
US20120154535A1 (en) * 2010-12-15 2012-06-21 Microsoft Corporation Capturing gated and ungated light in the same frame on the same photosurface
JP2012129425A (ja) * 2010-12-16 2012-07-05 Canon Inc マトリクス基板、検出装置、検出システム、及び、検出装置の駆動方法
US8785831B2 (en) * 2011-01-05 2014-07-22 Luxima Technology LLC Image sensors and methods with high speed global shutter pixels
US8952310B2 (en) * 2011-02-04 2015-02-10 Aptina Imaging Corporation Plasmonic light sensors
KR101802243B1 (ko) * 2011-05-06 2017-11-29 삼성전자주식회사 비행 시간 방식의 거리 측정 센서와 이를 포함하는 반도체 장치
US8642938B2 (en) 2012-01-13 2014-02-04 Omnivision Technologies, Inc. Shared time of flight pixel
US8693731B2 (en) * 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US8686342B2 (en) * 2012-04-09 2014-04-01 Omnivision Technologies, Inc. Double-sided image sensor formed on a single semiconductor wafer die
US9752928B2 (en) 2012-07-24 2017-09-05 Forza Silicon Corporation Implement multiple pixel output for photodiode size pixels
US9851245B2 (en) 2012-11-06 2017-12-26 Microsoft Technology Licensing, Llc Accumulating charge from multiple imaging exposure periods
US9147096B2 (en) * 2012-11-13 2015-09-29 Hand Held Products, Inc. Imaging apparatus having lens element

Also Published As

Publication number Publication date
BR112017002841B1 (pt) 2022-09-13
AU2015315416B2 (en) 2020-07-09
MX2017002981A (es) 2017-06-19
KR20170053697A (ko) 2017-05-16
US20160073088A1 (en) 2016-03-10
JP2017527222A (ja) 2017-09-14
RU2699313C2 (ru) 2019-09-04
US9826214B2 (en) 2017-11-21
EP3192100A1 (en) 2017-07-19
CN106688099A (zh) 2017-05-17
RU2017106894A3 (ja) 2019-03-28
CN106688099B (zh) 2019-10-01
CA2959702C (en) 2023-06-27
AU2015315416A1 (en) 2017-03-09
ES2687378T3 (es) 2018-10-24
WO2016040219A1 (en) 2016-03-17
BR112017002841A2 (pt) 2017-12-19
RU2017106894A (ru) 2018-09-03
KR102451868B1 (ko) 2022-10-06
EP3192100B1 (en) 2018-06-27
CA2959702A1 (en) 2016-03-17
MX370926B (es) 2020-01-03

Similar Documents

Publication Publication Date Title
JP6661617B2 (ja) 光センサ及びカメラ
US10277850B2 (en) Solid-state imaging device for a distance sensor transferring charges from one pixel while resetting another pixel in a same period
JP5898692B2 (ja) 同じフレーム内同じ感光面上におけるゲーテッド光及びアンゲーテッド光の取り込み
KR102677519B1 (ko) 물체까지의 거리를 결정하기 위한 시스템 및 방법
CN111602070B (zh) 确定三维图像的图像传感器和确定三维图像的方法
US8717469B2 (en) Fast gating photosurface
CN109791204B (zh) 用于确定到对象的距离的***
EP2974279B1 (en) Photosensor having enhanced sensitivity
US10972687B2 (en) Image sensor with boosted photodiodes for time of flight measurements
EP3301478A1 (en) System for determining a distance to an object
CN113785561B (zh) 摄像装置
JP5139727B2 (ja) 受光装置および空間情報の検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180830

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200212

R150 Certificate of patent or registration of utility model

Ref document number: 6661617

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250