JP7018022B2 - 固体撮像装置及び測距撮像装置 - Google Patents

固体撮像装置及び測距撮像装置 Download PDF

Info

Publication number
JP7018022B2
JP7018022B2 JP2018553761A JP2018553761A JP7018022B2 JP 7018022 B2 JP7018022 B2 JP 7018022B2 JP 2018553761 A JP2018553761 A JP 2018553761A JP 2018553761 A JP2018553761 A JP 2018553761A JP 7018022 B2 JP7018022 B2 JP 7018022B2
Authority
JP
Japan
Prior art keywords
vertical transfer
row
infrared light
signal charge
solid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018553761A
Other languages
English (en)
Other versions
JPWO2018101049A1 (ja
Inventor
崇 桑原
純一 松尾
貢 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nuvoton Technology Corp Japan
Original Assignee
Nuvoton Technology Corp Japan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nuvoton Technology Corp Japan filed Critical Nuvoton Technology Corp Japan
Publication of JPWO2018101049A1 publication Critical patent/JPWO2018101049A1/ja
Application granted granted Critical
Publication of JP7018022B2 publication Critical patent/JP7018022B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14607—Geometry of the photosensitive area
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14649—Infrared imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/148—Charge coupled imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/148—Charge coupled imagers
    • H01L27/14831—Area CCD imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/73—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors using interline transfer [IT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Measurement Of Optical Distance (AREA)

Description

本発明は、固体撮像装置及び固体撮像装置を用いて距離画像を生成する測距撮像装置に関する。
従来、距離画像を生成する測距撮像装置（いわゆる測距カメラ）として、様々な技術が提案されている（特許文献１、２参照）。ここで、距離画像とは、画像を構成する画素の単位で被写体までの距離を示す画像である。
特許文献１の測距撮像装置は、被写体に向けて赤外光を照射する光源部と、被写体から反射してきた赤外光を受光する固体撮像装置（いわゆるイメージセンサ）とを備える。固体撮像装置は、赤外光を受光する赤外光画素だけが行列状に配置された撮像部を有し、赤外光画素で生成された信号電荷を読み出す際に、行方向に隣接する２個の赤外光画素について信号電荷を加算して読み出すことで、赤外光画素について個別に信号電荷を読み出す場合に比べ、２倍に感度を向上させている。これによって、高い感度で距離画像が生成される。
また、特許文献２の測距撮像装置は、被写体に向けて赤外光を照射する光源部と、被写体から反射してきた赤外光だけでなく可視光も受光する固体撮像装置とを備える。固体撮像装置は、赤外光を受光する赤外光画素と、可視光を受光する可視光画素とが、行方向及び列方向に交互（市松状）に配置された撮像部を有する。これによって、赤外光画素で生成された信号電荷を読み出すことで距離画像が生成されるとともに、可視光画素で生成された信号電荷を読み出すことで可視画像も生成され、被写体までの距離が２次元的に分かるだけでなく、被写体の輝度も分かるので、例えば、赤外光が反射されにくい黒色の箇所についても被写体の形状や模様が認識され、測距撮像装置のアプリケーションが広がる。
国際公開第２０１４／００２４１５号 国際公開第２０１６／０３１１７１号
しかしながら、特許文献１の測距撮像装置では、高い感度で距離画像が生成されるものの、距離画像しか得られない（つまり、可視画像が得られない）という問題がある。
一方、特許文献２の測距撮像装置では、距離画像と可視画像とが生成されるものの、赤外光画素が行方向に隣接して配置されていないので２個の赤外光画素について信号電荷を加算することができず、高い感度で距離画像を得ることができないという問題がある。
そこで、本発明は、距離画像と可視画像とを生成し、かつ、高い感度で距離画像を生成するのに適した固体撮像装置及び測距撮像装置を提供することを目的とする。
上記目的を達成するために、本発明の一形態に係る固体撮像装置は、行列状に配置された複数の画素を有する撮像部と、前記複数の画素の列のそれぞれに対応して設けられ、前記複数の画素で生成された信号電荷を読み出す読み出し電極と読み出した信号電荷を列方向に転送する転送電極とを有する複数の垂直転送部とを備え、前記撮像部は、可視画像を生成するために可視光における全ての波長域の光を信号電荷に変換する第１光電変換部を有する可視光画素と、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式による被写体までの距離を示す距離画像と赤外光画像とを生成するために赤外光を信号電荷に変換する第２光電変換部を有する赤外光画素とを備え、前記撮像部は、前記可視光画素が行方向に隣接するように並べられた第１の行と、前記赤外光画素が行方向に隣接するように並べられた第２の行とが、列方向に交互に配置されて構成され、前記複数の垂直転送部のうちの偶数列及び奇数列の一方の垂直転送部は、前記読み出し電極によって、複数の前記第２の行のうちの一部の第２の行を構成する赤外光画素において第１の露光時間による露光で生成された信号電荷を当該垂直転送部の列方向における同じ箇所に読み出し、前記複数の垂直転送部のうちの偶数列及び奇数列の他方の垂直転送部は、前記読み出し電極によって、複数の前記第２の行のうちの他の一部の第２の行を構成する赤外光画素において前記第１の露光時間よりも短い第２の露光時間による露光で生成された信号電荷を当該垂直転送部の列方向における同じ箇所に読み出す。
また、上記目的を達成するために、本発明の一形態に係る測距撮像装置は、赤外光を照射する光源部と、上記固体撮像装置と、前記光源部及び前記固体撮像装置を制御することで、前記固体撮像装置が備える可視光画素に可視光を受光させ、前記固体撮像装置が備える赤外光画素に、前記光源部が照射した赤外光が被写体に反射して返ってくる反射光を受光させる制御回路と、前記固体撮像装置が備える可視光画素で生成された信号電荷を読み出すことで前記被写体の可視画像を生成し、前記固体撮像装置が備える赤外光画素で生成された信号電荷を読み出すことで前記被写体までの距離を示す距離画像を生成する信号処理回路とを備える。
本発明により、距離画像と可視画像とを生成し、かつ、高い感度で距離画像を生成するのに適した固体撮像装置及び測距撮像装置が提供される。
図１は、実施の形態に係る測距撮像装置の構成を示すブロック図である。 図２は、図１に示された固体撮像装置の詳細な構成を示すブロック図である。 図３は、図１に示された固体撮像装置による信号電荷の第１の読み出し例を示す図である。 図４は、実施の形態に係る測距撮像装置において距離画像が生成される原理を説明する図である。 図５は、図１に示された固体撮像装置による信号電荷の第２の読み出し例を示す図である。 図６は、図５に示された第２の読み出し例における赤外光画素についての信号電荷の読み出しと電荷蓄積状態を示す図である。 図７は、図５に示された第２の読み出し例における可視光画素についての信号電荷の読み出しと電荷蓄積状態を示す図である。 図８は、図５に示された第２の読み出し例における固体撮像装置の駆動タイミングを示す図である。 図９は、図１に示された固体撮像装置による信号電荷の第３の読み出し例を示す図である。 図１０は、図９に示された第３の読み出し例における可視光画素及び赤外光画素についての信号電荷の読み出しと電荷蓄積状態を示す図である。 図１１は、図９に示された第３の読み出し例における固体撮像装置の駆動タイミングの一例を示す図である。 図１２は、図９に示された第３の読み出し例における固体撮像装置の駆動タイミングの別の例を示す図である。 図１３は、図１に示された固体撮像装置による信号電荷の第４の読み出し例を示す図である。 図１４は、図１３に示された第４の読み出し例におけるＬｏｎｇ露光時の赤外光画素についての信号電荷の読み出しと電荷蓄積状態を示す図である。 図１５は、図１３に示された第４の読み出し例におけるＳｈｏｒｔ露光時の赤外光画素についての信号電荷の読み出しと電荷蓄積状態を示す図である。 図１６は、図１３に示された第４の読み出し例における可視光画素についての信号電荷の読み出しと電荷蓄積状態を示す図である。 図１７は、図１３に示された第４の読み出し例における固体撮像装置の駆動タイミングの一例を示す図である。 図１８は、図１３に示された第４の読み出し例における固体撮像装置の駆動タイミングの別の例を示す図である。 図１９は、図１に示された固体撮像装置のＣＭＯＳイメージセンサタイプの一例を示す図である。 図２０は、図１に示された固体撮像装置の複数行置きに可視光画素と赤外光画素を配置した一例を示す図である。
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、駆動タイミング等は、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうちの、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略又は簡略化する。
図１は、実施の形態に係る測距撮像装置５の構成を示すブロック図である。
測距撮像装置５は、距離画像と可視画像とを生成し、かつ、高い感度で距離画像を生成することが可能な測距カメラであり、固体撮像装置１０、光源部２０、制御回路３０及び信号処理回路４０を備える。
光源部２０は、被写体に向けて赤外光を照射する光源であり、例えば、レーザダイオード（ＬＤ）又は発光ダイオード（ＬＥＤ）等の発光素子、駆動回路及びコンデンサ等で構成される。駆動回路の下で、コンデンサに保持された電荷が発光素子に供給されことで赤外光が照射される。
固体撮像装置１０は、距離画像と可視画像とを生成し、かつ、高い感度で距離画像を生成するのに適したイメージセンサであり、制御回路３０による制御の下で赤外光による露光及び可視光による露光を行い、距離画像及び可視画像の元情報となるＲＡＷデータ（撮像情報）を生成して出力する回路であり、例えば、１チップの半導体回路で実現される。
制御回路３０は、光源部２０及び固体撮像装置１０に対してそれぞれ発光信号及び露光信号を出力して制御することで、固体撮像装置１０が備える可視光画素１２に可視光を受光させ、固体撮像装置１０が備える赤外光画素１３に、光源部２０が照射した赤外光が被写体に反射して返ってくる反射光を受光させる回路であり、例えば、タイミング生成回路等で構成される。
信号処理回路４０は、固体撮像装置１０が備える可視光画素１２で生成された信号電荷を読み出すことで被写体の可視画像を生成し、固体撮像装置１０が備える赤外光画素１３で生成された信号電荷を読み出すことで被写体までの距離を示す距離画像を生成する回路であり、具体的には、固体撮像装置１０からＲＡＷデータ（撮像情報）を受け取って保持し、必要な演算処理（例えば、赤外光画素１３から読み出したＲＡＷデータを用いて距離を演算する処理）を行う回路であり、プログラムが格納されたＲＯＭ、情報を一時的に保持するＲＡＭ、プログラムを実行するプロセッサ、入出力ポート等で構成される。なお、信号処理回路４０は、固体撮像装置１０が備える赤外光画素１３で生成された信号電荷を読み出すことで、距離画像だけでなく、赤外光画像を生成してもよい。赤外光画像は、赤外光画素１３から読み出したＲＡＷデータによって生成される画像である。
なお、測距撮像装置５として、図１に示されていない光学レンズ等の光学系、光学レンズを移動させる駆動機構、生成された可視画像及び距離画像を表示するディスプレイ及び保存する補助メモリ、操作者からの指示を受け取る入力デバイス（ボタン、タッチパネル）等を備えてもよい。
図２は、図１に示された固体撮像装置１０の詳細な構成を示すブロック図である。
固体撮像装置１０は、ＣＣＤイメージセンサであり、撮像部１１、複数の垂直転送部１４、水平転送部１５及び信号電荷検出部１６を備える。
撮像部１１は、半導体基板上に形成された、行列状に配置された複数の画素（可視光画素１２及び赤外光画素１３）で構成される。撮像部１１は、可視光を信号電荷に変換する第１光電変換部を有する可視光画素１２が行方向に隣接するように並べられた第１の行と、赤外光を信号電荷に変換する第２光電変換部を有する赤外光画素１３が行方向に隣接するように並べられた第２の行とが、列方向に交互に配置されて構成される。つまり、可視光画素１２と赤外光画素１３とが行方向のストライプ状に並ぶように配置されている。
可視光画素１２は、可視光（白色光）だけを通過させる（つまり、赤外光を遮断する）光学フィルタ、マイクロレンズ、第１光電変換部としての受光素子、受光素子で生成された電荷を蓄積する蓄積部等で構成される。なお、光学フィルタは、可視光と赤外光の両方を通過させてもよいし、可視光のうち、Ｒ（赤）、Ｇ（緑）、Ｂ（青）等の特定波長帯の光だけを通過させるカラーフィルタであってもよい。
赤外光画素１３は、赤外光だけを通過させる光学フィルタ、マイクロレンズ、第２光電変換部としての受光素子、受光素子で生成された電荷を蓄積する蓄積部等で構成される。
つまり、第１光電変換部と第２光電変換部は、その上方に備わる光学フィルタの構造を変えることで各光電変換部に異なる波長域の光が到達し、第１光電変換部と第２光電変換部の不純物領域構造（ウェル構造）は同じである。但し、第１光電変換部と第２光電変換部の不純物領域構造（ウェル構造）は、各波長域に合わせて構造を変えることも出来る。
垂直転送部１４は、複数の画素（可視光画素１２及び赤外光画素１３）の列のそれぞれに対応して設けられ、複数の画素で生成された信号電荷を読み出す読み出し電極（読み出し用ゲート）と読み出した信号電荷を列方向に転送する転送電極（転送用ゲート）とを有する。なお、垂直転送部１４は、より詳しくは、読み出し電極と転送電極とに駆動用電圧を所定のタイミングで印加する（例えば、合計１０種類のゲートを駆動する１０相駆動をする）駆動回路（図示せず）を有し、駆動回路からの駆動信号に従って、可視光画素１２及び赤外光画素１３で生成された電荷を読み出して列方向に転送する。
水平転送部１５は、垂直転送部１４で転送されてきた信号電荷を行方向に転送して信号電荷検出部１６に出力する。
信号電荷検出部１６は、水平転送部１５で転送されてきた信号電荷を電圧として出力する出力回路である。
なお、本実施の形態では、固体撮像装置１０は、ＣＣＤイメージセンサであったが、ＣＭＯＳイメージセンサであってもよい。
次に、以上のように構成された本実施の形態に係る測距撮像装置５の動作について、説明する。
（第１の読み出し例）
図３は、図１に示された固体撮像装置１０による信号電荷の第１の読み出し例を示す図である。ここでは、垂直転送部１４が、可視光画素１２及び赤外光画素１３について、読み出し電極によって、個別に信号電荷を読み出す動作が示されている。
このような読み出しによって、信号処理回路４０は、可視光画素１２から読み出された信号電荷に対応するＲＡＷデータだけから可視画像を生成するとともに、赤外光画素１３から読み出された信号電荷に対応するＲＡＷデータだけから距離画像を生成することができる。
図４は、実施の形態に係る測距撮像装置５において距離画像が生成される原理を説明する図である。ここでは、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式による距離画像の生成原理が示されている。
ＴＯＦでは、制御回路３０による制御の下で、光源部２０から赤外光をパルス状に照射させ、固体撮像装置１０において、２種類の露光期間（第１露光期間及び第２露光期間）で被写体からの反射光を受光することで、２種類の信号電荷Ｓ０、Ｓ１を赤外光画素１３から読み出して垂直転送部１４における各々のパケットに蓄積し、さらに、第３露光期間で赤外光を発光させずに背景光を受光することで、信号電荷ＢＧ（バックグランドの信号電荷）を読み出して垂直転送部１４における別のパケットに蓄積する。３種類のパケットに蓄積された信号電荷Ｓ０、Ｓ１、ＢＧは、垂直転送部１４によって順次転送され、水平転送部１５及び信号電荷検出部１６を経て出力される。信号処理回路４０では、信号電荷Ｓ０、Ｓ１、ＢＧの比率と差分から画素毎に被写体までの距離を求めることで距離画像を生成する。なお、パケットとは、画素から読み出された信号電荷が蓄積されるメモリセルであり、垂直転送部１４において信号電荷を蓄積して転送する箇所に相当する。
より詳しくは、パルス幅Ｔｐの照射光の立ち上がり時刻から始まる第１露光期間をＴ１、照射光の立ち下がり時刻から始まる第２露光期間をＴ２、光源部２０をＯＦＦした第３露光期間をＴ３とし、露光期間Ｔ１～Ｔ３は、パルス幅Ｔｐよりも長い時間に設定される。第１露光期間Ｔ１において赤外光画素１３で生成される信号電荷をＳ０、第２露光期間Ｔ２において赤外光画素１３で生成される信号電荷をＳ１、第３露光期間Ｔ３において赤外光画素１３で生成される信号電荷をＢＧとすると、遅れ時間Δｔは次式で与えられる。
Δｔ＝Ｔｐ｛（Ｓ１－ＢＧ）／（Ｓ０－ＢＧ）｝
この遅れ時間Δｔは、被写体までの距離に対応する値である。
よって、信号処理回路４０は、信号電荷Ｓ０、Ｓ１、ＢＧから、上記式に従って、画素毎に、遅れ時間Δｔを算出し、被写体までの距離を求めることで、距離画像を生成する。
なお、ＴＯＦ方式による露光のタイミングは、図４に示されたものに限られず、第１露光期間Ｔ１として、照射光のパルスタイミングと一致させたり、照射光のパルスタイミングに含まれるより小さな期間にしたり、第２露光期間Ｔ２として、照射光が照射されてから照射光のパルス幅Ｔｐよりも短い時間で終了する期間にしたり、第３露光期間Ｔ３をゼロにしても（つまり、第３露光期間Ｔ３を設けなくても）よい。
（第２の読み出し例）
図５は、図１に示された固体撮像装置１０による信号電荷の第２の読み出し例を示す図である。ここでは、垂直転送部１４が、読み出し電極によって、可視光画素１２については個別に信号電荷を読み出すが、赤外光画素１３については第２の行において（つまり、行方向に）隣接する２つの赤外光画素１３で生成された信号電荷を当該垂直転送部１４の列方向における同じ箇所（パケット）に読み出すことで加算（２画素加算）する様子が示されている。
なお、図５に示される読み出し例では、隣接する２つの赤外光画素１３で生成された信号電荷は、奇数列の垂直転送部１４及び偶数列の垂直転送部１４の両方に読み出される。これによって、奇数列の垂直転送部１４及び偶数列の垂直転送部１４の一方だけに読み出されるケースに比べ、行方向の空間分解能（解像度）が向上される。
図６は、図５に示された第２の読み出し例における赤外光画素１３についての信号電荷の読み出しと電荷蓄積状態（パケット）を示す図である。
ここで、垂直転送部１４は、図示されているように、列方向に隣接する２つの画素ごとに１０個の転送電極（Ｖ１、Ｖ２Ａ／Ｖ２Ｂ、Ｖ３～Ｖ１０）を有する。なお、転送電極Ｖ２Ａ及びＶ２Ｂは、赤外光画素１３から垂直転送部１４に信号電荷を読み出す読み出し電極を兼ねている。また、転送電極Ｖ４は、可視光画素１２から垂直転送部１４に信号電荷を読み出す読み出し電極を兼ねている。
図６における赤外光画素１３が並ぶ第２の行のうち、奇数行において隣接する２つの赤外光画素１３ａ及び１３ｂに着目すると、偶数列の垂直転送部１４ａは、２つの赤外光画素１３ａ及び１３ｂで生成された信号電荷を、共通の読み出し電極Ｖ２Ｂによって、同時に、垂直転送部１４ａの列方向における同じ箇所（パケット）に読み出す。その後、垂直転送部１４ａは、パケットを列方向（より詳しくは、下方向）に転送する。このような２つの赤外光画素１３ａ及び１３ｂからの読み出しと列方向への転送とを、第１露光期間Ｔ１で得られた信号電荷Ｓ０、第２露光期間Ｔ２で得られた信号電荷Ｓ１、第３露光期間Ｔ３で得られた信号電荷ＢＧについて、繰り返す。
また、図６における赤外光画素１３が並ぶ第２の行のうち、偶数行において隣接する２つの赤外光画素１３ｃ及び１３ｄに着目すると、奇数列の垂直転送部１４ｂは、２つの赤外光画素１３ｃ及び１３ｄで生成された信号電荷を、共通の読み出し電極Ｖ２Ａによって、同時に、垂直転送部１４ｂの列方向における同じ箇所（パケット）に読み出す。その後、垂直転送部１４ｂは、パケットを列方向（下方）に転送する。このような２つの赤外光画素１３ｃ及び１３ｄからの読み出しと列方向への転送とを、第１露光期間Ｔ１で得られた信号電荷Ｓ０、第２露光期間Ｔ２で得られた信号電荷Ｓ１、第３露光期間Ｔ３で得られた信号電荷ＢＧについて、繰り返す。
その後、垂直転送部１４ａ及び１４ｂに読み出された信号電荷Ｓ０、Ｓ１及びＢＧは、パケットに格納された状態で列方向に転送され、水平転送部１５及び信号電荷検出部１６を経て信号処理回路４０に出力される。
図７は、図５に示された第２の読み出し例における可視光画素１２についての信号電荷の読み出しと電荷蓄積状態（パケット）を示す図である。
図７に示されるように、可視光画素１２については、いずれの可視光画素１２についても、可視光画素１２から垂直転送部１４への信号電荷の読み出し、及び、列方向の転送は、同じ態様で行われる。つまり、各可視光画素１２で生成された信号電荷は、垂直転送部１４の読み出し電極Ｖ４によって、垂直転送部１４内のパケットに読み出される。その後、垂直転送部１４に読み出された信号電荷は、パケットに格納された状態で列方向に転送され、水平転送部１５及び信号電荷検出部１６を経て信号処理回路４０に出力される。
図８は、図５に示された第２の読み出し例における固体撮像装置１０の駆動タイミングを示す図である。図８の（ａ）に示されるＶＤは、１フレームのタイミングを示し、図８の（ｂ）に示されるφＳＵＢは、全画素の信号電荷を半導体基板に排出するための基板排出パルスのタイミングを示し、図８の（ｃ）に示されるφＶ２Ａ、２Ｂは、垂直転送部１４を構成する赤外光画素１３用の読み出し電極Ｖ２Ａ、Ｖ２Ｂに印加される駆動信号のタイミングを示し、図８の（ｄ）に示されるφＶ４は、垂直転送部１４を構成する可視光画素１２用の読み出し電極Ｖ４に印加される駆動信号のタイミングを示し、図８の（ｅ）に示されるφＶ１、５、８は、垂直転送部１４を構成する転送電極Ｖ１、５、８に印加される駆動信号のタイミングを示し、図８の（ｆ）に示されるφＶ３、６、７、９、１０は、垂直転送部１４を構成する転送電極Ｖ３、６、７、９、１０に印加される駆動信号のタイミングを示し、図８の（ｇ）に示される赤外光は、光源部２０から照射される赤外光パルスのタイミングを示し、図８の（ｈ）に示される信号蓄積信号は、可視光画素１２及び赤外光画素１３への露光期間を示す。
なお、図８に示されるように、図８の（ｃ）に示されるφＶ２Ａ、２Ｂ、及び、図８の（ｄ）に示されるφＶ４は、３値の電圧レベルをとるパルスであり、最も高い電圧レベルになることで、それぞれ、赤外光画素１３及び可視光画素１２から垂直転送部１４に信号電荷を読み出し、中位の電圧レベルと最も低い電圧レベルとの間で変化するパルスによって、垂直転送部１４における信号電荷をパケットに格納した状態で列方向に転送する。
１フレームの前半の期間ｔａでは、赤外光を用いた赤外光画素１３の２画素加算による測距が行われる。つまり、第１露光期間での赤外光の照射と露光による距離計測（信号電荷Ｓ０の読み出し）、第２露光期間での赤外光の照射と露光による距離計測（信号電荷Ｓ１の読み出し）、及び、第３露光期間での背景光の露光（信号電荷ＢＧの読み出し）が行われる（図８の（ｈ）参照）。
より詳しくは、期間ｔａの第１露光期間では、まず、基板排出パルスφＳＵＢが印加され（図８の（ｂ））、これによって全画素の信号電荷が基板に排出され、その後に図４の第１露光期間に示されるタイミングで赤外光によるパルス照射と露光が行われ（図８の（ｇ））、赤外光画素１３に信号電荷が生成されるが、φＶ２Ａ、２Ｂが最も高い電圧レベルにあることから（図８の（ｃ））、赤外光画素１３で生成された信号電荷は垂直転送部１４に読み出されて加算される。このような基板排出パルスφＳＵＢの印加、赤外光のパルス照射及び露光、赤外光画素１３から垂直転送部１４への信号電荷の読み出し加算が一定回数だけ繰り返されることで、第１露光期間で生成された信号電荷Ｓ０の読み出しが行われる。
期間ｔａの第２露光期間及び第３露光期間でも、第１露光期間と基本的に同じ動作が行われ、第２露光期間及び第３露光期間で生成された信号電荷Ｓ１、ＢＧの読み出しが行われる。ただし、第２露光期間では、赤外光によるパルス照射と露光は、図４の第２露光期間に示されるタイミングで行われる。また、第３露光期間では、赤外光の照射は行われない。
続く期間ｔｂでは、赤外光画素１３から垂直転送部１４に読み出された信号電荷Ｓ０、Ｓ１、ＢＧがパケットに格納された状態で列方向に転送され（図８の（ｃ）、（ｄ）、（ｅ）、（ｆ）参照）、水平転送部１５及び信号電荷検出部１６を経て信号処理回路４０に出力される。信号処理回路４０は、読み出した信号電荷Ｓ０、Ｓ１、ＢＧから、図４に示された原理によって距離画像を生成する。また、期間ｔｂの途中から、これらの転送と並行して、可視光による露光が行われ、可視光画素１２に信号電荷が生成される（図８の（ｈ）参照）。
そして、期間ｔｃにおいて、まず、可視光画素１２で生成された信号電荷が垂直転送部１４に読み出され（図８の（ｄ））、その後、垂直転送部１４に読み出された信号電荷がパケットに格納された状態で列方向に転送され（図８の（ｃ）、（ｄ）、（ｅ）、（ｆ）参照）、水平転送部１５及び信号電荷検出部１６を経て信号処理回路４０に出力される。信号処理回路４０は、読み出した信号電荷から、可視画像を生成する。
以上のように、本実施の形態に係る固体撮像装置１０は、行列状に配置された複数の画素を有する撮像部１１を備える。撮像部１１は、可視光を信号電荷に変換する第１光電変換部を有する可視光画素１２が行方向に隣接するように並べられた第１の行と、赤外光を信号電荷に変換する第２光電変換部を有する赤外光画素１３が行方向に隣接するように並べられた第２の行とが、列方向に交互に配置されて構成される。
これにより、撮像部１１は、可視光画素１２と赤外光画素１３とで構成されるので、可視画像と距離画像とを生成することが可能になる。また、撮像部１１の第２の行では、赤外光画素１３が行方向に隣接するように並べられているので、隣接する２個の赤外光画素１３について信号電荷を加算して読み出すことで、高い感度で距離画像を生成することが可能になる。よって、距離画像と可視画像とを生成し、かつ、高い感度で距離画像を生成するのに適した固体撮像装置１０が実現される。
また、固体撮像装置１０は、さらに、複数の画素の列のそれぞれに対応して設けられ、複数の画素で生成された信号電荷を読み出す読み出し電極と読み出した信号電荷を列方向に転送する転送電極とを有する複数の垂直転送部１４を備える。そして、図５～図８に示される第２の読み出し例によれば、垂直転送部１４は、読み出し電極Ｖ２Ａ、Ｖ２Ｂによって、第２の行において隣接する２つの赤外光画素１３で生成された信号電荷を当該垂直転送部１４の列方向における同じ箇所に読み出すことで加算する。
これにより、第２の行において隣接する２つの赤外光画素１３で生成された信号電荷が垂直転送部１４の列方向における同じ箇所に読み出されて加算されるので、高い感度で距離画像が生成される。
また、本実施の形態に係る測距撮像装置５は、赤外光を照射する光源部２０と、固体撮像装置１０と、光源部２０及び固体撮像装置１０を制御することで、固体撮像装置１０が備える可視光画素１２に可視光を受光させ、固体撮像装置１０が備える赤外光画素１３に、光源部２０が照射した赤外光が被写体に反射して返ってくる反射光を受光させる制御回路３０と、固体撮像装置１０が備える可視光画素１２で生成された信号電荷を読み出すことで被写体の可視画像を生成し、固体撮像装置１０が備える赤外光画素１３で生成された信号電荷を読み出すことで被写体までの距離を示す距離画像を生成する信号処理回路４０とを備える。
これにより、固体撮像装置１０は可視光画素１２と赤外光画素１３とで構成されるので、信号処理回路４０によって可視画像と距離画像とが生成される。また、固体撮像装置１０において、赤外光画素１３が行方向に隣接するように並べられているので、隣接する２個の赤外光画素１３について信号電荷を加算して読み出すことで、高い感度で距離画像が生成される。よって、距離画像と可視画像とを生成し、かつ、高い感度で距離画像を生成するのに適した測距撮像装置５が実現される。
なお、信号処理回路４０は、固体撮像装置１０が備える赤外光画素１３で生成された信号電荷を読み出すことで、距離画像だけでなく、赤外光画像を生成してもよい。
（第３の読み出し例）
図９は、図１に示された固体撮像装置１０による信号電荷の第３の読み出し例を示す図である。
この例では、垂直転送部１４が、読み出し電極によって、赤外光画素１３だけでなく、可視光画素１２についても、隣接する２つの可視光画素１２で生成された信号電荷を当該垂直転送部１４の列方向における同じ箇所（パケット）に読み出すことで加算する。
このとき、複数の垂直転送部１４のうちの偶数列及び奇数列の一方の垂直転送部１４は、読み出し電極Ｖ４によって、第１の行において隣接する２つの可視光画素１２で生成された信号電荷を当該垂直転送部１４の列方向における同じ箇所に読み出すことで加算し、複数の垂直転送部１４のうちの偶数列及び奇数列の他方の垂直転送部１４は、読み出し電極”Ｖ２Ａ、２Ｂによって、第２の行において隣接する２つの赤外光画素１３で生成された信号電荷を当該垂直転送部１４の列方向における同じ箇所に読み出すことで加算する。つまり、可視光画素１２で生成された信号電荷を列方向に転送する垂直転送部１４と、赤外光画素１３で生成された信号電荷を列方向に転送する垂直転送部１４とが異なる（偶数列及び奇数列の一方と他方に分離される）。
図１０は、図９に示された第３の読み出し例における可視光画素１２及び赤外光画素１３についての信号電荷の読み出しと電荷蓄積状態（パケット）を示す図である。
奇数列の垂直転送部１４ａは、読み出し電極Ｖ４によって、行方向に隣接する２つの可視光画素１２から垂直転送部１４の同一パケットに信号電荷を読み出して加算し、その後、転送電極Ｖ１～Ｖ１０によって、列方向に転送する。
一方、偶数列の垂直転送部１４ｂは、読み出し電極Ｖ２Ａ、Ｖ２Ｂによって、行方向に隣接する２つの赤外光画素１３から垂直転送部１４の同一パケットに信号電荷を読み出して加算することを、第１露光期間Ｔ１、第２露光期間Ｔ２及び第３露光期間Ｔ３について繰り返し、その後、転送電極Ｖ１～Ｖ１０によって、列方向に転送する。
図１１は、図９に示された第３の読み出し例における固体撮像装置１０の駆動タイミングの一例を示す図である。図１１の（ａ）～（ｈ）に示される項目は、図８と同じである。
１フレームの前半の期間ｔａでは、図８と同じ動作が行われる。
続く期間ｔｂでは、図８と異なり、可視光による露光だけが行われ、可視光画素１２に信号電荷が生成される（図１１の（ｈ）参照）。つまり、この期間ｔｂでは、赤外光画素１３から垂直転送部１４に読み出された信号電荷Ｓ０、Ｓ１、ＢＧの列方向への転送は行われない（続く期間ｔｃで行われる）。よって、図８のケースと比べ、期間ｔｂは短縮され、より高いフレームレートでの撮像が可能になる。
そして、期間ｔｃにおいて、まず、可視光画素１２で生成された信号電荷が垂直転送部１４に読み出され（図１１の（ｄ））、その後、奇数列の垂直転送部１４ａに読み出された可視光画素１２の信号電荷、及び、偶数列の垂直転送部１４ｂに読み出された赤外光画素１３の信号電荷Ｓ０、Ｓ１、ＢＧがパケットに格納された状態で列方向に転送され（図１１の（ｃ）、（ｄ）、（ｅ）、（ｆ）参照）、水平転送部１５及び信号電荷検出部１６を経て信号処理回路４０に出力される。
図１２は、図９に示された第３の読み出し例における固体撮像装置１０の駆動タイミングの別の例を示す図である。図１２の（ａ）～（ｈ）に示される項目は、図１１と同じである。
１フレームの前半の期間ｔａでは、図１１と同じ動作である。
続く期間ｔｂでは、図１１と異なり、直前のフレームにおける可視光による露光及び可視光画素１２からの読み出しによって奇数列の垂直転送部１４ａに読み出されていた信号電荷、及び、直前の期間ｔａにおける露光及び赤外光画素１３からの読み出しによって偶数列の垂直転送部１４ｂに読み出された信号電荷Ｓ０、Ｓ１、ＢＧがパケットに格納された状態で列方向に転送され（図１２の（ｃ）、（ｄ）、（ｅ）、（ｆ）参照）、水平転送部１５及び信号電荷検出部１６を経て信号処理回路４０に出力される。
また、期間ｔｂの途中から、これらの転送と並行して、基板排出パルスφＳＵＢの印加（図１１の（ｂ））、可視光による露光（図１２の（ｈ））、及び、φＶ４による可視光画素１２から奇数列の垂直転送部１４ａへの信号電荷の読み出し加算が行われ（図８の（ｄ））、次のフレームにおける垂直転送部１４による列方向の転送に備えられる。
このような図１２に示される駆動タイミングでは、図１１に比べ、図１１における期間ｔｂ及び期間ｔｃでの処理が一つの期間ｔｂにまとめられており、より高いフレームレートでの撮像が可能になる。
なお、このような第３の読み出し例においても、読み出された信号電荷Ｓ０、Ｓ１、ＢＧは、信号処理回路４０において、図４に示された原理によって距離画像が生成される。
以上のように、図９～図１２に示される第３の読み出し例によれば、赤外光画素１３だけでなく、可視光画素１２についても、垂直転送部１４は、読み出し電極Ｖ４によって、第１の行において隣接する２つの可視光画素１２で生成された信号電荷を当該垂直転送部１４の列方向における同じ箇所に読み出すことで加算する。
これにより、第１の行において隣接する２つの可視光画素１２で生成された信号電荷が垂直転送部１４の列方向における同じ箇所に読み出されて加算されるので、可視光画素１２について個別に信号電荷を読み出す場合に比べ、可視画像の感度が２倍に向上される。
また、複数の垂直転送部１４のうちの偶数列及び奇数列の一方の垂直転送部１４は、読み出し電極Ｖ４によって、第１の行において隣接する２つの可視光画素１２で生成された信号電荷を当該垂直転送部１４の列方向における同じ箇所に読み出すことで加算し、複数の垂直転送部１４のうちの偶数列及び奇数列の他方の垂直転送部１４は、読み出し電極Ｖ２Ａ、Ｖ２Ｂによって、第２の行において隣接する２つの赤外光画素１３で生成された信号電荷を当該垂直転送部１４の列方向における同じ箇所に読み出すことで加算する。
これにより、可視光画素１２で生成された信号電荷を列方向に転送する垂直転送部１４ａと、赤外光画素１３で生成された信号電荷を列方向に転送する垂直転送部１４ｂとが異なるので、可視光画素１２及び赤外光画素１３で生成された信号電荷を同時に列方向に転送でき、その結果、電荷転送期間が短縮化され、より高いフレームレートが実現される。
（第４の読み出し例）
図１３は、図１に示された固体撮像装置１０による信号電荷の第４の読み出し例を示す図である。
この例では、図５に示される第２の読み出し例と同様に、垂直転送部１４は、読み出し電極によって、可視光画素１２については個別に信号電荷を読み出すが、赤外光画素１３については第２の行において（つまり、行方向に）隣接する２つの赤外光画素１３で生成された信号電荷を当該垂直転送部１４の列方向における同じ箇所（パケット）に読み出すことで加算する。
ただし、第４の読み出し例では、赤外光画素１３の露光について、時間の長さが異なる２種類の露光（以下、長い時間による露光を「Ｌｏｎｇ露光」といい、短い時間による露光を「Ｓｈｏｒｔ露光」という）が行われる。
図１４は、図１３に示された第４の読み出し例におけるＬｏｎｇ露光時の赤外光画素１３についての信号電荷の読み出しと電荷蓄積状態（パケット）を示す図である。
Ｌｏｎｇ露光では、赤外光画素１３が並ぶ第２の行のうち、１行おきの行（ここでは、第２の行だけの並びにおける奇数行）について、隣接する２つの赤外光画素１３で生成された信号電荷が読み出し電極Ｖ２Ｂによって偶数列の垂直転送部１４ｂの列方向における同じ箇所（パケット）に読み出されて加算される。このような読み出しが、第１露光期間Ｔ１、第２露光期間Ｔ２及び第３露光期間Ｔ３で生成された信号電荷Ｓ０、Ｓ１、ＢＧのそれぞれについて行われる。
図１５は、図１３に示された第４の読み出し例におけるＳｈｏｒｔ露光時の赤外光画素１３についての信号電荷の読み出しと電荷蓄積状態（パケット）を示す図である。
Ｓｈｏｒｔ露光では、赤外光画素１３が並ぶ第２の行のうち、１行おきの行（ここでは、第２の行だけの並びにおける偶数行）について、隣接する２つの赤外光画素１３で生成された信号電荷が読み出し電極Ｖ２Ａによって奇数列の垂直転送部１４ａの列方向における同じ箇所（パケット）に読み出されて加算される。このような読み出しが、第１露光期間Ｔ１、第２露光期間Ｔ２及び第３露光期間Ｔ３で生成された信号電荷Ｓ０、Ｓ１、ＢＧのそれぞれについて行われる。
本図に示される読み出し例では、Ｓｈｏｒｔ露光による信号電荷Ｓ０、Ｓ１、ＢＧのそれぞれが読み出される奇数列の垂直転送部１４ａの列方向における箇所（パケット）と、Ｌｏｎｇ露光による信号電荷Ｓ０、Ｓ１、ＢＧのそれぞれが格納されている偶数列の垂直転送部１４ｂの列方向における箇所（パケット）とが、行方向に揃うように、偶数列の垂直転送部１４ｂが動作する。具体的には、偶数列の垂直転送部１４ｂは、Ｌｏｎｇ露光による信号電荷Ｓ０、Ｓ１、ＢＧをそれぞれのパケットに読み出した後、それらのパケットを列方向（下方向又は上方向）に２画素分だけ転送し、その後、奇数列の垂直転送部１４ａは、Ｓｈｏｒｔ露光による信号電荷Ｓ０、Ｓ１、ＢＧをそれぞれのパケットに読み出す。
これは、Ｌｏｎｇ露光による信号電荷Ｓ０、Ｓ１、ＢＧを格納したパケットの位置と、Ｓｈｏｒｔ露光による信号電荷Ｓ０、Ｓ１、ＢＧを格納したパケットの位置とを行方向に揃えることで、垂直転送部１４による列方向の電荷転送期間を短縮するためである。
図１６は、図１３に示された第４の読み出し例における可視光画素１２についての信号電荷の読み出しと電荷蓄積状態（パケット）を示す図である。
図７に示される動作と同様に、各可視光画素１２で生成された信号電荷は、垂直転送部１４の読み出し電極Ｖ４によって、垂直転送部１４内のパケットに読み出され、パケットに格納された状態で列方向に転送され、水平転送部１５及び信号電荷検出部１６を経て信号処理回路４０に出力される。
図１７は、図１３に示された第４の読み出し例における固体撮像装置１０の駆動タイミングの一例を示す図である。ここでは、図１５に示されるようなＬｏｎｇ露光による信号電荷Ｓ０、Ｓ１、ＢＧを格納したパケットの位置と、Ｓｈｏｒｔ露光による信号電荷Ｓ０、Ｓ１、ＢＧを格納したパケットの位置とを行方向に揃える処理が行われなかった場合（つまり、Ｌｏｎｇ露光による信号電荷とＳｈｏｒｔ露光による信号電荷とが異なる行のパケットに格納される場合）の駆動タイミングが示されている。図１７の（ａ）～（ｈ）に示される項目は、図８と基本的に同じである。ただし、図１７では、図８の（ｃ）に示されたφＶ２Ａ、２Ｂについて、それぞれを分離した形態で示されている（図１７の（ｃ１）はφＶ２Ｂを示し、図１７の（ｃ２）はφＶ２Ａを示す）。
１フレームの前半の期間ｔａでは、Ｌｏｎｇ露光により、第１露光期間での赤外光の照射と露光による距離計測（信号電荷Ｓ０の読み出し）、第２露光期間での赤外光の照射と露光による距離計測（信号電荷Ｓ１の読み出し）、及び、第３露光期間での背景光の露光（信号電荷ＢＧの読み出し）が行われ、続いて、Ｓｈｏｒｔ露光により、第１露光期間での赤外光の照射と露光による距離計測（信号電荷Ｓ０の読み出し）、第２露光期間での赤外光の照射と露光による距離計測（信号電荷Ｓ１の読み出し）、及び、第３露光期間での背景光の露光（信号電荷ＢＧの読み出し）が行われる（図１７の（ｈ）参照）。なお、Ｌｏｎｇ露光とＳｈｏｒｔ露光では、例えば、８：１の比率で、第１露光期間、第２露光期間及び第３露光期間での露光時間の長さが設定される。
続く期間ｔｂ、期間ｔｃでは、図８と同様の動作が行われる。
なお、このようなＬｏｎｇ露光とＳｈｏｒｔ露光とによるＲＡＷデータを受け取った信号処理回路４０は、Ｌｏｎｇ露光とＳｈｏｒｔ露光の露光時間比を考慮したうえで、それぞれの露光で生成された信号電荷Ｓ０、Ｓ１、ＢＧを用いて、図４に示されるＴＯＦ方式によって距離を算出することで、広いダイナミックレンジで、被写体までの距離を画素単位で算出する（つまり、距離画像を生成する）。
図１８は、図１３に示された第４の読み出し例における固体撮像装置１０の駆動タイミングの別の例を示す図である。ここでは、図１５に示されるようなＬｏｎｇ露光による信号電荷Ｓ０、Ｓ１、ＢＧを格納したパケットの位置と、Ｓｈｏｒｔ露光による信号電荷Ｓ０、Ｓ１、ＢＧを格納したパケットの位置とを行方向に揃える処理が行われた場合（つまり、Ｌｏｎｇ露光による信号電荷とＳｈｏｒｔ露光による信号電荷とが同じ行のパケットに格納される場合）の駆動タイミングが示されている。図１８の（ａ）～（ｈ）に示される項目は、図１７と同じである。
基本的な動作は、図１７と同じであるが、図１７に比べ、赤外光画素１３から読み出された信号電荷についての電荷転送期間（期間ｔｂ）が短縮化されている。本駆動タイミングによれば、Ｌｏｎｇ露光による信号電荷Ｓ０、Ｓ１、ＢＧを格納したパケットの位置と、Ｓｈｏｒｔ露光による信号電荷Ｓ０、Ｓ１、ＢＧを格納したパケットの位置とが行方向に揃えられるので、垂直転送部１４においてパケットが存在しない箇所が多く存在しており、その箇所の分だけ垂直転送部１４から水平転送部１５への信号電荷の転送を省くことができるので、垂直転送部１４による列方向の電荷転送期間が短くなる。
以上のように、図１３～図１８に示される第４の読み出し例によれば、複数の垂直転送部１４のうちの偶数列及び奇数列の一方の垂直転送部１４は、読み出し電極Ｖ２Ｂによって、複数の第２の行のうちの一部の第２の行を構成する赤外光画素１３において第１の露光時間による露光で生成された信号電荷を当該垂直転送部１４の列方向における同じ箇所に読み出し、複数の垂直転送部１４のうちの偶数列及び奇数列の他方の垂直転送部１４は、読み出し電極Ｖ２Ａによって、複数の第２の行のうちの他の一部の第２の行を構成する赤外光画素１３において第１の露光時間よりも短い第２の露光時間による露光で生成された信号電荷を当該垂直転送部１４の列方向における同じ箇所に読み出す。
これにより、赤外光画素１３について、長さの異なる２種類の露光時間による露光で得られた信号電荷が読み出されるので、赤外光画素１３から得られる距離情報のダイナミックレンジが拡大される。
また、図１５及び図１８に示される駆動タイミングによれば、複数の垂直転送部１４のうちの偶数列及び奇数列の一方の垂直転送部１４、又は、複数の垂直転送部１４のうちの偶数列及び奇数列の他方の垂直転送部１４は、転送電極によって、第１の露光時間による露光で得られた信号電荷が保持される垂直転送部１４の第１の箇所と、第２の露光時間による露光で得られた信号電荷が保持される垂直転送部１４の第２の箇所とが同じ行となるように、第１の箇所又は第２の箇所を列方向に転送する。
これにより、長さの異なる２種類の露光時間による露光で得られた信号電荷が垂直転送部１４に保持される位置が同じ行に揃えられたうえで列方向に転送されるので、電荷転送期間が短縮化され、より高いフレームレートが実現される。
以上、本発明に係る固体撮像装置及び測距撮像装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の主旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、実施の形態における一部の構成要素を組み合わせて構築される別の形態も、本発明の範囲内に含まれる。
例えば、上記実施の形態では、固体撮像装置１０は、ＣＣＤイメージセンサであったが、図１９に示すように、ＣＭＯＳイメージセンサであってもよい。
図１９において、ＣＭＯＳイメージセンサ５０は、画素アレイ部５１、垂直走査回路６０、タイミング制御部６１、参照信号生成部６２、カラム処理部６３、水平走査回路６４、信号処理部６５及び出力回路６６で構成される。
画素アレイ部５１は、行列上に配置された複数の画素で構成される。より詳しくは、可視光を信号電荷に変換する第１光電変換部を有する可視光画素５３が行方向に隣接するように並べられた第１の行と、赤外光を信号電荷に変換する第２光電変換部を有する赤外光画素５４が行方向に隣接するように並べられた第２の行とが、列方向に交互に配置されて構成される。画素アレイ部５１において、同じ列に並ぶ画素は、定電流源５２が接続された共通の垂直信号線５５に接続される。
垂直走査回路６０は、タイミング制御部６１による制御の下で、画素アレイ部５１に対して行ごとに制御信号を出力する（つまり、垂直走査をする）ことで、行単位で画素から垂直信号線５５を経てカラム処理部６３に信号を出力させる。タイミング制御部６１は、外部から入力されるマスタークロック及びデータに応じて、ＣＭＯＳイメージセンサ５０の各構成要素に対して動作タイミングを指示する。参照信号生成部６２は、タイミング制御部６１による制御の下で、カラム処理部６３が有するＡ／Ｄ変換器に入力される参照信号を生成する。
カラム処理部６３は、画素アレイ部５１の各列に対応したＡ／Ｄ変換器及びメモリを有し、タイミング制御部６１による制御の下で、画素アレイ部５１から列単位で入力される信号をＡ／Ｄ変換器でデジタル信号に変換してメモリに格納し、水平走査回路６４から与えられる制御信号に従って、各メモリに保持されたデジタル信号をシフトしながら、順次、信号処理部６５に出力する。水平走査回路６４は、タイミング制御部６１による制御の下で、カラム処理部６３の各メモリに保持されたデジタル信号をシフトさせるための制御信号をカラム処理部６３に出力する。信号処理部６５は、カラム処理部６３から出力されたデジタル信号に対して各種処理を行う回路であり、例えば、図１の信号処理回路４０と同様の処理をする。出力回路６６は、信号処理部６５から出力されたデジタル信号を外部に出力するバッファアンプである。
また、図２では、撮像部１１において、可視光画素１２がと赤外光画素１３が行方向に隣接するように並べられ、行方向のストライプ状に並ぶように配置されていたが、これに限定されず、図２０に示すように、複数行置き（一例として、図２０においては、２行置き）に配置されていてもよい。つまり、可視光画素１２が行方向に隣接するように並べられた第１の行と赤外光画素１３が行方向に隣接するように並べられた第２の行は、Ｍ行置き（Ｍは自然数）に交互に配置されてもよい。更に、可視光画素１２が行方向に隣接するように並べられた第１の行と赤外光画素１３が行方向に隣接するように並べられた第２の行は、異なる行置きに（Ｎ行の第１の行とＬ行の第２の行（ＮとＬは異なる自然数）とが交互に繰り返すように）配置されてもよい。例えば、連続する２行分の第１の行と１行分の第２の行とが交互に繰り返すように配置されてもよい。
また、上記実施の形態では、第１～第４の読み出し例が説明されたが、これらの複数の読み出し例に係る駆動方式が固体撮像装置（又は、測距撮像装置）に実装され、操作者による事前の設定によってそれらの複数の駆動方式から一つが選択されてもよいし、それらの複数の読み出し例に係る駆動方式のうちの一つだけが固体撮像装置（又は、測距撮像装置）に実装されてもよい。
また、上記実施の形態では、撮像部１１において、可視光画素１２が並ぶ第１の行では、可視光画素１２だけが配置されていたが、これに限定されず、他の波長帯の光（例えば、赤外光）を受光する画素が第１の行に含まれてもよい。
同様に、撮像部１１において、赤外光画素１３が並ぶ第２の行では、赤外光画素１３だけが配置されていたが、これに限定されず、他の波長帯の光（例えば、可視光）を受光する画素が第２の行に含まれてもよい。第２の行において、２つの赤外光画素が隣接して配置された箇所が一部に存在する限り、その箇所では、赤外光画素の２画素加算が可能になるので、高い感度で距離画像が生成される。
また、上記実施の形態では、固体撮像装置１０の撮像部１１が有する赤外光画素１３は、距離画像の生成に用いられたが、赤外光画素１３の用途としては、距離画像の生成に限られず、被写体の各種特性の観察等、他の用途であってもよい。本実施の形態に係る固体撮像装置１０によれば、可視光画素１２による撮像情報と赤外光画素１３による撮像情報の両方が得られ、かつ、高い感度で赤外光画素１３による撮像情報が得られるので、可視光と赤外光のイメージングを同時に行う各種用途に利用され得る。
本発明に係る固体撮像装置は、距離画像と可視画像とを生成し、かつ、高い感度で距離画像を生成するのに適しているので、小さな被写体や、遠方の被写体の距離画像及び可視画像を精度良く取得する測距撮像装置として有用である。例えば、指先でジェスチャー入力するスマートフォン、複数人の全身動作でコントロールするゲーム機、車に搭載されて車外の対象物を認識するカメラ等、測距カメラのアプリケーションを有する測距撮像装置に有用である。
５ 測距撮像装置
１０ 固体撮像装置
１１ 撮像部
１２ 可視光画素
１３、１３ａ～１３ｄ 赤外光画素
１４、１４ａ、１４ｂ 垂直転送部
１５ 水平転送部
１６ 信号電荷検出部
２０ 光源部
３０ 制御回路
４０ 信号処理回路
５０ ＣＭＯＳイメージセンサ
５１ 画素アレイ部
５２ 定電流源
５３ 可視光画素
５４ 赤外光画素
５５ 垂直信号線
６０ 垂直走査回路
６１ タイミング制御部
６２ 参照信号生成部
６３ カラム処理部
６４ 水平走査回路
６５ 信号処理部
６６ 出力回路

Claims (9)

  1. 行列状に配置された複数の画素を有する撮像部と、
    前記複数の画素の列のそれぞれに対応して設けられ、前記複数の画素で生成された信号電荷を読み出す読み出し電極と読み出した信号電荷を列方向に転送する転送電極とを有する複数の垂直転送部とを備え、
    前記撮像部は、可視画像を生成するために可視光における全ての波長域の光を信号電荷に変換する第１光電変換部を有する可視光画素と、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式による被写体までの距離を示す距離画像と赤外光画像とを生成するために赤外光を信号電荷に変換する第２光電変換部を有する赤外光画素とを備え、
    前記撮像部は、前記可視光画素が行方向に隣接するように並べられた第１の行と、前記赤外光画素が行方向に隣接するように並べられた第２の行とが、列方向に交互に配置されて構成され、
    前記複数の垂直転送部のうちの偶数列及び奇数列の一方の垂直転送部は、前記読み出し電極によって、複数の前記第２の行のうちの一部の第２の行を構成する赤外光画素において第１の露光時間による露光で生成された信号電荷を当該垂直転送部の列方向における同じ箇所に読み出し、
    前記複数の垂直転送部のうちの偶数列及び奇数列の他方の垂直転送部は、前記読み出し電極によって、複数の前記第２の行のうちの他の一部の第２の行を構成する赤外光画素において前記第１の露光時間よりも短い第２の露光時間による露光で生成された信号電荷を当該垂直転送部の列方向における同じ箇所に読み出す
    固体撮像装置。
  2. 前記第１の行と前記第２の行は、Ｍ行置き（Ｍは自然数）に交互に配置される、または、Ｎ行の前記第１の行とＬ行の前記第２の行（ＮとＬは異なる自然数）とが交互に繰り返すように配置される
    請求項１記載の固体撮像装置。
  3. 前記複数の垂直転送部は、前記読み出し電極によって、前記第２の行において隣接する２つの赤外光画素で生成された信号電荷を当該垂直転送部の列方向における同じ箇所に読み出すことで加算する
    請求項１記載の固体撮像装置。
  4. 前記複数の垂直転送部は、前記読み出し電極によって、前記第１の行において隣接する２つの可視光画素で生成された信号電荷を当該垂直転送部の列方向における同じ箇所に読み出すことで加算する
    請求項３記載の固体撮像装置。
  5. 前記複数の垂直転送部のうちの偶数列及び奇数列の一方の垂直転送部は、前記読み出し電極によって、前記第１の行において隣接する２つの可視光画素で生成された信号電荷を当該垂直転送部の列方向における同じ箇所に読み出すことで加算し、
    前記複数の垂直転送部のうちの偶数列及び奇数列の他方の垂直転送部は、前記読み出し電極によって、前記第２の行において隣接する２つの赤外光画素で生成された信号電荷を当該垂直転送部の列方向における同じ箇所に読み出すことで加算する
    請求項４記載の固体撮像装置。
  6. 前記複数の垂直転送部のうちの偶数列及び奇数列の一方の垂直転送部、又は、前記複数の垂直転送部のうちの偶数列及び奇数列の他方の垂直転送部は、前記転送電極によって、前記第１の露光時間による露光で得られた信号電荷が保持される前記垂直転送部の第１の箇所と、前記第２の露光時間による露光で得られた信号電荷が保持される前記垂直転送部の第２の箇所とが同じ行となるように、前記第１の箇所又は前記第２の箇所を列方向に転送する
    請求項１記載の固体撮像装置。
  7. 前記固体撮像装置は、ＣＭＯＳイメージセンサである
    請求項１又は２に記載の固体撮像装置。
  8. 前記可視光における全ての波長域の光は、白色光である
    請求項１～７のいずれか１項に記載の固体撮像装置。
  9. 赤外光を照射する光源部と、
    請求項１～８のいずれか１項に記載の固体撮像装置と、
    前記光源部及び前記固体撮像装置を制御することで、前記可視光画素に可視光を受光させ、更に、前記赤外光画素に、前記光源部が照射した赤外光が前記被写体に反射して返ってくる反射光を受光させる制御回路と、
    前記可視光画素で生成された信号電荷を読み出すことで前記可視画像を生成し、前記赤外光画素で生成された信号電荷を読み出すことで前記距離画像と前記赤外光画像とを生成する信号処理回路と
    を備える測距撮像装置。
JP2018553761A 2016-11-29 2017-11-16 固体撮像装置及び測距撮像装置 Active JP7018022B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016231847 2016-11-29
JP2016231847 2016-11-29
PCT/JP2017/041185 WO2018101049A1 (ja) 2016-11-29 2017-11-16 固体撮像装置及び測距撮像装置

Publications (2)

Publication Number Publication Date
JPWO2018101049A1 JPWO2018101049A1 (ja) 2019-10-17
JP7018022B2 true JP7018022B2 (ja) 2022-02-09

Family

ID=62241600

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018553761A Active JP7018022B2 (ja) 2016-11-29 2017-11-16 固体撮像装置及び測距撮像装置

Country Status (4)

Country Link
US (1) US11276719B2 (ja)
JP (1) JP7018022B2 (ja)
CN (1) CN110024375B (ja)
WO (1) WO2018101049A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018105476A1 (ja) * 2016-12-05 2018-06-14 パナソニックＩｐマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子
JP6805350B2 (ja) * 2017-07-27 2020-12-23 マクセル株式会社 撮像素子、撮像装置、および距離画像の取得方法
US10985203B2 (en) * 2018-10-10 2021-04-20 Sensors Unlimited, Inc. Sensors for simultaneous passive imaging and range finding
JPWO2020121705A1 (ja) * 2018-12-14 2021-11-04 ミラクシアエッジテクノロジー株式会社 撮像装置
JP7372970B2 (ja) * 2019-07-05 2023-11-01 ヌヴォトンテクノロジージャパン株式会社 情報処理システム、センサシステム、情報処理方法及びプログラム
JP7436509B2 (ja) * 2019-12-17 2024-02-21 富士フイルム株式会社 情報処理装置、撮像装置、情報処理方法、及びプログラム
CN117561722A (zh) * 2021-06-30 2024-02-13 新唐科技日本株式会社 测距装置及测距方法
WO2023276594A1 (ja) 2021-06-30 2023-01-05 ヌヴォトンテクノロジージャパン株式会社 測距装置および測距方法
WO2023171008A1 (ja) * 2022-03-09 2023-09-14 ソニーセミコンダクタソリューションズ株式会社 光検出装置および電子機器ならびに光検出システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011082859A (ja) 2009-10-08 2011-04-21 Honda Motor Co Ltd 撮像装置、撮像システム及び演算方法
JP2011232658A (ja) 2010-04-28 2011-11-17 Fujifilm Corp Ｃｍｏｓ型固体撮像素子を搭載した撮像装置及びそのプリ発光制御方法並びにフラッシュ発光量調光方法
WO2014002415A1 (ja) 2012-06-28 2014-01-03 パナソニック株式会社 撮像装置
JP2014514733A (ja) 2011-03-10 2014-06-19 サイオニクス、インク． ３次元センサ、システム、および関連する方法
WO2014122714A1 (ja) 2013-02-07 2014-08-14 パナソニック株式会社 撮像装置及びその駆動方法
JP2015527761A (ja) 2012-05-29 2015-09-17 ブライトウェイ ビジョン リミテッド 適用可能な被写界深度を使用するゲーテッド撮像

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5927068B2 (ja) 2012-07-06 2016-05-25 富士フイルム株式会社 カラー撮像素子
US10692240B2 (en) 2013-06-25 2020-06-23 Varian Medical Systems, Inc. Systems and methods for detecting a possible collision between an object and a patient in a medical procedure
JP6442710B2 (ja) * 2013-07-23 2018-12-26 パナソニックＩｐマネジメント株式会社 固体撮像装置、撮像装置及びその駆動方法
CN106576146B (zh) * 2014-08-29 2020-06-26 松下半导体解决方案株式会社 摄像装置及用于该摄像装置的固体摄像装置
CN105574525B (zh) * 2015-12-18 2019-04-26 天津中科虹星科技有限公司 一种复杂场景多模态生物特征图像获取方法及其装置
WO2020027221A1 (ja) * 2018-08-02 2020-02-06 パナソニックＩｐマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011082859A (ja) 2009-10-08 2011-04-21 Honda Motor Co Ltd 撮像装置、撮像システム及び演算方法
JP2011232658A (ja) 2010-04-28 2011-11-17 Fujifilm Corp Ｃｍｏｓ型固体撮像素子を搭載した撮像装置及びそのプリ発光制御方法並びにフラッシュ発光量調光方法
JP2014514733A (ja) 2011-03-10 2014-06-19 サイオニクス、インク． ３次元センサ、システム、および関連する方法
JP2015527761A (ja) 2012-05-29 2015-09-17 ブライトウェイ ビジョン リミテッド 適用可能な被写界深度を使用するゲーテッド撮像
WO2014002415A1 (ja) 2012-06-28 2014-01-03 パナソニック株式会社 撮像装置
WO2014122714A1 (ja) 2013-02-07 2014-08-14 パナソニック株式会社 撮像装置及びその駆動方法

Also Published As

Publication number Publication date
US20190280030A1 (en) 2019-09-12
WO2018101049A1 (ja) 2018-06-07
JPWO2018101049A1 (ja) 2019-10-17
CN110024375B (zh) 2021-10-19
US11276719B2 (en) 2022-03-15
CN110024375A (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
JP7018022B2 (ja) 固体撮像装置及び測距撮像装置
CN106576146B (zh) 摄像装置及用于该摄像装置的固体摄像装置
WO2017150246A1 (ja) 撮像装置、及びそれに用いられる固体撮像素子
WO2017085916A1 (ja) 撮像装置、及びそれに用いられる固体撮像素子
US9813631B2 (en) Image sensor configuration
JP2008177738A (ja) 撮像装置及び撮像素子
JP2015165648A (ja) 撮像装置及びその制御方法
US20150285618A1 (en) Image capturing apparatus and control method thereof
JP2019140537A (ja) 固体撮像素子、撮像装置及び撮像方法
WO2020196378A1 (ja) 距離画像の取得方法、及び、距離検出装置
JP2019106713A (ja) 固体撮像装置、及びそれを備える撮像装置
WO2020027221A1 (ja) 撮像装置、及びそれに用いられる固体撮像素子
JP6366325B2 (ja) 撮像システム
JP6485676B1 (ja) 固体撮像装置、及びそれを備える撮像装置
JP7199016B2 (ja) 固体撮像装置
JP6736329B2 (ja) 撮像素子
JP2020170992A (ja) 画像処理装置および計測装置
JP6980859B2 (ja) 撮像素子
JP6320132B2 (ja) 撮像システム
JP2019149608A (ja) 撮像装置および焦点検出装置
KR20230063232A (ko) 이미지 센서, 그 동작 방법 및 이를 포함하는 전자 장치
JP2024041961A (ja) 距離画像撮像装置、及び距離画像撮像方法
JPWO2023276594A5 (ja)
CN117561722A (zh) 测距装置及测距方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190516

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20200217

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20200520

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220128

R150 Certificate of patent or registration of utility model

Ref document number: 7018022

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150