JP7227777B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP7227777B2
JP7227777B2 JP2019018255A JP2019018255A JP7227777B2 JP 7227777 B2 JP7227777 B2 JP 7227777B2 JP 2019018255 A JP2019018255 A JP 2019018255A JP 2019018255 A JP2019018255 A JP 2019018255A JP 7227777 B2 JP7227777 B2 JP 7227777B2
Authority
JP
Japan
Prior art keywords
pixel
counter
unit
signal
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019018255A
Other languages
English (en)
Other versions
JP2020127122A5 (ja
JP2020127122A (ja
Inventor
隆幸 安田
浩靖 形川
知永 岩原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019018255A priority Critical patent/JP7227777B2/ja
Priority to US16/778,475 priority patent/US11297269B2/en
Publication of JP2020127122A publication Critical patent/JP2020127122A/ja
Publication of JP2020127122A5 publication Critical patent/JP2020127122A5/ja
Application granted granted Critical
Publication of JP7227777B2 publication Critical patent/JP7227777B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself

Description

本発明は、撮像装置において受光素子の信号を加算する技術に関するものである。
従来より、撮像装置のAF(オートフォーカス)方式として1つのマイクロレンズに対して複数の光電変換部を持った撮像素子により、瞳分割像を取得し、得られた2つの瞳分割像の位相差を求めて焦点検出を行う技術が知られている。
例えば、特許文献1では瞳分離した像から位相差を求めて焦点検出を行うと同時に、同一マイクロレンズに対応した画素を全て加算して1つの画素として取り扱うことが開示されている。これにより従来の撮像素子配列と同じになるように信号を取り出し、従来の信号処理技術により観賞用の画像を作成する。
さらに特許文献2では、このような撮像素子の信号読み出し方法として、第1の動作で瞳分割されたフォトダイオード2画素のうち第1画素信号を読み出し、第2の動作でリセットせずに第2画素を加算して読み出すことが開示されている。そして、第2画素信号は加算信号から第1画素信号を減算して求める。なお、設定された焦点検出領域のみ第1画素信号と第2画素信号の両方を読み出し、それ以外は第2画素信号のみを読み出すように必要最小限のデータを伝送することが可能であることも開示されている。これにより、高解像度、高速連写、動画フレームレートの向上といった性能向上の要求に対応することもできる。
ところで、特許文献3では、画素毎に1bit型AD変換器とカウンタとを有する固体撮像素子が提案されている。受光素子の信号に対し画素毎にAD変換を行うため、列毎にAD変換を行う固体撮像素子の持つ走査線数とフレームレートのトレードオフを解消することが可能である。
特開2008-134389号公報 特開2013-106194号公報 特開2015-173432号公報
しかしながら、上述の特許文献に開示された従来技術では、以下のような問題が発生する。
1bit型AD変換器とカウンタとを有する撮像装置において、特許文献2に開示されているように、設定された焦点検出領域のみ第1画素信号のカウント値と第2画素信号のカウント値の両方を読み出す場合を考える。この場合、設定された焦点検出領域以外の領域にも第1画素信号のカウンタと、第2画素信号のカウンタとを配置すると回路規模が増大する。また、設定された焦点検出領域以外の領域において、第1画素信号のカウンタと、第2画素信号のカウンタとを駆動させると消費電力が増大する。
本発明は上述した課題に鑑みてなされたものであり、その目的は、画素ごとに1bit型AD変換器とカウンタとを有する撮像装置において、回路規模と消費電力の増加を抑制することである。
本発明に係わる撮像装置は、各々が1つのマイクロレンズと、光の入射を受けてパルス信号を発生する複数のアバランシェフォトダイオードと、前記複数のアバランシェフォトダイオードのうちの全てのアバランシェフォトダイオードのパルス信号をカウントする第1のカウンタと、前記複数のアバランシェフォトダイオードのうちの一部のアバランシェフォトダイオードのパルス信号をカウントする第2のカウンタとを備えたカント回路とを有する複数の単位画素と、前記第1のカウンタによるカウント値から、前記第2のカウンタによるカウント値を減算する減算手段と、を有することを特徴とする。
本発明によれば、画素ごとに1bit型AD変換器とカウンタとを有する撮像装置において、回路規模と消費電力の増加を抑制することが可能となる。
本発明の第1の実施形態の撮像装置における単位画素の構成を示す図。 本発明の第1の実施形態における画素部を示す図。 第1の実施形態における焦点検出用ラインの単位画素の動作を示すタイミングチャート。 第1の実施形態における非焦点検出用ラインの単位画素の動作を示すタイミングチャート。 第1の実施形態における瞳分割方式による焦点検出の原理を説明する図。 第1の実施形態における固体撮像素子の構成を示す図。 第1の実施形態における撮像装置の構成を示す図。 第2の実施形態の撮像装置における単位画素の構成を示す図。 第2の実施形態における画素部を示す図。 第2の実施形態における非焦点検出用ラインの単位画素の動作を示すタイミングチャート。 第2の実施形態における固体撮像素子の構成を示す図。 第2の実施形態における撮像装置の構成を示す図。 第3の実施形態における撮像装置の単位画素の構成を示す図。 第3の実施形態における画素部を示す図。 第3の実施形態における焦点検出用ラインの単位画素の動作を示すタイミングチャート。 第3の実施形態における非焦点検出用ラインの単位画素の動作を示すタイミングチャート。 第3の実施形態における瞳分割方式を説明する図。 第3の実施形態における固体撮像素子の構成を示す図。 第3の実施形態における撮像装置の構成を示す図。 第4の実施形態における単位画素の構成を示す図。 第4の実施形態における撮像素子の上面図。 第4の実施形態における単位画素の動作を示すタイミングチャート。 撮影レンズの射出瞳から出た光束が単位画素に入射する概念図。 第4の実施形態における撮像装置の構成を示すブロック図。 第4の実施形態における撮像素子の駆動モードと読出しデータを示す図。 第4の実施形態におけるセレクタの遷移の様子を示す図。 第5の実施形態における単位画素の構成を示す図。 第5の実施形態における撮像素子の上面図。 第6の実施形態における撮像装置の構成を示す図。 第6の実施形態における撮像素子の構成を示す図。 第6の実施形態における単位画素の構成を示す図。 ガイガーモードの遷移を説明する模式図。 第6の実施形態における単位画素の構成を示す図。 フォトン入射時のパルス波形とカウント数を示す模式図。 第6の実施形態の変形例における単位画素の構成を示す図。 第7の実施形態における単位画素の構成を示す図。 第8の実施形態における単位画素の構成を示す図。 第9の実施形態における単位画素の構成を示す図。 第10の実施形態における電圧駆動の例を示す図。
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
(第1の実施形態)
図1は、本発明の第1の実施形態の撮像装置における単位画素100の構成を示す回路図である。図1を参照して、固体撮像素子の構成要素である単位画素100の構成について説明する。
単位画素100は、固体撮像素子に複数配列され、アバランシェフォトダイオード(以下、APDとする)101A,101B、クエンチ抵抗102A,102B、波形整形回路103A,103B、OR回路104AB、カウンタ105A,105ABを備えて構成される。
単位画素100では、同一のマイクロレンズに対して受光素子としてのAPD101が2つ配置されている。そして、詳細は後述するが、マイクロレンズを透過してAPD101Aが受光した光子の数をカウンタ105Aでカウントすることにより、射出瞳の異なる2つの領域のうちの片方の信号を得ることが可能である。
また、APD101AとAPD101Bが受光する光子の数をカウンタ105ABでカウントすることにより、表示用、記録用の信号を得る(画像生成する)ことが可能である。また、カウンタ105ABのカウント値から、カウンタAのカウント値を後段の回路において減算することにより、射出瞳の異なる2つの領域のうちのもう片方の信号を得ることが可能である。
続いて、単位画素の各々の構成要素に関して詳細に説明する。APD101A,101Bは、クエンチ抵抗102A,102Bを介して逆バイアス電圧VAPDと接続されており、光子が入射するとアバランシェ増倍による電荷を発生させる。発生した電荷はクエンチ抵抗102A,102Bを介して排出される。波形整形回路103A,103Bは、光子の入射に応じた電荷の生成、排出による電位の変化に対し増幅、エッジ検出を行うことにより、電圧パルス(パルス信号)を生成する。このようにAPD101、クエンチ抵抗102、波形整形回路103は、光子の入射の有無を電圧パルスに変換することにより、1bit型AD変換器として機能する。
カウンタ105Aには波形整形回路103Aの出力がPLS_Aとして入力される。カウンタ105ABには、波形整形回路103Aの出力であるPLS_Aと、波形整形回路103Bの出力であるPLS_Bが、OR回路104ABを介して、PLS_ABとして入力される。
このような構成により、カウンタ105Aでは、射出瞳の異なる領域の片方の信号を得ることが可能である。カウンタ105ABでは、射出瞳の異なる領域の両方の信号を加算した、表示用、記録用の画像を得ることが可能である。
ここで、後の説明の便宜上、APD101A及びクエンチ抵抗102Aにより生成される波形をAPD_Aとし、APD101B及びクエンチ抵抗102Bにより生成される波形をAPD_Bとする。また、波形整形回路103Aの出力をPLS_Aとし、OR回路104ABの出力をPLS_ABとする。
続いて図2、図3A、図3Bを参照して、単位画素100の焦点検出用ライン201と非焦点検出用ライン202の駆動方法について説明する。
図2は、撮像素子において、単位画素100が行列状に多数配置された画素部200を示す図であり、焦点検出用ライン201と非焦点検出用ライン202を示している。図3Aは、焦点検出用ライン201の単位画素100の駆動を示すタイミングチャートである。
図3Aは、1つの単位画素100における撮像駆動を示しており、この駆動を複数の単位画素100において並列して行うことにより、光学像がデジタル信号に変換される。図中、CNT_RST、CNT_EN_A、CNT_EN_ABは駆動信号であり、カウンタ105A,105ABの制御を行う。
CNT_RSTはHighレベル(以下、“H”とする)になることにより、カウンタ105A,105ABのカウント値を0にリセットする。また、CNT_EN_Aが“H”となる期間のみ、カウンタ105Aはパルス数をカウントする。また、CNT_EN_ABが“H”となる期間のみ、カウンタ105ABはパルス数をカウントする。CNT_A及びCNT_ABはカウンタ105A,105ABのカウント値を表す。図3Aでは説明を分かりやすくするため、CNT_Aは0~7の8段階でカウント値を表現している。CNT_ABはPLS_AとPLS_BをOR回路104ABで加算したPLS_ABで制御しているため、CNT_Aの2倍の、0~15の16段階でカウント値を表現している。
続いてタイミングに沿って、単位画素100の駆動について説明する。タイミングt300では、CNT_RSTが“H”となりカウンタ105A,105ABのカウント値が0にリセットされる。
タイミングt301では、CNT_RSTがLowレベル(以下、“L”とする)になり、カウンタ105A,105ABのリセットが終了する。同時にCNT_EN_A、及び、CNT_EN_ABが“H”となりカウンタ105A,105ABの電圧パルスのカウントが有効となる。これによりAPD101A,101Bに入射した光子に応じた電圧パルスをカウントする期間である撮像期間が開始される。
タイミングt302では、APD101Aに光子が入射したことにより、アバランシェ増倍された電荷が発生しAPD_Aの電位が変化する。クエンチ抵抗102Aを介して電荷を排出するので、APD_Aが再び一定の電位になるまで時間がかかる。波形整形回路103Aでは、APD_Aの立下りエッジを検出し、短時間の電圧パルスを生成する。この電圧パルスはカウンタ105Aに入力されるとともに、OR回路104ABを介してカウンタ105ABにも入力され、カウンタ105A、カウンタ105ABのカウント値が1となる。
タイミングt302~t303で、波形整形回路103Aで生成された電圧パルスはカウンタ105A、及び、カウンタ105ABでカウントされ、波形整形回路103Bで生成された電圧パルスはカウンタ105ABでカウントされる。
タイミングt303で、CNT_EN_A、及び、CNT_EN_ABが“L”となり、撮像期間が終了する。終了した際のカウンタ105A,105ABのカウント値を出力A、出力ABとして単位画素100外へと出力する。図3Aに示す駆動により、撮像期間内にAPD101A,101Bに入射した光子の個数のカウントを行う。その結果、カウンタ105Aでは、射出瞳の異なる領域の片方の信号を得ることが可能である。また、カウンタ105ABでカウントすることにより、射出瞳の異なる領域の両方の信号を得ることが可能であり、表示用、記録用の信号を得ることが可能である。
図3Bは、非焦点検出用ライン202の単位画素100の駆動を示すタイミングチャートである。図3Bは1つの単位画素100における撮像駆動を示しており、この駆動を複数の単位画素100において並列して行うことにより、光学像がデジタル信号に変換される。
タイミングt304では、CNT_RSTが“H”となりカウンタ105ABのカウント値が0にリセットされる。後述するように、非焦点検出用ラインにおいては、単位画素100のカウンタAはカウントする必要がない。そのため、カウンタAは消費電力の低減のために、クロックGating等によりクロックがOFFされており、CNT_RSTが“H”となるかならないかに関わらず、値「0」(ゼロ値)をホールドしている。
タイミングt305では、CNT_RSTが“L”となり、カウンタ105ABのリセットが終了する。ここで、カウンタのリセットの後も、CNT_EN_Aは“L”のままであり、カウンタ105Aは消費電力低減のためのクロックGating等によりカウント動作が無効のままである。一方、CNT_EN_ABは“H”となりカウンタ105ABの電圧パルスのカウントが有効となる。これによりAPD101A,101Bに入射した光子に応じた電圧パルスをカウントする期間である撮像期間が開始される。
タイミングt306では、APD101Aに光子が入射したことにより、アバランシェ増倍された電荷が発生し、APD_Aの電位が変化する。クエンチ抵抗102Aを介して電荷を排出するので、APD_Aが再び一定の電位になるまで時間がかかる。波形整形回路103Aでは、APD_Aの立下りエッジを検出し、短時間の電圧パルスを生成する。この電圧パルスはカウンタ105Aに入力されるとともに、OR回路104ABを介してカウンタ105ABにも入力され、カウンタ105ABのカウント値が1となる。カウンタ105Aは消費電力低減のためのクロックGating等によりカウント動作が無効のままでありカウントアップは行われない。
タイミングt306~t307では、波形整形回路103A、及び、波形整形回路103Bで生成された電圧パルスはカウンタ105ABでカウントされる。タイミングt307では、CNT_EN_ABが“L”となり、撮像期間が終了する。終了した際のカウンタ105ABのカウント値を出力ABとして単位画素100外へと出力する。
図3Bに示す駆動により、撮像期間内にAPD101A,101Bに入射した光子の個数のカウントを行う。一方、カウンタ105Aは、クロックGating等により動作しない。そのため、消費電力の低減を実現することが可能である。また、カウンタ105ABでカウントすることにより表示用、記録用の信号を得ることができる。
続いて図4を参照して、本実施形態における瞳分割方式による焦点検出の原理について説明する。図4は、撮影レンズの射出瞳から出た光束が単位画素に入射する概念図である。前述したように、単位画素100にはAPD101A及びAPD101Bが配置されている。
図4に示すように、射出瞳400から出た光束は、光軸OAを中心として、マイクロレンズ401とカラーフィルタ402を通して単位画素100に入射する。射出瞳400から単位画素100までの距離を瞳距離とする。射出瞳400の一部の領域を示す瞳領域403Aと瞳領域403Bを通過する光束は、それぞれAPD101AとAPD101Bに入射する。したがって、APD101AとAPD101Bは、それぞれ撮影レンズの射出瞳の異なる領域の光を受光している。これにより、APD101Aの信号とAPD101Bの信号を比較することで、位相差の検知が可能となる。
続いて図5を用いて、本実施形態における固体撮像素子の構成について説明する。図5は、固体撮像素子500の構成を示す回路図である。
固体撮像素子500は、単位画素100が行列状に多数配置された画素部200と、出力制御回路501、信号処理回路502、タイミング制御回路503を備えて構成される。
出力制御回路501には、画素部200に配置された単位画素100の出力A、出力ABがそれぞれ入力され、信号処理回路502に出力する単位画素100の信号を選択及び制御する。信号処理回路502は、焦点検出用ライン201については、単位画素100の出力Aと、出力ABとを固体撮像素子400の外部へ出力する。非焦点検出用ライン202については、カウンタ105AはクロックGating等により動作させずに、出力ABのみ固体撮像素子400の外部へ出力する。
タイミング制御回路503は、画素部200に駆動信号を出力する他、出力制御回路501、信号処理回路502の駆動タイミングを制御する。カウンタ105Aに関して、このような駆動とすることにより、消費電力を低減することが可能となる。
続いて、図6を参照して、固体撮像素子500を用いた撮像装置の構成について説明する。
固体撮像素子500は、撮影レンズ602により結像された光学像を電気信号に変換する。レンズ制御部601は全体制御演算部603の指示に応じて、撮影レンズ602に対してフォーカス駆動、及び絞り駆動を行う。
全体制御演算部603は、固体撮像素子500の制御、固体撮像素子500から出力された信号の補正及び現像を含む、撮像装置全体の制御を行う。更には、固体撮像素子500内の画素部200を焦点検出用ライン201として駆動させるか、消費電力を低減させるための、非焦点検出用ライン202として駆動させるかを決定する。
全体制御演算部603は、焦点検出用ライン201として駆動させた複数の単位画素100の出力Aの信号と、出力ABから出力Aを減算した信号とから位相差検出を行う。その検出結果に応じてレンズ制御部601にフォーカス駆動の制御量を通信する。
メモリ部604は画像データを一時的に保存し、表示部605は各種情報や撮影画像の表示を行う。操作部606は撮像装置の各種インターフェースであり、操作部606の信号を用いて、全体制御演算部603は各ブロックを制御する。記録部607は画像データの記録や読み出しを行うための、半導体メモリ等の着脱可能な記録部である。
このように、画素部200内の単位画素100において、焦点検出用ライン201については、カウンタ105A、カウンタ105ABを駆動させて、焦点検出に必要な画素値を取得する。その一方で、非焦点検出用ライン202においては、カウンタ105AをクロックGating等により動作させないことにより、消費電力を低減することが可能となる。
(第2の実施形態)
以下、本発明の第2の実施形態の撮像装置及びその駆動方法について説明する。なお、以下において、第1の実施形態と同一構成要素には同じ記号および符号を付しその説明を省略する。
図7を参照して、本実施形態における固体撮像素子の構成要素である単位画素700の構成について説明する。図7は第2の実施形態における単位画素700の構成を示す回路図である。
単位画素700は、画素部200の非焦点検出ライン802における画素の構成を示している。画素部200の焦点検出ライン201における画素の構成は、図1に示した単位画素100の構成で配置されている。
単位画素700は、アバランシェフォトダイオード(以下、APDとする)101A,101B、クエンチ抵抗102A,102B、波形整形回路103A,103B、OR回路104AB、カウンタ105ABを備えて構成されている。単位画素700は、単位画素100のようにカウンタ105Aが配置されていないために、焦点検出用の画素としては使用できないが、より回路規模を小さく構成することができる。
続いて図8、図3A、図9を参照して、単位画素700からなる焦点検出用ライン201と非焦点検出用ライン802(図8参照)の駆動方法について説明する。
図8は、単位画素700、及び、単位画素700が行列状に多数配置された画素部800を示しており、更には、焦点検出用ライン201は単位画素100からなり、非焦点検出用ライン802は非焦点検出用画素700からなることを示している。
図3Aは、第1の実施形態と同じく、焦点検出用ライン201の単位画素100の駆動を示すタイミングチャートである。図9は非焦点検出用ライン802の単位画素700の駆動を示すタイミングチャートである。図9は1つの単位画素700における撮像駆動を示しており、この駆動を複数の単位画素700において並列して行うことにより、光学像をデジタル信号に変換する。
タイミングt900では、CNT_RSTが“H”となりカウンタ105ABのカウント値が0にリセットされる。
タイミングt901では、CNT_RSTが“L”となり、カウンタ105ABのリセットが終了する。CNT_EN_ABは“H”となりカウンタ105ABの電圧パルスのカウントが有効となる。これによりAPD101A,101Bに入射した光子に応じた電圧パルスをカウントする期間である撮像期間が開始される。
タイミングt902では、APD101Aに光子が入射したことによりアバランシェ増倍された電荷が発生し、APD_Aの電位が変化する。クエンチ抵抗102Aを介して電荷を排出するので、APD_Aが再び一定の電位になるまで時間がかかる。波形整形回路103Aでは、APD_Aの立下りエッジを検出し、短時間の電圧パルスを生成する。この電圧パルスはOR回路104ABを介してカウンタ105ABに入力され、カウンタ105ABのカウント値が1となる。タイミングt902~t903では、波形整形回路103A、及び、波形整形回路103Bで生成された電圧パルスはカウンタ105ABでカウントされる。タイミングt903で、CNT_EN_ABが“L”となり、撮像期間が終了する。終了した際のカウンタ105ABのカウント値を出力ABとして単位画素700外へと出力する。
図9に示す駆動により、非焦点検出ライン802の単位画素700において、撮像期間内にAPD101A,101Bに入射した光子の個数のカウントを行う。また、図3Aに示す駆動により、焦点検出ライン201の単位画素100において、撮像期間内にAPD101A,101Bに入射した光子の個数のカウントを行う。その結果、カウンタ105Aでは、射出瞳の異なる領域の片方の信号を得ることが可能である。また、カウンタ105ABでカウントすることにより表示用、記録用の信号を得ることが可能である。
このように、焦点検出ライン201にのみ、単位画素100のように、カウンタA、及び、カウンタABを配置して、非焦点検出ライン802には単位画素700のように、カウンタAを配置しない構成により、回路規模を低減させることが可能となる。一方、単位画素700には、単位画素100と同様に、カウンタ105ABが配置されている。そのため、カウンタ105ABでカウントすることにより表示用、記録用の信号を得ることが可能である。
続いて図10を用いて、本実施形態における固体撮像素子の構成について説明する。図10は本実施形態おける固体撮像素子1000の構成を示す回路図である。
固体撮像素子1000は、焦点検出ライン201には単位画素100が行列状に多数配置され、非焦点検出ライン802には単位画素700が配置されている。また、出力制御回路501、信号処理回路502、タイミング制御回路503を備えて構成される。
出力制御回路502には、画素部800に配置された単位画素100の出力A、出力ABがそれぞれ入力され、信号処理回路502に出力する単位画素100、及び、単位画素700の信号を選択及び制御する。信号処理回路502は、焦点検出用ライン201については、単位画素100の出力Aと、出力ABとを固体撮像素子1000の外部へ出力する。非焦点検出用ライン802については、出力ABを固体撮像素子1000の外部へ出力する。
タイミング制御回路503は、画素部800に駆動信号を出力する他、出力制御回路501、信号処理回路502の駆動タイミングを制御する。固体撮像素子1000に関して、このような画素の配置とすることにより、消費電力を低減することが可能となると共に、より回路規模の低減を図ることができる。
続いて、図11を参照して、固体撮像素子1000を用いた撮像装置の構成について説明する。
固体撮像素子1000は、撮影レンズ602により結像された光学像を電気信号に変換する。レンズ制御部601は全体制御演算部1103の通信に応じて、撮影レンズ602に対してフォーカス駆動、及び絞り駆動を行う。
全体制御演算部1103は、固体撮像素子1000の制御、固体撮像素子1000から出力された信号の補正及び現像を含む、撮像装置全体の制御を行う。更には、固体撮像素子1000内の画素部800の焦点検出用ライン201と、回路規模の低減と消費電力の低減が実現された非焦点検出用ライン802とを駆動する。
全体制御演算部1103は、焦点検出用ライン201として駆動させた複数の単位画素100の出力Aの信号と、出力ABから出力Aを減算した信号とから位相差検出を行う。その検出結果に応じてレンズ制御部601にフォーカス駆動の制御量を通信する。
メモリ部604は画像データを一時的に保存し、表示部605は各種情報や撮影画像の表示を行う。操作部606は撮像装置の各種インターフェースであり、操作部606の信号を用いて、全体制御演算部1103は各ブロックを制御する。記録部607は画像データの記録や読み出しを行うための、半導体メモリ等の着脱可能な記録部である。
このように、画素部800において、焦点検出用ライン201については、単位画素100を配置して、カウンタ105A、カウンタ105ABを駆動させて、焦点検出に必要な画素値を取得する。一方で、非焦点検出用ライン802については、単位画素700にカウンタA105を配置しないことにより、回路規模を低減でき、より消費電力を低減することが可能となる。
(第3の実施形態)
以下、本発明の第3の実施形態の撮像装置及びその駆動方法について説明する。なお、以下において、第1の実施形態と同一構成要素には同じ記号および符号を付しその説明を省略する。
図12を参照して、本実施形態における固体撮像素子の構成要素である単位画素1200の構成について説明する。図12は第3の実施形態における単位画素1200の構成を示す回路図である。
単位画素1200は、アバランシェフォトダイオード(以下、APDとする)1201A,1201B,1201C,1201D、クエンチ抵抗1202A,1202B,1202C,1202Dを備える。さらに、波形整形回路1203A,1203B,1203C,1203D、OR回路1204ABC、OR回路1204ABCD、カウンタ1205ABC,1205ABCD、セレクタSEL_BCも備える。
単位画素1200には受光素子としてのAPD1201が4つ配置されている。そして、同一マイクロレンズを透過してAPD1201Aが受光した光子数と、セレクタSEL_BCで選択されるAPD1201BもしくはAPD1201Cが受光した光子数とをカウンタ1205ABCでカウントする。これにより、射出瞳の異なる領域の片方の信号を得ることが可能である。
例えば、セレクタSEL_BCにより、APD1201Bが選択された場合、カウンタ1205ABCはAPD1201Aと、APD1201Bとを加算した値をカウントする。一方で、例えば、セレクタSEL_BCにより、APD1201Cが選択された場合、カウンタ1205ABCはAPD1201Aと、APD1201Cとを加算した値をカウントする。セレクタSEL_BCの制御については後述する。
また、APD1201A、APD1201B、APD1201C、APD1201Dが受光する光子数をカウンタ1205ABCDでカウントすることにより、表示用、記録用の信号を得ることが可能である。また、カウンタ1205ABCDのカウント値から、カウンタ1205ABCのカウント値を後段の回路において減算することにより、射出瞳の異なる領域のもう片方の信号を得ることが可能である。
続いて各々の構成要素について詳細に説明する。APD1201A,1201B,1201C,1201Dにはクエンチ抵抗1202A,1202B,1202C,1202Dを介して逆バイアス電圧VAPDが接続されており、光子が入射するとアバランシェ増倍による電荷を発生させる。発生した電荷はクエンチ抵抗1202A,1202B,1202C,1202Dを介して排出される。波形整形回路1203A,1203B,1203C,1203Dは、光子の入射に応じた電荷の生成、排出による電位の変化に対し増幅及びエッジ検出を行うことにより、電圧パルスを生成する。
このようにAPD1201、クエンチ抵抗1202、波形整形回路1203は、光子の入射の有無を電圧パルスに変換することにより、1bit型AD変換器として機能する。
カウンタ1205ABCには、波形整形回路1203Aの出力であるPLS_Aと、波形整形回路1203Bの出力であるPLS_B及び波形整形回路1203Cの出力であるPLS_Cの一方とを加えたものが、PLS_ABCとして入力される。波形整形回路1203Bの出力であるPLS_B、もしくは、波形整形回路1203Cの出力であるPLS_Cのいずれが選択されるかは、焦点検出の方向により決定される。詳細は後述する。
カウンタ1205ABCDには、波形整形回路1203Aの出力であるPLS_Aと、波形整形回路1203Bの出力であるPLS_Bと、波形整形回路1203Cの出力であるPLS_Cと、波形整形回路1203Dの出力であるPLS_Dとが、OR回路1204ABCDを介して、PLS_ABCDとして入力される。
このような構成により、カウンタ1205ABCでは、射出瞳の異なる領域のうちの片方の信号を得ることが可能である。カウンタ1205ABCDでは、射出瞳の異なる領域の信号を加算した、表示用、記録用の画像を得ることが可能である。
ここで、説明を分かりやすくするために、APD1201A及びクエンチ抵抗1202Aにより生成される波形をAPD_Aとする。以下、同様に、APD1201A及びクエンチ抵抗1202Bにより生成される波形をAPD_Bとする。APD1201C及びクエンチ抵抗1202Cにより生成される波形をAPD_Cとする。APD1201D及びクエンチ抵抗1202Dにより生成される波形をAPD_Dとする。また、OR回路1204ABCの出力をPLS_ABC、OR回路1204ABCDの出力をPLS_ABCDとする。また、APD1201A~1201D、クエンチ抵抗1202A~1202D、波形整形回路1203A~1203Dの構成要素をそれぞれまとめて、受光部1208A~1208Dとする。
続いて図13、図14A、図14Bを参照して、画素部1300における焦点検出用ライン1301と非焦点検出用ライン1302の駆動方法について説明する。図13は、撮像素子において、単位画素1200が行列状に多数配置された画素部1300を示しており、更には、焦点検出用ライン1301と非焦点検出用ライン1302を示している。
図14Aは、焦点検出用ライン1301の単位画素1200の駆動を示すタイミングチャートである。本実施形態では、セレクタSEL_BCによりAPD1201Bが選択された場合、つまりカウンタ105ABCがAPD1201Aと、APD1201Bとを加算した値をカウントする場合を示す。図14Aは1つの単位画素1200における撮像駆動を示しており、この駆動を複数の単位画素1200において並列して行うことにより、光学像をデジタル信号に変換する。
図14Aにおいて、CNT_RST、CNT_EN_ABC及び、CNT_EN_ABCDは駆動信号であり、カウンタ1205ABC,1205ABCDの制御を行う。CNT_RSTは“H”になることにより、カウンタ1205ABC,1205ABCDのカウント値を0にリセットする。また、CNT_EN_ABCが“H”となる期間のみ、カウンタ1205ABCはパルス数をカウントする。また、CNT_EN_ABCDが“H”となる期間のみ、カウンタ1205ABCDはパルス数をカウントする。CNT_ABC及びCNT_ABCDはカウンタ1205ABC,1205ABCDのカウント値を表す。
図14Aでは説明を分かりやすくするために、CNT_ABCはPLS_Aと、PLS_B及びPLS_Cの一方とをOR回路1204ABCで加算したPLS_ABCで駆動しており、0~7の8段階でカウント値を表現している。CNT_ABCDはPLS_A、PLS_B、PLS_C、PLS_DをOR回路1204ABCDで加算したPLS_ABCDで制御しているため、CNT_Aの2倍の、0~15の16段階でカウント値を表現している。
続いて、単位画素1200の駆動について説明する。
タイミングt1200では、CNT_RSTが“H”となりカウンタ1205ABC,1205ABCDのカウント値が0にリセットされる。
タイミングt1201では、CNT_RSTが“L”となり、カウンタ1205ABC,1205ABCDのリセットが終了する。同時にCNT_EN_ABC、及び、CNT_EN_ABCDが“H”となりカウンタ1205ABC,1205ABCDの電圧パルスのカウントが有効となる。これによりAPD1201A,1201B,1201C,1201Dに入射した光子に応じた電圧パルスをカウントする期間である撮像期間が開始される。
タイミングt1202では、APD1201Aに光子が入射したことにより、アバランシェ増倍された電荷が発生しAPD_Aの電位が変化する。クエンチ抵抗1202Aを介して電荷を排出するので、APD_Aが再び一定の電位になるまで時間がかかる。波形整形回路1203Aでは、APD_Aの立下りエッジを検出し、短時間の電圧パルスを生成する。この電圧パルスはカウンタ1205ABCに入力されるとともに、OR回路1204ABCDを介してカウンタ1205ABCDにも入力され、カウンタ1205ABC、カウンタ1205ABCDのカウント値が1となる。
本実施形態では、セレクタSEL_BCにより、APD1201Bが選択されているので、カウンタ1205ABCでは、APD1201Aと、APD1201Bとを加算した値がカウントされる。
タイミングt1202~t1203で、波形整形回路1203Aと、波形整形回路1203Bとで生成された電圧パルスは、カウンタ1205ABCでカウントされる。また、波形整形回路1203A、波形整形回路1203B、波形整形回路1203C、波形整形回路1203Dで生成された電圧パルスは、カウンタ1205ABCDでカウントされる。
タイミングt1203で、CNT_EN_ABC、及び、CNT_EN_ABCDが“L”となり、撮像期間が終了する。終了した際のカウンタ1205ABC,1205ABCDのカウント値を出力ABC、出力ABCDとして単位画素1200外へと出力する。
図14Aに示す駆動により、撮像期間内にAPD1201A,1201B,1201C,1201Dに入射した光子の個数のカウントを行う。その結果、カウンタ1205ABCでは、射出瞳の異なる領域のうちの片方の信号を得ることが可能である。また、カウンタ1205ABCDでカウントすることにより表示用、記録用の信号を得ることが可能である。
図14Bは、非焦点検出用ライン1302の単位画素1200の駆動を示すタイミングチャートである。図14Bは、1つの単位画素1200における撮像駆動を示しており、この駆動を複数の単位画素1200において並列して行うことにより、光学像をデジタル信号に変換する。
タイミングt1204では、CNT_RSTが“H”となりカウンタ1205ABCDのカウント値が0にリセットされる。後述するように、非焦点検出用ラインにおいては、単位画素1200のカウンタABC1205はカウントする必要がない。そのため、カウンタABC1205は消費電力低減のために、クロックGating等によりクロックがOFFされており、CNT_RSTが“H”となるかならないかに関わらず、値「0」にホールドされている。
タイミングt1205では、CNT_RSTが“L”になり、カウンタ1205ABCDのリセットが終了する。この後、CNT_EN_ABCは“L”のままで、カウンタ1205ABCは消費電力低減のためのクロックGating等によりカウント動作が無効のままである。一方、CNT_EN_ABCDは“H”となりカウンタ1205ABCDの電圧パルスのカウントが有効となる。これによりAPD1201A,1201B,1201C,1201Dに入射した光子に応じた電圧パルスをカウントする期間である撮像期間が開始される。
タイミングt1206では、APD1201Aに光子が入射したことにより、アバランシェ増倍された電荷が発生し、APD_Aの電位が変化する。クエンチ抵抗1202Aを介して電荷を排出するので、APD_Aが再び一定の電位になるまで時間がかかる。波形整形回路1203Aでは、APD_Aの立下りエッジを検出し、短時間の電圧パルスを生成する。この電圧パルスはOR回路1204ABCを介してカウンタ1205ABCに入力されるとともに、OR回路1204ABCDを介してカウンタ1205ABCDにも入力され、カウンタ1205ABCDのカウント値が1となる。カウンタ1205ABCは消費電力低減のためのクロックGating等によりカウント動作が無効のままでありカウントアップは行われない。
タイミングt1206~t1207で、波形整形回路1203A、波形整形回路1203B、波形整形回路1203C、波形整形回路1203Dで生成された電圧パルスはカウンタ1205ABCDでカウントされる。タイミングt1207で、CNT_EN_ABCDが“L”となり、撮像期間が終了する。終了した際のカウンタ1205ABCDのカウント値を出力ABCDとして単位画素100外へと出力する。
図14Bに示す駆動により、撮像期間内にAPD1201A,1201B,1201C,1201Dに入射した光子の個数のカウントを行う。一方、カウンタ1205ABCは、クロックGating等により動作しない。そのため、消費電力の低減を実現することが可能である。また、カウンタ1205ABCDでカウントすることにより表示用、記録用の信号を得ることが可能である。
続いて図15を参照して、本発明の第3の実施形態における単位画素1200の構造について説明する。図15は、第3の実施形態における単位画素1200内の受光部1208の配置を示す図である。
図15に示すように、1つのマイクロレンズ1500を透過する光が入射する領域を上下左右の4つに分割するように受光部1208A~1208Dが配置されている。このように配置することにより、瞳領域を縦方向に分離した信号と、横方向に分離した信号を得ることが可能となるので、縦方向,横方向の位相差を効果的に検出することができる。例えば、瞳領域を横方向のみに分離した撮像装置では、横方向のコントラスト変化が大きい縦線のような被写体に対しては精度良く撮像面位相差AFを行うことができる。しかし、横方向のコントラスト変化が小さい横線のような被写体に対しては精度良く位相差AFを行うことが難しい。一方、瞳領域を縦方向,横方向の両方に分離可能とした撮像装置では、被写体の変化の大きい方向に合わせて、撮像面位相差AFに用いる信号を選択できるので、撮像面位相差AFを高精度に行うことが可能な被写体条件が広くなる。より具体的には、受光部1208A,1208Bの電圧パルスのカウント結果を加算した信号と、受光部1208C,1208Dの電圧パルスのカウント結果を加算した信号を比較することにより横線検出が可能である。一方、受光部1208A,1208Cの電圧パルスのカウント結果を加算した信号と、受光部1208B,1208Dの電圧パルスのカウント結果を加算した信号を比較することにより縦線検出が可能である。
続いて図16を用いて、本実施形態における固体撮像素子の構成について説明する。図16は、固体撮像素子1600の構成を示す回路図である。
固体撮像素子1600は、単位画素1200が行列状に多数配置された画素部1300と、出力制御回路1601、信号処理回路1602、タイミング制御回路1603を備えて構成される。
出力制御回路1601には、画素部1300に配置された単位画素1200の出力ABC,出力ABCDがそれぞれ入力され、信号処理回路1602に出力する単位画素1200の信号を選択及び制御する。信号処理回路1602は、焦点検出用ライン1301については、単位画素1200の出力ABCと、出力ABCDとを固体撮像素子1600の外部へ出力する。一方、非焦点検出用ラインについては、カウンタ1205ABCは、クロックGating等により動作させずに、出力ABCDのみ固体撮像素子1600の外部へ出力される。
タイミング制御回路1603は、画素部1300に駆動信号を出力する他、出力制御回路1601,信号処理回路1602の駆動タイミングを制御する。カウンタ1205ABCに関して、このような駆動とすることにより、消費電力を低減することが可能となる。
続いて、図17を参照して、固体撮像素子1600を用いた撮像装置の構成について説明する。
固体撮像素子1600は、撮影レンズ602により結像された光学像を電気信号に変換する。レンズ制御部601は全体制御演算部1603の指示に応じて、撮影レンズ602に対してフォーカス駆動、及び絞り駆動を行う。
全体制御演算部1603は、固体撮像素子1600の制御、固体撮像素子1600から出力された信号の補正及び現像を含む、撮像装置全体の制御を行う。更には、固体撮像素子1600内の画素部1200を焦点検出用ライン1301として駆動させるか、消費電力を低減させるための、非焦点検出用ライン1302として駆動させるかを決定する。また、画素部1200内のSEL_BCを制御して、位相差検出を縦方向に行うか、横方向に行うかを決定する。
全体制御演算部1603は、焦点検出用ライン1301として駆動させた複数の単位画素1200の出力ABCの信号と、出力ABCDから出力ABCを減算した信号とから位相差検出を行う。その検出結果に応じてレンズ制御部601にフォーカス駆動の制御量を通信する。
メモリ部604は画像データを一時的に保存し、表示部605は各種情報や撮影画像の表示を行う。操作部606は撮像装置の各種インターフェースであり、操作部606の信号を用いて、全体制御演算部1603は各ブロックを制御する。記録部607は画像データの記録や読み出しを行うための、半導体メモリ等の着脱可能な記録部である。
このように、画素部1300内の単位画素1200において、焦点検出用ライン1301においては、カウンタ1205ABC、カウンタ1205ABCDを駆動させて、焦点検出に必要な画素値を取得する。その一方で、非焦点検出用ライン1302においては、カウンタ1205ABCをクロックGating等により動作させないことにより、消費電力を低減することが可能となる。
(第4の実施形態)
図18は、本発明の第4の実施形態における単位画素2100,2110の構成を示す回路図である。単位画素2100,2110は、図19に示すように、二次元状に配列されたマイクロレンズ2301下の1つの画素である。また、1つのマイクロレンズ2301下には1つのカラーフィルタが配置されており、左上をR画素としたBayer配列を構成している。単位画素2100は左上(0,0)のR画素、単位画素2110は単位画素2100から2画素下(0,2)のR画素である。単位画素2100,2110は、アバランシェフォトダイオード(以下、APDとする)2101A,2101B、クエンチ抵抗2102A,2102B、波形整形回路2103A,2103B、カウンタ2104A,2104Bを備える。また、2つのカウンタのカウント値を加算する加算器2105,2108、加算器2105,2108の入力信号を選択するセレクタ2106,2107を備える。
単位画素2100,2110には、受光素子としてのAPD2101が2つ配置されており、同一マイクロレンズを透過した光をAPD2101A,2101Bがそれぞれ受光することにより、射出瞳の異なる領域の信号を得ることが可能である。また、2つの受光素子の信号を加算器2105,2108により加算することで、撮像画像を生成する。
続いて各々の構成要素に関して詳細に説明する。
APD2101A,2101Bは、クエンチ抵抗2102A,2102Bを介して逆バイアス電圧VAPDと接続されており、光子が入射するとアバランシェ増倍による電荷を発生させる。発生した電荷はクエンチ抵抗2102A,2102Bを介して排出される。波形整形回路2103A,2103Bは、光子の入射に応じた電荷の生成,排出による電位の変化に対し増幅及びエッジ検出を行うことにより、電圧パルスを生成する。このようにAPD2101、クエンチ抵抗2102、波形整形回路2103は、光子の入射の有無を電圧パルスに変換することにより、1bit型AD変換器として機能する。
波形整形回路2103A,2103Bの出力である電圧パルスは、それぞれカウンタ2104A,2104Bに入力される。計数部としてのカウンタ2104A,2104Bは、電圧パルスの計数を行う。カウンタ2104A,2104Bは、単位画素に入力される駆動信号により、リセット及び計数のイネーブルが制御される。加算器2105はカウンタ2104Aとセレクタ2106の出力の2つを入力値として加算を行う。加算器2108はカウンタ2104Aとセレクタ2107の出力の2つを入力値として加算を行う。セレクタ2106は単位画素に入力される制御信号により、3つの入力のセレクトを行う。制御信号が“0”の時、カウンタ2104Bのカウント値がセレクトされ、“1”の時、単位画素2110のカウンタ2104Aのカウント値がセレクトされ、“2”の時、「0」値がセレクトされる。
すなわち、制御信号が“0”の時は、単位画素2100の外部へは撮像画像が出力され、“1”の時は単位画素2100のカウンタ2104Aと単位画素2110のカウンタ2104Aを加算した焦点検出用画素が出力される。また、制御信号が“2”の時は、単位画素2100のカウンタ2104Aのみの焦点検出用画素として計数結果が出力される。
セレクタ2107は、単位画素に入力される制御信号により、2つの入力のセレクトを行う。制御信号が“0”の時、カウンタ2104Bがセレクトされ、“1”の時、「0」値がセレクトされる。すなわち、制御信号が“0”の時は単位画素2110の外部へは撮像画像が出力され、“1”の時は単位画素2110のカウンタ2104Aのみの焦点検出用画素として計数結果が出力される。具体的な制御信号の遷移については後述する。
また、以後の説明を分かりやすくするために、APD2101A及びクエンチ抵抗2102Aにより生成される波形をAPD_Aとし、APD2101B及びクエンチ抵抗2102Bにより生成される波形をAPD_Bとする。また、波形整形回路2103Aの出力をPLS_Aとし、波形整形回路2103Bの出力をPLS_Bとする。
図20は、単位画素2100,2110の駆動を示すタイミングチャートである。図20は、1つの単位画素2100,2110における撮像駆動とカウント値の推移を示しており、この駆動を複数の単位画素2100,2110において並列して行うことにより、光学像をデジタル信号に変換する。
図20において、CNT_RST及びCNT_ENは駆動信号であり、カウンタ2104A,2104Bの制御を行う。CNT_RSTは“H”になることにより、カウンタ2104A,2104Bのカウント値を“0”にリセットする。また、CNT_ENが“H”となる期間のみ、カウンタ2104A,2104Bはパルス数をカウントする。CNT_A及びCNT_Bはカウンタ2104A,2104Bのカウント値を表す。
続いて、単位画素2100,2110の駆動について説明する。
タイミングt2200では、CNT_RSTが“H”となりカウンタ2104A,2104Bのカウント値が”0“にリセットされる。
タイミングt2201では、CNT_RSTが“L”になり、カウンタ2104A,2104Bのリセットが終了する。同時にCNT_ENが“H”となりカウンタ2104A,2104Bの電圧パルスのカウントが有効となる。これによりAPD2101A,2101Bに入射した光子に応じた電圧パルスをカウントする期間である撮像期間が開始される。
タイミングt2202では、APD2101Aに光子が入射したことにより、アバランシェ増倍された電荷が発生しAPD_Aの電位が変化する。クエンチ抵抗2102Aを介して電荷を排出するので、APD_Aが再び一定の電位になるまで時間がかかる。波形整形回路2103Aでは、APD_Aの立下りエッジを検出し、短時間の電圧パルスを生成する。この電圧パルスはカウンタ2104Aに入力され、カウンタ2104Aのカウント値が“1”となる。タイミングt2202~t2203の間の期間では、波形整形回路2103Aで生成された電圧パルスはカウンタ2104Aでカウントされ、波形整形回路2103Bで生成された電圧パルスはカウンタ2104Bでカウントされる。
タイミングt2203では、CNT_ENが“L”となり、撮像期間が終了する。終了した際のカウンタ2104A,2104Bのカウント値は加算器2105,2108を介して単位画素2100,2110外へと出力される。あるいはセレクタ2106,2107に入力され、その後加算器2105,2108を介して単位画素2100,2110外へと出力される。
次に、図19に戻って、本実施形態における撮像素子の構造について説明する。本実施形態では、マイクロレンズアレイを形成する個々のマイクロレンズ2301下を1つの画素と定義し、これを単位画素2100,2110とする。また、1つのマイクロレンズ2301に対して複数の分割画素が対応するように配置されている。なお、本実施形態では単位画素2100,2110には分割画素がX軸方向に2個配置されており、これらはそれぞれAPD2101A,2101Bに対応する。
続いて図21を参照して、本実施形態における瞳分割方式による焦点検出の原理について説明する。図21は、撮影レンズの射出瞳から出射した光束が単位画素に入射する様子を示す概念図である。前述したように、単位画素2100にはAPD2101A及びAPD2101Bが配置されている。
図21に示すように、射出瞳2400から出射した光束は、光軸Zを中心として、マイクロレンズ2301とカラーフィルタ2401を通して単位画素2100に入射する。射出瞳2400の一部の領域を示す瞳領域2402Aと瞳領域2402Bを通過する光束は、それぞれAPD2101AとAPD2101Bに入射する。したがって、APD2101AとAPD2101Bは、それぞれ撮影レンズの射出瞳の異なる領域の光を受光している。
このように構成されるAPD2101Aの信号をX軸方向に並ぶ複数の単位画素2100から取得し、これらの出力信号群で構成した被写体像をA像とする。同様にAPD2101Bの信号をX軸方向に並ぶ複数の単位画素2100から取得し、これらの出力信号群で構成した被写体像をB像とする。得られたA像とB像に対して相関演算を実施し、像のずれ量(瞳分割位相差)を検出する。さらに像のずれ量に対して焦点位置と光学系から決まる変換係数を乗じることにより、画面内の任意の被写***置に対応した焦点位置を算出することができる。ここで算出された焦点位置情報に基づいて不図示のフォーカスレンズを制御することにより撮像面位相差AFが可能となる。なお、A像信号とB像信号との足し合わせをA+B像信号とすることにより、このA+B像信号を画像データに用いることが出来る。すなわち、A像とB像が焦点検出用画素の信号であり、A+B像が撮像用画素の信号となる。
図22は、本実施形態の撮像装置の構成を示すブロック図である。
図22において、光学系2501は、ズームレンズ、絞り、フォーカスレンズのうち少なくとも1つから構成され、被写体像を結像させる。光学系駆動部2502は、後述するAF制御部2508から出力されるフォーカス情報や、システム制御部2509の光学系駆動情報に応じて光学系2501を制御する。撮像素子2503は、被写体像を光電変換により電気信号に変換して、撮像画像または焦点検出用画像を出力する。撮像素子駆動部2504は、システム制御部2509からの撮像素子駆動指示情報に応じて、撮像素子2503を制御する。なお、撮像素子2503は、撮像素子駆動部2504から出力されるセレクタ2106,2107を制御するための制御信号によって撮像画像信号または焦点検出用画像信号を出力する。
加算信号分離部2505には、撮像素子2503から出力される撮像用画素信号(A+B像)と焦点検出用画素信号(A像)が入力される。ここでは撮像用画素信号(A+B像)から焦点検出用画素信号(A像)を減算し、もう一方の焦点検出用画素信号(B像)を生成する。そして、2つの焦点検出用画素信号(A像、B像)が位相差検出部2507に出力され、撮像用画素信号(A+B像)がカメラ信号処理部2506に出力される。なお、詳細な説明は省略するが、撮像素子2503からは撮像用画素信号(A+B像)、焦点検出用画素信号(A像)のどちらかが順番に出力されるため、加算信号分離部2505は、減算するにあたって2つの像信号を待ち合わせるためのメモリを備えている。
カメラ信号処理部2506は、加算信号分離部2505から得られた画像信号に対し、例えば、色変換処理、ホワイトバランス処理等の既知の画像処理を施す。カメラ信号処理部2506で各種画像処理が施された画像信号は、不図示の圧縮手段により圧縮符号化され、記録媒体に記録される。ここで記録媒体は、撮像装置に対して着脱可能であってもよいし、撮像装置に内蔵されていてもよい。
位相差検出部2507は、加算信号分離部2505から得られた2つの瞳分割像から、位相差検出を行うための位相差評価値を算出する。AF制御部2508は、位相差検出部2507から出力される位相差評価値に基づいて、光学系2501のフォーカス位置を制御するためのフォーカス情報を算出する。
システム制御部2509は、撮像装置全体を制御する。そして、撮影シーンや撮影モード(撮像モード)などから得られる撮影情報に基づいて、光学系駆動部2502へズームや絞りなどの光学系の駆動情報を出力する。また、撮像素子駆動部2504へ露光時間や瞳分割像の信号の読み出し開始位置や読出し間隔など、撮像素子の駆動情報を出力する。
図23は、第4の実施形態における撮像素子2503の駆動モード別の読出し信号を示した図である。
図23(a)は、焦点検出用画素信号(A像)を読み出さない駆動モードでの読出し信号を示した図である。読出し信号は画像信号(A+B像)のみであり、計4ラインを読み出す。なお、この駆動モードの場合は、撮像面位相差方式の焦点検出は実施せず、例えば既知のコントラスト方式での焦点検出を行う。
図23(b)は、全ラインについて焦点検出画素信号(A像)を読み出す駆動モードでの読出し信号を示した図である。4ライン分の焦点検出画素信号(A像)と4ライン分の画像信号(A+B像)の計8ラインを読み出す。
図23(c)は、焦点検出用画素信号(A像)を間引きながら読み出す駆動モードでの読出し信号を示した図である。焦点検出用画素信号(A像)を1ライン目と2ライン目のみ読み出して、3ライン目と4ライン目を読み出さないことにより、2ライン分の焦点検出用画素信号と4ライン分の画像信号(A+B像)の計6ラインを読み出す。
上記の場合、図23(a)は、読み出し量が最も少ない駆動モードであり、高フレームレートを実現する場合が想定される。図23(b)は、読み出し量が最も多い駆動モードであり、低フレームレートを実現する場合が想定される。図23(c)は、高フレームレートと低フレームレートの中間のフレームレートが想定される。
次に、図24を用いて図18のセレクタ2106,2107の動作について説明する。図24(a)、(b)、(c)で示したセレクタの値は、図23(a)、(b)、(c)の駆動モードでの読出しにそれぞれ対応している。VDはフレーム同期信号であり、フレーム同期信号VDがHになると、1フレーム分の露光期間が開始される。CNT_RSTはカウンタ2104のリセット信号であり、“H”になると、カウンタ2104がリセットされ、“L”になるとリセットが解除される。CNT_EN、PLS_A、CNT_Aは図20と同様であるため、説明は省略する。水平同期信号HDは読出し期間になると供給され、水平同期信号HDが“H”になる毎に、画素領域の画素を1行ずつ順番に選択し、撮像素子2503の外部に信号が出力される。
ここで、セレクタ2106、セレクタ2107について説明する。
図24(a)は、セレクタ2106,2107が“0”である場合を示し、図23(a)のA+B像しか読み出さない駆動モードに対応している。そのため、セレクタ2106,2107は“0”のままでカウンタ2104Bのカウント値を選択する。加算器2105,2108では、カウンタ2104Aのカウント値とカウンタ2104Bのカウント値の加算を行い、A+B像を出力する。
図24(b)は、セレクタ106が“2”、“0”、“2”、“0”を繰り返す場合を示し、図23(b)の駆動モードに対応している。具体的には、図23(b)では毎ラインA像とA+B像を読み出す。セレクタ2106を“2”に設定することにより「0」値が選択される。加算器2105にはカウンタAのカウント値と「0」値が入力され、加算器2105の出力はA像となる。一方、セレクタ2107は“1”、“0”、“1”、“0”を繰り返す。セレクタ2107を“1”に設定することにより「0」値が選択される。加算器2108にはカウンタAのカウント値と「0」値が入力され、加算器108の出力はA像となる。なお、セレクタ2106,2107が共に“0”に設定されると、加算器2105と加算器2108は、カウンタ2104Aのカウント値とカウンタ2104Bのカウント値の加算を行うこととなり、A+B像を出力する。
図24(c)は、セレクタ2106が“1”、“0”、“1”、“0”を繰り返す場合を示し、図23(c)の駆動モードに対応している。具体的には、図23(c)ではA像が間引いて読み出される。セレクタ2106を“1”に設定することにより、垂直方向に2ライン離れた同色のA像が選択される。加算器2105にはカウンタ2104Aのカウント値と垂直方向に2ライン離れた同色のカウンタ2104Aのカウント値が入力され、加算器2105の出力はA+A像となる。セレクタ2107は“0”のままでカウンタ2104Bのカウント値を選択する。加算器2108にはカウンタAのカウント値とカウンタBのカウント値が入力され、加算器2108の出力はA+B像となる。
図24(c)では隣接した同色のA像同士を加算しているため、信号の強度として約2倍となる。一方でランダムノイズに関しては2倍にならないため、S/N比は向上する。更に、1ライン目では3ライン目のA像を加算したA像、2ライン目では4ライン目のA像を加算したA像が読み出されるため、3ライン目、4ライン目に高コントラストの信号があってもその信号は1ライン目、2ライン目のA像に混ざる。すなわち、低コントラストの位置のみを読出してしまうような被写体抜けが防止される。
以上説明したように、本実施形態の撮像装置では、撮像素子2503の駆動モードに応じて単位画素内の加算器の入力をセレクタで切り替えている。これにより、必要最小限の焦点検出用画素の読出しを行い、システム負荷の軽減を図ると同時に、焦点検出精度を向上させることが可能となる。
(第5の実施形態)
図25は、本発明の第5の実施形態における単位画素2800,2813の構成を示す回路図である。単位画素2800,2813は、図26に示すように二次元状に配列されたマイクロレンズ2302下の1つの画素である。また、1つのマイクロレンズ2302下には1つのカラーフィルタが配置され、左上をR画素としたBayer配列を構成している。単位画素2800は左上(0,0)のR画素、単位画素2813は単位画素2800から2画素下(0,2)のR画素である。単位画素2800,2813は、それぞれAPD2801A,2801B,2801C,2801D、クエンチ抵抗2802A,2802B,2802C,2802Dを備える。また、波形整形回路2803A,2803B,2803C,2803D、カウンタ2804A,2804B,2804C,2804D、4つのカウント値を加算する加算器2805,2812を備える。さらに、加算器2805,2812の入力信号を選択するセレクタ2806,2807,2808,2809,2810,2811を備える。
単位画素2800,2813には、受光素子としてのAPD2801が4つ配置されており、同一マイクロレンズを透過した光をAPD2801A,2801B,2801C,2801Dがそれぞれ受光する。これにより、射出瞳の異なる領域の信号を得ることが可能である。また、4つの受光素子の信号を加算器2805,2812により加算することにより、撮像用画像を生成する。APD、クエンチ抵抗、波形整形回路、カウンタに関しては第4の実施形態と同様であるため、説明を省略する。
セレクタ2806は、単位画素2800に入力される制御信号1により、3つの入力のセレクトを行う。制御信号が“0”の場合、カウンタ2804Bのカウント値がセレクトされ、“1”の場合、単位画素2813のカウンタ2804Cのカウント値がセレクトされ、“2”の場合、「0」値がセレクトされる。
セレクタ2807は、単位画素2800に入力される制御信号2により、3つの入力のセレクトを行う。制御信号が“0”の場合、カウンタ2804Cのカウント値がセレクトされ、“1”の場合、単位画素2813のカウンタ2804Bのカウント値がセレクトされ、“2”の場合、「0」値がセレクトされる。
セレクタ2808は、単位画素2800に入力される制御信号3により、3つの入力のセレクトを行う。制御信号が“0”の場合、カウンタ2804Dのカウント値がセレクトされ、“1”の場合、単位画素2813のカウンタ2804Aのカウント値がセレクトされ、“2”の場合、「0」値がセレクトされる。
セレクタ2809は、単位画素2813に入力される制御信号1により、2つの入力のセレクトを行う。制御信号が“0”の場合、カウンタ2804Bのカウント値がセレクトされ、“1”の場合、「0」値がセレクトされる。
セレクタ2810は、単位画素2813に入力される制御信号2により、2つの入力のセレクトを行う。制御信号が“0”の場合、カウンタ2804Cのカウント値がセレクトされ、“1”の場合、「0」値がセレクトされる。
セレクタ2811は、単位画素2813に入力される制御信号3により、2つの入力のセレクトを行う。制御信号が“0”の場合、カウンタ2804Dのカウント値がセレクトされ、“1”の場合、「0」値がセレクトされる。
ここで、セレクタ2806からセレクタ2811の全てに制御信号“0”が入力されたとする。この場合、加算器2805の入力は、単位画素2800のカウンタ2804A、カウンタ2804B、カウンタ2804C、カウンタ2804Dのカウント値となり、加算した結果、A+B+C+D像が生成される。加算器2812も同様に、入力は単位画素2813のカウンタ2804A、カウンタ2804B、カウンタ2804C、カウンタ2804Dのカウント値となり、加算した結果、A+B+C+D像が生成される。前述したように4つの受光素子の信号を全て加算することにより、撮像用画素信号が生成されるため、A+B+C+D像は撮像用画素信号となる。
次に、セレクタ2806を“2”、セレクタ2807を“0”、セレクタ2808を“2”、セレクタ2809を“1”、セレクタ2810を“0”、セレクタ2811を“1”と設定した場合について説明する。この場合、加算器2805の入力は、単位画素2800のカウンタ2804Aとカウンタ2804Cのみのカウント値となり、加算した結果、A+C像が生成される。加算器2812も同様に、入力は単位画素2813のカウンタ2804A、カウンタ2804Cのカウント値となり、加算した結果、A+C像が生成される。
撮像素子2503から出力される撮像用画素信号(A+B+C+D像)と焦点検出用画素信号(A+C像)が加算信号分離部2505に入力される。加算信号分離部2505によって、撮像用画素信号(A+B+C+D像)から焦点検出用画素信号(A+C像)を減算し、もう一方の焦点検出用画素信号(B+D像)を生成する。2つの焦点検出用画素信号(A+C像、B+D像)を位相差検出部2507に入力し、水平方向に瞳分割された2つの瞳分割像から位相差検出を行うための位相差評価値を算出する。
また、セレクタ2806を“0”、セレクタ2807を“2”、セレクタ2808を“2”、セレクタ2809を“0”、セレクタ2810を“1”、セレクタ2811を“1”と設定した場合について説明する。この場合、加算器2805の入力は、単位画素2800のカウンタ2804Aとカウンタ2804Bのみのカウント値となり、加算した結果、A+B像が生成される。加算器2812も同様に、入力は単位画素2813のカウンタ2804A、カウンタ2804Bのカウント値となり、加算した結果、A+B像が生成される。
こちらも加算信号分離部2505によって、撮像用画素信号(A+B+C+D像)から焦点検出用画素信号(A+B像)を減算し、もう一方の焦点検出用画素信号(C+D像)を生成する。2つの焦点検出用画素信号(A+B像、C+D像)を位相差検出部2507に入力し、垂直方向に瞳分割された2つの瞳分割像から位相差検出を行うための位相差評価値を算出する。
さらに、セレクタ2806を“1”、セレクタ2807を“0”、セレクタ2808を“1”と設定した場合について説明する。この場合、加算器2805の入力は単位画素2800のカウンタ2804Aとカウンタ2804C、単位画素2813のカウンタ2804Aとカウンタ2804Cのカウント値となる。そして、加算した結果、単位画素2800の(A+C像)+単位画素2813の(A+C像)となる。このようにセレクタを制御することにより、第4の実施形態と同様に、隣接した同色のA+C像同士を加算することができ、信号の強度として約2倍となる。一方でランダムノイズに関しては2倍にならないため、S/N比は向上する。
さらに、1ライン目では3ライン目のA+C像を加算したA+C像、2ライン目では4ライン目のA+C像を加算したA+C像が読み出される。そのため、3ライン目、4ライン目に高コントラストの信号があってもその信号は1ライン目、2ライン目のA+C像に混ざる。すなわち、低コントラストの位置のみを読出してしまうことによる被写体抜けを防止することができる。
図26に戻って、本実施形態における撮像素子の構造について説明する。本実施形態では、マイクロレンズアレイを形成する個々のマイクロレンズ2302下を1つの画素と定義し、これを単位画素2800,2813とする。また、1つのマイクロレンズ2302に対して複数の分割画素が対応するように配置されている。なお、本実施形態では単位画素2800,2813には分割画素がX軸方向に2個、Y軸方向に2個配置されており、これらはそれぞれAPD2801A,2801B,2801C,2801Dに対応する。
1画素が4つの受光素子の信号に分かれているため、撮像素子2503の駆動モードに応じて単位画素内の加算器の入力をセレクタで切り替えることにより、水平方向、垂直方向の位相差検出を行うことも可能となる。
以上説明したように、本実施形態の撮像装置は、撮像素子2503の駆動モードに応じて単位画素内の加算器の入力をセレクタで切り替える。これにより、必要最小限の焦点検出用画素の読出しを行い、システム負荷の軽減を図ると同時に、焦点検出精度を向上させることが可能となる。
(第6の実施形態)
以下、本発明の第6の実施形態について説明する。図27は、本発明の第6の実施形態に係わる撮像装置3100の構成を示すブロック図である。
図27において、レンズ部3101は、被写体の光学像を撮像素子3103に結像させる。レンズ部3101は、レンズ駆動回路3102によってズーム制御、フォーカス制御、絞り制御などが行われる。撮像素子3103は、レンズ部3101により結像された被写体像を光電変換して画像信号を出力する。画像処理回路3104は、撮像素子3103から出力される画像信号に各種の補正処理や現像処理を行うとともに、データ圧縮のための演算等を行う。タイミング発生回路3105は、撮像素子3103に各種タイミング信号を出力して駆動する。制御回路3106は、様々な演算などを行い、撮像装置全体の制御と監視を行う。メモリ3107は画像データを一時的に記憶し、制御回路3106の作業領域としても使用される。記録回路3108は、半導体メモリ等の着脱可能な記録媒体に記録または記録媒体から読み出しを行うための回路である。操作回路3109は、ユーザーからの命令を受け付け、それを制御回路3106に伝達する。表示回路3110は、各種情報や撮影画像を表示する。
次に、図28は、第6の実施形態における撮像素子3103の構成を示す図である。撮像素子3103はセンサ基板3201と回路基板3202を備える積層構造である。なお、同様の機能を備えるならば積層構造に限らず単層構造の素子であってもよい。
センサ基板3201には、単位画素3203が行列方向に配置された画素アレイが形成される。この単位画素3203には、色分離のためそれぞれR(赤)、G(緑)、B(青)のカラーフィルタが配置されている。また入射光の集光効率を向上させるための不図示のマイクロレンズも配置されている。なお、単位画素3203の詳細な回路構成については後述する。
回路基板3202は、計数部3402、信号処理回路3205、基板メモリ3206を備えて構成される。計数部3402はセンサ基板3201の単位画素毎にバンプ等で電気的に接続され、単位画素3203を駆動する制御信号を出力すると共に、画素からのバッファ出力を受信する。計数部3402は、対応する単位画素毎に、あるしきい値Vthによりフォトンの有無を判定する比較器3304及びカウンタ3305を備え(図29参照)、入射されたフォトンに応じて出力されるパルス数を計測する。計数部3402で計測されたカウント値は、信号処理回路3205によって各種演算処理や外部出力処理が行われる。また基板メモリ3206はDRAM等の揮発性メモリであり、計数部3402からの信号を信号処理回路3205で処理する際に一時的にデータを保持する等の目的で用いられる。
次に、図29は、センサ基板3201に形成される単位画素3203の等価回路図である。本実施形態では、アバランシェフォトダイオードを用いた構成を例として説明するが、画素単位でAD変換を実現する形式としてはこれに限定されるものではない。
単位画素3203は、クエンチ抵抗3301、アバランシェフォトダイオード(以下、APD)3302、バッファ3303を備えて構成される。APD3302には、クエンチ抵抗を介して電圧HVDDによる逆バイアス電圧が印加される。このとき電圧HVDDは、APDをガイガーモードにするための降伏電圧以上となるように設定される。バッファ3303の出力は計数部3402内の比較器3304により基準電圧と比較され、比較結果がカウンタ3305に入力される。
ここで図30を用いてフォトン入射時の単位画素3203の動作について説明する。図30はAPDの電流電圧特性を示している。本実施形態では、APD3302のカソードは降伏電圧を超える電圧HVDDに接続され、APD3302はガイガーモードとなる。ここでAPD3302にフォトンが入射すると、APD3302ではアバランシェ増幅による大電流(光電流)が流れる(動作A)。この電流が流れると同時にクエンチ抵抗3301によって電圧降下が発生し、APD3302に印加される電圧が降伏電圧未満となり、アバランシェ増幅が止まる(動作B)。アバランシェ増幅が止まると、APD3302のカソードは再び電圧HVDDによりチャージされ、ガイガーモードに戻る(動作C)。動作A~Cによるバッファ入力端の電圧変化はバッファ3303によってパルス整形され、較器3304、カウンタ3305によって計測される。これを繰り返すことによりAPD3302に入射したフォトンの数を計測することが可能となる。
図31は、第6の実施形態における回路構成を示す模式図である。図31は、ベイヤー配列されたセンサ基板3201の同色の単位画素3203を2画素混合する組み合わせにおける接続パターンを示している。
ここで、クエンチ抵抗3301A、3301B、APD3302A、3302Bは、図29と同様であり、バッファ3303は図示を省略している。計数部3402Aは第1の画素に対応する計数部(比較器及びカウンタからなるカウンタ部)であり、計数部3402Bは第2の画素に対応する計数部である。ここで計数部3402Aには第1の画素からの信号に加え、第2の画素からの信号がOR回路3401を介して接続されている。なお、計数部3402AはN+1ビット(ビット長)のカウンタを備え、計数部3402BはNビット(ビット長)のカウンタを備える。これは、計数部3402Aは2画素分の信号をカウントするためである。Nは撮像装置に求められる階調性によって決定され、一般的には例えば14や12などである。
続いて、図32を用いて各画素から出力されるパルスとカウントとの関係について説明する。図32は、横軸を時間としてフォトン入射時のパルス波形と計数部3402A、3402Bでカウントされるカウント数を示す模式図である。
ここで図32(a)は、第1の画素に光子イベントA,C,Eが入射した場合を表す。また、図32(b)は第2の画素に光子イベントB,Dが入射した場合を表す。それぞれのイベントは、比較器のしきい値Vthを超えるパルスが出力される程度のアバランシェ増幅を発生させ、それぞれのパルスは時間分解されているとする。
まず第1の画素においては、第1の画素による光子イベントA,C,Eと第2の画素による光子イベントB,DがORによって全てカウントされ、この例では5カウントとして出力される。一方、第2の画素においては、第2の画素による光子イベントB,Dのみがカウントされ、この例では2カウントとして出力される。
上記構成における各画素の信号出力を以下のように表現するものとする。まず第1の画素においては、第1の画素による光子イベントと第2の画素による光子イベントがORによって全てカウントされる。この時のカウントをA+Bと置く。一方、第2の画素においては、第2の画素による光子イベントのみがカウントされる。この時のカウントをBと置く。このように、本実施形態では、OR回路を介して他の画素のパルスをカウントすることにより、画素混合(A+B)を第1の画素で実現している。さらに、画素混合出力を得ることのみを目的とするならば、計数部3402Aのみでカウント動作を行えばよいため、計数部3402Bを非動作(停止:パワーセーブ)とすることにより消費電力を削減することができる。
ここで、本実施形態の形式ではなく通常のNビットの画素で画素混合する場合を考える。この場合、第1の画素(Nビット)と第2の画素(Nビット)の両者を出力して画素混合するため、N+N=2Nビットのデータ転送が必要になる。一方、本形態ではN+1ビットで所望の信号が得られるため、データ転送量の削減も図ることができる。
なお、計数部3402Aとともに計数部3402Bを動作させ、第1の画素カウント(A+B)から第2の画素カウント(B)を減算することにより、画素混合しない第1の画素のカウント(A+B―B=A)を算出することも可能である。撮像装置においては、前述の画素混合出力(画素混合モード)は主に動画モードで用いられ、画素混合しない信号出力(非画素混合モード)は主に静止画モードで用いられる。
さらには、第1の画素と第2の画素が一つのマイクロレンズを共有したいわゆる複画素構造においても本実施形態を適用することができる。本発明の主題から離れるため詳細は省略するが、複画素構造は撮像面位相差AFを実現するための構造である。例えば前述の画素混合出力は撮像面位相差AFを行わない通常撮影モードに適用される。また前述の画素混合しない信号出力は瞳分割された各画素の信号を分離して読み出すことができるため、主にAFモード(焦点検出画像の読み出しモード)で用いられる。
以上のように、本実施形態によれば、画素単位でAD変換を行う構成におけるデータ転送効率を改善し、消費電力を抑制しつつ、画素混合を実現することが可能となる。
(第6の実施形態の変形例)
図33は、第6の実施形態の変形例を示す図である。図33は、ベイヤー配列されたセンサ基板3201の同色の単位画素3203を2画素混合する組み合わせにおける接続パターンを示している。
第6の実施形態を示す図31との違いは、APD3302A及びAPD3302BとOR回路3401との間にそれぞれ切り離しスイッチ3404,3403を設け、APD3302Bと計数部3402Bとの間に切り離しスイッチ3405を設けた点である。
この構成において、切り離しスイッチ3403をオフにすることにより、画素混合しない通常の信号読み出しが可能となる。また、切り離しスイッチ3405をオフとし、計数部3402B(Nビット)のカウンタを計数部3402Aのカウンタ(N+1ビット)に接続する。このように計数部3402Aのカウンタと計数部3402Bのカウンタとを接続して単一のカウンタ(合計のビット数:2N+1ビット)として機能させることにより、撮像素子のダイナミックレンジ(AD飽和)を拡大させることが可能となる。
(第7の実施形態)
図34は、本発明の第7の実施形態における回路構成を示す模式図である。図34は、ベイヤー配列されたセンサ基板3201の同色の単位画素3203を3画素混合する組み合わせにおける接続パターンを示している。
計数部3502Aは、第1の画素に対応する計数部(比較器及びカウンタ)であり、計数部3502B,3502Cは、それぞれ第2、第3の画素に対応する計数部である。計数部3502Aには、第1の画素からの信号に加え、第2、第3の画素からの信号がOR回路3501を介して接続されている。なお、計数部3502AはN+2ビットのカウンタを備える。また計数部3502B,3502CはNビットのカウンタを備える。これは、計数部3502Aは3画素分の信号をカウントするためである。
上記構成における各画素の信号出力を以下のように表現するものとする。まず第1の画素においては、第1の画素による光子イベントと第2、第3の画素による光子イベントがORによって全てカウントされる。この時のカウントをA+B+Cと置く。一方、第2の画素においては、第2の画素による光子イベントのみがカウントされる。この時のカウントをBと置く。同様に第3の画素のカウントをCと置く。このように、本実施形態では、OR回路を介して他の画素のパルスをカウントすることにより、画素混合(A+B+C)を第1の画素で実現している。さらに、画素混合出力を得ることのみを目的とするならば、計数部3502Aのみでカウント動作を行えばよいため、計数部3502B,3502Cを非動作(パワーセーブ)とすることにより消費電力を削減することができる。
ここで、本実施形態の形式ではなく通常のNビットの画素で画素混合する場合を考える。この場合、第1の画素(Nビット)と第2、第3の画素(Nビット)の全てを出力して画素混合するため、N+N+N=3Nビットのデータ転送が必要になる。一方、本実施形態ではN+2ビットで所望の信号が得られるため、データ転送量の削減も図ることができる。
なお、計数部3502Aとともに計数部3502B、3502Cを動作させ、第1の画素カウント(A+B+C)から第2、第3の画素カウント(B、C)を減算することにより、画素混合しない第1の画素のカウント(A+B+C―B-C=A)を算出することも可能である。
さらには、計数部3502Aとともに混合重心となる計数部3502Bを動作させ、第1の画素カウント(A+B+C)に第2の画素カウント(B)を加算することにより、重みづけ画素混合信号(A+B+C+B=A+2B+C)を算出することも可能である。この場合は、第1から第3の画素すべてを出力してから重みづけ画素混合信号を生成するのに対して、計数部3502Cの消費電力とデータ転送量を削減できる。
重みづけ加算の他の形態としては、混合重心となる第2の画素のHVDDを第1、第3の画素のHVDDより高くし、フォトンの検出確率を増大させる方法を用いてもよい。またOR回路3501の論理しきい値や、計数部内の比較器の判定しきい値を第2の画素と第1、第3の画素で変更できる構成としてもよい。
以上のように、第7の実施形態によれば、画素単位でAD変換を行う構成におけるデータ転送効率を改善し、消費電力を抑制しつつ、画素混合を実現することが可能となる。
(第8の実施形態)
図35は、第8の実施形態における撮像素子の回路構成を示す図である。図35は、ベイヤー配列されたセンサ基板3201の同色の単位画素3203を、2画素または3画素混合する組み合わせにおける接続パターンを示している。
計数部3602Aは、第1の画素に対応する計数部(比較器及びカウンタ)であり、計数部3602B,3602Cは、それぞれ第2、第3の画素に対応する計数部である。計数部3602Aには第1の画素からの信号に加え、第2の画素からの信号がOR回路3601Aを介して接続されている。計数部3602Bには、第2の画素からの信号に加え、第3の画素からの信号がOR回路3601Bを介して接続されている。なお、計数部3602A,3602BはN+1ビットのカウンタを備える。また計数部3602CはNビットのカウンタを備える。これは、計数部3602A,3602Bは2画素分の信号をカウントするためである。
上記構成における各画素の信号出力を以下のように表現するものとする。まず第1の画素においては、第1の画素による光子イベントと第2の画素による光子イベントがORによって全てカウントされる。この時のカウントをA+Bと置く。一方、第2の画素においては、第2の画素による光子イベントと第3の画素による光子イベントがORによって全てカウントされる。この時のカウントをB+Cと置く。一方、第3の画素においては、第3の画素による光子イベントのみがカウントされる。この時のカウントをCと置く。
このように、本実施形態では、OR回路を介して他の画素のパルスをカウントすることにより、画素混合(A+BまたはB+C)を第1または第2の画素で実現している。さらに、画素混合出力(A+B)を得ることのみを目的とするならば、計数部3602Aのみでカウント動作を行えばよいため、計数部3602B,3602Cを非動作(パワーセーブ)とすることにより消費電力を削減することができる。また画素混合出力(B+C)を得ることのみを目的とするならば、計数部3602Bのみでカウント動作を行えばよいため、計数部3602A,3602Cを非動作(パワーセーブ)とすることにより消費電力を削減することができる。
なお、計数部3602Aとともに計数部3602B,3602Cを動作させ、第2の画素カウント(B+C)から第3の画素カウント(C)を減算することにより、画素混合しない第2の画素のカウント(B+C-C=B)を算出することも可能である。続けて画素混合しない第1の画素のカウント(A+B-B=A)を算出することも可能である。
さらには、計数部3602Aとともに混合重心となる計数部3602Bを動作させ、第1の画素カウント(A+B)に第2の画素カウント(B+C)を加算することにより、重みづけ画素混合信号(A+B+B+C=A+2B+C)を算出することも可能である。この場合は、第1から第3の画素すべてを出力してから重みづけ画素混合信号を生成するのに対して、計数部3602Cの消費電力とデータ転送量を削減できる。
ここで、本実施形態の形式ではなく通常のNビットの画素で画素混合する場合を考える。この時、第1、第2の画素(Nビット)と第3の画素(Nビット)の全てを出力して画素混合するため、N+N+N=3Nビットのデータ転送が必要になる。一方、本実施形態では画素混合出力(A+B)または画素混合出力(B+C)の場合はN+1ビット、画素混合出力(A+2B+C)の場合はN+1+N+1=2N+2ビットで所望の信号が得られるため、データ転送量の削減も図ることができる。
以上のように、第8の実施形態によれば、画素単位でAD変換を行う構成におけるデータ転送効率を改善し、消費電力を抑制しつつ、画素混合を実現することが可能となる。
(第9の実施形態)
図36は、本発明の第9の実施形態における撮像素子の回路構成を示す図である。図36は、ベイヤー配列されたセンサ基板3201の同色の単位画素3203を2画素または3画素混合する組み合わせにおける接続パターンを示している。
カウンタ3702Aは、第1の画素に対応する計数部(比較器及びカウンタ)であり、計数部3702B,3702Cは、それぞれ第2、第3の画素に対応する計数部である。計数部3702Aには第1の画素からの信号に加え、第2の画素からの信号がOR回路3701Aを介して接続されている。計数部3702Cには第3の画素からの信号に加え、第2の画素からの信号がOR回路3701Cを介して接続されている。なお、計数部3702A,3702Cは、N+1ビットのカウンタを備える。また計数部3702BはNビットのカウンタを備える。これは、計数部3702A,3702Cは2画素分の信号をカウントするためである。
上記構成における各画素の信号出力を以下のように表現するものとする。まず第1の画素においては、第1の画素による光子イベントと第2の画素による光子イベントがORによって全てカウントされる。この時のカウントをA+Bと置く。第2の画素においては、第2の画素による光子イベントのみがカウントされる。この時のカウントをBと置く。さらに、第3の画素においては、第3の画素による光子イベントと第2の画素による光子イベントがORによって全てカウントされる。この時のカウントをB+Cと置く。
このように、本実施形態では、OR回路を介して他の画素のパルスをカウントすることで、画素混合(A+BまたはB+C)を第1または第3の画素で実現している。さらに、画素混合出力(A+B)を得ることのみを目的とするならば、計数部3702Aのみでカウント動作を行えばよいため、計数部3702B,3702Cを非動作(パワーセーブ)とすることで消費電力を削減することができる。また画素混合出力(B+C)を得ることのみを目的とするならば、計数部3702Cのみでカウント動作を行えばよいため、計数部3702A,3702Bを非動作(パワーセーブ)とすることにより、消費電力を削減することができる。
なお、計数部3702Aとともに計数部3702B,3702Cを動作させ、第1の画素カウント(A+B)から第2の画素カウント(B)を減算することにより、画素混合しない第1の画素のカウント(A+B-B=A)を算出することも可能である。同様に画素混合しない第3の画素のカウント(B+C-B=C)を算出することも可能である。さらには、計数部3702Aとともに計数部3702Cを動作させ、第1の画素カウント(A+B)に第3の画素カウント(B+C)を加算することにより、重みづけ画素混合信号(A+B+B+C=A+2B+C)を算出することも可能である。この場合は、第1から第3の画素全てを出力してから重みづけ画素混合信号を生成するのに対して、計数部3702Bの消費電力とデータ転送量を削減することができる。
ここで、本実施形態の形式ではなく通常のNビットの画素で画素混合する場合を考える。この場合、第1、第3の画素(それぞれNビット)と第2の画素(Nビット)の全てを出力して画素混合するため、N+N+N=3Nビットのデータ転送が必要になる。一方、本実施形態では、画素混合出力(A+B)または画素混合出力(B+C)の場合はN+1ビット、画素混合出力(A+2B+C)の場合はN+1+N+1=2N+2ビットで所望の信号が得られるため、データ転送量の削減も図ることができる。
以上のように、第9の実施形態によれば、画素単位でAD変換を行う構成におけるデータ転送効率を改善し、消費電力を抑制しつつ、画素混合を実現することができる。
(第10の実施形態)
図37は、本発明の第10の実施形態における電圧HVDDの供給方法を示す模式図である。図37は、第6の実施形態の第1の画素に供給するHVDD1と第2の画素に供給するHVDD2の単位蓄積時間当たりの変化を示している。
この例では、一つの単位蓄積時間をTv=1/128sとしており、この時間内にAPD3302A,3302Bに入射したフォトンの数を計数する。例えば、フレームレート120fps相当の動画像を出力する場合はこの蓄積時間を最大蓄積時間として順次読み出しを継続する。なお、蓄積時間は最大蓄積時間の範囲内で任意に決められる。
ところで、第6の実施形態での課題は、APD3302A,3302Bに同時刻にフォトンが入射すると計数部3402Aでパルスの分離ができず、二つのカウントが一つしか計数されないことである。
この課題を解決するために、本実施形態では、APDに降伏電圧以上の逆バイアス電圧をパルス状に印加するGGM(Gated Geiger Mode)方式を、APD3302A,3302Bに半位相ずらして適用している。GGM方式は逆バイアス電圧を印加するゲート周期を例えば10ns、振幅1V以上で2値にAC変調させ、パルスを時間分解する技術である。この逆バイアス電圧は最大では降伏電圧以上であり、最小では降伏電圧以下となる。
HVDDが降伏電圧以上でなければフォトンが入射しても計数可能なパルスは出力されないため、電圧変調によりAPD3302A,3302Bの計数可能時刻を規定することができる。このようにGGM方式の位相をずらして各画素に適用することにより、入射したフォトンを時間分解するだけでなく、第1と第2の画素で排他計測することが可能となる。
なお、第1と第2の画素で位相をずらす構成はHVDDのゲーティングのみに限られず、切り離しスイッチ3404,3405のオンオフやイネーブル回路を設けて時刻差をつける構成等でも構わない。
また、上記の実施形態では、2画素混合、3画素混合について説明したが、本発明は、2画素混合、3画素混合に限定されるものではない。
(他の実施形態)
また本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現できる。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
100:単位画素、101A,101B:アバランシェフォトダイオード(APD)、102A,102B:クエンチ抵抗、103A,103B:波形整形回路、104AB:OR回路、105A,105AB:カウンタ

Claims (8)

  1. 各々が1つのマイクロレンズと、光の入射を受けてパルス信号を発生する複数のアバランシェフォトダイオードと、前記複数のアバランシェフォトダイオードのうちの全てのアバランシェフォトダイオードのパルス信号をカウントする第1のカウンタと、前記複数のアバランシェフォトダイオードのうちの一部のアバランシェフォトダイオードのパルス信号をカウントする第2のカウンタとを備えたカント回路とを有する複数の単位画素と、
    前記第1のカウンタによるカウント値から、前記第2のカウンタによるカウント値を減算する減算手段と、
    を有することを特徴とする撮像装置。
  2. 前記第1のカウンタにおいてカウントしたカウント値から記録、表示用の画像を生成する画像生成手段をさらに備えることを特徴とする請求項に記載の撮像装置。
  3. 前記第2のカウンタにおいてカウントしたカウント値と、前記減算手段において得られたカウント値とを用いて焦点検出を行う焦点検出手段をさらに備えることを特徴とする請求項またはに記載の撮像装置。
  4. 前記単位画素は、2つのアバランシェフォトダイオードを有し、前記第1のカウンタは前記2つのアバランシェフォトダイオードのパルス信号をカウントし、前記第2のカウンタは前記2つのアバランシェフォトダイオードのうちいずれか一方のパルス信号をカウントすることを特徴とする請求項乃至のいずれか1項に記載の撮像装置。
  5. 前記単位画素は、4つのアバランシェフォトダイオードを有し、前記第1のカウンタは前記4つのアバランシェフォトダイオードのパルス信号をカウントし、前記第2のカウンタは、前記4つのアバランシェフォトダイオードのうちのいずれか2つのパルス信号をカウントすることを特徴とする請求項乃至のいずれか1項に記載の撮像装置。
  6. 前記第2のカウンタは焦点検出を行う領域に位置する前記単位画素のみに配置されていることを特徴とする請求項乃至のいずれか1項に記載の撮像装置。
  7. 前記第1のカウンタと前記第2のカウンタの両方の信号を出力する第1のモードと、前記第1のカウンタのみの信号を出力する第2のモードとを有することを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。
  8. 前記第1のカウンタの出力信号と前記第2のカウンタの出力信号を加算する信号処理部をさらに備えることを特徴とする請求項乃至のいずれか1項に記載の撮像装置。
JP2019018255A 2019-02-04 2019-02-04 撮像装置 Active JP7227777B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019018255A JP7227777B2 (ja) 2019-02-04 2019-02-04 撮像装置
US16/778,475 US11297269B2 (en) 2019-02-04 2020-01-31 Image capturing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019018255A JP7227777B2 (ja) 2019-02-04 2019-02-04 撮像装置

Publications (3)

Publication Number Publication Date
JP2020127122A JP2020127122A (ja) 2020-08-20
JP2020127122A5 JP2020127122A5 (ja) 2022-02-02
JP7227777B2 true JP7227777B2 (ja) 2023-02-22

Family

ID=71836885

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019018255A Active JP7227777B2 (ja) 2019-02-04 2019-02-04 撮像装置

Country Status (2)

Country Link
US (1) US11297269B2 (ja)
JP (1) JP7227777B2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019075394A (ja) * 2017-10-12 2019-05-16 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、電子装置
EP3848965A4 (en) * 2018-09-06 2021-07-14 Panasonic Intellectual Property Management Co., Ltd. IMAGE-GENERATING SOLID ELEMENT, IMAGE-GENERATING SYSTEM, METHOD OF OPERATING THE IMAGE-GENERATING SOLID-STATE ELEMENT, AND PHOTODETECTOR
JP7280691B2 (ja) * 2018-11-27 2023-05-24 キヤノン株式会社 撮像素子およびその制御方法、及び撮像装置
KR102455691B1 (ko) * 2020-06-02 2022-10-20 한국전자통신연구원 단일 광자 검출 방법 및 장치
JP2022054553A (ja) * 2020-09-28 2022-04-07 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
JP2022069202A (ja) * 2020-10-23 2022-05-11 ソニーセミコンダクタソリューションズ株式会社 Apdセンサおよび測距システム
US20230417921A1 (en) * 2020-11-02 2023-12-28 Sony Semiconductor Solutions Corporation Photodetection device and photodetection system
US11855106B2 (en) * 2021-01-22 2023-12-26 Canon Kabushiki Kaisha Signal processing device having counter counting pulses from avalanche photodiode
CN117581558A (zh) * 2021-07-01 2024-02-20 索尼半导体解决方案公司 成像装置和信息处理***
JP2023032298A (ja) * 2021-08-26 2023-03-09 キヤノン株式会社 光電変換装置、撮像装置、制御方法、及びコンピュータプログラム
KR20230061134A (ko) * 2021-10-28 2023-05-08 삼성전자주식회사 이미지 센서, 영상 획득 장치 및 이를 포함하는 전자 장치
KR20230078373A (ko) * 2021-11-26 2023-06-02 삼성전자주식회사 이미지 센서, 영상 획득 장치 및 이를 포함하는 전자 장치
JP2023115727A (ja) * 2022-02-08 2023-08-21 キヤノン株式会社 光電変換装置
US20230336881A1 (en) * 2022-04-15 2023-10-19 Sony Semiconductor Solutions Corporation Binning in hybrid pixel structure of image pixels and event vision sensor (evs) pixels

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012191400A (ja) 2011-03-10 2012-10-04 Nikon Corp 撮像素子および撮像装置
JP2015128215A (ja) 2013-12-27 2015-07-09 キヤノン株式会社 固体撮像装置及びそれを用いた撮像システム
JP2016019157A (ja) 2014-07-08 2016-02-01 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP2016144183A (ja) 2015-02-05 2016-08-08 キヤノン株式会社 画像処理装置
JP2018157387A (ja) 2017-03-17 2018-10-04 キヤノン株式会社 撮像装置及び撮像システム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4321579B2 (ja) 2006-11-28 2009-08-26 ソニー株式会社 撮像装置
TWI399088B (zh) * 2007-10-12 2013-06-11 Sony Corp 資料處理器,固態成像裝置,成像裝置,及電子設備
JP5755111B2 (ja) 2011-11-14 2015-07-29 キヤノン株式会社 撮像装置の駆動方法
MX2014009892A (es) * 2012-02-17 2015-02-12 Pharmacyclics Inc Combinaciones de inhibidor de histona desacetilasa y pazopanib y usos de las mismas.
JP6120495B2 (ja) * 2012-06-04 2017-04-26 キヤノン株式会社 撮像装置、撮像装置の駆動方法、撮像システム、撮像システムの駆動方法
KR102135684B1 (ko) * 2013-07-24 2020-07-20 삼성전자주식회사 카운터 회로, 이를 포함하는 아날로그-디지털 컨버터, 이미지 센서 및 이를 이용하는 상관 이중 샘플링 방법
JP6480712B2 (ja) * 2014-02-06 2019-03-13 キヤノン株式会社 撮像装置及びその制御方法
JP6535163B2 (ja) 2014-02-24 2019-06-26 日本放送協会 信号処理回路及びイメージセンサ
GB2543443B (en) * 2014-06-10 2017-09-13 Cirrus Logic Int Semiconductor Ltd Packaging for MEMS transducers
US10834349B2 (en) * 2017-07-06 2020-11-10 Canon Kabushiki Kaisha Solid-state image sensor, image capturing apparatus and image capturing method
JP2019032206A (ja) * 2017-08-07 2019-02-28 ソニーセミコンダクタソリューションズ株式会社 距離センサ、距離測定装置、および画像センサ
EP3451655B1 (en) * 2017-08-31 2020-10-21 Canon Kabushiki Kaisha Solid-state image sensor and image capture apparatus
KR102593926B1 (ko) * 2018-03-22 2023-10-26 삼성전자주식회사 그레이 코드 생성기
JP7114396B2 (ja) * 2018-08-03 2022-08-08 キヤノン株式会社 撮像装置、撮像システム、移動体
JP7427417B2 (ja) * 2019-10-25 2024-02-05 キヤノン株式会社 光電変換装置、光電変換システム、移動体、光電変換装置の検査方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012191400A (ja) 2011-03-10 2012-10-04 Nikon Corp 撮像素子および撮像装置
JP2015128215A (ja) 2013-12-27 2015-07-09 キヤノン株式会社 固体撮像装置及びそれを用いた撮像システム
JP2016019157A (ja) 2014-07-08 2016-02-01 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP2016144183A (ja) 2015-02-05 2016-08-08 キヤノン株式会社 画像処理装置
JP2018157387A (ja) 2017-03-17 2018-10-04 キヤノン株式会社 撮像装置及び撮像システム

Also Published As

Publication number Publication date
US11297269B2 (en) 2022-04-05
US20200252563A1 (en) 2020-08-06
JP2020127122A (ja) 2020-08-20

Similar Documents

Publication Publication Date Title
JP7227777B2 (ja) 撮像装置
JP6593470B2 (ja) 撮像素子、撮像装置、および電子機器
JP7100518B2 (ja) 固体撮像素子及び撮像装置
US10771724B2 (en) Image capturing apparatus
US7750278B2 (en) Solid-state imaging device, method for driving solid-state imaging device and camera
JP6039165B2 (ja) 撮像素子及び撮像装置
JP5850680B2 (ja) 撮像装置及びその制御方法
KR101934695B1 (ko) 촬상소자 및 촬상장치
JP5526840B2 (ja) 画像信号処理装置、撮像装置、画像信号処理方法、およびプログラム
US9253427B2 (en) Solid-state image pickup apparatus capable of realizing image pickup with wide dynamic range and at high frame rate, control method therefor, and storage medium
WO2013105383A1 (en) Image generation method, image generation apparatus, program, and storage medium
JP7130384B2 (ja) 固体撮像素子、撮像装置及び撮像方法
WO2020080065A1 (ja) 測距装置、カメラ、及び測距装置の駆動調整方法
JP5187039B2 (ja) 固体撮像装置及びこれを用いた電子カメラ
KR20210114290A (ko) 이미지 센서 및 이를 포함하는 촬영 장치
JP2020047780A (ja) 光検出装置
JP2017076872A (ja) 撮像素子
JP6733159B2 (ja) 撮像素子、及び撮像装置
JP7339780B2 (ja) 撮像装置及びその制御方法
TWI633790B (zh) Solid-state imaging device and driving method thereof and electronic device
JP7218193B2 (ja) 撮像装置
WO2023047975A1 (ja) 光電変換装置、撮像装置、制御方法、及びコンピュータプログラム
JP7292990B2 (ja) 撮像装置、コンピュータプログラム及び記憶媒体
EP4346225A1 (en) Avalanche photoelectric conversion device, control method, and storage medium
JP2023046663A (ja) 光電変換装置、撮像装置、制御方法、及びコンピュータプログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220125

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230210

R151 Written notification of patent or utility model registration

Ref document number: 7227777

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151