JP2022096472A - 光電変換装置及びその駆動方法 - Google Patents
光電変換装置及びその駆動方法 Download PDFInfo
- Publication number
- JP2022096472A JP2022096472A JP2020209596A JP2020209596A JP2022096472A JP 2022096472 A JP2022096472 A JP 2022096472A JP 2020209596 A JP2020209596 A JP 2020209596A JP 2020209596 A JP2020209596 A JP 2020209596A JP 2022096472 A JP2022096472 A JP 2022096472A
- Authority
- JP
- Japan
- Prior art keywords
- processing unit
- counting processing
- photoelectric conversion
- period
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 130
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 286
- 238000007493 shaping process Methods 0.000 claims description 26
- 238000010791 quenching Methods 0.000 claims description 20
- 238000003384 imaging method Methods 0.000 claims description 18
- 239000000758 substrate Substances 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 abstract description 5
- 238000001514 detection method Methods 0.000 description 34
- 230000006870 function Effects 0.000 description 21
- 101100033037 Mus musculus Rbbp6 gene Proteins 0.000 description 15
- 238000010586 diagram Methods 0.000 description 15
- 230000002441 reversible effect Effects 0.000 description 7
- 239000004065 semiconductor Substances 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000171 quenching effect Effects 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
- H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
- H04N25/773—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters comprising photon counting circuits, e.g. single photon detection [SPD] or single photon avalanche diodes [SPAD]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
Abstract
【課題】入射する光子を計数する機能を備えた光電変換装置において、露光制御の高機能化を実現するための技術を提供する。
【解決手段】光電変換装置は、光子の入射に応じてパルス信号を出力する光電変換部と、光電変換部に接続され、パルス信号を計数する信号処理部と、信号処理部を制御する制御部と、を有する。信号処理部は、並列に配された第1の計数処理部及び第2の計数処理部を有する。制御部は、第1の計数処理部及び第2の計数処理部の各々に対し、アクティブな期間と非アクティブな期間とを設定するように構成されている。第1の計数処理部がアクティブな期間は、第2の計数処理部がアクティブな第1の期間と、第2の計数処理部が非アクティブな第2の期間と、を含む。
【選択図】図2
【解決手段】光電変換装置は、光子の入射に応じてパルス信号を出力する光電変換部と、光電変換部に接続され、パルス信号を計数する信号処理部と、信号処理部を制御する制御部と、を有する。信号処理部は、並列に配された第1の計数処理部及び第2の計数処理部を有する。制御部は、第1の計数処理部及び第2の計数処理部の各々に対し、アクティブな期間と非アクティブな期間とを設定するように構成されている。第1の計数処理部がアクティブな期間は、第2の計数処理部がアクティブな第1の期間と、第2の計数処理部が非アクティブな第2の期間と、を含む。
【選択図】図2
Description
本発明は、光電変換装置及びその駆動方法に関する。
単一光子レベルの微弱光を検出可能な検出器として、単一光子アバランシェダイオード(SPAD:Single Photon Avalanche Diode)が知られている。SPADは、半導体のpn接合部に誘起された強電界により発生するアバランシェ増倍現象を用いることで、光子により励起された信号電荷を数倍~数百万倍程度に増幅するものである。アバランシェ増倍現象により発生した電流をパルス信号に変換し、そのパルス信号の数をカウントすることで、入射する光子の個数を直接計測することが可能となる。特許文献1には、センサ部から出力されるパルス信号の数をカウントする方法を工夫し、センシングデバイスに付加機能を与える例が開示されている。
しかしながら、従来の技術においては光電変換装置の露光制御について十分な考慮はなされておらず、光子が入射するイベントの発生パターンに応じて必ずしも適切な露光制御を行うことができなかった。
本発明の目的は、入射する光子を計数する機能を備えた光電変換装置において、露光制御の高機能化を実現するための技術を提供することにある。
本発明の一観点によれば、光子の入射に応じてパルス信号を出力する光電変換部と、前記光電変換部に接続され、前記パルス信号を計数する信号処理部と、前記信号処理部を制御する制御部と、を有し、前記信号処理部は、並列に配された第1の計数処理部及び第2の計数処理部を有し、前記制御部は、前記第1の計数処理部及び前記第2の計数処理部の各々に対し、アクティブな期間と非アクティブな期間とを設定するように構成されており、前記第1の計数処理部がアクティブな期間は、前記第2の計数処理部がアクティブな第1の期間と、前記第2の計数処理部が非アクティブな第2の期間と、を含む光電変換装置が提供される。
また、本発明の他の一観点によれば、光子の入射に応じてパルス信号を出力する光電変換部と、前記光電変換部に接続され、前記パルス信号を計数する信号処理部と、前記信号処理部を制御する制御部と、を有し、前記信号処理部は、並列に配された複数の計数処理部を有し、前記制御部は、前記複数の計数処理部の各々に対し、アクティブな期間と非アクティブな期間とを設定するように構成されており、前記複数の計数処理部の各々がアクティブな期間は互いに異なっており、前記複数の計数処理部のうちの少なくとも一部は、アクティブな期間の少なくとも一部が重なっている光電変換装置が提供される。
また、本発明の更に他の一観点によれば、光子の入射に応じてパルス信号を出力する光電変換部と、前記光電変換部に接続され、前記パルス信号を計数する信号処理部と、を有し、前記信号処理部が、並列に配された複数の計数処理部を有する光電変換装置の駆動方法であって、前記複数の計数処理部の各々がアクティブな期間が互いに異なり、前記複数の計数処理部のうちの少なくとも一部において、アクティブな期間の少なくとも一部が重なるように、前記複数の計数処理部の各々におけるアクティブな期間と非アクティブな期間とを設定する光電変換装置の駆動方法が提供される。
本発明によれば、入射する光子を計数する機能を備えた光電変換装置において、露光制御の高機能化を実現することができる。
[第1実施形態]
本発明の第1実施形態による光電変換装置及びその駆動方法について、図1乃至図6を用いて説明する。図1は、本実施形態による光電変換装置の概略構成を示すブロック図である。図2は、本実施形態による光電変換装置の画素の構成例を示すブロック図である。図3は、本実施形態による光電変換装置の光電変換部の基本動作を説明する図である。図4は、本実施形態による光電変換装置の計数処理部の構成例を示す図である。図5は、本実施形態による光電変換装置の構成例を示す斜視図である。図6は、本実施形態による光電変換装置の駆動方法の一例を示すタイミングチャートである。
本発明の第1実施形態による光電変換装置及びその駆動方法について、図1乃至図6を用いて説明する。図1は、本実施形態による光電変換装置の概略構成を示すブロック図である。図2は、本実施形態による光電変換装置の画素の構成例を示すブロック図である。図3は、本実施形態による光電変換装置の光電変換部の基本動作を説明する図である。図4は、本実施形態による光電変換装置の計数処理部の構成例を示す図である。図5は、本実施形態による光電変換装置の構成例を示す斜視図である。図6は、本実施形態による光電変換装置の駆動方法の一例を示すタイミングチャートである。
はじめに、本実施形態による光電変換装置の構造について、図1乃至図5を用いて説明する。
本実施形態による光電変換装置100は、図1に示すように、画素部10と、垂直走査回路部40と、読み出し回路部50と、水平走査回路部60と、出力回路部70と、制御パルス生成部80と、を有する。
画素部10には、複数の行及び複数の列をなすようにアレイ状に配された複数の画素12が設けられている。各々の画素12は、光子検知素子を含む光電変換部20と、画素信号処理部30と、により構成され得る。なお、画素部10を構成する画素12の数は、特に限定されるものではない。例えば、一般的なデジタルカメラのように数千行×数千列のアレイ状に配された複数の画素12により画素部10を構成することができる。或いは、1行又は1列に並べた複数の画素12により画素部10を構成してもよい。或いは、1つの画素12により画素部10を構成してもよい。
画素部10の画素アレイの各行には、第1の方向(図1において横方向)に延在して、制御線14が配されている。制御線14は、第1の方向に並ぶ画素12にそれぞれ接続され、これら画素12に共通の信号線をなしている。制御線14の延在する第1の方向は、行方向或いは水平方向と表記することがある。制御線14の各々は、複数種類の制御信号を画素12に供給するための複数の信号線を含み得る。
また、画素部10の画素アレイの各列には、第1の方向と交差する第2の方向(図1において縦方向)に延在して、データ線16が配されている。データ線16は、第2の方向に並ぶ画素12にそれぞれ接続され、これら画素12に共通の信号線をなしている。データ線16の延在する第2の方向は、列方向或いは垂直方向と表記することがある。データ線16の各々は、画素12から出力される複数ビットのデジタル信号をビット毎に転送するための複数の信号線を含み得る。
各行の制御線14は、垂直走査回路部40に接続されている。垂直走査回路部40は、制御パルス生成部80から出力される制御信号を受け、画素12を駆動するための制御信号を生成し、制御線14を介して画素12に供給する制御部である。垂直走査回路部40には、シフトレジスタやアドレスデコーダといった論理回路が用いられ得る。垂直走査回路部40は、画素部10内の画素12を行単位で順次走査し、データ線16を介して各画素12の画素信号を読み出し回路部50へと出力する。
各列のデータ線16は、読み出し回路部50に接続されている。読み出し回路部50は、画素部10の画素アレイの各列に対応して設けられた複数の保持部(図示せず)を備え、データ線16を介して画素部10から行単位で出力される各列の画素12の画素信号を対応する列の保持部にて保持する機能を備える。
水平走査回路部60は、読み出し回路部50の各列の保持部から画素信号を読み出すための制御信号を読み出し回路部50に供給する制御部である。水平走査回路部60には、シフトレジスタやアドレスデコーダといった論理回路が用いられ得る。水平走査回路部60は、読み出し回路部50の各列の保持部を順次走査し、各々に保持されている画素信号を順次出力回路部70へと出力する。
出力回路部70は、外部インターフェース回路を有し、読み出し回路部50から出力された画素信号を光電変換装置100の外部へ出力するための回路部である。出力回路部70が備える外部インターフェース回路は、特に限定されるものではない。外部インターフェース回路には、例えば、LVDS(Low Voltage Differential Signaling)回路、SLVS(Scalable Low Voltage Signaling)回路等のSerDes(SERializer/DESerializer)送信回路を適用可能である。
制御パルス生成部80は、垂直走査回路部40、読み出し回路部50、水平走査回路部60の動作やそのタイミングを制御する制御信号を生成し、各機能ブロックに供給するための制御回路である。なお、垂直走査回路部40、読み出し回路部50、水平走査回路部60の動作やそのタイミングを制御する制御信号の少なくとも一部は、光電変換装置100の外部から供給してもよい。
各々の画素12は、図2に示すように、光電変換部20と、画素信号処理部30と、を有する。光電変換部20は、光子検知素子22と、クエンチ素子24と、波形整形部26と、を有する。画素信号処理部30は、計数処理部32A,32Bと、選択回路38と、を有する。
光子検知素子22は、アバランシェフォトダイオード(以下、「APD」と表記する)であり得る。光子検知素子22を構成するAPDのアノードは、電圧VLが供給されるノードに接続されている。光子検知素子22を構成するAPDのカソードは、クエンチ素子24の一方の端子に接続されている。クエンチ素子24の他方の端子は、電圧VLよりも高い電圧VHが供給されるノードに接続されている。電圧VL及び電圧VHは、APDがアバランシェ増倍動作をするに十分な逆バイアス電圧が印加されるように設定されている。一例では、電圧VLとして負の高電圧が与えられ、電圧VHとして電源電圧程度の正電圧が与えられる。例えば、電圧VLは-30Vであり、電圧VHは1Vである。
波形整形部26の入力ノードは、光子検知素子22とクエンチ素子24との間の接続ノードに接続されている。波形整形部26の出力ノードは、計数処理部32Aの入力ノード及び計数処理部32Bの入力ノードに接続されている。計数処理部32Aの出力ノード及び計数処理部32Bの出力ノードは、選択回路38の入力ノードに接続されている。選択回路38の出力ノードは、データ線16に接続されている。なお、データ線16は、計数処理部32Aからの信号を出力するための信号線と、計数処理部32Bからの信号を出力するための信号線と、を含み得る。
制御線14は、制御信号pACT_Aが供給される信号線と、制御信号pACT_Bが供給される信号線と、制御信号pRESが供給される信号線と、制御信号pSELが供給される信号線と、を含む。計数処理部32Aの2つの制御ノードはそれぞれ、制御信号pACT_Aが供給される信号線と、制御信号pRESが供給される信号線と、に接続されている。計数処理部32Bの2つの制御ノードはそれぞれ、制御信号pACT_Bが供給される信号線と、制御信号pRESが供給される信号線と、に接続されている。選択回路38の制御ノードは、制御信号pSELが供給される信号線に接続されている。
光子検知素子22は、前述のようにAPDにより構成され得る。アバランシェ増倍動作をするに十分な逆バイアス電圧をAPDに供給した状態とすることで、APDへの光入射によって生じた電荷がアバランシェ増倍を起こし、アバランシェ電流が発生する。APDに逆バイアス電圧を供給した状態における動作モードには、ガイガーモードとリニアモードとがある。ガイガーモードは、アノードとカソードとの間に印加する電圧をAPDの降伏電圧よりも大きい逆バイアス電圧とする動作モードである。リニアモードは、アノードとカソードとの間に印加する電圧をAPDの降伏電圧近傍又はそれ以下の逆バイアス電圧とする動作モードである。ガイガーモードで動作させるAPDは、SPAD(Single Photon Avalanche Diode)と呼ばれる。
クエンチ素子24は、光子検知素子22で生じたアバランシェ電流の変化を電圧信号に変換する機能を備える。また、クエンチ素子24は、アバランシェ増倍による信号増倍時に負荷回路(クエンチ回路)として機能し、光子検知素子22に印加される電圧を低減してアバランシェ増倍を抑制する機能を備える。クエンチ素子24がアバランシェ増倍を抑制する動作は、クエンチ動作と呼ばれる。クエンチ素子24は、抵抗素子やMOSトランジスタなどにより構成され得る。
波形整形部26は、光子の検出時に光子検知素子22から出力されるアナログ信号(光子検知素子22のカソードの電位変化)を光子検知パルス信号に変換するパルス生成部であり、例えばインバータ回路により構成され得る。なお、図2には波形整形部26としてインバータ回路を1つ用いた例を示しているが、波形整形部26はこれに限定されるものではなく、例えば、複数のインバータ回路を直列接続した回路で構成してもよいし、波形整形効果を備える他の回路で構成してもよい。
計数処理部32A,32Bの各々は、波形整形部26から出力されるパルスの計数を行い、計数結果であるカウント値を保持する機能を備える。計数処理部32Aは、垂直走査回路部40から制御線14を介して供給される制御信号pACT_Aがアクティブである期間に、波形整形部26から出力されるパルスを計数する。同様に、計数処理部32Bは、垂直走査回路部40から制御線14を介して供給される制御信号pACT_Bがアクティブである期間に、波形整形部26から出力されるパルスを計数する。制御信号pACT_A,pACT_Bは、言わば露光期間を設定するための制御信号である。また、計数処理部32A,32Bは、垂直走査回路部40から制御線14を介して供給される制御信号pRESがアクティブになることにより、各々が保持するカウント値をリセットする。なお、図2には計数処理部32A,32Bを共通の制御信号pRESでリセットする例を示したが、計数処理部32Aをリセットするための制御信号と計数処理部32Bをリセットするための制御信号とは別の制御信号でもよい。
選択回路38は、計数処理部32A,32Bとデータ線16との間の電気的な接続状態(接続又は非接続)を切り替える機能を備える。選択回路38は、垂直走査回路部40から制御線14を介して供給される制御信号pSELに応じて、計数処理部32A,32Bとデータ線16との間の接続状態を切り替える。選択回路38は、信号を出力するためのバッファ回路を含み得る。
図3は、光電変換部20の動作を説明する図である。図3(a)は光電変換部20の回路図であり、図3(b)は波形整形部26の入力ノード(ノードA)における信号の波形を示し、図3(c)は波形整形部26の出力ノード(ノードB)における信号の波形を示している。
時刻t0において、光子検知素子22には(VH-VL)に相当する電位差の逆バイアス電圧が印加されている。光子検知素子22を構成するAPDのアノードとカソードとの間にはアバランシェ増倍を生じるに十分な逆バイアス電圧が印加されているが、光子検知素子22に光子が入射していない状態ではアバランシェ増倍の種となるキャリアが存在しない。そのため、光子検知素子22においてアバランシェ増倍は起こらず、光子検知素子22に電流は流れない。
続く時刻t1において、光子検知素子22に光子が入射したものとする(図3中、「フォトン入射」)。光子検知素子22に光子が入射すると、光電変換によって電子-正孔対が生成され、これらキャリアを種としてアバランシェ増倍が生じ、光子検知素子22にアバランシェ増倍電流が流れる。このアバランシェ増倍電流がクエンチ素子24を流れることによりクエンチ素子24による電圧降下が生じ、ノードAの電圧が降下し始める。ノードAの電圧降下量が大きくなり、時刻t3においてアバランシェ増倍が停止すると、ノードAの電圧レベルはそれ以上降下しなくなる。
光子検知素子22におけるアバランシェ増倍が停止すると、電圧VLが供給されるノードから光子検知素子22を介してノードAに電圧降下分を補う電流が流れ、ノードAの電圧は徐々に増加する。その後、時刻t5においてノードAは元の電圧レベルに静定する。
波形整形部26は、ノードAから入力される信号を所定の判定閾値に応じて二値化し、ノードBから出力する。具体的には、波形整形部26は、ノードAの電圧レベルが判定閾値を超えているときはノードBからLowレベルの信号を出力し、ノードAの電圧レベルが判定閾値以下のときはノードBからHighレベルの信号を出力する。例えば、図3(b)に示すように、時刻t2から時刻t4の期間においてノードAの電圧が判定閾値以下であるとする。この場合、図3(c)に示すように、ノードBにおける信号レベルは、時刻t0から時刻t2の期間及び時刻t4から時刻t5の期間においてLowレベルとなり、時刻t2から時刻t4の期間においてHighレベルとなる。
こうして、ノードAから入力されたアナログ信号は波形整形部26によってデジタル信号へと波形整形される。光子検知素子22への光子の入射に応じて波形整形部26から出力されるパルス信号が、光子検知パルス信号である。
図4は、計数処理部32の構成例を示す概略図である。計数処理部32Aと計数処理部32Bとは同じ構造を有するため、図4には1つの計数処理部32のみを示し、計数処理部32Aと計数処理部32Bとを区別するA,Bの符号の記載を省略している。
計数処理部32は、図4に示すように、スイッチSW1と、カウンタ34と、を有する。スイッチSW1の一方のノードは、計数処理部32の入力ノードでもあり、波形整形部26の出力ノードに接続されている(図2参照)。スイッチSW1の他方のノードは、カウンタ34の入力ノードに接続されている。カウンタ34の出力ノードは、計数処理部32の出力ノードでもあり、選択回路38の入力ノードに接続されている。スイッチSW1の制御ノードには、垂直走査回路部40から制御線14を介して制御信号pACTが供給される。カウンタ34の制御ノードには、垂直走査回路部40から制御線14を介して制御信号pRESが供給される。
カウンタ34は、波形整形部26から出力されるパルス信号を計数し、計数の結果であるカウント値を保持する機能を備える。例えば、カウンタ34が10ビットのバイナリカウンタであれば、垂直走査回路部40から供給される制御信号pRESが非アクティブになってから次にアクティブになるまでの間に、最大1023個のパルスをカウントし保持することができる。なお、カウンタ34は、バイナリカウンタ以外の計数手段でもよく、ビット数は10ビットに限定されるものではない。
スイッチSW1は、波形整形部26から出力されるパルス信号をカウンタ34に入力するか遮断するかを、垂直走査回路部40から供給される制御信号pACTに応じて切り替える機能を備える。スイッチSW1は、例えばCMOSスイッチ回路によって実現できるが、デコーダなどの論理回路やその他の選択手段により構成してもよい。
カウンタ34の前段にスイッチSW1を設けることで、制御信号pACTがアクティブである期間だけ、波形整形部26から出力されるパルス信号をカウンタ34に入力し、パルス信号の数をカウントすることができる。すなわち、制御信号pACTがアクティブになる期間を設定することにより、波形整形部26から出力されるパルス信号をカウンタ34でカウントする期間を設定することができる。
このような機能を備える計数処理部32を複数並列に配することで、1つの光電変換部20から出力される光子検知パルス信号を並行して複数の計数処理部32でカウントすることが可能となる。複数の計数処理部32の各々における計数期間は、制御信号pACTによって制御可能である。
なお、本実施形態では波形整形部26から出力されるパルス信号をカウンタ34に入力するか遮断するかをスイッチSW1によって切り替える構成としているが、カウント動作を有効にするか無効にするかを選択する機能をカウンタ34が備えていてもよい。
本実施形態による光電変換装置100は、1枚の基板に形成してもよいし、複数の基板を積層した積層型の光電変換装置として構成してもよい。後者の場合、例えば図5に示すように、センサ基板110と回路基板120とを積層して電気的に接続した積層型の光電変換装置として構成可能である。センサ基板110には、画素12の構成要素のうち少なくとも光子検知素子22を配置することができる。また、回路基板120には、画素12の構成要素のうち画素信号処理部30を配置することができる。回路基板120には、垂直走査回路部40、読み出し回路部50、水平走査回路部60、出力回路部70、制御パルス生成部80等を更に配置してもよい。積層型の光電変換装置を構成することにより、素子の集積度を上げ、高機能化を行うことができる。3枚以上の基板を積層して光電変換装置100を構成するようにしてもよい。
次に、本実施形態による光電変換装置の駆動方法について、図6を用いて説明する。図6のタイミングチャートには、パルス信号pEP、制御信号pRES,pACT_A,pACT_B、カウント値Count_A,Count_B、露光期間A,Bを示している。パルス信号pEPは、光子の入射に応じて波形整形部26のノードBから出力される光子検知パルス信号である。カウント値Count_Aは、計数処理部32Aのカウンタ34のカウント値である。カウント値Count_Bは、計数処理部32Aのカウンタ34のカウント値である。露光期間Aは、制御信号pACT_Aがアクティブな期間に対応して計数処理部32Aにおいて計数動作が行われる期間である。露光期間Bは、制御信号pACT_Bがアクティブな期間に対応して計数処理部32Bにおいて計数動作が行われる期間である。
図6では一例として、所定の露光期間Tの間にある画素12に1200個の光子が等間隔で重なることなく入射する場合を想定している。カウンタ34は、最大1023個のパルスをカウントし、そのカウント値を保持できるものとする。
まず、計数処理部32Aの動作を説明する。
時刻t0において、制御信号pRESがアクティブ(Highレベル)になり、計数処理部32Aのカウンタ34のカウント値Count_Aが0にリセットされる。
時刻t0において、制御信号pRESがアクティブ(Highレベル)になり、計数処理部32Aのカウンタ34のカウント値Count_Aが0にリセットされる。
続く時刻t1において、制御信号pACT_Aがアクティブ(Highレベル)になり、計数処理部32Aのカウンタ34がパルス信号pEPのカウントを開始する。制御信号pACT_Aがアクティブになる時刻t1が露光期間Aの開始タイミングである。
続く時刻t2において、光子の入射を受けてパルス信号pEPがアクティブ(Highレベル)になる。計数処理部32Aのカウンタ34がこのパルス信号pEPをカウントすることで、カウンタ34のカウント値Count_Aが0から1へと遷移する。
以後、パルス信号pEPがアクティブになるたびにカウント値Count_Aがインクリメントされる。しかしながら、時刻t6においてカウント値Count_Aはカウンタ34の保持できるカウント値の上限である1023に到達しているため、時刻t6にパルス信号pEPが立ち上がってもカウント値Count_Aがインクリメントされることはない。
続く時刻t7において制御信号pACT_Aが非アクティブ(Lowレベル)になり、計数処理部32Aはパルス信号pEPのカウントを終了する。制御信号pACT_Aが非アクティブになる時刻t7が露光期間Aの終了タイミングである。
時刻t7において計数処理部32Aのカウンタ34が保持しているカウント値Count_Aは、露光期間A(時間T)の間に入射した光子の数と等しいことが期待される。しかしながら、露光期間Aの間にカウント値Count_Aがカウンタ34の保持できる最大値の1023に到達した場合、1023個以上の光子が入射したという情報しか得ることはできない。
次に、計数処理部32Bの動作を説明する。
時刻t0において、制御信号pRESがアクティブになり、計数処理部32Bのカウンタ34のカウント値Count_Bが0にリセットされる。
時刻t0において、制御信号pRESがアクティブになり、計数処理部32Bのカウンタ34のカウント値Count_Bが0にリセットされる。
続く時刻t1において、制御信号pACT_Aがアクティブになり露光期間Aが開始されるが、制御信号pACT_Bは非アクティブ(Lowレベル)である。続く時刻t2においてパルス信号pEPがアクティブになるが、計数処理部32Bのカウンタ34においてこのパルス信号pEPはカウントされず、計数処理部32Bのカウンタ34のカウント値Count_Bが0のままである。
続く時刻t3において、制御信号pACT_Bがアクティブ(Highレベル)になり、計数処理部32Bのカウンタ34がパルス信号pEPのカウントを開始する。制御信号pACT_Bがアクティブになる時刻t3が露光期間Bの開始タイミングである。
続く時刻t4において、光子の入射を受けてパルス信号pEPがアクティブになる。計数処理部32Bのカウンタ34がこのパルス信号pEPをカウントすることで、カウンタ34のカウント値Count_Bが0から1へと遷移する。
以後、パルス信号pEPがアクティブになるたびにカウント値Count_Bがインクリメントされる。
時刻t3から時間T/2が経過した時刻t5において制御信号pACT_Bが非アクティブ(Lowレベル)になり、計数処理部32Bはパルス信号pEPのカウントを終了する。制御信号pACT_Bが非アクティブになる時刻t5が露光期間Bの終了タイミングである。時刻t5において計数処理部32Bのカウンタ34が保持しているカウント値Count_Bは、カウンタ34の保持できるカウント値の最大値(1023)以下、ここでは600であるものとする。以後は、計数処理部32Bのカウンタ34のカウント値Count_Bがインクリメントされることはない。
なお、本実施形態において、計数処理部32Bが連続してアクティブになる期間の長さは、計数処理部32A,32Bの双方がアクティブになる期間の長さと同じである。
時刻t7において計数処理部32Bのカウンタ34が保持しているカウント値Count_Bは、露光期間B(時間T/2)の間に入射した光子の数と等しい。
ここで、露光期間Aの間に光子が画素12に入射する頻度が大きく変化しないのであれば、露光期間B(時間T/2)の2倍の長さである露光期間A(時間T)の間に、およそ600個の2倍の光子が画素12に入射したと推定することができる。つまり、露光期間の異なる複数の計数処理部32を設けることで、仮に一部の計数処理部32においてカウント値の上限を超えてしまった場合にも、他の計数処理部32のカウント値から入射した光子の数の情報を得ることが可能となる。
本実施形態の構成及び駆動方法を用いることで、複数の画素12を有する光電変換装置100において、ダイナミックレンジの広い像を取得することができる。すなわち、画素部10の各画素12を上記のように駆動すれば、像の中で時間Tが適切な露光時間となる低輝度な領域と、時間T/2が適切な露光時間となる高輝度な領域の両方について、時間同時性を保ちながら、適切な露光時間で像を取得することができる。
なお、本実施形態の駆動方法において、計数処理部32Aがアクティブな期間は、計数処理部32Bがアクティブな期間と、計数処理部32Bが非アクティブな期間と、を含む。計数処理部32A及び計数処理部32Bの双方がアクティブな期間を設けることには、被写体のオプティカルフローなどの情報の取得が可能になるなどの利点がある。
本実施形態の説明では、時刻t1から時刻t3の期間の長さをT/4、時刻t3から時刻t5の期間の長さをT/2、時刻t5から時刻t7の期間の長さをT/4としたが、それぞれの期間の長さは0より大きく、3つの期間の合計がTであればよい。各期間をこのように設定することで、複数の露光期間の各々の間に入射した光子の数の情報を、時間同時性を保ちながら取得することができる。
また、計数処理部32Aと計数処理部32Bとは、必ずしも同じ構成を備えている必要はない。例えば、計数処理部32Bのカウンタ34は、計数処理部32Aのカウンタ34よりも保持するカウント値が小さくなるため、カウント値の最大値を小さくしてもよい。これにより、画素信号処理部30の回路規模を削減することができる。
このように、本実施形態によれば、入射する光子を計数する機能を備えた光電変換装置において、露光制御の高機能化を実現することができる。
[第2実施形態]
本発明の第2実施形態による光電変換装置の駆動方法について、図7を用いて説明する。第1実施形態による光電変換装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。本実施形態では、第1実施形態による光電変換装置の他の駆動方法を説明する。
本発明の第2実施形態による光電変換装置の駆動方法について、図7を用いて説明する。第1実施形態による光電変換装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。本実施形態では、第1実施形態による光電変換装置の他の駆動方法を説明する。
図7は、本実施形態による光電変換装置の駆動方法の一例を示すタイミングチャートである。図7のタイミングチャートには、図6と同様、パルス信号pEP、制御信号pRES,pACT_A,pACT_B、カウント値Count_A,Count_B、露光期間A,Bを示している。
本実施形態の駆動方法において、計数処理部32Aが連続してアクティブになる期間の長さと、計数処理部32Bが連続してアクティブになる期間の長さと、は同じである。
まず、時刻t0において、制御信号pRESがアクティブになり、計数処理部32Aのカウンタ34のカウント値Count_A及び計数処理部32Bのカウンタ34のカウント値Count_Bが0にリセットされる。
続く時刻t1において、制御信号pACT_Aがアクティブになり、計数処理部32Aのカウンタ34がパルス信号pEPのカウントを開始する。制御信号pACT_Aがアクティブになる時刻t1が露光期間Aの開始タイミングである。
その後、時刻t1から時間T/2が経過した時刻t2において、制御信号pACT_Bがアクティブになり、計数処理部32Bのカウンタ34がパルス信号pEPのカウントを開始する。制御信号pACT_Bがアクティブになる時刻t2が露光期間Bの開始タイミングである。
その後、時刻t0から時間Tが経過した時刻t3において制御信号pACT_Aが非アクティブになり、計数処理部32Aはパルス信号pEPのカウントを終了する。制御信号pACT_Aが非アクティブになる時刻t3が露光期間Aの終了タイミングである。以後は、計数処理部32Aのカウンタ34のカウント値Count_Aがインクリメントされることはない。
続く時刻t4から時刻t5の期間において、画素12に光子が500個入射するイベント(イベントA)が発生したものとする。すると、時刻t4から時刻t5の期間の間にパルス信号pEPに500個のパルスが重畳し、計数処理部32Bのカウンタ34のカウント値Count_Bは500までインクリメントされる。
その後、時刻t2から時間Tが経過した時刻t6において制御信号pACT_Bが非アクティブになり、計数処理部32Bはパルス信号pEPのカウントを終了する。制御信号pACT_Bが非アクティブになる時刻t6が露光期間Bの終了タイミングである。以後は、計数処理部32Bのカウンタ34のカウント値Count_Bがインクリメントされることはない。
その結果、時刻t6において、計数処理部32Aのカウンタ34が保持しているカウント値Count_Aは0となり、計数処理部32Bのカウンタ34が保持しているカウント値Count_Bは500となる。
ここで一例として、イベントAは、3T/2の周期で発生するが、露光期間A,Bとは同期しておらず、発生する時間がT/2よりも短い場合を想定する。露光期間の長さをTとしたい場合、計数処理部32AだけではイベントAにおいて発生した光子の数をカウントできない可能性がある。例えば、図7に示す場合のようにイベントAが時刻t3から時刻t6までの間に発生してしまうと、計数処理部32AだけではイベントAにおいて発生する光子の数をカウントすることはできない。
この点、本実施形態の駆動方法では、計数処理部32Aの露光期間Aに対して位相をT/2ずらして計数処理部32Bの露光期間Bを設定している。したがって、イベントAと露光期間との位相関係にかかわらず、イベントAにおいて入射した光子の数を取得することができる。この手法を用いると、複数の画素12を有する光電変換装置100において、露光期間と同期せずに、露光期間の長さよりも短い時間で点灯し、その後消灯する光源の点灯を安定して撮像することができる。
また、本実施形態の駆動方法によれば、時間解像度の高い連続した撮像を行うこともできる。例えば、時刻t1から時刻t3の間に発生するイベントと、これに重なって時刻t2から時刻t6の間に発生するイベントとの両方を、計数処理部32A,32Bのカウント値を途中でリセットしたり画素12の外へ出力したりすることなく検出することができる。この場合、時刻t1から時刻t2までの期間の長さは、必ずしもT/2である必要はなく、0より大きくTより小さい値であればよい。また、時刻t1から時刻t3までの期間(露光期間A)と時刻t2から時刻t6までの期間(露光期間B)とは、必ずしも等しい長さである必要はなく、異なる長さであってもよい。
このように、本実施形態によれば、入射する光子を計数する機能を備えた光電変換装置において、露光制御の高機能化を実現することができる。
[第3実施形態]
本発明の第3実施形態による光電変換装置の駆動方法について、図8を用いて説明する。第1及び第2実施形態による光電変換装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。本実施形態では、第1実施形態による光電変換装置の他の駆動方法を説明する。
本発明の第3実施形態による光電変換装置の駆動方法について、図8を用いて説明する。第1及び第2実施形態による光電変換装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。本実施形態では、第1実施形態による光電変換装置の他の駆動方法を説明する。
図8は、本実施形態による光電変換装置の駆動方法の一例を示すタイミングチャートである。図8のタイミングチャートには、パルス信号pEP、制御信号pRES,pACT_A,pACT_B、露光期間A,Bを示している。
本実施形態において、所定期間(例えばフレーム期間)の間に計数処理部32Aがアクティブになる回数は第1の回数(1回)であり、当該所定期間の間に計数処理部32Bがアクティブになる回数は第1の回数よりも多い第2の回数(8回)である。計数処理部32Bがアクティブな期間と計数処理部32Bが非アクティブな期間とは、周期的に繰り返される。また、所定期間(例えばフレーム期間)の間に計数処理部32Aがアクティブになる期間の合計の長さと、当該所定期間の間に計数処理部32Bがアクティブになる期間の合計の長さと、が等しくなっている。
本実施形態では、時刻t1から時刻t4の間に、画素12に光子が入射するイベント(イベントB)が発生する場合を想定する。この場合、イベントBが発生している間に計数処理部32A及び計数処理部32Bのうちの一方を常にアクティブにすれば、入射した光子の数を総て記録することができる。しかしながら、画素12の面積上の制約から計数処理部32A,32Bの規模が限られたり、データ線16の帯域が限られたりする場合、計数処理部32A,32Bに保持するデータ量を削減する必要がある。このような場合には、イベントBが発生する期間の長さTに対し、計数処理部32A,32Bが光子をカウントする期間の長さを短くし、計数処理部32A,32Bで保持するデータ量を削減することが有効である。
制御信号pACT_Aは、イベントBが開始する時刻t1から3T/8の時間が経過した後の時刻t2においてアクティブになり、時刻t2からT/4の時間が経過した後の時刻t3において非アクティブになる。すなわち、時刻t2から時刻t3の期間が露光期間Aとなる。
一方、制御信号pACT_Bは、時刻t1から時刻t4までの期間においてアクティブな時間が合計でT/4となるように、アクティブと非アクティブとを周期的に繰り返す。時刻t1から時刻t4までの期間のうち、制御信号pACT_Bがアクティブになっている期間が露光期間Bとなる。
つまり、制御信号pACT_Aと制御信号pACT_Bとは、時刻t1から時刻t4までの期間(長さT)のうちアクティブになっている期間の長さの合計はいずれもT/4であるが、アクティブになるタイミングが異なっている。
このように露光期間A,Bを設定することにより、計数処理部32Aでは、イベントBが発生する期間のうち、中心付近の期間における光子の入射を密に検出することができる。また、計数処理部32Aでは、光子の入射を密に検出することはできないが、イベントBの全期間に渡って光子の入射を検出できるタイミングが存在する。したがって、計数処理部32Aと計数処理部32Bとにより、光子の入射を検出するタイミングの違いに応じた異なる情報を取得することが可能となる。
したがって、本実施形態の駆動方法を用いることで、複数の画素12を有する光電変換装置100において、計数処理部32A,32Bに保持するデータ量を抑制しつつ、期間の長いイベントの情報を記録することができる。
このように、本実施形態によれば、入射する光子を計数する機能を備えた光電変換装置において、露光制御の高機能化を実現することができる。
[第4実施形態]
本発明の第4実施形態による光電変換装置の駆動方法について、図9及び図10を用いて説明する。第1乃至第3実施形態による光電変換装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。本実施形態では、第1実施形態による光電変換装置の他の駆動方法を説明する。
本発明の第4実施形態による光電変換装置の駆動方法について、図9及び図10を用いて説明する。第1乃至第3実施形態による光電変換装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。本実施形態では、第1実施形態による光電変換装置の他の駆動方法を説明する。
図9は、本実施形態による光電変換装置の駆動方法の一例を示すタイミングチャートである。図9のタイミングチャートには、パルス信号pEP、制御信号pRES,pACT_A,pACT_B、露光期間A,Bを示している。
本実施形態では、時刻t1から時刻t2の間に、画素12に光子が入射するイベント(イベントC)が発生する場合を想定する。
制御信号pACT_Aは、イベントCが開始する時刻t1においてアクティブになり、イベントCが終了する時刻t2において非アクティブになる。すなわち、時刻t1から時刻t2までの期間が露光期間Aとなる。
一方、制御信号pACT_Bは、正弦波をパルス密度変調した信号とし、時刻t1から時刻t2までの期間に計数処理部32Bへと供給される。時刻t1から時刻t2までの期間のうち、制御信号pACT_Bがアクティブになっている期間が露光期間Bとなる。
時刻t2において計数処理部32Aのカウンタ34が保持しているカウント値は、時刻t1から時刻t2までの間に画素12に入射した光子の数に相当する値となる。一方、時刻t2において計数処理部32Bのカウンタ34が保持しているカウント値は、時刻t1から時刻t2までの間に画素12に入射する光子の個数を露光時間でデジタル変調した値となる。入射する光子の数を露光時間で変調することには、入射する光子の数を単純に時間積分した場合に失われてしまう情報を保持できる効果がある。
本実施形態の駆動方法によれば、複数の画素12を有する光電変換装置100において、各画素12の計数処理部32Aからは十分な露光時間を確保した像を取得し、各画素12の計数処理部32Bからは露光時間を変調した像を取得することができる。これら2つの像を後段の信号処理部で合成することにより、ノイズが小さく、動きボケやブレを除去した像を取得することができる。
なお、本実施形態では、制御信号pACT_Bとして正弦波をパルス密度変調した信号を適用したが、制御信号pACT_Bはその他のパルス群であってもよい。制御信号pACT_Bを構成するパルス群を変更することで、変調方法を変更することができる。
また、本実施形態では、各々の画素12の画素信号処理部30が2つの計数処理部32A,32Bを有する場合を説明したが、画素信号処理部30が有する計数処理部32の個数は2つに限定されるものではなく、3つ以上でもよい。各々の画素12は、例えば図10に示すように、3つの計数処理部32A,32B,32Cを含んで構成され得る。画素信号処理部30をこのように構成することにより、複数の画素12を有する光電変換装置100において、位相の異なる複数の正弦波で露光時間を変調した複数の像を得ることができる。これらの像を後段の信号処理部で合成することにより、被写体のオプティカルフローなどの情報を取得することができる。
このように、本実施形態によれば、入射する光子を計数する機能を備えた光電変換装置において、露光制御の高機能化を実現することができる。
[第5実施形態]
本発明の第5実施形態による光電変換装置及びその駆動方法について、図11及び図12を用いて説明する。第1乃至第4実施形態による光電変換装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。図11は、本実施形態による光電変換装置の画素の構成例を示すブロック図である。図12は、本実施形態による光電変換装置の駆動方法の一例を示すタイミングチャートである。
本発明の第5実施形態による光電変換装置及びその駆動方法について、図11及び図12を用いて説明する。第1乃至第4実施形態による光電変換装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。図11は、本実施形態による光電変換装置の画素の構成例を示すブロック図である。図12は、本実施形態による光電変換装置の駆動方法の一例を示すタイミングチャートである。
本実施形態による光電変換装置は、図11に示すように、画素12の画素信号処理部30が制御信号選択回路36を更にしている。制御線14は、制御信号pACT_Cが供給される信号線と、制御信号pACT_Dが供給される信号線と、を更に含む。制御信号選択回路36の4つの入力ノードはそれぞれ、制御信号pACT_Aが供給される信号線と、制御信号pACT_Bが供給される信号線と、制御信号pACT_Cが供給される信号線と、制御信号pACT_Dが供給される信号線と、に接続されている。制御信号選択回路36の2つの出力ノードはそれぞれ、計数処理部32Aの一方の制御ノードと、計数処理部32Bの一方の制御ノードと、に接続されている。その他の点は、第1実施形態による光電変換装置と同様である。
制御信号選択回路36は、制御信号pACT_A,pACT_B,pACT_C,pACT_Dの中から選択される制御信号を計数処理部32A及び計数処理部32Bに供給する機能を備える。計数処理部32A及び計数処理部32Bに供給される制御信号の組み合わせは、画素部10を構成する総ての画素12において同じであってもよいし、異なっていてもよい。また、1つの画素12の計数処理部32Aと計数処理部32Bとには同じ制御信号が入力されないことを条件に、ランダムに選択した制御信号を複数の画素12の各々に供給するように構成してもよい。
計数処理部32A及び計数処理部32Bにおけるアクティブな期間及び非アクティブな期間は、制御信号選択回路36によって各々に選択された制御信号によって規定されることになる。
次に、本実施形態による光電変換装置の駆動方法について、図12を用いて説明する。図12のタイミングチャートには、パルス信号pEP、制御信号pRES,pSEL,pACT_A,pACT_B,pACT_C,pACT_D、画素12Aの露光期間A,B、画素12Bの露光期間Bを示している。画素12A及び画素12Bは、画素部10を構成する複数の画素12のうちの任意の画素である。
ここで、制御信号pRESがアクティブから非アクティブになるタイミングの後、最初に制御信号pACT_A,pACT_B,pACT_C,pACT_Dのいずれかが非アクティブからアクティブになるタイミングを第1の時刻と定義する。また、第1の時刻の後、次に制御信号pRESが非アクティブからアクティブになるタイミング前に、最後に制御信号pACT_A,pACT_B,pACT_C,pACT_Dのいずれかがアクティブから非アクティブになるタイミングを第2の時刻と定義する。そして、第1の時刻と第2の時刻との間の期間をフレームと呼ぶものとする。
図12の例では、一のフレーム(第1フレーム)の開始タイミングである第1の時刻が時刻t1であり、当該フレームの終了タイミングである第2の時刻が時刻t2である。また、次のフレーム(第2フレーム)の開始タイミングである第1の時刻が時刻t5であり、当該フレームの終了タイミングである第2の時刻が時刻t6である。
ここでは一例として、制御信号pACT_Aは、フレーム期間中に常にアクティブである制御信号であるものとする。また、制御信号pACT_B,pACT_C,pACT_Dは、フレーム期間中にアクティブと非アクティブとを繰り返す制御信号であるものとする。制御信号pACT_Bは、フレーム期間中に2度、アクティブとなる制御信号である。制御信号pACT_C,pACT_Dは、フレーム期間中に4度、アクティブとなる制御信号である。制御信号pACT_Cと制御信号pACT_Dとは、位相が互いに異なっている。
まず、時刻t0において、制御信号pRESがアクティブ(Highレベル)になり、各々の画素12の計数処理部32Aのカウンタ34のカウント値及び計数処理部32Bのカウンタ34のカウント値が0にリセットされる。
制御信号pRESがアクティブ(Lowレベル)になった後の時刻t1において、第1フレームが開始される。画素12Aでは、制御信号選択回路36により、計数処理部32Aに供給する制御信号として制御信号pACT_Aが選択され、計数処理部32Bに供給する制御信号として制御信号pACT_Bが選択される。また、画素12Bでは、制御信号選択回路36により、計数処理部32Aに供給する制御信号として制御信号pACT_Aが選択され、計数処理部32Bに供給する制御信号として制御信号pACT_Cが選択される。
これにより、画素12Aの計数処理部32Aでは、制御信号pACT_Aに応じた露光期間Aの間、入射する光子の数がカウントされる。また、画素12Aの計数処理部32Bでは、制御信号pACT_Bに応じた露光期間Bの間、入射する光子の数がカウントされる。同様に、画素12Bの計数処理部32Aでは、制御信号pACT_Aに応じた露光期間Aの間、入射する光子の数がカウントされる。また、画素12Bの計数処理部32Bでは、制御信号pACT_Cに応じた露光期間Bの間、入射する光子の数がカウントされる。各々の画素12における計数処理は、時刻t2まで行われる。
このように、第1フレームにおいて、画素12Aの計数処理部32A及び計数処理部32Bに供給される制御信号pACTの組と、画素12Bの計数処理部32A及び計数処理部32Bに供給される制御信号pACTの組と、は異なっている。
続く時刻t3において、制御信号pSELがアクティブ(Highレベル)になり、各々の画素12の計数処理部32A,32Bのカウンタ34が保持するカウント値がデータ線16を介して読み出し回路部50へと出力される。
続く時刻t4において、制御信号pRESがアクティブになり、各々の画素12の計数処理部32Aのカウンタ34のカウント値及び計数処理部32Bのカウンタ34のカウント値が0にリセットされる。
制御信号pRESがアクティブになった後の時刻t5において、第2フレームが開始される。画素12Aでは、制御信号選択回路36により、計数処理部32Aに供給する制御信号として制御信号pACT_Aが選択され、計数処理部32Bに供給する制御信号として制御信号pACT_Cが選択される。また、画素12Bでは、制御信号選択回路36により、計数処理部32Aに供給する制御信号として制御信号pACT_Aが選択され、計数処理部32Bに供給する制御信号として制御信号pACT_Dが選択される。
これにより、画素12Aの計数処理部32Aでは、制御信号pACT_Aに応じた露光期間Aの間、入射する光子の数がカウントされる。また、画素12Aの計数処理部32Bでは、制御信号pACT_Cに応じた露光期間Bの間、入射する光子の数がカウントされる。同様に、画素12Bの計数処理部32Aでは、制御信号pACT_Aに応じた露光期間Aの間、入射する光子の数がカウントされる。また、画素12Bの計数処理部32Bでは、制御信号pACT_Dに応じた露光期間Bの間、入射する光子の数がカウントされる。各々の画素12における計数処理は、時刻t6まで行われる。
このように、第2フレームにおいて、画素12Aの計数処理部32A及び計数処理部32Bに供給される制御信号pACTの組と、画素12Bの計数処理部32A及び計数処理部32Bに供給される制御信号pACTの組と、は異なっている。また、第1フレームにおいて画素12Aの計数処理部32A及び計数処理部32Bに供給される制御信号pACTの組と、第2フレームにおいて画素12Aの計数処理部32A及び計数処理部32Bに供給される制御信号pACTの組と、は異なっている。同様に、第1フレームにおいて画素12Bの計数処理部32A及び計数処理部32Bに供給される制御信号pACTの組と、第2フレームにおいて画素12Bの計数処理部32A及び計数処理部32Bに供給される制御信号pACTの組と、は異なっている。
その後、第1フレームと同様にして、各々の画素12の計数処理部32A,32Bのカウンタ34が保持するカウント値を、データ線16を介して読み出し回路部50へと出力する。
本実施形態の駆動方法によれば、複数の画素12を有する光電変換装置100において、画素12毎やフレーム毎に露光期間のパターンを変化した像を取得することができる。これらの像を後段の信号処理部で合成することにより、時間解像度、空間解像度が高い画像を再構成することができる。
このように、本実施形態によれば、入射する光子を計数する機能を備えた光電変換装置において、露光制御の高機能化を実現することができる。
[第6実施形態]
本発明の第6実施形態による撮像システムについて、図13を用いて説明する。図13は、本実施形態による撮像システムの概略構成を示すブロック図である。
本発明の第6実施形態による撮像システムについて、図13を用いて説明する。図13は、本実施形態による撮像システムの概略構成を示すブロック図である。
上記第1乃至第5実施形態で述べた光電変換装置100は、種々の撮像システムに適用可能である。適用可能な撮像システムの例としては、デジタルスチルカメラ、デジタルカムコーダ、監視カメラ、複写機、ファックス、携帯電話、車載カメラ、観測衛星などが挙げられる。また、レンズなどの光学系と撮像装置とを備えるカメラモジュールも、撮像システムに含まれる。図13には、これらのうちの一例として、デジタルスチルカメラのブロック図を例示している。
図13に例示した撮像システム200は、撮像装置201、被写体の光学像を撮像装置201に結像させるレンズ202、レンズ202を通過する光量を可変にするための絞り204、レンズ202の保護のためのバリア206を有する。レンズ202及び絞り204は、撮像装置201に光を集光する光学系である。撮像装置201は、第1乃至第5実施形態のいずれかで説明した光電変換装置100であって、レンズ202により結像された光学像を画像データに変換する。
撮像システム200は、また、撮像装置201より出力される出力信号の処理を行う信号処理部208を有する。信号処理部208は、撮像装置201が出力するデジタル信号から画像データの生成を行う。また、信号処理部208は必要に応じて各種の補正、圧縮を行って画像データを出力する動作を行う。撮像装置201は、信号処理部208で処理されるデジタル信号を生成するAD変換部を備えうる。AD変換部は、撮像装置201の光電変換部が形成された半導体層(半導体基板)に形成されていてもよいし、撮像装置201の光電変換部が形成された半導体層とは別の半導体基板に形成されていてもよい。また、信号処理部208が撮像装置201と同一の半導体基板に形成されていてもよい。
撮像システム200は、更に、画像データを一時的に記憶するためのメモリ部210、外部コンピュータ等と通信するための外部インターフェース部(外部I/F部)212を有する。更に撮像システム200は、撮像データの記録又は読み出しを行うための半導体メモリ等の記録媒体214、記録媒体214に記録又は読み出しを行うための記録媒体制御インターフェース部(記録媒体制御I/F部)216を有する。なお、記録媒体214は、撮像システム200に内蔵されていてもよく、着脱可能であってもよい。
更に撮像システム200は、各種演算とデジタルスチルカメラ全体を制御する全体制御・演算部218、撮像装置201と信号処理部208に各種タイミング信号を出力するタイミング発生部220を有する。ここで、タイミング信号などは外部から入力されてもよく、撮像システム200は少なくとも撮像装置201と、撮像装置201から出力された出力信号を処理する信号処理部208とを有すればよい。
撮像装置201は、撮像信号を信号処理部208に出力する。信号処理部208は、撮像装置201から出力される撮像信号に対して所定の信号処理を実施し、画像データを出力する。信号処理部208は、撮像信号を用いて、画像を生成する。
このように、本実施形態によれば、第1乃至第5実施形態による光電変換装置100を適用した撮像システムを実現することができる。
[第7実施形態]
本発明の第7実施形態による撮像システム及び移動体について、図14を用いて説明する。図14は、本実施形態による撮像システム及び移動体の構成を示す図である。
本発明の第7実施形態による撮像システム及び移動体について、図14を用いて説明する。図14は、本実施形態による撮像システム及び移動体の構成を示す図である。
図14(a)は、車載カメラに関する撮像システムの一例を示したものである。撮像システム300は、撮像装置310を有する。撮像装置310は、上記第1乃至第5実施形態のいずれかに記載の光電変換装置100である。撮像システム300は、撮像装置310により取得された複数の画像データに対し、画像処理を行う画像処理部312と、撮像システム300により取得された複数の画像データから視差(視差画像の位相差)の算出を行う視差取得部314を有する。また、撮像システム300は、算出された視差に基づいて対象物までの距離を算出する距離取得部316と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部318と、を有する。ここで、視差取得部314や距離取得部316は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部318はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、FPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated circuit)等によって実現されてもよいし、これらの組合せによって実現されてもよい。
撮像システム300は車両情報取得装置320と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム300は、衝突判定部318での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ECU330が接続されている。また、撮像システム300は、衝突判定部318での判定結果に基づいて、ドライバーへ警報を発する警報装置340とも接続されている。例えば、衝突判定部318の判定結果として衝突可能性が高い場合、制御ECU330はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置340は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。
本実施形態では、車両の周囲、例えば前方又は後方を撮像システム300で撮像する。図14(b)に、車両前方(撮像範囲350)を撮像する場合の撮像システムを示した。車両情報取得装置320が、撮像システム300ないしは撮像装置310に指示を送る。このような構成により、測距の精度をより向上させることができる。
上記では、他の車両と衝突しないように制御する例を説明したが、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。更に、撮像システムは、自車両等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体(移動装置)に適用することができる。加えて、移動体に限らず、高度道路交通システム(ITS)等、広く物体認識を利用する機器に適用することができる。
[変形実施形態]
本発明は、上記実施形態に限らず種々の変形が可能である。
例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。
本発明は、上記実施形態に限らず種々の変形が可能である。
例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。
また、上記第1乃至第5実施形態において、画素12の回路構成は、図2に示されるものに限定されるものではない。例えば、図2ではクエンチ素子24を光子検知素子22のカソード端子の側に接続しているが、クエンチ素子24を光子検知素子22のアノード端子の側に接続してもよい。この場合、波形整形部26は、光子検知素子22のアノード端子とクエンチ素子24との間に接続され得る。また、光子検知素子22とクエンチ素子24との間や光電変換部20と画素信号処理部30との間にトランジスタ等のスイッチを設け、これらの間の電気的な接続状態を制御するようにしてもよい。また、電圧VHが供給されるノードとクエンチ素子24との間及び/又は電圧VLが供給されるノードと光子検知素子22との間にトランジスタ等のスイッチを設け、これらの間の電気的な接続状態を制御するようにしてもよい。
また、画素信号処理部30は、必ずしも総ての画素12に設けられている必要はなく、複数の画素12が1つの画素信号処理部30を共有するように構成されていてもよい。この場合、1つの画素信号処理部30によって当該複数の画素12の光電変換部20から出力される信号を順次処理するように構成することができる。
また、上記第1乃至第5実施形態では、計数処理部32A,32Bを有する画素信号処理部30を説明したが、画素信号処理部30が有する計数処理部32の数は2個に限定されるものではなく、3個以上であってもよい。
また、上記第1乃至第5実施形態では、制御信号の信号レベルと計数処理部32等の状態との関係を、各制御信号がHighレベルのときをアクティブ状態とする正論理で規定しているが、負論理で規定してもよい。
また、上記第5実施形態では、4種類の制御信号pACT_A,pACT_B,pACT_C,pACT_Dの中から計数処理部32A,32Bに供給される制御信号を選択する例を示したが、制御信号pACTの数は4種類に限定されるものではない。また、画素部10を構成する総ての画素12において制御信号pACTの数が必ずしも同じである必要はない。
また、上記第6及び第7実施形態に示した撮像システムは、本発明の光電変換装置を適用しうる撮像システム例を示したものであり、本発明の光電変換装置を適用可能な撮像システムは図13及び図14に示した構成に限定されるものではない。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
なお、上記実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
12…画素
20…光電変換部
22…光子検知素子
24…クエンチ素子
26…波形整形部
30…画素信号処理部
32A,32B…計数処理部
34…カウンタ
36…制御信号選択回路
38…選択回路
40…垂直走査回路部
80…制御パルス生成部
100…光電変換装置
200,300…撮像システム
20…光電変換部
22…光子検知素子
24…クエンチ素子
26…波形整形部
30…画素信号処理部
32A,32B…計数処理部
34…カウンタ
36…制御信号選択回路
38…選択回路
40…垂直走査回路部
80…制御パルス生成部
100…光電変換装置
200,300…撮像システム
Claims (19)
- 光子の入射に応じてパルス信号を出力する光電変換部と、
前記光電変換部に接続され、前記パルス信号を計数する信号処理部と、
前記信号処理部を制御する制御部と、を有し、
前記信号処理部は、並列に配された第1の計数処理部及び第2の計数処理部を有し、
前記制御部は、前記第1の計数処理部及び前記第2の計数処理部の各々に対し、アクティブな期間と非アクティブな期間とを設定するように構成されており、
前記第1の計数処理部がアクティブな期間は、前記第2の計数処理部がアクティブな第1の期間と、前記第2の計数処理部が非アクティブな第2の期間と、を含む
ことを特徴とする光電変換装置。 - 前記第2の計数処理部が連続してアクティブになる期間の長さは、前記第2の期間の長さと同じである
ことを特徴とする請求項1記載の光電変換装置。 - 前記第1の計数処理部が連続してアクティブになる期間の長さと、前記第2の計数処理部が連続してアクティブになる期間の長さと、が同じである
ことを特徴とする請求項1記載の光電変換装置。 - 所定期間の間に前記第1の計数処理部がアクティブになる回数は第1の回数であり、
前記所定期間の間に前記第2の計数処理部がアクティブになる回数は、前記第1の回数よりも多い第2の回数である
ことを特徴とする請求項1記載の光電変換装置。 - 前記第1の計数処理部は、前記所定期間の中心を含む期間において1回、アクティブになる
ことを特徴とする請求項4記載の光電変換装置。 - 前記所定期間の間に、前記第2の計数処理部がアクティブな期間と前記第2の計数処理部が非アクティブな期間とが周期的に繰り返される
ことを特徴とする請求項4又は5記載の光電変換装置。 - 前記所定期間の間に前記第1の計数処理部がアクティブになる期間の合計の長さと、前記所定期間の間に前記第2の計数処理部がアクティブになる期間の合計の長さと、が等しい
ことを特徴とする請求項4又は5記載の光電変換装置。 - 前記信号処理部は、前記第1の計数処理部及び前記第2の計数処理部と並列して配された第3の計数処理部を更に有し、
前記制御部は、前記第3の計数処理部に対し、アクティブな期間と非アクティブな期間とを設定するように更に構成されており、
前記所定期間の間に前記第3の計数処理部がアクティブになる回数は、前記第1の回数よりも多い第3の回数であり、
前記第2の計数処理部がアクティブな期間と前記第3の計数処理部がアクティブな期間とは、少なくとも一部が異なっている
ことを特徴とする請求項4乃至6のいずれか1項に記載の光電変換装置。 - 前記所定期間は、フレーム期間である
ことを特徴とする請求項4乃至6のいずれか1項に記載の光電変換装置。 - 前記光電変換部と前記信号処理部とを各々が有する複数の画素を有する
ことを特徴とする請求項1記載の光電変換装置。 - 前記複数の画素の各々は、前記制御部から供給される複数の制御信号の中から前記第1の計数処理部及び前記第2の計数処理部の各々に供給される制御信号を選択する制御信号選択回路を更に有し、
前記第1の計数処理部及び前記第2の計数処理部のアクティブな期間及び非アクティブな期間は、前記制御信号選択回路によって各々に選択された制御信号によって規定される
ことを特徴とする請求項10記載の光電変換装置。 - 前記複数の画素のうちの第1の画素の前記第1の計数処理部及び前記第2の計数処理部に供給される前記制御信号の組と、前記複数の画素のうちの第2の画素の前記第1の計数処理部及び前記第2の計数処理部に供給される前記制御信号の組と、が異なっている
ことを特徴とする請求項11記載の光電変換装置。 - 前記複数の画素のうちの少なくとも一の画素は、一のフレームにおいて前記第1の計数処理部及び前記第2の計数処理部に供給される前記制御信号の組と、他のフレームにおいて前記第1の計数処理部及び前記第2の計数処理部に供給される前記制御信号の組と、が異なっている
ことを特徴とする請求項11記載の光電変換装置。 - 前記光電変換部は、アバランシェフォトダイオードと、前記アバランシェフォトダイオードに接続されたクエンチ素子と、前記アバランシェフォトダイオードと前記クエンチ素子との接続ノードに入力ノードが接続された波形整形部と、を有する
ことを特徴とする請求項1乃至13のいずれか1項に記載の光電変換装置。 - 前記光電変換部が設けられた第1基板と、前記信号処理部が設けられた第2基板と、が積層されてなる
ことを特徴とする請求項1乃至14のいずれか1項に記載の光電変換装置。 - 光子の入射に応じてパルス信号を出力する光電変換部と、
前記光電変換部に接続され、前記パルス信号を計数する信号処理部と、
前記信号処理部を制御する制御部と、を有し、
前記信号処理部は、並列に配された複数の計数処理部を有し、
前記制御部は、前記複数の計数処理部の各々に対し、アクティブな期間と非アクティブな期間とを設定するように構成されており、
前記複数の計数処理部の各々がアクティブな期間は互いに異なっており、
前記複数の計数処理部のうちの少なくとも一部は、アクティブな期間の少なくとも一部が重なっている
ことを特徴とする光電変換装置。 - 光子の入射に応じてパルス信号を出力する光電変換部と、前記光電変換部に接続され、前記パルス信号を計数する信号処理部と、を有し、前記信号処理部が、並列に配された複数の計数処理部を有する光電変換装置の駆動方法であって、
前記複数の計数処理部の各々がアクティブな期間が互いに異なり、前記複数の計数処理部のうちの少なくとも一部において、アクティブな期間の少なくとも一部が重なるように、前記複数の計数処理部の各々におけるアクティブな期間と非アクティブな期間とを設定する
ことを特徴とする光電変換装置の駆動方法。 - 請求項1乃至16のいずれか1項に記載の光電変換装置と、
前記光電変換装置から出力される信号を処理する信号処理装置と
を有することを特徴とする撮像システム。 - 移動体であって、
請求項1乃至16のいずれか1項に記載の光電変換装置と、
前記光電変換装置から出力される信号に基づく視差画像から、対象物までの距離情報を取得する距離情報取得手段と、
前記距離情報に基づいて前記移動体を制御する制御手段と
を有することを特徴とする移動体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020209596A JP2022096472A (ja) | 2020-12-17 | 2020-12-17 | 光電変換装置及びその駆動方法 |
US17/551,496 US11665431B2 (en) | 2020-12-17 | 2021-12-15 | Photoelectric conversion device and method of driving photoelectric conversion device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020209596A JP2022096472A (ja) | 2020-12-17 | 2020-12-17 | 光電変換装置及びその駆動方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022096472A true JP2022096472A (ja) | 2022-06-29 |
JP2022096472A5 JP2022096472A5 (ja) | 2023-12-18 |
Family
ID=82022576
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020209596A Pending JP2022096472A (ja) | 2020-12-17 | 2020-12-17 | 光電変換装置及びその駆動方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11665431B2 (ja) |
JP (1) | JP2022096472A (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4146647B2 (ja) | 2002-02-13 | 2008-09-10 | 日置電機株式会社 | 単一光子の検出方法および単一光子の検出装置 |
JP2019075440A (ja) * | 2017-10-13 | 2019-05-16 | キヤノン株式会社 | 光検出装置、撮像装置、及び撮像システム |
JP7062430B2 (ja) * | 2017-12-15 | 2022-05-06 | キヤノン株式会社 | 撮像素子、撮像装置および画像処理方法 |
JP7022598B2 (ja) | 2018-01-22 | 2022-02-18 | キヤノン株式会社 | 固体撮像素子、撮像装置及び撮像方法 |
JP7130384B2 (ja) | 2018-02-09 | 2022-09-05 | キヤノン株式会社 | 固体撮像素子、撮像装置及び撮像方法 |
-
2020
- 2020-12-17 JP JP2020209596A patent/JP2022096472A/ja active Pending
-
2021
- 2021-12-15 US US17/551,496 patent/US11665431B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11665431B2 (en) | 2023-05-30 |
US20220201182A1 (en) | 2022-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6750876B2 (ja) | 固体撮像装置及びその駆動方法 | |
JP7321713B2 (ja) | 光電変換装置、撮像システム、移動体 | |
US10110835B2 (en) | Imaging apparatus, imaging system, and moving object | |
US10971539B2 (en) | Solid-state imaging device, method of driving solid-state imaging device, imaging system, and movable object | |
JP6806553B2 (ja) | 撮像装置、撮像装置の駆動方法及び撮像システム | |
JP7353765B2 (ja) | 光検出装置、光検出システム及び移動体 | |
JP2020088520A (ja) | 光電変換装置及び撮像システム | |
US10833207B2 (en) | Photo-detection device, photo-detection system, and mobile apparatus | |
JP2021153255A (ja) | 撮像装置及び撮像システム | |
JP7224823B2 (ja) | 光検出装置 | |
JP2022066288A (ja) | 光電変換装置及び撮像システム | |
US12044802B2 (en) | Photoelectric conversion device and photoelectric conversion system comprising a control unit to set a third exposure period and a.fourth exposure period on a basis of light value comparison based on signal charge during first and second exposure periods | |
JP2020162109A (ja) | 光電変換装置、光電変換システム、および移動体 | |
JP6871815B2 (ja) | 撮像装置及びその駆動方法 | |
JP6976776B2 (ja) | 固体撮像装置、撮像システム、及び移動体 | |
JP2021176211A (ja) | 光電変換装置及び光電変換システム | |
JP2024071455A (ja) | 光電変換装置、撮像システム、移動体 | |
US20230122042A1 (en) | Device, system, mobile object, and apparatus | |
JP2021082934A (ja) | 撮像装置及び撮像システム | |
JP2022096472A (ja) | 光電変換装置及びその駆動方法 | |
US11575868B2 (en) | Photoelectric conversion apparatus, method of driving photoelectric conversion apparatus, photoelectric conversion system, and moving body | |
JP2021090230A (ja) | 光電変換装置及び撮像システム | |
US11240453B2 (en) | Photoelectric conversion device | |
JP2021114742A (ja) | 信号処理回路及び固体撮像素子 | |
JP2021010075A (ja) | 光電変換装置、光電変換システム、および移動体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20220630 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231208 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231208 |