JP7321741B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は、光電変換部の出力に基づく信号を計数する計数部を備える撮像装置とその制御方法に関する。

撮像装置において被写体の撮像画像をリアルタイムに表示するライブビュー動作時には、撮像素子からの読み出しデータ量を削減し、フレームレートの向上と消費電力の低減を実現している。

一方、特許文献１に記載されているように画素毎に１ｂｉｔ型ＡＤ変換部とカウンタを有する撮像素子が提案されている。このような撮像素子では受光素子の信号に対して画素毎にＡＤ変換が行われるので、列毎にＡＤ変換を行う撮像素子の持つ走査線数と読み出し速度とのトレードオフを解消可能である。

特開２０１５－１７３４３２号公報

特許文献１の撮像素子では、上記したライブビュー動作時においても読み出しデータを削減することができず、結果としてフレームレートの向上や消費電力の低減も実現できない。
本発明に係る撮像装置は、画素部が有する光電変換部の出力に基づく信号を計数する計数部を備える。本発明は、回路規模の増大を抑えつつ、全画素における一部の画素から信号の読み出しを行うモードにおいて、読み出しデータの削減が可能な撮像装置を提供することを目的とする。

本発明の実施形態の装置は、複数の画素部を有する撮像素子を備える撮像装置であって、前記画素部が有するアバランシェ効果を用いた光電変換部の出力から生成される信号を計数して保持する計数手段と、前記計数手段を制御する制御手段と、前記計数手段の出力を用いて信号処理を行う信号処理手段と、を備える。複数の前記光電変換部のうち、第１の光電変換部の信号を読み出し、第２の光電変換部の信号を読み出さないことで前記光電変換部の出力に基づく信号に対する間引き読み出し動作を行うモードにて前記制御手段は、前記第１の光電変換部に対応する第１の前記計数手段によって撮像画像に係る現フレームでの第１の計数値を保持し、前記第２の光電変換部に対応する第２の前記計数手段によって前記撮像画像に係る前フレームでの前記第１の計数値に相当する第２の計数値を保持する制御を行い、前記信号処理手段は、前記第１および第２の計数値を用いて信号処理を行う。

本発明によれば、回路規模の増大を抑えつつ、全画素における一部の画素群から信号の読み出しを行うモードにおいて、読み出しデータの削減が可能な撮像装置を提供することができる。

本発明の第１実施形態に係る単位画素の構成を示す図である。 第１実施形態に係る単位画素が有するカウンタの構成を示す図である。 第１実施形態に係る撮像素子の構成を示す図である。 第１実施形態に係る単位画素の駆動を示すタイミングチャートである。 第１実施形態に係る圧縮部の構成を示す図である。 本発明の実施形態に係る圧縮処理を説明するフローチャートである。 本発明の実施形態に係る撮像装置の構成を示す図である。 本発明の第２実施形態に係る単位画素の構成を示す図である。 第２実施形態に係る単位画素が有するカウンタの構成を示す図である。 第２実施形態に係る撮像素子の構成を示す図である。 第２実施形態に係る単位画素の駆動を示すタイミングチャートである。

以下に、本発明の好ましい実施形態を、添付図面に基づいて詳細に説明する。
［第１実施形態］
図１を参照して、本実施形態に係る固体撮像素子を構成する画素アレイの構成要素である単位画素１００について説明する。図１は単位画素１００の構成を示す図である。単位画素１００は、アバランシェフォトダイオード（以下、ＡＰＤと記す）１０１、クエンチ抵抗１０２、波形整形回路１０３、カウンタ１０４により構成される。

光電変換素子としてのＡＰＤ１０１はアバランシェ効果を利用した半導体素子である。ＡＰＤ１０１のカソードはクエンチ抵抗１０２を介して逆バイアス電圧Ｖ_ＡＰＤの電圧源と接続され、ＡＰＤ１０１のアノードは接地されている。ＡＰＤ１０１は、光子の入射によりアバランシェ増倍による電荷を発生させる。発生した電荷はクエンチ抵抗１０２を介して排出される。

波形整形回路１０３は、その入力端子がＡＰＤ１０１のカソードに接続されており、光子の入射に応じた電荷の生成・排出に伴う電位の変化に対し、増幅とエッジ検出を行うことにより、電圧パルスを生成する。このようにＡＰＤ１０１、クエンチ抵抗１０２、波形整形回路１０３は、光子の入射の有無を電圧パルスに変換することにより、１ｂｉｔ型ＡＤ変換部として機能する。

カウンタ１０４は、波形整形回路１０３が出力する電圧パルスの数を計数して計数結果（計数値）を出力する。これにより、露光期間中の画素値を多ビットで出力することが可能である。カウンタ１０４は、単位画素１００に入力されるイネーブル信号ＣＮＴ＿ＥＮ、制御信号ＬＯＡＤ＿ＥＮおよびデータ信号ＬＯＡＤ＿ＤＡＴＡに基づいて、後述のフリップフロップ（図２：４００）にデータを設定する。

図２を参照して、カウンタ１０４の具体的な構成および動作について説明する。カウンタ１０４は、フリップフロップ（以下、ＦＦとも記す）４００、加算部４０１、カウンタ選択部４０２、ＡＮＤ素子４０３を備える。イネーブル信号ＣＮＴ＿ＥＮと波形整形回路１０３が出力する電圧パルスＰＬＳがＡＮＤ素子４０３に入力され、論理積演算が行われる。イネーブル信号ＣＮＴ＿ＥＮは、電圧パルスＰＬＳを計数するかどうかを決定する制御信号である。カウンタ１０４はイネーブル信号ＣＮＴ＿ＥＮに基づいて電圧パルスのカウントを行う。

加算部４０１は、ＡＮＤ素子４０３の出力とＦＦ４００の出力とを加算してカウンタ選択部４０２に出力する。カウンタ選択部４０２には、加算部４０１の出力とデータ信号ＬＯＡＤ＿ＤＡＴＡが入力される。カウンタ選択部４０２は制御信号ＬＯＡＤ＿ＥＮに基づいて、データ信号ＬＯＡＤ＿ＤＡＴＡに設定するか、または加算部４０１の出力に設定するかを決定する。

ＦＦ４００はカウンタ選択部４０２により決定された出力信号を保持し、保持した信号に対応するカウンタ値（計数値）を出力する。ＦＦ４００は非同期リセット信号によってクロックに非同期で初期値ゼロに初期化される。なお、本実施形態にてクロックおよび非同期リセット信号は撮像素子の撮像部全体で共通の信号である。

続いて図３を参照して、本実施形態に係る撮像素子３００の構成を説明する。撮像素子３００は、複数の単位画素１００を二次元アレイ状に配置した構成である。図３では便宜上、画素アレイにおける３列×４行の画素群のみを示す。図３の上から１行目および３行目の単位画素１００に対するデータ信号ＬＯＡＤ＿ＤＡＴＡにはゼロが設定されている。また、図３の上から２行目および４行目の単位画素１００に対するデータ信号ＬＯＡＤ＿ＤＡＴＡには、同列の１行目および３行目の単位画素１００のカウンタ値が設定される。つまり、自然数の変数ｉ，ｊを用いると、第２×ｉ行第ｊ列の単位画素には、第２×ｉ－１行第ｊ列の単位画素１００のカウンタ値に相当するデータ信号が入力される。

各単位画素１００の出力については、図３の左から右に向かう方向を基準方向として以下のように定義する。
・1行目においてＣＮＴ００、ＣＮＴ０１、ＣＮＴ０２。
・２行目においてＣＮＴ１０、ＣＮＴ１１、ＣＮＴ１２。
・３行目においてＣＮＴ２０、ＣＮＴ２１、ＣＮＴ２２。
・４行目においてＣＮＴ３０、ＣＮＴ３１、ＣＮＴ３２。
本実施形態では、間引き読み出しを行う際の垂直方向における間引き率を１／２とし、２行目および４行目の画素値を間引いて読み出す処理が行われるものとする。

撮像素子３００は、複数のスイッチ素子３０１，３０３、水平選択回路３０２、タイミングジェネレータ（ＴＧとも記す）３０４、制御部３０５、圧縮部３０６、垂直選択回路３０７、制御信号線３０８，３１０，３１１、ラインメモリ３０９を備える。制御信号線３０８には、制御部３０５から制御信号ＬＯＡＤ＿ＥＮが出力され、１行目と２行目、３行目と４行目の同列の単位画素は２つ単位でシフトレジスタのように動作する。制御信号ＬＯＡＤ＿ＥＮの出力に係る制御は、制御部３０５が内部に備える不図示のスイッチ素子を用いて行われる。

制御信号線３１０，３１１には、制御部３０５から各単位画素のカウンタ１０４での計数を行うかどうかを制御するイネーブル信号ＣＮＴ＿ＥＮが出力される。制御部３０５は、制御信号線３１０を介して１行目および３行目のイネーブル信号ＣＮＴ＿ＥＮを単位画素に供給し、制御信号線３１１を介して２行目および４行目のイネーブル信号ＣＮＴ＿ＥＮを単位画素に供給する。撮像素子３００の間引き読み出し動作を行うモード時には、蓄積動作中に制御信号線３１０に出力されるイネーブル信号ＣＮＴ＿ＥＮのみがハイ（Ｈ）レベルとなるように制御される。また、全画素読み出し動作を行うモード時には、蓄積動作中に制御信号線３１０および３１１の各々に出力されるイネーブル信号ＣＮＴ＿ＥＮが同じタイミングでＨレベルとなるように制御される。

ＴＧ３０４は不図示のカウンタに基づいて、撮像期間や転送期間等のタイミングの通知用信号を生成して垂直選択回路３０７、水平選択回路３０２に出力する。また、信号読み出しが行われている画素の座標が奇数行であるか、または偶数行であるかを判別するためにＴＧ３０４は、読み出しが行われている垂直方向のライン番号をラインメモリ３０９、圧縮部３０６に通知する。

垂直選択回路３０７は、ＴＧ３０４によって通知されたタイミングに基づいて、垂直伝送路に対する、複数のスイッチ素子３０１のＯＮ／ＯＦＦを制御する。スイッチ素子３０１がＯＮになったときに、当該スイッチ素子３０１に対応する垂直伝送路へ単位画素１００の計数結果が伝送される。

水平選択回路３０２は、ＴＧ３０４によって通知されたタイミングに基づいて水平伝送路に対する、複数のスイッチ素子３０３を制御する。スイッチ素子３０３がＯＮになったときに垂直伝送路の出力が水平伝送路へ順次に伝送される。

制御部３０５は、ＴＧ３０４によって通知された撮像期間およびフレームのカウントに基づいて、単位画素１００に制御信号線３０８，３１０，３１１を介して供給される制御信号ＬＯＡＤ＿ＥＮ、イネーブル信号ＣＮＴ＿ＥＮの制御を行う。

ラインメモリ３０９は、ＴＧ３０４によって通知されたタイミングに基づいて、水平伝送路に出力された画素データを記憶する。圧縮部３０６は、ＴＧ３０４によって通知されたタイミングに基づいて、水平伝送路に出力された画素データおよびラインメモリ３０９からの画素データを取得して圧縮処理を行う。

図４を参照して、本実施形態の撮像装置の駆動方法について説明する。図４は、撮像素子３００の間引き読み動作を説明するタイミングチャートである。図４では単位画素１００における撮像駆動を示しており、撮像駆動を複数の単位画素１００にて並列して行うことにより、光学像がデジタル信号に変換される。図４において、ＣＮＴ００に対応する単位画素１００が備えるＡＰＤ１０１およびクエンチ抵抗１０２により生成される波形をＡＰＤ００と表記し、波形整形回路１０３から出力される電圧パルスをＰＬＳ００と表記する。また、制御信号線３０８に出力される制御信号をＬＯＡＤ＿ＥＮ３０８と表記し、制御信号線３１０，３１１に出力されるイネーブル信号をＣＮＴ＿ＥＮ３１０，ＣＮＴ＿ＥＮ３１１と表記する。さらに、水平伝送路の出力データをＲＥＡＤ＿ＤＡＴＡと表記する。なお、ＣＮＴ００からＣＮＴ３２については図３で説明済みである。スイッチ素子３０１および３０３の制御によって垂直伝送路および水平伝送路を介して単位画素１００の計数結果が順次に出力される。

図４に示す時刻ｔ２００から時刻ｔ２１０は、単位画素１００の駆動に関する各種のタイミングを表している。時刻ｔ２００から時刻ｔ２０３までの期間は初期化期間であり、時刻ｔ２０３から時刻ｔ２０４までの期間は第１の撮像期間である（第１フレーム）。時刻ｔ２０４から時刻ｔ２０７までの期間は第１の読み出しおよび初期化期間である。時刻ｔ２０７から時刻ｔ２０８までの期間は第２の撮像期間である（第２フレーム）。時刻ｔ２０８以降の所定期間は第２の読み出しおよび初期化期間である。

時刻ｔ２００は、単位画素１００のＦＦ４００の値の初期化を開始するタイミングを表し、この時点で制御信号ＬＯＡＤ＿ＥＮ３０８がＨレベルとなる。この時、ＣＮＴ００～ＣＮＴ３２の値は不定（Ｘと表記する）である。

次の時刻ｔ２０１では、不図示のクロックに同期して、１行目のＣＮＴ００～ＣＮＴ０２に対応する単位画素および３行目のＣＮＴ２０～ＣＮＴ２２に対応する単位画素にそれぞれ、ゼロがロードされる。また、２行目のＣＮＴ１０～ＣＮＴ１２に対応する単位画素および４行目のＣＮＴ３０～３２に対応する単位画素にはそれぞれ、１行目および３行目における同列の単位画素のＣＮＴ出力がロードされる。時刻ｔ２０１では、時刻ｔ２００での１行目および３行目の各単位画素の計数出力がＸであるため、偶数行目の各単位画素にＸがロードされる。

時刻ｔ２０２にて、２行目のＣＮＴ１０～ＣＮＴ１２に対応する単位画素および４行目のＣＮＴ３０～ＣＮＴ３２に対応する単位画素にはそれぞれ、１行目および３行目の同列の単位画素の出力値であるゼロがロードされて初期化が行われる。同じタイミング（時刻ｔ２０２）で制御信号ＬＯＡＤ＿ＥＮ３０８の信号レベルはＬとなる。

時刻ｔ２０３でイネーブル信号ＣＮＴ＿ＥＮ３１０の信号レベルがＨとなり、露光期間が開始する。ＡＰＤ１０１に光が入射され、電圧パルスＰＬＳ００が立ち上がることで、略同一のタイミングでＣＮＴ００の値は初期値に対して１を加算した値に変化する。１行目のＣＮＴ０１とＣＮＴ０２、および３行目のＣＮＴ２０からＣＮＴ２２においても、それぞれ対応する単位画素のＡＰＤ１０１の変化によって同様の処理が行われる。

時刻ｔ２０４でイネーブル信号ＣＮＴ＿ＥＮ３１０の信号レベルがＬとなり、露光期間が完了する（第１の撮像期間の終了）。ＣＮＴ００～ＣＮＴ０２の計数結果はＣ００～Ｃ０２としてそれぞれ読み出しが開始され、ＣＮＴ２０～ＣＮＴ２２の計数結果はＣ２０～Ｃ２２としてそれぞれ読み出しが開始される。１行目のスイッチ素子３０１が有効（ＯＮ）となると、各列の垂直伝送路にＣＮＴ００～ＣＮＴ０２の値が出力される。以降、１列目のスイッチ素子３０３から３列目のスイッチ素子３０３が順次に有効になることで１行目の画素データが水平伝送路に出力される。同様にして４行目まで動作が行われて、各画素データがラインメモリ３０９および圧縮部３０６に出力される。

時刻ｔ２０５で制御信号ＬＯＡＤ＿ＥＮ３０８の信号レベルがＨとなり、１行目と３行目で初期化が開始される。時刻ｔ２０６では、１行目のＣＮＴ００からＣＮＴ０２に対応する単位画素および３行目のＣＮＴ２０からＣＮＴ２２に対応する単位画素にそれぞれ、ゼロがロードされる。また２行目のＣＮＴ１０からＣＮＴ１２に対応する単位画素にはＣ００からＣ０２がロードされ、４行目のＣＮＴ３０～ＣＮＴ３２に対応する単位画素にはＣ２０からＣ２２がロードされる。同じタイミング（時刻ｔ２０６）で制御信号ＬＯＡＤ＿ＥＮ３０８の信号レベルがＬとなる。

時刻ｔ２０７で、イネーブル信号ＣＮＴ＿ＥＮ３１０の信号レベルがＨとなり、時刻ｔ２０３と同様に露光期間が開始される。時刻ｔ２０８では、時刻ｔ２０４と同様に露光期間が完了し、読み出し動作が開始される。つまり、１行目および３行目の単位画素１００からは今回の露光によって得られた計数結果が出力される。２行目および４行目の単位画素１００からは前回の露光によって得られた計数結果が出力される。時刻ｔ２０９では、時刻ｔ２０５と同様に初期化が開始され、時刻ｔ２１０で時刻ｔ２０６と同様に初期化が実行される。

このように処理が行われることで、間引き読み出しにおいて特別なフレームメモリを設ける必要がなくなる。すなわち、前フレームの単位画素１００の出力と現フレームの単位画素１００の出力を、１フレームのデータの中でラインメモリ３０９および圧縮部３０６に出力することが可能である。

ラインメモリ３０９は、水平伝送路を介して読み出された１行目および３行目の画素データを保持し、２行目および４行目の画素データが読み出されている期間に同期して保持している画素データを圧縮部３０６に出力する。

次に、図５および図６を参照して、圧縮部３０６について詳細に説明する。図５は圧縮部３０６の構成を示すブロック図である。圧縮部３０６は量子化部５００、エントロピー符号化部５０１、符号量計測部５０３、符号量制御部５０２、減算器５０５、選択部５０６を備える。減算器５０５は、ラインメモリ３０９から読み出された１行目および３行目の画素データから、２行目および４行目の画素データを減算して、差分を算出する。選択部５０６は、フレーム間差分選択信号に基づいて、減算器５０５からのフレーム間差分信号を出力するか否かを決定する。フレーム間差分選択信号はフレーム間差分信号を出力する期間に対応する信号である。

２行目および４行目の単位画素１００の読み出しデータは、前フレームの１行目および３行目の同列に配置された単位画素１００の出力するデータである。そのため、１行目および３行目と２行目および４行目との各読み出しデータの差分はフレーム間差分データとなる。

選択部５０６は、２行目および４行目の単位画素１００から出力される期間にフレーム間差分信号を出力する。一方、１行目および３行目の単位画素１００からデータが入力されている期間に選択部５０６は、無効データであるデータ０を出力する。この場合、圧縮部３０６は符号化データを出力しない。なお、最初のフレームでは、時刻ｔ２０２（図４）で前フレームの出力である２行目および４行目の単位画素の出力はゼロとなっている。そのため、フレーム間の差分出力については現フレームの出力とゼロとの差分となるので、現フレームのみの出力と同義である。

本実施形態では、時刻ｔ２０２で２行目および４行目の単位画素の初期化を行う構成を説明したが、その限りではない。例えば、最初のフレームのみ現フレームの出力を選択するように構成することで、最初のフレームではフレーム内圧縮を行うことが可能となる。また、所定のフレーム数単位で現フレームのみの圧縮を行うことで、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）の構成が可能となる。

図５に示す量子化部５００は、符号化ブロック内において互いに隣接する画素間の差分値を算出し、差分値の量子化データを生成する。エントロピー符号化部（以下、単に符号化部という）５０１は、量子化された差分値に対して符号を割り当てて符号化データを生成する。エントロピー符号化の方式としては、ゴロム符号化やハフマン符号化が知られているが、任意の符号化方式を用いることができる。符号量計測部５０３は符号化ブロック単位の符号化データ量を計測する。符号量制御部５０２は、符号量計測部５０３により計測された符号化データ量に基づいて、符号量の制御を行う。

図６は、圧縮部３０６における量子化部５００とこれ以降の構成要素が行う、一連の処理を説明するフローチャートである。量子化部５００以降の構成要素は、符号化部５０１、符号量制御部５０２、符号量計測部５０３である。図６において圧縮処理が開始されると、符号化ブロック単位の画素データは量子化部５００に入力される。

最初にＳ１１０１で量子化部５００は、符号化ブロック内の隣接画素間の差分値を算出する。次にＳ１１０２で量子化部５００は、Ｓ１１０１で算出された差分値に対し、所定の値を用いて量子化処理を行う。所定の値とは量子化ステップを決定するパラメータであり、符号量制御部５０２によって動的に決定される。以降、前記所定の値をＱＰ（Ｑｕａｎｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒ：量子化パラメータ）と呼称する。算出された差分値はＱＰで除算され、除算結果の小数部を四捨五入することによって量子化される。
次にＳ１１０３で符号化部５０１は、Ｓ１１０２で量子化された差分値に対して符号の割り当てを行う。次にＳ１１０４で符号量計測部５０３は、符号化されたデータの量（符号化データ量）を計測する。符号量計測部５０３は、符号化データ量が目標となるデータ量（以下、目標符号化データ量という）以内に収まっているか否かを判定する。本実施形態においては、目標符号化データ量には撮像素子３００の出力帯域に収まる符号化データ量が設定される。

Ｓ１１０４において、符号化データ量が目標符号化データ量以内に収まっていないと判定された場合、Ｓ１１０５の処理へ進み、符号化データ量が目標符号化データ量以内に収まっていると判定された場合にはＳ１１０６の処理へ進む。

Ｓ１１０５に示すＱ値制御では、符号量制御部５０２によってＱＰの選択が行われる。一般的に、ＱＰについては、自然画に対する圧縮率は高いが画質の低下が著しいパラメータと、圧縮率は低いが画質の低下があまりないパラメータがある。固定長圧縮では、このような複数の量子化パラメータを用いて、目標とする圧縮が達成できなかった場合に再度ＱＰを変更して圧縮処理が実施される。Ｓ１１０５の処理後にＳ１１０２に戻って処理を続行し、符号化データ量と目標符号化データ量との差分に対応して符号の割り当てが再び行われる。

また、Ｓ１１０４からＳ１１０６へ進む場合には、Ｓ１１０６で符号化データの出力処理が行われる。なお、出力時には各符号化ブロックの量子化に用いたＱＰや符号化の際の符号割り当て情報（符号化パラメータ）と、フレーム内圧縮であるかフレーム間圧縮であるかを表すフラグ信号が、出力データ（符号化データ）と対応づけて出力される。
このように処理を行うことで、撮像素子３００の出力においてフレーム間の情報を参照した圧縮を、フレームメモリを持つことなく処理することが可能となる。

本実施形態では、水平伝送路を１系統のみ有する構成の説明を行ったが、その限りではない。例えば撮像素子３００の構成として、水平伝送路が２系統あって２行同時に読み出すことが可能な構成を想定する。この場合にはラインメモリ３０９を削除し、奇数ラインと偶数ラインのデータを同期して圧縮部３０６に入力することで、さらなるメモリの削減が可能となる。また、本実施形態では垂直方向における１／２の間引き率で行う処理を説明したが、垂直方向の間引き率を限定するものではない。例えば、垂直方向における１／４の間引き率で処理を行う撮像素子においては４フレーム分のデータを同時に出力可能となる。垂直方向の間引き処理だけではなく、水平方向の間引き処理へ適用してもよい。

また、機能画素を備える撮像素子において、機能画素に割り当てられるカウンタを活用してもよい。機能画素とは、例えば１つのマイクロレンズを共有する複数の副画素（光電変換部）を有する瞳分割型撮像素子において、その一部の副画素などである。例えば１つの画素部はマイクロレンズと、マイクロレンズを介して被写体からの光を受光して光電変換を行う第１および第２の光電変換部を有する。第１の光電変換部の出力と第２の光電変換部の出力から相関演算により位相差信号を取得し、また第１および第２の光電変換部の各出力の加算により撮像信号を取得することができる。

続いて、図７を参照して、撮像素子３００を用いた撮像装置６００の構成の概要について説明する。光学系ユニット６０１は、焦点調節を行うためのフォーカスレンズや、撮像光学系を構成する可動レンズ（シフトレンズ等）、固定レンズ、シャッタ、絞り、レンズ制御部等で構成される。光学系ユニット６０１は撮像素子３００上に光学像を結像する。撮像素子３００は、光学系ユニット６０１によって結像された被写体像を光電変換して電気信号とし、さらに圧縮部３０６により画素値のデータ圧縮を行った信号を伸長部６０２に出力する。

伸長部６０２は、圧縮部３０６で圧縮データと対応づけられた符号化パラメータやフレーム内圧縮かフレーム間圧縮かを表すフラグ信号に基づいて伸長処理を行う。伸長部６０２は、偶数行と奇数行の伸長結果を１枚の画像データに合成してキャプチャー部６０３に出力する。この時、フレーム内圧縮を表すフラグ信号があった場合、伸長部６０２は不図示の記憶部から前フレームの画像データを読み出さずにフレーム内圧縮データの伸長結果をキャプチャー部６０３および不図示の記憶部に出力する。またフレーム間圧縮を表すフラグ信号があった場合、伸長部６０２は不図示の記憶部に記憶されている前フレームの伸長結果を読み出してフレーム間参照を行い、現フレームの伸長処理を行う。

キャプチャー部６０３は画素信号の有効期間および種別を判定し、デジタル信号処理部６０４にデータを出力する。デジタル信号処理部６０４は、キャプチャー部６０３から取得したデータに対して所定の処理を行う。所定の処理とは、ホワイトバランス補正や同時化処理、動画像の符号化処理等に代表されるデジタル信号処理である。デジタル信号処理部６０４が処理した画像データ（ストリームデータ）は外部表示装置６０５に出力される。外部表示装置６０５は液晶ディスプレイ等の表示デバイスを備え、デジタル信号処理部６０４から出力された画像データにしたがって画像を画面上に表示する。

本実施形態では、間引き読み出しモードにおいて使用しないカウンタのフリップフロップに、別行の同列のカウンタの出力を所定のタイミングでロードすることによって、１フレーム前のカウンタの出力を記憶する構成である。本実施形態によれば、間引き読み出しモードを備える、１ｂｉｔ型ＡＤ変換部とカウンタを有する撮像素子において、フレームメモリを用いずにフレーム間の信号を参照した圧縮が可能である。このような構成を取ることで撮像画像の伝送路のスループットに起因するフレームレートの低下や、撮像素子の読み出しによる消費電力を低減することができる。

［第２実施形態］
次に、本発明の第２実施形態を説明する。本実施形態では、カウンタの出力を別のフリップフロップにロードする構成以外の例として、波形整形回路１０３からの出力パルスについて、計数先のカウンタを切り替えることによって第１実施形態と同様の効果が得られる撮像素子を説明する。以下では第１実施形態との相違点を説明し、第１実施形態と同様の事項については既に使用した符号や記号を用いることによって、それらの詳細な説明を省略する。

図８から図１０を参照して、本実施形態における撮像素子の構成について説明する。本実施形態の単位画素７００は、第１実施形態で説明した図１の単位画素１００と同様の構成を有するが、複数のＡＰＤ１０１、クエンチ抵抗１０２、波形整形回路１０３、カウンタ７０２を備える点で第１実施形態と相違する。つまり単位画素７００は第１実施形態における２画素分の構成要素を有する。

図８の上側に示す第１の画素構成部は第１のＡＰＤ１０１、第１のクエンチ抵抗１０２、第１の波形整形回路１０３、出力切替部７０１、第１のカウンタ７０２を有し、常時読み出される画素に対応している。一方、図８の下側に示す第２の画素構成部は第２のＡＰＤ１０１、第２のクエンチ抵抗１０２、第２の波形整形回路１０３、ＡＮＤ素子７０３、ＯＲ素子７０４、第２のカウンタ７０２を有し、間引き対象の画素に対応している。

第１のカウンタ７０２にはイネーブル信号ＣＮＴ＿ＥＮと、リセット信号ＳＲＥＳＥＴ０と、出力切替部７０１の出力信号が入力される。第１のカウンタ７０２にはリセット信号ＳＲＥＳＥＴ０でゼロがロードされる。出力切替部７０１は波形整形回路１０３の出力先を切り替えて、第１のカウンタ７０２またはＯＲ素子７０４に信号を出力する。

また第２のカウンタ７０２にはイネーブル信号ＣＮＴ＿ＥＮと、リセット信号ＳＲＥＳＥＴ１と、ＯＲ素子７０４の出力信号が入力される。第２のカウンタ７０２にはリセット信号ＳＲＥＳＥＴ１でゼロがロードされる。ＡＮＤ素子７０３は間引き読み出しモードかどうかに応じた制御を行うための論理素子である。ＯＲ素子７０４は出力切替部７０１の出力とＡＮＤ素子７０３の出力との論理和演算を行う論理素子である。

各部の動作について説明する。第１の画素構成部の出力切替部７０１は、制御部３０５から出力される選択信号ＣＮＴ＿ＳＥＬに基づいて、第１の波形整形回路１０３の出力を２つあるカウンタ７０２のどちらに出力するかを切り替える。選択信号ＣＮＴ＿ＳＥＬの信号レベルがＬであるときに出力切替部７０１は、第１のカウンタ７０２にパルスを出力する。また出力切替部７０１は選択信号ＣＮＴ＿ＳＥＬの信号レベルがＨであるときにＯＲ素子７０４を介して第２のカウンタ７０２にパルスを出力する。

ＡＮＤ素子７０３には、間引きモードであることを示す制御信号ＭＢＫ＿ＥＮと、第２の波形整形回路１０３の出力が入力される。ＡＮＤ素子７０３は、制御信号ＭＢＫ＿ＥＮの信号レベルがＨであるときに間引き対象の画素に対応した第２の波形整形回路１０３の出力をマスクする。またＡＮＤ素子７０３は、制御信号ＭＢＫ＿ＥＮの信号レベルがＬのときに第２の波形整形回路１０３の出力をそのまま通過させてＯＲ素子７０４に出力する。

ＯＲ素子７０４には、出力切替部７０１からの出力と、ＡＮＤ素子７０３の出力とが入力される。ＯＲ素子７０４は、選択信号ＣＮＴ＿ＳＥＬに基づいて動作する出力切替部７０１の出力と、第２の波形整形回路１０３に基づくパルスとの論理和演算の結果を表す信号を第２のカウンタ７０２に出力する。

図９を参照して、カウンタ７０２の構成を説明する。第１および第２のカウンタ７０２は同じ構成であるため、まとめて説明する。図２に示す構成との相違点は、第１実施形態で説明したカウンタ選択部４０２が、カウンタ選択部１００２に変更されている点である。

カウンタ選択部１００２には加算部４０１の出力と、データ０が入力され、リセット信号ＳＲＥＳＥＴ（ＳＲＥＳＥＴ０またはＳＲＥＳＥＴ１）に応じて選択される信号をＦＦ４００に出力する。カウンタ選択部１００２はリセット信号ＳＲＥＳＥＴが入力されると、不図示のクロックに同期してデータ０を選択する。それにより、ＦＦ４００に保持されている値をゼロに設定する制御が行われる。またカウンタ選択部１００２は、リセット信号ＳＲＥＳＥＴが入力されないときには加算部４０１の出力を選択してＦＦ４００に出力する。

次に図１０を参照して、撮像素子８００の構成について説明する。第１実施形態で説明した撮像素子３００との相違点は、奇数行と偶数行の画素をそれぞれ、列単位に２画素ずつ、つまり第１および第２の画素構成部を有する単位画素７００で構成している点である。例えば、図１０に示す６個の単位画素７００のうち、上側の左端に示す単位画素７００は、図３に示す１２個の単位画素１００のうち、第１行および第２行の左端に示す２個の単位画素に対応している。制御部３０５は制御信号ＭＢＫ＿ＥＮ、選択信号ＣＮＴ＿ＳＥＬ、リセット信号ＳＲＥＳＥＴ０およびＳＲＥＳＥＴ１の各信号を単位画素７００にそれぞれ出力する。

図１１のタイミングチャートを参照して、撮像素子８００の間引き読み出し動作を説明する。図１１は１つの単位画素７００における撮像駆動を示しており、撮像駆動を複数の単位画素７００にて並行して行うことにより光学像がデジタル信号に変換される。図１１に示す記号については、図４で使用した表記法を踏襲する。

図１１に示す時刻ｔ９００から時刻ｔ９０９は、単位画素７００の駆動に関する各種のタイミングを表している。時刻ｔ９００から時刻ｔ９０２までの期間は初期化期間であり、時刻ｔ９０２から時刻ｔ９０３までの期間は第１の撮像期間である（第１フレーム）。時刻ｔ９０３から時刻ｔ９０６までの期間は第１の読み出しおよび初期化期間である。時刻ｔ９０６から時刻ｔ９０７までの期間は第２の撮像期間である（第２フレーム）。時刻ｔ９０７以降の所定期間は第２の読み出しおよび初期化期間である。

ＣＮＴ００に対応する単位画素７００において、常時読み出しを行う第１の画素構成部が有する第１のＡＰＤ１０１およびクエンチ抵抗１０２により生成される波形をＡＰＤ００で表す。第１の波形整形回路１０３から出力される電圧パルスを同様にＰＬＳ００で表す。

時刻ｔ９００は単位画素７００におけるＦＦ４００の値を初期化するタイミングであって、奇数行の同期リセットを行うリセット信号ＳＲＥＳＥＴ０の信号レベルがＨとなる。この時、ＣＮＴ００～ＣＮＴ３２の値はＸ（不定）である。また、間引き読み出しモードの設定として制御信号ＭＢＫ＿ＥＮの信号レベルが時刻ｔ９００からＨに設定される。

時刻ｔ９０１において、不図示のクロックに同期して１行目のＣＮＴ００～ＣＮＴ０２および３行目のＣＮＴ２０～ＣＮＴ２２を出力しているカウンタのＦＦ４００にはゼロがロードされ、リセット信号ＳＲＥＳＥＴ０の信号レベルがＬとなる。

時刻ｔ９０２では初期化期間が完了し、イネーブル信号ＣＮＴ＿ＥＮの信号レベルがＨとなり、露光期間が開始する。ＡＰＤ１０１に光が入射され、電圧パルスＰＬＳ００が立ち上がることで、略同一のタイミングでＣＮＴ００の値は初期値に対して１を加算した値に変化する。１行目のＣＮＴ０１、ＣＮＴ０２および３行目のＣＮＴ２０からＣＮＴ２２においても対応する画素構成部のＡＰＤ１０１の変化によって同様の処理が行われる。

時刻ｔ９０３ではイネーブル信号ＣＮＴ＿ＥＮの信号レベルがＬとなり、露光期間が完了する。ＣＮＴ００～ＣＮＴ０２の計数結果はＣ００～Ｃ０２として、またＣＮＴ２０～ＣＮＴ２２の計数結果はＣ２０～Ｃ２２として読み出しが開始される。１行目のスイッチ素子３０１が有効（ＯＮ）となると、各列の垂直伝送路にＣＮＴ００～ＣＮＴ０２の値が出力される。以降、１列目のスイッチ素子３０３から３列目のスイッチ素子３０３が順次に有効（ＯＮ）になることで１行目の画素データが水平伝送路に出力される。これ以降、４行目まで同様の動作が行われる。画素データはラインメモリ３０９および圧縮部３０６に出力される。

本実施形態では、第１実施形態とは異なり、１フレーム目では偶数行の計数結果がゼロとならない。そのため、奇数行の出力についてはラインメモリ３０９からの出力との差分を算出せずに、奇数行の出力を量子化部５００に入力することでフレーム内圧縮を行う事が可能となる。あるいは、時刻ｔ９００でリセット信号ＳＲＥＳＥＴ１の信号レベルをＨに設定し、時刻ｔ９０１で当該信号レベルをＬとすることで、奇数行と同様に偶数行の初期化処理が可能である。

時刻ｔ９０４ではリセット信号ＳＲＥＳＥＴ１の信号レベルがＨとなり、偶数行の初期化が開始される。またＣＮＴ＿ＳＥＬの信号レベルがＨに設定されることで、計数先が間引かれる画素（第２の画素構成部）に対応した第２のカウンタのＦＦ４００に変更される。時刻ｔ９０５において、不図示のクロックに同期して２行目のＣＮＴ１０～ＣＮＴ１２および４行目のＣＮＴ３０～ＣＮＴ３２を出力しているカウンタのＦＦ４００にはゼロがロードされ、リセット信号ＳＲＥＳＥＴ１の信号レベルがＬとなる。

時刻ｔ９０６では、時刻ｔ９０２と同様にイネーブル信号ＣＮＴ＿ＥＮの信号レベルがＨとなり、露光期間が開始する。ＡＰＤ１０１に光が入射されて電圧パルスＰＬＳ００が立ち上がることで、略同一のタイミングでＣＮＴ１０の値は初期値に対して１を加算した値に変化する。２行目のＣＮＴ１１、ＣＮＴ１２および４行目のＣＮＴ３０～ＣＮＴ３２においても対応する第２の画素構成部のＡＰＤ１０１の変化によって同様に処理が行われる。

時刻ｔ９０７で露光期間が完了し、イネーブル信号ＣＮＴ＿ＥＮの信号レベルがＬとなり、読み出しが開始される。時刻ｔ９０３では１行目から４行目のカウンタのＦＦ４００の出力について順次転送が行われたが、２フレーム目では２行目、１行目、４行目、３行目の順番で読み出す制御が行われる。その理由は、１フレーム目では奇数行が現フレームの計数結果であるのに対して、２フレーム目では計数先のＦＦ４００が偶数行の画素に対応したＦＦ４００に代わっているためである。このように制御することで、ＲＥＡＤ＿ＤＡＴＡに出力されるデータの並びを、毎フレームで揃えることが可能となる。

時刻ｔ９０８では選択信号ＣＮＴ＿ＳＥＬの信号レベルがＬとなり、またリセット信号ＳＲＥＳＥＴ０の信号レベルがＨとなり、初期化が開始される。時刻ｔ９０９では、１行目および３行目の各カウンタのＦＦ４００にゼロが設定され、リセット信号ＳＲＥＳＥＴ０の信号レベルがＬとなる。以降、説明を行った時刻ｔ９０２から時刻ｔ９０９での動作制御が繰り返し行われる。

本実施形態では、計数先であるカウンタをフレーム単位で切り替える制御が行われる。よって、第１実施形態と同様に撮像素子の信号の間引き読み出しにおいてフレームメモリを有することなく、前フレームと現フレームの計数結果を１フレームのデータの中で読み出すことが可能となる。

［その他の実施形態］
前記実施形態では奇数行と偶数行について同時に信号を読み出し、撮像素子の出力前の圧縮部でライン間のデータを参照し、前フレームのデータを出力しないことで間引いて撮像素子から出力している。しかしながら、本発明は消費電力の低減等を目的としてデータ圧縮を行う場合のみに適用されるものではない。例えば偶数フレームでは長秒露光を行い、奇数フレームでは短秒露光を行う実施形態にて、ＨＤＲ（ハイダイナミックレンジ）処理のように暗部と明部での画像データを画像合成部により合成することで情報量を削減してもよい。

ＨＤＲ処理はダイナミックレンジを拡大する処理として周知技術であるので、簡単な説明のみ行う。まず、撮像部における短秒露光時間をｔ１と表記し、長秒露光時間をｔ２と表記する。この場合、短秒露光によって取得された信号に対してｔ２／ｔ１に相当するゲイン値を乗算する処理が行われる。次に画素値を上限値と比較する処理が行われる。例えば、画素値の上限値を１２ビット相当の値とする。長秒露光によって取得された画像の画素値が上限値を超えている場合に、短秒露光により取得された信号に対して前記ゲイン値を乗算した画像の画素値を選択する処理が行われる。また長秒露光によって取得された画像の画素値が上限値以下である場合には、当該長秒露光による画像の画素値を選択する処理が行われる。

前記実施形態では画素部のカウンタが備えるＦＦ４００からなるレジスタ群を用いる構成を説明した。つまり、レジスタ群は、画素アレイにおける行方向または列方向にて周期的に配列される複数の画素部に対応しており、各画素部が有するカウンタのフリップフロップによって構成される。本発明の技術的範囲はこのような例に限定されない。信号の計数値を保持可能な各種の記憶素子（ＳＲＡＭ等）を用いてレジスタ群を構成した実施形態が可能である。

また、前記実施形態では撮像素子３００が内部に信号処理部（圧縮部３０６）を備える構成例を示した。本発明はこの例に限定されず、撮像素子３００の外部に信号処理部を設けた構成に適用可能である。あるいは積層型撮像素子において、撮像層の基板部が多数の単位画素１００または７００からなる画素アレイを備え、回路層の基板部が信号処理部を備える構成に適用できる。

瞳分割型撮像素子を備える撮像装置への適用例では、各画素部がマイクロレンズと、該マイクロレンズを介して受光して光電変換を行う複数の光電変換部を有する。例えば、第１および第２の光電変換部を有する２分割の構成では、第１のレジスタ群は、複数の第１の光電変換部にそれぞれ対応する複数のカウンタが備えるレジスタにより構成される。第２のレジスタ群は、複数の第２の光電変換部にそれぞれ対応する複数のカウンタが備えるレジスタにより構成される。撮像面位相差検出により算出されるデフォーカス量に基づく焦点調節を行うことや、第１および第２の光電変換部の各出力に基づいて視点の異なる複数の画像信号を取得して立体視表示等を行うことができる。

前記実施形態によれば、画素アレイの構成要素である単位画素がそれぞれ１ｂｉｔ型ＡＤ変換部とカウンタを有する撮像装置において、全画素における一部の画素群から信号の読み出しを行うモードにて回路規模の増大と製造コストの上昇を抑制できる。撮像画像に係る現フレームおよび前フレームの信号を参照することによって、データ圧縮や画像合成等に代表される信号処理が可能な撮像装置を提供できる。

１００，７００ 単位画素
１０１ ＡＰＤ（アバランシェフォトダイオード）
１０４，７０２ カウンタ
３００，８００ 撮像素子
３０５ 制御部
３０６ 圧縮部

Claims (11)

1. 複数の画素部を有する撮像素子を備える撮像装置であって、
   前記画素部が有するアバランシェ効果を用いた光電変換部の出力から生成される信号を計数して保持する計数手段と、
   前記計数手段を制御する制御手段と、
   前記計数手段の出力を用いて信号処理を行う信号処理手段と、を備え、
   複数の前記光電変換部のうち、第１の光電変換部の信号を読み出し、第２の光電変換部の信号を読み出さないことで前記光電変換部の出力に基づく信号に対する間引き読み出し動作を行うモードにて前記制御手段は、前記第１の光電変換部に対応する第１の前記計数手段によって撮像画像に係る現フレームでの第１の計数値を保持し、前記第２の光電変換部に対応する第２の前記計数手段によって前記撮像画像に係る前フレームでの前記第１の計数値に相当する第２の計数値を保持する制御を行い、
   前記信号処理手段は、前記第１および第２の計数値を用いて信号処理を行う
   ことを特徴とする撮像装置。
2. 前記撮像素子は前記複数の画素部が配置された画素アレイを有し、
   前記計数手段は前記計数値を保持するレジスタを有しており、
   第１のレジスタ群は、前記画素アレイにおける第１の行または列に属する複数の画素部に対応する前記計数手段が有する前記レジスタにより構成され、
   第２のレジスタ群は、前記画素アレイにおける第２の行または列に属する複数の画素部に対応する前記計数手段が有する前記レジスタにより構成され、
   前記モードにて、前記第１のレジスタ群は前記第１の計数値をそれぞれ保持し、前記第２のレジスタ群は前記第２の計数値をそれぞれ保持する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記画素部に対するリセットのタイミングを制御し、前記第１のレジスタ群が保持する複数の前記第１の計数値を前記第２のレジスタ群に転送する
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記制御手段は、前記計数手段に対して、計数の動作を制御する信号、またはデータのロードを行う信号を出力して前記計数値の初期化または設定を行う
   ことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記画素部はそれぞれ複数の前記光電変換部および複数の前記計数手段と、前記光電変換部から出力される信号をフレームごとに切り替えて複数の前記計数手段に出力する切替手段を有し、
   前記制御手段は前記切替手段を制御することによって、複数の前記光電変換部のうち、前記第１の光電変換部からの信号を、複数の前記計数手段のうちの第１の計数手段へ出力するか、または前記第１の光電変換部からの信号を、複数の前記計数手段のうちの第２の計数手段へ出力する
   ことを特徴とする請求項１に記載の撮像装置。
6. 前記モードにて前記制御手段は前記画素部に制御信号を出力し、前記第２の光電変換部からの信号が前記第２の計数手段に入力されない制御を行う
   ことを特徴とする請求項５に記載の撮像装置。
7. 前記信号処理手段は、前記第１および第２の計数値を取得して、画像データの圧縮を行い、またはダイナミックレンジを拡大する処理を行う
   ことを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
8. 前記画素部は前記光電変換部および計数手段を有し、
   前記第１および第２のレジスタ群は、前記画素アレイにおける行方向または列方向にて周期的に配列される複数の前記画素部に対応している
   ことを特徴とする請求項２に記載の撮像装置。
9. 前記画素部はマイクロレンズと、該マイクロレンズを介して受光して光電変換を行う前記第１および第２の光電変換部を有し、
   前記第１のレジスタ群は、複数の前記第１の光電変換部にそれぞれ対応する複数の前記計数手段が有するレジスタにより構成され、前記第２のレジスタ群は、複数の前記第２の光電変換部にそれぞれ対応する複数の前記計数手段が有するレジスタにより構成される
   ことを特徴とする請求項２に記載の撮像装置。
10. 前記撮像素子は、前記信号処理手段を備える
    ことを特徴とする請求項１から９のいずれか１項に記載の撮像装置。
11. 複数の画素部を有する撮像素子を備える撮像装置にて実行される制御方法であって、
    前記撮像装置は、
    前記画素部が有するアバランシェ効果を用いた光電変換部の出力から生成される信号を計数して保持する計数手段と、
    前記計数手段を制御する制御手段と、
    前記計数手段の出力を用いて信号処理を行う信号処理手段と、を備え、
    前記制御方法は、
    複数の前記光電変換部のうち、第１の光電変換部の信号を読み出し、第２の光電変換部の信号を読み出さないことで前記光電変換部の出力に基づく信号に対する間引き読み出し動作を行うモードにて前記制御手段が、前記第１の光電変換部に対応する第１の前記計数手段によって撮像画像に係る現フレームでの第１の計数値を保持し、前記第２の光電変換部に対応する第２の前記計数手段によって前記撮像画像に係る前フレームでの前記第１の計数値に相当する第２の計数値を保持する制御を行う工程と、
    前記信号処理手段が前記第１および第２の計数値を用いて信号処理を行う工程と、を有する
    ことを特徴とする撮像装置の制御方法。
    

Images