JP5747238B2 - 動き検出用固体撮像装置及び動き検出システム - Google Patents

Description

本発明は、撮像画面上の物体の動きを検出する動き検出用固体撮像装置及び、動き検出システムに関する。

固体撮像装置市場において、近年携帯電話用カメラ向けにＣＭＯＳセンサタイプが急速に数量を伸ばしている。ＣＭＯＳセンサ型固体撮像装置の各画素セルは、入射光に応じた信号電荷を発生する光電変換部（以下画素と称す）と、この光電変換部の信号電荷を信号電圧に変換して増幅する増幅部を備えている。

固体撮像装置は単に物体（被写体）を撮像するだけでなく、この固体撮像装置の撮像画面上の物体の動きを検出することがある。例えば、同一視野を連続的に撮像して、この視野内に人が侵入してきたことを検出し、この人の侵入に応答して各種の機器を制御したり、この人の侵入を報知したり記録する。

この様な撮像画面上の物体の動きを検出する方法としては、前後のフレーム間の同一画素単位での信号出力を比較して動きを検出する方法（方法１）がある。また隣接画素を一対の組として光電変換時間を変え、信号量が同等となるように光電変換時間比で増幅回路のゲインを調整した後信号の差分処理をすることで静止物体では出力信号をゼロにし、動き物体では出力信号を発生させることで動きを検出する方法（方法２）があり、これらは特許文献１に開示されている。

前者の方法１では、フレームメモリが必要になるため、消費電力の増加や回路規模の増加により装置が大きくなる。さらにコストも上昇する。

後者の方法２では、空間的に近接する第１及び第２の画素を１組とし、これらの画素組を１つの感知単位として扱い、例えば第２の画素の光電変換時間を第１画素の光電変換時間の２倍にし、第１の画素の信号と第２画素の１／２の信号の差に基づいて撮像画面上の物体の動きを検出する。この際、相互に第１光電変換時間に比べより長い第２光電変換時間の間に、第１及び第２の画素の信号に変化が発生すれば、撮像画面上の物体が動いたものとみなせる。即ち、撮像画面上の物体が静止している状態では、差分は０となり、動きがあると差が発生する。方法２ではフレームメモリを必要とせず動き検出が行える。

しかし、通常の静止した物体では上記説明したように、差分は０とならない。なぜならば撮影した物体の端部では対の2画素の信号量が異なるため差分信号は0とならず、物体に動きが有ると誤認識してしまう。カラー撮像の場合には、代表的な色フィルター配置であるベイヤー方式を適用すると、１画素飛ばしの位置にある同色の画素を対の2画素とするため、さらに差分信号量と発生頻度が増加するため動き物体の認識率はさらに劣化する。

特開平１０−２９０４００

本発明は、撮像画面上の物体の動きを検出する動き検出用固体撮像装置であり、被写体の輪郭で発生する誤信号（ノイズ信号）を抑制する画素の構成と演算システムを提供する。これにより、後段の信号処理が簡便となるだけでなく、動いた物体の動き検出能力を向上させた動き検出用固体撮像装置を提供することにある。

本発明に係る動き検出用固体撮像装置は、縦横方向に配置した２×２の４つの画素を1組とし、斜め方向に隣接し合う２画素を１つセットにし、これと直交方向の斜め方向の残りの２画素を１つセットとし、２つのセット間の光電変換時間を変える。次にこの２つの光電変換時間の比の分だけ、片側のセットの出力信号量の調整を行い、両者の差分を取ることで、動きの検出を行うとともに、平均化処理にて被写体の輪郭で発生するノイズを抑制する。
また光電変換時間の違いによる信号量の調整は、２つのセットととなるそれぞれの画素サイズの大きさを異ならせることで調整する方法でも良い。

本発明によれば、輪郭でのノイズ発生を抑制し、動き検出を行う固体撮像装置を提供できる。輪郭部でのノイズを抑制できるため、動き物体の検出能力を向上させ、さらに低消費電力の動き検出撮像システムを提供することが出来る。

は、本発明の動き検出用固体撮像装置の全体の構成を示す図である。 は本発明のセルレイアウトと動き検出回路構成、駆動方法を説明する図である。 は対の画素の出力レベルの光電変換時間変化を示す図である。 は、本発明の駆動方法を説明する図であり、各信号線、パルス線、に生ずるタイミングチャートを示す図である。 は本発明の動き検出をしつつ、正常な撮像画像を得るための回路構成を説明する図である。 は本発明の別の動き検出回路構成、駆動方法を説明する図である。 は対の画素の出力レベルの光電変換時間変化を示す図である。 は駆動方法を説明する図であり、各信号線、パルス線、に生ずるタイミングチャートを示す図である。 は本発明の具体的な画素セルの構成であり、パターン端部位置が垂直方向の画素間隙部より、画素配列の垂直方向に移動した際の、画素に対するパターン端部の位置関係を示す図である。 は図４（ａ）で示すタイミングに於いて、画素で発生する信号出力パターンと、本発明の画素信号処理を経た後の、動き検出信号パターンを示す図である。 は本発明の具体的な画素セルの構成であり、パターン端部位置が垂直方向の画素間隙部に存在した状態で、パターン端部と画素の位置関係が垂直方向にずれた、３つのケースでの位置関係を示す図である。 は図５（ａ）で示す位置関係のケースに於いて、画素で発生する信号出力パターンと、本発明の画素信号処理を経た後の、動き検出信号パターンを示す図である。 は、本発明の動き検出用固体撮像装置の色フィルターを配置した全体の構成を示す図である。 は本発明の具体的な色フィルターが配置された画素セルの構成であり、パターン端部位置が垂直方向の画素中央部より、画素配列の垂直方向に移動した際の、画素に対するパターン端部の位置関係を示す図である。 は図７（ａ）で示すタイミングに於いて、画素で発生する信号出力パターンと、本発明の画素信号処理を経た後の、動き検出信号パターンを示す図である。 は本発明の具体的な色フィルターが配置された画素セルの構成であり、パターン端部位置が垂直方向の画素中央部に存在した状態で、パターン端部と画素の位置関係が垂直方向にずれた、３つのケースでの位置関係を示す図である。 は図８（ａ）で示す位置関係のケースに於いて、画素で発生する信号出力パターンと、本発明の画素信号処理を経た後の、動き検出信号パターンを示す図である。 は本発明の別の実施例であり、４画素１セルで読み出し部を共通にした、動き検出用固体撮像装置の別の全体構成を示す図である。 は図９の実施例の４画素１セルの具体的なセル構成を示す図である。 は本発明の更に別の実施例であり、出力回路を共有化した４画素１セルの構成図と垂直信号線の端部の出力回路構成を示す図である。 は駆動方法を説明する図であり、対の画素の出力レベルの光電変換時間変化を示す図である。 は、本発明の駆動方法を説明する図であり、各信号線、パルス線、に生ずるタイミングチャートを示す図である。 は本発明の更に別の実施例であり、セル内の画素のサイズを変え、感度を変えた４画素１セルの構成図と垂直信号線の端部の出力回路構成を示す図である。 は駆動方法を説明する図であり、対の画素の出力レベルの光電変換時間変化を示す図である。 は、本発明の駆動方法を説明する図であり、各信号線、パルス線、に生ずるタイミングチャートを示す図である。 は図１２（ａ）に示す構成のセルに於いて、色フィルターを配置した場合の画素及び出力回路の繰り返しセル配置を示す図である。 は図１２（ａ）に示す構成のセルに於いて、色フィルターを配置した場合の画素及び出力回路の繰り返しセルを効率的に配置した実施例を示す図である。 は本発明の具体的な画素セルの構成であり、図１３に相当する、セル内の画素のサイズを変え、感度を変えた４画素１セルの構成図であり、パターン端部位置が水平方向に移動した際の、後述の図１５（ｂ）に示す３つのタイミングに於いて、画素に対するパターン端部の位置関係を示す図である。 は駆動方法を説明する図であり、対の画素の出力レベルの光電変換時間変化を示す図である。 は図１５（ｂ）ないし、図１５（ｃ）で示す２つのタイミングに於いて、画素で発生する信号出力パターンと、本発明の画素信号処理を経た後の、動き検出信号パターンを示す図である。 は、本発明を適用した動き検出システムの全体の構成を示す図である。 は、本発明を適用した動き検出システムの変形例を示す全体の構成図である。 は本発明の動き検出用固体撮像装置の動き検出情報をもとに、全体の駆動方法を変化させることを説明する、全体の構成を示す図である。

以下、本発明の好ましい実施形態について図面を参照して説明する。なお、図面のスケールは、発明の特徴を分かり易くするために強調されており、必ずしも実際のデバイスのスケールと同一ではないことに留意すべきである。

図１は、本発明の動き検出用固体撮像装置の全体の構成を示す図である。動き検出用固体撮像装置は、全体のタイミングを制御するためのタイミング発生回路２４、画素の光電変換時間（蓄積時間）を2つの異なった蓄積時間で制御するための蓄積時間制御回路２５、垂直走査回路１４、動き検出回路７、ADC回路８、水平走査回路１３と画素群１０で構成されている。

動き検出動作のための画素の配置は２×２の４画素で１つのセルを成す。図に於いて、画素１（a11）、画素１（a’11）、画素１（ｂ’11）、画素１（ｂ11）は１つのセルである。水平方向に対となっている画素１（a11）、画素１（a‘11）の読み出しトランジスタ２、２’のゲートには、それぞれ別の読み出し配線（ＲＥＡＤ１、ＲＥＡＤ１’）が印加される。画素で一定時間光電変換され蓄積された電荷は、読み出しトランジスタ２、２‘のゲート下を転送し、フローティングジャンクション３へ流入する。このフローティングジャンクション３の電位は、増幅トランジスタ５のゲートを変調する。画素１（a11）、画素１（a’11）はそれぞれ別の垂直信号線６，６’に連結されており、垂直信号線６，６‘を介し電位変化として読み出される。

このフローティングジャンクション３は、信号電荷が転送される前にリセットトランジスタ４のゲートを介し一定電圧にリセット（ＲＥＳＥＴ）される。１セルの2行目の水平方向に対となっている画素１（ｂ’11）、画素１（ｂ11）の読み出しゲート２‘、２には、それぞれ別の読み出し配線（ＲＥＡＤ２‘、ＲＥＡＤ２）が印加される。画素１（ｂ’11）、画素１（ｂ11）は、画素１（a11）、画素１（a’11）と同様に、それぞれ別の垂直信号線６，６’に連結されており、垂直信号線６，６‘を介し電位変化として読み出される。

垂直信号線６，６‘は、その端部で動き検出回路７に繋がっており、更にはＡＤＣ（Analog to Digital Converter）回路８に繋がっている。ＡＤＣ回路８からは垂直信号線６，６‘に対応したＡＤＣ出力が１０bitのデジタル信号として水平走査回路１３にて順次読み出される。動き検出回路７からは、一対の垂直信号線６，６’より１つの動き検出信号が出力される。動き検出信号は水平読み出しゲート１１を介し、水平信号線１２に出力される。

水平読み出しゲート１１に印加されるパルスは、水平走査回路１３にて発生され、水平方向にセル毎に順次読み出しを行う。同様に垂直方向のセルの読み出しを行うための、読み出しトランジスタ２，２’のゲートに印加されるパルス（例えばＲＥＡＤ１，１’）、及びリセットトランジスタ４のゲートに印加されるパルス（ＲＥＳＥＴ）は、垂直走査回路１４にて発生され、垂直方向に1ライン毎に順次読み出しを行う。

図２（ａ）は図１に示す本発明のユニットセルのレイアウトと、動き検出回路構成、駆動方法を説明する図である。以下の図面では、同一の機能を有する構成要素は同一の番号にて表記する。図１で示したように、画素の配置は２×２の４画素（画素１（a11）、画素１（a’11）、画素１（ｂ’11）、画素１（ｂ11））で１つのセルを構成している。水平方向に対となっている画素１（a11）、画素１（a‘11）の読み出しゲート２、２’には、それぞれ別の読み出し配線（ＲＥＡＤ１、ＲＥＡＤ１’）が印加され、残りの水平方向に対となっている画素１（ｂ’11）、画素１（ｂ11））の読み出しトランジスタ２‘、２のゲートには、それぞれ別の読み出し配線（ＲＥＡＤ２’、ＲＥＡＤ２）が印加されている。また垂直方向に隣接し合う画素１（a11）、画素１（ｂ’11）は垂直信号線６に、他の垂直方向に隣接し合う画素１（a’11）、画素１（ｂ11））は別の垂直信号線６’に、連結され読み出しが行われる。

図２（ａ）に於いて、垂直信号線６，６‘の端部にはＬＯＡＤ Ｔｒ（負荷トランジスタ）が設けられ、ＬＯＡＤ
Ｔｒの電位はスイッチ回路（ＳＷ１）を経て、キャパシタと差動増幅回路１５のプラス側に繋がっている。またＬＯＡＤ Ｔｒの電位はスイッチ回路（ＳＷ２）を経て、増幅器１６を介し、差動増幅回路１５のマイナス側にも繋がっている。この差動増幅器１５の出力を差動出力１７とする。この回路構成から増幅器１６を除去すると、従来のＣＭＯＳセンサで一般的に採用されているＣＤＳ（Correlated Double Sampling）回路構成である。垂直信号線６‘に於いても同様であり、それぞれ対応する部分を差動増幅回路１５’、増幅器１６’、差動出力１７‘とする。

２つの隣接する差動出力１７、１７‘は加算回路１８に入力される。加算出力１９はノイズ除去回路２０に入り、ノイズ除去加算出力２１は、水平信号線１２に繋がる水平読み出しゲート１１の入力側へ連結される。このノイズ除去回路２０は、前出のＣＤＳ回路構成で代用できる。また図では書かれていないが、ノイズ除去加算出力２１は、垂直信号線６，６’と同様にＡＤＣ回路８を通してから、水平読み出しゲート１１の入力側へ連結しても良い。一方、ＬＯＡＤ
Ｔｒの電位は垂直信号線６，６‘を延長させスイッチ回路（ＳＷ３）を経て、ＡＤＣ回路８に繋がっている。図示はしていないが、スイッチ回路（ＳＷ３）と、ＡＤＣ回路８の間には、通常のＣＤＳ回路構成が挿入される。もしくは、ADCのデジタル処理でCDS動作を実施することもできる。

図２（ｂ）は対の画素１（a11）、画素１（a‘11）と、別の対の画素１（ｂ’11）、画素１（ｂ11）の出力レベルの光電変換時間変化を示す図である。この場合には画素の光電変換効率（以下の説明では感度と呼び、図中のグラフの傾きに相当する）が、対の画素１（a11）、画素１（a‘11）と、別の対の画素１（ｂ’11）、画素１（ｂ11）で４画素共同じ場合で説明する。更に、斜め方向に隣接する第１の画素１（a11）、画素１（ｂ11）の光電変換時間（第１光電変換時間と呼ぶ）を同じにする。残りの斜め方向に隣接する第２の画素（ａ１１‘）、画素１（ｂ’11）の光電変換時間（第２光電変換時間と呼ぶ）も同じにし、第２光電変換時間を第１光電変換時間ｔ１よりも長くしている（図では、光電変換時間を２倍にしたケース）。第１及び第２光電変換時間の光電変換時間の比を２倍にし、かつ２つの光電変換時間（第１の光電変換時間、第２の光電変換時間）の終了時点を略一致させるために、第１の画素１（a11）、画素１（ｂ11）の光電変換時間を制御する読み出しトランジスタ２のゲートには、途中、画素信号を捨てるためのＲＥＡＤ１，２パルスを印加し、フローティングジャンクション３の電位をリセットするために、リセットトランジスタ４のゲートにリセットパルス（図中ＲＳで示す）を印加している。

図２（ｃ）は、本発明の駆動方法を説明するための図であり、特に略一致した２つの光電変換時間の終了時点における、画素からの信号出力の読み出しのシーケンスを説明する為の図である。それぞれの信号線、パルス線、に生ずるタイミングチャートを示す。まずフローティングジャンクション３は、信号電荷が転送される前にリセットトランジスタ４のゲートを介し一定電圧にリセット（ＲＥＳＥＴ）される（タイミングＴ１；以下Ｔ１と略す）。この際フローティングジャンクション３にはリセットパルスの誘導がノイズとして重畳され、垂直信号線６、６‘にはノイズ成分が出る（Ｔ２）。次に、第１の画素１（a11）、画素１（ｂ11）に第１光電変換時間ｔ１で光電変換され蓄積された電荷は、読み出し配線（ＲＥＡＤ１、２）のパルスを読み出しゲート２に印加することで、フローティングジャンクション３へ流入する（Ｔ３）。

ノイズ成分が出ている垂直信号線６、６‘には、画素１（a11）、画素１（ｂ11）の信号成分がそれぞれ重畳される。次の読み出しの為にフローティングジャンクション３がリセットされる前に、ＳＷ１を閉じ（ＯＮ）、垂直信号線６、６‘の出力レベルをキャパシタに保持させる。次にＳＷ１を開いた（ＯＦＦ）した後に、フローティングジャンクション３をリセットする（Ｔ４）。この際も同様にリセットパルスの誘導がノイズとして重畳され、垂直信号線６、６‘にはノイズ成分が出てくる（Ｔ５）。次に、第２の画素（ａ１１‘）、画素１（ｂ’11）に第２光電変換時間ｔ２（２×ｔ１）で光電変換され蓄積された電荷は、読み出し配線（ＲＥＡＤ１’、２‘）のパルスを読み出しゲート２’に印加することにより、フローティングジャンクション３へ流入する（Ｔ６）。

ノイズ成分が出ている垂直信号線６、６‘には、画素１（a’11）、画素１（ｂ‘11）の信号成分がそれぞれ重畳される。次の読み出しの為にフローティングジャンクション３がリセットされる前に、ＳＷ２を閉じ（ＯＮ）、垂直信号線６、６‘の出力レベルを増幅器１６にて増幅し、差動増幅回路１５のマイナス側に入力する。この増幅器のゲインとしては、上記ケースでは第１光電変換時間と第２光電変換時間の比である１／２となる。

差動増幅回路１５、１５’のプラス側には、キャパシタに蓄積されている、それぞれ画素１（a11）、画素１（ｂ11）の信号成分が入力されている。差動増幅回路１５、１５’のマイナス側には、ゲインが掛けられた画素１（a’11）、画素１（ｂ‘11）の信号成分が入力されている。このため、この差動増幅器１５、１５‘の出力である差動出力１７、１７’としては、それぞれ画素１（ａ１１）、画素１（ｂ’11）の差分と、画素１（ｂ11）、画素１（ａ‘１１）の差分が出力される。更に差動出力１７、１７’の先には、加算回路１８があるので、襷掛けに足した画素１（ａ１１）＋画素１（ｂ11）から、襷掛けに足した、画素１（ａ‘１１）＋画素１（ｂ’11）の１／２との差分と取った値が、加算回路１８の加算出力１９となる。これをＣＤＳ回路構成のノイズ除去回路２０で処理した出力は、ノイズ除去加算出力２１として出てくる。

被写体が静止している場合には、光電変換時間が２倍となっている信号を、増幅器１６にて1/2のゲインを掛け算して差分を取るため、動き検出出力（ノイズ除去差分出力２１）はゼロとなる。一方、動きの有る場合には光電変換時間内で被写体の明るさが変化する為、動き検出出力（ノイズ除去差分出力２１）はゼロとならない。

このように、本発明に於いて、複数の画素をマトリクス状に配列して、撮像画面を形成し、空間的に近接する第１及び第２の画素を１組とし、第１の画素の第１光電変換時間ｔ１を第２の画素の第２光電変換時間ｔ２よりも短くすると共に、第１及び第２光電変換時間の終了時点を略一致させ、第１及び第２光電変換時間の後に、第１及び第２の画素の信号を共に読み出し、第２光電変換時間に対する第１光電変換時間の比と第２画素の信号の積を求め、この積と第１画素の信号の差に基づいて、撮像画面上の物体の動きを検出することが出来る。

垂直信号線６，６‘の出力は、スイッチ回路（ＳＷ３）を閉じる（ＯＮ）することで、ＣＤＳ回路（図示せず）を経て、ＡＤＣ回路８に入力され、例えば10bitのデジタル信号に変換し出力する。しかしながら、図２（ａ）、（ｂ）、（ｃ）に於いて、第１の画素として画素１（a11）、画素１（ｂ１１）を組み合わせ、第２の画素として画素１（a’11）、画素１（ｂ‘１１）を組み合わせているため、順次と言っても、水平走査線が１ラインずれたジグザグ状に出てきてしまう。また、出力の２倍異なる画像同士の合成画像として出力される。これはダイナミックレンジを拡大したモードの画像出力となる。通常と同じような出力の仕方をするには、以下に示すように回路を少し変更する必要が有る。

まず後者の、出力の２倍異なる画像同士の合成画像として出力されるのを防止する方法に付き、図２（ｄ）を用いて説明する。図２（ｄ）で垂直信号線６，６‘には、スイッチ回路（ＳＷ３）が付いているが、これと並列させてスイッチ回路（ＳＷ４）を設置し、その先に増幅器２２を設置する。その先をＳＷ３の先に繋ぐ。第２光電変換時間の第２の画素（例えば画素１（a’11）、画素１（ｂ‘１１））の読み出しの際に、ＳＷ３を開き（ＯＦＦ）、ＳＷ４を閉じ（ＯＮ）、ＳＷ４の先にある増幅器のゲインを１／２にすることで、同じ明るさの被写体の撮像の場合、各画素の出力を同じにすることが出来る。

前者の、水平走査ラインがジグザグになることを防止する方法に付き、図３（ａ）、（ｂ）、（ｃ）を用いて説明する。図３（ａ）は図２（ｄ）と類似であるが、違いは垂直信号線６‘の端部のＬＯＡＤ
Ｔｒ以降の回路であり、スイッチ回路（ＳＷ１）と、キャパシタと差動増幅回路１５のプラス側の間に増幅器１６’が挿入され、差動増幅器１５‘のマイナス側に繋がり、スイッチ回路ＳＷ２側には増幅器が挿入されずに、差動増幅器１５‘のプラス側に繋がれていることである。

図３（ｂ）は対の画素１（a11）、画素１（a‘11）と、別の対の画素１（ｂ’11）、画素１（ｂ11）の出力レベルの光電変換時間変化を示す図であり、図２（ｂ）と同じである。

図３（ｃ）ではＲＥＡＤ１、１‘を同じタイミングで読み出し、水平方向に隣接し合う画素１（ａ１１）、画素１（ａ’１１）を同時に垂直信号線６，６‘に転送する。動き検出回路７では、ＳＷ２を開き（ＯＦＦ）、ＳＷ１を閉じ（ＯＮ）、キャパシタに垂直信号線の電位を保持させる。次のタイミングでＲＥＡＤ２、２‘を同じタイミングで読み出し、水平方向に隣接し合う画素１（ｂ’１１）、画素１（ｂ１１）を同時に垂直信号線６，６‘に転送する。動き検出回路７では、ＳＷ１を開き（ＯＦＦ）、ＳＷ２を閉じ（ＯＮ）、差動増幅器１５、１５’で差分を取る。

差動増幅回路１５のプラス側にはキャパシタに蓄積されている画素１（a11）の信号成分が、差動増幅回路１５’のマイナス側には、キャパシタに蓄積されている画素１（a‘11）の信号成分に増幅器１６’でゲインが掛けられた信号が入力されている。また差動増幅回路１５のマイナス側には、ゲインが掛けられた画素１（ｂ’11）の信号成分が、差動増幅回路１５’のプラス側には、画素１（ｂ11）の信号成分が入力されている。このため、この差動増幅器１５、１５‘の出力である差動出力１７、１７’としては、それぞれ画素１（ａ１１）、画素１（ｂ’11）の差分と、画素１（ｂ11）、画素１（ａ‘１１）の差分が出力される。更に差動出力１７、１７’の先には、加算回路１８があるので、襷掛けに足した画素１（ａ１１）＋画素１（ｂ11）から、襷掛けに足した、画素１（ａ‘１１）＋画素１（ｂ’11）の１／２との差分と取った値が、加算回路１８の加算出力１９となる。これをＣＤＳ回路構成のノイズ除去回路２０で処理した出力は、ノイズ除去加算出力２１として出てくる。これは図２（ｃ）の説明と同じである。

図２（ｄ）で既に説明したように、同じ明るさの被写体の撮像の場合、第２光電変換時間の第２の画素（例えば画素１（a’11）、画素１（ｂ‘１１））の出力は増幅器２２でゲインが掛っているため、第１光電変換時間の第１の画素（例えば画素１（a11）、画素１（ｂ１１））と同じ出力でＡＤＣ回路に入力される。同一水平走査線上の対の画素１（a11）、画素１（a‘11）からは、ＲＥＡＤ１，１’を同時に開くことにより、ＡＤＣ回路には通常のＣＭＯＳセンサでのライン順次読み出しと同様な読み出し方が出来る。このようにして図２（ａ）で問題となった、ジグザグ状に出力が出てくる問題点は解消できる。また前述したように、光電変換時間の違いもゲインの調整することで、出力差を出さなくすることが出来るため、通常のＣＭＯＳセンサでの画像出力も可能な、動き検出固体撮像装置を提供できる。

図２（ｄ）や図３（ａ）に示す、本発明の構成に於いては、スイッチ回路（ＳＷ１，ＳＷ２，ＳＷ３，ＳＷ４）と有るために、動き出力２１のレベルが小さいとの判断の際には、スイッチ回路（ＳＷ３、ＳＷ４）を開き（ＯＦＦ）、画素での撮像出力がＡＤＣ回路に行かないようにすることが出来る。 この為ＡＤＣに印加される駆動波形や、回路電源電圧を動き出力レベルで制御することが出来る。更には水平走査回路をＯＦＦにすることが出来る。これは消費電力の低減に役立つ。

図４（ａ）は、図２（ａ）、図３（ａ）に示す本発明による動き検出用撮像装置の、単位セルの繰り返し配置を示した図である。図４（ａ）には画素の座標として、水平方向にＡ、Ｂ、Ｃ，Ｄ、垂直方向に１，２，３，４，５，６，７，８と座標位置を示した。被写体の物体端部と、画素配置との位置を変化させた図も添付している。図４（ａ）に於いては、黒パターンの被写体の物体端部が水平方向に延び、垂直方向の端部位置が、上側では座標２と座標３の境界に、下側では座標５と座標６の境界にある状態を、Ｉｎｉｔｉａｌ状態とする。図２（ｂ）、図３（ｂ）で示す第１光電変換時間ｔ１の間に、被写体像が１画素分だけ下側に動くケースをＴｉｍｉｎｇ１で示している。Ｔｉｍｉｎｇ１とは１画素分の移動が完了し、かつ、 ’（ダッシュ）が付記されていない画素（例えばａ１１、ａ１２、ｂ１１、ｂ１２）のリセット直後のタイミングである。次の第１光電変換時間ｔ１の間に、被写体の物体が更に１画素分だけ下側に動くケースをＴｉｍｉｎｇ２で示している。図４（ａ）で示すように２×ｔ１の移動期間で２画素分移動が完了し、かつ画素からの読み出しの直前のタイミングがＴｉｍｉｎｇ２である。この被写体の移動は一定スピードで行われると仮定する。

図４（ｂ）は、図４（ａ）で示す、３つのタイミング（Ｉｎｉｔｉａｌ、Ｔｉｍｉｎｇ１、Ｔｉｍｉｎｇ２）の場合に、各座標に有る各画素において、どの様な出力になり、それらを演算した動き検出信号がどの様になるかを表で示している。
この出力の算出に当たり、第２光電変換時間ｔ２は第１光電変換時間ｔ１の２倍の長さとし、黒パターン部分では画素出力を零とし、黒パターン以外の部分では、第２光電変換時間に該当する画素（‘を付記した画素）の出力は全て１とし、第１光電変換時間に該当する画素（‘を付記していない画素）での出力は０．５とした。またパターン端部では光強度はＳｔｅｐ状に変化し、隣接画素へのクロストーク（漏れ込み）は零とした。また黒パターンは垂直方向には全て同じ強度で伸長しているものとした。以下の図説明では、全てこれと同じ前提条件を使用する。

被写体の移動は一定スピードで行われると仮定し、第１の光電変換時間で黒パターン端部が画素（座標）の上端から下端に移動した場合、第１光電変換時間の間全面露光された場合の該当画素出力は０．５の半分とした。また、黒パターン端部が画素（座標）の中央に来た場合の画素への入射強度は、全面露光された場合の半分とした。以下の図説明においても、これと同じ前提を使用する。

図４（ｂ）に於いて、Ｉｎｉｔｉａｌのタイミングでは、光電変換が始まった直後のタイミングなので、全部の画素の出力は０となる。

Ｔｉｍｉｎｇ１では第１光電変換時間に対応した画素（ａ１１、ａ１２、ｂ１１、ｂ１２、ａ２１、ａ２２、ｂ２１、ｂ２２、‥）では、読み出され、リセットされた直後なので、出力は０になる。一方、第２光電変換時間に対応した画素（ａ’１１、ａ’１２、ｂ’１１、ｂ’１２、ａ’２１、ａ’２２、ｂ’２１、ｂ’２２、‥）では、全面露光された画素では０．５となり、黒パターンに対応し露光されない画素では０となる。黒パターン端部が移動した画素に於いては、出力は０．２５となる。

Ｔｉｍｉｎｇ２では第１光電変換時間に対応した画素では、全面露光された画素では０．５となり、黒パターンに対応し露光されない画素では０となる。黒パターン端部が移動した画素（ｂ２１、ｂ２２、ａ４１、ａ４２）に於いては、出力は０．２５となる。一方、第２光電変換時間に対応した画素では、第２光電変換時間中に全面露光された画素では１となり、黒パターンに対応し露光されない画素では０となる。Ｔｉｍｉｎｇ１で黒パターン端部が移動し、明るくなった画素（ａ‘２１、ａ’２２）に於いては、出力は０．７５となる。一方Ｔｉｍｉｎｇ１で黒パターン端部が移動し、暗くなった画素（ｂ‘３１、ｂ’３２、に於いては、出力は０．２５となる。Ｔｉｍｉｎｇ２で黒パターン端部が移動し、明るくなった画素（ｂ‘２１、ｂ’２２）では０．２５となり、暗くなった画素（ａ‘４１，ａ‘４２）では０．７５となる。

このＴｉｍｉｎｇ２より動き検出信号を算出する。算出の方法は、図２、図３で説明したように、襷掛け画素の和と、残り襷掛け画素の和を光電変換時間換算した後に差分を取る方法である。例として、Ｔｉｍｉｎｇ２の左上の２×２の画素ブロックで算出すると、（０．５＋０.５）−（１＋１）／２＝0となる。Ｔｉｍｉｎｇ２のその下の２×２の画素ブロックで算出すると、（０．５＋０.２５）−（０．２５＋０．７５）／２＝0.２５となる。同様にさらに下側の２×２の画素ブロックで算出すると、（０＋０）−（０．２５＋０）／２＝−0．１２５となる。 同様に一番下の２×２の画素ブロックで算出すると、（０．２５＋０．５）−（１＋０．７５）／２＝−０．１２５となる。黒パターンの無い部分の２×２の画素ブロックで算出すると、（０．５＋０．５）−（１＋１）／２＝０となる。また黒パターンで覆われた部分の画素ブロックでは、（０＋０）−（０＋０）／２＝０となり、常に明るかった左上の２×２の画素ブロック同様、動きが無い部分では０となる。即ち動きの有るパターンの輪郭部分で動き検出信号が発生する。動き検出信号の出力パターン表は、水平方向、垂直方向は共に半分になり、図４（ｂ）では２×４の表となる。

図５（ａ）は、図４（ａ）と同じ本発明による動き検出用撮像装置の、単位セルの繰り返し配置を示した図である。図５（ａ）にも画素の座標として、水平方向にＡ、Ｂ、Ｃ，Ｄ、垂直方向に１，２，３，４，５，６，７，８と座標位置を示した。
これを用いて、被写体の物体が移動しない場合の動き検出信号の出力パターンがどのようになるか、被写体の物***置を、図４（ａ）のＩｎｉｔｉａｌの位置を中心に、上下に１画素ずつ移動した３ケースにつき見積もってみる。

図５（ａ）には、被写体の物体端部と、画素配置との相対位置を変化させた図も添付してある。図５（ａ）に於いては、Ｃａｓｅ１として、黒パターン端部が水平方向に延び、垂直方向の端部位置が、上側では座標１，２の境界に、下側では座標４，５の境界に、来た場合としている。Ｃａｓｅ１より黒パターンを順次に１画素ずつ下側にシフトさせた場合を、Ｃａｓｅ２、Ｃａｓｅ３とした。Ｃａｓｅ１，２，３共に黒の物体は静止したままである。

図５（ｂ）は、上記Ｃａｓｅ１，２，３の場合に、各座標に有る各画素において、どの様な出力になり、それらを演算した動き検出信号がどの様になるかを表で示している。この出力の算出の前提条件は図４（ｂ）と同じである。

図５（ｂ）では、被写体の黒パターン位置のケース毎（Ｃａｓｅ１、Ｃａｓｅ２、Ｃａｓｅ３）毎に各座標の画素で発生する出力値を表に示してある。このＣａｓｅ１、２，３より動き検出信号を算出する。例として、Ｃａｓｅ１の左上の画素ブロックで算出すると、（０．５＋０）−（０＋１）／２＝０となる。同様にＣａｓｅ１の左下の画素ブロックで算出すると、（０．５＋０．５）−（１＋１）／２＝０となる。この算出を全ての画素ブロックに適用すると、全て０になる。また他のＣａｓｅでも同様に０となり、これらの結果を図５（ｂ）の一番下のＣａｓｅ１，２，３に示してある。各画素ブロック（２×２画素）に動き信号は１つしか出て来ないので、動き信号出力の表は、水平方向、垂直方向は共に半分になり、Ｃａｓｅ１，２，３の様に、２×４の表となる。

カラー撮像する場合に、通常使用されるベイヤー配列方式は、２（水平）×２（垂直）画素を基本配列とし色フィルターは斜め方向に隣接する緑色（Ｇ）が２画素と、残り赤色（Ｒ）と青色（Ｂ）の１画素ずつで構成される。便宜上２つのＧをＲの水平ラインをＧｒと、Ｂの水平ラインをＧｂと記号を変えて区別する。通常のベイヤー方式で、特許文献１の動き検出撮像装置を構成しようとすると、１画素飛ばしの位置にある同色の画素で、光電変換時間を変化させる必要が有る。動き検出の為の光電変換時間を変えた同色の画素ペアが離れると、静止した物体であっても、撮像パターン端部に於ける信号処理で、動き検出信号としてのノイズ信号が出てしまう。また同一垂直信号線上の同色信号が、１画素飛ばしになってしまい、信号処理が複雑になる問題が有った。

図６は本発明による動き検出カラー撮像装置の全体の構成を示す図である。本発明の動き検出用固体撮像装置画素の配置が２×２の４画素で１つのセルを成すという特徴は、カラーの撮像に於いても有利である。
図１の１つの画素セル（画素１（a11）、画素１（a’11）、画素１（ｂ’11）、画素１（ｂ11））に対応し、同色の色フィルターを配置する。図６ではＧｒｅｅｎ（以下Ｇ、ｇと略し、Ｒｅｄライン上をＧｒ、ｇｒ、Ｂｌｕｅライン上をＧｂ、ｇｂと略す）を配置し、画素セルのそれぞれに対応し、画素１（Ｇｒ１１）、画素１（Ｇｒ‘１１）、画素１（ｇｒ’１１）、画素１（ｇｒ１１）で示す。同様にＲｅｄ（以下Ｒ、ｒと略す）も、画素セルのそれぞれに対応し、画素１（Ｒ１１）、画素１（Ｒ‘１１）、画素１（ｒ’１１）、画素１（ｒ１１）で示す。同様にＢｌｕｅ（以下Ｂ、ｂと略す）も、画素セルのそれぞれに対応し、画素１（Ｂ１１）、画素１（Ｂ‘１１）、画素１（ｂ’１１）、画素１（ｂ１１）で示す。残りのＢｌｕｅライン上のＧｒｅｅｎも画素１（Ｇｂ１１）、画素１（Ｇｂ‘１１）、画素１（ｇｂ’１１）、画素１（ｇｂ１１）と示す。図６での画素配列としては、２×２画素に１色のブロックを２×２でベイヤー配列された１６画素単位で、垂直、水平方向に配置されている。この配列の色フィルターはクアッドベイヤー（Quad Bayer）と呼ぶ。

図１〜５に於いては色フィルター配置を意識しない説明で、動き検出方法につき説明してきたが、図６の色フィルター配置に於いても、同色の画素ブロック内で処理を行うことにより、図１〜５の動き検出の結果は、図６に同様に適用できる。

水平方向に対となっている画素１（Ｇｒ１１）、画素１（Ｇｒ‘１１）及び、画素１（Ｒ１１）、画素１（Ｒ‘１１）の読み出しゲート２，２’には、それぞれ別の読み出し配線（ＲＥＡＤ１、ＲＥＡＤ１’）が印加され、光電変換時間を同色画素内（例えばＧｒ１１、Ｇｒ‘１１）で変えている。次のラインの水平方向に対となっている画素１（ｇｒ‘１１）、画素１（ｇｒ１１）及び、画素１（ｒ’１１）、画素１（ｒ１１）画素でも同様に、それぞれ別の読み出し配線（ＲＥＡＤ２、ＲＥＡＤ２’）が印加され、光電変換時間を同色画素内（例えばｇｒ‘１１、ｇｒ１１）で変えている。図１と同様に、斜め方向に隣接する第１の画素１（Ｇｒ１１）、画素１（ｇｒ１１）の第１光電変換時間を同じにする。残りの斜め方向に隣接する第２の画素１（ｇｒ‘１１）、画素１（Ｇｒ‘１１）の第２光電変換時間も同じにし、第２光電変換時間を第１光電変換時間よりも長くしている（例えば光電変換時間を２倍にする）。この状況は図１と同じである。また他の色の色ブロックでの２×２画素の光電変換時間も同様に変化を持たせる。垂直信号線６，６’の下端部で回路構成も図１と同じである。図４の本発明による動き検出カラー撮像装置の駆動方法は、図１と同じであり、カラーのデジタル信号がADC回路８から、動き検出信号が水平信号線１２からそれぞれ出力される。

図７（ａ）、（ｂ）は、本発明による動き検出カラー撮像装置において、被写体の物***置が変化した際の、動き検出信号の変化の仕方を説明する図である。

図７（ａ）は、図６に示す本発明による動き検出カラー撮像装置の、具体的な構成要素図面を基に、色ブロックの繰り返し配置を示した図である。図６の基本構成である画素１、読み出しトランジスタ２のゲート、フローティングジャンクション３、リセットトランジスタ４のゲート、増幅トランジスタ５のゲート、垂直信号線６，６‘を実際のレイアウト図を参考に示してある。図１の１つの画素セル（画素１（a11）、画素１（a’11）、画素１（ｂ’11）、画素１（ｂ11））は色ブロックに対応し、図７（ａ）ではＧｒｅｅｎの色ブロック（Ｇｒ１１、Ｇｒ‘１１、ｇｒ’１１、ｇｒ１１）に対応している。便宜上、図６（ａ）には画素の座標として、水平方向にＡ、Ｂ、Ｃ，Ｄ、垂直方向に１，２，３，４，５，６，７，８と座標位置を示した。

図７（ａ）には、被写体の物体端部と、画素配置との相対位置を変化させた図も添付してある。図７（ａ）に於いては、Ｃａｓｅ１として、黒の物体端部が水平方向に延び、垂直方向の端部位置が、上側では座標３の中央に、下側では座標６の中央にある状態を、Ｉｎｉｔｉａｌ状態とする。 図２（ｂ）、図３（ｂ）で示す第１光電変換時間ｔ１の間に、物体が１画素分だけ下側に動くケースをＴｉｍｉｎｇ１で示している。Ｔｉｍｉｎｇ１とは１画素分の移動が完了し、かつリセット直後のタイミングである。次の第１光電変換時間ｔ１の間に、物体は更に１画素分だけ下側に動くケースをＴｉｍｉｎｇ２で示している。図４（ａ）で示すように２×ｔ１の移動期間で２画素分移動が完了し、かつ画素からの読み出しの直前のタイミングがＴｉｍｉｎｇ２である。この被写体の物体移動は一定スピードで行われると仮定する。

図７（ｂ）は、図７（ａ）で示す、３つのタイミング（Ｉｎｉｔｉａｌ、Ｔｉｍｉｎｇ１、Ｔｉｍｉｎｇ２）の場合に、各座標に有る各画素において、どの様な出力になり、それらを演算した動き検出信号がどの様になるかを表で示している。
この出力の算出に当たり、条件は図４（ａ）と同じ前提条件を使用する。詳細は図４（ｂ）と同様な算出方法で求まり、結果のみを記載すると、３つのタイミング（Ｉｎｉｔｉａｌ、Ｔｉｍｉｎｇ１、Ｔｉｍｉｎｇ２）に対応した表のようになる。動きの有る物体の輪郭部分で動き検出信号が発生する。動き検出信号の出力パターン表は、水平方向、垂直方向は共に半分になり、図７（ｂ）では２×４の表となる。

図８（ａ）は、図７（ａ）と同じ本発明による動き検出用撮像装置の、単位セルの繰り返し配置を示した図である。図８（ａ）にも画素の座標として、水平方向にＡ、Ｂ、Ｃ，Ｄ、垂直方向に１，２，３，４，５，６，７，８と座標位置を示した。
これを用いて、被写体の物体が移動しない場合の動き検出信号の出力パターンがどのようになるか、被写体の物***置を、図７（ａ）のＩｎｉｔｉａｌの位置を中心に、上下に１画素ずつ移動した３ケースにつき見積もっている。

図８（ａ）には、被写体の物体端部と、画素配置との相対位置を変化させた図も添付してある。図８（ａ）に於いては、Ｃａｓｅ４として、黒の物体端部が水平方向に延び、垂直方向の端部位置が、上側では座標２の中央に、下側では座標５の中央に来た場合としている。Ｃａｓｅ４より黒の物体を順次に１画素ずつ下側にシフトさせた場合を、Ｃａｓｅ５、Ｃａｓｅ６とした。Ｃａｓｅ４，５，６共に黒の物体は静止したままである。

図８（ｂ）は、上記Ｃａｓｅ４，５，６の場合に、各座標に有る各画素において、どの様な出力になり、それらを演算した動き検出信号がどの様になるかを表で示している。この出力の算出の前提条件は図５（ｂ）と同じである。
詳細は図５（ｂ）と同様な算出方法で求まり、結果のみを記載すると、３つのケース（Ｃａｓｅ４，５，６）で、動き検出信号の出力パターン表は、水平方向、垂直方向は共に半分になり、図８（ｂ）では２×４の表となる。算出結果は全ての色ブロック毎に、全て０となる。

上記の説明では、被写体の物体は、端部が左右方向に伸びた黒の物体を想定し、黒の物体が上下方向に移動させた場合、及び画素に対して上下方向の相対位置を変化させた場合、に対する算出結果であった。
被写体の物体端部が上下方向に伸び、画素配列に対し、左右方向に移動する場合でも同様に算出できる。本発明では画素ブロックが２×２の画素セルで襷掛け演算を行っており、結果は同等な結果になる。

図９は本発明による別の実施例である動き検出カラー撮像装置の全体構成を示す図である。本発明の動き検出用固体撮像装置画素の配置は２×２の４画素で１つのセルを成すという特徴はそのままで、４画素でフローティングジャンクション３、及び増幅トランジスタ５、リセットトランジスタ４を共有する構成である。
色ブロックごとの色フィルター配置は、図６と同じである。画素セルのそれぞれに対応し、例えば左上のブロックでは画素１（Ｇｒ１１）、画素１（Ｇｒ‘１１）、画素１（ｇｒ’１１）、画素１（ｇｒ１１）で構成される。図９での画素配列としては、２×２画素の色ブロックが４つ、ベイヤー配列された４×４＝１６画素単位で、垂直、水平方向に配置されている。

水平方向に対となっている画素１（Ｇｒ１１）、画素１（Ｇｒ‘１１）及び、画素１（Ｒ１１）、画素１（Ｒ‘１１）の読み出しゲート２，２’には、それぞれ別の読み出し配線（ＲＥＡＤ１、ＲＥＡＤ１’）が印加され、図６と同様に、光電変換時間を同色画素内（例えばＧｒ１１、Ｇｒ‘１１）で変えている。次のラインの水平方向に対となっている画素１（ｇｒ‘１１）、画素１（ｇｒ１１）及び、画素１（ｒ’１１）、画素１（ｒ１１）画素でも同様に、それぞれ別の読み出し配線（ＲＥＡＤ２、ＲＥＡＤ２’）が印加され、光電変換時間を同色画素内（例えばｇｒ‘１１、ｇｒ１１）で変えている。図６と同様に、斜め方向に隣接する第１の画素１（Ｇｒ１１）、画素１（ｇｒ１１）の第１光電変換時間を同じにする。残りの斜め方向に隣接する第２の画素１（ｇｒ‘１１）、画素１（Ｇｒ‘１１）の第２光電変換時間も同じにし、第２光電変換時間を第１光電変換時間よりも長くしている。この状況は図６と同じである。

他の色ブロックでの２×２画素の光電変換時間も同様に変化を持たせる。垂直信号線６は各色ブロック単位で１本しかない。図９の下端部で回路構成は図６と少し異なる。しかし、これは動き検出回路７、ＡＤＣ回路８の中の構成の違いであり、水平走査回路１３、垂直走査回路１４、水平読み出しゲート１１、水平読み出し線１２は図６と同じである。カラーのデジタル信号がADC回路８から、動き検出信号が水平信号線１２からそれぞれ出力される。

図１０は図９の本発明による動き検出カラー撮像装置の、具体的な構成要素図面を基に、色ブロックの基本ユニット構成を示した図である。例として示したＧｒｅｅｎ色ブロックの画素１はＧｒ１１、Ｇｒ‘１１、ｇｒ’１１、ｇｒ１１の４画素で構成される。読み出しゲート２，２‘、フローティングジャンクション３、リセットトランジスタ４のゲート、増幅トランジスタ５のゲートは図１０の様に配置される。図１０に於いて、出力回路部分を４画素で共有化でき、集積度を向上することが出来る。

図１１（ａ）、（ｂ）、（ｃ）は図９の２×２の基本画素ブロックと垂直信号線の先の回路と、駆動を説明する図である。図は一般的な形として、図２に対する対比で色フィルター無しの構成で説明している。

図１１（ａ）は図１０に示す本発明の別の実施例のユニットセルのレイアウトと、動き検出回路構成、駆動方法を説明する図である。画素の配置は２×２の４画素（画素１（a11）、画素１（a’11）、画素１（ｂ’11）、画素１（ｂ11））で１つのセルを構成する。水平方向に対となっている画素１（a11）、画素１（a‘11）の読み出しゲート２、２’には、それぞれ別の読み出し配線（ＲＥＡＤ１、ＲＥＡＤ１’）が印加され、残りの水平方向に対となっている画素１（ｂ’11）、画素１（ｂ11））の読み出しゲート２‘、２には、それぞれ別の読み出し配線（ＲＥＡＤ２’、ＲＥＡＤ２）が印加されている。４画素の電荷は１つのフローティングジャンクション３に流入し、垂直信号線６で読み出される。

図１１（ａ）に於いて、垂直信号線６の端部のＬＯＡＤ Ｔｒ（負荷トランジスタ）への接合点からは幾つかの回路に分岐していく。ＬＯＡＤ
Ｔｒの電位はスイッチ回路（ＳＷ１）を経て、キャパシタと差動増幅回路１５のプラス側に繋がる。またＬＯＡＤ Ｔｒの電位はスイッチ回路（ＳＷ２）を経て、増幅器１６を介し、差動増幅回路１５のマイナス側にも繋がっている。この差動増幅器１５の出力を差動出力１７とする。この差動出力は動き検出信号を構成する。

ＬＯＡＤ Ｔｒの電位は分岐した後に、それぞれスイッチ回路（ＳＷ３、ＳＷ４）を経て、一方のみ増幅器２２を介し、再び合流しＡＤＣ回路に入力される。この増幅器２２では、光電変換時間の違った画素出力を揃える機能を行う。具体的には、光電変換時間の違った画素出力が交互に出てくるため、これに同期し、ＳＷ３，ＳＷ４を変化させ、光電変換時間の長い画素（図ではａ‘１１、ｂ’１１）は増幅器２２を通して１／２の出力にする。

図１１（ｂ）は対の画素１（a11）、画素１（a‘11）と、別の対の画素１（ｂ’11）、画素１（ｂ11）の出力レベルの光電変換時間変化を示す図である。

図１１（ｃ）はＲＥＳＥＴ、ＲＥＡＤ１、１‘、ＲＥＡＤ２，２’のタイミング、及び垂直信号線に現れる出力の変化、差分出力を説明する図である。水平方向に隣接し合う画素１（ａ１１）、画素１（ａ’１１）を順次ＲＥＡＤ１、１‘に、読み出しパルスを印加し（タイミングＴ１，Ｔ２）、垂直信号線６に転送する。垂直信号線６の出力と、増幅器２２を経た後に合流したポイントでの、垂直信号線６’の出力とを図中で示す。光電変換時間の差異を補正しているために、正常な撮像出力となって、ＡＤＣ回路にシリアルに入っていく。ＡＤＣ回路からは順次ａ１１、ａ‘１１の順で出力される。

図１１（ａ）の差動出力１７の波形は、図１１（ｃ）の様になるが、両者の差分を取ることにより（回路は図示せず）、動き信号が出力される。差分出力１７‘ではノイズ成分が加算されているが、通常のＣＤＳ回路を通せば、容易にノイズ成分は除去できる（図示せず）。この様に、図９、１０で示す出力回路を共有化した４画素１セル構成に於いても、本発明は有効であり、正常画像信号と、動き検出信号の双方を出力させることが出来る。

上記説明の画素サイズは全て同じで、同色の場合に感度は同じ前提にしていた。光電変換時間を２倍変えることで、出力差が２倍変わる。この為、増幅器で１／２に低減し、出力を揃えて差分信号を取り、動き検出信号を得ていた。列毎に増幅器を設けることで、動き検出回路の構成を複雑にするばかりか、消費電力も増加させていた。

図１２（ａ）、（ｂ）、（ｃ）は本発明の別の実施例のユニットセルのレイアウトと、動き検出回路構成、駆動方法を説明する図である。画素の配置は２×２の４画素（画素１（a11）、画素１（a’11）、画素１（ｂ’11）、画素１（ｂ11））で１つのセルを構成する。水平方向に対となっている画素１（a11）、画素１（a‘11）の読み出しトランジスタ２、２’のゲートには、それぞれ別の読み出し配線（ＲＥＡＤ１、ＲＥＡＤ１’）が印加され、残りの水平方向に対となっている画素１（ｂ’11）、画素１（ｂ11））の読み出しトランジスタ２、２’のゲートには、それぞれ別の読み出し配線（ＲＥＡＤ２’、ＲＥＡＤ２）が印加されている。４画素の電荷は１つのフローティングジャンクション３に流入し、垂直信号線６で読み出される。これらは図１１（ａ）と変わらない。

図１２（ａ）では、第１の光電変換時間の第１画素組（画素１（a11）、画素１（ｂ11））と、第２の光電変換時間の第２の画素組（画素１（ｂ‘11）、画素１（ａ’11））の画素サイズを変え、感度を変えることを特徴とする。ここでは第２画素組の感度を、第１の画素組の感度の１／２倍にし、一方、第２の光電変換時間を、第１の光電変換時間の２倍にした例に付き説明する。

図１２（ｂ）は、画素１（a11）、画素１（a‘11）、画素１（ｂ’11）、画素１（ｂ11）の出力レベルの光電変換時間変化を示す図である。第１の画素組（画素１（a11）、画素１（ｂ11））の感度は高く、途中でリセット（ＲＳ）を行っている。第の１画素組は感度が２倍だが、光電変換時間は１／２とするところが特長である。この為、読み出しのタイミングでは、第１の画素組と第２の画素組の出力は同じになる。

図１２（ｃ）は図１２（ａ）、（ｂ）に示す実施例の駆動方法であり、ＲＥＳＥＴ、ＲＥＡＤ１、１‘のタイミング、及び垂直信号線に現れる出力の変化、差分出力を説明する図である。水平方向に隣接し合う画素１（ａ１１）、画素１（ａ’１１）を順次ＲＥＡＤ１、１‘に、読み出しパルスを印加し（タイミングＴ６，Ｔ８）、垂直信号線６に転送する。垂直信号線６の出力と、光電変換時間の差異を画素の感度で元々補正しているために、正常な撮像出力となって、ＡＤＣ回路にシリアルに入っていく。ＡＤＣ回路からは順次ａ１１、ａ‘１１の順で出力される。

図１２（ａ）に於いて、垂直信号線６の端部の動き検出信号処理回路は、ＣＤＳ回路と類似の回路で構成される。これは光電変換時間の違いが、出力の差になっていない為、増幅器が不要となり、回路が簡略化された為である。差動出力１７の波形は、図１２（ｃ）の様になる。これは増幅器が不要となったため、リセットのノイズ成分が、同じになり、差分で消し去ることが出来るためである。同様にｂ‘１１とｂ１１でも同様に処理を行い、ａ１１、ａ’１１の演算結果と合体することで、本発明の動き検出回路信号を取得することが出来る。
この様に、図１２で示す出力回路を共有化した４画素１セル構成に於いても、本発明は有効であり、正常画像信号と、動き検出信号の双方を出力させることが出来る。

図１３は、図１２に示す出力回路を共有化した４画素１セル構成の動き検出カラー撮像装置の、具体的な構成要素図面を基に、色ブロックの繰り返し配置を示した図である。出力回路を共有化した４画素１セル構成は図１０に準拠しており、図１３の画素による感度差を、画素サイズの大きさを変えることにより表現した。通常画素サイズの大きさは、画素の最上面に有るマイクロレンズの大きさで制御される。色フィルターの配置は図６と同じである。

図１４は、図１３に示す出力回路を共有化した４画素１セル構成の動き検出カラー撮像装置の、具体的な構成要素図面を基に、出力回路の効率的な配置を行った、繰り返し構成図である。駆動方法等は図１３と変わらない。

図１５（ａ）は、図１２（ａ）に示す本発明による検出用撮像装置の、単位セルの繰り返し配置を示した図である。動きの方向が本発明により容易に判定できることを、以下に説明する。図１５（ａ）には画素の座標として、水平方向にＡ、Ｂ、Ｃ，Ｄ，Ｅ，Ｆ、Ｇ、Ｈ、Ｉ、Ｊ、Ｋ、Ｌ、垂直方向に１，２，３，４と座標位置を示した。

図１５（ｂ）には、図１２（ｂ）と同様に、画素１（a11）、画素１（a‘11）、画素１（ｂ’11）、画素１（ｂ11）の出力レベルの光電変換時間変化を示す図である。第１の画素組（画素１（a11）、画素１（ｂ11））の感度は２倍だが、光電変換時間は１／２としており、この為、読み出しのタイミング（Ｔｉｍｉｎｇ２）では、第１の画素組と第２の画素組の出力は同じになる。途中でリセット（ＲＳ）を行っているが、このタイミングをＴｉｍｉｎｇ１とし、スタートをＩｎｉｔｉａｌとする。

図１５（ａ）には、被写体の黒い物体端部と、画素配置との位置を変化させた図も添付してある。図に於いては、黒い物体の端部が垂直方向に延び、水平方向の端部位置が、左側ではＢ座標とＣ座標の境界に、右側ではＨ座標とＩ座標の境界にある状態を、Ｉｎｉｔｉａｌ状態とする。第１光電変換時間ｔ１の間に、物体は２画素分だけ右側に動くケースをＴｉｍｉｎｇ１で示している。Ｔｉｍｉｎｇ１とは２画素分の移動が完了したタイミングである。次の第１光電変換時間ｔ１の間に、物体は更に２画素分だけ右側に動くケースをＴｉｍｉｎｇ２で示している。図１５（ｂ）で示すように２×ｔ１の移動期間で４画素分移動が完了したタイミングがＴｉｍｉｎｇ２である。この物体の移動は一定スピードで行われると仮定する。

図１５（ｃ）は、図１５（ａ）で示す、３つのタイミング（Ｉｎｉｔｉａｌ、Ｔｉｍｉｎｇ１、Ｔｉｍｉｎｇ２）の場合に、各座標に有る各画素において、どの様な出力になり、それらを演算した動き検出信号がどの様になるかを表で示している。
この出力の算出に当たり、第２光電変換時間は第１光電変換時間の２倍の長さとし、黒い物体は画素出力を零とし、黒い物体以外の部分では、第２光電変換時間に該当する画素（‘を付記した画素）の出力は１とした。その他の前提条件は図４と同様である。

図１５（ｃ）に於いて、Ｔｉｍｉｎｇ１では第１光電変換時間に対応した画素（ａ１１、ａ１２、ａ１３、‥、ｂ１１、ｂ１２、ｂ１３‥）では、読み出され、リセットされた直後なので、出力は０になる。一方、第２光電変換時間に対応した画素（ａ‘１１、ａ’１２、ａ‘１３、ｂ’１１、ｂ‘１２、ｂ’１３‥）では、全面露光された画素では０．５となり、黒パターンに対応し露光されない画素では０となる。以下細かい説明は割愛するが、Ｔｉｍｉｎｇ１、Ｔｉｍｉｎｇ２では、図１５（ｃ）の表のようになる。このＴｉｍｉｎｇ２より動き検出信号を算出すると、同様に詳細な説明は割愛するが、動き検出信号の表のようになる。 ここで動きの方向が±の符号で表現される。即ち、黒い物体の場合、移動の先頭部分の符号はマイナスであり、移動の最後尾部分の符号はプラスとなる。また白い物体の場合には符号のプラスとマイナスは逆となる。即ち、本願に於いては、移動物体の周辺部分で動き検出情報が出てくるのと同時に、その符号で動きの方向も検出することが出来る。

本発明による効果を検証すべく、同一被写体にて、従来公知例（特許文献１の方式と、本発明の方式を比較実施した。比較的細かなパターンの無い場合でも、動きのないバックグラウンドのノイズ数の比較を行ったところ、従来公知例に対し、本発明の方式では、約２桁ノイズが少なくなることが確認され、物体のエッジに於ける、本願のノイズ抑止効果が確認された。この差は被写体が細かくなるほど差異は大きくなり、移動物体の抽出精度を高めることが可能となる。

本発明による他の効果を検証すべく、被写体の動きの方向に対する符号を実際撮像状態で確認した処、予想通り、移動被写体のエッジにて、算出符号の違いを確認した。

このように本願に於いては、後段での複雑な信号処理を行う必要なく、センサ内部で、動き検出部分の抽出と、動きの方向の情報を得ることが出来、システムの大幅な簡略化が出来る。

図1６は、本発明を適用した動き検出システムの全体の構成を示す図である。
本発明の動き検出システム３０aは、撮像レンズ３１を備えた撮像装置３２aと動き判定回路３３a、動きを判定するための判定レベルを設定する動き判定用閾値設定回路３４、撮像装置３２aの撮像信号をモニターに再生するための映像信号となるように処理するカラー信号処理回路３５、映像信号１を出力するための映像信号出力回路３７と、動き判定した判定結果を出力するための動き判定信号出力回路３６などから構成されている。

動き判定用閾値設定回路３４は、ノイズレベルの差分信号をカウントしないようにカウントするレベル閾値１を設定すると共に、閾値２となるカウント数を設定する。この閾値２よりカウント数が多くなると動く物体が有ると判定する。

動き判定回路３３aは、撮像装置３２aから出力される動き検出信号のレベルが、閾値１より大きいレベルの発生回数をカウントする。そして、閾値２よりカウント数が多くなると動く物体が有ると判定し、判定信号ON/OFFをHIレベルにする。動きが無い場合は、LOレベルに設定している。

動き判定回路３３aで生成した動き判定信号（ON/OFF）を用いて、動きが無いと判定した場合には、カラー信号処理回路３５や映像信号出力回路３７などの回路動作や信号処理動作を停止することで動き検出システム３０aの消費電力を低減できる。同様に、撮像装置３２aのタイミング回路を制御することで、撮像装置３２aの消費電力も低減できる。

動き判定信号による回路や装置の処理動作の停止方法１として、カラー信号処理の入力信号を遮断する。例えば入力信号の10bitのデジタル値をオールゼロに切換える。カラー信号処理回路以降の信号がゼロとなり、デジタル回路のスイッチ動作（０⇔１切換え）が停止することで回路動作の消費電力を低減することができる。
停止方法２として、各回路や装置には誤動作発生時に元の状態に戻すためのリセットスイッチが備わっている。このリセットスイッチをON状態で保つことで各回路や装置の回路処理を停止させたままにすることで、消費電力を低減することができる。

図1７は、本発明を適用した動き検出システムの変形例を示す全体の構成図である。
動き検出システム３０ｂは、図１６の動き判定信号出力回路３６を削減し出力信号を映像信号２のみとすることで従来の伝送ケーブルが使えるなどの利点がある。動き判定回路３３ｂは、動き判定信号（ON/OFF）を出力すると共に判定コードを出力している。動き判定信号（ON/OFF）は図１６と同様に、カラー信号処理回路３５や映像信号出力回路３７などの回路動作や信号処理動作を停止する。

判定信号のON/OFF信号をコード化した判定コードは、動き判定信号加算回路３８を用いて映像信号に埋め込んでいる。一般的に、映像信号と異なる撮影情報は有効な映像信号が含まれないブランキング期間に情報を埋め込んでいる。同様に動き判定信号をコード化し、ブランキング期間に埋め込んで映像信号２を出力する。

図１８は、図１に示す本発明による動き検出用撮像装置の全体構成図に於いて、動き検出信号が出力される水平信号線１２に、判定回路３３aを設けた構成図である。判定回路３３aの判定出力信号ON/OFFは、タイミング発生回路２４へ入力している。そして、このタイミング発生回路２４を制御することで、垂直走査回路１４、水平走査回路１３、動き検出回路７、ＡＤＣ回路８などの駆動方法を変更する機能を付加することができる。また、判定出力信号ON/OFFは外部へ出力することもできる。図１８で示される判定回路３３aを付加することで、可能となる具体的な駆動方法につき以下に順次説明する。

図１８で示される判定回路３３aを付加することの応用例１として、移動物体の有無をモニターする監視装置に於いて省電力化するシステムがある。従来の動き監視システムでは、撮像カメラを常に駆動させているため、固体撮像装置の消費電力、および後段の信号処理のシステムを駆動するための消費電力が大きかった。これは移動物体の有無によらず、常にほぼ一定の消費電力を必要としていた。しかしながら本発明による動き検出用撮像装置では、判定回路３３aでの動き検出信号のレベルに応じて、垂直走査回路１４の読み出し走査線本数を変えたり、同様に水平走査回路１３で、読み出し垂直信号線本数を変えたりすることができる。動き検出信号のパターンに応じて、間引く水平走査本数と、間引く垂直信号線本数との比を変えることが可能である。この場合には判定回路３３aから情報によりタイミング発生回路を制御することで垂直走査回路１４および水平走査回路１３を制御する。

走査線の本数の間引き方としては、最初に全画面の撮像を行い、移動物体の有無を検出する。移動物体がない場合には走査線の本数を間引き、移動物体の出現まで間引いた状態を保持する。間引く間隔は状況により変わるので、幾つかの間引きパターンを用意しておき、いずれを選択するかを、動き検出信号のパターンにより変えてもよい。移動物体が出現した際には、再度全画素撮像モードに戻せばよい。
移動物体の存在領域が偏っている場合には、全画像をブロック分けし、移動物体の存在する領域のみ走査線の本数を増やし、他の領域は少なくした駆動モードを準備しておき、移動物体の存在領域でパターンを選択することも可能である。

図１８で示される判定回路３３aを付加することの別の応用例２として、移動物体に対応した動き検出信号が小さい場合に、光電変換蓄積期間を変化し、それに応じて増幅器のゲインを変えることにより、動き検出信号を増加することも可能となる。この場合には判定回路３３aから動き検出回路７、および蓄積時間制御回路２５に情報が入る。何回か繰り返すことで、動き検出信号が最大になる条件を見つけ、移動物体に相応しい光電変換蓄積期間を設定すればよい。

図１８で示される判定回路３３aを付加することの別の応用例３として、移動物体が無い場合に、後段の信号処理システムの電源をスタンバイ状態にしてしまい、動き検出信号が有意に出現した場合に、再度電源を入れる、後段の電源のＯＮ／ＯＦＦ信号として使ってもよい。この様にすることで、動きが無い場合には、撮像装置の間引き動作で省エネモードにする以外に、後段の信号処理回路の電源をＯＦＦしてしまうことにより、大幅な省エネが達成できる。特に動きが少ない場所での監視システムに於いて、常に後段処理が必要な従来のシステムに比べ、動きがある場合のみ後段の電源が入り、普段は本発明の撮像装置の間引き駆動のみで済むため、大幅な（例えば１／１０００〜１／１０００００）省エネが実現できる。この特長は山間部の電源が届かない場所での監視システムに本発明を適用する場合には、大きなメリットになり、コンパクトなソーラーバッテリーと蓄電器のセットの電源で十分駆動可能なレベルまで達する。

図１８で示される判定回路３３aを付加することの別の応用例４として、動き検出信号の情報を基にＡＤＣの変換レベルを変化させダイナミックレンジを広げてもよい。移動物体に対応した動き検出信号が小さい場合に、応用例３で示した様に、光電変換蓄積期間を変化させ、それに応じて増幅器のゲインを変えて、動き検出信号を増やす方法を説明したが、動き検出信号の出ている領域で、通常画像のダイナミックレンジを広げるようにすることが出来る。具体的には光電変換蓄積時間の違った２つの画素の加算をすることでダイナミックレンジの拡大を図り、これに相応しいＡＤＣの設定を行うことができる。図１２に示した画素サイズの異なる画素の加算で
高ダイナミックレンジを図る方法でも同じである。

本発明による動き検出撮像装置では、上記に説明してきたように、動き検出信号と同時に通常の画素撮像情報を得ることが出来、また動き情報を元に通常の画素撮像情報を外部に出力させない判定機能を設けることができる。この動きの有る部分の撮像情報のみを外部に出力し、動きの無い画像情報は外部に出力させない機能は、監視カメラ用途としては非常に有用である。即ち、複数の監視カメラで監視をするシステムに於いて、従来監視カメラのモニターすることが、監視員の大きな負荷となっていたが、動きの有るカメラのみ若しくは、動きの有る部分のみの表示になり、監視員の負荷が大幅に軽減される。

本発明の動き検出用固体撮像装置を好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

例えば、光電変換時間の比は１：２に限定されず、被写体の動きに応じて比率を変えられる。その際、増幅器のゲインを対応して変化（増幅または低減）させれば良い。また画素の感度を変える場合でも、１：２に限定されるものでない。
図１３、図１４の画素セルのレイアウトを９０度もしくは４５度回転した配置にしても良い。

本発明では画素ブロックとして隣接する２×２画素をセル単位としていたが、通常のベイヤー配置のカラー撮像装置に於いて、一画素おき同色の２×２の画素ブロックで同様の演算処理をしてもよい。この場合には当然、動きのないバックグラウンドノイズが増えるが、従来のベイヤー配置の色フィルターをそのまま使うことが出来る。また本願の襷掛け演算処理をすることにより、従来の水平方向のみの演算に比べても、バックグラウンドノイズを減らすことが出来る。

１：画素
２：読み出しトランジスタ、 ＲＥＡＤ：読み出し配線
３：フローティングジャンクション
４：リセットトランジスタ ＲＥＳＥＴ（ＲＳ）；リセット配線、リセットパルス
５：増幅トランジスタ
６、６‘：垂直信号線
７：動き検出回路
８：ＡＤＣ（Analog
to Digital Converter）回路
１０：画素群
１１：水平読み出しゲート（動き検出信号）
１２：水平信号線（動き検出信号）
１３：水平走査回路
１４：垂直走査回路
１５、１５‘：差動増幅器
１６，１６‘：増幅器
１７，１７‘：差動出力
１８：加算回路
１９：加算出力
２０：ノイズ除去回路
２１：ノイズ除去加算出力
２２：増幅器
２４：タイミング発生回路
２５：蓄積（光電変換）時間制御回路
３０a、３０b：動き検出システム
３１：光学レンズ
３２：動き検出イメージセンサ
３３a、３３ｂ：動き判定回路
３４：動き検出判定閾値
３５：カラー信号処理
３６：動き判定信号出力回路
３７：映像信号出力回路
３８：動き判定信号加算回路
ＬＯＡＤ Ｔｒ： 負荷トランジスタ
ＳＷ１，２，３，４：スイッチ回路
Ｇｒ、Ｇｒ‘、ｇｒ、ｇｒ’、Ｒ、Ｒ‘、ｒ、ｒ’、Ｂ、Ｂ‘、ｂ、ｂ’：色フィルター

Claims (11)

1. 撮像レンズで集光した光を電気信号に変換するための画素を2次元に配置した画素群と、その画素群を駆動する駆動手段とを含む画素部と、
   前記画素部で、撮像した撮像信号から動きを検出するための動き検出手段からなる動き検出固体撮像装置に於いて、
   前記画素群は、隣接した２×２の４画素を単位画素ブロックとし、
   前記動き検出手段は、前記単位画素ブロック内の、２画素をペアとした２組の信号差分を演算する演算手段と
   を備えることを特徴とする動き検出固体撮像装置。
   
2. 撮像レンズで集光した光を電気信号に変換するための画素を2次元に配置した画素群と、その画素群を駆動する駆動手段とを含む画素部と、
   前記画素部で、撮像した撮像信号から動きを検出するための動き検出手段と、
   前記動き検出手段の出力信号をもとに動き判定する動き判定手段と、
   前記撮像信号を処理する信号処理手段とからなる動き検出システムに於いて、
   前記画素群は、隣接２×２の４画素を単位画素ブロックとし、
   前記動き検出手段は、前記単位画素ブロック内の、２画素をペアとした２組の信号差分を演算する演算手段と
   を備えることを特長とする動き検出システム。
   
3. 前記画素の上部に光の波長を分離する色フィルターをオンチップで形成し、前記色フィルターは、前記隣接した２×２の４画素の単位画素ブロックを同色とし、前記単位画素ブロックの４組をベイヤー配列で2次元に配置したこと
   を特長とする請求項１に記載の動き検出固体撮像装置または請求項２に記載の動き検出システム。
   
4. 前記画素の上部に光の波長を分離する3種類の色フィルターを隣接した２×２の４画素の単位画素ブロックに1色配置し、隣接した単位画素ブロックの２×２の４ブロックに3色の色フィルターをベイヤー配列に準じて2次元に配置したこと
   を特長とする請求項１に記載の動き検出固体撮像装置または請求項２に記載の動き検出システム。
   
5. 前記画素で光電変換した信号電荷を読出し電圧に変換するフローティングジャンクションを、隣接する２×２の４画素で共通化したこと
   を特長とする請求項１に記載の動き検出固体撮像装置または請求項２に記載の動き検出システム。
   
6. 前記画素部は、光電変換した信号を画素から読み出すための読出しトランジスタと読出しトランジスタを制御するための読出し信号線を有し、
   前記画素群は、光電変換時間を異ならせるために２つの読出し信号線を画素毎に前記読出しトランジスタに接続したこと
   を特長とする請求項１に記載の動き検出固体撮像装置または請求項２に記載の動き検出システム。
   
7. 前記２つの読出し信号線は、前記２×２の単位画素ブロックに於いて、襷掛けの位置関係となる斜めに配置した２画素が同一の光電変換時間となるように、２つの読出し信号線を交互に読出しトランジスタに接続したこと
   を特長とする請求項６に記載の動き検出固体撮像装置または動き検出システム。
   
8. 前記動き検出手段は、前記画素部から読み出した光電変換時間の異なる信号量が、同じ信号量になるように光電変換時間比の逆数で前記信号量を調整する信号増幅手段をさらに備えたこと
   を特長とする請求項６に記載の動き検出固体撮像装置または動き検出システム。
   
9. 前記動き検出手段は、前記画素部の上部端もしくは下部端に備えたこと
   を特長とする請求項１に記載の動き検出固体撮像装置または請求項２に記載の動き検出システム。
   
10. 前記動き判定手段の判定信号を基に、
    前記駆動手段を制御するためのタイミング発生手段を制御することで、前記画素群から読み出す実行画素数を少なくすること
    を特長とする請求項２に記載の動き検出システム。
    
11. 前記動き判定手段の判定信号を基に、
    前記動き検出手段の動き検出信号の符号にて被写体の動きの方向を判定する動き方向判定手段をさらに備えたこと
    を特長とする請求項２に記載の動き検出システム。