JP4306183B2 - 固体撮像装置及びその駆動方法 - Google Patents
固体撮像装置及びその駆動方法 Download PDFInfo
- Publication number
- JP4306183B2 JP4306183B2 JP2002151802A JP2002151802A JP4306183B2 JP 4306183 B2 JP4306183 B2 JP 4306183B2 JP 2002151802 A JP2002151802 A JP 2002151802A JP 2002151802 A JP2002151802 A JP 2002151802A JP 4306183 B2 JP4306183 B2 JP 4306183B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- subject
- frame
- signal
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Image Input (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、通常の画像信号の取得機能に加えて一定のアプリケーションを実行するための演算機能を付加した固体撮像装置及びその駆動方法に関する。
【０００２】
【従来の技術】
近年、ＣＭＯＳイメージセンサ等の固体撮像装置は、その小型化、低価格化、低消費電力化等の改良に伴い、パソコン（ＰＣ）、ゲーム、携帯電話、携帯端末等の各種ＩＴ関連機器におけるカメラモジュールとして標準的に搭載することが一般的になりつつある。
また、現状の固体撮像装置では、単に自然画像を取得するに留まっているが、今後、上述のような各種ＩＴ関連機器に搭載されているプロセッサ、ネットワーク技術と関連し合いながら、単に画像を取得するにとどまらず、画像認識、画像加工等、さまざまな複雑な画像処理機能を保持していくことが予想される。
【０００３】
しかし、一般的に、これらの画像処理には複雑な演算処理が必要とされるため、特に携帯機器等に搭載され得る処理機能では自然画像より、これらの画像処理を行なうことは処理能力の点から不可能な場合があり、そのような場合は、イメージセンサ上で何らかの演算機能を保持し、画像処理の前処理的な演算を実行することが期待される。
そこで、このような演算機能の１つとして、画像の手前の物体のみを画像から切り出し、背景を隠す、背景削除という機能の実現が期待されている。これは、例えば携帯機器等を利用した動画像通信等において、プライベート事項の守秘のために、手前の会話している人物のみを切り出し、後ろの背景を隠すなどの必要性があるためである。また、これは同時に手前の人物のみを伝送すれば良いこととなり、データ量の低減にもつながるものである。
【０００４】
【発明が解決しようとする課題】
ところで、上述のような背景を分離する機能は、通常のイメージセンサを使用して、後段のプロセッサを用いて演算すれば、可能であるが、手前の人物の認識、輪郭の切り抜き等、計算量は膨大であり、現状の携帯機器のような小型のスペースで動画に追随し得るリアルタイムの処理を行なうことは不可能である。
また、このような実情に対し、現状では背景分離の機能をセンサ内の演算処理で実現するようなイメージセンサは未だ製品レベルでは存在していないものと思われる。
【０００５】
そこで、本件出願人は、このような背景分離機能を実現するものとして、例えば特願２００１−２８７６２５号（以下の説明では先行出願という）において、通常のカラー画像信号の処理系とは別の経路で読み出した画像信号について３次元距離計測演算の処理を行い、３次元の距離情報をリアルタイムで取得することを可能とした固体撮像装置を提案している。
すなわち、この固体撮像装置によれば、通常の撮像処理によって取得した画像情報と、距離計測演算処理によって取得した距離情報とを組み合わせることにより、例えば、固体撮像装置の手前にある部分の画像のみを表示といった背景分離処理をリアルタイムで容易に行なうことが可能となる。
【０００６】
ここで、上記先行出願に開示された固体撮像装置の概要について説明する。
この固体撮像装置（以下、単にセンサという）は、主に受光部を構成するピクセルアレイと、ピクセルアレイに対応したアナログメモリアレイと、３次元距離計測用の比較演算を行うコンパレータと、演算データを保持するデータラッチと、画像信号を処理するためのＩ−Ｖ変換回路と、画像信号のノイズ除去を行うＣＤＳ（相関二重サンプリング）回路より構成され、通常の画像を取得することと、３次元計測のための演算を行なうことが可能である。
そして、画像取得時には、各画素からの電流信号を１画素ずつピクセルアレイの上方に読み出し、Ｉ−Ｖ変換回路によって電圧信号に変換後、ＣＤＳ回路によって固定パターンノイズの除去を行なう。
【０００７】
一方、３次元距離計測には、各画素からの電流信号を各列同時にピクセルアレイの下方に読み出す。ここで、アナログフレームメモリセルは、１つの画素につき、４個のメモリセルが対応しており、各画素の連続する４フレーム分の信号を逐次記憶することが可能である。
そこで、各画素からの信号はアナログフレームメモリに蓄積後、このメモリの内容を下方に読み出し、コンパレータによってフレーム間の比較（差分）演算を行なう。そして、この比較（差分）結果を２値のバイナリデータとして後段のデータラッチに保持し、その後、外部に出力する。
【０００８】
そして、この３次元距離計測のシステムでは、距離計測の手法として光切断法を用いており、センサの他に、スリット状の光を被写体に投光する光源と、そのスリット状の光をスキャンニングするためのスキャンミラーとを有し、センサでは、物体に当たって反射してくるスリット光を各画素毎に上述したコンパレータによるフレーム間差分演算によって検出する。
しかしながら、このような先行出願による開示内容においては、被写体の３次元距離計測の精度を上げるために、スリット状の光を被写体に投光する機構部が必要であり、例えば携帯電話等の小型の機器に搭載するには、システムの大きさ、消費電力、コストの点から不利となる面があった。
【０００９】
そこで本発明の目的は、通常の撮像機能に加えて被写体の３次元距離計測により背景分離等の処理を行うことが可能な固体撮像装置について、さらに簡易な構成により、高精度の３次元距離計測を行うことが可能な固体撮像装置及びその駆動方法を提供することにある。
【００１０】
【課題を解決するための手段】
本発明は前記目的を達成するため、被写体を撮像して実画像を出力する画像出力機能と、前記被写体を撮像して撮像信号を演算処理することにより、前記被写体の抽出を行う被写体認識機能とを具備した固体撮像装置であって、画素アレイによって前記被写体の撮像を行う撮像動作を行う撮像手段と、前記撮像手段によって得られた撮像信号に所定の信号処理を施して画像情報を出力する画像出力動作を行う画像出力処理手段と、前記撮像手段の各画素に対応するアナログメモリセルを有するアナログメモリアレイ部と、前記撮像手段の視野全体を含む方位に光を照射する発光手段と、前記撮像手段における撮像動作に同期して前記発光手段の点灯を制御する発光制御手段と、前記発光手段の点灯時における撮像信号を前記アナログメモリアレイ部のアナログメモリセルに画素毎に格納する第１の書き込み動作と、前記発光手段の消灯時における撮像信号を前記アナログメモリアレイ部のアナログメモリセルに画素毎に格納する第２の書き込み動作と、前記アナログメモリアレイ部の各アナログメモリセルから画素毎に、前記発光手段の点灯時における撮像信号に対応する第１のフレーム信号と、前記消灯時における撮像信号に対応する第２のフレーム信号とを読み出す読み出し動作と、前記第１、第２のフレーム信号の比較演算を行うことにより得たフレーム差分信号から前記被写体の抽出を行うための認識情報を出力する認識情報出力動作とを含む物体認識動作を行う被写体認識手段とを有し、前記画像出力処理手段による前記画像出力動作が行われる画像出力動作期間と、前記被写体認識手段による前記物体認識動作の双方が行われる物体認識動作期間とが時間的に分離されていることを特徴とする。
【００１１】
また本発明は、画素アレイによって前記被写体の撮像を行う撮像手段と、前記撮像手段の各画素に対応するアナログメモリセルを有するアナログメモリアレイ部と、前記撮像手段の視野全体を含む方位に光を照射する発光手段とを有し、被写体を撮像して実画像を出力する画像出力機能と、前記被写体を撮像して撮像信号を演算処理することにより、前記被写体の抽出を行う被写体認識機能とを具備した固体撮像装置の駆動方法であって、前記撮像手段によって得られた撮像信号に所定の信号処理を施して画像情報を出力する画像出力動作を行う画像出力処理ステップと、前記撮像手段における撮像動作に同期して前記発光手段の点灯を制御する発光制御ステップと、前記発光手段の点灯時における撮像信号を前記アナログメモリアレイ部のアナログメモリセルに画素毎に格納する第１の書き込み動作と、前記発光手段の消灯時における撮像信号を前記アナログメモリアレイ部のアナログメモリセルに画素毎に格納する第２の書き込み動作と、前記アナログメモリアレイ部の各アナログメモリセルから画素毎に、前記発光手段の点灯時における撮像信号に対応する第１のフレーム信号と、前記消灯時における撮像信号に対応する第２のフレーム信号とを読み出す読み出し動作と、前記第１、第２のフレーム信号の比較演算を行うことにより得たフレーム差分信号から前記被写体の抽出を行うための認識情報を出力する認識情報出力動作とを含む物体認識動作を行う被写体認識ステップとを備え、前記画像出力処理ステップによる前記画像出力動作が行われる画像出力動作期間と、前記被写体認識ステップによる前記物体認識動作が行われる物体認識動作期間とが時間的に分離されていることを特徴とする。
【００１２】
また本発明は、被写体を撮像して実画像を出力する画像出力機能と、前記被写体を撮像して撮像信号を演算処理することにより、前記被写体の抽出を行う被写体認識機能とを具備した固体撮像装置が搭載される電子機器であって、前記固体撮像装置は、画素アレイによって前記被写体の撮像を行う撮像動作を行う撮像手段と、前記撮像手段によって得られた撮像信号に所定の信号処理を施して画像情報を出力する画像出力動作を行う画像出力処理手段と、前記撮像手段の各画素に対応するアナログメモリセルを有するアナログメモリアレイ部と、前記撮像手段の視野全体を含む方位に光を照射する発光手段と、前記撮像手段における撮像動作に同期して前記発光手段の点灯を制御する発光制御手段と、前記発光手段の点灯時における撮像信号を前記アナログメモリアレイ部のアナログメモリセルに画素毎に格納する第１の書き込み動作と、前記発光手段の消灯時における撮像信号を前記アナログメモリアレイ部のアナログメモリセルに画素毎に格納する第２の書き込み動作と、前記アナログメモリアレイ部の各アナログメモリセルから画素毎に、前記発光手段の点灯時における撮像信号に対応する第１のフレーム信号と、前記消灯時における撮像信号に対応する第２のフレーム信号とを読み出す読み出し動作と、前記第１、第２のフレーム信号の比較演算を行うことにより得たフレーム差分信号から前記被写体の抽出を行うための認識情報を出力する認識情報出力動作とを含む物体認識動作を行う被写体認識手段とを有し、前記画像出力処理手段による前記画像出力動作が行われる画像出力動作期間と、前記被写体認識手段による前記物体認識動作の双方が行われる物体認識動作期間とが時間的に分離されていることを特徴とする。
【００１３】
本発明の固体撮像装置及びその駆動方法では、被写体の認識を行う被写体認識機能を実現する場合、発光手段によって被写体全体を照射し、その反射光による撮像信号をアナログメモリアレイ部を用いて保存することにより、発光手段の点灯時の撮像信号と消灯時の撮像信号をフレーム単位で比較するようにしたことから、上記先行出願のようなスリット状光源やスキャンミラーを不要とし、被写体全体を照射する点光源を用いることが可能となる。
したがって、通常の画像出力機能と３次元距離計測等の被写体認識機能とを具備した固体撮像装置の構成を簡易化でき、装置の小型化や低コスト化を達成できるとともに、この固体撮像装置が組み込まれる電子機器の小型化や低コスト化にも貢献することが可能となる。
【００１４】
【発明の実施の形態】
以下、本発明による固体撮像装置及びその駆動方法の実施の形態例について説明する。
本実施の形態例による固体撮像装置（以下、イメージセンサまたは単にセンサという）は、上記先行出願に係るセンサに対し、ほぼ同様の素子構造を使用し、かつ、距離測定用の投光部（発光手段）については、センサの視野全体を含む方位に光を照射する例えばＬＥＤ等の点光源のみを用いて背景削除の機能を実現するものであり、上記先行出願に示すようなスリット状光源やスキャンミラーを不要とし、システムの構成を簡略化したものである。
なお、本実施の形態例によるセンサにおいても、上記先行出願に係るセンサと同様に、従来はセンサのピクセル毎に保持していた演算回路をカラム（Ｃｏｌｕｍｎ＝列）毎に共有するものであり、さらに、画像出力の処理と演算処理とを別な回路ブロックで完全分離して行うことにより、実画像の高画質化を達成し、なおかつ演算処理にも最適な設計を可能とするという特徴を共有しているものとする。
【００１５】
図１は本発明の実施の形態例によるイメージセンサの全体構成を示す概略ブロック図である。なお、この図１に示す構成は上記先行出願に開示するものと本質的に同一のものである。
図１に示されるように、このイメージセンサは、ピクセル（画素）アレイ部１１、ピクセルＶスキャナ部１２、ピクセルＨスキャナ部１３、Ｉ−Ｖ変換回路部１４、ＣＤＳ回路部１５、カレントミラー回路部１６、アナログメモリアレイ部１７、メモリＶスキャナ部１８、メモリＨスキャナ部１９、コンパレータ／データラッチ部２０等より構成されている。
ピクセルアレイ部１１は、光を検出する複数のピクセル１１１を行列方向に２次元マトリクス状に配置したものであり、各ピクセル１１１より送出される信号は、垂直方向に走る信号線（垂直信号線）によって伝達される。
【００１６】
ピクセルＶスキャナ部１２およびピクセルＨスキャナ部１３は、ピクセルアレイ部１１の内部を垂直方向および水平方向に走査し、１つのピクセル１１１を選択するものである。
Ｉ−Ｖ変換回路部１４は、通常の画像出力走査時に各ピクセル１１１から水平信号線に出力された電流を電圧信号に変換するものであり、ＣＤＳ回路部１５は、Ｉ−Ｖ変換回路部１４からの出力信号に所定のノイズ除去処理を施し、画像信号として出力するものである。
カレントミラー回路部１６は、演算処理時に各ピクセル１１１からの出力電流を増幅するものであり、アナログメモリアレイ部１７は、カレントミラー回路部１６からの出力をカレントコピアセル内に一時記憶するものである。
【００１７】
また、メモリＶスキャナ部１８およびメモリＨスキャナ部１９は、アナログメモリアレイ部１７のカレントコピアセルをスキャンし、セル内のデータを取り出すものである。
コンパレータ／データラッチ部２０は、アナログメモリアレイ部１７から読み出されたデータの比較演算を行うコンパレータ部と、このコンパレータ部の演算データをラッチし、そのラッチデータを出力データバスより出力するデータラッチ部とを含むものである。
【００１８】
また、図１では省略しているが、垂直信号線には、ピクセルアレイ部１１と水平信号線とを開閉するスイッチＳ１、ピクセルアレイ部１１とカレントミラー回路部１６とを開閉するスイッチＳ２、カレントミラー回路部１６とアナログメモリアレイ部１７とを開閉するスイッチＳ３、アナログメモリアレイ部１７とバイアス回路部（図示せず）とを開閉するスイッチＳ４などが設けられている。
【００１９】
以上のような構成において、通常の画像出力走査時には、ピクセルアレイ部１１の各ピクセル１１１がピクセルＨスキャナ部、ピクセルＶスキャナ部によって順次走査され、特定の１つのピクセル１１１が選択され、ピクセル１１１より送出される電流信号は、図中の上方向（第１の信号伝送方向）へ伝達され、ピクセルＨスキャナ部１３によりスイッチＳ１が順次選択され、１ピクセルの信号ごとに水平信号線に転送され、その後、Ｉ−Ｖ変換回路部１４にて電圧信号に変換され、さらに、ＣＤＳ回路部１５によってＦＰＮ（Fixed pattern Noise ）、リセットノイズ（ｋｔｃノイズ）が除去され、画像信号出力として出力される。 また、このような画像出力走査時には、垂直信号線のスイッチＳ２がＯＦＦしていることによってピクセルアレイ部１１とカレントミラー回路部１６とは遮断されている。
【００２０】
一方、距離計測時には、スイッチＳ１がＯＦＦされ、スイッチＳ２、ＳＷ３がＯＮとなり、電流信号は垂直信号線の図中の下方向（第２の信号伝送方向）に配置されたカレントミラー回路部１６へと伝達される。
この時、ピクセルアレイ部１１は、ピクセルＶスキャナ部１２において同一Ｒｏｗ（行）方向のピクセルが全てが同時選択され、各カラム（列）からの信号は並列に同時出力される（すなわち、列並列動作となる）。
カレントミラー回路部１６に伝達された信号は、その後、アナログメモリアレイ部１７内に保持され、その後にコンパレータ／データラッチ部２０によって各フレームのデータ内容が比較され、この比較結果がデータラッチ後、出力データバス部より出力される。
【００２１】
以上のようなイメージセンサの素子構造は、上記先行出願の開示内容と基本的に共通であるとともに、以下に説明する各実施の形態例による駆動方法で共通する構成である。
以下、本発明の具体的処理動作について複数の実施の形態例を用いて詳細に説明する。
【００２２】
（第１の実施の形態例）
まず、本発明の第１の実施の形態例による距離測定機能部の構成及び動作について説明する。
図２は、図１に示すイメージセンサで用いる距離測定システムの構成を示す説明図である。
図示のように、本例では、センサ受光部２００の付近にＬＥＤ光源２１０を設置し、被写体となる物体２２０に対し、ＬＥＤ光源２１０からの光をレンズ２１１を通して照射することにより、センサ受光部２００が、その物体２２０に反射された光を受光するように構成している。
ここで、ＬＥＤ光源２１０をセンサ受光部２００のフレーム周期に同期したある一定の周期で点滅させる。そして、センサ受光部２００側では、フレーム間の差分演算を行い、その点滅を検知する。この場合、物体２２０が存在している箇所は、反射光があるため点滅を検出できるが、物体の存在していない背景は反射光が無いか、極めて弱くなるため、反射光の検出が不可能となる。これにより、手前の物体２２０のみの認知が可能となり、物体２２０と背景との分離が可能となる。
【００２３】
次に、このような距離測定システムの具体的な動作タイミングについて説明する。
図３は、本例の距離測定システムにおける各種動作タイミングを示すタイミングチャートであり、図３（ａ）はセンサのフレーム単位での動作タイミングを示し、図３（ｂ）は１ピクセル単位での画像出力時の動作タイミングを示し、図３（ｃ）は１水平走査期間での物体認識時の動作タイミングを示している。
また、図４は、本例におけるピクセルアレイ部１１とアナログメモリアレイ部１７の構造を示す説明図である。
【００２４】
まず、図４を用いてピクセルアレイ部１１とアナログメモリアレイ部１７の構造について説明する。
まず、ピクセルアレイ部１１は、赤外の反射光を検出するため、Ｙ、Ｇ、Ｃｙ、Ｍｇの４つの補色フィルタに対応する４つのピクセルを２行×２列で配置しており、この４つ１組みをＲＯＵ（画素の読み出し単位）というものとする。また、ｎ行ｍ列のピクセルをＰｎｍで示している。
そして、ピクセル１１１は、フォトダイオードＰＤと５つのＭＯＳトランジスタＭ１〜Ｍ５とを有して構成されている。
フォトダイオードＰＤで受光された光は電荷に変換され、その電荷は転送トランジスタＭ２によりフローティングディフュージョン（ＦＤ）部に転送される。このＦＤ部に転送された電荷は、増幅トランジスタＭ４のゲート電位を決定し、それに応じて電流が増幅トランジスタＭ４および行選択トランジスタＭ５をとおり、信号線（Ｓｌｍ）に伝達される。
また、リセットトランジスタＭ３は、ＦＤ部を電源電圧にリセットするためのものであり、転送選択（列選択）トランジスタＭ１は転送トランジスタＭ２のゲートを選択するためのものである。
なお、本例では、隣接する行のリセット線（ＴＲｎ−１）と転送ゲート線（ＴＲｎ）とを兼用するものである。
【００２５】
アナログメモリアレイ部１７は、ピクセルアレイ部１１のＲＯＵを構成する４つのピクセル１１１に対応して２×２の配列で４つ１組みのアナログメモリセル（カレントコピアセル）１７１を設けた４センサフレーム分のメモリに相当するものである。なお、この４つ１組みのアナログメモリセル１７１をＭＯＵ（メモリセルの読み出し単位）というものとする。
そして、アナログメモリセル１７１は、電荷書き込み用のキャパシタＣ及びトランジスタＴｒ０、セル選択用のトランジスタＴｒ１、メモリ書き込み用のトランジスタＴｒ２等よりなり、セル選択線ＣＳｉ及び書き込み信号線ＣＭｉの制御により、スイッチＳ２を介してカレントミラー回路部１６より入力される電流信号を記憶するとともに、この記憶した信号をスイッチＳ３を介してコンパレータ部２０Ａに転送し、各フレームの比較を行う。
【００２６】
次に、図３を用いて本例の画像出力動作と物体認識動作について説明する。
まず、図３（ａ）に示すように、本例のセンサでは、画像出力動作と物体認識動作を例えば、１／３０sec ごとに切り替える。このとき、画像出力動作においては、この１／３０sec という期間がそのまま１フレーム期間に相当する。
なお、ここでは、それぞれの期間を画像出力動作期間、物体認識動作期間と呼ぶものとする。
そして、物体認識動作期間においては、この１／３０sec 期間の間に２フレーム分の走査を行う。そして、ＬＥＤ光源２１０の点滅を、このフレーム走査に同期させ、例えば、後半のフレーム走査時にのみＬＥＤ光源２１０の光を点灯する。このような動作より、センサ内部でフレーム間差分の演算を実行すると、光の点滅の判別が可能である。
【００２７】
また、画像出力動作は、図３（ｂ）に示すように、行選択信号線ＳＬｎ、垂直信号線（Ｓｌｍ）、リセット信号線（ＴＲｎ−１）、転送信号線（ＴＲｎ）、画素列選択線（ＣＧｍ）等の制御によって各画素の信号を垂直信号線（Ｓｌｍ）より順次出力し、Ｉ−Ｖ変換回路部１４及びＣＤＳ回路部１５に供給する。
なお、この画像出力動作は上記先行出願の動作と同様であり、本実施の形態例の特徴となる部分は主に物体認識動作であるので詳細は省略する。
【００２８】
また、図３（ｃ）に示す物体認識動作では、以下のようなフレーム間差分演算を行う。
まず、図４で説明したように、ピクセルアレイ部１１は、２ｘ２の補色フィルタのグループを１つの単位（ＲＯＵ）として取り扱う。よって、ピクセルアレイ部１１中で選択したＲＯＵを読み出すために、画素のリセットと電荷転送を兼用するＴＲ線について、ＴＲｎ−１、ＴＲｎ、ＴＲｎ＋１の順で順次選択し、２行からの信号を同時に読み出す。
またこのとき、各列は同時に読み出しが行なわれる。そして、ピクセルアレイ部１１の下部のノードＮ１にて２列の信号が融合される。
その信号は、カレントミラー回路１６にて増幅され、メモリアレイ部１７内に書き込まれる。メモリアレイ部１７は、１つのＲＯＵに対し、カレントコピア回路よりなる４つのアナログメモリセル１７１が対応する。
【００２９】
そして、本例では、このうちの２つのメモリセル１７１、例えば図４に示すＦ１、Ｆ２のみを使用する。なお、残りのメモリセルは、後述する実施の形態例で使用可能であるものとする。
これにより、各メモリセル１７１にはフレーム毎に順に逐次、ＲＯＵの信号強度が記憶される。
このようにして、ＲＯＵより読み出された信号は、書き込みフェーズ（ｐｈａｓｅ１）にて、ひとつのメモリセル（例えばＦ１）に書き込まれる。その後、読み出しフェーズ（ｐｈａｓｅ２、ｐｈａｓｅ３）にて、前のフレーム走査にて記憶したセルＦ２と新規に記憶したセルＦ１を順にコンパレータ部２０Ａに読み出す。
【００３０】
そして、コンパレータ部２０Ａによってフレーム間の信号強度の比較を行う。ここで光の強度変化が無い時のコンパレータ出力を安定にするために、前のフレーム信号読み出し（ｐｈａｓｅ２）と同時に、図４に示すオフセットカレントジェネレータ２１によりオフセットバイアス信号を与え、安定時の出力を０データとして保持する。
これにより、光を検出した場合のみ、後半のフレーム信号強度が強くなり、比較結果が逆転し、１データとなる。ここで、図３（ｃ）、図４に示すように、このオフセットカレントは、端子Ｂ１によってアナログ的にコントロールされるものとする。
【００３１】
次に、以上のような本例のフレーム走査について図３に戻って説明する。
まず、物体認識動作期間内にＬＥＤ照射なしのフレーム１と照射ありのフレーム２の２つのフレームが比較される。この場合、フレーム１の照射がない場合の画素信号強度をＦ２に記憶し、その後、フレーム２で照射有り時の信号をＦ１に記憶する。
なお、図３（ｃ）の１Ｈ期間の走査はフレーム１、フレーム２の走査で同一でも構わないが、フレーム１では、前フレームとの比較の必要がないので、ｐｈａｓｅ１の書き込み動作のみ行い、ｐｈａｓｅ２、ｐｈａｓｅ３の読み出し動作を省略することにより動作を簡略化できる。
以上の操作と並行して、センサは各画素の物体の認識情報をバイナリデータとして外部に出力する。
これにより、センサの外部には１／３０sec ごとに画像情報とその画像に対応した物体の認識情報が出力されるので、後段のプロセッサ等により、物体の認識情報が存在する画素のみを画像情報から出力するという動作を行えば背景削除の機能が可能となる。
【００３２】
（第２の実施の形態例）
上述した第１の実施の形態例は、反射光検出の操作例の一例であり、フレーム間差分による光検出としては、他の走査方法でも可能である。
そこで、本発明の他の実施の形態例によるフレーム走査方法を図５〜図８を用いて説明する。
まず、図５（ａ）は、本発明の第２の実施の形態例によるフレーム走査方法を示す説明図である。
上述した第１の実施の形態例では、画像出力と３次元計測を１／３０sec ごとに交互に行っているが、これは必ずしも同一のレートで交互に行う必要がない。例えば図５（ａ）に示すように画像計測時の走査期間（ｔ０）に対して、物体認識動作時の走査期間（ｔ１）を短くし、高速に２回のフレーム走査を行うことが可能である。
上述した第１の実施の形態例では、物体認識動作期間の存在により、画像の連続性が損なわれることと、画像フレームへの切り替え時に画素内各ラインにより光の蓄積時間が異なってしまうという問題があるが、この第２の実施の形態例では、画像出力操作時に対し、物体認識動作時の期間を十分短くすることにより、このような問題を回避することができる。
【００３３】
（第３の実施の形態例）
上述した第１の実施の形態例では、物体認識動作時のフレーム走査数は、１ビデオフレーム期間に２回であったが、図５（ｂ）に示す第２の実施の形態例では、２回より多い回数、すなわち多数回の走査を行う。そして、この期間にＬＥＤ光源を第１の実施の形態例と同様に１回のみ、または複数回点滅する（図示の例では１回の場合を示す）。
この場合、センサ側では多数回のフレーム走査の内、点灯状態から消灯状態となる前後のフレームにおいて光強度の変化を検出することが可能であり、物体の検出が可能となる。なお、この時、どのフレームで検出したかどうかは問題としないものとする。
また、このように多数回のフレーム走査において、フレーム間差分演算を行なう場合は、反射光の検出感度を高めるために、上記先行出願と同様に、４フレーム間での差分演算を行うことが有効である。
図６は、この場合のタイミングチャートを示している。図３（ｃ）では用いなかったセレクト信号ＣＳｉ−３、ＣＳｉ−４を用いることにより、メモリセルＦ１〜Ｆ４の信号を読み出し、４フレームの差分演算を行うことが可能となる。
【００３４】
（第４の実施の形態例）
上述した第３の実施の形態例では、多数回のフレーム走査において、ＬＥＤ光源の１回の点滅のみを検出したが、図５（ｃ）に示す第４の実施の形態例では、このＬＥＤ光源の点滅を複数回とし、また、その点滅にパルスコードとしてデータ内容を付加するような構成とする。
この場合、センサではパルスコードの立ち上がり、立下りで光が変化するタイミングをフレーム間差分演算により検出し、パルスコードの内容を認識する。
このようにして、ある特定のパターンコードのみを認識対象とすれば、外乱光などによる意図しない光変化による誤検出を防ぐことが可能となる。
また、本センサを近距離において複数台使用するとき、個別のセンサにおいて異なるＩＤコードを発光して認識するようにしておけば、各センサが互いに干渉することなく、システムを安定的に動作させることが可能となる。
【００３５】
（第５の実施の形態例）
以上の各実施の形態例では、全てＬＥＤ光源の光強度は一定としたが、第５の実施の形態例として、ＬＥＤ光源の光強度を変化させ、どの強度においてセンサが反射光を検出するかを判別するようにしてもよい。
すなわち、反射光強度は、物体の距離、色、表面テクスチャなどにより変化するため、検出強度を判別することにより、これらの特性による物体の判別が可能となる。たとえば、弱い光で判別できた物体は近距離にあるものと判断でき、強い光により初めて検出できたものは、遠方にあるものと判断することができる。これにより、例えば、背景から抜き出す物体の距離をコントロールしたり、また、背景の壁など、ある程度、近距離にある背景は画像に残すなどの処理が可能となる。
【００３６】
また、この場合、光強度を変化させていくタイミングはいくつか選択が可能である。たとえば、図７（ａ）に示すように、各物体認識動作期間ごとに変化させていくことが可能である。この場合は、光強度のバリエーションを全て取得するのに数ビデオフレーム分かかるので、リアルタイム処理には不利となる。
一方、図７（ｂ）に示すように、物体認識動作期間中の複数のセンサフレーム走査において光強度を変化させていけば、リアルタイムでの物体識別が可能である。この時は、たとえばフレーム１において、ＬＥＤ照射なし時の信号を記憶し、その後、フレームごとにＬＥＤ照射距度をフレーム２、フレーム３で変化させ、逐次、フレーム１の信号強度と比較していく。
【００３７】
（第６の実施の形態例）
上述した第５の実施の形態例では、ＬＥＤ光源の光強度を変えることによって物体の判別を行ったが、第６の実施の形態例として、ＬＥＤ光源の光強度を一定とし、センサ側の感度を変えることにより、同様な物体判別を行うようにしてもよい。
ここで、センサ側の感度を変化させる方法の１つとして、前述したオフセットカレントジェネレータ２１によってオフセット値を可変制御する方法がある。つまり、フレーム間差分演算において、フレーム間の重み付けを変えることにより、光変化の検出強度を可変とすることができる。
【００３８】
また、このオフセット値の可変制御は、上述した第５の実施の形態例と同様に、物体認識動作期間ごとに変化させていくか、もしくは物体認識動作期間中の複数センサフレーム走査において変化させていくことができる。図７（ｃ）は、この場合のタイミングチャートを示している。図中、オフセット値の可変制御によるセンサ側の感度変化を破線αで示している。
ここで、オフセットカレントジェネレータ２１のコントロール端子Ｂ１の出力レベルはオフセットカレントのレベルに対応しているものとする。
なお、図７（ｃ）におけるＢ１のレベルは、それぞれのフレーム期間中のオフセットカレントタイミング（図３（ｃ）のｐｈａｓｅ２）において図７（ｃ）に示すバイアスレベルを印加することを意味している。
【００３９】
（第７の実施の形態例）
この第７の実施の形態例は、上述した第６の実施の形態例に対し、さらにセンサ側の感度を変化させる方法の１つとして、センサフレームレートを変化させる方法を用いるものである。
すなわち、センサのフレームレートは光の蓄積時間に対応するので、フレームレートを変化させることにより、感度調整が可能となる。
たとえば図８に示すように、ＬＥＤ光源の照射期間においてフレーム走査スピードを段階的に遅くしていくことにより、反射光検出感度を上げていくことができる。
以上の第１〜第７の実施の形態例によるフレーム走査は、それぞれ単独で用いても良いし、それぞれの組み合わせにより用いても構わない。特に、第４の実施の形態例で説明したパターンコード化は、単にパルスのオン、オフのみでなく、
ＬＥＤ光源の発光強度制御、センサの感度制御との組み合わせにより行なうことも可能である。
【００４０】
（その他の実施の形態例）
さらに、上述した各実施の形態例によるセンサは、画像信号を扱う各種の電子機器に搭載することが可能であり、このような電子機器についても本発明の範囲に含まれるものとする。
このようにセンサを電子機器に搭載する場合の基本的条件としては、センサの画角に収まる物体がＬＥＤ光源の光に照射されるような位置関係にセンサとＬＥＤ光源が配置されていれば良い。
図９は、上述した各実施の形態例によるセンサを携帯端末に搭載した場合の具体例を示す斜視図であり、図９（ａ）は携帯端末３００のディスプレー３１０の上部と下部にセンサ受光部３２０とＬＥＤ光源３３０と分離して配置した例を示し、図９（ｂ）は携帯端末３００のディスプレー３１０の下部にセンサ受光部３２０とＬＥＤ光源３３０を近接して配置した例を示している。
なお、図９（ｂ）の構成では、センサ受光部３２０とＬＥＤ光源３３０とを同一半導体チップ上に作り込んだり、１パッケージ内に設けて構成される投光部付きセンサモジュールを携帯端末に設けるようにすることが可能である。
なお、このような携帯端末に限らず、さらに各種の通信装置や画像処理装置都の幅広い電子機器に搭載することが可能である。
【００４１】
また、上述した各実施の形態例では、全て発光手段としてＬＥＤを前提に説明したが、センサの画角を照射し得るものであり、かつ、センサが十分な感度をもつ光源であれば、ＬＥＤ以外のものを用いることが可能である。
また、照射光源は１つでは無く、複数配置することにより、光源の強度をかせいだり、被写体に均一に光が照射されるように工夫することも可能である。たとえば、上述した第５の実施の形態例において、ＬＥＤ光源の光強度の可変制御を点滅ＬＥＤの個数により調節するなどといった方法も可能である。
【００４２】
また、上記の例では先行出願において開示されているセンサのアーキテクチャに基づいて説明したが、ピクセルアレイ部とそれに対応するアナログメモリアレイ部（フレームメモリ）を有する構成であれば、フレーム間の差分によって同様な機能を実現することが可能である。
また、そのアナログメモリアレイ部は、ピクセルアレイ部内に設けられていても、あるいはピクセルアレイ部の外部に設けられていても、さらに、センサチップの外部に設けられていても構わない。
また、上述したＬＥＤや各種回路を含む固体撮像装置全体を１つの半導体チップ上に設けたり、１パッケージ化するようなことも適宜選択が可能である。
また、本実施の形態による手法によって、背景から手前の物体を抽出するのみでなく、上述した物体認識の機能によって、ある特定範囲の距離にある物体を抽出する、ある特定の色（黒）等を有する物体や部分を抽出する、ある特定のテクスチャを持つ物体や部分を抽出するなどの機能を実現することも可能である。
【００４３】
【発明の効果】
以上説明したように本発明の固体撮像装置及びその駆動方法によれば、被写体の認識を行う被写体認識機能を実現する場合、発光手段によって被写体全体を照射し、その反射光による撮像信号をフレームメモリを用いて保存することにより、発光手段の点灯時の撮像信号と消灯時の撮像信号をフレーム単位で比較するようにしたことから、上記先行出願のようなスリット状光源やスキャンミラーを不要とし、被写体全体を照射する点光源を用いることが可能となる。
したがって、通常の画像出力機能と３次元距離計測等の被写体認識機能とを具備した固体撮像装置の構成を簡易化でき、装置の小型化や低コスト化を達成できる効果がある。
また、このような固体撮像装置を電子機器に組み込むことにより、電子機器の小型化や低コスト化を達成できる効果がある。
【図面の簡単な説明】
【図１】 本発明の実施の形態例によるイメージセンサの全体構成を示す概略ブロック図である。
【図２】 図１に示すイメージセンサで用いる距離測定システムの構成を示す説明図である。
【図３】 図１に示すイメージセンサの距離測定システムにおける各種動作タイミングを示すタイミングチャートである。
【図４】 図１に示すイメージセンサのピクセルアレイ部とアナログメモリアレイ部の構造を示す説明図である。
【図５】 本発明の第２〜第４の実施の形態例によるフレーム走査方法を示す説明図である。
【図６】 本発明の第３の実施の形態例における動作タイミングを示すタイミングチャートである。
【図７】 本発明の第５、第６の実施の形態例によるフレーム走査方法を示す説明図である。
【図８】 本発明の第７の実施の形態例によるフレーム走査方法を示す説明図である。
【図９】 本発明の各実施の形態例によるセンサを携帯端末に搭載した場合の具体例を示す斜視図である。
【符号の説明】
１１……ピクセルアレイ部、１２……ピクセルＶスキャナ部、１３……ピクセルＨスキャナ部、１４……Ｉ−Ｖ変換回路部、１５……ＣＤＳ回路部、１６……カレントミラー回路部、１７……アナログメモリアレイ部、１８……メモリＶスキャナ部、１９……メモリＨスキャナ部、２０……コンパレータ／データラッチ部、２００……センサ受光部、２１０……ＬＥＤ光源、２２０……物体（被写体）。
【発明の属する技術分野】
本発明は、通常の画像信号の取得機能に加えて一定のアプリケーションを実行するための演算機能を付加した固体撮像装置及びその駆動方法に関する。
【０００２】
【従来の技術】
近年、ＣＭＯＳイメージセンサ等の固体撮像装置は、その小型化、低価格化、低消費電力化等の改良に伴い、パソコン（ＰＣ）、ゲーム、携帯電話、携帯端末等の各種ＩＴ関連機器におけるカメラモジュールとして標準的に搭載することが一般的になりつつある。
また、現状の固体撮像装置では、単に自然画像を取得するに留まっているが、今後、上述のような各種ＩＴ関連機器に搭載されているプロセッサ、ネットワーク技術と関連し合いながら、単に画像を取得するにとどまらず、画像認識、画像加工等、さまざまな複雑な画像処理機能を保持していくことが予想される。
【０００３】
しかし、一般的に、これらの画像処理には複雑な演算処理が必要とされるため、特に携帯機器等に搭載され得る処理機能では自然画像より、これらの画像処理を行なうことは処理能力の点から不可能な場合があり、そのような場合は、イメージセンサ上で何らかの演算機能を保持し、画像処理の前処理的な演算を実行することが期待される。
そこで、このような演算機能の１つとして、画像の手前の物体のみを画像から切り出し、背景を隠す、背景削除という機能の実現が期待されている。これは、例えば携帯機器等を利用した動画像通信等において、プライベート事項の守秘のために、手前の会話している人物のみを切り出し、後ろの背景を隠すなどの必要性があるためである。また、これは同時に手前の人物のみを伝送すれば良いこととなり、データ量の低減にもつながるものである。
【０００４】
【発明が解決しようとする課題】
ところで、上述のような背景を分離する機能は、通常のイメージセンサを使用して、後段のプロセッサを用いて演算すれば、可能であるが、手前の人物の認識、輪郭の切り抜き等、計算量は膨大であり、現状の携帯機器のような小型のスペースで動画に追随し得るリアルタイムの処理を行なうことは不可能である。
また、このような実情に対し、現状では背景分離の機能をセンサ内の演算処理で実現するようなイメージセンサは未だ製品レベルでは存在していないものと思われる。
【０００５】
そこで、本件出願人は、このような背景分離機能を実現するものとして、例えば特願２００１−２８７６２５号（以下の説明では先行出願という）において、通常のカラー画像信号の処理系とは別の経路で読み出した画像信号について３次元距離計測演算の処理を行い、３次元の距離情報をリアルタイムで取得することを可能とした固体撮像装置を提案している。
すなわち、この固体撮像装置によれば、通常の撮像処理によって取得した画像情報と、距離計測演算処理によって取得した距離情報とを組み合わせることにより、例えば、固体撮像装置の手前にある部分の画像のみを表示といった背景分離処理をリアルタイムで容易に行なうことが可能となる。
【０００６】
ここで、上記先行出願に開示された固体撮像装置の概要について説明する。
この固体撮像装置（以下、単にセンサという）は、主に受光部を構成するピクセルアレイと、ピクセルアレイに対応したアナログメモリアレイと、３次元距離計測用の比較演算を行うコンパレータと、演算データを保持するデータラッチと、画像信号を処理するためのＩ−Ｖ変換回路と、画像信号のノイズ除去を行うＣＤＳ（相関二重サンプリング）回路より構成され、通常の画像を取得することと、３次元計測のための演算を行なうことが可能である。
そして、画像取得時には、各画素からの電流信号を１画素ずつピクセルアレイの上方に読み出し、Ｉ−Ｖ変換回路によって電圧信号に変換後、ＣＤＳ回路によって固定パターンノイズの除去を行なう。
【０００７】
一方、３次元距離計測には、各画素からの電流信号を各列同時にピクセルアレイの下方に読み出す。ここで、アナログフレームメモリセルは、１つの画素につき、４個のメモリセルが対応しており、各画素の連続する４フレーム分の信号を逐次記憶することが可能である。
そこで、各画素からの信号はアナログフレームメモリに蓄積後、このメモリの内容を下方に読み出し、コンパレータによってフレーム間の比較（差分）演算を行なう。そして、この比較（差分）結果を２値のバイナリデータとして後段のデータラッチに保持し、その後、外部に出力する。
【０００８】
そして、この３次元距離計測のシステムでは、距離計測の手法として光切断法を用いており、センサの他に、スリット状の光を被写体に投光する光源と、そのスリット状の光をスキャンニングするためのスキャンミラーとを有し、センサでは、物体に当たって反射してくるスリット光を各画素毎に上述したコンパレータによるフレーム間差分演算によって検出する。
しかしながら、このような先行出願による開示内容においては、被写体の３次元距離計測の精度を上げるために、スリット状の光を被写体に投光する機構部が必要であり、例えば携帯電話等の小型の機器に搭載するには、システムの大きさ、消費電力、コストの点から不利となる面があった。
【０００９】
そこで本発明の目的は、通常の撮像機能に加えて被写体の３次元距離計測により背景分離等の処理を行うことが可能な固体撮像装置について、さらに簡易な構成により、高精度の３次元距離計測を行うことが可能な固体撮像装置及びその駆動方法を提供することにある。
【００１０】
【課題を解決するための手段】
本発明は前記目的を達成するため、被写体を撮像して実画像を出力する画像出力機能と、前記被写体を撮像して撮像信号を演算処理することにより、前記被写体の抽出を行う被写体認識機能とを具備した固体撮像装置であって、画素アレイによって前記被写体の撮像を行う撮像動作を行う撮像手段と、前記撮像手段によって得られた撮像信号に所定の信号処理を施して画像情報を出力する画像出力動作を行う画像出力処理手段と、前記撮像手段の各画素に対応するアナログメモリセルを有するアナログメモリアレイ部と、前記撮像手段の視野全体を含む方位に光を照射する発光手段と、前記撮像手段における撮像動作に同期して前記発光手段の点灯を制御する発光制御手段と、前記発光手段の点灯時における撮像信号を前記アナログメモリアレイ部のアナログメモリセルに画素毎に格納する第１の書き込み動作と、前記発光手段の消灯時における撮像信号を前記アナログメモリアレイ部のアナログメモリセルに画素毎に格納する第２の書き込み動作と、前記アナログメモリアレイ部の各アナログメモリセルから画素毎に、前記発光手段の点灯時における撮像信号に対応する第１のフレーム信号と、前記消灯時における撮像信号に対応する第２のフレーム信号とを読み出す読み出し動作と、前記第１、第２のフレーム信号の比較演算を行うことにより得たフレーム差分信号から前記被写体の抽出を行うための認識情報を出力する認識情報出力動作とを含む物体認識動作を行う被写体認識手段とを有し、前記画像出力処理手段による前記画像出力動作が行われる画像出力動作期間と、前記被写体認識手段による前記物体認識動作の双方が行われる物体認識動作期間とが時間的に分離されていることを特徴とする。
【００１１】
また本発明は、画素アレイによって前記被写体の撮像を行う撮像手段と、前記撮像手段の各画素に対応するアナログメモリセルを有するアナログメモリアレイ部と、前記撮像手段の視野全体を含む方位に光を照射する発光手段とを有し、被写体を撮像して実画像を出力する画像出力機能と、前記被写体を撮像して撮像信号を演算処理することにより、前記被写体の抽出を行う被写体認識機能とを具備した固体撮像装置の駆動方法であって、前記撮像手段によって得られた撮像信号に所定の信号処理を施して画像情報を出力する画像出力動作を行う画像出力処理ステップと、前記撮像手段における撮像動作に同期して前記発光手段の点灯を制御する発光制御ステップと、前記発光手段の点灯時における撮像信号を前記アナログメモリアレイ部のアナログメモリセルに画素毎に格納する第１の書き込み動作と、前記発光手段の消灯時における撮像信号を前記アナログメモリアレイ部のアナログメモリセルに画素毎に格納する第２の書き込み動作と、前記アナログメモリアレイ部の各アナログメモリセルから画素毎に、前記発光手段の点灯時における撮像信号に対応する第１のフレーム信号と、前記消灯時における撮像信号に対応する第２のフレーム信号とを読み出す読み出し動作と、前記第１、第２のフレーム信号の比較演算を行うことにより得たフレーム差分信号から前記被写体の抽出を行うための認識情報を出力する認識情報出力動作とを含む物体認識動作を行う被写体認識ステップとを備え、前記画像出力処理ステップによる前記画像出力動作が行われる画像出力動作期間と、前記被写体認識ステップによる前記物体認識動作が行われる物体認識動作期間とが時間的に分離されていることを特徴とする。
【００１２】
また本発明は、被写体を撮像して実画像を出力する画像出力機能と、前記被写体を撮像して撮像信号を演算処理することにより、前記被写体の抽出を行う被写体認識機能とを具備した固体撮像装置が搭載される電子機器であって、前記固体撮像装置は、画素アレイによって前記被写体の撮像を行う撮像動作を行う撮像手段と、前記撮像手段によって得られた撮像信号に所定の信号処理を施して画像情報を出力する画像出力動作を行う画像出力処理手段と、前記撮像手段の各画素に対応するアナログメモリセルを有するアナログメモリアレイ部と、前記撮像手段の視野全体を含む方位に光を照射する発光手段と、前記撮像手段における撮像動作に同期して前記発光手段の点灯を制御する発光制御手段と、前記発光手段の点灯時における撮像信号を前記アナログメモリアレイ部のアナログメモリセルに画素毎に格納する第１の書き込み動作と、前記発光手段の消灯時における撮像信号を前記アナログメモリアレイ部のアナログメモリセルに画素毎に格納する第２の書き込み動作と、前記アナログメモリアレイ部の各アナログメモリセルから画素毎に、前記発光手段の点灯時における撮像信号に対応する第１のフレーム信号と、前記消灯時における撮像信号に対応する第２のフレーム信号とを読み出す読み出し動作と、前記第１、第２のフレーム信号の比較演算を行うことにより得たフレーム差分信号から前記被写体の抽出を行うための認識情報を出力する認識情報出力動作とを含む物体認識動作を行う被写体認識手段とを有し、前記画像出力処理手段による前記画像出力動作が行われる画像出力動作期間と、前記被写体認識手段による前記物体認識動作の双方が行われる物体認識動作期間とが時間的に分離されていることを特徴とする。
【００１３】
本発明の固体撮像装置及びその駆動方法では、被写体の認識を行う被写体認識機能を実現する場合、発光手段によって被写体全体を照射し、その反射光による撮像信号をアナログメモリアレイ部を用いて保存することにより、発光手段の点灯時の撮像信号と消灯時の撮像信号をフレーム単位で比較するようにしたことから、上記先行出願のようなスリット状光源やスキャンミラーを不要とし、被写体全体を照射する点光源を用いることが可能となる。
したがって、通常の画像出力機能と３次元距離計測等の被写体認識機能とを具備した固体撮像装置の構成を簡易化でき、装置の小型化や低コスト化を達成できるとともに、この固体撮像装置が組み込まれる電子機器の小型化や低コスト化にも貢献することが可能となる。
【００１４】
【発明の実施の形態】
以下、本発明による固体撮像装置及びその駆動方法の実施の形態例について説明する。
本実施の形態例による固体撮像装置（以下、イメージセンサまたは単にセンサという）は、上記先行出願に係るセンサに対し、ほぼ同様の素子構造を使用し、かつ、距離測定用の投光部（発光手段）については、センサの視野全体を含む方位に光を照射する例えばＬＥＤ等の点光源のみを用いて背景削除の機能を実現するものであり、上記先行出願に示すようなスリット状光源やスキャンミラーを不要とし、システムの構成を簡略化したものである。
なお、本実施の形態例によるセンサにおいても、上記先行出願に係るセンサと同様に、従来はセンサのピクセル毎に保持していた演算回路をカラム（Ｃｏｌｕｍｎ＝列）毎に共有するものであり、さらに、画像出力の処理と演算処理とを別な回路ブロックで完全分離して行うことにより、実画像の高画質化を達成し、なおかつ演算処理にも最適な設計を可能とするという特徴を共有しているものとする。
【００１５】
図１は本発明の実施の形態例によるイメージセンサの全体構成を示す概略ブロック図である。なお、この図１に示す構成は上記先行出願に開示するものと本質的に同一のものである。
図１に示されるように、このイメージセンサは、ピクセル（画素）アレイ部１１、ピクセルＶスキャナ部１２、ピクセルＨスキャナ部１３、Ｉ−Ｖ変換回路部１４、ＣＤＳ回路部１５、カレントミラー回路部１６、アナログメモリアレイ部１７、メモリＶスキャナ部１８、メモリＨスキャナ部１９、コンパレータ／データラッチ部２０等より構成されている。
ピクセルアレイ部１１は、光を検出する複数のピクセル１１１を行列方向に２次元マトリクス状に配置したものであり、各ピクセル１１１より送出される信号は、垂直方向に走る信号線（垂直信号線）によって伝達される。
【００１６】
ピクセルＶスキャナ部１２およびピクセルＨスキャナ部１３は、ピクセルアレイ部１１の内部を垂直方向および水平方向に走査し、１つのピクセル１１１を選択するものである。
Ｉ−Ｖ変換回路部１４は、通常の画像出力走査時に各ピクセル１１１から水平信号線に出力された電流を電圧信号に変換するものであり、ＣＤＳ回路部１５は、Ｉ−Ｖ変換回路部１４からの出力信号に所定のノイズ除去処理を施し、画像信号として出力するものである。
カレントミラー回路部１６は、演算処理時に各ピクセル１１１からの出力電流を増幅するものであり、アナログメモリアレイ部１７は、カレントミラー回路部１６からの出力をカレントコピアセル内に一時記憶するものである。
【００１７】
また、メモリＶスキャナ部１８およびメモリＨスキャナ部１９は、アナログメモリアレイ部１７のカレントコピアセルをスキャンし、セル内のデータを取り出すものである。
コンパレータ／データラッチ部２０は、アナログメモリアレイ部１７から読み出されたデータの比較演算を行うコンパレータ部と、このコンパレータ部の演算データをラッチし、そのラッチデータを出力データバスより出力するデータラッチ部とを含むものである。
【００１８】
また、図１では省略しているが、垂直信号線には、ピクセルアレイ部１１と水平信号線とを開閉するスイッチＳ１、ピクセルアレイ部１１とカレントミラー回路部１６とを開閉するスイッチＳ２、カレントミラー回路部１６とアナログメモリアレイ部１７とを開閉するスイッチＳ３、アナログメモリアレイ部１７とバイアス回路部（図示せず）とを開閉するスイッチＳ４などが設けられている。
【００１９】
以上のような構成において、通常の画像出力走査時には、ピクセルアレイ部１１の各ピクセル１１１がピクセルＨスキャナ部、ピクセルＶスキャナ部によって順次走査され、特定の１つのピクセル１１１が選択され、ピクセル１１１より送出される電流信号は、図中の上方向（第１の信号伝送方向）へ伝達され、ピクセルＨスキャナ部１３によりスイッチＳ１が順次選択され、１ピクセルの信号ごとに水平信号線に転送され、その後、Ｉ−Ｖ変換回路部１４にて電圧信号に変換され、さらに、ＣＤＳ回路部１５によってＦＰＮ（Fixed pattern Noise ）、リセットノイズ（ｋｔｃノイズ）が除去され、画像信号出力として出力される。 また、このような画像出力走査時には、垂直信号線のスイッチＳ２がＯＦＦしていることによってピクセルアレイ部１１とカレントミラー回路部１６とは遮断されている。
【００２０】
一方、距離計測時には、スイッチＳ１がＯＦＦされ、スイッチＳ２、ＳＷ３がＯＮとなり、電流信号は垂直信号線の図中の下方向（第２の信号伝送方向）に配置されたカレントミラー回路部１６へと伝達される。
この時、ピクセルアレイ部１１は、ピクセルＶスキャナ部１２において同一Ｒｏｗ（行）方向のピクセルが全てが同時選択され、各カラム（列）からの信号は並列に同時出力される（すなわち、列並列動作となる）。
カレントミラー回路部１６に伝達された信号は、その後、アナログメモリアレイ部１７内に保持され、その後にコンパレータ／データラッチ部２０によって各フレームのデータ内容が比較され、この比較結果がデータラッチ後、出力データバス部より出力される。
【００２１】
以上のようなイメージセンサの素子構造は、上記先行出願の開示内容と基本的に共通であるとともに、以下に説明する各実施の形態例による駆動方法で共通する構成である。
以下、本発明の具体的処理動作について複数の実施の形態例を用いて詳細に説明する。
【００２２】
（第１の実施の形態例）
まず、本発明の第１の実施の形態例による距離測定機能部の構成及び動作について説明する。
図２は、図１に示すイメージセンサで用いる距離測定システムの構成を示す説明図である。
図示のように、本例では、センサ受光部２００の付近にＬＥＤ光源２１０を設置し、被写体となる物体２２０に対し、ＬＥＤ光源２１０からの光をレンズ２１１を通して照射することにより、センサ受光部２００が、その物体２２０に反射された光を受光するように構成している。
ここで、ＬＥＤ光源２１０をセンサ受光部２００のフレーム周期に同期したある一定の周期で点滅させる。そして、センサ受光部２００側では、フレーム間の差分演算を行い、その点滅を検知する。この場合、物体２２０が存在している箇所は、反射光があるため点滅を検出できるが、物体の存在していない背景は反射光が無いか、極めて弱くなるため、反射光の検出が不可能となる。これにより、手前の物体２２０のみの認知が可能となり、物体２２０と背景との分離が可能となる。
【００２３】
次に、このような距離測定システムの具体的な動作タイミングについて説明する。
図３は、本例の距離測定システムにおける各種動作タイミングを示すタイミングチャートであり、図３（ａ）はセンサのフレーム単位での動作タイミングを示し、図３（ｂ）は１ピクセル単位での画像出力時の動作タイミングを示し、図３（ｃ）は１水平走査期間での物体認識時の動作タイミングを示している。
また、図４は、本例におけるピクセルアレイ部１１とアナログメモリアレイ部１７の構造を示す説明図である。
【００２４】
まず、図４を用いてピクセルアレイ部１１とアナログメモリアレイ部１７の構造について説明する。
まず、ピクセルアレイ部１１は、赤外の反射光を検出するため、Ｙ、Ｇ、Ｃｙ、Ｍｇの４つの補色フィルタに対応する４つのピクセルを２行×２列で配置しており、この４つ１組みをＲＯＵ（画素の読み出し単位）というものとする。また、ｎ行ｍ列のピクセルをＰｎｍで示している。
そして、ピクセル１１１は、フォトダイオードＰＤと５つのＭＯＳトランジスタＭ１〜Ｍ５とを有して構成されている。
フォトダイオードＰＤで受光された光は電荷に変換され、その電荷は転送トランジスタＭ２によりフローティングディフュージョン（ＦＤ）部に転送される。このＦＤ部に転送された電荷は、増幅トランジスタＭ４のゲート電位を決定し、それに応じて電流が増幅トランジスタＭ４および行選択トランジスタＭ５をとおり、信号線（Ｓｌｍ）に伝達される。
また、リセットトランジスタＭ３は、ＦＤ部を電源電圧にリセットするためのものであり、転送選択（列選択）トランジスタＭ１は転送トランジスタＭ２のゲートを選択するためのものである。
なお、本例では、隣接する行のリセット線（ＴＲｎ−１）と転送ゲート線（ＴＲｎ）とを兼用するものである。
【００２５】
アナログメモリアレイ部１７は、ピクセルアレイ部１１のＲＯＵを構成する４つのピクセル１１１に対応して２×２の配列で４つ１組みのアナログメモリセル（カレントコピアセル）１７１を設けた４センサフレーム分のメモリに相当するものである。なお、この４つ１組みのアナログメモリセル１７１をＭＯＵ（メモリセルの読み出し単位）というものとする。
そして、アナログメモリセル１７１は、電荷書き込み用のキャパシタＣ及びトランジスタＴｒ０、セル選択用のトランジスタＴｒ１、メモリ書き込み用のトランジスタＴｒ２等よりなり、セル選択線ＣＳｉ及び書き込み信号線ＣＭｉの制御により、スイッチＳ２を介してカレントミラー回路部１６より入力される電流信号を記憶するとともに、この記憶した信号をスイッチＳ３を介してコンパレータ部２０Ａに転送し、各フレームの比較を行う。
【００２６】
次に、図３を用いて本例の画像出力動作と物体認識動作について説明する。
まず、図３（ａ）に示すように、本例のセンサでは、画像出力動作と物体認識動作を例えば、１／３０sec ごとに切り替える。このとき、画像出力動作においては、この１／３０sec という期間がそのまま１フレーム期間に相当する。
なお、ここでは、それぞれの期間を画像出力動作期間、物体認識動作期間と呼ぶものとする。
そして、物体認識動作期間においては、この１／３０sec 期間の間に２フレーム分の走査を行う。そして、ＬＥＤ光源２１０の点滅を、このフレーム走査に同期させ、例えば、後半のフレーム走査時にのみＬＥＤ光源２１０の光を点灯する。このような動作より、センサ内部でフレーム間差分の演算を実行すると、光の点滅の判別が可能である。
【００２７】
また、画像出力動作は、図３（ｂ）に示すように、行選択信号線ＳＬｎ、垂直信号線（Ｓｌｍ）、リセット信号線（ＴＲｎ−１）、転送信号線（ＴＲｎ）、画素列選択線（ＣＧｍ）等の制御によって各画素の信号を垂直信号線（Ｓｌｍ）より順次出力し、Ｉ−Ｖ変換回路部１４及びＣＤＳ回路部１５に供給する。
なお、この画像出力動作は上記先行出願の動作と同様であり、本実施の形態例の特徴となる部分は主に物体認識動作であるので詳細は省略する。
【００２８】
また、図３（ｃ）に示す物体認識動作では、以下のようなフレーム間差分演算を行う。
まず、図４で説明したように、ピクセルアレイ部１１は、２ｘ２の補色フィルタのグループを１つの単位（ＲＯＵ）として取り扱う。よって、ピクセルアレイ部１１中で選択したＲＯＵを読み出すために、画素のリセットと電荷転送を兼用するＴＲ線について、ＴＲｎ−１、ＴＲｎ、ＴＲｎ＋１の順で順次選択し、２行からの信号を同時に読み出す。
またこのとき、各列は同時に読み出しが行なわれる。そして、ピクセルアレイ部１１の下部のノードＮ１にて２列の信号が融合される。
その信号は、カレントミラー回路１６にて増幅され、メモリアレイ部１７内に書き込まれる。メモリアレイ部１７は、１つのＲＯＵに対し、カレントコピア回路よりなる４つのアナログメモリセル１７１が対応する。
【００２９】
そして、本例では、このうちの２つのメモリセル１７１、例えば図４に示すＦ１、Ｆ２のみを使用する。なお、残りのメモリセルは、後述する実施の形態例で使用可能であるものとする。
これにより、各メモリセル１７１にはフレーム毎に順に逐次、ＲＯＵの信号強度が記憶される。
このようにして、ＲＯＵより読み出された信号は、書き込みフェーズ（ｐｈａｓｅ１）にて、ひとつのメモリセル（例えばＦ１）に書き込まれる。その後、読み出しフェーズ（ｐｈａｓｅ２、ｐｈａｓｅ３）にて、前のフレーム走査にて記憶したセルＦ２と新規に記憶したセルＦ１を順にコンパレータ部２０Ａに読み出す。
【００３０】
そして、コンパレータ部２０Ａによってフレーム間の信号強度の比較を行う。ここで光の強度変化が無い時のコンパレータ出力を安定にするために、前のフレーム信号読み出し（ｐｈａｓｅ２）と同時に、図４に示すオフセットカレントジェネレータ２１によりオフセットバイアス信号を与え、安定時の出力を０データとして保持する。
これにより、光を検出した場合のみ、後半のフレーム信号強度が強くなり、比較結果が逆転し、１データとなる。ここで、図３（ｃ）、図４に示すように、このオフセットカレントは、端子Ｂ１によってアナログ的にコントロールされるものとする。
【００３１】
次に、以上のような本例のフレーム走査について図３に戻って説明する。
まず、物体認識動作期間内にＬＥＤ照射なしのフレーム１と照射ありのフレーム２の２つのフレームが比較される。この場合、フレーム１の照射がない場合の画素信号強度をＦ２に記憶し、その後、フレーム２で照射有り時の信号をＦ１に記憶する。
なお、図３（ｃ）の１Ｈ期間の走査はフレーム１、フレーム２の走査で同一でも構わないが、フレーム１では、前フレームとの比較の必要がないので、ｐｈａｓｅ１の書き込み動作のみ行い、ｐｈａｓｅ２、ｐｈａｓｅ３の読み出し動作を省略することにより動作を簡略化できる。
以上の操作と並行して、センサは各画素の物体の認識情報をバイナリデータとして外部に出力する。
これにより、センサの外部には１／３０sec ごとに画像情報とその画像に対応した物体の認識情報が出力されるので、後段のプロセッサ等により、物体の認識情報が存在する画素のみを画像情報から出力するという動作を行えば背景削除の機能が可能となる。
【００３２】
（第２の実施の形態例）
上述した第１の実施の形態例は、反射光検出の操作例の一例であり、フレーム間差分による光検出としては、他の走査方法でも可能である。
そこで、本発明の他の実施の形態例によるフレーム走査方法を図５〜図８を用いて説明する。
まず、図５（ａ）は、本発明の第２の実施の形態例によるフレーム走査方法を示す説明図である。
上述した第１の実施の形態例では、画像出力と３次元計測を１／３０sec ごとに交互に行っているが、これは必ずしも同一のレートで交互に行う必要がない。例えば図５（ａ）に示すように画像計測時の走査期間（ｔ０）に対して、物体認識動作時の走査期間（ｔ１）を短くし、高速に２回のフレーム走査を行うことが可能である。
上述した第１の実施の形態例では、物体認識動作期間の存在により、画像の連続性が損なわれることと、画像フレームへの切り替え時に画素内各ラインにより光の蓄積時間が異なってしまうという問題があるが、この第２の実施の形態例では、画像出力操作時に対し、物体認識動作時の期間を十分短くすることにより、このような問題を回避することができる。
【００３３】
（第３の実施の形態例）
上述した第１の実施の形態例では、物体認識動作時のフレーム走査数は、１ビデオフレーム期間に２回であったが、図５（ｂ）に示す第２の実施の形態例では、２回より多い回数、すなわち多数回の走査を行う。そして、この期間にＬＥＤ光源を第１の実施の形態例と同様に１回のみ、または複数回点滅する（図示の例では１回の場合を示す）。
この場合、センサ側では多数回のフレーム走査の内、点灯状態から消灯状態となる前後のフレームにおいて光強度の変化を検出することが可能であり、物体の検出が可能となる。なお、この時、どのフレームで検出したかどうかは問題としないものとする。
また、このように多数回のフレーム走査において、フレーム間差分演算を行なう場合は、反射光の検出感度を高めるために、上記先行出願と同様に、４フレーム間での差分演算を行うことが有効である。
図６は、この場合のタイミングチャートを示している。図３（ｃ）では用いなかったセレクト信号ＣＳｉ−３、ＣＳｉ−４を用いることにより、メモリセルＦ１〜Ｆ４の信号を読み出し、４フレームの差分演算を行うことが可能となる。
【００３４】
（第４の実施の形態例）
上述した第３の実施の形態例では、多数回のフレーム走査において、ＬＥＤ光源の１回の点滅のみを検出したが、図５（ｃ）に示す第４の実施の形態例では、このＬＥＤ光源の点滅を複数回とし、また、その点滅にパルスコードとしてデータ内容を付加するような構成とする。
この場合、センサではパルスコードの立ち上がり、立下りで光が変化するタイミングをフレーム間差分演算により検出し、パルスコードの内容を認識する。
このようにして、ある特定のパターンコードのみを認識対象とすれば、外乱光などによる意図しない光変化による誤検出を防ぐことが可能となる。
また、本センサを近距離において複数台使用するとき、個別のセンサにおいて異なるＩＤコードを発光して認識するようにしておけば、各センサが互いに干渉することなく、システムを安定的に動作させることが可能となる。
【００３５】
（第５の実施の形態例）
以上の各実施の形態例では、全てＬＥＤ光源の光強度は一定としたが、第５の実施の形態例として、ＬＥＤ光源の光強度を変化させ、どの強度においてセンサが反射光を検出するかを判別するようにしてもよい。
すなわち、反射光強度は、物体の距離、色、表面テクスチャなどにより変化するため、検出強度を判別することにより、これらの特性による物体の判別が可能となる。たとえば、弱い光で判別できた物体は近距離にあるものと判断でき、強い光により初めて検出できたものは、遠方にあるものと判断することができる。これにより、例えば、背景から抜き出す物体の距離をコントロールしたり、また、背景の壁など、ある程度、近距離にある背景は画像に残すなどの処理が可能となる。
【００３６】
また、この場合、光強度を変化させていくタイミングはいくつか選択が可能である。たとえば、図７（ａ）に示すように、各物体認識動作期間ごとに変化させていくことが可能である。この場合は、光強度のバリエーションを全て取得するのに数ビデオフレーム分かかるので、リアルタイム処理には不利となる。
一方、図７（ｂ）に示すように、物体認識動作期間中の複数のセンサフレーム走査において光強度を変化させていけば、リアルタイムでの物体識別が可能である。この時は、たとえばフレーム１において、ＬＥＤ照射なし時の信号を記憶し、その後、フレームごとにＬＥＤ照射距度をフレーム２、フレーム３で変化させ、逐次、フレーム１の信号強度と比較していく。
【００３７】
（第６の実施の形態例）
上述した第５の実施の形態例では、ＬＥＤ光源の光強度を変えることによって物体の判別を行ったが、第６の実施の形態例として、ＬＥＤ光源の光強度を一定とし、センサ側の感度を変えることにより、同様な物体判別を行うようにしてもよい。
ここで、センサ側の感度を変化させる方法の１つとして、前述したオフセットカレントジェネレータ２１によってオフセット値を可変制御する方法がある。つまり、フレーム間差分演算において、フレーム間の重み付けを変えることにより、光変化の検出強度を可変とすることができる。
【００３８】
また、このオフセット値の可変制御は、上述した第５の実施の形態例と同様に、物体認識動作期間ごとに変化させていくか、もしくは物体認識動作期間中の複数センサフレーム走査において変化させていくことができる。図７（ｃ）は、この場合のタイミングチャートを示している。図中、オフセット値の可変制御によるセンサ側の感度変化を破線αで示している。
ここで、オフセットカレントジェネレータ２１のコントロール端子Ｂ１の出力レベルはオフセットカレントのレベルに対応しているものとする。
なお、図７（ｃ）におけるＢ１のレベルは、それぞれのフレーム期間中のオフセットカレントタイミング（図３（ｃ）のｐｈａｓｅ２）において図７（ｃ）に示すバイアスレベルを印加することを意味している。
【００３９】
（第７の実施の形態例）
この第７の実施の形態例は、上述した第６の実施の形態例に対し、さらにセンサ側の感度を変化させる方法の１つとして、センサフレームレートを変化させる方法を用いるものである。
すなわち、センサのフレームレートは光の蓄積時間に対応するので、フレームレートを変化させることにより、感度調整が可能となる。
たとえば図８に示すように、ＬＥＤ光源の照射期間においてフレーム走査スピードを段階的に遅くしていくことにより、反射光検出感度を上げていくことができる。
以上の第１〜第７の実施の形態例によるフレーム走査は、それぞれ単独で用いても良いし、それぞれの組み合わせにより用いても構わない。特に、第４の実施の形態例で説明したパターンコード化は、単にパルスのオン、オフのみでなく、
ＬＥＤ光源の発光強度制御、センサの感度制御との組み合わせにより行なうことも可能である。
【００４０】
（その他の実施の形態例）
さらに、上述した各実施の形態例によるセンサは、画像信号を扱う各種の電子機器に搭載することが可能であり、このような電子機器についても本発明の範囲に含まれるものとする。
このようにセンサを電子機器に搭載する場合の基本的条件としては、センサの画角に収まる物体がＬＥＤ光源の光に照射されるような位置関係にセンサとＬＥＤ光源が配置されていれば良い。
図９は、上述した各実施の形態例によるセンサを携帯端末に搭載した場合の具体例を示す斜視図であり、図９（ａ）は携帯端末３００のディスプレー３１０の上部と下部にセンサ受光部３２０とＬＥＤ光源３３０と分離して配置した例を示し、図９（ｂ）は携帯端末３００のディスプレー３１０の下部にセンサ受光部３２０とＬＥＤ光源３３０を近接して配置した例を示している。
なお、図９（ｂ）の構成では、センサ受光部３２０とＬＥＤ光源３３０とを同一半導体チップ上に作り込んだり、１パッケージ内に設けて構成される投光部付きセンサモジュールを携帯端末に設けるようにすることが可能である。
なお、このような携帯端末に限らず、さらに各種の通信装置や画像処理装置都の幅広い電子機器に搭載することが可能である。
【００４１】
また、上述した各実施の形態例では、全て発光手段としてＬＥＤを前提に説明したが、センサの画角を照射し得るものであり、かつ、センサが十分な感度をもつ光源であれば、ＬＥＤ以外のものを用いることが可能である。
また、照射光源は１つでは無く、複数配置することにより、光源の強度をかせいだり、被写体に均一に光が照射されるように工夫することも可能である。たとえば、上述した第５の実施の形態例において、ＬＥＤ光源の光強度の可変制御を点滅ＬＥＤの個数により調節するなどといった方法も可能である。
【００４２】
また、上記の例では先行出願において開示されているセンサのアーキテクチャに基づいて説明したが、ピクセルアレイ部とそれに対応するアナログメモリアレイ部（フレームメモリ）を有する構成であれば、フレーム間の差分によって同様な機能を実現することが可能である。
また、そのアナログメモリアレイ部は、ピクセルアレイ部内に設けられていても、あるいはピクセルアレイ部の外部に設けられていても、さらに、センサチップの外部に設けられていても構わない。
また、上述したＬＥＤや各種回路を含む固体撮像装置全体を１つの半導体チップ上に設けたり、１パッケージ化するようなことも適宜選択が可能である。
また、本実施の形態による手法によって、背景から手前の物体を抽出するのみでなく、上述した物体認識の機能によって、ある特定範囲の距離にある物体を抽出する、ある特定の色（黒）等を有する物体や部分を抽出する、ある特定のテクスチャを持つ物体や部分を抽出するなどの機能を実現することも可能である。
【００４３】
【発明の効果】
以上説明したように本発明の固体撮像装置及びその駆動方法によれば、被写体の認識を行う被写体認識機能を実現する場合、発光手段によって被写体全体を照射し、その反射光による撮像信号をフレームメモリを用いて保存することにより、発光手段の点灯時の撮像信号と消灯時の撮像信号をフレーム単位で比較するようにしたことから、上記先行出願のようなスリット状光源やスキャンミラーを不要とし、被写体全体を照射する点光源を用いることが可能となる。
したがって、通常の画像出力機能と３次元距離計測等の被写体認識機能とを具備した固体撮像装置の構成を簡易化でき、装置の小型化や低コスト化を達成できる効果がある。
また、このような固体撮像装置を電子機器に組み込むことにより、電子機器の小型化や低コスト化を達成できる効果がある。
【図面の簡単な説明】
【図１】 本発明の実施の形態例によるイメージセンサの全体構成を示す概略ブロック図である。
【図２】 図１に示すイメージセンサで用いる距離測定システムの構成を示す説明図である。
【図３】 図１に示すイメージセンサの距離測定システムにおける各種動作タイミングを示すタイミングチャートである。
【図４】 図１に示すイメージセンサのピクセルアレイ部とアナログメモリアレイ部の構造を示す説明図である。
【図５】 本発明の第２〜第４の実施の形態例によるフレーム走査方法を示す説明図である。
【図６】 本発明の第３の実施の形態例における動作タイミングを示すタイミングチャートである。
【図７】 本発明の第５、第６の実施の形態例によるフレーム走査方法を示す説明図である。
【図８】 本発明の第７の実施の形態例によるフレーム走査方法を示す説明図である。
【図９】 本発明の各実施の形態例によるセンサを携帯端末に搭載した場合の具体例を示す斜視図である。
【符号の説明】
１１……ピクセルアレイ部、１２……ピクセルＶスキャナ部、１３……ピクセルＨスキャナ部、１４……Ｉ−Ｖ変換回路部、１５……ＣＤＳ回路部、１６……カレントミラー回路部、１７……アナログメモリアレイ部、１８……メモリＶスキャナ部、１９……メモリＨスキャナ部、２０……コンパレータ／データラッチ部、２００……センサ受光部、２１０……ＬＥＤ光源、２２０……物体（被写体）。
Claims (18)
- 被写体を撮像して実画像を出力する画像出力機能と、前記被写体を撮像して撮像信号を演算処理することにより、前記被写体の抽出を行う被写体認識機能とを具備した固体撮像装置であって、
画素アレイによって前記被写体の撮像を行う撮像動作を行う撮像手段と、
前記撮像手段によって得られた撮像信号に所定の信号処理を施して画像情報を出力する画像出力動作を行う画像出力処理手段と、
前記撮像手段の各画素に対応するアナログメモリセルを有するアナログメモリアレイ部と、
前記撮像手段の視野全体を含む方位に光を照射する発光手段と、
前記撮像手段における撮像動作に同期して前記発光手段の点灯を制御する発光制御手段と、
前記発光手段の点灯時における撮像信号を前記アナログメモリアレイ部のアナログメモリセルに画素毎に格納する第１の書き込み動作と、前記発光手段の消灯時における撮像信号を前記アナログメモリアレイ部のアナログメモリセルに画素毎に格納する第２の書き込み動作と、前記アナログメモリアレイ部の各アナログメモリセルから画素毎に、前記発光手段の点灯時における撮像信号に対応する第１のフレーム信号と、前記消灯時における撮像信号に対応する第２のフレーム信号とを読み出す読み出し動作と、前記第１、第２のフレーム信号の比較演算を行うことにより得たフレーム差分信号から前記被写体の抽出を行うための認識情報を出力する認識情報出力動作とを含む物体認識動作を行う被写体認識手段とを有し、
前記画像出力処理手段による前記画像出力動作が行われる画像出力動作期間と、前記被写体認識手段による前記物体認識動作の双方が行われる物体認識動作期間とが時間的に分離されている、
ことを特徴とする固体撮像装置。 - 前記発光手段の点滅にパルスコードとしてデータ内容を付加し、前記被写体認識手段は前記フレーム差分信号から前記パルスコードを読み取り、該パルスコードのデータ内容が特定のデータ内容である場合に、前記認識情報を出力することを特徴とする請求項１記載の固体撮像装置。
- 前記画像出力動作期間に対し、前記物体認識動作期間が同じ、または短いことを特徴とする請求項１記載の固体撮像装置。
- 前記第１および第２の書き込み動作における前記撮像信号の前記アナログメモリアレイ部のアナログメモリセルへの画素毎の格納はフレーム走査によってなされ、
物体認識動作期間において前記フレーム走査を２回以上行うとともに、そのフレーム走査期間内に前記発光手段の点滅を１回または複数回行うことを特徴とする請求項１記載の固体撮像装置。 - 前記第１および第２の書き込み動作における前記撮像信号の前記アナログメモリアレイ部のアナログメモリセルへの画素毎の格納はフレーム走査によってなされ、
前記被写体認識手段は、前記フレーム走査毎に前記発光手段の点灯強度、前記第１、第２のフレーム信号の比較演算における前記第１、第２のフレーム信号の重み付け、フレーム走査速度の少なくとも１つを変化させることにより前記フレーム差分信号を得ると共に、該フレーム差分信号に基づいて被写体までの距離情報、テクスチャ情報、色情報の少なくとも１つを生成し、該少なくとも１つの情報を前記認識情報として出力することを特徴とする請求項１記載の固体撮像装置。 - 前記画像出力動作期間と前記物体認識動作期間との時間的分離は、前記撮像手段におけるフレーム走査単位でなされていることを特徴とする請求項１記載の固体撮像装置。
- 前記画像出力動作期間と前記物体認識動作期間との時間的分離は、任意の時間単位でなされていることを特徴とする請求項１記載の固体撮像装置。
- 前記被写体認識手段による前記認識情報出力動作における前記認識情報の出力は、前記フレーム差分信号に基づいて被写体より反射した光を検出した画素と検出しない画素との識別結果に基づいてなされることを特徴とする請求項１記載の固体撮像装置。
- 画素アレイによって前記被写体の撮像を行う撮像手段と、前記撮像手段の各画素に対応するアナログメモリセルを有するアナログメモリアレイ部と、前記撮像手段の視野全体を含む方位に光を照射する発光手段とを有し、被写体を撮像して実画像を出力する画像出力機能と、前記被写体を撮像して撮像信号を演算処理することにより、前記被写体の抽出を行う被写体認識機能とを具備した固体撮像装置の駆動方法であって、
前記撮像手段によって得られた撮像信号に所定の信号処理を施して画像情報を出力する画像出力動作を行う画像出力処理ステップと、
前記撮像手段における撮像動作に同期して前記発光手段の点灯を制御する発光制御ステップと、
前記発光手段の点灯時における撮像信号を前記アナログメモリアレイ部のアナログメモリセルに画素毎に格納する第１の書き込み動作と、前記発光手段の消灯時における撮像信号を前記アナログメモリアレイ部のアナログメモリセルに画素毎に格納する第２の書き込み動作と、前記アナログメモリアレイ部の各アナログメモリセルから画素毎に、前記発光手段の点灯時における撮像信号に対応する第１のフレーム信号と、前記消灯時における撮像信号に対応する第２のフレーム信号とを読み出す読み出し動作と、前記第１、第２のフレーム信号の比較演算を行うことにより得たフレーム差分信号から前記被写体の抽出を行うための認識情報を出力する認識情報出力動作とを含む物体認識動作を行う被写体認識ステップとを備え、
前記画像出力処理ステップによる前記画像出力動作が行われる画像出力動作期間と、前記被写体認識ステップによる前記物体認識動作が行われる物体認識動作期間とが時間的に分離されている、
ことを特徴とする固体撮像装置の駆動方法。 - 前記発光制御ステップは、前記発光手段の点滅にパルスコードとしてデータ内容を付加し、
前記被写体認識ステップは、前記フレーム差分信号から前記パルスコードを読み取り、該パルスコードのデータ内容が特定のデータ内容である場合に、前記認識情報を出力することを特徴とする請求項９記載の固体撮像装置の駆動方法。 - 前記画像出力動作期間に対し、前記物体認識動作期間が同じ、または短いことを特徴とする請求項９記載の固体撮像装置の駆動方法。
- 前記第１および第２の書き込み動作における前記撮像信号の前記アナログメモリアレイ部のアナログメモリセルへの画素毎の格納はフレーム走査によってなされ、前記被写体認識ステップは、前記物体認識動作期間において前記フレーム走査を２回以上行い、前記発光制御ステップは、前記フレーム走査期間内に前記発光手段の点滅を１回または複数回行うことを特徴とする請求項９記載の固体撮像装置の駆動方法。
- 前記第１および第２の書き込み動作における前記撮像信号の前記アナログメモリアレイ部のアナログメモリセルへの画素毎の格納はフレーム走査によってなされ、
前記被写体認識ステップは、前記フレーム走査毎に前記発光手段の点灯強度、前記第１、第２のフレーム信号の比較演算における前記第１、第２のフレーム信号の重み付け、フレーム走査速度の少なくとも１つを変化させることにより前記フレーム差分信号を得ると共に、該フレーム差分信号に基づいて被写体までの距離情報、テクスチャ情報、色情報の少なくとも１つを生成し、該少なくとも１つの情報を前記認識情報として出力することを特徴とする請求項９記載の固体撮像装置の駆動方法。 - 前記画像出力動作期間と前記物体認識動作期間との時間的分離は、前記撮像手段におけるフレーム走査単位でなされていることを特徴とする請求項９記載の固体撮像装置の駆動方法。
- 前記画像出力動作期間と前記物体認識動作期間との時間的分離は、任意の時間単位でなされていることを特徴とする請求項９記載の固体撮像装置の駆動方法。
- 前記被写体認識ステップによる前記物体認識動作における前記認識情報の出力は、前記フレーム差分信号に基づいて被写体より反射した光を検出した画素と検出しない画素との識別結果に基づいてなされることを特徴とする請求項９記載の固体撮像装置の駆動方法。
- 被写体を撮像して実画像を出力する画像出力機能と、前記被写体を撮像して撮像信号を演算処理することにより、前記被写体の抽出を行う被写体認識機能とを具備した固体撮像装置が搭載される電子機器であって、
前記固体撮像装置は、
画素アレイによって前記被写体の撮像を行う撮像動作を行う撮像手段と、
前記撮像手段によって得られた撮像信号に所定の信号処理を施して画像情報を出力する画像出力動作を行う画像出力処理手段と、
前記撮像手段の各画素に対応するアナログメモリセルを有するアナログメモリアレイ部と、
前記撮像手段の視野全体を含む方位に光を照射する発光手段と、
前記撮像手段における撮像動作に同期して前記発光手段の点灯を制御する発光制御手段と、
前記発光手段の点灯時における撮像信号を前記アナログメモリアレイ部のアナログメモリセルに画素毎に格納する第１の書き込み動作と、前記発光手段の消灯時における撮像信号を前記アナログメモリアレイ部のアナログメモリセルに画素毎に格納する第２の書き込み動作と、前記アナログメモリアレイ部の各アナログメモリセルから画素毎に、前記発光手段の点灯時における撮像信号に対応する第１のフレーム信号と、前記消灯時における撮像信号に対応する第２のフレーム信号とを読み出す読み出し動作と、前記第１、第２のフレーム信号の比較演算を行うことにより得たフレーム差分信号から前記被写体の抽出を行うための認識情報を出力する認識情報出力動作とを含む物体認識動作を行う被写体認識手段とを有し、
前記画像出力処理手段による前記画像出力動作が行われる画像出力動作期間と、前記被写体認識手段による前記物体認識動作の双方が行われる物体認識動作期間とが時間的に分離されている、
ことを特徴とする電子機器。 - 前記発光手段の点滅にパルスコードとしてデータ内容を付加し、前記被写体認識手段は前記フレーム差分信号から前記パルスコードを読み取り、該パルスコードのデータ内容が特定のデータ内容である場合に、前記認識情報を出力することを特徴とする請求項１７記載の電子機器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002151802A JP4306183B2 (ja) | 2002-05-27 | 2002-05-27 | 固体撮像装置及びその駆動方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002151802A JP4306183B2 (ja) | 2002-05-27 | 2002-05-27 | 固体撮像装置及びその駆動方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003348459A JP2003348459A (ja) | 2003-12-05 |
| JP4306183B2 true JP4306183B2 (ja) | 2009-07-29 |
Family
ID=29769279
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002151802A Expired - Fee Related JP4306183B2 (ja) | 2002-05-27 | 2002-05-27 | 固体撮像装置及びその駆動方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4306183B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011247872A (ja) * | 2010-04-27 | 2011-12-08 | Denso Corp | 距離測定装置、距離測定方法、および距離測定プログラム |
| CN102016283B (zh) * | 2008-03-31 | 2013-06-12 | 本田技研工业株式会社 | 机动二轮车的进气装置 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4665422B2 (ja) * | 2004-04-02 | 2011-04-06 | ソニー株式会社 | 撮像装置 |
| JP4654610B2 (ja) * | 2004-06-11 | 2011-03-23 | ソニー株式会社 | 撮像装置及び撮像制御方法 |
| JP4830270B2 (ja) * | 2004-06-14 | 2011-12-07 | ソニー株式会社 | 固体撮像装置および固体撮像装置の信号処理方法 |
| JP2007028080A (ja) * | 2005-07-14 | 2007-02-01 | Sony Corp | 撮像装置 |
| KR101591471B1 (ko) | 2008-11-03 | 2016-02-04 | 삼성전자주식회사 | 물체의 특징 정보를 추출하기 위한 장치와 방법, 및 이를 이용한 특징 지도 생성 장치와 방법 |
| JP7176208B2 (ja) * | 2018-03-16 | 2022-11-22 | 株式会社アイシン | システムおよび撮像装置 |
| KR20220089698A (ko) | 2019-11-07 | 2022-06-28 | 소니 세미컨덕터 솔루션즈 가부시키가이샤 | 센싱 디바이스, 전자 기기 및 센싱 디바이스의 제어 방법 |
-
2002
- 2002-05-27 JP JP2002151802A patent/JP4306183B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102016283B (zh) * | 2008-03-31 | 2013-06-12 | 本田技研工业株式会社 | 机动二轮车的进气装置 |
| JP2011247872A (ja) * | 2010-04-27 | 2011-12-08 | Denso Corp | 距離測定装置、距離測定方法、および距離測定プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003348459A (ja) | 2003-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12010447B2 (en) | Dynamic vision sensor architecture | |
| EP3440831B1 (en) | Mage sensor for computer vision based human computer interaction | |
| CN110868518B (zh) | 使用动态视觉传感器进行脉冲光图案捕获的***和方法 | |
| US6858827B2 (en) | Solid-state image pickup apparatus and control method thereof | |
| JP4665422B2 (ja) | 撮像装置 | |
| CN108010073B (zh) | 用于具有背景去除的有源深度成像仪的***和方法 | |
| US6970195B1 (en) | Digital image sensor with improved color reproduction | |
| EP4053500B1 (en) | Object recognition system, signal processing method of object recognition system, and electronic device | |
| EP1339010A2 (en) | Image input apparatus | |
| US20070171298A1 (en) | Image capturing element, image capturing apparatus, image capturing method, image capturing system, and image processing apparatus | |
| JP4306183B2 (ja) | 固体撮像装置及びその駆動方法 | |
| CN103248834B (zh) | 固态成像设备、驱动方法及电子设备 | |
| JP2006333493A (ja) | 固体撮像装置及びその制御方法 | |
| US20050281440A1 (en) | Iris feature detection and sensor-based edge detection | |
| JP2005354568A (ja) | 物理情報取得方法および物理情報取得装置並びに物理量分布検知の半導体装置 | |
| JP2007281556A (ja) | 撮像素子、撮像装置及び撮像システム | |
| WO2021084832A1 (ja) | 物体認識システム及び物体認識システムの信号処理方法、並びに、電子機器 | |
| US20230156323A1 (en) | Imaging apparatus, imaging control method, and program | |
| US20220353441A1 (en) | Imaging device, method of driving imaging device, and electronic equipment | |
| JP3899860B2 (ja) | 固体撮像素子およびその駆動方法、並びに動き検出装置 | |
| JP2008172606A (ja) | 固体撮像装置及びカメラシステム | |
| WO2022153854A1 (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
| US20210195131A1 (en) | Signal processing apparatus, photoelectric conversion apparatus, imaging apparatus, and moving body | |
| WO2023186437A1 (en) | Sensor device and method for operating a sensor device | |
| JP2005278038A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050427 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080206 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080218 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080418 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090414 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090427 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |