JP4306183B2

JP4306183B2 - Solid-state imaging device and driving method thereof

Info

Publication number: JP4306183B2
Application number: JP2002151802A
Authority: JP
Inventors: 寿伸杉山
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-05-27
Filing date: 2002-05-27
Publication date: 2009-07-29
Anticipated expiration: 2022-05-27
Also published as: JP2003348459A

Description

【０００１】
【発明の属する技術分野】
本発明は、通常の画像信号の取得機能に加えて一定のアプリケーションを実行するための演算機能を付加した固体撮像装置及びその駆動方法に関する。
【０００２】
【従来の技術】
近年、ＣＭＯＳイメージセンサ等の固体撮像装置は、その小型化、低価格化、低消費電力化等の改良に伴い、パソコン（ＰＣ）、ゲーム、携帯電話、携帯端末等の各種ＩＴ関連機器におけるカメラモジュールとして標準的に搭載することが一般的になりつつある。
また、現状の固体撮像装置では、単に自然画像を取得するに留まっているが、今後、上述のような各種ＩＴ関連機器に搭載されているプロセッサ、ネットワーク技術と関連し合いながら、単に画像を取得するにとどまらず、画像認識、画像加工等、さまざまな複雑な画像処理機能を保持していくことが予想される。
【０００３】
しかし、一般的に、これらの画像処理には複雑な演算処理が必要とされるため、特に携帯機器等に搭載され得る処理機能では自然画像より、これらの画像処理を行なうことは処理能力の点から不可能な場合があり、そのような場合は、イメージセンサ上で何らかの演算機能を保持し、画像処理の前処理的な演算を実行することが期待される。
そこで、このような演算機能の１つとして、画像の手前の物体のみを画像から切り出し、背景を隠す、背景削除という機能の実現が期待されている。これは、例えば携帯機器等を利用した動画像通信等において、プライベート事項の守秘のために、手前の会話している人物のみを切り出し、後ろの背景を隠すなどの必要性があるためである。また、これは同時に手前の人物のみを伝送すれば良いこととなり、データ量の低減にもつながるものである。
【０００４】
【発明が解決しようとする課題】
ところで、上述のような背景を分離する機能は、通常のイメージセンサを使用して、後段のプロセッサを用いて演算すれば、可能であるが、手前の人物の認識、輪郭の切り抜き等、計算量は膨大であり、現状の携帯機器のような小型のスペースで動画に追随し得るリアルタイムの処理を行なうことは不可能である。
また、このような実情に対し、現状では背景分離の機能をセンサ内の演算処理で実現するようなイメージセンサは未だ製品レベルでは存在していないものと思われる。
【０００５】
そこで、本件出願人は、このような背景分離機能を実現するものとして、例えば特願２００１−２８７６２５号（以下の説明では先行出願という）において、通常のカラー画像信号の処理系とは別の経路で読み出した画像信号について３次元距離計測演算の処理を行い、３次元の距離情報をリアルタイムで取得することを可能とした固体撮像装置を提案している。
すなわち、この固体撮像装置によれば、通常の撮像処理によって取得した画像情報と、距離計測演算処理によって取得した距離情報とを組み合わせることにより、例えば、固体撮像装置の手前にある部分の画像のみを表示といった背景分離処理をリアルタイムで容易に行なうことが可能となる。
【０００６】
ここで、上記先行出願に開示された固体撮像装置の概要について説明する。
この固体撮像装置（以下、単にセンサという）は、主に受光部を構成するピクセルアレイと、ピクセルアレイに対応したアナログメモリアレイと、３次元距離計測用の比較演算を行うコンパレータと、演算データを保持するデータラッチと、画像信号を処理するためのＩ−Ｖ変換回路と、画像信号のノイズ除去を行うＣＤＳ（相関二重サンプリング）回路より構成され、通常の画像を取得することと、３次元計測のための演算を行なうことが可能である。
そして、画像取得時には、各画素からの電流信号を１画素ずつピクセルアレイの上方に読み出し、Ｉ−Ｖ変換回路によって電圧信号に変換後、ＣＤＳ回路によって固定パターンノイズの除去を行なう。
【０００７】
一方、３次元距離計測には、各画素からの電流信号を各列同時にピクセルアレイの下方に読み出す。ここで、アナログフレームメモリセルは、１つの画素につき、４個のメモリセルが対応しており、各画素の連続する４フレーム分の信号を逐次記憶することが可能である。
そこで、各画素からの信号はアナログフレームメモリに蓄積後、このメモリの内容を下方に読み出し、コンパレータによってフレーム間の比較（差分）演算を行なう。そして、この比較（差分）結果を２値のバイナリデータとして後段のデータラッチに保持し、その後、外部に出力する。
【０００８】
そして、この３次元距離計測のシステムでは、距離計測の手法として光切断法を用いており、センサの他に、スリット状の光を被写体に投光する光源と、そのスリット状の光をスキャンニングするためのスキャンミラーとを有し、センサでは、物体に当たって反射してくるスリット光を各画素毎に上述したコンパレータによるフレーム間差分演算によって検出する。
しかしながら、このような先行出願による開示内容においては、被写体の３次元距離計測の精度を上げるために、スリット状の光を被写体に投光する機構部が必要であり、例えば携帯電話等の小型の機器に搭載するには、システムの大きさ、消費電力、コストの点から不利となる面があった。
【０００９】
そこで本発明の目的は、通常の撮像機能に加えて被写体の３次元距離計測により背景分離等の処理を行うことが可能な固体撮像装置について、さらに簡易な構成により、高精度の３次元距離計測を行うことが可能な固体撮像装置及びその駆動方法を提供することにある。
【００１０】
【課題を解決するための手段】
本発明は前記目的を達成するため、被写体を撮像して実画像を出力する画像出力機能と、前記被写体を撮像して撮像信号を演算処理することにより、前記被写体の抽出を行う被写体認識機能とを具備した固体撮像装置であって、画素アレイによって前記被写体の撮像を行う撮像動作を行う撮像手段と、前記撮像手段によって得られた撮像信号に所定の信号処理を施して画像情報を出力する画像出力動作を行う画像出力処理手段と、前記撮像手段の各画素に対応するアナログメモリセルを有するアナログメモリアレイ部と、前記撮像手段の視野全体を含む方位に光を照射する発光手段と、前記撮像手段における撮像動作に同期して前記発光手段の点灯を制御する発光制御手段と、前記発光手段の点灯時における撮像信号を前記アナログメモリアレイ部のアナログメモリセルに画素毎に格納する第１の書き込み動作と、前記発光手段の消灯時における撮像信号を前記アナログメモリアレイ部のアナログメモリセルに画素毎に格納する第２の書き込み動作と、前記アナログメモリアレイ部の各アナログメモリセルから画素毎に、前記発光手段の点灯時における撮像信号に対応する第１のフレーム信号と、前記消灯時における撮像信号に対応する第２のフレーム信号とを読み出す読み出し動作と、前記第１、第２のフレーム信号の比較演算を行うことにより得たフレーム差分信号から前記被写体の抽出を行うための認識情報を出力する認識情報出力動作とを含む物体認識動作を行う被写体認識手段とを有し、前記画像出力処理手段による前記画像出力動作が行われる画像出力動作期間と、前記被写体認識手段による前記物体認識動作の双方が行われる物体認識動作期間とが時間的に分離されていることを特徴とする。
【００１１】
また本発明は、画素アレイによって前記被写体の撮像を行う撮像手段と、前記撮像手段の各画素に対応するアナログメモリセルを有するアナログメモリアレイ部と、前記撮像手段の視野全体を含む方位に光を照射する発光手段とを有し、被写体を撮像して実画像を出力する画像出力機能と、前記被写体を撮像して撮像信号を演算処理することにより、前記被写体の抽出を行う被写体認識機能とを具備した固体撮像装置の駆動方法であって、前記撮像手段によって得られた撮像信号に所定の信号処理を施して画像情報を出力する画像出力動作を行う画像出力処理ステップと、前記撮像手段における撮像動作に同期して前記発光手段の点灯を制御する発光制御ステップと、前記発光手段の点灯時における撮像信号を前記アナログメモリアレイ部のアナログメモリセルに画素毎に格納する第１の書き込み動作と、前記発光手段の消灯時における撮像信号を前記アナログメモリアレイ部のアナログメモリセルに画素毎に格納する第２の書き込み動作と、前記アナログメモリアレイ部の各アナログメモリセルから画素毎に、前記発光手段の点灯時における撮像信号に対応する第１のフレーム信号と、前記消灯時における撮像信号に対応する第２のフレーム信号とを読み出す読み出し動作と、前記第１、第２のフレーム信号の比較演算を行うことにより得たフレーム差分信号から前記被写体の抽出を行うための認識情報を出力する認識情報出力動作とを含む物体認識動作を行う被写体認識ステップとを備え、前記画像出力処理ステップによる前記画像出力動作が行われる画像出力動作期間と、前記被写体認識ステップによる前記物体認識動作が行われる物体認識動作期間とが時間的に分離されていることを特徴とする。
【００１２】
また本発明は、被写体を撮像して実画像を出力する画像出力機能と、前記被写体を撮像して撮像信号を演算処理することにより、前記被写体の抽出を行う被写体認識機能とを具備した固体撮像装置が搭載される電子機器であって、前記固体撮像装置は、画素アレイによって前記被写体の撮像を行う撮像動作を行う撮像手段と、前記撮像手段によって得られた撮像信号に所定の信号処理を施して画像情報を出力する画像出力動作を行う画像出力処理手段と、前記撮像手段の各画素に対応するアナログメモリセルを有するアナログメモリアレイ部と、前記撮像手段の視野全体を含む方位に光を照射する発光手段と、前記撮像手段における撮像動作に同期して前記発光手段の点灯を制御する発光制御手段と、前記発光手段の点灯時における撮像信号を前記アナログメモリアレイ部のアナログメモリセルに画素毎に格納する第１の書き込み動作と、前記発光手段の消灯時における撮像信号を前記アナログメモリアレイ部のアナログメモリセルに画素毎に格納する第２の書き込み動作と、前記アナログメモリアレイ部の各アナログメモリセルから画素毎に、前記発光手段の点灯時における撮像信号に対応する第１のフレーム信号と、前記消灯時における撮像信号に対応する第２のフレーム信号とを読み出す読み出し動作と、前記第１、第２のフレーム信号の比較演算を行うことにより得たフレーム差分信号から前記被写体の抽出を行うための認識情報を出力する認識情報出力動作とを含む物体認識動作を行う被写体認識手段とを有し、前記画像出力処理手段による前記画像出力動作が行われる画像出力動作期間と、前記被写体認識手段による前記物体認識動作の双方が行われる物体認識動作期間とが時間的に分離されていることを特徴とする。
【００１３】
本発明の固体撮像装置及びその駆動方法では、被写体の認識を行う被写体認識機能を実現する場合、発光手段によって被写体全体を照射し、その反射光による撮像信号をアナログメモリアレイ部を用いて保存することにより、発光手段の点灯時の撮像信号と消灯時の撮像信号をフレーム単位で比較するようにしたことから、上記先行出願のようなスリット状光源やスキャンミラーを不要とし、被写体全体を照射する点光源を用いることが可能となる。
したがって、通常の画像出力機能と３次元距離計測等の被写体認識機能とを具備した固体撮像装置の構成を簡易化でき、装置の小型化や低コスト化を達成できるとともに、この固体撮像装置が組み込まれる電子機器の小型化や低コスト化にも貢献することが可能となる。
【００１４】
【発明の実施の形態】
以下、本発明による固体撮像装置及びその駆動方法の実施の形態例について説明する。
本実施の形態例による固体撮像装置（以下、イメージセンサまたは単にセンサという）は、上記先行出願に係るセンサに対し、ほぼ同様の素子構造を使用し、かつ、距離測定用の投光部（発光手段）については、センサの視野全体を含む方位に光を照射する例えばＬＥＤ等の点光源のみを用いて背景削除の機能を実現するものであり、上記先行出願に示すようなスリット状光源やスキャンミラーを不要とし、システムの構成を簡略化したものである。
なお、本実施の形態例によるセンサにおいても、上記先行出願に係るセンサと同様に、従来はセンサのピクセル毎に保持していた演算回路をカラム（Ｃｏｌｕｍｎ＝列）毎に共有するものであり、さらに、画像出力の処理と演算処理とを別な回路ブロックで完全分離して行うことにより、実画像の高画質化を達成し、なおかつ演算処理にも最適な設計を可能とするという特徴を共有しているものとする。
【００１５】
図１は本発明の実施の形態例によるイメージセンサの全体構成を示す概略ブロック図である。なお、この図１に示す構成は上記先行出願に開示するものと本質的に同一のものである。
図１に示されるように、このイメージセンサは、ピクセル（画素）アレイ部１１、ピクセルＶスキャナ部１２、ピクセルＨスキャナ部１３、Ｉ−Ｖ変換回路部１４、ＣＤＳ回路部１５、カレントミラー回路部１６、アナログメモリアレイ部１７、メモリＶスキャナ部１８、メモリＨスキャナ部１９、コンパレータ／データラッチ部２０等より構成されている。
ピクセルアレイ部１１は、光を検出する複数のピクセル１１１を行列方向に２次元マトリクス状に配置したものであり、各ピクセル１１１より送出される信号は、垂直方向に走る信号線（垂直信号線）によって伝達される。
【００１６】
ピクセルＶスキャナ部１２およびピクセルＨスキャナ部１３は、ピクセルアレイ部１１の内部を垂直方向および水平方向に走査し、１つのピクセル１１１を選択するものである。
Ｉ−Ｖ変換回路部１４は、通常の画像出力走査時に各ピクセル１１１から水平信号線に出力された電流を電圧信号に変換するものであり、ＣＤＳ回路部１５は、Ｉ−Ｖ変換回路部１４からの出力信号に所定のノイズ除去処理を施し、画像信号として出力するものである。
カレントミラー回路部１６は、演算処理時に各ピクセル１１１からの出力電流を増幅するものであり、アナログメモリアレイ部１７は、カレントミラー回路部１６からの出力をカレントコピアセル内に一時記憶するものである。
【００１７】
また、メモリＶスキャナ部１８およびメモリＨスキャナ部１９は、アナログメモリアレイ部１７のカレントコピアセルをスキャンし、セル内のデータを取り出すものである。
コンパレータ／データラッチ部２０は、アナログメモリアレイ部１７から読み出されたデータの比較演算を行うコンパレータ部と、このコンパレータ部の演算データをラッチし、そのラッチデータを出力データバスより出力するデータラッチ部とを含むものである。
【００１８】
また、図１では省略しているが、垂直信号線には、ピクセルアレイ部１１と水平信号線とを開閉するスイッチＳ１、ピクセルアレイ部１１とカレントミラー回路部１６とを開閉するスイッチＳ２、カレントミラー回路部１６とアナログメモリアレイ部１７とを開閉するスイッチＳ３、アナログメモリアレイ部１７とバイアス回路部（図示せず）とを開閉するスイッチＳ４などが設けられている。
【００１９】
以上のような構成において、通常の画像出力走査時には、ピクセルアレイ部１１の各ピクセル１１１がピクセルＨスキャナ部、ピクセルＶスキャナ部によって順次走査され、特定の１つのピクセル１１１が選択され、ピクセル１１１より送出される電流信号は、図中の上方向（第１の信号伝送方向）へ伝達され、ピクセルＨスキャナ部１３によりスイッチＳ１が順次選択され、１ピクセルの信号ごとに水平信号線に転送され、その後、Ｉ−Ｖ変換回路部１４にて電圧信号に変換され、さらに、ＣＤＳ回路部１５によってＦＰＮ（Fixed pattern Noise ）、リセットノイズ（ｋｔｃノイズ）が除去され、画像信号出力として出力される。また、このような画像出力走査時には、垂直信号線のスイッチＳ２がＯＦＦしていることによってピクセルアレイ部１１とカレントミラー回路部１６とは遮断されている。
【００２０】
一方、距離計測時には、スイッチＳ１がＯＦＦされ、スイッチＳ２、ＳＷ３がＯＮとなり、電流信号は垂直信号線の図中の下方向（第２の信号伝送方向）に配置されたカレントミラー回路部１６へと伝達される。
この時、ピクセルアレイ部１１は、ピクセルＶスキャナ部１２において同一Ｒｏｗ（行）方向のピクセルが全てが同時選択され、各カラム（列）からの信号は並列に同時出力される（すなわち、列並列動作となる）。
カレントミラー回路部１６に伝達された信号は、その後、アナログメモリアレイ部１７内に保持され、その後にコンパレータ／データラッチ部２０によって各フレームのデータ内容が比較され、この比較結果がデータラッチ後、出力データバス部より出力される。
【００２１】
以上のようなイメージセンサの素子構造は、上記先行出願の開示内容と基本的に共通であるとともに、以下に説明する各実施の形態例による駆動方法で共通する構成である。
以下、本発明の具体的処理動作について複数の実施の形態例を用いて詳細に説明する。
【００２２】
（第１の実施の形態例）
まず、本発明の第１の実施の形態例による距離測定機能部の構成及び動作について説明する。
図２は、図１に示すイメージセンサで用いる距離測定システムの構成を示す説明図である。
図示のように、本例では、センサ受光部２００の付近にＬＥＤ光源２１０を設置し、被写体となる物体２２０に対し、ＬＥＤ光源２１０からの光をレンズ２１１を通して照射することにより、センサ受光部２００が、その物体２２０に反射された光を受光するように構成している。
ここで、ＬＥＤ光源２１０をセンサ受光部２００のフレーム周期に同期したある一定の周期で点滅させる。そして、センサ受光部２００側では、フレーム間の差分演算を行い、その点滅を検知する。この場合、物体２２０が存在している箇所は、反射光があるため点滅を検出できるが、物体の存在していない背景は反射光が無いか、極めて弱くなるため、反射光の検出が不可能となる。これにより、手前の物体２２０のみの認知が可能となり、物体２２０と背景との分離が可能となる。
【００２３】
次に、このような距離測定システムの具体的な動作タイミングについて説明する。
図３は、本例の距離測定システムにおける各種動作タイミングを示すタイミングチャートであり、図３（ａ）はセンサのフレーム単位での動作タイミングを示し、図３（ｂ）は１ピクセル単位での画像出力時の動作タイミングを示し、図３（ｃ）は１水平走査期間での物体認識時の動作タイミングを示している。
また、図４は、本例におけるピクセルアレイ部１１とアナログメモリアレイ部１７の構造を示す説明図である。
【００２４】
まず、図４を用いてピクセルアレイ部１１とアナログメモリアレイ部１７の構造について説明する。
まず、ピクセルアレイ部１１は、赤外の反射光を検出するため、Ｙ、Ｇ、Ｃｙ、Ｍｇの４つの補色フィルタに対応する４つのピクセルを２行×２列で配置しており、この４つ１組みをＲＯＵ（画素の読み出し単位）というものとする。また、ｎ行ｍ列のピクセルをＰｎｍで示している。
そして、ピクセル１１１は、フォトダイオードＰＤと５つのＭＯＳトランジスタＭ１〜Ｍ５とを有して構成されている。
フォトダイオードＰＤで受光された光は電荷に変換され、その電荷は転送トランジスタＭ２によりフローティングディフュージョン（ＦＤ）部に転送される。このＦＤ部に転送された電荷は、増幅トランジスタＭ４のゲート電位を決定し、それに応じて電流が増幅トランジスタＭ４および行選択トランジスタＭ５をとおり、信号線（Ｓｌｍ）に伝達される。
また、リセットトランジスタＭ３は、ＦＤ部を電源電圧にリセットするためのものであり、転送選択（列選択）トランジスタＭ１は転送トランジスタＭ２のゲートを選択するためのものである。
なお、本例では、隣接する行のリセット線（ＴＲｎ−１）と転送ゲート線（ＴＲｎ）とを兼用するものである。
【００２５】
アナログメモリアレイ部１７は、ピクセルアレイ部１１のＲＯＵを構成する４つのピクセル１１１に対応して２×２の配列で４つ１組みのアナログメモリセル（カレントコピアセル）１７１を設けた４センサフレーム分のメモリに相当するものである。なお、この４つ１組みのアナログメモリセル１７１をＭＯＵ（メモリセルの読み出し単位）というものとする。
そして、アナログメモリセル１７１は、電荷書き込み用のキャパシタＣ及びトランジスタＴｒ０、セル選択用のトランジスタＴｒ１、メモリ書き込み用のトランジスタＴｒ２等よりなり、セル選択線ＣＳｉ及び書き込み信号線ＣＭｉの制御により、スイッチＳ２を介してカレントミラー回路部１６より入力される電流信号を記憶するとともに、この記憶した信号をスイッチＳ３を介してコンパレータ部２０Ａに転送し、各フレームの比較を行う。
【００２６】
次に、図３を用いて本例の画像出力動作と物体認識動作について説明する。
まず、図３（ａ）に示すように、本例のセンサでは、画像出力動作と物体認識動作を例えば、１／３０sec ごとに切り替える。このとき、画像出力動作においては、この１／３０sec という期間がそのまま１フレーム期間に相当する。
なお、ここでは、それぞれの期間を画像出力動作期間、物体認識動作期間と呼ぶものとする。
そして、物体認識動作期間においては、この１／３０sec 期間の間に２フレーム分の走査を行う。そして、ＬＥＤ光源２１０の点滅を、このフレーム走査に同期させ、例えば、後半のフレーム走査時にのみＬＥＤ光源２１０の光を点灯する。このような動作より、センサ内部でフレーム間差分の演算を実行すると、光の点滅の判別が可能である。
【００２７】
また、画像出力動作は、図３（ｂ）に示すように、行選択信号線ＳＬｎ、垂直信号線（Ｓｌｍ）、リセット信号線（ＴＲｎ−１）、転送信号線（ＴＲｎ）、画素列選択線（ＣＧｍ）等の制御によって各画素の信号を垂直信号線（Ｓｌｍ）より順次出力し、Ｉ−Ｖ変換回路部１４及びＣＤＳ回路部１５に供給する。
なお、この画像出力動作は上記先行出願の動作と同様であり、本実施の形態例の特徴となる部分は主に物体認識動作であるので詳細は省略する。
【００２８】
また、図３（ｃ）に示す物体認識動作では、以下のようなフレーム間差分演算を行う。
まず、図４で説明したように、ピクセルアレイ部１１は、２ｘ２の補色フィルタのグループを１つの単位（ＲＯＵ）として取り扱う。よって、ピクセルアレイ部１１中で選択したＲＯＵを読み出すために、画素のリセットと電荷転送を兼用するＴＲ線について、ＴＲｎ−１、ＴＲｎ、ＴＲｎ＋１の順で順次選択し、２行からの信号を同時に読み出す。
またこのとき、各列は同時に読み出しが行なわれる。そして、ピクセルアレイ部１１の下部のノードＮ１にて２列の信号が融合される。
その信号は、カレントミラー回路１６にて増幅され、メモリアレイ部１７内に書き込まれる。メモリアレイ部１７は、１つのＲＯＵに対し、カレントコピア回路よりなる４つのアナログメモリセル１７１が対応する。
【００２９】
そして、本例では、このうちの２つのメモリセル１７１、例えば図４に示すＦ１、Ｆ２のみを使用する。なお、残りのメモリセルは、後述する実施の形態例で使用可能であるものとする。
これにより、各メモリセル１７１にはフレーム毎に順に逐次、ＲＯＵの信号強度が記憶される。
このようにして、ＲＯＵより読み出された信号は、書き込みフェーズ（ｐｈａｓｅ１）にて、ひとつのメモリセル（例えばＦ１）に書き込まれる。その後、読み出しフェーズ（ｐｈａｓｅ２、ｐｈａｓｅ３）にて、前のフレーム走査にて記憶したセルＦ２と新規に記憶したセルＦ１を順にコンパレータ部２０Ａに読み出す。
【００３０】
そして、コンパレータ部２０Ａによってフレーム間の信号強度の比較を行う。ここで光の強度変化が無い時のコンパレータ出力を安定にするために、前のフレーム信号読み出し（ｐｈａｓｅ２）と同時に、図４に示すオフセットカレントジェネレータ２１によりオフセットバイアス信号を与え、安定時の出力を０データとして保持する。
これにより、光を検出した場合のみ、後半のフレーム信号強度が強くなり、比較結果が逆転し、１データとなる。ここで、図３（ｃ）、図４に示すように、このオフセットカレントは、端子Ｂ１によってアナログ的にコントロールされるものとする。
【００３１】
次に、以上のような本例のフレーム走査について図３に戻って説明する。
まず、物体認識動作期間内にＬＥＤ照射なしのフレーム１と照射ありのフレーム２の２つのフレームが比較される。この場合、フレーム１の照射がない場合の画素信号強度をＦ２に記憶し、その後、フレーム２で照射有り時の信号をＦ１に記憶する。
なお、図３（ｃ）の１Ｈ期間の走査はフレーム１、フレーム２の走査で同一でも構わないが、フレーム１では、前フレームとの比較の必要がないので、ｐｈａｓｅ１の書き込み動作のみ行い、ｐｈａｓｅ２、ｐｈａｓｅ３の読み出し動作を省略することにより動作を簡略化できる。
以上の操作と並行して、センサは各画素の物体の認識情報をバイナリデータとして外部に出力する。
これにより、センサの外部には１／３０sec ごとに画像情報とその画像に対応した物体の認識情報が出力されるので、後段のプロセッサ等により、物体の認識情報が存在する画素のみを画像情報から出力するという動作を行えば背景削除の機能が可能となる。
【００３２】
（第２の実施の形態例）
上述した第１の実施の形態例は、反射光検出の操作例の一例であり、フレーム間差分による光検出としては、他の走査方法でも可能である。
そこで、本発明の他の実施の形態例によるフレーム走査方法を図５〜図８を用いて説明する。
まず、図５（ａ）は、本発明の第２の実施の形態例によるフレーム走査方法を示す説明図である。
上述した第１の実施の形態例では、画像出力と３次元計測を１／３０sec ごとに交互に行っているが、これは必ずしも同一のレートで交互に行う必要がない。例えば図５（ａ）に示すように画像計測時の走査期間（ｔ０）に対して、物体認識動作時の走査期間（ｔ１）を短くし、高速に２回のフレーム走査を行うことが可能である。
上述した第１の実施の形態例では、物体認識動作期間の存在により、画像の連続性が損なわれることと、画像フレームへの切り替え時に画素内各ラインにより光の蓄積時間が異なってしまうという問題があるが、この第２の実施の形態例では、画像出力操作時に対し、物体認識動作時の期間を十分短くすることにより、このような問題を回避することができる。
【００３３】
（第３の実施の形態例）
上述した第１の実施の形態例では、物体認識動作時のフレーム走査数は、１ビデオフレーム期間に２回であったが、図５（ｂ）に示す第２の実施の形態例では、２回より多い回数、すなわち多数回の走査を行う。そして、この期間にＬＥＤ光源を第１の実施の形態例と同様に１回のみ、または複数回点滅する（図示の例では１回の場合を示す）。
この場合、センサ側では多数回のフレーム走査の内、点灯状態から消灯状態となる前後のフレームにおいて光強度の変化を検出することが可能であり、物体の検出が可能となる。なお、この時、どのフレームで検出したかどうかは問題としないものとする。
また、このように多数回のフレーム走査において、フレーム間差分演算を行なう場合は、反射光の検出感度を高めるために、上記先行出願と同様に、４フレーム間での差分演算を行うことが有効である。
図６は、この場合のタイミングチャートを示している。図３（ｃ）では用いなかったセレクト信号ＣＳｉ−３、ＣＳｉ−４を用いることにより、メモリセルＦ１〜Ｆ４の信号を読み出し、４フレームの差分演算を行うことが可能となる。
【００３４】
（第４の実施の形態例）
上述した第３の実施の形態例では、多数回のフレーム走査において、ＬＥＤ光源の１回の点滅のみを検出したが、図５（ｃ）に示す第４の実施の形態例では、このＬＥＤ光源の点滅を複数回とし、また、その点滅にパルスコードとしてデータ内容を付加するような構成とする。
この場合、センサではパルスコードの立ち上がり、立下りで光が変化するタイミングをフレーム間差分演算により検出し、パルスコードの内容を認識する。
このようにして、ある特定のパターンコードのみを認識対象とすれば、外乱光などによる意図しない光変化による誤検出を防ぐことが可能となる。
また、本センサを近距離において複数台使用するとき、個別のセンサにおいて異なるＩＤコードを発光して認識するようにしておけば、各センサが互いに干渉することなく、システムを安定的に動作させることが可能となる。
【００３５】
（第５の実施の形態例）
以上の各実施の形態例では、全てＬＥＤ光源の光強度は一定としたが、第５の実施の形態例として、ＬＥＤ光源の光強度を変化させ、どの強度においてセンサが反射光を検出するかを判別するようにしてもよい。
すなわち、反射光強度は、物体の距離、色、表面テクスチャなどにより変化するため、検出強度を判別することにより、これらの特性による物体の判別が可能となる。たとえば、弱い光で判別できた物体は近距離にあるものと判断でき、強い光により初めて検出できたものは、遠方にあるものと判断することができる。これにより、例えば、背景から抜き出す物体の距離をコントロールしたり、また、背景の壁など、ある程度、近距離にある背景は画像に残すなどの処理が可能となる。
【００３６】
また、この場合、光強度を変化させていくタイミングはいくつか選択が可能である。たとえば、図７（ａ）に示すように、各物体認識動作期間ごとに変化させていくことが可能である。この場合は、光強度のバリエーションを全て取得するのに数ビデオフレーム分かかるので、リアルタイム処理には不利となる。
一方、図７（ｂ）に示すように、物体認識動作期間中の複数のセンサフレーム走査において光強度を変化させていけば、リアルタイムでの物体識別が可能である。この時は、たとえばフレーム１において、ＬＥＤ照射なし時の信号を記憶し、その後、フレームごとにＬＥＤ照射距度をフレーム２、フレーム３で変化させ、逐次、フレーム１の信号強度と比較していく。
【００３７】
（第６の実施の形態例）
上述した第５の実施の形態例では、ＬＥＤ光源の光強度を変えることによって物体の判別を行ったが、第６の実施の形態例として、ＬＥＤ光源の光強度を一定とし、センサ側の感度を変えることにより、同様な物体判別を行うようにしてもよい。
ここで、センサ側の感度を変化させる方法の１つとして、前述したオフセットカレントジェネレータ２１によってオフセット値を可変制御する方法がある。つまり、フレーム間差分演算において、フレーム間の重み付けを変えることにより、光変化の検出強度を可変とすることができる。
【００３８】
また、このオフセット値の可変制御は、上述した第５の実施の形態例と同様に、物体認識動作期間ごとに変化させていくか、もしくは物体認識動作期間中の複数センサフレーム走査において変化させていくことができる。図７（ｃ）は、この場合のタイミングチャートを示している。図中、オフセット値の可変制御によるセンサ側の感度変化を破線αで示している。
ここで、オフセットカレントジェネレータ２１のコントロール端子Ｂ１の出力レベルはオフセットカレントのレベルに対応しているものとする。
なお、図７（ｃ）におけるＢ１のレベルは、それぞれのフレーム期間中のオフセットカレントタイミング（図３（ｃ）のｐｈａｓｅ２）において図７（ｃ）に示すバイアスレベルを印加することを意味している。
【００３９】
（第７の実施の形態例）
この第７の実施の形態例は、上述した第６の実施の形態例に対し、さらにセンサ側の感度を変化させる方法の１つとして、センサフレームレートを変化させる方法を用いるものである。
すなわち、センサのフレームレートは光の蓄積時間に対応するので、フレームレートを変化させることにより、感度調整が可能となる。
たとえば図８に示すように、ＬＥＤ光源の照射期間においてフレーム走査スピードを段階的に遅くしていくことにより、反射光検出感度を上げていくことができる。
以上の第１〜第７の実施の形態例によるフレーム走査は、それぞれ単独で用いても良いし、それぞれの組み合わせにより用いても構わない。特に、第４の実施の形態例で説明したパターンコード化は、単にパルスのオン、オフのみでなく、
ＬＥＤ光源の発光強度制御、センサの感度制御との組み合わせにより行なうことも可能である。
【００４０】
（その他の実施の形態例）
さらに、上述した各実施の形態例によるセンサは、画像信号を扱う各種の電子機器に搭載することが可能であり、このような電子機器についても本発明の範囲に含まれるものとする。
このようにセンサを電子機器に搭載する場合の基本的条件としては、センサの画角に収まる物体がＬＥＤ光源の光に照射されるような位置関係にセンサとＬＥＤ光源が配置されていれば良い。
図９は、上述した各実施の形態例によるセンサを携帯端末に搭載した場合の具体例を示す斜視図であり、図９（ａ）は携帯端末３００のディスプレー３１０の上部と下部にセンサ受光部３２０とＬＥＤ光源３３０と分離して配置した例を示し、図９（ｂ）は携帯端末３００のディスプレー３１０の下部にセンサ受光部３２０とＬＥＤ光源３３０を近接して配置した例を示している。
なお、図９（ｂ）の構成では、センサ受光部３２０とＬＥＤ光源３３０とを同一半導体チップ上に作り込んだり、１パッケージ内に設けて構成される投光部付きセンサモジュールを携帯端末に設けるようにすることが可能である。
なお、このような携帯端末に限らず、さらに各種の通信装置や画像処理装置都の幅広い電子機器に搭載することが可能である。
【００４１】
また、上述した各実施の形態例では、全て発光手段としてＬＥＤを前提に説明したが、センサの画角を照射し得るものであり、かつ、センサが十分な感度をもつ光源であれば、ＬＥＤ以外のものを用いることが可能である。
また、照射光源は１つでは無く、複数配置することにより、光源の強度をかせいだり、被写体に均一に光が照射されるように工夫することも可能である。たとえば、上述した第５の実施の形態例において、ＬＥＤ光源の光強度の可変制御を点滅ＬＥＤの個数により調節するなどといった方法も可能である。
【００４２】
また、上記の例では先行出願において開示されているセンサのアーキテクチャに基づいて説明したが、ピクセルアレイ部とそれに対応するアナログメモリアレイ部（フレームメモリ）を有する構成であれば、フレーム間の差分によって同様な機能を実現することが可能である。
また、そのアナログメモリアレイ部は、ピクセルアレイ部内に設けられていても、あるいはピクセルアレイ部の外部に設けられていても、さらに、センサチップの外部に設けられていても構わない。
また、上述したＬＥＤや各種回路を含む固体撮像装置全体を１つの半導体チップ上に設けたり、１パッケージ化するようなことも適宜選択が可能である。
また、本実施の形態による手法によって、背景から手前の物体を抽出するのみでなく、上述した物体認識の機能によって、ある特定範囲の距離にある物体を抽出する、ある特定の色（黒）等を有する物体や部分を抽出する、ある特定のテクスチャを持つ物体や部分を抽出するなどの機能を実現することも可能である。
【００４３】
【発明の効果】
以上説明したように本発明の固体撮像装置及びその駆動方法によれば、被写体の認識を行う被写体認識機能を実現する場合、発光手段によって被写体全体を照射し、その反射光による撮像信号をフレームメモリを用いて保存することにより、発光手段の点灯時の撮像信号と消灯時の撮像信号をフレーム単位で比較するようにしたことから、上記先行出願のようなスリット状光源やスキャンミラーを不要とし、被写体全体を照射する点光源を用いることが可能となる。
したがって、通常の画像出力機能と３次元距離計測等の被写体認識機能とを具備した固体撮像装置の構成を簡易化でき、装置の小型化や低コスト化を達成できる効果がある。
また、このような固体撮像装置を電子機器に組み込むことにより、電子機器の小型化や低コスト化を達成できる効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態例によるイメージセンサの全体構成を示す概略ブロック図である。
【図２】図１に示すイメージセンサで用いる距離測定システムの構成を示す説明図である。
【図３】図１に示すイメージセンサの距離測定システムにおける各種動作タイミングを示すタイミングチャートである。
【図４】図１に示すイメージセンサのピクセルアレイ部とアナログメモリアレイ部の構造を示す説明図である。
【図５】本発明の第２〜第４の実施の形態例によるフレーム走査方法を示す説明図である。
【図６】本発明の第３の実施の形態例における動作タイミングを示すタイミングチャートである。
【図７】本発明の第５、第６の実施の形態例によるフレーム走査方法を示す説明図である。
【図８】本発明の第７の実施の形態例によるフレーム走査方法を示す説明図である。
【図９】本発明の各実施の形態例によるセンサを携帯端末に搭載した場合の具体例を示す斜視図である。
【符号の説明】
１１……ピクセルアレイ部、１２……ピクセルＶスキャナ部、１３……ピクセルＨスキャナ部、１４……Ｉ−Ｖ変換回路部、１５……ＣＤＳ回路部、１６……カレントミラー回路部、１７……アナログメモリアレイ部、１８……メモリＶスキャナ部、１９……メモリＨスキャナ部、２０……コンパレータ／データラッチ部、２００……センサ受光部、２１０……ＬＥＤ光源、２２０……物体（被写体）。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a solid-state imaging device to which an arithmetic function for executing a certain application is added in addition to a normal image signal acquisition function, and a driving method thereof.
[0002]
[Prior art]
2. Description of the Related Art In recent years, solid-state imaging devices such as CMOS image sensors have become cameras for various IT-related devices such as personal computers (PCs), games, mobile phones, and portable terminals as their size, price, and power consumption have improved. It is becoming common to install as a standard module.
In addition, in the current solid-state imaging device, only natural images are acquired, but in the future, only images will be acquired in connection with the processors and network technologies installed in various IT-related devices as described above. In addition to this, it is expected that various complex image processing functions such as image recognition and image processing will be maintained.
[0003]
However, in general, these image processes require complicated arithmetic processing, so that processing functions that can be mounted on a portable device or the like are more efficient than natural images. In such a case, it is expected that some kind of calculation function is held on the image sensor, and pre-processing calculation of image processing is executed.
Therefore, as one of such calculation functions, it is expected to realize a function of cutting out only the object in front of the image from the image, hiding the background, and deleting the background. This is because, for example, in moving picture communication using a mobile device or the like, it is necessary to cut out only the person who is talking in front and hide the background behind the scenes in order to keep private matters confidential. This also requires that only the person in front is transmitted at the same time, leading to a reduction in the amount of data.
[0004]
[Problems to be solved by the invention]
By the way, the function of separating the background as described above is possible if a normal image sensor is used and calculation is performed using a processor at a later stage, but the amount of calculation such as recognition of a person in front, clipping of a contour, etc. Is enormous, and it is impossible to perform real-time processing that can follow a moving image in a small space like a current portable device.
In addition, it is considered that an image sensor that realizes the background separation function by the calculation processing in the sensor does not yet exist at the product level for such a situation.
[0005]
Therefore, the applicant of the present invention has realized a background separation function as described above, for example, in Japanese Patent Application No. 2001-287625 (hereinafter referred to as a prior application), a route different from a normal color image signal processing system. 3D distance measurement calculation processing is performed on the image signal read out in, and a solid-state imaging device that can acquire three-dimensional distance information in real time is proposed.
That is, according to this solid-state imaging device, by combining the image information acquired by the normal imaging processing and the distance information acquired by the distance measurement calculation processing, for example, only an image of a portion in front of the solid-state imaging device is obtained. Background separation processing such as display can be easily performed in real time.
[0006]
Here, an outline of the solid-state imaging device disclosed in the above prior application will be described.
This solid-state imaging device (hereinafter simply referred to as a sensor) mainly includes a pixel array that constitutes a light receiving unit, an analog memory array corresponding to the pixel array, a comparator that performs comparison calculations for three-dimensional distance measurement, and calculation data. It comprises a data latch to hold, an IV conversion circuit for processing the image signal, and a CDS (correlated double sampling) circuit for removing noise from the image signal, to obtain a normal image, and three-dimensional Calculations for measurement can be performed.
At the time of image acquisition, the current signal from each pixel is read one pixel above the pixel array, converted into a voltage signal by the IV conversion circuit, and then the fixed pattern noise is removed by the CDS circuit.
[0007]
On the other hand, in the three-dimensional distance measurement, the current signal from each pixel is read out below the pixel array simultaneously in each column. Here, the analog frame memory cell corresponds to four memory cells per pixel, and can sequentially store signals for four consecutive frames of each pixel.
Therefore, after the signals from each pixel are stored in the analog frame memory, the contents of this memory are read downward, and comparison (difference) between frames is performed by the comparator. Then, the comparison (difference) result is held as binary binary data in the subsequent data latch and then output to the outside.
[0008]
In this three-dimensional distance measurement system, a light cutting method is used as a distance measurement method. In addition to the sensor, a light source that projects slit-like light onto a subject, and scanning the slit-like light. The sensor detects the slit light reflected upon the object and reflected by the above-mentioned difference calculation by the comparator for each pixel.
However, in the disclosure content of such a prior application, in order to increase the accuracy of measuring the three-dimensional distance of the subject, a mechanism unit that projects slit-like light onto the subject is required. Mounting on equipment has disadvantages in terms of system size, power consumption, and cost.
[0009]
Accordingly, an object of the present invention is to provide a highly accurate three-dimensional distance measurement with a simpler configuration for a solid-state imaging device capable of performing processing such as background separation by measuring a three-dimensional distance of a subject in addition to a normal imaging function. It is an object of the present invention to provide a solid-state imaging device and a driving method thereof.
[0010]
[Means for Solving the Problems]
In order to achieve the above object, the present invention provides an image output function for imaging a subject and outputting a real image, and imaging the subject by performing imaging processing on the subject and imaging signals. Extraction A solid-state imaging device having a subject recognition function for performing Pixel array To capture the subject Perform imaging operation Imaging means, and subjecting the imaging signal obtained by the imaging means to predetermined signal processing Output image information Image output Action Corresponding to each pixel of the imaging means Analog memory array section having analog memory cells A light emitting means for irradiating light in a direction including the entire field of view of the imaging means, a light emission control means for controlling lighting of the light emitting means in synchronization with an imaging operation in the imaging means, and at the time of lighting of the light emitting means Imaging signal Is stored for each pixel in the analog memory cell of the analog memory array section, and a second writing operation is performed for each pixel stored in the analog memory cell of the analog memory array section when the light emitting means is turned off. For each pixel from each analog memory cell of the analog memory array section, a first frame signal corresponding to the imaging signal when the light emitting means is turned on, and a second frame signal corresponding to the imaging signal when the light is turned off A readout operation for reading out the frame signal, and a recognition information output operation for outputting recognition information for extracting the subject from the frame difference signal obtained by performing the comparison operation of the first and second frame signals. Recognize objects including With subject recognition means The image output operation period in which the image output operation by the image output processing unit is performed and the object recognition operation period in which both the object recognition operation by the subject recognition unit are performed are separated in time. It is characterized by that.
[0011]
The present invention also provides Pixel array Corresponding to each pixel of the imaging means and imaging means for imaging the subject Analog memory array section having analog memory cells And a light emitting means for irradiating light in a direction including the entire field of view of the image pickup means, an image output function for picking up an image of the subject and outputting a real image, and processing the image pickup signal by picking up the image of the subject Of the subject Extraction A solid-state imaging device driving method having a subject recognition function for performing an imaging signal obtained by performing predetermined signal processing on an imaging signal obtained by the imaging means Output image information Image output Action An image output processing step for performing light emission, a light emission control step for controlling lighting of the light emitting means in synchronization with an imaging operation in the imaging means, and an imaging signal when the light emitting means is turned on Is stored for each pixel in the analog memory cell of the analog memory array section, and a second writing operation is performed for each pixel stored in the analog memory cell of the analog memory array section when the light emitting means is turned off. For each pixel from each analog memory cell of the analog memory array section, a first frame signal corresponding to the imaging signal when the light emitting means is turned on, and a second frame signal corresponding to the imaging signal when the light is turned off A readout operation for reading out the frame signal, and a recognition information output operation for outputting recognition information for extracting the subject from the frame difference signal obtained by performing the comparison operation of the first and second frame signals. Recognize objects including Subject recognition step The image output operation period in which the image output operation in the image output processing step is performed and the object recognition operation period in which the object recognition operation in the subject recognition step is performed are separated in time. It is characterized by that.
[0012]
The present invention also provides an image output function for imaging a subject and outputting a real image, and processing the imaging signal by imaging the subject and processing the imaging signal. Extraction An electronic device equipped with a solid-state imaging device having a subject recognition function for performing the following, Pixel array To capture the subject Perform imaging operation Imaging means, and subjecting the imaging signal obtained by the imaging means to predetermined signal processing Output image information Image output Action Corresponding to each pixel of the imaging means Analog memory array section having analog memory cells A light emitting means for irradiating light in a direction including the entire field of view of the imaging means, a light emission control means for controlling lighting of the light emitting means in synchronization with an imaging operation in the imaging means, and at the time of lighting of the light emitting means Imaging signal Is stored for each pixel in the analog memory cell of the analog memory array section, and a second writing operation is performed for each pixel stored in the analog memory cell of the analog memory array section when the light emitting means is turned off. For each pixel from each analog memory cell of the analog memory array section, a first frame signal corresponding to the imaging signal when the light emitting means is turned on, and a second frame signal corresponding to the imaging signal when the light is turned off A readout operation for reading out the frame signal, and a recognition information output operation for outputting recognition information for extracting the subject from the frame difference signal obtained by performing the comparison operation of the first and second frame signals. Recognize objects including With subject recognition means The image output operation period in which the image output operation by the image output processing unit is performed and the object recognition operation period in which both the object recognition operation by the subject recognition unit are performed are separated in time. It is characterized by that.
[0013]
In the solid-state imaging device and the driving method thereof according to the present invention, when realizing a subject recognition function for recognizing a subject, the entire subject is irradiated by a light emitting unit, and an imaging signal based on the reflected light is emitted. Analog memory array section Since the image signal when the light emitting means is turned on and the image signal when the light is turned off are compared on a frame basis, the slit light source and the scan mirror as in the above prior application are not necessary, A point light source that irradiates the entire subject can be used.
Therefore, the configuration of a solid-state imaging device having a normal image output function and a subject recognition function such as three-dimensional distance measurement can be simplified, and the size and cost of the device can be reduced, and this solid-state imaging device is incorporated. It is possible to contribute to downsizing and cost reduction of electronic devices.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of a solid-state imaging device and a driving method thereof according to the present invention will be described below.
The solid-state imaging device according to the present embodiment (hereinafter referred to as an image sensor or simply a sensor) uses a substantially similar element structure to the sensor according to the above-mentioned prior application, and also has a light projecting unit (light emission) for distance measurement. Means) realizes a background deletion function using only a point light source such as an LED that irradiates light in a direction including the entire field of view of the sensor. This eliminates the need for a mirror and simplifies the system configuration.
Also in the sensor according to the present embodiment, like the sensor according to the above prior application, the arithmetic circuit that has been conventionally held for each pixel of the sensor is shared for each column (Column = column). In addition, the image output processing and the arithmetic processing are completely separated by separate circuit blocks, so that the quality of the actual image is improved and the optimum design for the arithmetic processing is possible. Suppose you are.
[0015]
FIG. 1 is a schematic block diagram showing the overall configuration of an image sensor according to an embodiment of the present invention. The configuration shown in FIG. 1 is essentially the same as that disclosed in the prior application.
As shown in FIG. 1, the image sensor includes a pixel array unit 11, a pixel V scanner unit 12, a pixel H scanner unit 13, an IV conversion circuit unit 14, a CDS circuit unit 15, a current mirror circuit unit. 16, an analog memory array unit 17, a memory V scanner unit 18, a memory H scanner unit 19, a comparator / data latch unit 20, and the like.
The pixel array unit 11 includes a plurality of pixels 111 that detect light arranged in a two-dimensional matrix in a matrix direction, and a signal transmitted from each pixel 111 is a signal line (vertical signal line) that runs in the vertical direction. Communicated by
[0016]
The pixel V scanner unit 12 and the pixel H scanner unit 13 scan the inside of the pixel array unit 11 in the vertical direction and the horizontal direction, and select one pixel 111.
The IV conversion circuit unit 14 converts the current output from each pixel 111 to the horizontal signal line during normal image output scanning into a voltage signal. The CDS circuit unit 15 includes the IV conversion circuit unit 14. Is subjected to predetermined noise removal processing and output as an image signal.
The current mirror circuit unit 16 amplifies the output current from each pixel 111 during arithmetic processing, and the analog memory array unit 17 temporarily stores the output from the current mirror circuit unit 16 in the current copier cell. is there.
[0017]
The memory V scanner unit 18 and the memory H scanner unit 19 scan the current copier cell of the analog memory array unit 17 and take out data in the cell.
The comparator / data latch unit 20 performs a comparison operation on the data read from the analog memory array unit 17, latches the operation data of the comparator unit, and outputs the latch data from the output data bus. Part.
[0018]
Although omitted in FIG. 1, the vertical signal lines include a switch S1 for opening and closing the pixel array unit 11 and the horizontal signal line, a switch S2 for opening and closing the pixel array unit 11 and the current mirror circuit unit 16, and a current A switch S3 for opening and closing the mirror circuit unit 16 and the analog memory array unit 17, a switch S4 for opening and closing the analog memory array unit 17 and a bias circuit unit (not shown), and the like are provided.
[0019]
In the above configuration, during normal image output scanning, each pixel 111 of the pixel array unit 11 is sequentially scanned by the pixel H scanner unit and the pixel V scanner unit, and a specific one pixel 111 is selected. The sent current signal is transmitted in the upward direction (first signal transmission direction) in the figure, the switch S1 is sequentially selected by the pixel H scanner unit 13, and is transferred to the horizontal signal line for each pixel signal. Thereafter, the signal is converted into a voltage signal by the IV conversion circuit unit 14, and further, FPN (Fixed pattern Noise) and reset noise (ktc noise) are removed by the CDS circuit unit 15 and output as an image signal output. Further, at the time of such image output scanning, the pixel array unit 11 and the current mirror circuit unit 16 are cut off by the switch S2 of the vertical signal line being OFF.
[0020]
On the other hand, at the time of distance measurement, the switch S1 is turned off, the switches S2 and SW3 are turned on, and the current signal is sent to the current mirror circuit unit 16 arranged in the downward direction (second signal transmission direction) of the vertical signal line in the drawing. Is communicated.
At this time, in the pixel array unit 11, all the pixels in the same Row direction are simultaneously selected in the pixel V scanner unit 12, and signals from the respective columns (columns) are simultaneously output in parallel (that is, column parallel). Behave).
The signal transmitted to the current mirror circuit unit 16 is then held in the analog memory array unit 17, and then the data contents of each frame are compared by the comparator / data latch unit 20. Output from the output data bus unit.
[0021]
The element structure of the image sensor as described above is basically the same as the disclosure content of the above-mentioned prior application, and is a configuration common to the driving methods according to the respective embodiments described below.
Hereinafter, specific processing operations of the present invention will be described in detail using a plurality of exemplary embodiments.
[0022]
(First embodiment)
First, the configuration and operation of the distance measuring function unit according to the first embodiment of the present invention will be described.
FIG. 2 is an explanatory diagram showing a configuration of a distance measuring system used in the image sensor shown in FIG.
As shown in the figure, in this example, an LED light source 210 is installed in the vicinity of the sensor light receiving unit 200, and light from the LED light source 210 is irradiated through a lens 211 to an object 220 that is a subject, thereby the sensor light receiving unit 200. Is configured to receive light reflected by the object 220.
Here, the LED light source 210 blinks at a certain period synchronized with the frame period of the sensor light receiving unit 200. On the sensor light receiving unit 200 side, a difference calculation between frames is performed, and the blinking is detected. In this case, the blinking can be detected at the location where the object 220 is present because there is reflected light, but the reflected light cannot be detected because the background where the object does not exist has no reflected light or becomes extremely weak. It becomes. As a result, it is possible to recognize only the front object 220 and to separate the object 220 from the background.
[0023]
Next, specific operation timing of such a distance measurement system will be described.
FIG. 3 is a timing chart showing various operation timings in the distance measurement system of this example. FIG. 3A shows the operation timing of the sensor in units of frames, and FIG. 3B shows an image in units of one pixel. The operation timing at the time of output is shown, and FIG. 3C shows the operation timing at the time of object recognition in one horizontal scanning period.
FIG. 4 is an explanatory diagram showing structures of the pixel array unit 11 and the analog memory array unit 17 in this example.
[0024]
First, the structure of the pixel array unit 11 and the analog memory array unit 17 will be described with reference to FIG.
First, in order to detect infrared reflected light, the pixel array unit 11 arranges four pixels corresponding to four complementary color filters of Y, G, Cy, and Mg in 2 rows × 2 columns. One set is referred to as ROU (pixel readout unit). In addition, pixels in n rows and m columns are denoted by Pnm.
The pixel 111 includes a photodiode PD and five MOS transistors M1 to M5.
The light received by the photodiode PD is converted into electric charges, and the electric charges are transferred to the floating diffusion (FD) portion by the transfer transistor M2. The charge transferred to the FD portion determines the gate potential of the amplification transistor M4, and accordingly, current is transmitted to the signal line (Slm) through the amplification transistor M4 and the row selection transistor M5.
The reset transistor M3 is for resetting the FD portion to the power supply voltage, and the transfer selection (column selection) transistor M1 is for selecting the gate of the transfer transistor M2.
In this example, the reset line (TRn-1) and the transfer gate line (TRn) in adjacent rows are also used.
[0025]
The analog memory array unit 17 is a four-sensor frame in which a set of four analog memory cells (current copier cells) 171 are provided in a 2 × 2 array corresponding to the four pixels 111 constituting the ROU of the pixel array unit 11. This is equivalent to a minute's memory. This set of four analog memory cells 171 is referred to as a MOU (memory cell read unit).
The analog memory cell 171 includes a charge write capacitor C and a transistor Tr0, a cell selection transistor Tr1, a memory write transistor Tr2, and the like, and the switch S2 is controlled by controlling the cell selection line CSi and the write signal line CMi. The current signal input from the current mirror circuit unit 16 is stored via the switch, and the stored signal is transferred to the comparator unit 20A via the switch S3 to compare each frame.
[0026]
Next, the image output operation and the object recognition operation of this example will be described with reference to FIG.
First, as shown in FIG. 3A, in the sensor of this example, the image output operation and the object recognition operation are switched every 1/30 sec, for example. At this time, in the image output operation, the period of 1/30 sec corresponds to one frame period as it is.
Here, each period is referred to as an image output operation period and an object recognition operation period.
In the object recognition operation period, scanning for two frames is performed during this 1/30 sec period. Then, the blinking of the LED light source 210 is synchronized with this frame scanning, and for example, the light of the LED light source 210 is lit only during the second half frame scanning. From such an operation, it is possible to determine whether the light is blinking or not by calculating the inter-frame difference within the sensor.
[0027]
As shown in FIG. 3B, the image output operation includes a row selection signal line SLn, a vertical signal line (Slm), a reset signal line (TRn-1), a transfer signal line (TRn), and a pixel column selection line. Under the control of (CGm) or the like, the signal of each pixel is sequentially output from the vertical signal line (Slm) and supplied to the IV conversion circuit unit 14 and the CDS circuit unit 15.
Note that this image output operation is the same as the operation of the above-mentioned prior application, and the part that characterizes the present embodiment is mainly the object recognition operation, and the details are omitted.
[0028]
Further, in the object recognition operation shown in FIG. 3C, the following inter-frame difference calculation is performed.
First, as described with reference to FIG. 4, the pixel array unit 11 handles a group of 2 × 2 complementary color filters as one unit (ROU). Therefore, in order to read out the ROU selected in the pixel array unit 11, the TR lines that are used for both pixel reset and charge transfer are sequentially selected in the order of TRn-1, TRn, TRn + 1, and signals from two rows are simultaneously selected. read out.
At this time, each column is simultaneously read. Then, two columns of signals are fused at the node N1 below the pixel array unit 11.
The signal is amplified by the current mirror circuit 16 and written in the memory array unit 17. In the memory array unit 17, four analog memory cells 171 formed of a current copier circuit correspond to one ROU.
[0029]
In this example, only two of these memory cells 171, for example, F1 and F2 shown in FIG. 4 are used. It is assumed that the remaining memory cells can be used in the embodiments described later.
Thus, the ROU signal strength is sequentially stored in each memory cell 171 for each frame.
Thus, the signal read from the ROU is written to one memory cell (for example, F1) in the write phase (phase1). Thereafter, in the read phase (phase2, phase3), the cell F2 stored in the previous frame scan and the newly stored cell F1 are sequentially read out to the comparator unit 20A.
[0030]
Then, the comparator 20A compares the signal strength between frames. Here, in order to stabilize the comparator output when there is no change in light intensity, simultaneously with the previous frame signal readout (phase 2), an offset bias signal is given by the offset current generator 21 shown in FIG. Hold as 0 data.
Thereby, only when light is detected, the latter half frame signal intensity becomes strong, the comparison result is reversed, and one data is obtained. Here, as shown in FIGS. 3C and 4, this offset current is controlled in an analog manner by the terminal B1.
[0031]
Next, the frame scanning of this example as described above will be described with reference back to FIG.
First, two frames, frame 1 without LED irradiation and frame 2 with irradiation, are compared within the object recognition operation period. In this case, the pixel signal intensity when there is no irradiation of frame 1 is stored in F2, and then the signal when irradiation is performed in frame 2 is stored in F1.
The scanning in the 1H period in FIG. 3C may be the same for the scanning of frame 1 and frame 2. However, in frame 1, there is no need to compare with the previous frame, so only the writing operation of phase 1 is performed. The operation can be simplified by omitting the reading operation of phase3.
In parallel with the above operation, the sensor outputs the recognition information of the object of each pixel to the outside as binary data.
As a result, image information and object recognition information corresponding to the image are output to the outside of the sensor every 1/30 sec. Therefore, only a pixel in which the object recognition information exists is extracted from the image information by a processor or the like at a later stage. If the operation of outputting is performed, the function of background deletion becomes possible.
[0032]
(Second Embodiment)
The above-described first embodiment is an example of an operation example of reflected light detection, and other scanning methods are possible as light detection based on inter-frame differences.
Therefore, a frame scanning method according to another embodiment of the present invention will be described with reference to FIGS.
First, FIG. 5A is an explanatory diagram showing a frame scanning method according to the second embodiment of the present invention.
In the first embodiment described above, image output and three-dimensional measurement are alternately performed every 1/30 sec. However, this need not necessarily be performed alternately at the same rate. For example, as shown in FIG. 5A, the scanning period (t1) during the object recognition operation can be shortened with respect to the scanning period (t0) during the image measurement, and two frame scans can be performed at high speed. is there.
In the first embodiment described above, the continuity of the image is impaired due to the presence of the object recognition operation period, and the light accumulation time varies depending on each line in the pixel when switching to the image frame. However, in the second embodiment, such a problem can be avoided by sufficiently shortening the period during the object recognition operation with respect to the image output operation.
[0033]
(Third embodiment)
In the above-described first embodiment, the number of frame scans during the object recognition operation is twice in one video frame period. In the second embodiment shown in FIG. More than the number of scans, that is, many scans are performed. Then, during this period, the LED light source blinks only once or a plurality of times in the same manner as in the first embodiment (in the example shown, the case is shown once).
In this case, on the sensor side, it is possible to detect a change in light intensity in frames before and after changing from a lighting state to a non-lighting state among a number of frame scans, and an object can be detected. At this time, it does not matter which frame is detected.
In addition, when performing inter-frame difference calculation in such a large number of frame scans, it is effective to perform difference calculation between four frames in the same manner as in the above prior application in order to increase the detection sensitivity of reflected light. It is.
FIG. 6 shows a timing chart in this case. By using the select signals CSi-3 and CSi-4 that are not used in FIG. 3C, it is possible to read out the signals of the memory cells F1 to F4 and perform a difference calculation for four frames.
[0034]
(Fourth embodiment)
In the above-described third embodiment, only one blinking of the LED light source is detected in many frame scans. In the fourth embodiment shown in FIG. 5C, this LED light source Is configured to be blinked a plurality of times, and data content is added to the blinking as a pulse code.
In this case, the sensor detects the timing at which the light changes at the rise and fall of the pulse code by calculating the difference between frames, and recognizes the content of the pulse code.
In this way, if only a specific pattern code is set as a recognition target, it is possible to prevent erroneous detection due to an unintended light change due to disturbance light or the like.
In addition, when multiple sensors are used at short distances, if each sensor emits and recognizes different ID codes, the system can operate stably without interfering with each other. Is possible.
[0035]
(Fifth embodiment)
In each of the above embodiments, the light intensity of the LED light source is constant, but as a fifth embodiment, the light intensity of the LED light source is changed and at which intensity the sensor detects the reflected light. You may make it discriminate | determine.
That is, since the reflected light intensity varies depending on the distance, color, surface texture, etc. of the object, it is possible to determine the object based on these characteristics by determining the detection intensity. For example, an object that can be discriminated by weak light can be determined to be at a short distance, and an object that can be detected for the first time by strong light can be determined to be at a distance. As a result, for example, it is possible to control the distance of an object to be extracted from the background, or to leave a background that is close to some extent, such as a background wall, in an image.
[0036]
In this case, several timings for changing the light intensity can be selected. For example, as shown in FIG. 7A, it can be changed for each object recognition operation period. In this case, since it takes several video frames to acquire all variations of light intensity, it is disadvantageous for real-time processing.
On the other hand, as shown in FIG. 7B, real-time object identification is possible if the light intensity is changed in a plurality of sensor frame scans during the object recognition operation period. At this time, for example, a signal at the time of no LED irradiation is stored in frame 1, and then the LED irradiation distance is changed for each frame in frame 2 and frame 3 and is sequentially compared with the signal intensity of frame 1. .
[0037]
(Sixth embodiment)
In the above-described fifth embodiment, the object is determined by changing the light intensity of the LED light source. However, as the sixth embodiment, the light intensity of the LED light source is constant and the sensitivity on the sensor side is set. The same object discrimination may be performed by changing.
Here, as one method of changing the sensitivity on the sensor side, there is a method of variably controlling the offset value by the offset current generator 21 described above. That is, in the inter-frame difference calculation, the light intensity detection intensity can be made variable by changing the weighting between frames.
[0038]
Further, the variable control of the offset value is changed for each object recognition operation period as in the fifth embodiment described above, or is changed in a plurality of sensor frame scans during the object recognition operation period. I can go. FIG. 7C shows a timing chart in this case. In the figure, the change in sensitivity on the sensor side due to the variable control of the offset value is indicated by a broken line α.
Here, it is assumed that the output level of the control terminal B1 of the offset current generator 21 corresponds to the level of the offset current.
Note that the level B1 in FIG. 7C means that the bias level shown in FIG. 7C is applied at the offset current timing (phase 2 in FIG. 3C) during each frame period. .
[0039]
(Seventh embodiment)
In the seventh embodiment, a method of changing the sensor frame rate is used as one of the methods for changing the sensitivity on the sensor side as compared with the sixth embodiment described above.
That is, since the frame rate of the sensor corresponds to the light accumulation time, the sensitivity can be adjusted by changing the frame rate.
For example, as shown in FIG. 8, the reflected light detection sensitivity can be increased by gradually reducing the frame scanning speed during the irradiation period of the LED light source.
The frame scans according to the first to seventh embodiments described above may be used alone or in combination. In particular, the pattern coding described in the fourth embodiment is not only a pulse on / off,
It is also possible to carry out by combining the emission intensity control of the LED light source and the sensitivity control of the sensor.
[0040]
(Other embodiments)
Furthermore, the sensor according to each embodiment described above can be mounted on various electronic devices that handle image signals, and such electronic devices are also included in the scope of the present invention.
As described above, as a basic condition when the sensor is mounted on the electronic device, it is only necessary that the sensor and the LED light source are arranged in such a positional relationship that an object that falls within the angle of view of the sensor is irradiated with the light of the LED light source. .
FIG. 9 is a perspective view showing a specific example when the sensor according to each of the above-described embodiments is mounted on a mobile terminal, and FIG. 9A shows a sensor light receiving unit at the upper part and the lower part of the display 310 of the mobile terminal 300. FIG. 9B shows an example in which the sensor light receiving unit 320 and the LED light source 330 are arranged close to each other below the display 310 of the mobile terminal 300.
In the configuration of FIG. 9B, the sensor light receiving unit 320 and the LED light source 330 are formed on the same semiconductor chip, or a sensor module with a light projecting unit configured to be provided in one package is provided in the portable terminal. It is possible to do so.
Note that the present invention is not limited to such portable terminals, and can be mounted on a wide variety of electronic devices in various communication apparatuses and image processing apparatuses.
[0041]
In each of the above-described embodiments, the description has been made on the assumption that the LED is used as the light emitting means. However, if the sensor can illuminate the angle of view of the sensor and the sensor has a sufficient sensitivity, the LED can be used. Other than that can be used.
In addition, by arranging a plurality of irradiation light sources instead of one, it is possible to increase the intensity of the light source or to devise so that light is evenly irradiated to the subject. For example, in the fifth embodiment described above, it is possible to adjust the light intensity variable control of the LED light source according to the number of blinking LEDs.
[0042]
In the above example, the sensor architecture disclosed in the prior application has been described. Analog memory array (frame memory) The same function can be realized by the difference between frames.
Also that Analog memory array section May be provided in the pixel array unit, may be provided outside the pixel array unit, or may be provided outside the sensor chip.
In addition, it is possible to appropriately select that the entire solid-state imaging device including the above-described LEDs and various circuits is provided on one semiconductor chip or packaged in one package.
In addition to extracting the foreground object from the background by the method according to the present embodiment, the object recognition function described above extracts an object within a certain range distance, a specific color (black), etc. It is also possible to realize a function such as extracting an object or part having a certain texture or extracting an object or part having a specific texture.
[0043]
【The invention's effect】
As described above, according to the solid-state imaging device and the driving method thereof according to the present invention, when realizing the subject recognition function for recognizing the subject, the entire subject is irradiated by the light emitting means, and the imaging signal by the reflected light is transmitted to the frame memory. Since the image signal when the light emitting means is turned on and the image signal when the light is turned off are compared on a frame basis, the slit light source and the scan mirror as in the above prior application are not necessary, A point light source that irradiates the entire subject can be used.
Accordingly, it is possible to simplify the configuration of the solid-state imaging device having a normal image output function and a subject recognition function such as three-dimensional distance measurement, and there is an effect that the size and cost of the device can be reduced.
In addition, by incorporating such a solid-state imaging device in an electronic device, there is an effect that the electronic device can be reduced in size and cost.
[Brief description of the drawings]
FIG. 1 is a schematic block diagram showing an overall configuration of an image sensor according to an embodiment of the present invention.
FIG. 2 is an explanatory diagram showing a configuration of a distance measuring system used in the image sensor shown in FIG.
3 is a timing chart showing various operation timings in the image sensor distance measurement system shown in FIG. 1; FIG.
4 is an explanatory diagram showing structures of a pixel array unit and an analog memory array unit of the image sensor shown in FIG. 1. FIG.
FIG. 5 is an explanatory diagram showing frame scanning methods according to second to fourth exemplary embodiments of the present invention.
FIG. 6 is a timing chart showing operation timings in the third embodiment of the present invention.
FIG. 7 is an explanatory diagram showing frame scanning methods according to fifth and sixth embodiments of the present invention.
FIG. 8 is an explanatory diagram showing a frame scanning method according to a seventh embodiment of the present invention.
FIG. 9 is a perspective view showing a specific example when the sensor according to each embodiment of the present invention is mounted on a mobile terminal.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 11 ... Pixel array part, 12 ... Pixel V scanner part, 13 ... Pixel H scanner part, 14 ... IV conversion circuit part, 15 ... CDS circuit part, 16 ... Current mirror circuit part, 17 ... ... Analog memory array part, 18 ... Memory V scanner part, 19 ... Memory H scanner part, 20 ... Comparator / data latch part, 200 ... Sensor light receiving part, 210 ... LED light source, 220 ... Object (subject) ).

Claims

被写体を撮像して実画像を出力する画像出力機能と、前記被写体を撮像して撮像信号を演算処理することにより、前記被写体の抽出を行う被写体認識機能とを具備した固体撮像装置であって、
画素アレイによって前記被写体の撮像を行う撮像動作を行う撮像手段と、
前記撮像手段によって得られた撮像信号に所定の信号処理を施して画像情報を出力する画像出力動作を行う画像出力処理手段と、
前記撮像手段の各画素に対応するアナログメモリセルを有するアナログメモリアレイ部と、
前記撮像手段の視野全体を含む方位に光を照射する発光手段と、
前記撮像手段における撮像動作に同期して前記発光手段の点灯を制御する発光制御手段と、
前記発光手段の点灯時における撮像信号を前記アナログメモリアレイ部のアナログメモリセルに画素毎に格納する第１の書き込み動作と、前記発光手段の消灯時における撮像信号を前記アナログメモリアレイ部のアナログメモリセルに画素毎に格納する第２の書き込み動作と、前記アナログメモリアレイ部の各アナログメモリセルから画素毎に、前記発光手段の点灯時における撮像信号に対応する第１のフレーム信号と、前記消灯時における撮像信号に対応する第２のフレーム信号とを読み出す読み出し動作と、前記第１、第２のフレーム信号の比較演算を行うことにより得たフレーム差分信号から前記被写体の抽出を行うための認識情報を出力する認識情報出力動作とを含む物体認識動作を行う被写体認識手段とを有し、
前記画像出力処理手段による前記画像出力動作が行われる画像出力動作期間と、前記被写体認識手段による前記物体認識動作の双方が行われる物体認識動作期間とが時間的に分離されている、
ことを特徴とする固体撮像装置。A solid-state imaging device having an image output function for imaging a subject and outputting a real image, and a subject recognition function for extracting the subject by imaging the subject and calculating an imaging signal,
Imaging means for performing an imaging operation for imaging the subject by a pixel array ;
Image output processing means for performing an image output operation for performing predetermined signal processing on the imaging signal obtained by the imaging means and outputting image information ;
An analog memory array unit having an analog memory cell corresponding to each pixel of the imaging means;
A light emitting means for irradiating light in a direction including the entire field of view of the imaging means;
Light emission control means for controlling lighting of the light emitting means in synchronization with an imaging operation in the imaging means;
A first writing operation for storing, for each pixel, an imaging signal when the light emitting unit is turned on in an analog memory cell of the analog memory array unit, and an imaging memory for when the light emitting unit is turned off A second writing operation for storing each pixel in a cell; a first frame signal corresponding to an imaging signal when the light emitting means is turned on; and a light-off operation for each pixel from each analog memory cell of the analog memory array unit; Recognition for extracting the subject from a frame differential signal obtained by performing a readout operation for reading out the second frame signal corresponding to the imaging signal at the time and a comparison operation of the first and second frame signals possess the object recognition unit for performing object recognition operation including the recognition information output operation for outputting information,
An image output operation period in which the image output operation by the image output processing unit is performed and an object recognition operation period in which both the object recognition operation by the subject recognition unit are performed are separated in time.
A solid-state imaging device.

前記発光手段の点滅にパルスコードとしてデータ内容を付加し、前記被写体認識手段は前記フレーム差分信号から前記パルスコードを読み取り、該パルスコードのデータ内容が特定のデータ内容である場合に、前記認識情報を出力することを特徴とする請求項１記載の固体撮像装置。 The data content is added as a pulse code to the flashing of the light emitting means, the subject recognition means reads the pulse code from the frame difference signal, and the recognition information is obtained when the data content of the pulse code is a specific data content. the solid-state imaging device according to claim 1, wherein the outputting the.

前記画像出力動作期間に対し、前記物体認識動作期間が同じ、または短いことを特徴とする請求項１記載の固体撮像装置。The solid-state imaging device according to claim 1 , wherein the object recognition operation period is the same as or shorter than the image output operation period .

前記第１および第２の書き込み動作における前記撮像信号の前記アナログメモリアレイ部のアナログメモリセルへの画素毎の格納はフレーム走査によってなされ、
物体認識動作期間において前記フレーム走査を２回以上行うとともに、そのフレーム走査期間内に前記発光手段の点滅を１回または複数回行うことを特徴とする請求項１記載の固体撮像装置。 In each of the first and second write operations, the imaging signal is stored for each pixel in the analog memory cell of the analog memory array unit by frame scanning.
2. The solid-state imaging device according to claim 1 , wherein the frame scanning is performed twice or more during an object recognition operation period, and the light emitting unit is blinked once or a plurality of times during the frame scanning period.

前記第１および第２の書き込み動作における前記撮像信号の前記アナログメモリアレイ部のアナログメモリセルへの画素毎の格納はフレーム走査によってなされ、
前記被写体認識手段は、前記フレーム走査毎に前記発光手段の点灯強度、前記第１、第２のフレーム信号の比較演算における前記第１、第２のフレーム信号の重み付け、フレーム走査速度の少なくとも１つを変化させることにより前記フレーム差分信号を得ると共に、該フレーム差分信号に基づいて被写体までの距離情報、テクスチャ情報、色情報の少なくとも１つを生成し、該少なくとも１つの情報を前記認識情報として出力することを特徴とする請求項１記載の固体撮像装置。 In each of the first and second write operations, the imaging signal is stored for each pixel in the analog memory cell of the analog memory array unit by frame scanning.
The subject recognizing means includes at least one of lighting intensity of the light emitting means , weighting of the first and second frame signals in the comparison calculation of the first and second frame signals, and a frame scanning speed for each frame scan. Is obtained, and at least one of distance information to the subject, texture information, and color information is generated based on the frame difference signal, and the at least one information is output as the recognition information the solid-state imaging device according to claim 1, characterized in that.

前記画像出力動作期間と前記物体認識動作期間との時間的分離は、前記撮像手段におけるフレーム走査単位でなされていることを特徴とする請求項１記載の固体撮像装置。 The temporal separation of the image output period and said object recognition operation period, the solid-state imaging device according to claim 1, characterized in that it is made in a frame scanning unit in the image pickup means.

前記画像出力動作期間と前記物体認識動作期間との時間的分離は、任意の時間単位でなされていることを特徴とする請求項１記載の固体撮像装置。 The temporal separation of the image output period and said object recognition operation period, the solid-state imaging device according to claim 1, characterized in that it is made in an arbitrary time unit.

前記被写体認識手段による前記認識情報出力動作における前記認識情報の出力は、前記フレーム差分信号に基づいて被写体より反射した光を検出した画素と検出しない画素との識別結果に基づいてなされることを特徴とする請求項１記載の固体撮像装置。The output of the recognition information in the recognition information output operation by the subject recognition means is made based on a discrimination result between pixels that detect light reflected from the subject and pixels that do not detect based on the frame difference signal. The solid-state imaging device according to claim 1.

画素アレイによって前記被写体の撮像を行う撮像手段と、前記撮像手段の各画素に対応するアナログメモリセルを有するアナログメモリアレイ部と、前記撮像手段の視野全体を含む方位に光を照射する発光手段とを有し、被写体を撮像して実画像を出力する画像出力機能と、前記被写体を撮像して撮像信号を演算処理することにより、前記被写体の抽出を行う被写体認識機能とを具備した固体撮像装置の駆動方法であって、
前記撮像手段によって得られた撮像信号に所定の信号処理を施して画像情報を出力する画像出力動作を行う画像出力処理ステップと、
前記撮像手段における撮像動作に同期して前記発光手段の点灯を制御する発光制御ステップと、
前記発光手段の点灯時における撮像信号を前記アナログメモリアレイ部のアナログメモリセルに画素毎に格納する第１の書き込み動作と、前記発光手段の消灯時における撮像信号を前記アナログメモリアレイ部のアナログメモリセルに画素毎に格納する第２の書き込み動作と、前記アナログメモリアレイ部の各アナログメモリセルから画素毎に、前記発光手段の点灯時における撮像信号に対応する第１のフレーム信号と、前記消灯時における撮像信号に対応する第２のフレーム信号とを読み出す読み出し動作と、前記第１、第２のフレーム信号の比較演算を行うことにより得たフレーム差分信号から前記被写体の抽出を行うための認識情報を出力する認識情報出力動作とを含む物体認識動作を行う被写体認識ステップとを備え、
前記画像出力処理ステップによる前記画像出力動作が行われる画像出力動作期間と、前記被写体認識ステップによる前記物体認識動作が行われる物体認識動作期間とが時間的に分離されている、
ことを特徴とする固体撮像装置の駆動方法。Imaging means for imaging the subject by a pixel array , an analog memory array section having analog memory cells corresponding to each pixel of the imaging means, and light emitting means for irradiating light in a direction including the entire field of view of the imaging means A solid-state imaging device having an image output function for imaging a subject and outputting a real image, and a subject recognition function for extracting the subject by performing imaging processing of the imaging signal by imaging the subject Driving method,
An image output processing step for performing an image output operation for performing predetermined signal processing on the imaging signal obtained by the imaging means and outputting image information ;
A light emission control step for controlling lighting of the light emitting means in synchronization with an imaging operation in the imaging means;
A first writing operation for storing, for each pixel, an imaging signal when the light emitting unit is turned on in an analog memory cell of the analog memory array unit, and an image signal when the light emitting unit is turned off as an analog memory of the analog memory array unit A second writing operation for storing each pixel in a cell; a first frame signal corresponding to an imaging signal when the light emitting means is turned on; and a light-off operation for each pixel from each analog memory cell of the analog memory array unit; Recognition for extracting the subject from a frame differential signal obtained by performing a readout operation for reading out the second frame signal corresponding to the imaging signal at the time and a comparison operation of the first and second frame signals A subject recognition step for performing an object recognition operation including a recognition information output operation for outputting information ,
An image output operation period in which the image output operation in the image output processing step is performed and an object recognition operation period in which the object recognition operation in the subject recognition step is performed are separated in time.
A method for driving a solid-state imaging device.

前記発光制御ステップは、前記発光手段の点滅にパルスコードとしてデータ内容を付加し、
前記被写体認識ステップは、前記フレーム差分信号から前記パルスコードを読み取り、該パルスコードのデータ内容が特定のデータ内容である場合に、前記認識情報を出力することを特徴とする請求項９記載の固体撮像装置の駆動方法。 The light emission control step adds data content as a pulse code to blinking of the light emitting means,
10. The solid object according to claim 9 , wherein the subject recognition step reads the pulse code from the frame difference signal, and outputs the recognition information when the data content of the pulse code is a specific data content. Driving method of imaging apparatus.

前記画像出力動作期間に対し、前記物体認識動作期間が同じ、または短いことを特徴とする請求項９記載の固体撮像装置の駆動方法。The solid-state imaging device driving method according to claim 9 , wherein the object recognition operation period is the same as or shorter than the image output operation period .

前記第１および第２の書き込み動作における前記撮像信号の前記アナログメモリアレイ部のアナログメモリセルへの画素毎の格納はフレーム走査によってなされ、前記被写体認識ステップは、前記物体認識動作期間において前記フレーム走査を２回以上行い、前記発光制御ステップは、前記フレーム走査期間内に前記発光手段の点滅を１回または複数回行うことを特徴とする請求項９記載の固体撮像装置の駆動方法。 The imaging signals in the first and second writing operations are stored for each pixel in the analog memory cell of the analog memory array unit by frame scanning, and the subject recognition step includes scanning the frame during the object recognition operation period. 10. The method of driving a solid-state imaging device according to claim 9, wherein the light emission control step performs blinking of the light emitting means once or a plurality of times within the frame scanning period.

前記第１および第２の書き込み動作における前記撮像信号の前記アナログメモリアレイ部のアナログメモリセルへの画素毎の格納はフレーム走査によってなされ、
前記被写体認識ステップは、前記フレーム走査毎に前記発光手段の点灯強度、前記第１、第２のフレーム信号の比較演算における前記第１、第２のフレーム信号の重み付け、フレーム走査速度の少なくとも１つを変化させることにより前記フレーム差分信号を得ると共に、該フレーム差分信号に基づいて被写体までの距離情報、テクスチャ情報、色情報の少なくとも１つを生成し、該少なくとも１つの情報を前記認識情報として出力することを特徴とする請求項９記載の固体撮像装置の駆動方法。 In each of the first and second write operations, the imaging signal is stored for each pixel in the analog memory cell of the analog memory array unit by frame scanning.
The subject recognition step includes at least one of lighting intensity of the light emitting means for each frame scan , weighting of the first and second frame signals in a comparison operation of the first and second frame signals, and a frame scanning speed. Is obtained, and at least one of distance information to the subject, texture information, and color information is generated based on the frame difference signal, and the at least one information is output as the recognition information The method for driving a solid-state imaging device according to claim 9.

前記画像出力動作期間と前記物体認識動作期間との時間的分離は、前記撮像手段におけるフレーム走査単位でなされていることを特徴とする請求項９記載の固体撮像装置の駆動方法。 The temporal separation of the image output period and said object recognition operation period, the driving method of the solid-state imaging device according to claim 9, wherein that it is made in a frame scanning unit in the image pickup means.

前記画像出力動作期間と前記物体認識動作期間との時間的分離は、任意の時間単位でなされていることを特徴とする請求項９記載の固体撮像装置の駆動方法。 The temporal separation of the image output period and said object recognition operation period, the driving method of the solid-state imaging device according to claim 9, wherein the has been made at any time units.

前記被写体認識ステップによる前記物体認識動作における前記認識情報の出力は、前記フレーム差分信号に基づいて被写体より反射した光を検出した画素と検出しない画素との識別結果に基づいてなされることを特徴とする請求項９記載の固体撮像装置の駆動方法。 The output of the recognition information in the object recognition operation by the subject recognition step is performed based on a discrimination result between a pixel that detects light reflected from a subject and a pixel that is not detected based on the frame difference signal. A method for driving a solid-state imaging device according to claim 9.

被写体を撮像して実画像を出力する画像出力機能と、前記被写体を撮像して撮像信号を演算処理することにより、前記被写体の抽出を行う被写体認識機能とを具備した固体撮像装置が搭載される電子機器であって、
前記固体撮像装置は、
画素アレイによって前記被写体の撮像を行う撮像動作を行う撮像手段と、
前記撮像手段によって得られた撮像信号に所定の信号処理を施して画像情報を出力する画像出力動作を行う画像出力処理手段と、
前記撮像手段の各画素に対応するアナログメモリセルを有するアナログメモリアレイ部と、
前記撮像手段の視野全体を含む方位に光を照射する発光手段と、
前記撮像手段における撮像動作に同期して前記発光手段の点灯を制御する発光制御手段と、
前記発光手段の点灯時における撮像信号を前記アナログメモリアレイ部のアナログメモリセルに画素毎に格納する第１の書き込み動作と、前記発光手段の消灯時における撮像信号を前記アナログメモリアレイ部のアナログメモリセルに画素毎に格納する第２の書き込み動作と、前記アナログメモリアレイ部の各アナログメモリセルから画素毎に、前記発光手段の点灯時における撮像信号に対応する第１のフレーム信号と、前記消灯時における撮像信号に対応する第２のフレーム信号とを読み出す読み出し動作と、前記第１、第２のフレーム信号の比較演算を行うことにより得たフレーム差分信号から前記被写体の抽出を行うための認識情報を出力する認識情報出力動作とを含む物体認識動作を行う被写体認識手段とを有し、
前記画像出力処理手段による前記画像出力動作が行われる画像出力動作期間と、前記被写体認識手段による前記物体認識動作の双方が行われる物体認識動作期間とが時間的に分離されている、
ことを特徴とする電子機器。A solid-state imaging device having an image output function for imaging a subject and outputting a real image, and a subject recognition function for extracting the subject by imaging the subject and calculating an imaging signal is mounted. Electronic equipment,
The solid-state imaging device
Imaging means for performing an imaging operation for imaging the subject by a pixel array ;
Image output processing means for performing an image output operation for performing predetermined signal processing on the imaging signal obtained by the imaging means and outputting image information ;
An analog memory array unit having an analog memory cell corresponding to each pixel of the imaging means;
A light emitting means for irradiating light in a direction including the entire field of view of the imaging means;
Light emission control means for controlling lighting of the light emitting means in synchronization with an imaging operation in the imaging means;
A first writing operation for storing, for each pixel, an imaging signal when the light emitting unit is turned on in an analog memory cell of the analog memory array unit, and an imaging memory for when the light emitting unit is turned off A second writing operation for storing each pixel in a cell; a first frame signal corresponding to an imaging signal when the light emitting means is turned on; and a light-off operation for each pixel from each analog memory cell of the analog memory array unit; Recognition for extracting the subject from a frame differential signal obtained by performing a readout operation for reading out the second frame signal corresponding to the imaging signal at the time and a comparison operation of the first and second frame signals possess the object recognition unit for performing object recognition operation including the recognition information output operation for outputting information,
An image output operation period in which the image output operation by the image output processing unit is performed and an object recognition operation period in which both the object recognition operation by the subject recognition unit are performed are separated in time.
An electronic device characterized by that.

前記発光手段の点滅にパルスコードとしてデータ内容を付加し、前記被写体認識手段は前記フレーム差分信号から前記パルスコードを読み取り、該パルスコードのデータ内容が特定のデータ内容である場合に、前記認識情報を出力することを特徴とする請求項１７記載の電子機器。 The data content is added as a pulse code to the flashing of the light emitting means, the subject recognition means reads the pulse code from the frame difference signal, and the recognition information is obtained when the data content of the pulse code is a specific data content. 18. The electronic device according to claim 17 , wherein the electronic device is output .