JP2022147021A - 撮像素子、撮像装置及び撮像素子の制御方法 - Google Patents

Abstract

【課題】イベント検出時間の短縮及びイベント誤検出の抑制を実現することを可能にする。【解決手段】本開示に係る一形態の撮像素子は、第１の波長帯域の光を受けてイベント信号を出力する第１の画素と、前記第１の波長帯域を含み、前記第１の波長帯域よりも広い第２の波長帯域の光を受けてイベント信号を出力する第２の画素と、前記第１の画素から出力されるイベント信号に基づいて、前記第２の画素から出力されるイベント信号を遮断又は伝達する信号制御部と、を備える。【選択図】図３

Description

本開示は、撮像素子、撮像装置及び撮像素子の制御方法に関する。

近年、画素の光量が閾値を超えた旨をイベントとしてリアルタイムに検出するイベント検出回路を画素ごとに有する非同期型の撮像素子（固体撮像素子）が提案されている。この撮像素子は、輝度変化を検出し、動被写体のエッジ部分を抽出する。例えば、ＬＥＤ（発光ダイオード）信号機等の周期的に点滅を繰り返す物体が光源又は被写体である場合、撮像素子は、全画素又は被写体が静止しているにも関わらず、周期的に輝度変化を検出し、イベントを生成してしまう。この対策としては、画素部に異常画素判定回路とイネーブル保持回路を有する撮像素子が提案されている（例えば、特許文献１参照）。

特開２０２０－８８７２３号公報

しかしながら、前述のように、画素部に異常画素判定回路とイネーブル保持回路を有する撮像素子では、異常画素判定のために一定のイベント検出時間が必要となる。また、異常画素判定を行うにあたり、撮像素子は全色に反応してしまうため、例えば、ＬＥＤ信号機やＬＥＤ搭載標識等によるフリッカー起因の輝度変化と、フリッカー起因でない通常の輝度変化を区別できない。このため、ＬＥＤ信号機やＬＥＤ搭載標識等が静止しているにも関わらず、ＬＥＤの点滅（フリッカー）によって撮像素子がイベントを生成する誤動作（イベント誤検出）が起きた場合に異常画素判定されないことがある。さらに、フリッカー起因でない通常の輝度変化を正しく検出し、イベントを生成しているにも関わらず、イベント数が設定した異常画素判定の閾値を超えているために、イベントがフリッカー起因だと判断してしまう誤動作が発生する可能性がある。

そこで、本開示では、イベント検出時間の短縮及びイベント誤検出の抑制を実現することが可能な撮像素子、撮像装置及び撮像素子の制御方法を提案する。

本開示の実施形態に係る撮像素子は、第１の波長帯域の光を受けてイベント信号を出力する第１の画素と、前記第１の波長帯域を含み、前記第１の波長帯域よりも広い第２の波長帯域の光を受けてイベント信号を出力する第２の画素と、前記第１の画素から出力されるイベント信号に基づいて、前記第２の画素から出力されるイベント信号を遮断又は伝達する信号制御部と、を備える。

本開示の実施形態に係る撮像装置は、撮像レンズと、撮像素子と、を備え、前記撮像素子は、第１の波長帯域の光を受けてイベント信号を出力する第１の画素と、前記第１の波長帯域を含み、前記第１の波長帯域よりも広い第２の波長帯域の光を受けてイベント信号を出力する第２の画素と、前記第１の画素から出力されるイベント信号に基づいて、前記第２の画素から出力されるイベント信号を遮断又は伝達する信号制御部と、を有する。

本開示の実施形態に係る撮像素子の制御方法は、信号制御部が、第１の波長帯域の光を受ける第１の画素から出力されるイベント信号に基づいて、前記第１の波長帯域を含み、前記第１の波長帯域よりも広い第２の波長帯域の光を受ける第２の画素から出力されるイベント信号を遮断又は伝達する、ことを含む。

第１の実施形態に係る撮像装置の概略構成の一例を示す図である。 第１の実施形態に係る撮像素子の積層構造の一例を示す図である。 第１の実施形態に係る撮像素子の概略構成の一例を示す図である。 第１の実施形態に係る画素の概略構成の一例を示す図である。 第１の実施形態に係る画素回路の概略構成の一例を示す第１の図である。 第１の実施形態に係る画素回路の概略構成の一例を示す第２の図である。 第１の実施形態に係るカラーフィルタ配列の概略構成の一例を示す第１の図である。 第１の実施形態に係るカラーフィルタ配列の概略構成の一例を示す第２の図である。 第１の実施形態に係るカラーフィルタ配列の概略構成の一例を示す第３の図である。 第１の実施形態に係るイベント信号制御部の概略構成の一例を示す第１の図である。 第１の実施形態に係るイベント信号制御部の概略構成の一例を示す第２の図である。 第１の実施形態に係るイベント信号制御処理の流れの一例を示すフローチャートである。 第１の実施形態に係る通常画素及び特殊画素のカラーフィルタ構造の一例を示す第１の図である。 第１の実施形態に係る通常画素及び特殊画素のカラーフィルタ構造の一例を示す第２の図である。 第１の実施形態に係る通常画素及び特殊画素のカラーフィルタ構造の一例を示す第３の図である。 第２の実施形態に係る撮像装置の概略構成の一例を示す図である。 第２の実施形態に係る撮像装置の処理の一例を説明するための図である。 車両制御システムの概略構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、この実施形態により本開示に係る装置、方法及びシステム等が限定されるものではない。また、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

以下に説明される１又は複数の実施形態（実施例、変形例を含む）は、各々が独立に実施されることが可能である。一方で、以下に説明される複数の実施形態は少なくとも一部が他の実施形態の少なくとも一部と適宜組み合わせて実施されてもよい。これら複数の実施形態は、互いに異なる新規な特徴を含み得る。したがって、これら複数の実施形態は、互いに異なる目的又は課題を解決することに寄与し得、互いに異なる効果を奏し得る。

以下に示す項目順序に従って本開示を説明する。
１．第１の実施形態
１－１．撮像装置の概略構成の一例
１－２．撮像素子の概略構成の一例
１－３．画素の概略構成の一例
１－４．画素回路の概略構成の一例
１－５．カラーフィルタ配列の概略構成の一例
１－６．イベント信号制御部の概略構成の一例
１－７．イベント信号制御処理の一例
１－８．通常画素及び特殊画素のカラーフィルタ構造の一例
１－９．効果
２．第２の実施形態
２－１．撮像装置の概略構成の一例
２－２．効果
３．他の実施形態
４．応用例
５．付記

＜１．第１の実施形態＞
＜１－１．撮像装置の概略構成の一例＞
本実施形態に係る撮像装置１００の概略構成の一例について図１を参照して説明する。図１は、本実施形態に係る撮像装置１００の概略構成の一例を示す図である。

図１に示すように、撮像装置１００は、撮像レンズ１１０と、撮像素子（固体撮像素子）２００と、記録部１２０と、制御部１３０とを備える。撮像装置１００としては、例えば、ウェアラブルデバイスや産業用ロボット等に搭載されるカメラ、また、車等に搭載される車載カメラ等がある。

撮像レンズ１１０は、入射光を集光して撮像素子２００に導くものである。例えば、撮像レンズ１１０は、被写体からの入射光を取り込んで撮像素子２００の撮像面（受光面）上に結像する。

撮像素子２００は、入射光を光電変換してイベント（アドレスイベント）の有無を検出し、その検出結果を生成するものである。例えば、撮像素子２００は、複数の画素のそれぞれについて、輝度の変化量の絶対値が閾値を超えた旨をイベントとして検出する。この撮像素子２００は、ＥＶＳ（Event-based Vision Sensor）とも呼称される。

ここで、例えば、イベントはオンイベント及びオフイベントを含み、検出結果は１ビットのオンイベントの検出結果と１ビットのオフイベントの検出結果とを含む。オンイベントは、例えば、入射光の光量の変化量（輝度の上昇量）が所定の上限閾値を超えた旨を意味する。一方、オフイベントは、例えば、入射光の光量の変化量（輝度の低下量）が所定の下限閾値（上限閾値未満の値）を下回った旨を意味する。

例えば、撮像素子２００は、イベント（アドレスイベント）の検出結果を処理し、その処理結果を示すデータを記録部１２０に信号線２０９を介して出力する。例えば、撮像素子２００は、イベントの検出結果を示す検出信号（イベント信号）を画素ごとに生成する。それぞれの検出信号は、オンイベントの有無を示すオンイベント検出信号と、オフイベントの有無を示すオフイベント検出信号とを含む。なお、撮像素子２００は、オンイベント検出信号及びオフイベント検出信号の一方のみを検出してもよい。

また、例えば、撮像素子２００は、検出信号からなる画像データに対し、画像認識処理などの所定の信号処理を実行し、その処理後のデータを記録部１２０に信号線２０９を介して出力する。なお、撮像素子２００は、少なくとも、イベントの検出結果に基づくデータを出力すればよく、例えば、画像データが後段の処理において不要である場合、画像データを出力しない構成を採用してもよい。

記録部１２０は、撮像素子２００から入力されるデータを記録するものである。記録部１２０としては、例えば、フラッシュメモリやＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等のストレージが用いられる。

制御部１３０は、信号線１３９を介して撮像素子２００に種々の指示を出力することで、撮像装置１００の各部を制御する。例えば、制御部１３０は、撮像素子２００を制御し、その撮像素子２００にイベント（アドレスイベント）の有無を検出させるものである。制御部１３０としては、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Control Unit）等のコンピュータが用いられる。

＜１－２．撮像素子の概略構成の一例＞
本実施形態に係る撮像素子２００の概略構成の一例について図２及び図３を参照して説明する。図２は、本実施形態に係る撮像素子２００の積層構造の一例を示す図である。図３は、本実施形態に係る撮像素子２００の概略構成の一例を示す図である。

図２に示すように、撮像素子２００は、受光チップ（受光基板）２０１と、検出チップ（検出基板）２０２とを備える。受光チップ２０１は、検出チップ２０２に積層される。この受光チップ２０１は第１のチップに相当し、検出チップ２０２は第２のチップに相当する。例えば、受光チップ２０１に受光素子（例えば、フォトダイオード等の光電変換素子）が配置され、検出チップ２０２に回路が配置される。受光チップ２０１及び検出チップ２０２は、ビアやＣｕ－Ｃｕ接合、バンプ等の接続部を介して電気的に接続される。

図３に示すように、撮像素子２００は、画素アレイ部１２と、駆動部１３と、アービタ部（調停部）１４と、カラム処理部１５と、信号処理部１６とを備える。駆動部１３、アービタ部１４、カラム処理部１５及び信号処理部１６は、画素アレイ部１２の周辺回路部として設けられている。

画素アレイ部１２は、複数の画素１１を有する。これらの画素１１はアレイ状、例えば、行列状に２次元配列されている。各画素１１の位置を示す画素アドレスは、画素１１の行列配置に基づいて行アドレス及び列アドレスで規定される。各画素１１のそれぞれは、光電変換によって生成される電気信号としての光電流に応じた電圧のアナログ信号を画素信号として生成する。また、各画素１１のそれぞれは、入射光の輝度に応じた光電流に、所定の閾値を超える変化が生じたか否かによって、イベントの有無を検出する。換言すれば、各画素１１のそれぞれは、輝度変化が所定の閾値を超えたことをイベントとして検出する。

各画素１１のそれぞれは、イベントを検出した際に、イベントの発生を表すイベントデータの出力を要求するリクエストをアービタ部１４に出力する。そして、各画素１１のそれぞれは、イベントデータの出力の許可を表す応答をアービタ部１４から受け取った場合、駆動部１３及び信号処理部１６に対してイベントデータを出力する。また、イベントを検出した画素１１は、光電変換によって生成されるアナログの画素信号をカラム処理部１５に対して出力する。

駆動部１３は、画素アレイ部１２の各画素１１を駆動する。例えば、駆動部１３は、イベントを検出し、イベントデータを出力した画素１１を駆動し、当該画素１１のアナログの画素信号を、カラム処理部１５へ出力させる。

アービタ部１４は、複数の画素１１のそれぞれから供給されるイベントデータの出力を要求するリクエストを調停し、その調停結果（イベントデータの出力の許可／不許可）に基づく応答、及び、イベント検出をリセットするリセット信号を画素１１に送信する。

カラム処理部１５は、画素アレイ部１２の画素列毎に、その列の画素１１から出力されるアナログの画素信号をデジタル信号に変換する処理を行う。例えば、カラム処理部１５は、デジタル化した画素信号に対して、ＣＤＳ（Correlated Double Sampling）処理を行うこともできる。このカラム処理部１５は、例えば、画素アレイ部１２の画素列毎に設けられたアナログ－デジタル変換器の集合から成るアナログ－デジタル変換部を有する。アナログ－デジタル変換器としては、例えば、シングルスロープ型のアナログ－デジタル変換器を例示することができる。

信号処理部１６は、カラム処理部１５から供給されるデジタル化された画素信号や、画素アレイ部１２から出力されるイベントデータに対して所定の信号処理を実行し、信号処理後のイベントデータ及び画素信号を出力する。

ここで、画素１１で生成される光電流の変化は、画素１１に入射する光の光量変化（輝度変化）として捉えられる。したがって、イベントの発生は、所定の閾値を超える画素１１の光量変化（輝度変化）であると言える。なお、イベントの発生を表すイベントデータには、例えば、イベントとしての光量変化が発生した画素１１の位置を表す座標等の位置情報が含まれる。イベントデータには、位置情報の他、光量変化の極性を含ませることも可能である。

＜１－３．画素の概略構成の一例＞
本実施形態に係る画素１１の概略構成の一例について図４を参照して説明する。図４は、本実施形態に係る画素１１の概略構成の一例を示す図である。

図４に示すように、各画素１１のそれぞれは、受光部６１と、画素信号生成部６２と、イベント検出部６３とを有する。

受光部６１は、入射光を光電変換して光電流を生成する。そして、受光部６１は、駆動部１３（図３参照）の制御に従って、画素信号生成部６２及びイベント検出部６３のいずれかに、入射光を光電変換して生成した光電流に応じた電圧の信号を供給する。

画素信号生成部６２は、受光部６１から供給される光電流に応じた電圧の信号を、アナログの画素信号ＳＩＧとして生成する。そして、画素信号生成部６２は、生成したアナログの画素信号ＳＩＧを、画素アレイ部１２の画素列毎に配線された垂直信号線ＶＳＬを介してカラム処理部１５（図３参照）に供給する。

イベント検出部６３は、受光部６１のそれぞれからの光電流の変化量が所定の閾値を超えたか否かにより、イベントの発生の有無を検出する。イベントは、例えば、光電流の変化量が上限の閾値を超えた旨を示すオンイベントと、その変化量が下限の閾値を下回った旨を示すオフイベントとを含む。また、イベントの発生を表すイベントデータは、例えば、オンイベントの検出結果を示す１ビット、及び、オフイベントの検出結果を示す１ビットから成る。なお、イベント検出部６３については、オンイベントのみを検出する構成とすることもできる。

なお、ここで例示した画素１１の構成は一例であって、この構成例に限定されるものではない。例えば、画素信号ＳＩＧを出力する必要がない場合には、画素信号生成部６２を備えない画素構成とすることもできる。画素信号を出力しない画素構成とすることにより、撮像素子２００の規模の抑制を実現することができる。

このイベント検出部６３は、イベントが発生した際に、イベントの発生を表すイベントデータの出力を要求するリクエストをアービタ部１４（図３参照）に出力する。そして、イベント検出部６３は、リクエストに対する応答をアービタ部１４から受け取った場合、駆動部１３及び信号処理部１６に対してイベントデータを出力する。

＜１－４．画素回路の概略構成の一例＞
本実施形態に係る画素回路３０１の概略構成の一例について図５及び図６を参照して説明する。図５及び図６は、それぞれ本実施形態に係る画素回路３０１の概略構成の一例を示す図である。

図５に示すように、画素回路３０１は、対数応答部３１０と、バッファ３２０と、微分回路３３０と、コンパレータ３４０と、転送部３５０とを有する。この画素回路３０１は、受光部６１及びイベント検出部６３に相当する（図６参照）。

対数応答部３１０は、光電流を、その光電流の対数値に比例した画素電圧Ｖｐに変換するものである。この対数応答部３１０は、画素電圧Ｖｐをバッファ３２０に供給する。

バッファ３２０は、対数応答部３１０からの画素電圧Ｖｐを微分回路３３０に出力するものである。このバッファ３２０により、後段を駆動する駆動力を向上させることができる。また、バッファ３２０により、後段のスイッチング動作に伴うノイズのアイソレーションを確保することができる。

微分回路３３０は、微分演算により画素電圧Ｖｐの変化量を求めるものである。この画素電圧Ｖｐの変化量は、光量の変化量を示す。微分回路３３０は、光量の変化量を示す微分信号Ｖｏｕｔをコンパレータ３４０に供給する。

コンパレータ３４０は、微分信号Ｖｏｕｔと所定の閾値（上限閾値や下限閾値）とを比較するものである。このコンパレータ３４０の比較結果ＣＯＭＰは、イベント（アドレスイベント）の検出結果を示す。コンパレータ３４０は、比較結果ＣＯＭＰを転送部３５０に供給する。

転送部３５０は、検出信号ＤＥＴを転送し、転送後にオートゼロ信号ＸＡＺを微分回路３３０に供給して初期化するものである。この転送部３５０は、イベントが検出された際に、検出信号ＤＥＴの転送を要求するリクエストをアービタ２１３に供給する。そして、リクエストに対する応答を受け取ると、転送部３５０は、比較結果ＣＯＭＰを検出信号ＤＥＴとして信号処理部２２０に供給し、オートゼロ信号ＸＡＺを微分回路３３０に供給する。

詳しくは、図６に示すように、対数応答部３１０は、光電変換素子３１１と、電流電圧変換部３１６とを備える。光電変換素子３１１は、受光部６１に相当する。

光電変換素子３１１は、入射光に対する光電変換により光電流を生成するものである。この光電変換素子３１１としては、例えば、フォトダイオード（ＦＤ）が用いられる。例えば、光電変換素子３１１が受光チップ２０１に配置され、その後段の回路が検出チップ２０２に配置される。なお、受光チップ２０１及び検出チップ２０２のそれぞれに配置される回路や素子は、この構成に限定されるものではない。

電流電圧変換部３１６は、光電流を画素電圧Ｖｐに対数的に変換するものである。この電流電圧変換部３１６は、Ｎ型トランジスタ３１２と、容量３１３と、Ｐ型トランジスタ３１４と、Ｎ型トランジスタ３１５とを備える。Ｎ型トランジスタ３１２、Ｐ型トランジスタ３１４及びＮ型トランジスタ３１５としては、例えば、ＭＯＳ（Metal-Oxide-Semiconductor）トランジスタが用いられる。

Ｎ型トランジスタ３１２のソースは光電変換素子３１１に接続され、ドレインは電源端子に接続される。Ｐ型トランジスタ３１４及びＮ型トランジスタ３１５は、電源端子と所定の基準電位（接地電位など）の基準端子との間において、直列に接続される。また、Ｐ型トランジスタ３１４及びＮ型トランジスタ３１５の接続点は、Ｎ型トランジスタ３１２のゲートとバッファ３２０の入力端子とに接続される。Ｎ型トランジスタ３１２及び光電変換素子３１１の接続点は、Ｎ型トランジスタ３１５のゲートに接続される。このようにＮ型トランジスタ３１２及びＮ型トランジスタ３１５はループ状に接続されている。

容量３１３は、Ｎ型トランジスタ３１２のゲートとＮ型トランジスタ３１５のゲートとの間に挿入される。また、Ｐ型トランジスタ３１４のゲートには、所定のバイアス電圧Ｖｂｌｏｇが印加される。

バッファ３２０は、Ｐ型トランジスタ３２１及びＰ型トランジスタ３２２を備える。これらのトランジスタとしては、例えば、ＭＯＳトランジスタが用いられる。

Ｐ型トランジスタ３２１及びＰ型トランジスタ３２２は、電源端子と基準電位の端子との間において直列に接続される。また、Ｐ型トランジスタ３２２のゲートは、対数応答部３１０に接続され、Ｐ型トランジスタ３２１及びＰ型トランジスタ３２２の接続点は、微分回路３３０に接続される。Ｐ型トランジスタ３２１のゲートには、所定のバイアス電圧Ｖｂｓｆが印加される。

微分回路３３０は、容量３３１と、Ｐ型トランジスタ３３２と、Ｐ型トランジスタ３３３と、容量３３４と、Ｎ型トランジスタ３３５とを備える。微分回路３３０内のトランジスタとしては、例えば、ＭＯＳトランジスタが用いられる。

Ｐ型トランジスタ３３３及びＮ型トランジスタ３３５は、電源端子と基準電位の端子との間において直列に接続される。Ｎ型トランジスタ３３５のゲートには、所定のバイアス電圧Ｖｂｄｉｆｆが入力される。これらのトランジスタは、Ｐ型トランジスタ３３３のゲートを入力端子３９１とし、Ｐ型トランジスタ３３３及びＮ型トランジスタ３３５の接続点を出力端子３９２とする反転回路として機能する。

容量３３１は、バッファ３２０と入力端子３９１との間に挿入される。この容量３３１は、バッファ３２０からの画素電圧Ｖｐの時間微分（言い換えれば、変化量）に応じた電流を入力端子３９１に供給する。また、容量３３４は、入力端子３９１と出力端子３９２との間に挿入される。

Ｐ型トランジスタ３３２は、転送部３５０からのオートゼロ信号ＸＡＺに従って入力端子３９１と出力端子３９２との間の経路を開閉するものである。例えば、ローレベルのオートゼロ信号ＸＡＺが入力されるとＰ型トランジスタ３３２は、オートゼロ信号ＸＡＺに従ってオン状態に移行し、微分信号Ｖｏｕｔを初期値にする。

コンパレータ３４０は、Ｐ型トランジスタ３４１と、Ｎ型トランジスタ３４２と、Ｐ型トランジスタ３４３と、Ｎ型トランジスタ３４４とを備える。これらのトランジスタとしては、例えば、ＭＯＳトランジスタが用いられる。

Ｐ型トランジスタ３４１及びＮ型トランジスタ３４２は、電源端子と基準端子との間において直列に接続され、Ｐ型トランジスタ３４３及びＮ型トランジスタ３４４も、電源端子と基準端子との間において直列に接続される。また、Ｐ型トランジスタ３４１及びＰ型トランジスタ３４３のゲートは、微分回路３３０に接続される。Ｎ型トランジスタ３４２のゲートには上限閾値を示す上限電圧Ｖｈｉｇｈが印加され、Ｎ型トランジスタ３４４のゲートには下限閾値を示す下限電圧Ｖｌｏｗが印加される。

Ｐ型トランジスタ３４１及びＮ型トランジスタ３４２の接続点は、転送部３５０に接続され、この接続点の電圧が上限閾値との比較結果ＣＯＭＰ＋として出力される。Ｐ型トランジスタ３４３及びＮ型トランジスタ３４４の接続点も、転送部３５０に接続され、この接続点の電圧が下限閾値との比較結果ＣＯＭＰ－として出力される。このような接続により、微分信号Ｖｏｕｔが上限電圧Ｖｈｉｇｈより高い場合にコンパレータ３４０は、ハイレベルの比較結果ＣＯＭＰ＋を出力し、微分信号Ｖｏｕｔが下限電圧Ｖｌｏｗより低い場合にローレベルの比較結果ＣＯＭＰ－を出力する。比較結果ＣＯＭＰは、これらの比較結果ＣＯＭＰ＋及びＣＯＭＰ－からなる信号である。

なお、コンパレータ３４０は、上限閾値及び下限閾値の両方を、微分信号Ｖｏｕｔと比較しているが、一方のみを微分信号Ｖｏｕｔと比較してもよい。この場合には、不要なトランジスタを削減することができる。例えば、上限閾値とのみ比較する際には、Ｐ型トランジスタ３４１及びＮ型トランジスタ３４２のみが配置される。また、微分回路３３０に容量３３４を配置しているが、その容量３３４を削減してもよい。

＜１－５．カラーフィルタ配列の概略構成の一例＞
本実施形態に係るカラーフィルタ配列の概略構成の一例について図７から図９を参照して説明する。図７から図９は、それぞれ本実施形態に係るカラーフィルタ配列の概略構成の一例を示す図である。

図７から図９に示すように、撮像素子２００には、画素１１毎にカラーフィルタ２１が設けられている。撮像素子２００は、カラーフィルタ２１に基づく特定の波長帯でイベント検出を行う。これにより、種々の波長帯の情報をイベントとして検出することができる。

カラーフィルタ２１は、所定の光を透過する光学フィルタの一例である。このカラーフィルタ２１を画素１１に設けることによって、入射光として任意の光を受光することができる。例えば、画素１１において、入射光として、可視光を受光する場合、イベントデータは、視認することができる被写体が映る画像における画素値の変化の発生を表す。また、例えば、画素１１において、入射光として、測距のための赤外線やミリ波等を受光する場合、イベントデータは、被写体までの距離の変化の発生を表す。さらに、例えば、画素１１において、入射光として、温度の測定のための赤外線を受光する場合、イベントデータは、被写体の温度の変化の発生を表す。

ここで、例えば、車両の走行中等、運転者の目には、自車の前を走行中の車のブレーキランプやテールランプの点灯（点滅）、方向指示器の点滅、信号機の色の変化、電光標識等、種々の波長帯の情報、特に、Ｒ（赤色）の波長帯の情報（ブレーキランプ、テールランプ、信号機の赤信号等）が飛び込んでくる。これら各種の情報については、基本的に、運転者が目視で検出し、その内容を判断することになるが、撮像素子２００が運転者と同様にその検出、判断を行うことができれば非常に便利である。

そこで、本実施形態に係る撮像装置１００では、撮像素子２００に画素１１毎に、波長選択素子の一例であるカラーフィルタ２１を設け、それぞれの画素１１における閾値検出を行うことにより、色毎のイベント検出を可能にする。例えば、色毎にイベント検出した物体の動き検出を行う。これにより、各波長帯における色毎のイベント信号を、車のブレーキランプやテールランプの点灯（点滅）、方向指示器の点滅、信号機の色の変化、電光標識等の検出（検知）に活用することができる。

カラーフィルタ配列としては、例えば、図７から図９に示すように、４×４画素のクアッドベイヤー配列（クワドラ配列ともいう）や８×８画素の配列、２×２画素のベイヤー配列等の種々の配列が存在する。カラーフィルタ２１の配列の単位となる画素ブロック１１Ａ、１１Ｂ、１１Ｃは、それぞれ、所定の波長成分を受光する画素（単位画素）の組合せにより構成される。なお、基本パターンとしての２×２画素や４×４画素、８×８画素等は一例であり、基本パターンの画素数は限定されるものではない。

（４×４画素のクアッドベイヤー配列）
図７に示すように、カラーフィルタ配列として４×４画素のクアッドベイヤー配列を採用した場合、１つの画素ブロック１１Ａは、クアッドベイヤー配列における繰返しの単位である４×４画素の計１６個の画素１１を有する基本パターン（単位パターン）で構成される。

図７の例では、画素ブロック１１Ａには、例えば、赤色（Ｒ）又は赤色系（Ｒ：特定波長）のカラーフィルタ２１を備える２×２画素の計４個の画素１１と、緑色（Ｇｒ）又は緑色系（Ｇｒ：特定波長）のカラーフィルタ２１を備える２×２画素の計４個の画素１１と、緑色（Ｇｂ）又は緑色系（Ｇｂ：特定波長）のカラーフィルタ２１を備える２×２画素の計４個の画素１１と、青色（Ｂ）又は青色系（Ｂ：特定波長）のカラーフィルタ２１を備える２×２画素の計４個の画素１１とが含まれる。

なお、図７の例では、赤色系（Ｒ：特定波長）のカラーフィルタ２１を備える画素１１、緑系（Ｇｒ：特定波長）のカラーフィルタ２１を備える画素１１、緑系（Ｇｂ：特定波長）のカラーフィルタ２１を備える画素１１、及び、青系（Ｂ：特定波長）のカラーフィルタ２１を備える画素１１は、それぞれ一個である。

このような画素ブロック１１Ａにおける２×２画素の計４個の画素１１のうち、すなわち、同系色の２×２画素を有する同系色ブロック（画素群）のうち、少なくとも１つの画素１１が特殊画素であり、その他の３つの画素１１が通常画素である。特殊画素は、第１の波長帯域の光を受けてイベント信号を出力する第１の画素であり、例えば、特定色の特定波長にのみ反応してイベント信号を出力する画素（特定波長検出画素）である。通常画素は、第１の波長帯域を含み、第１の波長帯域よりも広い第２の波長帯域の光を受けてイベント信号を出力する第２の画素である。

ここで、画素１１の受光部６１及びイベント検出部６３は、画素１１毎に設けられているが、これに限られるものではない。例えば、イベント検出部６３は同系色ブロック毎に設けられてもよい。この場合、イベント検出部６３は同系色ブロック内の画素１１に共通となる。

赤色系の特殊画素は、赤色系（Ｒ：特定波長）のカラーフィルタ２１を有する。このカラーフィルタ２１は赤色系の特定波長（例えば、６００ｎｍ）を透過するため、赤色系の特殊画素は赤色系の特定波長にのみ反応する。赤色の通常画素は、赤色（Ｒ）のカラーフィルタ２１を有する。このカラーフィルタ２１は赤色の波長（例えば、５９０～７８０ｎｍ）を透過するため、赤色の通常画素は赤色の波長に反応する。赤色系の特殊画素は、赤色（Ｒ）の通常画素に隣接する。

緑色系の特殊画素は、緑色系（Ｇｒ：特定波長）のカラーフィルタ２１を有する。このカラーフィルタ２１は緑色系の特定波長（例えば、５１０ｎｍ）を透過するため、緑色系の特殊画素は緑色系の特定波長にのみ反応する。緑色の通常画素は、緑色（Ｇｒ）のカラーフィルタ２１を有する。このカラーフィルタ２１は緑色の波長（例えば、５００～５６５ｎｍ）を透過するため、緑色の通常画素は緑色の波長に反応する。緑色系の特殊画素は、緑色（Ｇｒ）の通常画素に隣接する。

緑色系の特殊画素は、緑色系（Ｇｂ：特定波長）のカラーフィルタ２１を有する。このカラーフィルタ２１は緑色系の特定波長（例えば、５３０ｎｍ）を透過するため、緑色系の特殊画素は緑色系の特定波長にのみ反応する。緑色の通常画素は、緑色（Ｇｂ）のカラーフィルタ２１を有する。このカラーフィルタ２１は緑色の波長（例えば、５００～５６５ｎｍ）を透過するため、緑色の通常画素は緑色の波長に反応する。緑色系の特殊画素は、緑色（Ｇｂ）の通常画素に隣接する。

青色系の特殊画素は、青色系（Ｂ：特定波長）のカラーフィルタ２１を有する。このカラーフィルタ２１は青色系の特定波長（例えば、４６５ｎｍ）を透過するため、青色系の特殊画素は青色系の特定波長にのみ反応する。青色の通常画素は、青色（Ｂ）のカラーフィルタ２１を有する。このカラーフィルタ２１は青色の波長（例えば、５００～５６５ｎｍ）を透過するため、青色の通常画素は青色の波長に反応する。青色系の特殊画素は、青色（Ｂ）の通常画素に隣接する。

なお、白色ＬＥＤからの光が入射することもある。この白色ＬＥＤは、青色ＬＥＤと黄色の蛍光体の組み合わせであるため、青色系の特定波長のみに反応する青色系の特殊画素で対応することが可能である。

（８×８画素の配列）
図８に示すように、カラーフィルタ配列として８×８画素の配列を採用した場合、１つの画素ブロック１１Ｂは、カラーフィルタ配列における繰返しの単位である８×８画素の計６４個の画素１１を有する基本パターン（単位パターン）で構成される。

図８の例では、画素ブロック１１Ｂには、例えば、赤色（Ｒ）又は赤色系（Ｒ：特定波長）のカラーフィルタ２１を備える４×４画素の計１６個の画素１１と、緑色（Ｇｒ）又は緑色系（Ｇｒ：特定波長）のカラーフィルタ２１を備える４×４画素の計１６個の画素１１と、緑色（Ｇｂ）又は緑色系（Ｇｂ：特定波長）のカラーフィルタ２１を備える４×４画素の計１６個の画素１１と、青色（Ｂ）又は青色系（Ｂ：特定波長）のカラーフィルタ２１を備える４×４画素の計１６個の画素１１とが含まれる。

なお、図８の例では、赤色系（Ｒ：特定波長）のカラーフィルタ２１を備える画素１１、緑系（Ｇｒ：特定波長）のカラーフィルタ２１を備える画素１１、緑系（Ｇｂ：特定波長）のカラーフィルタ２１を備える画素１１、及び、青系（Ｂ：特定波長）のカラーフィルタ２１を備える画素１１は、それぞれ一個である。

このような画素ブロック１１Ｂにおける４×４画素の計１６個の画素１１のうち、すなわち、同系色の４×４画素を有する同系色ブロック（画素群）のうち、少なくとも１つの画素１１が特殊画素であり、その他の１５個の画素１１が通常画素である。特殊画素は、４×４画素の計１６個の画素１１による領域の中央付近に設けられている。

（２×２画素のベイヤー配列）
図９に示すように、カラーフィルタ配列として２×２画素のベイヤー配列を採用した場合、１つの画素ブロック１１Ｃは、ベイヤー配列における繰返しの単位である２×２画素の計４個の単位画素を有する基本パターン（単位パターン）で構成される。

図９の例では、画素ブロック１１Ｃには、例えば、赤色（Ｒ）又は赤色系（Ｒ：特定波長）のカラーフィルタ２１を備える１個の画素１１と、緑色（Ｇｒ）又は緑色系（Ｇｒ：特定波長）のカラーフィルタ２１を備える１個の画素１１と、緑色（Ｇｂ）又は緑色系（Ｇｂ：特定波長）のカラーフィルタ２１を備える１個の画素１１と、青色（Ｂ）又は青色系（Ｂ：特定波長）のカラーフィルタ２１を備える１個の画素１１とが含まれる。

なお、図９の例では、赤色系（Ｒ：特定波長）のカラーフィルタ２１を備える画素１１、緑系（Ｇｒ：特定波長）のカラーフィルタ２１を備える画素１１、緑系（Ｇｂ：特定波長）のカラーフィルタ２１を備える画素１１、及び、青系（Ｂ：特定波長）のカラーフィルタ２１を備える画素１１は、それぞれ一個である。

このような画素ブロック１１Ｃにおいて、同系色の３×３画素を有する同系色ブロック（画素群）のうち、少なくとも１つの画素１１が特殊画素であり、その他の８つの画素１１が通常画素である。なお、同系色の３×３画素は、互いに列方向及び行方向に１画素分離間している。したがって、１つの特殊画素は、周囲に存在する８つの同色の通常画素のイベントを制御する。図９の例では、特殊画素の密度を減らすことで、解像度の劣化を抑制することができる。

なお、カラーフィルタの配列としては、例えば、Ｒ（赤色）の画素とＣ（クリア）の画素とを組み合わせたＲＣＣＣフィルタや、Ｒの画素及びＣの画素にＢ（青色）の画素を組み合わせたＲＣＣＢフィルタや、Ｒの画素、Ｇ（緑色）、及び、Ｂの画素を組み合わせたＲＧＢベイヤー配列のフィルタを用いてもよい。Ｃの画素は、色フィルタが設けられていないか、透明のフィルタが設けられている画素であり、Ｗ（白色）の画素と同様の画素である。例えば、Ｒ（赤色）の画素とＣ（クリア）の画素とを組み合わせたＲＣＣＣフィルタは、月明かりの夜間に相当する低照度でも、遠方の障害物や人物などを撮像できる高感度を実現できる。また、ＲＣＣＣフィルタは、例えば、車載センシング等で重要となる赤色の波長帯の光（例えば、テールランプや信号機の赤信号等）の検出精度を向上させることができる。

また、特殊画素の設置位置は、図７から図９に示すような位置に固定されるものではなく、他の位置でもよい。例えば、特殊画素は、画素アレイ部１２全体に均一に配置されてもよく、また、一定の行間隔又は列間隔で配置されてもよく、ランダムに配置されてもよい。なお、特殊画素により解像度が例えば離散的に低下する場合には、通常画素による補間処理を行うことで、解像度の低下を抑えることができる。

＜１－６．イベント信号制御部の概略構成の一例＞
本実施形態に係るイベント信号制御部３５１の概略構成の一例について図１０及び図１１を参照して説明する。図１０及び図１１は、それぞれ本実施形態に係るイベント信号制御部３５１の概略構成の一例を示す図である。

図１０に示すように、通常画素及び特殊画素は、それぞれ同じ構成の画素回路３０１（図６参照）を有する。通常画素の画素回路３０１において、比較結果ＣＯＭＰ＋がＶｏ（＋）：Ａとして出力され、比較結果ＣＯＭＰ－がＶｏ（－）：Ｂとして出力される。また、特殊画素の画素回路３０１において、比較結果ＣＯＭＰ＋がＶｏ（＋）：Ｃとして出力され、比較結果ＣＯＭＰ－がＶｏ（－）：Ｄとして出力される。これらの比較結果（Ａ：通常画素Ｖｏ（＋）、Ｂ：通常画素Ｖｏ（－）、Ｃ：特殊画素Ｖｏ（＋）、Ｄ：特殊画素Ｖｏ（－））がイベント信号制御部３５１に入力される。

これらの通常画素及び特殊画素は、カラーフィルタ配列の同系色ブロック内の画素１１である。なお、画素回路３０１のイベント検出部６３（図６参照）は、同系色ブロック内の画素１１毎に設けられてもよく、あるいは、同系色ブロック内の通常画素に共通して設けられてもよい。イベント検出部６３が同系色ブロック内の通常画素に共通である場合には、その共通のイベント検出部６３から出力される比較結果が、特殊画素との論理演算に用いられる。

図１１に示すように、イベント信号制御部３５１は、ＡＮＤ回路３５１ａと、ＮＯＴ回路３５１ｂとを備える。このイベント信号制御部３５１は、例えば、画素回路３０１の転送部３５０（図５参照）内に設けられる。イベント信号制御部３５１は、例えば、通常画素と特殊画素の組ごとに設けられる。イベント信号制御部３５１は、信号制御部に相当する。

Ａ：通常画素Ｖｏ（＋）がＡＮＤ回路３５１ａに入力され、Ｃ：特殊画素Ｖｏ（＋）がＮＯＴ回路３５１ｂを介してＡＮＤ回路３５１ａに入力される。ＡＮＤ回路３５１ａは、入力された数値に基づいて論理演算（図１１参照）を行い、Ｙ１として０（無反応）又は１（検出）を出力する。

Ｂ：通常画素Ｖｏ（－）がＡＮＤ回路３５１ａに入力され、Ｄ：特殊画素Ｖｏ（－）がＮＯＴ回路３５１ｂを介してＡＮＤ回路３５１ａに入力される。ＡＮＤ回路３５１ａは、入力された数値に基づいて論理演算（図１１参照）を行い、Ｙ２として０（無反応）又は１（検出）を出力する。

このようにして、イベント信号制御部３５１は、同系色ブロック内の各画素１１のうち特殊画素（特定波長にのみ反応する画素）の輝度変化に応じて、同系色ブロック内の各画素１１のうち全ての通常画素のイベントを伝達もしくは遮断する。例えば、同系色ブロック内の画素１１のうち特殊画素が反応しないと（０：無反応）、その同系色ブロック内の画素１１のうち全ての通常画素のイベントが伝達される。一方、同系色ブロック内の各画素１１のうち特殊画素が反応すると（１：検出）、その同系色ブロック内の各画素１１のうち全ての通常画素のイベントが遮断される。

＜１－７．イベント信号制御処理の一例＞
本実施形態に係るイベント信号制御処理の一例について図１２を参照して説明する。図１２は、本実施形態に係るイベント信号制御処理の流れの一例を示すフローチャートである。イベント信号制御処理は、イベント信号制御部３５１により実行される。

図１２に示すように、通常画素でイベントが発生したか否かが判断される（ステップＳ１）。通常画素でイベントが発生したと判断されると（ステップＳ１のＹＥＳ）、特定波長にのみ反応する画素（特殊画素）が反応したか否かが判断される（ステップＳ２）。特定波長にのみ反応する画素が反応したと判断されると（ステップＳ２のＹＥＳ）、同色系の周辺通常画素のイベントが遮断される（ステップＳ３）。一方、特定波長にのみ反応する画素が反応していないと判断されると（ステップＳ２のＮＯ）、同色系の周辺通常画素のイベントが伝達される（ステップＳ４）。

このようなイベント信号制御処理によれば、所望の特定波長（例えば、赤色ＬＥＤ又は青色ＬＥＤの発光波長）に対してのみ感度を有する特殊画素の反応に応じて、周辺同色画素のイベント（イベント信号）が伝達又は遮断される。これにより、異常画素判定のための長いイベント検出時間を不要とすることができる。また、特定波長にのみ反応する特殊画素を有するため、特定波長で周期的に点滅（フリッカー）を繰り返す被写体（例えば、ＬＥＤ信号機やＬＥＤ搭載標識等）を検出することが可能になる。被写体が検出されると、通常画素から出力されるイベントが遮断されるため、点滅による周期的な輝度変化の検出を抑制でき、その結果、点滅によってイベントが生成される誤動作を抑えることができる。

＜１－８．通常画素及び特殊画素のカラーフィルタ構造の一例＞
本実施形態に係る通常画素及び特殊画素のカラーフィルタ構造の一例について図１３から図１５を参照して説明する。図１３から図１５は、それぞれ本実施形態に係る通常画素及び特殊画素のカラーフィルタ構造の一例を示す図である。

図１３に示すように、撮像素子２００は、カラーフィルタ２１や受光レンズ２２、光電変換素子３１１等を備える。カラーフィルタ２１や受光レンズ２２、光電変換素子３１１は、例えば、画素１１ごとに１つずつ設けられている。各画素１１は、画素分離部２３により区画されている。画素分離部２３は、光入射面（図１３中の上面）から見た形状が格子状に形成されている。

通常画素用のカラーフィルタ２１は、単層膜で構成されている。特殊画素用のカラーフィルタ２１は、多層膜で構成されている。例えば、多層膜の個々の材料や厚さ等が変えられ、多層膜の個々を透過する光の波長が調整され、特殊画素用のカラーフィルタ２１を透過する光の波長帯域又は特定波長が調整される。

図１４に示すように、撮像素子２００は、基本的に、図１３と同様の構造を有する。ただし、図１４の例では、特殊画素用のカラーフィルタ２１は、その材料が通常画素用のカラーフィルタ２１と異なるカラーフィルタである。例えば、特殊画素用のカラーフィルタ２１の材料が変えられ、特殊画素用のカラーフィルタ２１を透過する光の波長帯域又は特定波長が調整される。

図１５に示すように、撮像素子２００は、基本的に、図１３と同様の構造を有する。ただし、図１５の例では、特殊画素用のカラーフィルタ２１は、その厚さが通常画素用のカラーフィルタ２１よりも厚いカラーフィルタである。なお、逆に、特殊画素用のカラーフィルタ２１は、その厚さが通常画素用のカラーフィルタ２１よりも薄いカラーフィルタであってもよい。例えば、特殊画素用のカラーフィルタ２１の厚さが変えられ、特殊画素用のカラーフィルタ２１を透過する光の波長帯域又は特定波長が調整される。

ここで、図１３から図１５に示すようなカラーフィルタ２１としては、例えば、ＭＥＭＳ可変カラーフィルタや表面プラズモンカラーフィルタ、ファブリペロー共振器等の各種フィルタを用いることが可能である。

ＭＥＭＳ可変カラーフィルタは、ＭＥＭＳ（Micro Electro Mechanical Systems：微小電気機械システム）を用いて反射板間の距離を調整して所望のスペクトル特性を得ることが可能なフィルタである。このＭＥＭＳ可変カラーフィルタは、ＬＳＩ集積回路との一体化が可能なフィルタである。詳しくは、ＭＥＭＳ可変カラーフィルタは、ナノ構造により構造色を発生するサブ波長格子にアクチュエータ構造を追加し、格子間のギャップを近づけることによって構造色に変化を起こすフィルタである。可動構造としては、素子単位がナノスケールであるＮＥＭＳ（Nano Electro Mechanical Systems）アクチュエータを用いて、電引力により周期構造を変化させて反射光を変化させる。

表面プラズモンカラーフィルタは、表面プラズモンを用いて、任意の波長のみを透過するフィルタである。表面プラズモンとは、金属表面の自由電子の振動が光と結合して金属表面を伝播する振動派のことである。例えば、表面プラズモンカラーフィルタは、ＣＭＯＳ等回路が形成されたウェハー上へのパターニングを可能としたプロセス（ＮＯＣプロセス）により作成される。

ファブリペロー共振器は、二個の金属層と、一個の第一光電変換層とを有する。第一光電変換層は、二個の金属層間に設置される。このファブリペロー共振器は、光電変換素子として機能する。検出される光線の波長は、第一光電変換層の厚さを微調整することにより変化する。ファブリペロー共振器は、特定波長の光線を選択的に検出することが可能であり、カラーフィルタ２１として機能する。

なお、本実施形態では、特定色の特定波長にのみ反応する特殊画素を用いているが、これに限るものではなく、例えば、特定色の特定波長にのみ反応しない特殊画素を用いてもよい。特定色の特定波長にのみ反応しない特殊画素としては、例えば、赤色系の特定波長６００ｎｍに急峻な反射率を持つフィルタを有する画素が用いられる。この急峻な反射率を持つフィルタとしては、例えば、フォトニック結晶を用いることが可能である。このフォトニック結晶は、急峻な反射率を有し、量産性にも優れている。

また、本実施形態では、同系色ブロック内の各通常画素にイベント検出部６３の各部のいずれか又は全てを共通としてもよいが、これに限るものではなく、例えば、同系色ブロック以外の各通常画素でもイベント検出部６３の各部のいずれか又は全てを共通としてもよい。このとき、イベント検出部６３に必要な回路や素子等を加えてもよい。

＜１－９．効果＞
以上説明したように、第１の実施形態によれば、イベント信号制御部３５１が、第１の波長帯域の光を受ける第１の画素（特殊画素）から出力されるイベント信号に基づいて、第１の波長帯域を含み、第１の波長帯域よりも広い第２の波長帯域の光を受ける第２の画素（通常画素）から出力されるイベント信号を遮断又は伝達する。これにより、異常画素判定のための長いイベント検出時間を不要とすることができる。また、第１の波長帯域にのみ反応する第１の画素を有するため、第１の波長帯域で周期的に点滅（フリッカー）を繰り返す被写体（例えば、ＬＥＤ信号機やＬＥＤ搭載標識等）を検出することが可能になる。この被写体が検出されると、通常画素から出力されるイベントが遮断されるので、点滅による周期的な輝度変化の検出を抑制でき、その結果、点滅によりイベントが生成される誤動作（イベント誤検出）を抑えることが可能になる。したがって、イベント検出時間の短縮及びイベント誤検出の抑制を実現することができる。

また、第１の画素及び第２の画素は、アレイ状に複数設けられており、イベント信号制御部３５１は、第１の画素及び第２の画素をそれぞれ１つ以上有する画素群内の第１の画素から出力されるイベント信号に基づいて、画素群内の第２の画素から出力されるイベント信号を遮断又は伝達してもよい。これにより、画素群ごとに第２の画素から出力されるイベント信号を遮断又は伝達することが可能となるので、イベント検出時間を短縮することができる。

また、画素群内の第１の画素は一つであり、画素群内の第２の画素は二つ以上であってもよい。これにより、画素群内の一つの第１の画素から出力されるイベント信号に応じて、画素群内の二つ以上の第２の画素からそれぞれ出力されるイベント信号を遮断又は伝達することが可能となるので、イベント検出時間をより短縮することができる。

また、第１の画素及び第２の画素は、同色系であってもよい。これにより、第１の画素から出力されるイベント信号に応じて、第２の画素から出力されるイベント信号を遮断又は伝達することを精度良く行うことができる。

また、第１の画素は、第２の画素に隣接してもよい。これにより、第１の画素から出力されるイベント信号に応じて、第２の画素から出力されるイベント信号を遮断又は伝達することを精度良く行うことができる。

また、第１の画素は、画素群の中央付近に設けられていてもよい。これにより、第１の画素から出力されるイベント信号に応じて、第２の画素から出力されるイベント信号を遮断又は伝達することを精度良く行うことができる。

また、第１の画素は、特定色の特定波長の光のみに反応してイベント信号を出力する特殊画素であってもよい。これにより、第１の画素から出力されるイベント信号に応じて、第２の画素から出力されるイベント信号を遮断又は伝達することを精度良く行うことができる。

また、第１の画素は、特定色の特定波長以外の光のみに反応してイベント信号を出力する特殊画素であってもよい。これにより、第１の画素から出力されるイベント信号に応じて、第２の画素から出力されるイベント信号を遮断又は伝達することを精度良く行うことができる。

また、第１の画素は、第１の波長帯域の光のみを透過する第１のカラーフィルタ２１を有し、第２の画素は、第２の波長帯域の光のみを透過する第２のカラーフィルタ２１を有してもよい。これにより、第１の画素として、第１の波長帯域の光のみに反応してイベント信号を出力する画素を実現することができ、また、第２の画素として、第２の波長帯域の光のみに反応してイベント信号を出力する画素を実現することができる。

また、第１のカラーフィルタ２１は、多層膜により構成されており、第２のカラーフィルタ２１は、単層膜により構成されてもよい。これにより、各種の透過率を有するカラーフィルタ２１を実現することができる。

また、第１のカラーフィルタ２１及び第２のカラーフィルタ２１の個々の厚さが異なってもよい。これにより、各種の透過率を有するカラーフィルタ２１を実現することができる。

また、第１のカラーフィルタ２１及び第２のカラーフィルタ２１の個々の材料が異なってもよい。これにより、各種の透過率を有するカラーフィルタ２１を実現することができる。

また、第１のカラーフィルタ２１は、ＭＥＭＳ可変カラーフィルタであってもよい。これにより、特定波長で急峻な透過率を有するカラーフィルタ２１を実現することができる。

また、第１のカラーフィルタ２１は、表面プラズモンカラーフィルタであってもよい。これにより、特定波長で急峻な透過率を有するカラーフィルタ２１を実現することができる。

また、第１のカラーフィルタ２１は、ファブリペロー共振器であってもよい。これにより、特定波長で急峻な透過率を有するカラーフィルタ２１を実現することができる。

また、第１のカラーフィルタ２１は、フォトニック結晶であってもよい。これにより、特定波長で急峻な反射率を有するカラーフィルタ２１を実現することができる。

また、イベント信号制御部３５１は、第１の画素から出力されるイベント信号と、第２の画素から出力されるイベント信号とを論理演算により処理し、第２の画素から出力されるイベント信号を遮断又は伝達する。これにより、処理時間を短くすることが可能となるので、イベント検出時間をより短縮することができる。

＜２．第２の実施形態＞
＜２－１．撮像装置の概略構成の一例＞
本実施形態に係る撮像装置１００Ａの概略構成の一例について図１６及び図１７を参照して説明する。図１６は、本実施形態に係る撮像装置１００Ａの概略構成の一例を示す図である。図１７は、本実施形態に係る撮像装置１００Ａの処理の一例を説明するための図である。以下、第１の実施形態との相違点を中心に説明を行い、その他の説明を省略する。

図１６に示すように、撮像装置１００Ａは、撮像レンズ１１０と、半透明ミラー１４０と、２つの撮像素子（固体撮像素子）２００Ａ、２００Ｂと、記録部１２０と、制御部１３０とを備える。

半透明ミラー１４０は、入射光を二つの光路に分け、各撮像素子２００Ａ、２００Ｂにそれぞれ導くものである。この半透明ミラー１４０としては、例えば、トランスルーセントミラー等が用いられる。また、撮像素子２００Ａは、第１の実施形態に係る特殊画素のみで構成された波長選択センサである。波長選択センサは、例えば、バンドパスフィルタ（ＢＰＦ）を有する特殊画素を含む。撮像素子２００Ｂは、第１の実施形態に係る通常画素のみで構成された通常センサである。通常センサは、例えば、カラーフィルタ（ＣＦ）を有する通常画素を含む。

ここで、撮像素子２００Ａは第１のセンサに相当し、撮像素子２００Ｂは第２のセンサに相当し、半透明ミラー１４０は光学部材に相当する。これらの撮像素子２００Ａ、撮像素子２００Ｂ及び半透明ミラー１４０が組み合わされ、撮像素子（撮像部品）として機能する。このため、撮像素子２００Ａ、撮像素子２００Ｂ及び半透明ミラー１４０は、一つの撮像素子（撮像部品）に相当する。

図１７に示すように、撮像素子２００Ａ及び撮像素子２００Ｂのアドレスを後段で合わせることで、特殊画素と通常画素とを一対一で対応させてデータ（例えば、イベント信号や画素信号等）を生成する（フュージョン）。このフュージョンは、例えば、制御部１３０や専用の処理部により実行されてもよい。なお、特殊画素と通常画素との一対一の対応関係とは、例えば、画素１１の行列配置で規定されるアドレス（行アドレス及び列アドレスからなる画素アドレス）が同じである関係である。

＜２－２．効果＞
以上説明したように、第２の実施形態によれば、第１の実施形態と同様の効果を得ることができる。すなわち、イベント検出時間の短縮及びイベント誤検出の抑制を実現することができる。

また、撮像装置１００Ａは、特殊画素を有する撮像素子２００Ａと、通常画素を有する撮像素子２００Ｂと、入射光を二分して撮像素子２００Ａ及び撮像素子２００Ｂに導く半透明ミラー１４０とを備えてもよい。これにより、撮像素子２００Ａ及び撮像素子２００Ｂを別々に製造可能であり、簡略な製造プロセスを用いることができる。また、特殊画素及び通常画素を複数設ける場合、それらを同じ素子に設ける場合に比べ、異なる素子にそれぞれ設けることで、解像度を上げることができる。

＜３．他の実施形態＞
上述した実施形態（又は変形例）に係る処理は、上記実施形態以外にも種々の異なる形態（変形例）にて実施されてよい。例えば、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上述した実施形態（又は変形例）は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。

＜４．応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

図１８は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１８に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１８では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図１９は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図１９には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図１８に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global System of Mobile communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long Term Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１８の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図１８に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

なお、各実施形態（変形例も含む）において説明した撮像装置１００の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

以上説明した車両制御システム７０００において、各実施形態（変形例も含む）において説明した撮像装置１００は、図１８に示した応用例の統合制御ユニット７６００に適用することができる。例えば、撮像装置１００の制御部１３０や記録部（記憶部）１２０等は、統合制御ユニット７６００のマイクロコンピュータ７６１０や記憶部７６９０により実現されてもよい。また、各実施形態において説明した撮像装置１００は、図１８に示した応用例の撮像部７４１０及び車外情報検出部７４２０、例えば、図１９に示した応用例の撮像部７９１０、７９１２、７９１４、７９１６、７９１８や車外情報検出部７９２０～７９３０などに適用することができる。各実施形態において説明した撮像装置１００を用いることによって、車両制御システム７０００においても、イベント検出時間の短縮及びイベント誤検出の抑制を実現することができる。

また、各実施形態（変形例も含む）において説明した撮像装置１００の少なくとも一部の構成要素は、図１８に示した応用例の統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、各実施形態において説明した撮像装置１００の一部が、図１８に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。

＜５．付記＞
なお、本技術は以下のような構成も取ることができる。
（１）
第１の波長帯域の光を受けてイベント信号を出力する第１の画素と、
前記第１の波長帯域を含み、前記第１の波長帯域よりも広い第２の波長帯域の光を受けてイベント信号を出力する第２の画素と、
前記第１の画素から出力されるイベント信号に基づいて、前記第２の画素から出力されるイベント信号を遮断又は伝達する信号制御部と、
を備える撮像素子。
（２）
前記第１の画素及び前記第２の画素は、アレイ状に複数設けられており、
前記信号制御部は、前記第１の画素及び前記第２の画素をそれぞれ１つ以上有する画素群内の前記第１の画素から出力されるイベント信号に基づいて、前記画素群内の前記第２の画素から出力されるイベント信号を遮断又は伝達する、
上記（１）に記載の撮像素子。
（３）
前記画素群内の前記第１の画素は一つであり、
前記画素群内の前記第２の画素は二つ以上である、
上記（２）に記載の撮像素子。
（４）
前記第１の画素及び前記第２の画素は、同色系である、
上記（２）に記載の撮像素子。
（５）
前記第１の画素は、前記第２の画素に隣接する、
上記（４）に記載の撮像素子。
（６）
前記第１の画素は、前記画素群の中央付近に設けられている、
上記（４）に記載の撮像素子。
（７）
前記第１の画素は、特定色の特定波長の光のみに反応して前記イベント信号を出力する特殊画素である、
上記（１）から（６）のいずれか一つに記載の撮像素子。
（８）
前記第１の画素は、特定色の特定波長以外の光のみに反応して前記イベント信号を出力する特殊画素である、
上記（１）から（６）のいずれか一つに記載の撮像素子。
（９）
前記第１の画素は、前記第１の波長帯域の光のみを透過する第１のカラーフィルタを有し、
前記第２の画素は、前記第２の波長帯域の光のみを透過する第２のカラーフィルタを有する、
上記（１）から（６）のいずれか一つに記載の撮像素子。
（１０）
前記第１のカラーフィルタは、多層膜により構成されており、
前記第２のカラーフィルタは、単層膜により構成されている、
上記（９）に記載の撮像素子。
（１１）
前記第１のカラーフィルタ及び前記第２のカラーフィルタの個々の厚さが異なる、
上記（９）に記載の撮像素子。
（１２）
前記第１のカラーフィルタ及び前記第２のカラーフィルタの個々の材料が異なる、
上記（９）に記載の撮像素子。
（１３）
前記第１のカラーフィルタは、ＭＥＭＳ可変カラーフィルタである、
上記（９）に記載の撮像素子。
（１４）
前記第１のカラーフィルタは、表面プラズモンカラーフィルタである、
上記（９）に記載の撮像素子。
（１５）
前記第１のカラーフィルタは、ファブリペロー共振器である、
上記（９）に記載の撮像素子。
（１６）
前記第１のカラーフィルタは、フォトニック結晶である、
上記（９）に記載の撮像素子。
（１７）
前記信号制御部は、前記第１の画素から出力されるイベント信号と、前記第２の画素から出力されるイベント信号とを論理演算により処理し、前記第２の画素から出力されるイベント信号を遮断又は伝達する、
上記（１）から（１６）のいずれか一つに記載の撮像素子。
（１８）
前記第１の画素を有する第１のセンサと、
前記第２の画素を有する第２のセンサと、
入射光を二分して前記第１のセンサ及び前記第２のセンサに導く光学部材と、
をさらに備える、
上記（１）から（１７）のいずれか一つに記載の撮像素子。
（１９）
撮像レンズと、
撮像素子と、
を備え、
前記撮像素子は、
第１の波長帯域の光を受けてイベント信号を出力する第１の画素と、
前記第１の波長帯域を含み、前記第１の波長帯域よりも広い第２の波長帯域の光を受けてイベント信号を出力する第２の画素と、
前記第１の画素から出力されるイベント信号に基づいて、前記第２の画素から出力されるイベント信号を遮断又は伝達する信号制御部と、
を有する撮像装置。
（２０）
信号制御部が、第１の波長帯域の光を受ける第１の画素から出力されるイベント信号に基づいて、前記第１の波長帯域を含み、前記第１の波長帯域よりも広い第２の波長帯域の光を受ける第２の画素から出力されるイベント信号を遮断又は伝達する、
ことを含む撮像素子の制御方法。
（２１）
上記（１）から（１８）のいずれか一つに記載の撮像素子を備える撮像装置。
（２２）
上記（１）から（１８）のいずれか一つに記載の撮像素子を制御する撮像素子の制御方法。

１１ 画素
１１Ａ 画素ブロック
１１Ｂ 画素ブロック
１１Ｃ 画素ブロック
１２ 画素アレイ部
１３ 駆動部
１４ アービタ部
１５ カラム処理部
１６ 信号処理部
２１ カラーフィルタ
２２ 受光レンズ
６１ 受光部
６２ 画素信号生成部
６３ イベント検出部
１００ 撮像装置
１００Ａ 撮像装置
１１０ 撮像レンズ
１２０ 記録部
１３０ 制御部
１３９ 信号線
１４０ 半透明ミラー
２００ 撮像素子
２００Ａ 撮像素子
２００Ｂ 撮像素子
２０１ 受光チップ
２０２ 検出チップ
２０９ 信号線
２１３ アービタ
２２０ 信号処理部
３０１ 画素回路
３１０ 対数応答部
３１１ 光電変換素子
３１２ Ｎ型トランジスタ
３１３ 容量
３１４ Ｐ型トランジスタ
３１５ Ｎ型トランジスタ
３１６ 電流電圧変換部
３２０ バッファ
３２１ Ｐ型トランジスタ
３２２ Ｐ型トランジスタ
３３０ 微分回路
３３１ 容量
３３２ Ｐ型トランジスタ
３３３ Ｐ型トランジスタ
３３４ 容量
３３５ Ｎ型トランジスタ
３４０ コンパレータ
３４１ Ｐ型トランジスタ
３４２ Ｎ型トランジスタ
３４３ Ｐ型トランジスタ
３４４ Ｎ型トランジスタ
３５０ 転送部
３５１ イベント信号制御部
３５１ａ ＡＮＤ回路
３５１ｂ ＮＯＴ回路
３９１ 入力端子
３９２ 出力端子

Claims (20)

1. 第１の波長帯域の光を受けてイベント信号を出力する第１の画素と、
   前記第１の波長帯域を含み、前記第１の波長帯域よりも広い第２の波長帯域の光を受けてイベント信号を出力する第２の画素と、
   前記第１の画素から出力されるイベント信号に基づいて、前記第２の画素から出力されるイベント信号を遮断又は伝達する信号制御部と、
   を備える撮像素子。
2. 前記第１の画素及び前記第２の画素は、アレイ状に複数設けられており、
   前記信号制御部は、前記第１の画素及び前記第２の画素をそれぞれ１つ以上有する画素群内の前記第１の画素から出力されるイベント信号に基づいて、前記画素群内の前記第２の画素から出力されるイベント信号を遮断又は伝達する、
   請求項１に記載の撮像素子。
3. 前記画素群内の前記第１の画素は一つであり、
   前記画素群内の前記第２の画素は二つ以上である、
   請求項２に記載の撮像素子。
4. 前記第１の画素及び前記第２の画素は、同色系である、
   請求項２に記載の撮像素子。
5. 前記第１の画素は、前記第２の画素に隣接する、
   請求項４に記載の撮像素子。
6. 前記第１の画素は、前記画素群の中央付近に設けられている、
   請求項４に記載の撮像素子。
7. 前記第１の画素は、特定色の特定波長の光のみに反応して前記イベント信号を出力する特殊画素である、
   請求項１に記載の撮像素子。
8. 前記第１の画素は、特定色の特定波長以外の光のみに反応して前記イベント信号を出力する特殊画素である、
   請求項１に記載の撮像素子。
9. 前記第１の画素は、前記第１の波長帯域の光のみを透過する第１のカラーフィルタを有し、
   前記第２の画素は、前記第２の波長帯域の光のみを透過する第２のカラーフィルタを有する、
   請求項１に記載の撮像素子。
10. 前記第１のカラーフィルタは、多層膜により構成されており、
    前記第２のカラーフィルタは、単層膜により構成されている、
    請求項９に記載の撮像素子。
11. 前記第１のカラーフィルタ及び前記第２のカラーフィルタの個々の厚さが異なる、
    請求項９に記載の撮像素子。
12. 前記第１のカラーフィルタ及び前記第２のカラーフィルタの個々の材料が異なる、
    請求項９に記載の撮像素子。
13. 前記第１のカラーフィルタは、ＭＥＭＳ可変カラーフィルタである、
    請求項９に記載の撮像素子。
14. 前記第１のカラーフィルタは、表面プラズモンカラーフィルタである、
    請求項９に記載の撮像素子。
15. 前記第１のカラーフィルタは、ファブリペロー共振器である、
    請求項９に記載の撮像素子。
16. 前記第１のカラーフィルタは、フォトニック結晶である、
    請求項９に記載の撮像素子。
17. 前記信号制御部は、前記第１の画素から出力されるイベント信号と、前記第２の画素から出力されるイベント信号とを論理演算により処理し、前記第２の画素から出力されるイベント信号を遮断又は伝達する、
    請求項１に記載の撮像素子。
18. 前記第１の画素を有する第１のセンサと、
    前記第２の画素を有する第２のセンサと、
    入射光を二分して前記第１のセンサ及び前記第２のセンサに導く光学部材と、
    をさらに備える、
    請求項１に記載の撮像素子。
19. 撮像レンズと、
    撮像素子と、
    を備え、
    前記撮像素子は、
    第１の波長帯域の光を受けてイベント信号を出力する第１の画素と、
    前記第１の波長帯域を含み、前記第１の波長帯域よりも広い第２の波長帯域の光を受けてイベント信号を出力する第２の画素と、
    前記第１の画素から出力されるイベント信号に基づいて、前記第２の画素から出力されるイベント信号を遮断又は伝達する信号制御部と、
    を有する撮像装置。
20. 信号制御部が、第１の波長帯域の光を受ける第１の画素から出力されるイベント信号に基づいて、前記第１の波長帯域を含み、前記第１の波長帯域よりも広い第２の波長帯域の光を受ける第２の画素から出力されるイベント信号を遮断又は伝達する、
    ことを含む撮像素子の制御方法。

Images