JP2021013131A - 撮像装置及びその駆動方法 - Google Patents

Abstract

【課題】撮影時に被写体の相対位置が変化した場合にも良好なＨＤＲ画像を取得しうる撮像装置を提供する。【解決手段】撮像装置は、光電変換部を各々が含む複数の画素と、複数の画素の各々から、第１の露光期間に光電変換部で生成された電荷に基づく第１の信号と、第１の露光期間よりも短い第２の露光期間に光電変換部で生成された電荷に基づく第２の信号と、を出力するように複数の画素を駆動する駆動部と、第１の信号と第２の信号とを用いて被写体と撮像装置との相対位置の変化を検知する検知部と、第１の信号及び第２の信号を用いて画像を生成する画像生成部と、を有する。画像生成部は、画像の生成において、検知部が相対位置の変化が相対的に小さいことを検知した画素に対して第１の信号を選択し、検知部が相対位置の変化が相対的に大きいことを検知した画素に対して第２の信号を選択する。【選択図】図６

Description

本発明は、撮像装置及びその駆動方法に関する。

近年、ＣＭＯＳイメージセンサ等の撮像装置において、異なる条件で撮影された複数の画像を合成することにより、より広いダイナミックレンジ（ＨＤＲ：High Dynamic Range）を得る技術が提案されている。特許文献１には、異なるタイミングで取得された２つの画像からＨＤＲ画像を生成する撮像装置が記載されている。

特開２０１７−１２０９７１号公報 特開２０１６−２１３６５０号公報

しかしながら、特許文献１に記載された撮像装置は、異なる条件で撮影された２種類の画像を取得し、一方の画像の飽和した画素の画素値を、他方の画像の対応する画素の画素値に対して所定のデジタル処理を施した画素値で置換するものである。そのため、これら２種類の画像を取得する間に被写体が移動するなど、被写体と撮像装置との間の相対位置が変化した場合、適切なＨＤＲ合成を行うことができなかった。

本発明の目的は、撮影時に被写体と撮像装置との間の相対位置が変化した場合にも良好な画像を取得しうる撮像装置及びその駆動方法を提供することにある。

本発明の一観点によれば、撮像装置であって、前記撮像装置は、光電変換部を各々が含む複数の画素が配された画素部と、前記複数の画素の各々から、第１の露光期間に前記光電変換部で生成された電荷に基づく第１の信号と、前記第１の露光期間よりも短い第２の露光期間に前記光電変換部で生成された電荷に基づく第２の信号と、を出力するように前記複数の画素を駆動する駆動部と、前記第１の信号と前記第２の信号とを用いて被写体と前記撮像装置との相対位置の変化を検知する検知部と、前記第１の信号及び前記第２の信号を用いて画像を生成する画像生成部と、を有し、前記画像生成部は、前記画像の生成において、前記検知部が前記相対位置の変化が相対的に小さいことを検知した画素に対して前記第１の信号を選択し、前記検知部が前記相対位置の変化が相対的に大きいことを検知した画素に対して前記第２の信号を選択する撮像装置が提供される。

また、本発明の他の一観点によれば、撮像素子の複数の画素の各々から出力される、第１の露光期間に光電変換部で生成された電荷に基づく第１の信号と、前記第１の露光期間よりも短い第２の露光期間に前記光電変換部で生成された電荷に基づく第２の信号と、を処理する信号処理装置であって、前記第１の信号と前記第２の信号とを用いて被写体と前記撮像素子との相対位置の変化を検知する検知部と、前記第１の信号及び前記第２の信号を用いて画像を生成する画像生成部と、を有し、前記画像生成部は、前記画像の生成において、前記検知部が前記相対位置の変化が相対的に小さいことを検知した画素に対して前記第１の信号を選択し、前記検知部が前記相対位置の変化が相対的に大きいことを検知した画素に対して前記第２の信号を選択する信号処理装置が提供される。

また、本発明の更に他の一観点によれば、光電変換部を各々が含む複数の画素を有する撮像素子と、前記撮像素子から出力される信号を処理する信号処理部と、を有する撮像装置の駆動方法であって、前記複数の画素の各々から、第１の露光期間に前記光電変換部で生成された電荷に基づく第１の信号と、前記第１の露光期間よりも短い第２の露光期間に前記光電変換部で生成された電荷に基づく第２の信号と、を出力するステップと、前記第１の信号と前記第２の信号とを用いて被写体と前記撮像装置との相対位置の変化を検知するステップと、前記第１の信号及び前記第２の信号を用いて画像を生成するステップと、を有し、前記画像を合成するステップでは、前記相対位置の変化が相対的に小さいことを検知した画素に対して前記第１の信号を選択し、前記相対位置の変化が相対的に大きいことを検知した画素に対して前記第２の信号を選択する撮像装置の駆動方法が提供される。

本発明によれば、撮影時に被写体と撮像装置との間の相対位置が変化した場合にも良好な画像を取得することができる。

本発明の第１実施形態による撮像装置の概略構成を示すブロック図である。 本発明の第１実施形態による撮像装置における撮像素子の概略構成を示すブロック図である。 本発明の第１実施形態による撮像装置における撮像素子の画素の構成例を示す等価回路図である。 ＨＤＲ画像の合成方法を説明する図である。 ＨＤＲ画像の撮影時における課題を説明する図（その１）である。 本発明の第１実施形態による撮像装置の駆動方法を示すフローチャート（その１）である。 本発明の第１実施形態による撮像装置における移動検知方法を説明する図である。 本発明の第１実施形態による撮像装置における効果を説明する図である。 撮像素子が備える光学フィルタの構成例を示す図である。 本発明の第１実施形態による撮像装置の駆動方法を示すフローチャート（その２）である。 ＲＧＢＩＲ配列のカラーフィルタを備えた撮像素子における現像処理方法を説明する図である。 本発明の第１実施形態による撮像装置の駆動方法を示すフローチャート（その３）である。 本発明の第１実施形態による撮像装置の駆動方法を示すフローチャート（その４）である。 本発明の第２実施形態による撮像装置における撮像素子の画素の構成例を示す等価回路示す図である。 本発明の第２実施形態による撮像装置の駆動方法を説明する図である。 ＨＤＲ画像の撮影時における課題を説明する図（その２）である。 本発明の第３実施形態による撮像装置の駆動方法を説明する図である。 本発明の第４実施形態による撮像システムの概略構成を示すブロック図である。 本発明の第５実施形態による撮像システム及び移動体の構成例を示す図である。

［第１実施形態］
本発明の第１実施形態による撮像装置及びその駆動方法について、図１乃至図１３を用いて説明する。

はじめに、本実施形態による撮像装置の概略構成について、図１乃至図３を用いて説明する。図１は、本実施形態による撮像装置の概略構成を示すブロック図である。図２は、本実施形態による撮像装置における撮像素子の概略構成を示すブロック図である。図３は、本実施形態による撮像装置における撮像素子の画素の構成例を示す等価回路図である。

本実施形態による撮像装置は、図１に示すように、撮像素子１と、検出部２０と、制御部２１と、信号処理部２２と、を有する。

撮像素子１は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの固体撮像素子である。撮像素子１は、図示しない光学系により結像された被写体像を受け、当該被写体像に応じた画像信号を出力する。

検出部２０は、移動検知部２０１を有する。移動検知部２０１は、撮像素子１から出力される露光期間の長さが異なる２つの画像信号から、撮影時における被写体と撮像装置との間の相対位置の変化（移動）を検出する。ここで、被写体と撮像装置との間の相対位置の変化には、被写体が移動している場合、撮像装置が移動している場合、被写体及び撮像装置の双方が移動している場合、が含まれる。移動検知部２０１は、長秒画像信号と短秒画像信号とを比較し、同一の場所（座標）の画素値の比や差分、相関などに基づいて、被写体と撮像装置との間の相対位置の変化を検出する。なお、長秒画像信号とは、短秒画像信号との比較において、露光期間が相対的に長い条件で撮像を行った場合の画像信号である。短秒画像信号とは、長秒画像信号との比較において、露光期間が相対的に短い条件で撮像を行った場合の画像信号である。

制御部２１は、露光期間制御部２１１と、同期信号発生回路２１２と、を有する。露光期間制御部２１１は、図示しない点滅検出部などの検出結果に基づき、露光期間及び露光の開始タイミングを決定する。同期信号発生回路２１２は、図示しないクロック回路及びゲート回路を有し、垂直同期信号と水平同期信号とを生成する。

信号処理部２２は、ＤＳＰ（Digital Signal Processor）などのデジタル回路により構成され、画像生成回路（画像生成部）２２１と、画像処理回路２２２と、を有する。画像生成回路２２１は、露光期間の長さが異なる２つの信号を合成し、広ダイナミックレンジ（ＨＤＲ：High Dynamic Range）画像を生成する。画像処理回路２２２は、撮像素子１から出力される画像信号に対して、色キャリア除去、ノイズ除去、アパーチャー補正、ガンマ補正、色補間、データ圧縮などの処理を施し、動画ビットストリームとして出力する。なお、信号処理部２２は必ずしも撮像装置に含まれることを要せず、撮像装置とは別の装置に設けられてもよい。

撮像素子１は、図２に示すように、画素部１００と、垂直走査回路（駆動部）１０１と、読み出し回路１０２と、水平走査回路１０３と、出力回路１０４と、制御回路１０５と、を有する。

画素部１００には、複数の行及び複数の列に渡って行列状に配された複数の画素１０が設けられている。なお、本明細書において、行方向とは図面における水平方向を示し、列方向とは図面において垂直方向を示すものとする。各々の画素１０の上には、マイクロレンズやカラーフィルタ等の光学構造体が配置されうる。カラーフィルタは、例えば赤、青、緑の原色フィルタであって、ベイヤー配列に従って各画素１０に配置することができる。画素部１００を構成する複数の画素１０のうちの一部は、基準信号を出力するためのＯＢ画素（オプティカル・ブラック画素）として、遮光領域に配置されていてもよい。また、画素部１００を構成する複数の画素１０のうちの他の一部は、光電変換部を持たないダミー画素などのように画像信号を出力しない画素であってもよい。画素部１００は、画像を生成するための画素信号を出力する撮像画素が配された複数の撮像行と、焦点検出用の画素信号を出力する焦点検出画素が配された測距行と、を含みうる。

画素部１００の各行には、行方向に延在する制御線１２０が配されている。それぞれの行の制御線１２０は、対応する行に属する画素１０に接続され、これらに共通の信号線をなしている。制御線１２０は、垂直走査回路１０１に接続されている。

垂直走査回路１０１は、シフトレジスタ、ゲート回路、バッファ回路などにより構成され、垂直同期信号、水平同期信号、クロック信号などに基づき画素１０を駆動するための制御信号を生成する。垂直走査回路１０１は、制御線１２０を介して制御信号を画素１０に出力し、行毎に画素１０を駆動する。

画素部１００の各列には、列方向に延在する列信号線１１０が配されている。それぞれの列の列信号線１１０は、対応する列に属する画素１０に接続され、これらに共通の信号線をなしている。垂直走査回路１０１により選択された行の画素１０は、それぞれが対応する列信号線１１０に同時に画素信号を出力する。列信号線１１０は、読み出し回路１０２に接続されている。

読み出し回路１０２は、画素１０から読み出された画素信号に対して所定の処理、例えば、増幅処理、相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）処理等の信号処理を実施する回路部である。

水平走査回路１０３は、読み出し回路１０２で処理された画素信号を列毎に順次、出力回路１０４に転送するための制御信号を、読み出し回路１０２に供給する。

出力回路１０４はバッファアンプ、差動増幅器などから構成され、読み出し回路１０２からの画素信号を撮像装置の外部の信号処理部に出力する。ＡＤ変換部を例えば読み出し回路１０２に設け、デジタル信号に変換した画素信号を撮像装置から出力するように構成してもよい。

制御回路１０５は、クロック信号、同期信号などに基づき様々な制御信号や駆動信号を生成し、これら制御信号や駆動信号によって垂直走査回路１０１、読み出し回路１０２、水平走査回路１０３を制御する。

図３は、画素１０の構成例を示す等価回路図である。図３には、画素部１００を構成する複数の画素１０のうち、２行×２列の行列状に配された４つの画素１０を示している。なお、画素部１００を構成する画素１０の数は、特に限定されるものではない。

各々の画素１０は、図３に示すように、光電変換部ＰＤと、転送トランジスタＭ１と、増幅トランジスタＭ３と、選択トランジスタＭ４と、リセットトランジスタＭ５と、を有する。光電変換部ＰＤは、例えばフォトダイオードである。光電変換部ＰＤを構成するフォトダイオードは、アノードが基準電圧ノードに接続され、カソードが転送トランジスタＭ１のソースに接続されている。転送トランジスタＭ１のドレインは、増幅トランジスタＭ３のゲート及びリセットトランジスタＭ５のソースに接続されている。転送トランジスタＭ１のドレイン、増幅トランジスタＭ３のゲート及びリセットトランジスタＭ５のソースの接続ノードは、いわゆる浮遊拡散（フローティングディフュージョン）部ＦＤである。浮遊拡散部ＦＤが他の配線や拡散領域との間に作る寄生容量（ＦＤ容量）は、電荷の保持部としての機能を備える。図３には、この容量を、浮遊拡散部ＦＤに接続された容量Ｃにより表している。増幅トランジスタＭ３のドレイン及びリセットトランジスタＭ５のドレインは、電源ノード（電圧ＶＤＤ）に接続されている。増幅トランジスタＭ３のソースは、選択トランジスタＭ４のドレインに接続されている。選択トランジスタＭ４のソースは、列信号線１１０に接続されている。各列の列信号線１１０には、電流源１６が接続されている。なお、図３の等価回路図では各々の画素１０が増幅トランジスタＭ３を有する例を示しているが、複数の画素１０で１つの増幅トランジスタＭ３を共有するように構成してもよい。

図３の画素構成の場合、各行に配された制御線１２０は、信号線ＴＸ，ＲＥＳ，ＳＥＬを含む。信号線ＴＸは、対応する行に属する画素１０の転送トランジスタＭ１のゲートに接続されている。信号線ＲＥＳは、対応する行に属する画素１０のリセットトランジスタＭ５のゲートに接続されている。信号線ＳＥＬは、対応する行に属する画素１０の選択トランジスタＭ４のゲートに接続されている。図３には、第ｍ行に属する画素１０に接続される制御線１２０として信号線ＴＸ［ｍ］，ＲＥＳ［ｍ］，ＳＥＬ［ｍ］を、第ｍ＋１行に属する画素１０に接続される制御線１２０として信号線ＴＸ［ｍ＋１］，ＲＥＳ［ｍ＋１］，ＳＥＬ［ｍ＋１］を示している。

信号線ＴＸには、垂直走査回路１０１から、転送トランジスタＭ１を制御するための駆動パルスが出力される。信号線ＲＥＳには、垂直走査回路１０１から、リセットトランジスタＭ５を制御するための駆動パルスが出力される。信号線ＳＥＬには、垂直走査回路１０１から、選択トランジスタＭ４を制御するための駆動パルスが出力される。同一行の画素１０に対しては、共通の駆動パルスが垂直走査回路１０１から供給される。各トランジスタがＮ型トランジスタで構成される場合、垂直走査回路１０１からハイレベルの制御信号が供給されると対応するトランジスタがオンとなり、垂直走査回路１０１からローレベルの制御信号が供給されると対応するトランジスタがオフとなる。各行の制御信号を同時に制御することにより、複数の画素１０の露光期間を同時に制御することも可能である。これにより、例えばグローバル電子シャッタを実現することができる。

光電変換部ＰＤは、入射光をその光量に応じた量の電荷に変換（光電変換）するとともに、生じた電荷を蓄積する。リセットトランジスタＭ５は、オンになることにより浮遊拡散部ＦＤを電圧ＶＤＤに応じた電圧にリセットする。転送トランジスタＭ１は、オンになることにより光電変換部ＰＤに蓄積された電荷を浮遊拡散部ＦＤに転送する。これにより浮遊拡散部ＦＤは、容量Ｃによる電荷電圧変換によって、光電変換部ＰＤから転送された電荷の量に応じた電圧となる。増幅トランジスタＭ３は、ドレインに電圧ＶＤＤが供給され、ソースに選択トランジスタＭ４及び列信号線１１０を介して電流源１６からバイアス電流が供給される構成となっており、ゲートを入力ノードとする増幅部（ソースフォロワ回路）を構成する。これにより増幅トランジスタＭ３は、浮遊拡散部ＦＤの電圧に応じた信号を、選択トランジスタＭ４を介して列信号線１１０に出力する。列信号線１１０に出力された画素信号は、読み出し回路１０２に入力される。

次に、ＨＤＲ画像の合成方法について、図４を用いて説明する。図４は、ＨＤＲ画像の合成方法を説明する図である。横軸は画素１０に入射する光の量（被写体の明るさ）を示し、縦軸は画素１０から出力される画素信号のレベルを示している。

ＨＤＲ画像の合成は、相対的に長い電荷蓄積期間に生成された電荷に基づく画素信号と、相対的に短い電荷蓄積期間に生成された電荷に基づく画素信号とを、組み合わせることにより行われる。図４において、画素信号４０ａは、相対的に長い電荷蓄積期間に生成された電荷に基づく画素信号である。画素信号４０ｂは、相対的に短い電荷蓄積期間に生成された電荷に基づく画素信号である。

以下の説明では、画素信号４０ａの電荷蓄積期間（第１の露光期間）を長秒露光期間と称し、画素信号４０ｂの電荷蓄積期間（第２の露光期間）を短秒露光期間と称するものとする。また、相対的に長い時間の電荷蓄積を行う動作を長秒露光と称し、相対的に短い期間の電荷蓄積を行う動作を短秒露光と称するものとする。長秒露光期間の長さは、例えば短秒露光期間の長さの２００倍程度であり得るが、撮像装置に応じて適宜変更が可能である。

図４に「飽和」として示す画素出力のレベルは、光電変換部ＰＤの飽和電荷量に対応する画素出力のレベルに相当する。画素信号４０ａは、画素信号４０ｂと比較して相対的に電荷蓄積時間が長いため、画素信号４０ｂよりも光量に対する画素出力の増加の割合（傾き）が大きく、画素信号４０ｂよりも少ない光量で飽和レベルに達する。

図４に領域４０１として示されるように被写体が暗い場合、画素信号４０ａ及び画素信号４０ｂは、飽和しない。この場合、画素信号４０ａを用いることで、信号対雑音比の高い画像を得ることができる。一方、図４に領域４０２として示されるように被写体が明るい場合、画素信号４０ｂは飽和しないが、画素信号４０ａは飽和する。そこで、画像生成回路２２１は、領域４０２における画素信号４０ｂをデジタル信号処理によって増幅し、飽和した画素信号４０ａを、画素信号４０ｂを増幅した画像信号４０ｃで置き換える。これにより、画素信号４０ａの飽和レベルを超えた広ダイナミックレンジ画像（ＨＤＲ画像）を生成することができる。

図５は、ＨＤＲ画像の撮影時における課題を説明する図である。図５には、被写体が移動している場合に長秒露光及び短秒露光で撮影される画像を模式的に示している。ここでは説明を簡易にするために、時刻ｔ０から時刻ｔ３までの期間において被写体５０１が等速で移動しているものと仮定する。

時刻ｔ０において、被写体５０１は画像５０２に示される位置で撮像される。続く時刻ｔ１において、被写体５０１は画像５０３に示される位置で撮像される。続く時刻ｔ２において、被写体５０１は画像５０４に示される位置で撮像される。したがって、時刻ｔ０から時刻ｔ２までの期間において連続的に露光を行った場合、画像５０２の位置から画像５０４の位置に至る被写体５０１が総て撮像されることとなり、その結果、撮影される画像５０５には被写体５０１の残像５０８が現れることになる。ここで、時刻ｔ０から時刻ｔ２までの期間を長秒露光期間Ｔ_Ｌとし、画像５０５を以後、長秒画像５０５と呼ぶものとする。長秒画像５０５は、長秒露光期間Ｔ_Ｌの間に光電変換部ＰＤに蓄積された電荷の量に応じた画素信号により構成される画像である。

時刻ｔ３において、被写体５０１は画像５０６に示される位置で撮像される。時刻ｔ２から時刻ｔ３までの期間は、時刻ｔ０から時刻ｔ２までの期間に比べて短く、被写体の移動距離も短い。したがって、時刻ｔ２から時刻ｔ３までの期間において連続的に露光することにより撮影される画像５０７は、長秒画像５０５と比較して残像の少ないものとなる。ここで、時刻ｔ２から時刻ｔ３までの期間を短秒露光期間Ｔ_Ｓとし、画像５０７を以後、短秒画像５０７と呼ぶものとする。短秒画像５０７は、短秒露光期間Ｔ_Ｓの間に光電変換部ＰＤに蓄積された電荷の量に応じた画素信号により構成される画像である。

上述したＨＤＲ画像の生成方法（ＨＤＲ合成）を用いて長秒画像５０５と短秒画像５０７とを合成する場合、長秒画像５０５において飽和している画素の画素値は、短秒画像５０７の同一座標の画素の画素値にデジタル信号処理（増幅処理）を施した値に置換される。しかしながら、長秒画像５０５において残像５０８が撮影されている部分は、被写体５０１が通過している時刻には被写体５０１が撮影され、それ以外の時刻には背景が撮影されているため、様々な情報が入り混じった画素値になることが想定される。したがって、残像５０８の部分に様々な情報が入り混じり且つ残像５０８の部分が飽和しなかった場合、当該部分の画素値は短秒画像５０７の画素値に基づく値に置換されることなくＨＤＲ合成に使用されることになる。その結果、ＨＤＲ合成において残像５０８の部分に適切でない画素値が使用され、ＨＤＲ合成画像５０９として所望の画像を得られない可能性がある。

このような観点から、本実施形態による撮像装置においては、図６に示されるフローチャートに従ってＨＤＲ合成処理を実行することにより、上記課題を解決する。ＨＤＲ合成処理は、信号処理部２２により行われる。

まず、ステップＳ６０１において、信号処理部２２は、長秒画像５０５の画素値が飽和しているか否かを判別する。判別の結果、長秒画像５０５の画素値が飽和している場合（ＹＥＳ）には、ステップＳ６０２に移行し、飽和している長秒画像５０５の画素値を短秒画像５０７の画素値に基づく値に置換してＨＤＲ合成に用いることを決定する。判別の結果、長秒画像５０５の画素値が飽和していない場合（ＮＯ）には、ステップＳ６０３に移行する。

ステップＳ６０３では、被写体５０１の移動検知を行い、撮影時に被写体５０１と撮像装置との間の相対位置が変化しているか否かを判別する。判別の結果、被写体５０１と撮像装置との間の相対位置の変化が相対的に小さい（静止している）場合（ＮＯ）にはステップＳ６０４に移行し、長秒画像５０５の画素値をＨＤＲ合成に用いることを決定する。判別の結果、被写体５０１と撮像装置との間の相対位置の変化が相対的に大きい（移動している）場合（ＹＥＳ）には、ステップＳ６０５に移行する。

ステップＳ６０５では、ステップＳ６０３において移動が検知された長秒画像５０５の画素値を短秒画像５０７の画素値に基づく値で置換してＨＤＲ合成に用いることを決定する。

ステップＳ６０３における移動検知は、検出部２０の移動検知部２０１によって行われる。ここで、移動検知部２０１における移動検知方法について、図７を用いて説明する。

一般的に、ＨＤＲ合成において長秒露光期間と短秒露光期間とは、特定の相関関係となるように設定される。例えば、長秒露光期間は、短秒露光期間の定数倍（この倍率をＥｘｐ＿Ｒａｔｉｏとする）に設定される。この相関関係は、静止している被写体を撮影した場合、一般的な輝度リニアリティを有する画素１０であれば、同一座標の長秒画像の画素値と短秒画像の画素値との相関関係と同一になると考えられる。上述のように長秒露光期間を短秒露光期間の定数倍とする場合、長秒画像の画素値（長秒画素値）と短秒画像の画素値（短秒画素値）との関係は、以下の式（１）のように表される。
長秒画素値＝短秒画素値×Ｅｘｐ＿Ｒａｔｉｏ …（１）

短秒画像の画素値を横軸、長秒画像の画素値を縦軸として、長秒画像及び短秒画像における同一座標の画素値をグラフに表すと、式（１）で表される上記関係は、図７のように表される。つまり、長秒画像及び短秒画像における同一座標の画素値で表されるポイントが図７に示す直線の近傍に位置している場合には、撮像装置と被写体との間の相対的な位置関係が変化していないと考えることができる。例えば、長秒画像の画素値と短秒画像の画素値とにより表されるポイントが図７において範囲７０１に位置する場合には、被写体５０１と撮像装置との間の相対位置の変化が相対的に小さい（静止している）と判定することができる。

一方、長秒画像及び短秒画像における同一座標の画素値で表されるポイントが図７に示す直線から離間している場合には、長秒画像の撮影時と短秒画像の撮影時において異なる被写体を撮影していると考えることができる。例えば、長秒画像の画素値と短秒画像の画素値とにより表されるポイントが図７において範囲７０２や範囲７０３に位置する場合には、被写体５０１と撮像装置との間の相対位置の変化が相対的に大きい（移動している）と判定することができる。

このようにして、移動検知部２０１は、長秒画像及び短秒画像における同一座標の画素値で表されるポイントが範囲７０１に位置しているときには、被写体５０１及び撮像装置が静止していると判定することができる。また、移動検知部２０１は、長秒画像及び短秒画像における同一座標の画素値で表されるポイントが範囲７０２，７０３に位置しているときには、被写体５０１又は撮像装置が移動していると判定することができる。図７において、範囲７０１，７０２，７０３は、任意に設定することができる。

なお、短秒画像の画素値と長秒画像の画素値との間の相関関係の確認方法は、図７に示した例に限定されるものではない。例えば、短秒画像の画素値と長秒画像の画素値との差分を取り、差分の大きさに応じて相関関係を判断することも可能である。この際、閾値となる差分の大きさは、適宜設定することができる。この閾値の設定は、例えば、長秒画像、短秒画像の少なくとも一方の露光期間の長さに応じて変更する。例えば、夜間などの暗いシーンでの撮像では、長秒画像の露光期間の長さを長く設定する。長秒画像の露光期間の長さが長くなることに応じて、被写体５０１と撮像装置の相対的な移動が長秒画像のブレに影響を及ぼしやすくなる。したがって、長秒画像の露光期間の長さが長くなることに対応して、閾値を小さく設定する。また、短秒画像の露光期間の長さに応じて閾値を変更するようにしても良い。また、短秒画像、長秒画像の両方の露光期間の長さに基づいて、閾値を変更するようにしても良い。

次に、図６に示すフローを用いたＨＤＲ合成処理により得られる効果について、図８を用いて説明する。

図８に示すように、長秒画像５０５及び短秒画像５０７を撮影した場合において、長秒画像５０５に残像５０８が現れているが、残像５０８の部分は飽和していない場合を想定する。この場合、残像５０８の部分の画素について、ステップＳ６０１では画素値が飽和していないと判別され、ステップＳ６０３ヘと移行する。ステップＳ６０３では、移動検知部２０１において長秒画像５０５の画素値と短秒画像５０７の画素値との比較が行われる。このとき、長秒画像５０５の残像５０８の部分は移動物の残像と背景とが重なった画像に応じた画素値となっており、短秒画像５０７の対応部分は背景８０１の画像に応じた画素値となっている。したがって、長秒画像５０５の残像５０８の部分は、移動検知部２０１において長秒画像５０５と短秒画像５０７との間に相関なし、すなわち被写体又は撮像装置が移動していると判別され、ステップＳ６０５ヘと移行する。そしてステップＳ６０５において、残像５０８の部分の画素値は、短秒画像５０７の画素値に応じた値に置き換えられる。これにより、残像のない所望のＨＤＲ合成画像８０２を得ることができる。

本実施形態による撮像装置は上述の手順によりＨＤＲ合成処理を行うことを基本とするが、この手順は画素部１００に設けられるカラーフィルタアレイの構成等に応じて適宜変更することが好ましい。ここでは、カラーフィルタの構成の異なる４種類の撮像素子１を例示し、これらに好適なＨＤＲ合成処理手順を説明する。

図９は、撮像素子１の画素部１００に設けられる光学フィルタの構成例を示す図である。図９の各図には、画素部１００を構成する複数の画素１０のうち、隣接する４行×４列の１６個の画素１０に配される光学フィルタを示している。

図９（ａ）は、モノクロセンサの場合である。モノクロセンサの画素部１００は、光学的特性の等しい複数の画素１０により構成される。すなわち、モノクロセンサは、必ずしも光学フィルタを備えている必要はなく、各々の画素が光透過特性の等しい光学フィルタを備えていてもよい。図９（ａ）では画素部１００を構成する画素１０の光学的特性が等しいことを示すため、各画素に「Ｍｏｎｏ」と表記している。

図９（ｂ）は、いわゆるベイヤー配列のカラーフィルタを備えたカラーセンサの場合である。ベイヤー配列のカラーフィルタを備えたセンサは、２行×２列の４個の画素１０からなる単位画素ブロックが行方向及び列方向に繰り返し配列されてなる。単位画素ブロックを構成する４つの画素１０のうち、一方の対角方向に緑色フィルタ（Ｇ）を有する２つの画素（Ｇ画素）が配され、他方の対角方向に赤色フィルタ（Ｒ）を有する画素（Ｒ画素）と青色フィルタ（Ｂ）を有する画素（Ｂ画素）とが配される。

図９（ｃ）は、ＲＧＢＩＲ配列のカラーフィルタを備えたカラーセンサの場合である。ＲＧＢＩＲ配列のカラーフィルタを備えたセンサは、ベイヤー配列の単位画素ブロックを構成する２つのＧ画素のうちの一方を近赤外線検出用の画素（ＩＲ（Infrared）画素）に置き換えたものである。

図９（ｄ）は、ＲＧＢＷ１２配列のカラーフィルタを備えたカラーセンサの場合である。ＲＧＢＷ１２配列のカラーフィルタを備えたセンサは、４行×４列の１６個の画素１０からなる単位画素ブロックが行方向及び列方向に繰り返し配列されてなる。ＲＧＢＷ１２配列は、Ｒ画素と、Ｇ画素と、Ｂ画素と、入射光を色分離せず直接検出する画素（Ｗ画素）と、を１：２：１：１２の割合で含む。

モノクロセンサの場合、カラー現像を必要とせず、図６のフローチャートを用いて説明した上述の手順によってＨＤＲ合成処理が可能である。

しかしながら、例えばベイヤー配列のカラーフィルタ（図９（ｂ））を備えたセンサにおいては、一般的にＲ画素やＢ画素よりもＧ画素の感度が高く、Ｒ画素やＢ画素よりもＧ画素が先に飽和しやすい。そのため、このようなセンサにおいて図６のフローを用いてＨＤＲ合成を行った場合、Ｇ画素の画素値として短秒画素の画素値が使用される一方、Ｒ画素及びＢ画素の画素値として長秒画像の画素値が使用されることがある。その結果、単位画素ブロックの中で短秒画像の画素値を使用する画素と長秒画像の画素値を使用する画素とが入り混じってしまい、カラー現像処理を行う際に所望の色とならない可能性がある。

このような場合、例えば図１０に示すフローを用いてＨＤＲ合成を行うことが有効である。図１０に示すフローチャートでは、カラーフィルタアレイを構成する単位画素ブロック毎に、長秒画像５０５の画素値を用いるのか短秒画像５０７の画素値を用いるのかを決定する。単位画素ブロックは、カラー現像の際に色比を算出する領域に対応する単位ブロックでもある。なお、図１０では、図６のステップと同様の処理を行うステップには図６と同一の符号を付している。

まず、１つの単位画素ブロックに含まれる複数の画素の各々について、ステップＳ６０１からステップＳ１００４までの処理を行う（ステップＳ１００１）。例えば、図９（ｂ）に示すベイヤー配列のカラーフィルタを備えたカラーセンサにおいては、１つの単位画素ブロックに含まれる４つの画素の各々について、ステップＳ６０１からステップＳ１００４までの処理を行う。

ステップＳ６０１では、長秒画像５０５の画素値が飽和しているか否かを判別する。判別の結果、長秒画像５０５の画素値が飽和している場合（ＹＥＳ）には、ステップＳ１００２に移行し、飽和している長秒画像５０５の画素値を短秒画像５０７の画素値に基づく値に置換してＨＤＲ合成に使用することを記憶する。判別の結果、長秒画像５０５の画素値が飽和していない場合（ＮＯ）には、ステップＳ６０３に移行する。

ステップＳ６０３では、被写体５０１の移動検知を行い、撮影時に被写体５０１と撮像装置との間の相対的な位置が変化しているか否かを判別する。判別の結果、被写体５０１と撮像装置との間の相対位置の変化が相対的に小さい（静止している）場合（ＮＯ）にはステップＳ１００３に移行し、長秒画像５０５の画素値をＨＤＲ合成に使用することを記憶する。判別の結果、被写体５０１と撮像装置との間の相対位置の変化が相対的に大きい（移動している）場合（ＹＥＳ）には、ステップＳ１００４に移行する。

ステップＳ１００４では、ステップＳ６０３において移動が検知された長秒画像５０５の画素値を短秒画像５０７の画素値に基づく値で置換してＨＤＲ合成に使用することを記憶する。

このようにして、１つの単位画素ブロックに含まれる総ての画素について、長秒画像５０５の画素値及び短秒画像５０７の画素値のうちのどちらを使用するのかを記憶した後、ステップＳ１００５ヘと移行する。

ステップＳ１００５では、１つの単位画素ブロックに含まれる画素の中に、短秒画像５０７の画素値を使用することを記憶した画素が含まれているか否かを判別する。判別の結果、当該単位画素ブロックの中に短秒画像５０７の画素値を使用することを記憶した画素が１つも含まれていない場合（ＮＯ）には、ステップＳ１００６に移行する。ステップＳ１００６では、当該単位画素ブロックに含まれる総ての画素について、長秒画像５０５の画素値を用いることを決定する。

ステップＳ１００５における判別の結果、当該単位画素ブロックの中に短秒画像５０７の画素値を使用することを記憶した画素が１つでも含まれている場合（ＹＥＳ）には、ステップＳ１００７に移行する。ステップＳ１００７では、当該単位画素ブロックに含まれる総ての画素について、短秒画像５０７の画素値を用いることを決定する。

このようにして、１つの画像に含まれる単位画素ブロックの各々について、ステップＳ１００１からステップＳ１００７までの処理を繰り返し行い、長秒画像５０５の画素値を用いるのか短秒画像５０７の画素値を用いるのかを決定する。これにより、各々の単位画素ブロックの中に長秒画像５０５の画素値と短秒画像５０７の画素値とが入り混じるのを防止することができ、カラー現像において所望の色が得られなくなるのを防止することができる。

ＲＧＢＩＲ配列のカラーフィルタ（図９（ｃ））を備えたセンサにおいては、例えば図１１に示す方法で現像処理などが行われる。

まず、Ｒ画素、Ｇ画素、Ｂ画素及びＩＲ画素の画素値を含むデータ１１０１を、Ｒ画素、Ｇ画素及びＢ画素の画素値を含むデータと、ＩＲ画素の画素値を含むデータ１１０３とに分離する（図１１におけるカラー分離及びＩＲ分離）。

次いで、カラー分離したデータにおいて、ＩＲ画素の画素値を分離したことにより欠損した部分の画素値を、対応する単位画素ブロックに含まれるＧ画素の画素値で補填し、データ１１０２を生成する。なお、欠損部分の画素値の補填方法は特に限定されるものではなく、所望の画像に応じて選択される。

また、ＩＲ分離したデータ１１０３は画像サイズが全体の４分の１に縮小されるため、必要に応じて当初の画像と同じ画像サイズまで引き延ばす。図１１には、データ１１０３を４倍に拡大したデータ１１０４を示している。なお、データ１１０３は、必ずしも拡大する必要はない。

このようにして、データ１１０４からＩＲ画像１１０５を取得し、データ１１０２をカラー現像することによりカラー画像１１０６を取得する。このように取得したＩＲ画像１１０５とカラー画像１１０６とを重ね合わせることで、不審物の探知などに用いることができる。

図１１に示す現像処理においては、ＩＲ画素の画素値は独立した画像（ＩＲ画像１１０５）となる。したがって、ＲＧＢＩＲ配列のカラーフィルタを備えたカラーセンサにおいては、Ｒ画素、Ｇ画素及びＢ画素の画素値に対しては図１０のフローを用い、ＩＲ画素の画素値に対しては図６のフローを用いるなど、目的に応じて処理フローを適宜選択可能である。

また、ＲＧＢＷ１２配列のカラーフィルタ（図９（ｄ））を備えたセンサにおいては、色データをＲ画素、Ｇ画素、Ｂ画素から取得し、輝度データをＷ画素から取得する。これら画素のうち、Ｗ画素の感度が最も高い。したがって、Ｒ画素、Ｇ画素及びＢ画素の画素値に対しては、例えば図１０のフローを適用可能である。また、Ｗ画素の画素値に対しては、例えば図６のフローを適用可能である。なお、ＲＧＢＷ１２配列のカラーフィルタを備えたカラーセンサにおける現像方法は、例えば特許文献２に記載されている。

また、暗部を撮影する場合に図６に示すフローを用いてＨＤＲ合成処理を行うと、長秒画像の画素値は飽和しないためステップＳ６０１において「ＮＯ」の判定となり、ステップＳ６０３ヘと移行する。そして、暗部の撮影では蓄積される電荷の絶対量が少ないため長秒露光時にも画素値は大きくならず、短秒画素値との相関、すなわち式（１）の関係が満たされず、静止時であっても移動していると誤検知される虞がある。その場合、ステップＳ６０３において「ＹＥＳ」の判定となり、短秒画像の画素値が選択されることになる。しかしながら、暗部撮影時における短秒画像の画素値はほぼダークに近い値（ダイナミックレンジの下限値）になることから、この画素値に対してデジタル処理を行うと、ノイズ感の大きな画像になってしまうことが想定される。

このような場合、例えば図１２に示すフローを用いてＨＤＲ合成を行うことが有効である。図１２に示すフローチャートは、図６のフローチャートにおけるステップＳ６０１とステップＳ６０３との間に、ステップＳ１２０１を更に有している。

ステップＳ６０１において長秒画像の画素値が飽和しているか否かを判断し、飽和している場合（ステップＳ６０１の「ＹＥＳ」）にステップＳ６０２において短秒画像の画素値で置き換えるフローは、図６と同様である。

長秒画像の画素値が飽和していない場合（ステップＳ６０１の「ＮＯ」）には、ステップＳ１２０１ヘと移行し、短秒画像の画素値が予め定めた閾値以上であるか否かを判別する。この閾値は、特に限定されるものではないが、例えばデジタル処理を行った後にノイズ感の出ない最低レベルの画素値に設定することができる。

ステップＳ１２０１において短秒画像の画素値が閾値未満であると判別された場合（ステップＳ１２０１の「ＮＯ」）には、ステップＳ６０４ヘと移行し、長秒画像の画素値を使用することを決定する。

ステップＳ１２０１において短秒画像の画素値が閾値以上であると判別された場合（ステップＳ１２０１の「ＹＥＳ」）にはステップＳ６０３の移動検知へと移行し、以後、図６と同様の処理を行う。

図１２に示すフローは、図９（ａ）〜（ｄ）のいずれのフィルタ配列を備えたセンサにも適用可能である。また、図１３に示すように、ステップＳ１２０１を図１０のフローに追加することも可能である。図９（ｃ）及び図９（ｄ）のフィルタ配列を使用する場合には、当該フローを適用する画素群を適宜選択することが望ましい。

このように、本実施形態によれば、撮影時に被写体と撮像装置との間の相対的な位置が変化した場合にも良好なＨＤＲ画像を取得することができる。

［第２実施形態］
本発明の第２実施形態による撮像装置及びその駆動方法について、図１４及び図１５を用いて説明する。第１実施形態による撮像装置と同様の構成要素には同様の符号を付し、説明を省略し或いは簡潔にする。

被写体と撮像装置との間の相対的な位置が変化している状態で撮影を行う場合のＨＤＲ合成においては、長秒画像と短秒画像との間の時間同時性が高いことが望まれる。しかしながら、第１実施形態における撮像装置では１行毎に長秒露光及び短秒露光のタイミングを制御するため、１枚の画像における時間同時性は必ずしも高いとは言えない。本実施形態では、移動している被写体の撮影を行う場合により好適なＨＤＲ合成処理が可能な撮像装置及びその駆動方法を説明する。

本実施形態による撮像装置は、撮像素子１の画素部１００を構成する画素１０の回路構成を除き、基本的な構成は図１及び図２に示す第１実施形態による撮像装置と同様である。

図１４は、本実施形態による撮像装置における撮像素子１の画素１０の構成例を示す等価回路図である。図１４には、画素部１００を構成する複数の画素１０のうち、２行×２列の行列状に配された４つの画素１０を示している。なお、画素部１００を構成する画素１０の数は、特に限定されるものではない。

本実施形態による撮像装置における撮像素子１の各々の画素１０は、図１４に示すように、光電変換部ＰＤと、転送トランジスタＭ１１，Ｍ１２，Ｍ２１，Ｍ２２と、増幅トランジスタＭ３と、選択トランジスタＭ４と、リセットトランジスタＭ５と、を有する。

光電変換部ＰＤは、例えばフォトダイオードである。光電変換部ＰＤを構成するフォトダイオードは、アノードが基準電圧ノードに接続され、カソードが転送トランジスタＭ１１のソース及び転送トランジスタＭ１２のソースに接続されている。

転送トランジスタＭ１１のドレインは、転送トランジスタＭ２１のソースに接続されている。転送トランジスタＭ１１のドレインと転送トランジスタＭ２１のソースとの接続ノードは容量成分を含み、電荷の保持部ＭＥＭ１としての機能を備える。図１４には、この容量を、当該接続ノードに接続された容量Ｃ１により表している。

転送トランジスタＭ１２のドレインは、転送トランジスタＭ２２のソースに接続されている。転送トランジスタＭ１２のドレインと転送トランジスタＭ２２のソースとの接続ノードは容量成分を含み、電荷の保持部ＭＥＭ２としての機能を備える。図１４には、この容量を、当該接続ノードに接続された容量Ｃ２により表している。

転送トランジスタＭ２１のドレイン、転送トランジスタＭ２２のドレイン、増幅トランジスタＭ３のゲート及びリセットトランジスタＭ５のソースの接続ノードは、浮遊拡散部ＦＤである。浮遊拡散部ＦＤが他の配線や拡散領域との間に作る寄生容量（ＦＤ容量）は、電荷の保持部としての機能を備える。図１４には、この容量を、浮遊拡散部ＦＤに接続された容量Ｃにより表している。増幅トランジスタＭ３のドレイン及びリセットトランジスタＭ５のドレインは、電源ノード（電圧ＶＤＤ）に接続されている。増幅トランジスタＭ３のソースは、選択トランジスタＭ４のドレインに接続されている。選択トランジスタＭ４のソースは、列信号線１１０に接続されている。各列の列信号線１１０には、電流源１６が接続されている。

なお、図１４の等価回路図では各々の画素１０が増幅トランジスタＭ３を有する例を示しているが、複数の画素１０で１つの増幅トランジスタＭ３を共有するように構成してもよい。また、光電変換部ＰＤのカソードにオーバーフロードレイントランジスタを接続し、オーバーフロードレイントランジスタを介して光電変換部ＰＤをリセットできる構成としてもよい。

図１４の画素構成の場合、各行に配された制御線１２０は、信号線ＧＳ１，ＧＳ２，ＴＸ１，ＴＸ２，ＲＥＳ，ＳＥＬを含む。信号線ＧＳ１は、対応する行に属する画素１０の転送トランジスタＭ１１のゲートに接続されている。信号線ＧＳ２は、対応する行に属する画素１０の転送トランジスタＭ１２のゲートに接続されている。信号線ＴＸ１は、対応する行に属する画素１０の転送トランジスタＭ２１のゲートに接続されている。信号線ＴＸ２は、対応する行に属する画素１０の転送トランジスタＭ２２のゲートに接続されている。信号線ＲＥＳは、対応する行に属する画素１０のリセットトランジスタＭ５のゲートに接続されている。信号線ＳＥＬは、対応する行に属する画素１０の選択トランジスタＭ４のゲートに接続されている。図１４には、第ｍ行に属する画素１０に接続される制御線１２０として、信号線ＧＳ１［ｍ］，ＧＳ２［ｍ］，ＴＸ１［ｍ］，ＴＸ２［ｍ］，ＲＥＳ［ｍ］，ＳＥＬ［ｍ］を示している。また、第ｍ＋１行に属する画素１０に接続される制御線１２０として、信号線ＧＳ１［ｍ＋１］，ＧＳ２［ｍ＋１］，ＴＸ１［ｍ＋１］，ＴＸ２［ｍ＋１］，ＲＥＳ［ｍ＋１］，ＳＥＬ［ｍ＋１］を示している。

信号線ＧＳ１には、垂直走査回路１０１から、転送トランジスタＭ１１を制御するための駆動パルスが出力される。信号線ＧＳ２には、垂直走査回路１０１から、転送トランジスタＭ１２を制御するための駆動パルスが出力される。信号線ＴＸ１には、垂直走査回路１０１から、転送トランジスタＭ２１を制御するための駆動パルスが出力される。信号線ＴＸ２には、垂直走査回路１０１から、転送トランジスタＭ２２を制御するための駆動パルスが出力される。信号線ＲＥＳには、垂直走査回路１０１から、リセットトランジスタＭ５を制御するための駆動パルスが出力される。信号線ＳＥＬには、垂直走査回路１０１から、選択トランジスタＭ４を制御するための駆動パルスが出力される。同一行の画素１０に対しては、共通の駆動パルスが垂直走査回路１０１から供給される。各トランジスタがＮ型トランジスタで構成される場合、垂直走査回路１０１からハイレベルの制御信号が供給されると対応するトランジスタがオンとなり、垂直走査回路１０１からローレベルの制御信号が供給されると対応するトランジスタがオフとなる。各行の制御信号を同時に制御することにより、複数の画素１０の露光期間を同時に制御することも可能である。

光電変換部ＰＤは、入射光をその光量に応じた量の電荷に変換（光電変換）するとともに、生じた電荷を蓄積する。リセットトランジスタＭ５は、オンになることにより浮遊拡散部ＦＤを電圧ＶＤＤに応じた電圧にリセットする。転送トランジスタＭ１１は、オンになることにより光電変換部ＰＤに蓄積された電荷を保持部ＭＥＭ１に転送する。転送トランジスタＭ２１は、オンになることにより保持部ＭＥＭ１の電荷を浮遊拡散部ＦＤに転送する。また、転送トランジスタＭ１２は、オンになることにより光電変換部ＰＤに蓄積された電荷を保持部ＭＥＭ２に転送する。転送トランジスタＭ２２は、オンになることにより保持部ＭＥＭ２の電荷を浮遊拡散部ＦＤに転送する。

これにより浮遊拡散部ＦＤは、容量Ｃによる電荷電圧変換によって、保持部ＭＥＭ１及び／又は保持部ＭＥＭ２から転送された電荷の量に応じた電圧となる。増幅トランジスタＭ３は、ドレインに電圧ＶＤＤが供給され、ソースに選択トランジスタＭ４及び列信号線１１０を介して電流源１６からバイアス電流が供給される構成となっており、ゲートを入力ノードとする増幅部（ソースフォロワ回路）を構成する。これにより増幅トランジスタＭ３は、浮遊拡散部ＦＤの電圧に応じた信号を、選択トランジスタＭ４を介して列信号線１１０に出力する。列信号線１１０に出力された画素信号は、読み出し回路１０２に入力される。

図１４に示す画素１０は、光電変換部ＰＤで生じた電荷を一時的に保持することが可能な２つの保持部ＭＥＭ１，ＭＥＭ２を備えている。光電変換部ＰＤとは別に電荷を一時的に保持する保持部を有する構成は、いわゆるグローバル電子シャッタ動作を適用するに好適である。また、２つの保持部を有することで、長秒露光期間に光電変換部ＰＤに蓄積された電荷を保持するために保持部ＭＥＭ１を利用し、短秒露光期間に光電変換部ＰＤに蓄積された電荷を保持するために保持部ＭＥＭ２を利用することが可能である。この場合、長秒露光期間及び短秒露光期間は、光電変換部ＰＤから保持部ＭＥＭ１，ＭＥＭ２への電荷の転送のタイミングを転送トランジスタＭ１１，Ｍ１２によって制御することによって任意に設定可能である。

例えば、転送トランジスタＭ１１，Ｍ１２がオフの期間に光電変換部ＰＤで蓄積された電荷を、転送トランジスタＭ１１をオンにすることで保持部ＭＥＭ１へと転送する。転送トランジスタＭ１１，Ｍ１２がオフの期間を長秒露光期間に設定することで、保持部ＭＥＭ１には長秒露光期間に光電変換部ＰＤで生成された電荷が転送される。また、転送トランジスタＭ１１，Ｍ１２がオフの別の期間に光電変換部ＰＤで蓄積された電荷を、転送トランジスタＭ１２をオンにすることで保持部ＭＥＭ２へと転送する。転送トランジスタＭ１１，Ｍ１２がオフの期間を短秒露光期間に設定することで、保持部ＭＥＭ２には短秒露光期間に光電変換部ＰＤで生成された電荷が転送される。光電変換部ＰＤから保持部ＭＥＭ１，ＭＥＭ２への電荷の転送は、複数回に分けて行ってもよい。

或いは、光電変換部ＰＤの露光期間の間に、転送トランジスタＭ１１，Ｍ１２の状態が互いに逆になるようにオンとオフとを切り替えるように構成してもよい。この場合、転送トランジスタＭ１１をオンにする期間の合計時間を長秒露光期間に設定することで、保持部ＭＥＭ１には長秒露光期間に光電変換部ＰＤで生成された電荷が転送される。また、転送トランジスタＭ１２をオンにする期間の合計時間を短秒露光期間に設定することで、保持部ＭＥＭ２には短秒露光期間に光電変換部ＰＤで生成された電荷が転送される。

なお、光電変換部ＰＤから保持部ＭＥＭ１，ＭＥＭ２に電荷を転送する順序や回数は、任意に設定することができる。

保持部ＭＥＭ１が保持する電荷に応じた長秒画像信号は、転送トランジスタＭ２１をオンにして保持部ＭＥＭ１から浮遊拡散部ＦＤへと電荷を転送することにより、増幅トランジスタＭ３及び選択トランジスタＭ４を介して読み出すことができる。また、保持部ＭＥＭ２が保持する電荷に応じた短秒画像信号は、転送トランジスタＭ２２をオンにして保持部ＭＥＭ２から浮遊拡散部ＦＤへと電荷を転送することにより、増幅トランジスタＭ３及び選択トランジスタＭ４を介して読み出すことができる。

図１５は、本実施形態による撮像装置の駆動方法を説明する図である。図１５の上段には、移動している被写体を撮影したときの画像内における被写体の位置と時間との関係を模式的に示している。ここでは説明を簡易にするために、時刻ｔ０から時刻ｔ３までの期間において被写体５０１が等速で移動しているものと仮定する。また、図１５の下段には、露光タイミング、読み出しタイミング、長秒画像、短秒画像、ＨＤＲ合成画像を模式的に示している。なお、本実施形態において、同期信号発生回路２１２は一定の周期で垂直同期信号を出力するものとする。すなわち、本実施形態において、１フレームの長さは一定である。

時刻ｔ０において、例えば第ｎフレームにおける長秒露光（長秒露光期間：Ｔ_Ｌ）が開始し、光電変換部ＰＤは入射光に応じた電荷を蓄積し始める。

続く時刻ｔ２において、転送トランジスタＭ１１がオンになり、長秒露光期間Ｔ_Ｌの間に光電変換部ＰＤに蓄積された電荷が保持部ＭＥＭ１へと転送される。その後、転送トランジスタＭ１１が再びオフになることで、長秒露光が終了するとともに、第ｎフレームにおける短秒露光（短秒露光期間：Ｔ_Ｓ）が開始する。光電変換部ＰＤは、入射光に応じた電荷の蓄積を再び開始する。

続く時刻ｔ３において、転送トランジスタＭ１２がオンになり、短秒露光期間Ｔ_Ｓの間に光電変換部ＰＤに蓄積された電荷が保持部ＭＥＭ２へと転送される。その後、転送トランジスタＭ１２が再びオフになることで、短秒露光が終了する。

上述の時刻ｔ０から時刻ｔ３までの動作は、フレーム毎に繰り返し行われる。時刻ｔ０から時刻ｔ３までにおける転送トランジスタＭ１１，Ｍ１２の駆動は、全行一括で行うことができる。

第ｎフレームの時刻ｔ０から時刻ｔ３において光電変換部ＰＤが電荷を蓄積している間、第（ｎ−１）フレームの画素信号が行毎に読み出される。例えば、第ｍ行において、転送トランジスタＭ２１がオンになり、保持部ＭＥＭ１に保持されている電荷が浮遊拡散部ＦＤへと転送される。これにより、増幅トランジスタＭ３は、長秒露光期間Ｔ_Ｌの間に光電変換部ＰＤで生じた電荷に基づく画素信号を、選択トランジスタＭ４を介して列信号線１１０に出力する。次いで、第ｍ行において、転送トランジスタＭ２２がオンになり、保持部ＭＥＭ２に保持されている電荷が浮遊拡散部ＦＤへと転送される。これにより、増幅トランジスタＭ３は、短秒露光期間Ｔ_Ｓの間に光電変換部ＰＤで生じた電荷に基づく画素信号を、選択トランジスタＭ４を介して列信号線１１０に出力する。

信号処理部２２は、上述の処理によって撮像素子１から読み出された画素信号をデジタルデータに変換し、図６、図１０、図１２、図１３等から適切なフローを選択してＨＤＲ合成処理を実施する。

本実施形態において撮像素子１から読み出される長秒画像信号及び短秒画像信号は、第１実施形態と比較して時間同時性の高い信号である。したがって、本実施形態によれば、第１実施形態よりも時間同時性の高いＨＤＲ合成画像を取得することができる。

［第３実施形態］
本発明の第３実施形態による撮像装置及びその駆動方法について、図１６及び図１７を用いて説明する。第１又は第２実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。図１６及び図１７は、本実施形態による撮像装置の駆動方法を説明する図である。

本実施形態では、第２実施形態による撮像装置の他の駆動方法を説明する。本実施形態による撮像装置の駆動方法は、より高速に移動する被写体の撮影に好適である。

図１６は、１フレームにおける転送トランジスタＭ１１，Ｍ１２のスイッチング回数の初期値が１回に設定されている場合の駆動例を示している。すなわち、転送トランジスタＭ１１，Ｍ１２のスイッチングは、長秒露光（長秒露光期間：Ｔ_Ｌ）、短秒露光（短秒露光期間：Ｔ_Ｓ）の順に行われる。例えば、長秒露光期間Ｔ_Ｌの間は転送トランジスタＭ１１をオン、転送トランジスタＭ１２をオフに設定し、短秒露光期間Ｔ_Ｓの間は転送トランジスタＭ１１をオフ、転送トランジスタＭ１２をオンに設定する。

被写体５０１が高速に移動し、長秒露光の期間中にフレームアウトした場合、長秒画像１６０１には残像５０８のみが写り、短秒画像１６０２には背景のみが写る。長秒画像１６０１と短秒画像１６０２とを用いて図６のフローでＨＤＲ合成処理を行うと、長秒画像の画素値が飽和していなければステップＳ６０１では「ＮＯ」が選択され、被写体が異なるためステップＳ６０３では「ＹＥＳ」が選択される。その結果、残像５０８と重なる部分におけるＨＤＲ合成画像１６０３の画素値には、短秒画像１６０２の画素値が選択される。すなわち、ＨＤＲ合成画像１６０３は、背景のみの画像となる。

図１７は、１フレームにおける転送トランジスタＭ１１，Ｍ１２のスイッチング回数の初期値が２回に設定されている場合の駆動例を示している。すなわち、転送トランジスタＭ１１，Ｍ１２のスイッチングは、長秒露光（長秒露光期間：Ｔ_Ｌ１）、短秒露光（短秒露光期間：Ｔ_Ｓ１）、長秒露光（長秒露光期間：Ｔ_Ｌ２）、短秒露光（短秒露光期間：Ｔ_Ｓ２）の順に行われる。例えば、長秒露光期間Ｔ_Ｌ１，Ｔ_Ｌ２の間は転送トランジスタＭ１１をオン、転送トランジスタＭ１２をオフに設定し、短秒露光期間Ｔ_Ｓ１，Ｔ_Ｓ２の間は転送トランジスタＭ１１をオフ、転送トランジスタＭ１２をオンに設定する。ここで、長秒露光期間Ｔ_Ｌ１，Ｔ_Ｌ２及び短秒露光期間Ｔ_Ｓ１，Ｔ_Ｓ２は、以下の式（２）及び式（３）のように表される。すなわち、撮影時のフレームレートは図１６の場合と同じである。
Ｔ_Ｌ ＝ Ｔ_Ｌ１ ＋ Ｔ_Ｌ２ …（２）
Ｔ_Ｓ ＝ Ｔ_Ｓ１ ＋ Ｔ_Ｓ２ …（３）

図１７では説明の簡略化のため１フレームにおける転送トランジスタＭ１１，Ｍ１２のスイッチング回数をそれぞれ２回としているが、スイッチング回数に制限はなく、３回以上であってもよい。

図１７には長秒露光期間Ｔ_Ｌ１の間に蓄積される電荷による画像１７０１と長秒露光期間Ｔ_Ｌ２の間に蓄積される電荷による画像１７０２とを示しているが、実際に撮像素子１から出力される長秒画像はこれらを合算した長秒画像１７０５である。同様に、図１７には短秒露光期間Ｔ_Ｓ１の間に蓄積される電荷による画像１７０３と短秒露光期間Ｔ_Ｓ２の間に蓄積される電荷による画像１７０４とを示しているが、実際に撮像素子１から出力される短秒画像はこれらを合算した短秒画像１７０６である。

本駆動例では、被写体５０１がフレーム内を移動中に短秒露光（短秒露光期間：Ｔ_Ｓ１）が行われているため、被写体５０１がフレームアウトすることなく短秒画像１７０６で撮影することが可能である。長秒画像１７０５と短秒画像１７０６とを用いて図６のフローでＨＤＲ合成処理を行うと、長秒画像の画素値が飽和していなければステップＳ６０１では「ＮＯ」が選択され、被写体が異なるためステップＳ６０３では「ＹＥＳ」が選択される。その結果、残像５０８と重なる部分におけるＨＤＲ合成画像１７０７の画素値には短秒画像１７０６の画素値が選択されるが、短秒画像１７０６にも被写体５０１が撮影されているため、ＨＤＲ合成画像１７０７において被写体５０１が消えることがない。転送トランジスタＭ１１，Ｍ１２のスイッチング回数を複数回にすることには、長秒画像１７０５における露光期間の時間重心と短秒画像１７０６における露光期間の時間重心とを近づける効果もある。

図１６及び図１７の説明ではＨＤＲ合成に図６のフローを用いる場合を例示したが、ＨＤＲ合成にはカラーフィルタの構成等に応じて図６、図１０、図１２、図１３等の中から適切なフローを選択することができる。

このように、本実施形態の駆動方法によれば、転送トランジスタＭ１１，Ｍ１２のスイッチング回数を適宜設定することにより、撮像装置に対する相対位置の変化が相対的に大きい被写体を撮影する場合にも良好なＨＤＲ画像を取得することができる。

なお、本実施形態の駆動方法において、１フレーム中における転送トランジスタＭ１１，Ｍ１２のスイッチング回数に制約はない。しかしながら、転送トランジスタＭ１１，Ｍ１２のスイッチングの回数が増加すると、消費電力が増加し、場合によっては放射ノイズが発生することもある。したがって、１フレーム中における転送トランジスタＭ１１，Ｍ１２のスイッチング回数は、消費電力、発生するノイズのレベル、光源の周期などに応じて最適な回数に適宜設定することが望ましい。

［第４実施形態］
本発明の第４実施形態による撮像システムについて、図１８を用いて説明する。図１８は、本実施形態による撮像システムの概略構成を示すブロック図である。

上記第１乃至第３実施形態で述べた撮像装置は、種々の撮像システムに適用可能である。適用可能な撮像システムの例としては、デジタルスチルカメラ、デジタルカムコーダ、監視カメラ、複写機、ファックス、携帯電話、車載カメラ、観測衛星などが挙げられる。また、レンズなどの光学系と撮像装置とを備えるカメラモジュールも、撮像システムに含まれる。図１８には、これらのうちの一例として、デジタルスチルカメラのブロック図を例示している。

図１８に例示した撮像システム１８００は、撮像装置１８０１、被写体の光学像を撮像装置１８０１に結像させるレンズ１８０２、レンズ１８０２を通過する光量を可変にするための絞り１８０４、レンズ１８０２の保護のためのバリア１８０６を有する。レンズ１８０２及び絞り１８０４は、撮像装置１８０１に光を集光する光学系である。撮像装置１８０１は、第１乃至第３実施形態のいずれかで説明した撮像装置であって、レンズ１８０２により結像された光学像を画像データに変換する。

撮像システム１８００は、また、撮像装置１８０１より出力される出力信号の処理を行う信号処理部１８０８を有する。信号処理部１８０８は、撮像装置１８０１が出力するアナログ信号をデジタル信号に変換するＡＤ変換を行う。また、信号処理部１８０８はその他、必要に応じて各種の補正、圧縮を行って画像データを出力する動作を行う。信号処理部１８０８の一部であるＡＤ変換部は、撮像装置１８０１が設けられた半導体基板に形成されていてもよいし、撮像装置１８０１とは別の半導体基板に形成されていてもよい。また、撮像装置１８０１と信号処理部１８０８とが同一の半導体基板に形成されていてもよい。

撮像システム１８００は、更に、画像データを一時的に記憶するためのメモリ部１８１０、外部コンピュータ等と通信するための外部インターフェース部（外部Ｉ／Ｆ部）１８１２を有する。更に撮像システム１８００は、撮像データの記録又は読み出しを行うための半導体メモリ等の記録媒体１８１４、記録媒体１８１４に記録又は読み出しを行うための記録媒体制御インターフェース部（記録媒体制御Ｉ／Ｆ部）１８１６を有する。なお、記録媒体１８１４は、撮像システム１８００に内蔵されていてもよく、着脱可能であってもよい。

更に撮像システム１８００は、各種演算とデジタルスチルカメラ全体を制御する全体制御・演算部１８１８、撮像装置１８０１と信号処理部１８０８に各種タイミング信号を出力するタイミング発生部１８２０を有する。ここで、タイミング信号などは外部から入力されてもよく、撮像システム１８００は少なくとも撮像装置１８０１と、撮像装置１８０１から出力された出力信号を処理する信号処理部１８０８とを有すればよい。

撮像装置１８０１は、撮像信号を信号処理部１８０８に出力する。信号処理部１８０８は、撮像装置１８０１から出力される撮像信号に対して所定の信号処理を実施し、画像データを出力する。信号処理部１８０８は、撮像信号を用いて、画像を生成する。

このように、本実施形態によれば、第１乃至第３実施形態による撮像装置を適用した撮像システムを実現することができる。

［第５実施形態］
本発明の第５実施形態による撮像システム及び移動体について、図１９を用いて説明する。図１９は、本実施形態による撮像システム及び移動体の構成を示す図である。

図１９（ａ）は、車載カメラに関する撮像システムの一例を示したものである。撮像システム１９００は、撮像装置１９１０を有する。撮像装置１９１０は、上記第１乃至第３実施形態のいずれかに記載の撮像装置である。撮像システム１９００は、撮像装置１９１０により取得された複数の画像データに対し、画像処理を行う画像処理部１９１２と、撮像システム１９００により取得された複数の画像データから視差（視差画像の位相差）の算出を行う視差取得部１９１４を有する。また、撮像システム１９００は、算出された視差に基づいて対象物までの距離を算出する距離取得部１９１６と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部１９１８と、を有する。ここで、視差取得部１９１４や距離取得部１９１６は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部１９１８はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated circuit）等によって実現されてもよいし、これらの組合せによって実現されてもよい。

撮像システム１９００は車両情報取得装置１９２０と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム１９００は、衝突判定部１９１８での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ＥＣＵ１９３０が接続されている。また、撮像システム１９００は、衝突判定部１９１８での判定結果に基づいて、ドライバーへ警報を発する警報装置１９４０とも接続されている。例えば、衝突判定部１９１８の判定結果として衝突可能性が高い場合、制御ＥＣＵ１９３０はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置１９４０は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。

本実施形態では、車両の周囲、例えば前方又は後方を撮像システム１９００で撮像する。図１９（ｂ）に、車両前方（撮像範囲１９５０）を撮像する場合の撮像システムを示した。車両情報取得装置１９２０が、撮像システム１９００ないしは撮像装置１９１０に指示を送る。このような構成により、測距の精度をより向上させることができる。

上記では、他の車両と衝突しないように制御する例を説明したが、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。更に、撮像システムは、自車両等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体（移動装置）に適用することができる。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。

［変形実施形態］
本発明は、上記実施形態に限らず種々の変形が可能である。
例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。

また、上記実施形態では長秒画像信号の飽和判定を行った後に被写体の移動検知を行っているが、被写体の移動検知がなされなかった場合に長秒画像信号の飽和判定を行うようにしてもよい。また、図１２のフローにおいては、短秒画像の画素値の閾値判定を行った後に被写体の移動検知を行っているが、被写体の移動検知がなされた場合に短秒画像の画素値の閾値判定を行うようにしてもよい。

また、上記実施形態では長秒画像信号の飽和判定を行っているが、例えばダイナミックレンジの向上よりも被写体の移動による画質低下の低減に重点をおく場合、長秒画像信号の飽和判定は必ずしも行う必要はない。

また、上記実施形態では、複数種類の色情報を出力する複数種類の色画素としてＲ画素、Ｇ画素、Ｂ画素を含むカラーフィルタを示したが、色画素はＲＧＢ以外の組み合わせであってもよい。例えば、色画素として、シアン色のカラーフィルタを備えたＣ画素と、マゼンダ色のカラーフィルタを備えたＭ画素と、黄色のカラーフィルタを備えたＹ画素と、を含むカラーフィルタであってもよい。

また、図９（ｄ）には、輝度情報検出用の画素を含むフィルタ配列としてＲＧＢＷ１２配列の場合を説明したが、必ずしもＲＧＢＷ１２配列のカラーフィルタである必要はない。例えば、Ｗ画素の比率の異なるＲＧＢＷ配列のカラーフィルタ、例えばＲＧＢＷ８配列のカラーフィルタであってもよい。或いは、シアン色のＣＦを備えたＣ画素と、マゼンダ色のＣＦを備えたＭ画素と、黄色のＣＦを備えたＹ画素と、Ｗ画素とを含むＣＭＹＷ配列のカラーフィルタであってもよい。

また、第２実施形態では、画素１０として２つの保持部ＭＥＭ１，ＭＥＭ２を有する構成を説明したが、画素１０は必ずしも２つの保持部を有する必要はない。例えば、長秒露光期間に光電変換部ＰＤに蓄積された電荷の保持部への転送回数と、短秒露光期間に光電変換部ＰＤに蓄積された電荷の保持部への転送動作とが、ともに１回の場合、画素１０は少なくとも１つの保持部を有していればよい。

また、上記第４及び第５実施形態に示した撮像システムは、本発明の光電変換装置を適用しうる撮像システム例を示したものであり、本発明の光電変換装置を適用可能な撮像システムは図１８及び図１９に示した構成に限定されるものではない。

なお、上記実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１…撮像素子
１０…画素
２０…検出部
２１…制御部
２２…画像処理部
１００…画素部
１０１…垂直走査回路
２０１…移動検知部
２１１…露光期間制御部
２１２…同期信号発生回路
２２１…画像生成回路
２２２…画像処理回路

Claims (18)

1. 撮像装置であって、前記撮像装置は、
   光電変換部を各々が含む複数の画素が配された画素部と、
   前記複数の画素の各々から、第１の露光期間に前記光電変換部で生成された電荷に基づく第１の信号と、前記第１の露光期間よりも短い第２の露光期間に前記光電変換部で生成された電荷に基づく第２の信号と、を出力するように前記複数の画素を駆動する駆動部と、
   前記第１の信号と前記第２の信号とを用いて被写体と前記撮像装置との相対位置の変化を検知する検知部と、
   前記第１の信号及び前記第２の信号を用いて画像を生成する画像生成部と、を有し、
   前記画像生成部は、前記画像の生成において、前記検知部が前記相対位置の変化が相対的に小さいことを検知した画素に対して前記第１の信号を選択し、前記検知部が前記相対位置の変化が相対的に大きいことを検知した画素に対して前記第２の信号を選択する
   ことを特徴とする撮像装置。
2. 前記画像生成部は、前記第１の信号が飽和している画素に対しては、前記検知部による検知の結果によらず前記第２の信号を選択する
   ことを特徴とする請求項１記載の撮像装置。
3. 前記画像生成部は、前記第２の信号が所定の閾値未満の画素に対しては、前記検知部による検知の結果によらず前記第１の信号を選択する
   ことを特徴とする請求項１又は２記載の撮像装置。
4. 前記画素部は、複数の単位画素ブロックにより構成されており、
   前記画像生成部は、
   前記第２の信号が選択された画素を少なくとも１つ含む単位画素ブロックに属する総ての画素に対して前記第２の信号を適用し、
   前記第２の信号が選択された画素が１つもない単位画素ブロックに属する総ての画素に対して前記第１の信号を適用する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記複数の画素は、複数種類の色情報を出力する複数種類の色画素を含み、
   前記単位画素ブロックは、カラー現像の際に色比を算出する領域に対応している
   ことを特徴とする請求項４記載の撮像装置。
6. 前記複数種類の色画素は、ベイヤー配列を構成している
   ことを特徴とする請求項５記載の撮像装置。
7. 前記複数の画素は、近赤外線検出用の画素を更に含む
   ことを特徴とする請求項５記載の撮像装置。
8. 前記複数の画素は、輝度情報検出用の画素を更に含む
   ことを特徴とする請求項５記載の撮像装置。
9. 前記複数の画素の各々は、前記第１の露光期間に前記光電変換部で生成された電荷を保持する第１の保持部と、前記第２の露光期間に前記光電変換部で生成された電荷を保持する第２の保持部と、を更に有する
   ことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記画素部に、複数の行に渡って前記複数の画素が配列されており、
    前記駆動部は、前記光電変換部から前記第１の保持部又は前記第２の保持部への電荷の転送を前記複数の行で同時に実行する
    ことを特徴とする請求項９記載の撮像装置。
11. 撮像素子の複数の画素の各々から出力される、第１の露光期間に光電変換部で生成された電荷に基づく第１の信号と、前記第１の露光期間よりも短い第２の露光期間に前記光電変換部で生成された電荷に基づく第２の信号と、を処理する信号処理装置であって、
    前記第１の信号と前記第２の信号とを用いて被写体と前記撮像素子との相対位置の変化を検知する検知部と、
    前記第１の信号及び前記第２の信号を用いて画像を生成する画像生成部と、を有し、
    前記画像生成部は、前記画像の生成において、前記検知部が前記相対位置の変化が相対的に小さいことを検知した画素に対して前記第１の信号を選択し、前記検知部が前記相対位置の変化が相対的に大きいことを検知した画素に対して前記第２の信号を選択する
    ことを特徴とする信号処理装置。
12. 前記画像生成部は、前記第１の信号が飽和している画素に対しては、前記検知部による検知の結果によらず前記第２の信号を選択する
    ことを特徴とする請求項１１記載の信号処理装置。
13. 前記画像生成部は、前記第２の信号が所定の閾値未満の画素に対しては、前記検知部による検知の結果によらず前記第１の信号を選択する
    ことを特徴とする請求項１又は２記載の信号処理装置。
14. 光電変換部を各々が含む複数の画素を有する撮像素子と、前記撮像素子から出力される信号を処理する信号処理部と、を有する撮像装置の駆動方法であって、
    前記複数の画素の各々から、第１の露光期間に前記光電変換部で生成された電荷に基づく第１の信号と、前記第１の露光期間よりも短い第２の露光期間に前記光電変換部で生成された電荷に基づく第２の信号と、を出力するステップと、
    前記第１の信号と前記第２の信号とを用いて被写体と前記撮像装置との相対位置の変化を検知するステップと、
    前記第１の信号及び前記第２の信号を用いて画像を生成するステップと、を有し、
    前記画像を生成するステップでは、前記相対位置の変化が相対的に小さいことを検知した画素に対して前記第１の信号を選択し、前記相対位置の変化が相対的に大きいことを検知した画素に対して前記第２の信号を選択する
    ことを特徴とする撮像装置の駆動方法。
15. 前記画像を合成するステップでは、前記第１の信号が飽和している画素に対して、前記被写体の移動の検知の結果によらずに前記第２の信号を選択する
    ことを特徴とする請求項１４記載の撮像装置の駆動方法。
16. 前記画像を合成するステップでは、前記第２の信号が所定の閾値未満の画素に対して、前記被写体の移動の検知の結果によらずに前記第１の信号を選択する
    ことを特徴とする請求項１４又は１５記載の撮像装置の駆動方法。
17. 請求項１乃至１０のいずれか１項に記載の撮像装置と、
    前記撮像装置の前記画素から出力される信号を処理する信号処理部と
    を有することを特徴とする撮像システム。
18. 移動体であって、
    請求項１乃至１０のいずれか１項に記載の撮像装置と、
    前記撮像装置の前記画素から出力される信号に基づく視差画像から、対象物までの距離情報を取得する距離情報取得手段と、
    前記距離情報に基づいて前記移動体を制御する制御手段と
    を有することを特徴とする移動体。

Images