JP2007174266A - 撮像装置 - Google Patents

Abstract

【課題】イメージセンサ（光電変換素子）からの電荷（画素信号）の読み出しを、非破壊読み出し方式を用いて行う場合の画質劣化を低減するのに好適な撮像装置を提供する。
【解決手段】撮像装置１を、光電変換素子等から構成されるイメージセンサと、イメージセンサからの画素信号を非破壊読み出し方式で読み出し、当該画素信号の画素データを出力する撮像処理部１０と、撮像処理部１０から出力されるＯＢ領域の画素データ、最小露光時間時の画素データ等の各種画素データに基づき、ＯＢ差分画素データ及び最小露光画素データを生成すると共に、これら生成した画素データに基づき通常露光時間時の画素データからノイズ成分を除去した差分画素データを生成する画像処理部１２と、撮像処理部１０から出力される各種画素データ、ＯＢ差分画素データ、最小露光画素データ及び前記差分画素データを記憶するフレームメモリ１４とを含んだ構成とした。
【選択図】図１

Description

本発明は、光電変換素子からの電荷の読み出しを非破壊で読み出すことが可能な撮像装置に関する。

従来、撮像装置のイメージセンサ（光電変換素子）からの電荷の読み出し方式としては、破壊読み出し方式と非破壊読み出し方式とがある。
ここで、破壊読み出し方式は、光電変換素子から電荷（画素信号）を読み出すときに、当該光電変換素子に蓄積された電荷を空にするリセット処理を行うものである。
また、非破壊読み出し方式は、光電変換素子から電荷（画素信号）を読み出すときに、当該光電変換素子に蓄積された電荷を空にせず蓄積状態を維持したままで読み出すものである。つまり、電荷読み出し時にリセット処理を行わないため、設定された露光時間に至るまで、電荷の蓄積途中において、何度でも電荷の読み出しを行うことができる。従って、非破壊読み出し方式には、多段階露光を容易に実現することができるという利点がある。

また、光電変換素子から読み出された電荷（画素信号）には、光電変換素子等の画素を構成する各素子の特性（画素構造からくる分光特性など）のバラツキなどが原因で発生するノイズが混入し、このノイズが撮像画像の画質を著しく悪化させるという問題がある。一般に、破壊読み出しを用いて電荷を読み出す方式を用いる場合は、読み出した電荷（画素信号）と、当該読み出し後のリセット処理直後の電荷（画素信号）との差分をとって、前記ノイズを除去することが行われる。つまり、撮像時の露光時間で露光された状態で得た画素信号と、リセット直後の略遮光状態時（暗時）に得た画素信号との差分をとることによって前記ノイズを画素信号から除去し、画質改善を行っている。

一方、非破壊読み出しを用いて光電変換素子から電荷（画素信号）を読み出す撮像装置としては、例えば、特許文献１に記載の撮像装置がある。
特許文献１に記載の撮像装置は、複数の各画素が増幅型の光電変換素子を備えた撮像装置において、露光時間の異なる複数の画素信号を読み出し、露光時間の長い一の画素信号の中から飽和画素信号を検出した場合に、該飽和画素信号を露光時間のより短い該画素の非飽和画素信号と置換するものである。
特開平５―２２６７０号公報

しかしながら、上記特許文献１の従来技術にあっては、画素信号の読み出し時にリセットを行わない非破壊読み出し方式を用いており、前述した破壊読み出し方式のように、リセット直後の暗時の信号を取得してノイズを除去するといった画質改善処理を行っていないため、光電変換素子等の画素を構成する素子の特性のバラツキが原因で発生するノイズによって、撮像画像の画質が悪化するといった問題があった。

また、上記特許文献１の従来技術において、例えば、暗時（例えば、最小露光時間時）の画素信号を撮像前に取得してこれを予め記憶しておき、この記憶された暗時の画素信号を用いて撮像時の画素信号からノイズを除去するという方法が考えられるが、このような方法を用いると、暗時の画素信号をリアルタイムに変更することができないため、長時間の撮像時や周囲環境の変化（例えば、温度変化）等によって各素子の特性が変化してノイズの状態が変わってしまうような場合に、ノイズ除去精度が低下してしまうという問題があった。

そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、イメージセンサ（光電変換素子）からの電荷（画素信号）の読み出しを、非破壊読み出し方式を用いて行う場合の画質劣化を低減するのに好適な撮像装置を提供することを目的としている。

〔形態１〕 上記目的を達成するために、形態１の撮像装置は、
露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、前記光電変換部における前記光電変換素子の構成する画素からの電荷の読み出しを非破壊で行う撮像手段とを備えた撮像装置であって、
設定可能な最小露光時間での露光時に読み出した電荷に対応する画素データである最小露光画素データを取得する最小露光画素データ取得手段と、
所定露光時間での露光時に読み出した電荷に対応する各画素データの画素値と、当該各画素データに対応する前記取得した各最小露光画素データの画素値との差分値を算出し、当該算出した差分値からなる差分画素データを生成する差分画素データ生成手段と、を備えることを特徴としている。

このような構成であれば、最小露光画素データ取得手段によって、設定可能な最小露光時間での露光時に読み出した電荷に対応する画素データである最小露光画素データを取得することが可能であり、差分画素データ生成手段によって、所定露光時間での露光時に読み出した電荷に対応する各画素データの画素値と、当該各画素データに対応する前記取得した各最小露光画素データの画素値との差分値を算出し、当該算出した差分値からなる差分画素データを生成することが可能である。

従って、動画像の撮像前に、例えば、電子シャッタ機能等により設定できる最小露光時間の画素データを暗時の画素データとして取得し、この最小露光画素データを、例えば、画像撮影時の通常の露光時間で読み出した画素データから減じて、各素子のバラツキ等が原因で生じる固定パターンノイズを通常露光時の画素データからほぼ除去することが可能となるので、撮像画像の画質を改善することができるという効果が得られる。

ここで、上記「最小露光時間」は、例えば、電子シャッタ機能等により}設定できる最小の露光時間が望ましいが、上記差分画素データから構成される撮像画像の画質が劣化しない範囲であれば最小でなくても良い。
また、上記「撮像手段」は、例えば、ＣＭＯＳ技術を用いて構成されており、ＣＭＯＳ技術を利用したイメージセンサとしては、閾値変調型撮像素子（ＶＭＩＳ（Threshold Voltage Modulation Image Sensor））などがある。

また、上記「固定パターンノイズ」には、長時間露光時に問題になる暗電流シェーディングや、画素ごとのセンサ感度の違いによって発生するものなどがある。イメージセンサは、露光によって発生した電荷の量から、逆に露光量を求めることができるが、露光しない状態でも時間に比例して蓄積される電荷があり、これを暗電流という。なお、暗電流の原因は、主にシリコン表面で発生する熱励起がある。また、光電効果による電子の励起は、光エネルギーだけでなく熱エネルギーによっても生じ、一般に、５〜８℃上昇する毎に暗電流は倍増する。 また、画素ごとのセンサ感度の違いは、開口率やフォトダイオードの厚みの製造時に生じるバラツキなどが原因で生じる。

〔形態２〕 更に、形態２の撮像装置は、形態１記載の撮像装置において、
（Ｎ−１）種類（Ｎは２以上の自然数）の露光時間に対応し、当該各種類毎の露光時間での露光時に読み出した前記画素のライン毎の電荷に対応する画素データを前記各種類毎にそれぞれ独立に記憶し、且つ当該記憶した画素データを前記各種類毎にそれぞれ独立に出力する（Ｎ−１）個の第１〜第（Ｎ−１）出力チャンネルと、
前記（Ｎ−１）種類の露光時間に対する露光において、前記最小露光時間での露光時の前記画素のライン毎の電荷を読み出すと共に当該読み出した電荷に対応する画素データを記憶し、且つ当該記憶した画素データを出力する第Ｎ出力チャンネルと、を備え、
前記最小露光画素データ取得手段は、前記第Ｎ出力チャンネルを介して出力される前記最小露光画素データを取得するようになっており、
前記差分画素データ生成手段は、前記画素のライン毎に、前記第１〜第Ｎ−１出力チャンネルから出力される（Ｎ−１）種類の露光時間にそれぞれ対応する画素データの画素値と、当該各画素データに対応する前記最小画素データ取得手段で取得した最小露光画素データの画素値との差分値を算出し、当該算出した差分値からなる差分画素データを生成するようになっていることを特徴としている。

このような構成であれば、第１〜第（Ｎ−１）出力チャンネルによって、（Ｎ−１）種類（Ｎは２以上の自然数）の露光時間に対応し、当該各種類毎の露光時間での露光時に読み出した前記画素のライン毎の電荷に対応する画素データを前記各種類毎にそれぞれ独立に記憶し、且つ当該記憶した画素データを前記各種類毎にそれぞれ独立に出力することが可能であり、第Ｎ出力チャンネルによって、前記Ｎ−１種類の露光時間に対する露光において、前記最小露光時間での露光時の前記画素のライン毎の電荷を読み出すと共に当該読み出した電荷に対応する画素データを記憶し、且つ当該記憶した画素データを出力することが可能である。

また、前記最小露光画素データ取得手段は、前記第Ｎ出力チャンネルを介して出力される前記最小露光画素データを取得することが可能であり、前記差分画素データ生成手段は、前記画素のライン毎に、前記第１〜第（Ｎ−１）出力チャンネルからそれぞれ出力される（Ｎ−１）種類の露光時間にそれぞれ対応する画素データの画素値と、当該各画素データに対応する前記最小画素データ取得手段で取得した最小露光画素データの画素値との差分値を算出し、当該算出した差分値からなる差分画素データを生成することが可能である。

従って、それぞれが独立した第１〜第（Ｎ−１）チャンネルを介して（Ｎ−１）種類の各露光時間毎の画素データを取得できる一方、第１〜第（Ｎ−１）チャンネルとは独立した第Ｎ出力チャンネルを介して最小露光時間時の画素データを取得することができるので、画像撮像時において、（Ｎ−１）種類の各露光時間毎の電荷の読み出しと同じ露光区間において、最小露光時間時の電荷の読み出しを行うことができるので、最小露光時間時（暗時）の画素データをリアルタイムに変更してこれを差分画素データの生成に用いることができ、これにより、周辺環境の変化等によってノイズの状態が変化しても、この変化したノイズにリアルタイムに対応することができるという効果が得られる。

〔形態３〕 更に、形態３の撮像装置は、形態２の撮像装置において、
前記第１〜第（Ｎ−１）出力チャンネルを介してそれぞれ出力される、前記最小露光時間での露光時の電荷に対応する画素データを取得し、前記第Ｎ出力チャンネルを介して出力される、前記最小露光時間での露光時の電荷に対応する画素データを取得し、前記第１〜第（Ｎ−１）出力チャンネルの各出力チャンネル毎に、当該各出力チャンネルを介して取得した最小露光時の画素データの画素値と、前記第Ｎ出力チャンネルを介して取得した最小露光時の画素データの画素値との差分値を算出し、当該差分値からなる最小露光差分画素データを生成する最小露光差分画素データ生成手段と、
前記最小露光差分画素データを記憶する最小露光差分画素データ記憶手段と、を備え、
前記差分画素データ生成手段は、前記画素のライン毎に、前記第１〜第（Ｎ−１）出力チャンネルを介してそれぞれ出力される（Ｎ−１）種類の露光時間にそれぞれ対応する画素データの画素値と、当該各画素データに対応する前記最小露光画素データ取得手段で取得した最小露光画素データの画素値との差分値を算出すると共に、当該各画素データの差分値と、当該各画素データに対応する前記最小露光差分画素データ記憶手段に記憶された最小露光差分画素データの値との差分値を算出し、当該差分値からなる差分画素データを生成するようになっていることを特徴としている。

このような構成であれば、最小露光差分画素データ生成手段によって、 前記第１〜第（Ｎ−１）出力チャンネルを介してそれぞれ出力される、前記最小露光時間での露光時の電荷に対応する画素データを取得し、前記第Ｎ出力チャンネルを介して出力される、前記最小露光時間での露光時の電荷に対応する画素データを取得し、前記第１〜第（Ｎ−１）出力チャンネルの各出力チャンネル毎に、当該各出力チャンネルを介して取得した最小露光時の画素データの画素値と、前記第Ｎ出力チャンネルを介して取得した最小露光時の画素データの画素値との差分値を算出し、当該差分値からなる最小露光差分画素データを生成することが可能であり、最小露光差分画素データ記憶手段によって、前記最小露光差分画素データを記憶することが可能である。

また、前記差分画素データ生成手段は、前記画素のライン毎に、前記第１〜第（Ｎ−１）出力チャンネルを介してそれぞれ出力される（Ｎ−１）種類の露光時間にそれぞれ対応する画素データの画素値と、当該各画素データに対応する前記最小露光画素データ取得手段で取得した最小露光画素データの画素値との差分値を算出すると共に、当該各画素データの差分値と、当該各画素データに対応する前記最小露光差分画素データ記憶手段に記憶された最小露光差分画素データの値との差分値を算出し、当該差分値からなる差分画素データを生成することが可能である。

従って、（Ｎ−１）種類の露光時間にそれぞれ対応する画素データから、各画素の特性のバラツキが原因で生じるノイズに加え、第１〜第（Ｎ−１）出力チャンネル並びに第Ｎ出力チャンネルにおいてそれぞれ発生するノイズを除去することが可能となるので、撮像画像の画質をより改善することができるという効果が得られる。

〔形態４〕 更に、形態４の撮像装置は、形態３の撮像装置において、
前記画素のラインの所定の１ライン分の前記最小露光差分画素データを前記最小露光差分画素データ記憶手段に記憶するようになっており、
前記差分画素データ生成手段は、前記画素のライン毎に、前記第１〜第（Ｎ−１）出力チャンネルを介してそれぞれ出力される（Ｎ−１）種類の露光時間にそれぞれ対応する画素データの画素値と、当該各画素データに対応する前記最小露光画素データ取得手段で取得した最小露光画素データの画素値との差分値を算出すると共に、当該各画素データの差分値と、前記最小露光差分画素データ記憶手段に記憶された１ライン分の最小露光差分画素データの値との差分値を算出し、当該差分値からなる差分画素データを生成するようになっていることを特徴としている。

このような構成であれば、前記画素のラインの所定の１ライン分の前記最小露光差分画素データを前記最小露光差分画素データ記憶手段に記憶することが可能であり、前記差分画素データ生成手段は、前記画素のライン毎に、前記第１〜第（Ｎ−１）出力チャンネルを介してそれぞれ出力される（Ｎ−１）種類の露光時間にそれぞれ対応する画素データの画素値と、当該各画素データに対応する前記最小露光画素データ取得手段で取得した最小露光画素データの画素値との差分値を算出すると共に、当該各画素データの差分値と、前記最小露光差分画素データ記憶手段に記憶された１ライン分の最小露光差分画素データの値との差分値を算出し、当該差分値からなる差分画素データを生成することが可能である。

ここで、本発明者らは、実験を行って、上記形態２の構成の撮像装置によって撮像した画像に、第１〜第（Ｎ−１）出力チャンネル並びに第Ｎ出力チャンネルにおいてそれぞれ発生するノイズが原因で複数の縦縞が発生するのを確認した。つまり、第１〜第（Ｎ−１）出力チャンネル並びに第Ｎ出力チャンネルにおいて発生するノイズは、ラインメモリを構成する特定の素子において発生していることになり、更に縦縞が発生するということは、同じようなノイズが、全ラインの同じ画素位置の画素データに対して発生していることになる。従って、本形態の構成のように、１ライン分の最小露光差分画素データを記憶する構成であれば、全ラインに対して第１〜第（Ｎ−１）出力チャンネル並びに第Ｎ出力チャンネルにおいて発生するノイズを低減することが可能であり、これにより、１ライン分の最小露光差分画素データのみを記憶するだけで良くなるので、第１〜第（Ｎ−１）出力チャンネル並びに第Ｎ出力チャンネルにおいて発生するノイズを低減できると共に、最小露光差分画素データを記憶するのに必要なメモリ容量を低減することができるという効果が得られる。

〔形態５〕 更に、形態５の撮像装置は、形態３の撮像装置において、
前記画素のラインの全ライン数よりも少ない複数ライン分の前記最小露光差分画素データを前記最小露光差分画素データ記憶手段に記憶するようになっており、
前記差分画素データ生成手段は、前記画素のライン毎に、前記第１〜第（Ｎ−１）出力チャンネルを介してそれぞれ出力される（Ｎ−１）種類の露光時間にそれぞれ対応する画素データの画素値と、当該各画素データに対応する前記最小露光画素データ取得手段で取得した最小露光画素データの画素値との差分値を算出すると共に、当該各画素データの差分値と、前記最小露光差分画素データ記憶手段に記憶された複数ライン分の最小露光差分画素データのいずれかの値との差分値を算出し、当該差分値からなる差分画素データを生成するようになっていることを特徴としている。

このような構成であれば、前記画素のラインの全ライン数よりも少ない複数ライン分の前記最小露光差分画素データを前記最小露光差分画素データ記憶手段に記憶することが可能であり、前記差分画素データ生成手段は、前記画素のライン毎に、前記第１〜第（Ｎ−１）出力チャンネルを介してそれぞれ出力される（Ｎ−１）種類の露光時間にそれぞれ対応する画素データの画素値と、当該各画素データに対応する前記最小露光画素データ取得手段で取得した最小露光画素データの画素値との差分値を算出すると共に、当該各画素データの差分値と、前記最小露光差分画素データ記憶手段に記憶された複数ライン分の最小露光差分画素データのいずれかの値との差分値を算出し、当該差分値からなる差分画素データを生成することが可能である。

ここで、本発明者らは、実験を行って、上記形態４の構成の撮像装置によって撮像した画像は、形態２の構成のように第１〜第（Ｎ−１）出力チャンネル並びに第Ｎ出力チャンネルにおいて発生するノイズを、このノイズに対して低減させる処理を何もしないときよりは低減させることができたが、上記形態３の構成のように、全ライン分の最小露光差分画素データを用いたときよりも低減できていないことを確認した。そこで、本形態の構成のように、複数ライン分の最小露光差分画素データを記憶するようにし、これら複数ライン分の最小露光差分画素データを、例えば、最小露光差分画素データと同じライン及びその近傍のラインに対して適用するなど、複数ライン分の最小露光差分画素データを用いることで形態４の構成よりもノイズを低減させることができた。従って、本形態の構成であれば、全ライン分の最小露光差分画素データを記憶するよりもメモリ容量を低減できると共に、１ライン分の最小露光差分画素データを用いるよりもノイズを低減できるという効果が得られる。

〔形態６〕 更に、形態６の撮像装置は、形態２乃至５のいずれか１の撮像装置において、
前記第１〜第（Ｎ−１）出力チャンネルを介してそれぞれ出力される、前記光電変換部の光学的黒となる領域の光電変換素子の電荷に対応した画素データを取得し、前記第Ｎ出力チャンネルを介して出力される、前記光学的黒となる領域の光電変換素子の電荷に対応した画素データを取得し、前記第１〜第（Ｎ−１）出力チャンネルの各出力チャンネル毎に、当該各出力チャンネルを介してそれぞれ取得した光学的黒となる領域の画素データの画素値と、前記第Ｎ出力チャンネルを介して取得した光学的黒となる領域の画素データの画素値との差分値に基づく値からなるＯＢ差分画素データを生成するＯＢ差分画素データ生成手段と、を備え、
前記差分画素データ生成手段は、前記画素のライン毎に、前記第１〜第（Ｎ−１）出力チャンネルを介してそれぞれ出力される（Ｎ−１）種類の露光時間にそれぞれ対応する画素データの画素値と、当該各画素データに対応する前記最小画素データ取得手段で取得した最小露光画素データの画素値との差分値を算出すると共に、当該各画素データの差分値に、ＯＢ差分画素データの値を加算し、当該加算結果からなる差分画素データを生成するようになっていることを特徴としている。

このような構成であれば、ＯＢ差分画素データ生成手段によって、前記第１〜第（Ｎ−１）出力チャンネルを介してそれぞれ出力される、前記光電変換部の光学的黒となる領域の光電変換素子の電荷に対応した画素データを取得し、前記第Ｎ出力チャンネルを介して出力される、前記光学的黒となる領域の光電変換素子の電荷に対応した画素データを取得し、前記第１〜第（Ｎ−１）出力チャンネルの各出力チャンネル毎に、当該各出力チャンネルを介してそれぞれ取得した光学的黒となる領域の画素データの画素値と、前記第Ｎ出力チャンネルを介して取得した光学的黒となる領域の画素データの画素値との差分値に基づく値からなるＯＢ差分画素データを生成することが可能であり、前記差分画素データ生成手段は、前記画素のライン毎に、前記第１〜第（Ｎ−１）出力チャンネルを介してそれぞれ出力される（Ｎ−１）種類の露光時間にそれぞれ対応する画素データの画素値と、当該各画素データに対応する前記最小画素データ取得手段で取得した最小露光画素データの画素値との差分値を算出すると共に、当該各画素データの差分値に、ＯＢ差分画素データの値を加算し、当該加算結果からなる差分画素データを生成することが可能である。

ここで、本発明者らは、実験を行って、第１〜（Ｎ−１）出力チャンネルからそれぞれ出力されるＮ−１種類の露光時間にそれぞれ対応する画素データの画素値と、当該各画素データに対応する前記最小画素データ取得手段で取得した最小露光画素データの画素値との差分値を算出したときに、差分値がマイナスの値になるときがあることを確認した。マイナスの画素値は画像処理において通常は存在し得ない値であり、このようなマイナス値となる値は予め「０」に固定するなどの処置がとられるため、例えば、この部分が点となって画像に出現するなど画質を劣化させる要因となる。また、差分値を算出したときにマイナス値になる要因の一つとしては、第１〜第（Ｎ−１）出力チャンネル並びに第Ｎ出力チャンネルを介して読み出したＯＢ（オプティカルブラック）領域の画素信号のレベル差によるものがある。そこで、本形態の構成のように、ＯＢ領域の画素信号を用いて、例えば、第１〜第（Ｎ−１）出力チャンネルを介してそれぞれ取得したＯＢ領域の全画素信号の画素値の各出力チャンネル毎の平均値と第Ｎ出力チャンネルを介して取得したＯＢ領域の全画素信号の画素値の平均値との差分値、第１〜第（Ｎ−１）出力チャンネルを介して取得したＯＢ領域の画素信号の画素値の各出力チャンネル毎の最大値と最小値との差分と、第Ｎ出力チャンネルを介して取得したＯＢ領域の画素信号の画素値の最大値と最小値との差分との差分などを算出するなど、ＯＢ領域の画素信号の画素値の差分値に基づく値を算出してＯＢ差分画素データを生成し、この値を、第１〜第（Ｎ−１）出力チャンネルを介して出力されるＮ−１種類の露光時間にそれぞれ対応する画素データの画素値と、当該各画素データに対応する前記最小画素データ取得手段で取得した最小露光画素データの画素値との差分値に加算して差分画素データを生成することで、ＯＢ領域の画素信号のレベル差が原因で画素値がマイナスになるのを防ぐことができるという効果が得られる。

以下、本発明に係る撮像装置の実施の形態を、図面に基づいて説明する。図１〜図７は、本発明に係る撮像装置１の実施の形態を示す図である。
この撮像装置１は、１フレーム期間（１回の露光区間）に２種類の露光時間（通常露光時間≫最小露光時間）で画像を撮像可能な電子シャッタ機能を備えた撮像素子を備える。また、この撮像素子からは、画素列毎に順次、光電変換された画素信号が出力される。

以下、図１に基づき、本発明に係る撮像装置１の概略構成を説明する。ここで、図１は、本発明に係る撮像装置１の概略構成を示すブロック図である。
撮像装置１は、図１に示すように、光電変換素子等から構成されるイメージセンサ１０ａ（後述）と、イメージセンサ１０ａからの画素信号を非破壊読み出し方式で読み出し、当該画素信号の画素データを出力する撮像処理部１０と、撮像処理部１０から出力される各種画素データに基づき、ＯＢ差分画素データ及び最小露光画素データを生成すると共に、これら生成した画素データに基づきノイズ成分を除去した差分画素データを生成する画像処理部１２と、撮像処理部１０から出力される各種画素データ、ＯＢ差分画素データ、最小露光画素データ及び前記差分画素データを記憶するフレームメモリ１４とを含んで構成される。

また、本実施の形態における撮像装置１は、図１に示すホストシステム２からの各種制御信号に基づき、ＯＢ差分画素データ生成処理、最小露光画素データ生成処理、差分画素データ生成処理等の各種処理が制御され且つ実行される。
更に、図２に基づき、撮像装置１の内部構成を説明する。ここで、図２は、本発明に係る撮像装置１の内部構成を示すブロック図である。

図２に示すように、撮像処理部１０は、イメージセンサ１０ａと、露光時間設定用レジスタ１０ｂと、第１のＡＦＥ(Analog Front End)１０ｃと、第２のＡＦＥ１０ｄとを含んで構成される。
イメージセンサ１０ａは、被写体からの光を撮像レンズ（不図示）でセンサセルアレイ（不図示）に集光し、その集光量に応じた電荷をセンサセルアレイの各画素に蓄積させる。また、イメージセンサ１０ａは、タイミング制御部１２ｆ（後述）から出力される駆動信号（ピクセルクロック、水平同期信号及び垂直同期信号）に基づいて、センサセルアレイの各画素列に蓄積されている電荷群を電圧群に順次変換し、異なる２種類の露光時間の各種類毎に、その変換された電圧群を、一方の露光時間の電圧群は、第１水平転送部（不図示）の有する、第１ラインメモリを含んで構成される第１出力チャンネル（以下、ＣＨ１と称す）を介して第１のＡＦＥ１０ｃに順次出力させ、他方の露光時間の電圧群は、第２水平転送部（不図示）の有する、第２ラインメモリを含んで構成される第２出力チャンネル（以下、ＣＨ２と称す）を介して第２のＡＦＥ１０ｄに順次出力させる。また、本実施の形態においては、非破壊読み出し方式で各画素からの電荷の読み出しを行うことによって、電子シャッタ機能による１回の露光区間（通常露光時間）において、各画素列の最小露光時間（設定可能な最小時間）での露光時の電荷群と、通常露光時間（ユーザ等によって任意に設定可能）での露光時の電荷群とを読み出すようになっている。

以下、図３に基づき、撮像処理部１０におけるイメージセンサ１０ａの露光時間の制御方法、及びイメージセンサ１０ａからの画素信号の読み出し方法について説明する。ここで、図３は、撮像処理部１０における各画素のライン毎の露光及び画素信号の非破壊読み出し動作の一例を示す図である。
ここで、本発明の露光時間の制御は、センサセルアレイに対して、蓄積電荷を空にするためのクリアラインを設定し、このクリアラインを基準として、露光時間設定用レジスタ１０ｂに書き込まれる通常露光時間の画素信号の非破壊読み出しを行う第１読み出しラインを設定すると共に、露光時間設定用レジスタ１０ｂに予め書き込まれている最小露光時間時の画素信号の非破壊読み出しを行う第２読み出しラインを設定し、１回の露光区間（通常露光時間）において、通常露光時間時の画素信号及び最小露光時間時の画素信号の非破壊読み出しが実行されるように行われる。つまり、これら第１読み出しライン及び第２読み出しラインは、図３に示すように、所定位置の画素のライン（例えば、第１ライン）にクリアラインが設定されると、当該クリアラインから最小露光時間分の時間を空けて第２読み出しラインが第１ラインの画素信号を読み出すように設定され、クリアラインから通常露光時間分の時間を空けて第１ラインの画素信号を読み出すように第１読み出しラインが設定される。なお、本実施の形態において、通常露光時間時の画素信号は、ＣＨ１の第１ラインメモリに読み出されて第１のＡＦＥ１０ｃに出力されそこでデジタルデータ（以下、画素データと称す）に変換される。一方、最小露光時間時の画素信号は、ＣＨ２の第２ラインメモリに読み出されて第２のＡＦＥ１０ｄに出力されそこでデジタルデータ（画素データ）に変換される。

また、上記第１読み出しライン及び第２読み出しラインの画素信号の読み出しタイミングの制御は、図３に示すように、各画素のライン毎に、クリアライン、第２読み出しライン及び第１読み出しラインを順次走査し（図３では上方向）、クリアラインにおける電荷のクリア後に、このクリア後の画素のラインに対して、第２読み出しラインにおいて最小露光時間時の画素信号の非破壊読み出しを行い、クリアラインにおける電荷のクリア後で通常露光時間が経過した画素のラインに対して、第１読み出しラインにおいて通常露光時間時の画素信号の非破壊読み出しを行う。このような手順で、センサセルアレイの全画素のラインに対して、各画素のライン毎に、電荷のクリア及び最小露光時の画素信号の非破壊読み出しを順次行うと共に、当該最小露光時の画素信号の非破壊読み出しが行われた画素のラインに対して通常露光時の画素信号の読み出しを順次行う。従って、ＣＨ１及びＣＨ２から出力される画素データには、少なくとも「通常露光時間−最小露光時間」の時間差が生じることになる。

図２に戻って、露光時間設定用レジスタ１０ｂは、電子シャッタ機能における露光時間（電荷蓄積時間）を指定するためのレジスタで、本実施の形態においては、当該露光時間設定用レジスタ１０ｂに書き込まれた露光時間に基づきＣＨ１及びＣＨ２の各チャンネルに対応した読み出しラインに対して最小露光時間及び通常露光時間がそれぞれ設定される。この通常露光時間による露光が上記１回の露光区間となる。

第１のＡＦＥ１０ｃ及び第２のＡＦＥ１０ｄは、第１水平転送部のＣＨ１及び第２水平転送部のＣＨ２を介して出力される異なる２種類の露光時間にそれぞれ対応する電圧（アナログデータ）を、デジタルデータ（画素データ）に変換する。そして、第１のＡＦＥ１０ｃ及び第２のＡＦＥ１０ｄは、その生成された画素データを画像処理部１２の第１バッファ１２ｃ（後述）及び第２バッファ１２ｄ（後述）にそれぞれ出力する。

画像処理部１２は、通信部１２ａと、処理モード設定用レジスタ及びステータス用レジスタ１２ｂと、第１バッファ１２ｃと、第２バッファ１２ｄと、差分処理部１２ｅと、フレームメモリアクセス部１２ｆとを含んで構成される。
通信器１２ａは、上記ホストシステム２からの各種制御信号を受信する機能と、イメージセンサ１０ａに駆動制御信号を送信する機能と、露光時間設定用レジスタ１０ｂに露光時間設定信号を送信する機能と、処理モード設定用レジスタ及びステータス用レジスタ１２ｂにモード設定信号を送信する機能とを有している。ここで、処理モードとは、第１バッファ１２ｃ及び第２バッファ１２ｄ並びに差分処理部１２ｅの動作状態の組み合わせを示すものである。更に、ホストシステム２に対して、第１バッファ１２ｃ及び第２バッファ１２ｄ並びに差分処理部１２ｅの各処理状態を示すステータス信号を送信する機能を有している。

処理モード設定用レジスタ及びステータス用レジスタ１２ｂは、第１バッファ１２ｃ及び第２バッファ１２ｄ並びに差分処理部１２ｅに実行させる処理モードを指定するためのレジスタであると共に、第１バッファ１２ｃ及び第２バッファ１２ｄ並びに差分処理部１２ｅの各処理状態を示すステータスを書き込むレジスタである。なお、通信器１２ａは、処理モード設定用レジスタ及びステータス用レジスタ１２ｂに、ホストシステム２から送られてきたモード設定信号に基づくモード情報を書き込んで処理モードを指定し、処理モード設定用レジスタ及びステータス用レジスタ１２ｂに書き込まれたステータス情報をステータス信号としてホストシステム２に送信する。

ここで、本実施の形態において、上記処理モードには、イメージセンサ１０ａのＯＢ（オプティカルブラック）領域の画素データからＯＢ差分画素データを生成するＯＢ差分画素データ生成モード、最小露光時間時のＣＨ１及びＣＨ２からの画素データの差分値からなる最小露光差分画素データを生成する最小露光差分画素データ生成モード、通常露光時の画素データから各種ノイズ成分を除去した差分画素データを生成する差分画素データ生成モードの３つのモードがある。

第１バッファ１２ｃ及び第２バッファ１２ｄは、第１のＡＦＥ１０ｃ及び第２のＡＦＥ１０ｄからそれぞれ出力される画素データを一次的に保存し、当該保存した画素データと当該画素データを保存するフレームメモリ１４のアドレスをフレームメモリアクセス部１２ｇに出力する機能を有している。
差分処理部１２ｅは、処理モード設定用レジスタ及びステータス用レジスタ１２ｂに書き込まれた処理モードに応じて、ＯＢ差分画素データ、最小露光差分画素データ及び差分画素データのいずれか１の生成処理を実行する。

具体的には、ＯＢ差分画素データ生成モードであれば、撮像処理部１０からイメージセンサ１０ａのＯＢ領域の画素データをＣＨ１及びＣＨ２のそれぞれを介して取得し、このＯＢ領域の画素データに基づきＯＢ差分画素データを生成する。
また、最小露光差分画素データ生成モードであれば、最小露光時間時の画素データをＣＨ１及びＣＨ２を介してそれぞれ取得し、各画素毎に、ＣＨ１を介して取得した画素データの画素値から、ＣＨ２を介して取得したＣＨ１と同じ画素に対応する画素データの画素値を減算した差分値を算出し、当該差分値からなる最小露光差分画素データを生成する。

また、差分画素データ生成モードであれば、１回の露光区間において、ユーザ等によって任意に設定される通常露光時間時の画素データを各ライン毎にＣＨ１を介して取得し、予め設定された最小露光時間時の画素データを各ライン毎にＣＨ２を介して取得し、各画素毎に、ＣＨ１を介して取得した画素データの画素値から、ＣＨ２を介して取得したＣＨ１と同じ画素に対応する画素データの画素値を減算した差分値を算出し、この差分値に、ＯＢ差分画素データ生成モードで生成したＯＢ差分画素データの値を加算すると共に、この加算後の値から、最小露光差分画素データ生成モード生成した最小露光差分画素データの値を減算して差分画素データを生成する。

タイミング制御部１２ｆは、駆動信号（ピクセルクロック、水平同期信号、垂直同期信号）を生成し、それをイメージセンサ１０ａに出力すると共に、同期信号を第１バッファ１２ｃ及び第２バッファ１２ｄに出力する。また、タイミング制御部１２ｆは、水平同期信号、垂直同期信号から、撮像処理部１０から出力される画素信号の、撮像素子における画素位置（画素列（ライン）番号、画素番号）が分かるので、その画素列(ライン)番号（以下、「アドレス情報」とも呼ぶ。）を生成し、そのアドレス情報を第１バッファ１２ｃ及び第２バッファ１２ｄに出力する。

フレームメモリアクセス部１２ｇは、第１バッファ１２ｃ及び第２バッファ１２ｄ並びに差分処理部１２ｅと、フレームメモリ１４との間のデータの送受信を管理する機能を有している。つまり、フレームメモリアクセス部１２ｇは、第１バッファ１２ｃ及び第２バッファ１２ｄ並びに差分処理部１２ｅのいずれかから読み出し指令が出力されると、その出力された読み出し指令が示す画素データ（各種差分画素データを含む）をフレームメモリ１４から読み出し、その画素データを読み出し指令の出力元に出力する。また、第１バッファ１２ｃ及び第２バッファ１２ｄ並びに差分処理部１２ｅのいずれかから書き込み指令が出力されると、その出力された書き込み指令が示す画素データ（各種差分画素データを含む）をフレームメモリ１４に書き込む。

フレームメモリ１４は、図２に示すように、ＣＨ１を介して取得した通常露光時間時の画素データ（撮像領域の全ライン分）、ＣＨ２を介して取得した通常露光時間時の画素データ（撮像領域の全ライン分）、第１差分画素データ（撮像領域の全ライン分）、ＯＢ差分画素データ、最小露光差分画素データ（撮像領域の全ライン分）、第２差分画素データ（撮像領域の全ライン分）を記憶可能な容量を有したメモリであり、フレームメモリアクセス部１２ｇから読み出し要求があると、その要求が示す画素データを読み出させる。また、フレームメモリ１４は、フレームメモリアクセス部１２ｇから書き込み要求があると、その書き込み要求が示す画素データを書き込ませる。

更に、図４に基づき、ＯＢ差分画素データの生成処理の流れを説明する。ここで、図４は、ＯＢ差分画素データの生成処理を示すフローチャートである。
ＯＢ差分画素データの生成処理は、ホストシステム２からのモード設定信号に基づき、処理モード設定用レジスタ及びステータス用レジスタ１２ｂに、ＯＢ差分画素データ生成モードのデータ取得モード情報が設定される（書き込まれる）ことにより開始される処理である。ここで、通信器１２ａは、ホストシステム２からのモード設定信号に加え、ホストシステム２からの駆動信号をイメージセンサ１０ａに送信し、且つホストシステム２からの露光時間設定信号を露光時間設定用レジスタ１０ｂに送信する。この露光時間設定信号は、ＯＢ差分画素データ生成モードにおけるＣＨ１の第１読み出しラインに対する露光時間を設定するためのもので、ここでは、例えば、最小露光時間に設定する。なお、このＣＨ１に対する露光時間の情報は、ＣＨ２の最小露光時間と同様に予め露光時間設定用レジスタ１０ｂに記憶しておいても良い。

上記のように各種設定がなされると、図４に示すように、まずステップＳ１００に移行して、第１バッファ１２ｃ及び第２バッファ１２ｄにおいて、撮像処理部１０のＣＨ１及びＣＨ２を介してイメージセンサ１０ａのＯＢ領域の画素データを取得し、当該取得した画素データをフレームメモリアクセス部１２ｇを介してフレームメモリ１４に記憶してステップＳ１０２に移行する。

ステップＳ１０２では、第１バッファ１２ｃ及び第２バッファ１２ｄにおいて、ＯＢ領域の画素データの取得処理が終了したか否かを判定し、終了したと判定された場合(Yes)は、ステップＳ１０４に移行し、そうでない場合(No)は、ステップＳ１００に移行して取得処理を続行する。
ステップＳ１０４に移行した場合は、第１バッファ１２ｃ及び第２バッファ１２ｄにおいて、データ取得処理の終了を示すステータス信号を、処理モード設定用レジスタ及びステータス用レジスタ１２ｂ並びに通信器１２ａを介してホストシステム２に送信してステップＳ１０６に移行する。

ステップＳ１０６では、差分処理部１２ｅにおいて、処理モード設定用レジスタ及びステータス用レジスタ１２ｂに、ＯＢ差分画素データ生成モードのデータ生成モード情報が設定されたか否か（書き込まれたか否か）を判定し、設定されたと判定された場合(Yes)は、ステップＳ１０８に移行し、そうでない場合(No)は、設定されるまで待機する。
ステップＳ１０８に移行した場合は、差分処理部１２ｅにおいて、ステップＳ１００で取得し且つフレームメモリ１４に記憶された各チャンネル毎のＯＢ領域の画素データをフレームメモリアクセス部１２ｇを介して読み出し、当該読み出したＯＢ領域の画素データに基づきＯＢ差分画素データを生成し、当該生成したＯＢ差分画素データを、フレームメモリアクセス部１２ｇを介してフレームメモリ１４に記憶してステップＳ１１０に移行する。

ステップＳ１１０では、差分処理部１２ｅにおいて、ＯＢ差分画素データの生成処理が終了したか否かを判定し、終了したと判定された場合(Yes)は、ステップＳ１１２に移行し、そうでない場合(No)は、ステップＳ１０８に移行してＯＢ差分画素データの生成処理を続行する。
ステップＳ１１２に移行した場合は、差分処理部１２ｅにおいて、ＯＢ差分画素データの生成処理の終了を示すステータス信号を、処理モード設定用レジスタ及びステータス用レジスタ１２ｂ並びに通信器１２ａを介してホストシステム２に送信して処理を終了する。ここで、ホストシステム２は、ＯＢ差分画素データの生成処理の終了を示すステータス信号を受信すると、最小露光差分画素データ生成モードのデータ取得モードを示すモード設定信号を通信器１２ａを介して、撮像処理部１２に送信する。撮像処理部１２は、通信器１２ａで受信したデータ取得モードを示すモード信号に基づき、データ取得モード情報を処理モード設定用レジスタ及びステータス用レジスタ１２ｂ並びに通信器１２ａに設定し（書き込み）、最小露光差分画素データ生成モードのデータ取得モードへと移行する。なお、本実施の形態において、上記ＯＢ差分画素データの生成処理は、電源投入後にバッチ処理として１回だけ行われる処理である。

更に、図５に基づき、最小露光差分画素データ生成処理の流れを説明する。ここで、図５は、最小露光差分画素データ生成処理を示すフローチャートである。
最小露光差分画素データの生成処理は、ホストシステム２からのモード設定信号に基づき、処理モード設定用レジスタ及びステータス用レジスタ１２ｂに、最小露光差分画素データ生成モードのデータ取得モード情報が設定される（書き込まれる）ことにより開始される処理である。ここで、通信器１２ａは、ホストシステム２からのモード設定信号に加え、ホストシステム２からの駆動信号をイメージセンサ１０ａに送信し、且つホストシステム２からの露光時間設定信号を露光時間設定用レジスタ１０ｂに送信する。この露光時間設定信号は、最小露光差分画素データ生成モードにおけるＣＨ１の第１読み出しラインに対する露光時間を設定するためのもので、ここでは、最小露光時間に設定する。なお、このＣＨ１に対する露光時間の情報は、ＣＨ２の最小露光時間と同様に予め露光時間設定用レジスタ１０ｂに記憶しておいても良い。

上記のように各種設定がなされると、図５に示すように、まずステップＳ２００に移行して、第１バッファ１２ｃ及び第２バッファ１２ｄにおいて、撮像処理部１０のＣＨ１及びＣＨ２を介して、イメージセンサ１０ａの最小露光時間での露光時の画素データをそれぞれ順次取得し、当該取得した画素データをフレームメモリアクセス部１２ｇを介してフレームメモリ１４に記憶してステップＳ２０２に移行する。

ステップＳ２０２では、第１バッファ１２ｃ及び第２バッファ１２ｄにおいて、Ｈ１及びＣＨ２を介して、１フレーム分（撮像領域の画素の全ライン分）の最小露光時間で露光時の画素データの取得処理が終了したか否かを判定し、終了したと判定された場合(Yes)は、ステップＳ２０４に移行し、そうでない場合(No)は、ステップＳ２００に移行して取得処理を続行する。

ステップＳ２０４に移行した場合は、第１バッファ１２ｃ及び第２バッファ１２ｄにおいて、データ取得処理の終了を示すステータス信号を、処理モード設定用レジスタ及びステータス用レジスタ１２ｂ並びに通信器１２ａを介してホストシステム２に送信してステップＳ２０６に移行する。
ステップＳ２０６では、差分処理部１２ｅにおいて、処理モード設定用レジスタ及びステータス用レジスタ１２ｂに、最小露光差分画素データ生成モードのデータ生成モード情報が設定されたか否か（書き込まれたか否か）を判定し、設定されたと判定された場合(Yes)は、ステップＳ２０８に移行し、そうでない場合(No)は、設定されるまで待機する。

ステップＳ２０８に移行した場合は、差分処理部１２ｅにおいて、ステップＳ２００で取得し且つフレームメモリ１４に記憶された各チャンネル毎の１フレーム分の画素データをフレームメモリアクセス部１２ｇを介して読み出し、当該読み出した画素データに基づき最小露光差分画素データを生成し、当該生成した最小露光差分画素データを、フレームメモリアクセス部１２ｇを介してフレームメモリ１４に記憶してステップＳ２１０に移行する。

ステップＳ２１０では、差分処理部１２ｅにおいて、最小露光差分画素データの生成処理が終了したか否かを判定し、終了したと判定された場合(Yes)は、ステップＳ２１２に移行し、そうでない場合(No)は、ステップＳ２０８に移行して最小露光差分画素データの生成処理を続行する。
ステップＳ２１２に移行した場合は、差分処理部１２ｅにおいて、最小露光差分画素データの生成処理の終了を示すステータス信号を、処理モード設定用レジスタ及びステータス用レジスタ１２ｂ並びに通信器１２ａを介してホストシステム２に送信して処理を終了する。ここで、ホストシステム２は、最小露光差分画素データの生成処理の終了を示すステータス信号を受信すると、通常撮影モードを示すモード設定信号を通信器１２ａを介して、撮像処理部１２に送信する。撮像処理部１２は、通信器１２ａで受信したデータ取得モードを示すモード設定信号に基づき、通常撮影モード情報を処理モード設定用レジスタ及びステータス用レジスタ１２ｂ並びに通信器１２ａに設定し（書き込み）、通常撮影モードへと移行する。なお、本実施の形態において、上記最小露光差分画素データの生成処理は、電源投入後にバッチ処理として１回だけ行われる処理である。

更に、図６に基づき、差分画素データ生成処理の流れを説明する。ここで、図６は、差分画素データ生成処理を示すフローチャートである。
差分画素データ生成処理は、ホストシステム２からのモード設定信号に基づき、処理モード設定用レジスタ及びステータス用レジスタ１２ｂに、通常撮影モード情報が設定される（書き込まれる）ことにより開始される処理である。ここで、通信器１２ａは、ホストシステム２からのモード設定信号に加え、ホストシステム２からの駆動信号をイメージセンサ１０ａに送信し、且つホストシステム２からの露光時間設定信号を露光時間設定用レジスタ１０ｂに送信する。この露光時間設定信号は、ＣＨ１の第１読み出しラインに対する露光時間を設定するためのもので、ここでは、例えば、最小露光時間に設定する。
ここで、通信器１２ａは、ホストシステム２からのモード設定情報（信号）の設定に加え、ホストシステム２からの駆動信号をイメージセンサ１０ａに送信し、且つホストシステム２からの露光時間設定信号を露光時間設定用レジスタ１０ｂに送信する。この露光時間設定信号は、ＣＨ１の第１読み出しラインに対する露光時間を設定するためのもので、ここでは、露光時間として、ユーザ等によって指定される任意の露光時間（通常露光時間）が設定される。

上記のように各種設定がなされると、図６に示すように、まずステップＳ３００に移行して、イメージセンサ１０ａにおいて、露光時間設定用レジスタ１０ｂに設定されたＣＨ１用の露光時間に基づき、当該ＣＨ１の読み出しラインに通常露光時間を設定してステップＳ３０２に移行する。
ステップＳ３０２では、イメージセンサ１０ａにおいて、露光時間設定用レジスタ１０ｂに設定されたＣＨ２用の露光時間に基づき、当該ＣＨ２の読み出しラインに最小露光時間を設定してステップＳ３０４に移行する。

ステップＳ３０４では、第１バッファ１２ｃ及び第２バッファ１２ｄにおいて、撮像処理部１０のＣＨ２を介して、最小露光時間での露光時のイメージセンサ１０ａの１フレーム分の画素データを画素のライン毎に順次取得し、ＣＨ１を介して通常露光時間での露光時のイメージセンサ１０ａの１フレーム分の画素データを画素のライン毎に順次取得してステップＳ３０６に移行する。

ステップＳ３０６では、第１バッファ１２ｃ及び第２バッファ１２ｄにおいて、ステップＳ３０４においてＣＨ１及びＣＨ２を介して取得した通常露光時間及び最小露光時間の画素データをフレームメモリアクセス部１２ｇを介してフレームメモリ１４に記憶してステップＳ３０８に移行する。
ステップＳ３０８では、差分処理部１２ｅにおいて、ＣＨ１を介して取得した通常露光時の画素データ（以下、通常露光画素データと称す）と、ＣＨ２を介して取得した最小露光時の画素データ（以下、最小露光画素データと称す）とを、画素のライン毎にフレームメモリアクセス部１２ｇを介してフレームメモリ１４から読み出してステップＳ３１０に移行する。

ステップＳ３１０では、差分処理部１２ｅにおいて、ステップＳ３０８で読み出したライン単位の画素データの各画素データ毎に、ＣＨ１の通常露光画素データの画素値から、この画素データと同じ画素位置のＣＨ２の最小露光画素データの画素値を減算した差分値を算出し、当該差分値からなる第１差分画素データを生成してステップＳ３１２に移行する。

ステップＳ３１２では、差分処理部１２ｅにおいて、ステップＳ３１０で生成した第１差分画素データを、フレームメモリアクセス部１２ｇを介してフレームメモリ１４に記憶してステップＳ３１４に移行する。
ステップＳ３１４では、差分処理部１２ｅにおいて、画素のライン毎の第１差分画素データ、ＯＢ差分画素データ及び画素のライン毎の最小露光差分画素データを、フレームメモリアクセス部１２ｇを介してフレームメモリ１４から読み出してステップＳ３１６に移行する。

ステップＳ３１６では、差分処理部１２ｅにおいて、ステップＳ３１４で読み出したライン単位の第１差分画素データの各画素データ毎に、当該第１差分画素データの画素値から、この画素データと同じ画素位置の最小露光差分画素データの画素値を減算した差分値を算出し、この差分値にＯＢ差分画素データの画素値を加算した加算結果からなる第２差分画素データを生成してステップＳ３１８に移行する。

ステップＳ３１８では、差分処理部１２ｅにおいて、ステップＳ３１６で生成した第２差分画素データを、フレームメモリアクセス部１２ｇを介してフレームメモリ１４に記憶してステップＳ３２０に移行する。
ステップＳ３２０では、フレームメモリアクセス部１２ｇにおいて、ステップＳ３１８でフレームメモリ１４に記憶された第２差分画素データをホストシステム２に出力してステップＳ３２２に移行する。

ステップＳ３２２では、差分処理部１２ｅにおいて、１フレーム分の画素の全ラインに対して、第１差分画素データ生成処理、第２差分画素データの生成処理及び第２差分画素データの出力処理が終了したか否かを判定し、終了したと判定された場合(Yes)は、ステップＳ３００に移行し、そうでない場合(No)は、ステップＳ３０４に移行する。
ここで、図７は、通常撮影モードにおける、第１差分画素データの生成処理、第２差分画素データの生成処理及び第２差分画素データの出力処理のパイプライン処理の流れを示す図である。なお、第１差分画素データの生成処理（図７中の処理１）は、図６のフローチャートにおけるステップＳ３０４〜Ｓ３１０の処理に該当し、第２差分画素データの生成処理（図７中の処理２）は、図６のフローチャートにおけるステップＳ３１２〜３１８の処理に該当し、第２差分画素データの出力処理（図７中の処理３）は、ステップＳ３２２の処理に該当する。

本実施の形態においては、図７に示すように、上記処理１、処理２及び処理３がパイプライン処理される。
具体的には、処理１が開始されると、まず、ＣＨ１を介して取得した通常露光時のイメージセンサ１０ａの撮像領域における第１ラインの画素データと、同様にＣＨ２を介して取得した最小露光時の第１ラインの画素データとから第１ラインに対する第１差分画素データが生成される。第１ラインに対する第１差分画素データが生成されると、次いで、ＣＨ１を介して取得した通常露光時の第２ラインの画素データと、ＣＨ２を介して取得した最小露光時の第２ラインの画素データとから第２ラインに対する第１差分画素データが生成される。つまり、イメージセンサ１０ａの撮像領域における第１ライン〜第ｎライン（ｎは撮像領域の最大ライン数）の各ラインに対応した画素データに対して、各ライン毎に処理１が順次行われる。

一方、処理１において、第１ラインに対する第１差分画素データが生成され且つこの生成された第１差分画素データがフレームメモリ１４に記憶されると、処理２が開始され、フレームメモリ１４に記憶された、第１ラインに対する第１差分画素データと、ＯＢ差分画素データと、第１ラインに対応する最小露光差分画素データとから第１ラインに対する第２差分画素データが生成される。第１ラインに対する第２差分画素データが生成され、且つ第２ラインに対する第１差分画素データがフレームメモリ１４に記憶されると、次いで、第２ラインに対する第１差分画素データと、ＯＢ差分画素データと、第２ラインに対応する最小露光差分画素データとから第２ラインに対する第２差分画素データが生成される。つまり、処理１に追随して、第１ライン〜第ｎラインの第１差分画素データに対して、各ライン毎に処理２が順次行われる。

更に、第２処理において、第１ラインに対する第２差分画素データが生成され且つこの生成された第１差分画素データがフレームメモリ１４に記憶されると、処理３が開始され、フレームメモリ１４に記憶された、第１ラインに対する第２差分画素データをホストシステム２に出力する。第１ラインに対する第２差分画素データが出力され、且つ第２ラインに対する第２差分画素データがフレームメモリ１４に記憶されると、次いで、第２ラインに対する第２差分画素データがホストシステム２に出力される。つまり、処理２に追随して、第１ライン〜第ｎラインの第２差分画素データに対して、各ライン毎に処理３が順次行われる。

このように、上記処理１〜処理３は、パイプライン処理方式で実行される。
次に、本実施形態の撮像装置１の実際の動作を説明する。
撮像装置１は、電源が投入され、且つホストシステム２からのＯＢ差分画素データの生成処理モードにおけるデータ取得モードのモード設定信号を通信器１２ａが受信すると、当該受信したモード設定信号に基づき、処理モード設定用レジスタ及びステータス用レジスタ１２ｂに、当該データ取得モードの情報が設定される（書き込まれる）。

処理モード設定用レジスタ及びステータス用レジスタ１２ｂに前記データ取得モードの情報が設定されると、撮像処理部１０は、ＣＨ１及びＣＨ２に対応する第１及び第２読み出しラインに対して、それぞれ最小露光時間を設定する。一方、第１バッファ１２ｃ及び第２バッファ１２ｄは、ＣＨ１及びＣＨ２を介して、イメージセンサ１０ａのＯＢ領域の最小露光時間時の画素データを取得し、当該取得した画素データをフレームメモリ１４に記憶する（ステップＳ１００）、第１バッファ１２ｃ及び第２バッファ１２ｄは、ＯＢ領域の画素データを全て取得し且つフレームメモリ１４に記憶すると（ステップＳ１０２の「Ｙｅｓ」の分岐）、取得処理終了を示すステータス信号を処理モード設定用レジスタ及びステータス用レジスタ１２ｂ並びに通信器１２ａを介してホストシステム２に送信する（ステップ１０４）。

そして、ホストシステム２からのＯＢ差分画素データの生成処理モードにおけるデータ生成モードのモード設定信号を通信器１２ａが受信し、処理モード設定用レジスタ及びステータス用レジスタ１２ｂに、当該データ生成モードの情報が設定される（書き込まれる）と（ステップＳ１０６の「Ｙｅｓ」の分岐）、差分処理部１２ｅにおいて、ＯＢ差分画素データの生成処理が実行される（ステップＳ１０８）。

本実施の形態においては、まず、ＣＨ１を介して取得したＯＢ領域の画素データの画素値の平均値を算出し、次いで、ＣＨ２を介して取得したＯＢ領域の画素データの画素値の平均値を算出する。そして、ＣＨ１の前記平均値から、ＣＨ２の前記平均値を減算した差分値を算出し、当該差分値からなる画素データをＯＢ差分画素データとしてフレームメモリ１４に記憶する。このようにして、ＯＢ差分画素データが生成され且つフレームメモリ１４に記憶されると（ステップＳ１１０の「Ｙｅｓ」の分岐）、差分処理部１２ｅは、生成処理終了を示すステータス信号を処理モード設定用レジスタ及びステータス用レジスタ１２ｂ並びに通信器１２ａを介してホストシステム２に送信する（ステップ１１２）。

一方、ホストシステム２は、通信器１２ａを介して、差分処理部１２ｅからのＯＢ差分画素データの生成処理終了を示すステータス信号を受信すると、通信器１２ａを介して、最小露光差分画素データの生成モードにおけるデータ取得モード情報を処理モード設定用レジスタ及びステータス用レジスタ１２ｂに設定する。
処理モード設定用レジスタ及びステータス用レジスタ１２ｂに最小露光差分画素データの生成モードにおけるデータ取得モード情報が設定されると、撮像処理部１０は、ＣＨ１及びＣＨ２に対応する第１及び第２読み出しラインに対して、それぞれ最小露光時間を設定する。一方、第１バッファ１２ｃ及び第２バッファ１２ｄは、ＣＨ１及びＣＨ２を介して、イメージセンサ１０ａの各画素の最小露光時間時の画素データを取得し、当該取得した画素データをフレームメモリ１４に記憶する（ステップＳ２００）、第１バッファ１２ｃ及び第２バッファ１２ｄは、１フレーム分の最小露光時間時の画素データを全て取得し且つフレームメモリ１４に記憶すると（ステップＳ２０２の「Ｙｅｓ」の分岐）、取得処理終了を示すステータス信号を処理モード設定用レジスタ及びステータス用レジスタ１２ｂ並びに通信器１２ａを介してホストシステム２に送信する（ステップ２０４）。

そして、ホストシステム２からの最小露光差分画素データの生成処理モードにおけるデータ生成モードのモード設定信号を通信器１２ａを受信し、処理モード設定用レジスタ及びステータス用レジスタ１２ｂに、当該データ生成モードの情報が設定される（書き込まれる）と（ステップＳ２０６の「Ｙｅｓ」の分岐）、差分処理部１２ｅにおいて、最小露光差分画素データの生成処理が実行される（ステップＳ２０８）。

本実施の形態においては、各ラインの画素データに対して、各画素毎に、ＣＨ１を介して取得した画素データの画素値から、ＣＨ２を介して取得した当該画素データと同じ画素位置の画素データの画素値を減算した差分値を算出し、当該差分値からなる画素データを最小露光差分画素データとしてフレームメモリ１４に記憶する。このように、最小露光時間（略遮光状態）で、ＣＨ１及びＣＨ２を介してそれぞれ別々に取得した画素データの差分値を算出することで、ＣＨ１及びＣＨ２のラインメモリの特性のバラツキによるノイズ成分からなる信号を得ることができる。

上記のようにして、１フレーム分の画素データに対して最小露光差分画素データが生成され且つフレームメモリ１４に記憶されると（ステップＳ２１０の「Ｙｅｓ」の分岐）、差分処理部１２ｅは、生成処理終了を示すステータス信号を処理モード設定用レジスタ及びステータス用レジスタ１２ｂ並びに通信器１２ａを介してホストシステム２に送信する（ステップ２１２）。

一方、ホストシステム２は、通信器１２ａを介して、差分処理部１２ｅからの最小露光差分画素データの生成処理終了を示すステータス信号を受信すると、通信器１２ａを介して、通常撮影モード情報を処理モード設定用レジスタ及びステータス用レジスタ１２ｂに設定する。
処理モード設定用レジスタ及びステータス用レジスタ１２ｂに通常撮影モード情報が設定されると、撮像処理部１０は、ＣＨ１に対応する第１読み出しラインに対して、ホストシステム２からの露光時間設定信号によって露光時間設定用レジスタ１０ｂに設定された通常露光時間を設定し（ステップＳ３００）、ＣＨ２に対応する第２読み出しラインに対して、露光時間設定用レジスタ１０ｂに予め設定されている最小露光時間を設定する（ステップＳ３０２）。

ＣＨ１及びＣＨ２に対応する第１及び第２読み出しラインに対してそれぞれ露光時間が設定されると、第１バッファ１２ｃは、ＣＨ１を介してイメージセンサ１０ａの各画素の通常露光時間時の画素データを各ライン毎に順次取得すると共に、第２バッファ１２ｄは、ＣＨ２を介してイメージセンサ１０ａの各画素の最小露光時間時の画素データを各ライン毎に順次取得して（ステップＳ３０４）、それぞれ取得した画素データをフレームメモリ１４に記憶する（ステップＳ３０６）。前述したように、各画素のラインに対しては、電子シャッタ機能による通常露光時間の露光区間において、最小露光時間時及び通常露光時間時の画素信号をそれぞれＣＨ１及びＣＨ２を介して非破壊で読み出す。

そして、差分処理部１２ｅにおいて、ＣＨ１を介してイメージセンサ１０ａの通常露光時間時の第１ラインの画素データが取得され且つフレームメモリ１４に記憶されたことを確認すると、第１差分画素データの生成処理（上記処理１）が開始され、フレームメモリ１４から、ＣＨ１を介して取得した第１ラインの通常露光時間時の画素データと、ＣＨ２を介して取得した第１ラインの最小露光時間時の画素データとを読み出し（ステップＳ３０８）、各画素毎に、通常露光時間時の画素データの画素値から、この画素データと同じ画素位置の最小露光時間時の画素データの画素値を減算した差分値を算出し、当該差分値からなる画素データを生成し（ステップＳ３１０）、これを第１差分画素データとしてフレームメモリ１４に記憶する（ステップＳ３１２）。このように、ＣＨ２を介して最小露光時間（略遮光状態）の露光時に取得した画素データと、ＣＨ１を介して通常露光時間の露光時に取得した画素データとの差分値を算出することで、イメージセンサ１０ａの各画素を構成する素子の特性のバラツキによるノイズ成分を除去した画素信号を得ることができる。

上記のような第１差分画素データの生成処理及びその記憶処理は、撮像画像の１フレーム分の画素のラインである第１ライン〜第ｎラインまで各ライン毎に順次行われる。
更に、差分処理部１２ｅにおいて、第１ラインに対する第１差分画素データが生成され且つフレームメモリ１４に記憶されたことを確認すると、第２差分画素データの生成処理（上記処理２）が開始され、フレームメモリ１４から、第１ラインに対応する第１差分画素データ、ＯＢ差分画素データ及び第１ラインに対応する最小露光差分画素データを読み出し（ステップＳ３１４）、第１ラインの第１差分画素データの各画素毎に、第１差分画素データの画素値から、この画素データと同じ画素位置の最小露光差分画素データの画素値を減算した差分値を算出し、当該差分値にＯＢ差分画素データの画素値を加算して第２差分画素データを生成する（ステップＳ３１６）。そして、この生成した第２差分画素データをフレームメモリ１４に記憶する（ステップＳ３１８）。このように、イメージセンサ１０ａの各画素を構成する素子の特性のバラツキによるノイズ成分が除去された第１差分画素データから、最小露光差分画素データの画素値を減算することで、ＣＨ１及びＣＨ２のラインメモリの特性のバラツキによるノイズ成分を更に除去することができる。更に、このＣＨ１及びＣＨ２のラインメモリの特性のバラツキによるノイズ成分が除去された画素データの画素値に対して、ＯＢ差分画素データの値を加算することで、ＣＨ１及びＣＨ２のラインメモリにおいて、それぞれ読み出したＯＢ領域の画素データにレベル差が生じるときに、ノイズ成分を除去した各画素データの画素値がマイナスの値になることを防ぐことができる。

上記のような第２差分画素データの生成処理及びその記憶処理は、撮像画像の１フレーム分の画素のラインである第１ライン〜第ｎラインまで各ライン毎に順次行われる。
なお更に、フレームメモリアクセス部１２ｇにおいて、第１ラインに対する第２差分画素データが生成され且つフレームメモリ１４に記憶されたことを確認すると、ホストシステム２からのピクセルクロック、水平同期信号及び垂直同期信号に同期して、第１ラインに対する第２差分画素データをホストシステム２に出力する（ステップＳ３２０）。

上記のような第２差分画素データの出力処理は、第１ライン〜第ｎラインまで各ライン毎に順次行われ、第ｎラインまで処理が終了すると（ステップＳ３２２の「Ｙｅｓ」の分岐）、再びＣＨ１及びＣＨ２の露光時間の設定処理（変更なしの場合はスルーしても良い）に移行し、通常撮影モードにおける上記処理１〜処理３をパイプライン処理によって繰り返し行う。

なお、イメージセンサ１０ａやＣＨ１及びＣＨ２のラインメモリにおいて生じるノイズは環境の変化（特に温度変化）によって変わるので、例えば、温度センサ等の周囲の環境の変化を測定できるセンサによって周囲の温度等の環境の変化を測定し、測定値に大きな変化があった場合などに、通常撮影モードの移行前にバッチ処理で生成される上記ＯＢ差分画素データ及び最小露光差分画素データを生成し直すことで、環境の変化にも対応することが可能である。

このように、本実施の形態の撮像装置１では、非破壊読み出し方式で読み出した画素データから、イメージセンサ１０ａの各画素を構成する素子の特性のバラツキによるノイズ成分を除去するようにし、ＣＨ１及びＣＨ２のラインメモリの特性のバラツキによるノイズ成分を除去するようにしたので、これにより、非破壊読み出し方式で読み出した画素信号を用いて生成される撮像画像の画質を改善することが可能である。

また、イメージセンサ１０ａの各画素を構成する素子の特性のバラツキによるノイズ成分及びＣＨ１及びＣＨ２のラインメモリの特性のバラツキによるノイズ成分が除去された画素データに対して、ＯＢ差分画素データの値を加算するようにしたので、これにより、ＣＨ１及びＣＨ２のラインメモリにおいて、それぞれ読み出したＯＢ領域の画素データにレベル差が生じるときに、前記ノイズ成分を除去後の各画素データの画素値がマイナスの値になることを防ぐことができるので、ＯＢ領域の画素データのチャンネル間のレベル差による画質劣化を防ぐことが可能である。

上記実施の形態において、撮像処理部１０は、形態１の撮像手段に対応し、画像処理部１２における撮像処理部１０からの最小露光時間時の画素データの取得処理は、形態１乃至形態５のいずれか１の最小露光画素データ取得手段に対応し、画像処理部１２における最小露光差分画素データの生成処理は、形態３の最小露光差分画素データ生成手段に対応し、画像処理部１２におけるＯＢ差分画素データの生成処理は、形態６のＯＢ差分画素データ生成手段に対応し、画像処理部１２における第１差分画素データ及び第２差分画素データの生成処理は、形態１乃至６のいずれか１の差分画素データ生成手段に対応し、フレームメモリ１４は、形態３乃至５のいずれか１の最小露光差分画素データ記憶手段に対応する。

なお、上記実施の形態において、通常露光時の画素信号を読み出す第１出力チャンネル１つと、最小露光時の画素信号を読み出す第２出力チャンネル１つとの計２つの出力チャンネルを有する構成としたが、これに限らず、設定する露光時間の種類に応じて、例えば、（Ｎ−１）種類（Ｎは２以上の自然数）の露光時間にそれぞれ対応した第１〜第（Ｎ−１）出力チャンネルの複数チャンネルと、最小露光時間に対応した第Ｎチャンネルとを備える構成としても良い。これにより、１フレーム期間に、複数種類の露光時間で露光を行う多段露光によってＨＤＲデータを生成するような場合にも対応することができる。

また、上記実施の形態においては、最小露光差分画素データを、イメージセンサ１０ａの撮像領域の画素全てに対して生成してフレームメモリ１４に記憶するようにしたが、これに限らず、前述したように各出力チャンネルで生じるノイズは、画像に縦縞を発生させる特性があるので、イメージセンサ１０ａのセンサセルの所定の１ライン分に対する最小露光差分画素データを生成し、これを第１差分画素データの各ラインに繰り返し用いて第２差分画素データを生成する構成としても良いし、イメージセンサ１０ａのセンサセルの所定の複数ライン分（但し、最大ライン数よりも少ない）に対する最小露光差分画素データを生成し、これらを第１差分画素データの各ラインに割り振って用い第２差分画素データを生成する構成としても良い。複数ライン分の最小露光差分画素データを生成する場合は、例えば、センサセルの撮像領域の画素のラインを均等に上中下の３つの領域に分けて、それぞれの領域から１ラインずつ任意の画素のラインを選択し、これら選択した画素のラインに対してのみ最小露光差分画素データを生成する。そして、上中下の３つの領域から選択された各ラインの最小露光差分画素データを、それぞれ同じ領域に含まれる各第１差分画素データに対して用いて第２差分画素データを生成する。このように、最小露光差分画素データを、イメージセンサ１０ａの撮像領域の画素全てに対して生成せずに、１ライン、又は複数ライン分だけ生成することで、最小露光差分画素データの記憶に必要なメモリの容量を低減することができ、撮像装置１のコストを低減することが可能である。

また、上記実施の形態においては、ＯＢ差分画素データを、ＣＨ１及びＣＨ２を介して取得したＯＢ領域の画素データのそれぞれの平均値の差分値とする例を説明したが、これに限らず、例えば、ＣＨ１に対応するＯＢ領域の画素データの最大値と最小値との差分値から、ＣＨ２に対応するＯＢ領域の画素データの最大値と最小値との差分値を減算した差分値からなるデータをＯＢ差分画素データとするなど他の値としても良い。

本発明に係る撮像装置１の概略構成を示すブロック図である。 本発明に係る撮像装置１の内部構成を示すブロック図である。 撮像処理部１０における各画素のライン毎の露光及び画素信号の非破壊読み出し動作の一例を示す図である。 ＯＢ差分画素データの生成処理を示すフローチャートである。 最小露光差分画素データ生成処理を示すフローチャートである。 差分画素データ生成処理を示すフローチャートである。 通常撮影モードにおける、第１差分画素データの生成処理、第２差分画素データの生成処理及び第２差分画素データの出力処理のパイプライン処理の流れを示す図である。

符号の説明

１は撮像装置、２はホストシステム、１０は撮像処理部、１２は画像処理部、１４はフレームメモリ、１０ａはイメージセンサ、１０ｂは露光時間設定用レジスタ、１０ｃは第１のＡＦＥ、１０ｄは第２のＡＦＥ、１２ａは通信器、１２ｂは処理モード設定用及びステータス用レジスタ、１２ｃは第１バッファ、１２ｄは第２バッファ、１２ｅは差分処理部、１２ｆはタイミング制御部、１２ｇはフレームメモリアクセス部

Claims (6)

1. 露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、前記光電変換部における前記光電変換素子の構成する画素からの電荷の読み出しを非破壊で行う撮像手段とを備えた撮像装置であって、
   設定可能な最小露光時間での露光時に読み出した電荷に対応する画素データである最小露光画素データを取得する最小露光画素データ取得手段と、
   所定露光時間での露光時に読み出した電荷に対応する各画素データの画素値と、当該各画素データに対応する前記取得した各最小露光画素データの画素値との差分値を算出し、当該算出した差分値からなる差分画素データを生成する差分画素データ生成手段と、を備えることを特徴とする撮像装置。
2. （Ｎ−１）種類（Ｎは２以上の自然数）の露光時間に対応し、当該各種類毎の露光時間での露光時に読み出した前記画素のライン毎の電荷に対応する画素データを前記各種類毎にそれぞれ独立に記憶し、且つ当該記憶した画素データを前記各種類毎にそれぞれ独立に出力する（Ｎ−１）個の第１〜第（Ｎ−１）出力チャンネルと、
   前記（Ｎ−１）種類の露光時間に対する露光において、前記最小露光時間での露光時の前記画素のライン毎の電荷を読み出すと共に当該読み出した電荷に対応する画素データを記憶し、且つ当該記憶した画素データを出力する第Ｎ出力チャンネルと、を備え、
   前記最小露光画素データ取得手段は、前記第Ｎ出力チャンネルを介して出力される前記最小露光画素データを取得するようになっており、
   前記差分画素データ生成手段は、前記画素のライン毎に、前記第１〜第Ｎ−１出力チャンネルから出力される（Ｎ−１）種類の露光時間にそれぞれ対応する画素データの画素値と、当該各画素データに対応する前記最小画素データ取得手段で取得した最小露光画素データの画素値との差分値を算出し、当該算出した差分値からなる差分画素データを生成するようになっていることを特徴とする請求項１記載の撮像装置。
3. 前記第１〜第（Ｎ−１）出力チャンネルを介してそれぞれ出力される、前記最小露光時間での露光時の電荷に対応する画素データを取得し、前記第Ｎ出力チャンネルを介して出力される、前記最小露光時間での露光時の電荷に対応する画素データを取得し、前記第１〜第（Ｎ−１）出力チャンネルの各出力チャンネル毎に、当該各出力チャンネルを介して取得した最小露光時の画素データの画素値と、前記第Ｎ出力チャンネルを介して取得した最小露光時の画素データの画素値との差分値を算出し、当該差分値からなる最小露光差分画素データを生成する最小露光差分画素データ生成手段と、
   前記最小露光差分画素データを記憶する最小露光差分画素データ記憶手段と、を備え、
   前記差分画素データ生成手段は、前記画素のライン毎に、前記第１〜第（Ｎ−１）出力チャンネルを介してそれぞれ出力される（Ｎ−１）種類の露光時間にそれぞれ対応する画素データの画素値と、当該各画素データに対応する前記最小露光画素データ取得手段で取得した最小露光画素データの画素値との差分値を算出すると共に、当該各画素データの差分値と、当該各画素データに対応する前記最小露光差分画素データ記憶手段に記憶された最小露光差分画素データの値との差分値を算出し、当該差分値からなる差分画素データを生成するようになっていることを特徴とする請求項２記載の撮像装置。
4. 前記画素のラインの所定の１ライン分の前記最小露光差分画素データを前記最小露光差分画素データ記憶手段に記憶するようになっており、
   前記差分画素データ生成手段は、前記画素のライン毎に、前記第１〜第（Ｎ−１）出力チャンネルを介してそれぞれ出力される（Ｎ−１）種類の露光時間にそれぞれ対応する画素データの画素値と、当該各画素データに対応する前記最小露光画素データ取得手段で取得した最小露光画素データの画素値との差分値を算出すると共に、当該各画素データの差分値と、前記最小露光差分画素データ記憶手段に記憶された１ライン分の最小露光差分画素データの値との差分値を算出し、当該差分値からなる差分画素データを生成するようになっていることを特徴とする請求項３記載の撮像装置。
5. 前記画素のラインの全ライン数よりも少ない複数ライン分の前記最小露光差分画素データを前記最小露光差分画素データ記憶手段に記憶するようになっており、
   前記差分画素データ生成手段は、前記画素のライン毎に、前記第１〜第（Ｎ−１）出力チャンネルを介してそれぞれ出力される（Ｎ−１）種類の露光時間にそれぞれ対応する画素データの画素値と、当該各画素データに対応する前記最小露光画素データ取得手段で取得した最小露光画素データの画素値との差分値を算出すると共に、当該各画素データの差分値と、前記最小露光差分画素データ記憶手段に記憶された複数ライン分の最小露光差分画素データのいずれかの値との差分値を算出し、当該差分値からなる差分画素データを生成するようになっていることを特徴とする請求項３記載の撮像装置。
6. 前記第１〜第（Ｎ−１）出力チャンネルを介してそれぞれ出力される、前記光電変換部の光学的黒となる領域の光電変換素子の電荷に対応した画素データを取得し、前記第Ｎ出力チャンネルを介して出力される、前記光学的黒となる領域の光電変換素子の電荷に対応した画素データを取得し、前記第１〜第（Ｎ−１）出力チャンネルの各出力チャンネル毎に、当該各出力チャンネルを介してそれぞれ取得した光学的黒となる領域の画素データの画素値と、前記第Ｎ出力チャンネルを介して取得した光学的黒となる領域の画素データの画素値との差分値に基づく値からなるＯＢ差分画素データを生成するＯＢ差分画素データ生成手段と、を備え、
   前記差分画素データ生成手段は、前記画素のライン毎に、前記第１〜第（Ｎ−１）出力チャンネルを介してそれぞれ出力される（Ｎ−１）種類の露光時間にそれぞれ対応する画素データの画素値と、当該各画素データに対応する前記最小画素データ取得手段で取得した最小露光画素データの画素値との差分値を算出すると共に、当該各画素データの差分値に、ＯＢ差分画素データの値を加算し、当該加算結果からなる差分画素データを生成するようになっていることを特徴とする請求項２乃至請求項５のいずれか１項に記載の撮像装置。

Images