JP2007281556A - 撮像素子、撮像装置及び撮像システム - Google Patents

Abstract

【課題】１つの撮像素子によって、所定露光時間の露光期間において、特定光源以外の光
の被写体からの反射光と、特定光源の光及び特定光源以外の光の両方の被写体からの反射
光とを含む複数種類のの反射光を撮像することが可能な撮像素子及び撮像装置、並びに前
記撮像結果に基づき被写体と特定光源との距離を推定することが可能な撮像システムを提
供する。
【解決手段】撮像システム１００を、特定光源１６の点灯及び消灯を制御すると共に、特
定光源の点灯及び消灯に同期して被写体を撮像する撮像装置１と、当該撮像装置１からの
投光画像データに基づき、特定光源１６と被写体との間の距離を推定する距離推定処理、
撮像画像の表示処理等を行うホストシステム２とを含んだ構成とした。
【選択図】図１

Description

本発明は、被写体に特定の光を照射する特定光源の点灯及び消灯を制御し、前記点灯及
び消灯時の前記被写体からの反射光の露光による蓄積電荷を非破壊読み出し方式を用いて
読み出すことが可能な撮像素子及び撮像装置、並びに前記読み出した蓄積電荷から構成さ
れる画素データに基づき前記被写体と前記特定光源との距離を推定する撮像システムに関
する。

従来、被写体にＬＥＤやレーザ等の特定光源からの光を照射し、その反射光をカメラで
撮像して、その撮像結果から、被写体とカメラ（光源）との距離や当該距離に基づく被写
体の動き、更に被写体の形状、素材などを計測する撮像システムが知られている。このシ
ステムにおいては、例えば、被写体の素材（反射率）を知るために、特定光源以外の光（
自然光や照明等）のみが照射された被写体からの反射光を撮像する。また、被写体以外の
背景画像も撮像し、カメラの画角に入った画像を全て素材とするシステムもある。また、
監視システムなどにおいて、被写体と特定光源との距離が計測されることで、よりインテ
リジェントなシステムを構築することができる。

上記システム（装置）の構成としては、例えば、自然光や照明光による被写体からの反
射光を撮像するカメラと、特定光源の光に対する被写体からの反射光を測定するセンサ（
距離センサなど）とを設置する構成や、カメラに専用の撮像素子（センサ）用いる構成な
どがある。これらの構成においては、一般的に、光源の点灯及び消灯（オンオフ）を制御
し、それと同期して撮像を行う。前者は、光源の点灯及び消灯に同期して撮像を行うカメ
ラと、自然光や照明光などの特定光源以外の光の反射光を撮像するカメラとの２台のカメ
ラを用いる。後者は、例えば、特許文献１記載の情報入力装置などがあり、この装置にお
いては、専用のセル構成を有する撮像素子を用いて装置が構成されている。
特開平１０―１７７４４９号公報

しかしながら、上記従来技術にあっては、特定光源の光と特定光源以外の光に対する反
射光をそれぞれ撮像するのに別々のカメラを用いる必要があるためコストが高くなってし
まう恐れがあった。
また、上記特許文献１の従来技術にあっては、特定光源の光と特定光源以外の光に対す
る反射光をそれぞれ撮像するのに専用の撮像素子（センサ）を用いる必要があるため、特
別な機能を付加する際にセンサセルサイズの大型化や部品点数の増加等が発生し、センサ
のコストが高くなる恐れがあった。

そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたも
のであって、１つの撮像素子によって、特定光源の光と特定光源以外の光に対する反射光
をそれぞれ撮像することが可能な撮像素子及び撮像装置、並びに前記撮像結果に基づき被
写体と特定光源との距離を推定することが可能な撮像システムを提供することを目的とし
ている。

〔形態１〕 上記目的を達成するために、形態１の撮像素子は、
露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光
電変換部と、前記各光電変換素子のフレーム毎の露光時間を制御する電子シャッタ機能と
を備えた撮像素子であって、
所定露光時間の露光期間において、前記光電変換素子の構成する各画素からの複数種類
の露光時間で露光時の各蓄積電荷の構成する画素信号の読み出しを、当該各蓄積電荷のリ
セットを伴わない非破壊読み出し方式で行う画素信号読出手段と、
被写体に対して特定の光を照射する特定光源と、
前記特定光源の点灯及び消灯を制御する特定光源制御手段と、を備えることを特徴とし
ている。

このような構成であれば、画素信号読出手段によって、所定露光時間の露光期間におい
て、前記光電変換素子の構成する各画素からの複数種類の露光時間で露光時の各蓄積電荷
の構成する画素信号の読み出しを、当該各蓄積電荷のリセットを伴わない非破壊読み出し
方式で行うことが可能である。
更に、特定光源によって、被写体に対して特定の光を照射することが可能であり、特定
光源制御手段によって、前記特定光源の点灯及び消灯を制御することが可能である。

従って、所定露光時間の露光が行われている期間中に、画素信号読出手段によって、複
数種類の露光時間で露光された画素に蓄積された電荷の非破壊読み出しができるので、例
えば、前記期間中において、特定光源制御手段によって特定光源の点灯及び消灯を制御し
、特定光源が点灯しているときの画素信号、特定光源が消灯しているときの画素信号をそ
れぞれ異なる露光時間において複数読みだすことが可能である。

つまり、１つの撮像素子によって、所定露光時間の露光期間中に、特定光源以外の光で
ある通常光のみに対する被写体からの反射光で露光された画素の画素信号と、特定光源の
光及び通常光に対する被写体からの反射光で露光された画素の画素信号とを読み出すこと
ができるという効果が得られる。また、被写体に対する露光量が適切となる露光時間で露
光時の画素信号を読み出すことによって、被写体の鮮明な画像も得ることが可能である。

なお、特定光源が点灯及び消灯しているときの各露光量で露光された画素の画素データ
を解析することで、前述したように、被写体と特定光源との位置関係、被写体の形状、素
材などを知ることが可能である。
ここで、上記「光電変換部」は、例えば、ＣＭＯＳ技術を用いて構成されており、ＣＭ
ＯＳ技術を利用した非破壊読み出し可能な撮像素子としては、閾値変調型撮像素子（例え
ば、ＶＭＩＳ（Threshold Voltage Modulation Image Sensor））などがある。以下、形
態２の撮像装置において同じである。

また、上記「電子シャッタ」とは、グローバルシャッタ、フォーカルプレーンシャッタ
（ローリングシャッタ）等の方式を含む公知の電子シャッタのことであり、ＣＣＤやＣＭ
ＯＳなどから構成される撮像素子に電圧をかけて、撮像素子に光を電荷として蓄積させる
構成のことである。以下、形態２の撮像装置において同じである。
また、上記「電子シャッタ機能」とは、各電子シャッタの方式において、撮像素子に電
圧をかける時間（所定露光時間）をフレーム単位で制御する機能、及び所定露光時間の露
光で蓄積した電荷のリセットを行う機能を含むものである。以下、形態２の撮像装置にお
いて同じである。

また、上記「非破壊読み出し方式」は、光電変換素子から電荷（画素信号）を読み出す
ときに、当該光電変換素子に蓄積された電荷を空にせず蓄積状態を維持したままで読み出
すものである。つまり、電荷読み出し時にリセット処理を伴わないため、設定された露光
時間に至るまで、電荷の蓄積途中において、何度でも電荷の読み出しを行うことができる
。以下、形態２の撮像装置において同じである。
また、上記「特定光源」は、発光ダイオード（ＬＥＤ）や、赤外半導体レーザ、赤色半
導体レーザなどのレーザ発信器などを含み、被写体に対して特定の光を照射するものであ
る。以下、形態２の撮像装置において同じである。

〔形態２〕 一方、上記目的を達成するために、形態２の撮像装置は、
露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光
電変換部と、前記各光電変換素子のフレーム毎の露光時間を制御する電子シャッタ機能と
を有する撮像素子を備えた撮像装置であって、
所定露光時間の露光期間において、前記光電変換素子の構成する各画素からの複数種類
の露光時間で露光時の各蓄積電荷の構成する画素信号の読み出しを、当該各蓄積電荷のリ
セットを伴わない非破壊読み出し方式で行う画素信号読出手段と、
被写体に対して特定の光を照射する特定光源と、
前記特定光源の点灯及び消灯を制御する特定光源制御手段と、
前記画素信号読出手段で読み出された画素信号に対応する画素データに基づき、前記複
数種類の露光時間にそれぞれ対応する画像データを生成する画像データ生成手段と、
前記画像データ生成手段で生成された画像データを出力する画像データ出力手段と、を
備えることを特徴としている。

このような構成であれば、画素信号読出手段によって、所定露光時間の露光期間におい
て、前記光電変換素子の構成する各画素からの複数種類の露光時間で露光時の各蓄積電荷
の構成する画素信号の読み出しを、当該各蓄積電荷のリセットを伴わない非破壊読み出し
方式で行うことが可能である。
更に、特定光源によって、被写体に対して特定の光を照射することが可能であり、特定
光源制御手段によって、前記特定光源の点灯及び消灯を制御することが可能である。

尚更に、画像データ生成手段によって、前記画素信号読出手段で読み出された画素信号
に対応する画素データに基づき、前記複数種類の露光時間にそれぞれ対応する画像データ
を生成することが可能であり、画像データ出力手段によって、前記画像データ生成手段で
生成された画像データを出力することが可能である。
従って、所定露光時間の露光が行われている期間中に、画素信号読出手段によって、複
数種類の露光時間で露光された画素に蓄積された電荷の非破壊読み出しができるので、例
えば、前記期間中において、特定光源制御手段によって特定光源の点灯及び消灯を制御し
、特定光源が点灯しているときの画素信号、特定光源が消灯しているときの画素信号をそ
れぞれ異なる露光時間において複数読みだすことが可能である。

つまり、１つの撮像素子によって、所定露光時間の露光期間中に、特定光源以外の光で
ある通常光のみに対する被写体からの反射光で露光された画素の画素信号と、特定光源の
光及び通常光に対する被写体からの反射光で露光された画素の画素信号とを読み出すこと
ができるという効果が得られる。また、被写体に対する露光量が適切となる露光時間で露
光時の画素信号を読み出すことによって、被写体の鮮明な画像も得ることが可能である。
なお、特定光源が点灯及び消灯しているときの各露光量で露光された画素の画素データ
を解析することで、前述したように、被写体と特定光源との位置関係、被写体の形状、素
材などを知ることが可能である。

〔形態３〕 更に、形態３の撮像装置は、形態２の撮像装置において、
前記光電変換部の露光領域をＮ個（Ｎは２以上の自然数）の領域に分割し、
前記分割後の領域数Ｎと少なくとも同数の、前記画素信号読出手段で読み出された画素
信号に対応する画素データを順次記憶すると共に、当該記憶した画素データを順次出力す
る第１〜第Ｎ出力チャンネルを備え、
前記画素信号読出手段は、前記複数種類の露光時間で露光時の前記画素信号の読み出し
を、前記各領域毎に独立に且つ当該各領域に対して並列に行い、
前記画素信号読出手段によって読み出される画素信号に対応する画素データを、前記各
領域毎に、前記第１〜第Ｎ出力チャンネルにおけるそれぞれ別々の出力チャンネルから出
力することを特徴としている。

このような構成であれば、露光領域を複数（Ｎ個）に分割して、各分割されたＮ個の領
域に対して、各領域毎に独立に且つＮ個の領域に対して並列に画素信号の読み出し及び画
素データの出力を行うことが可能となるので処理負荷を分散することができ、画素信号の
読み出しを容易に高フレームレート化することができる。
従って、より多種の露光時間に対応した画素データを一度に得ることができるという効
果が得られる。

〔形態４〕 更に、形態４の撮像装置は、形態２の撮像装置において、
前記画素信号読出手段で読み出された画素信号に対応する画素データを順次記憶すると
共に、当該記憶した画素データを順次出力する出力チャンネルを備え、
前記画素信号読出手段は、前記複数種類の露光時間における各種類毎の前記画素信号の
読み出しを、前記光電変換素子の構成する画素群から前記露光時間の種類数に応じた数の
画素を間引いた残りの画素に対して行うことを特徴としている。

このような構成であれば、露光時間の種類数に応じて、例えば、所定数の画素のライン
を間引いた残りの画素に対して複数種類の露光時間で露光時の画素信号の読み出しを行う
ことが可能である。例えば、４種類の露光時間の露光タイミングで画素信号を読み出す場
合は、画素信号読出手段は、１フレーム期間（所定露光時間）において４回の走査を行っ
て各露光時間の画素信号を読み出すことになる。このような場合に、露光領域の３／４の
画素のラインを間引いた残りの１／４の画素のラインに対して電荷の読出しを行うように
することで、１回の走査にかかる時間を低減する（１／４にする）ことが可能である。従
って、１フレームの期間に、１つの出力チャンネルで複数種類の露光時間の読み出し処理
を行うことができるので、出力チャンネル数を増やさずに、簡易にフレームレートを変更
（高フレームレート化）することができるという効果が得られる。

〔形態５〕 更に、形態５の撮像装置は、形態２乃至４のいずれか１の撮像装置におい
て、
前記画素信号読出手段は、前記電子シャッタ機能による蓄積電荷のリセット直後の前記
各画素の画素信号を読み出し、
前記画像データ生成手段は、前記読出手段で読み出した前記リセット直後の画素信号に
対応する各画素データの示す画素値と、当該各画素データと同じ画素位置で、且つ前記リ
セット直後以外の他の露光時間に対応する各画素データの示す画素値との差分値を各露光
時間毎にそれぞれ算出し、当該算出した差分値に基づき前記リセット直後以外の露光時間
にそれぞれ対応する画像データを生成することを特徴としている。

このような構成であれば、リセット直後の画素信号に対応する各画素データの示す画素
値と、当該各画素データと同じ画素位置で、且つ前記リセット直後以外の他の露光時間に
対応する各画素データの示す画素値との差分値から画像データを生成することが可能であ
る。これにより、各画素データから非破壊読み出し方式で問題となる固定パターンノイズ
が除去又は低減された画像データを生成することができる。

従って、固定パターンノイズによる画質劣化を防ぐ又は低減することができると共に、
固定パターンノイズが除去又は低減された画像データを得ることができるという効果が得
られる。
ここで、「固定パターンノイズ」には、長時間露光時に問題になる暗電流シェーディン
グや、画素ごとのセンサ感度の違いによって発生するものなどがある。以下、形態９の撮
像システムにおいて同じである。

〔形態６〕 一方、上記目的を達成するために、形態６の撮像システムは、
請求項２乃至請求項５のいずれか１項に記載の撮像装置を備え、
前記画像データ出力手段から出力される前記画像データに基づき、前記特定光源と前記
被写体との間の距離を推定する距離推定手段を備えることを特徴としている。
このような構成であれば、距離推定手段によって、請求項２乃至請求項５のいずれか１
項に記載の撮像装置の備える前記画像データ出力手段から出力される前記画像データに基
づき、前記特定光源と前記被写体との間の距離を推定することが可能である。
従って、被写体と特定光源との大凡の距離が解るので、これにより、例えば、被写体と
特定光源との位置関係等をシステム利用者に通知するなど距離に基づく様々な処理を行う
ことができるという効果が得られる。

〔形態７〕 また、上記目的を達成するために、形態７の撮像システムは、
露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光
電変換部と、前記各光電変換素子のフレーム毎の露光時間を制御する電子シャッタ機能と
を有する撮像素子を備え、所定露光時間の露光期間において、前記光電変換素子の構成す
る各画素からの複数種類の露光時間で露光時の各蓄積電荷の構成する画素信号の読み出し
を、当該各蓄積電荷のリセットを伴わない非破壊読み出し方式で行う画素信号読出手段と
、前記画素信号読出手段で読み出された画素信号に対応する画素データに基づき、前記複
数種類の露光時間にそれぞれ対応する画像データを生成する画像データ生成手段とを備え
る撮像装置と、
被写体に対して特定の光を照射する特定光源と、
前記特定光源の点灯及び消灯を制御する特定光源制御手段と、
前記画像データ出力手段から出力される前記画像データに基づき、前記特定光源と前記被
写体との間の距離を推定する距離推定手段と、を備えることを特徴としている。

このような構成であれば、撮像装置は、画素信号読出手段によって、所定露光時間の露
光期間において、前記光電変換素子の構成する各画素からの複数種類の露光時間で露光時
の各蓄積電荷の構成する画素信号の読み出しを、当該各蓄積電荷のリセットを伴わない非
破壊読み出し方式で行うことが可能であり、画像データ生成手段によって、前記画素信号
読出手段で読み出された画素信号に対応する画素データに基づき、前記複数種類の露光時
間にそれぞれ対応する画像データを生成することが可能である。

また、特定光源によって、被写体に対して特定の光を照射することが可能であり、特定
光源制御手段によって、前記特定光源の点灯及び消灯を制御することが可能である。
また、距離推定手段によって、前記画像データ出力手段から出力される前記画像データ
に基づき、前記特定光源と前記被写体との間の距離を推定することが可能である。
従って、被写体と特定光源との大凡の距離が解るので、これにより、例えば、被写体と
特定光源との位置関係等をシステム利用者に通知するなど前記距離に基づく様々な処理を
行うことができるという効果が得られる。

ここで、本システムは、単一の装置、端末その他の機器として実現するようにしてもよ
いし、複数の装置、端末その他の機器を通信可能に接続したネットワークシステムとして
実現するようにしてもよい。後者の場合、各構成要素は、それぞれ通信可能に接続されて
いれば、複数の機器等のうちいずれに属していてもよい。

〔形態８〕 更に、形態８の撮像システムは、形態６又は７の撮像システムにおいて、
前記画素信号読出手段における前記画素信号の読み出し動作と、前記特定光源の点灯動
作及び消灯動作とを同期させることを特徴としている。
このような構成であれば、特定光源が点灯時の画素データと、特定光源が消灯時の画素
データとを正確且つ簡易に取得することができるので、より正確に特定光源と被写体との
間の距離を推定することができるという効果が得られる。

〔形態９〕 更に、形態９の撮像システムは、形態６乃至８のいずれか１の撮像システ
ムにおいて、
前記画素信号読出手段は、前記電子シャッタ機能による蓄積電荷のリセット直後の前記
各画素の蓄積電荷の構成する画素信号を読み出し、
前記画像データ生成手段は、前記画素信号読出手段で読み出した前記リセット直後の画
素信号に対応する各画素データの示す画素値と、当該各画素データと同じ画素位置で、且
つ前記リセット直後以外の他の露光時間に対応する各画素データの示す画素値との差分値
を各露光時間毎にそれぞれ算出し、当該算出した差分値に基づき前記リセット直後以外の
露光時間にそれぞれ対応する画像データを生成することを特徴としている。

このような構成であれば、リセット直後に読み出した電荷に対応する画素データと、各
露光時間において読み出した電荷に対応する画素データとの差分値から画像データを生成
することができるので、各露光時間に対応する画素データから非破壊読み出し方式で問題
となる固定パターンノイズを除去又は低減した画素データから構成される撮像画像データ
を生成することができる。
従って、固定パターンノイズによる画質劣化を防ぐ又は低減することができると共に、
固定パターンノイズが除去又は低減された画像データを取得することができるという効果
が得られる。

〔形態１０〕 更に、形態１０の撮像システムは、形態６乃至９のいずれか１の撮像シ
ステムにおいて、
前記特定光源以外の光である通常光のみによる被写体からの反射光の露光によって前記
各画素に蓄積された蓄積電荷の構成する画素信号と、前記通常光及び前記特定光源からの
光による被写体からの反射光の露光によって前記各画素に蓄積された少なくとも２種類以
上の露光時間にそれぞれ対応する蓄積電荷の構成する画素信号とを、前記画素信号読出手
段で読み出すことを特徴としている。

このような構成であれば、所定露光期間において、通常光のみ反射光の露光による画素
信号から構成される画素データと、２種類以上の通常光及び特定光源の光の反射光の露光
による画素信号から構成される画素データとを得ることが可能である。
従って、これらの画素データから、例えば、特定光源の光のみの反射光に対する露光量
（蓄積電荷量）の変化を算出することができるので、この露光量の変化に対する、特定光
源と被写体との間の距離の変化を予め実験等により測定して記録しておくことで、特定光
源と被写体との間の距離を簡易に推定することができるという効果が得られる。

〔形態１１〕 更に、形態１１の撮像システムは、形態６乃至１０のいずれか１の撮像
システムにおいて、
前記複数種類の露光時間にそれぞれ対応する画像データに基づき、前記特定光源を点灯
したときの露光量の増加率を算出する増加率算出手段を備え、
前記距離推定手段は、前記増加率算出手段で算出した増加率に基づき、前記特定光源と
前記被写体との間の距離を推定することを特徴としている。

このような構成であれば、増加率算出手段によって、前記複数種類の露光時間にそれぞ
れ対応する画像データに基づき、前記特定光源を点灯したときの露光量の増加率を算出す
ることが可能であり、前記距離推定手段は、前記増加率算出手段で算出した増加率に基づ
き、前記特定光源と前記被写体との間の距離を推定することが可能である。
従って、所定露光時間の露光期間において、特定光源が点灯しているときの露光量（特
定光源の光に対する反射光の露光量）の増加率を得ることができるので、例えば、予め実
験等によって、露光量の増加率に対する特定光源と被写体との間の距離の変化を測定して
記録しておくことで、露光量（蓄積電荷量）の増加率から距離を簡易に推定することがで
きるという効果が得られる。

〔形態１２〕 更に、形態１２の撮像システムは、形態６乃至１１のいずれか１の撮像
システムにおいて、
前記距離推定手段の推定結果に基づく情報をシステム利用者に通知する通知手段を備え
ることを特徴としている。
このような構成であれば、例えば、「被写体が近づいてくる」、「被写体が遠ざかって
いる」などの推定された距離から解る（予測できる）情報を、システム利用者に提供する
ことができるという効果が得られる。

以下、本発明に係る撮像素子、撮像装置及び撮像システムの実施の形態を、図面に基づ
き説明する。図１〜図１３は、本発明に係る撮像素子、撮像装置及び撮像システムの実施
の形態を示す図である。
以下、図１に基づき、本発明に係る撮像システム１００の概略構成を説明する。ここで
、図１は、本発明に係る撮像システム１００の概略構成を示すブロック図である。

撮像システム１００は、図１に示すように、特定光源１６（後述）の点灯及び消灯を制
御すると共に、特定光源の点灯及び消灯に同期して被写体を撮像する撮像装置１と、当該
撮像装置１からの投光画像データ（後述）に基づき、撮像装置１（特定光源１６（後述）
）と被写体との間の距離を推定する距離推定処理、撮像画像の表示処理等を行うホストシ
ステム２とを含んだ構成となっている。

また、図１に示すように、撮像装置１は、露光領域が４つの領域に等間隔に分割された
センサセルアレイ５６（後述）を有すると共に、映像処理部１２（後述）からの各種同期
信号に基づき、各領域毎に、複数種類の露光時間で露光された各画素のラインからそれぞ
れ独立に画素信号を非破壊読み出し方式で読み出し、これら読み出した画素のライン毎の
画素信号に対応する画素データ（デジタルデータ）を各領域毎にそれぞれ独立に順次出力
する領域走査対応撮像処理部１０（以下、撮像処理部１０と称す）と、特定光源１６（後
述）の点灯及び消灯の制御、ホストシステム２との各種データの通信の他、撮像処理部１
０から出力される画素データに基づくサブサンプル画像データ（後述）の生成、各領域の
サブサンプル画像データに基づく投光画像データの生成等の映像処理を行う映像処理部１
２と、サブサンプル画像データ、投光画像データ等の各種画像データを記憶するフレーム
メモリ１４と、映像処理部１２からの光源駆動制御信号に基づき特定の光を点灯及び消灯
する特定光源１６とを含んで構成される。

更に、図２〜図６に基づき、撮像処理部１０の詳細な内部構成を説明する。ここで、図
２は、撮像処理部１０の内部構成及びホストシステム２の内部構成を示すブロック図であ
る。また、図３は、第１のＡＦＥ(Analog Front End)１０ｂの内部構成を示す図である。
また、図４は、領域別走査対応型撮像素子１０ａの内部構成を示すブロック図である。ま
た、図５（ａ）は、走査ラインスキャナ５４の内部構成を示す図であり、（ｂ）は、ライ
ン制御ロジック５４ｉの内部構成を示す図である。また、図６は、センサセルアレイ５６
の詳細構成を示す図である。
図２に示すように、撮像処理部１０は、領域別走査対応型撮像素子１０ａと、第１〜第
４のＡＦＥ１０ｂ〜１０ｅとを含んで構成される。

領域別走査対応型撮像素子１０ａ（以下、撮像素子１０ａと称す）は、被写体からの光
を撮像レンズ（不図示）でセンサセルアレイ５６（後述）に集光し、その集光量に応じた
電荷をセンサセルアレイ５６の各画素に蓄積させる。また、撮像素子１０ａは、映像処理
部１２のタイミング制御器１２ｂ（後述）から出力される駆動信号（ピクセルクロック、
水平同期信号及び垂直同期信号０）に基づいて、センサセルアレイ５６の各画素列に蓄積
されている電荷群を電圧群に順次変換する。そして、本実施の形態においては、４つの領
域に分割された露光領域の各領域に対する電荷群を変換してなる電圧群を、各領域毎に独
立に、水平転送部５８（後述）の有する、第１〜第４非破壊読出ラインメモリを含んで構
成される第１〜第４出力チャンネル（以下、ＣＨ１〜ＣＨ４と称す）を介して、それぞれ
第１〜第４のＡＦＥ１０ｂ〜１０ｅに順次出力させる。

ここで、本実施の形態においては、例えば、露光領域の画素の総ライン数をＮ（Ｎは２
以上の自然数）とした場合に、ライン番号ｎ１、ｎ２及びｎ３（Ｎ＞ｎ３＞ｎ２＞ｎ１）
の各画素のラインを境界として露光領域を４つの領域に分割している。従って、以下、ラ
イン番号１〜ライン番号ｎ１の画素のラインのある領域を走査領域１とし、ライン番号（
ｎ１＋１）〜ｎ２の画素のラインのある領域を走査領域２とし、ライン番号（ｎ２＋１）
〜ｎ３の画素のラインのある領域を走査領域３とし、ライン番号（ｎ３＋１）〜Ｎの画素
のラインのある領域を走査領域４とする。
つまり、撮像素子１０ａは、走査領域１の電圧群をＣＨ１を介して第１のＡＦＥ１０ｂ
に、走査領域２の電圧群をＣＨ２を介して第２のＡＦＥ１０ｃに、走査領域３の電圧群を
ＣＨ３を介して第３のＡＦＥ１０ｄに、走査領域４の電圧群をＣＨ４を介して第４のＡＦ
Ｅ１０ｅにそれぞれ独立に出力する。

ここで、本実施の形態においては、センサセルアレイ５６の各画素のリセットが行われ
てから次のリセットが行われるまでの時間（所定露光時間）の露光期間をメインフレーム
期間とする。そして、当該メインフレーム期間において、走査領域１〜走査領域４の各領
域に対し、リセット直後の時間である第１露光時間ｔ１で露光時の画素信号を読み出す露
光期間をサブフレーム期間１、第２露光時間ｔ２（ｔ２≫ｔ１）で露光時の画素信号を読
み出す露光期間をサブフレーム期間２、第３露光時間ｔ３（ｔ３＞ｔ２）で露光時の画素
信号を読み出す露光期間をサブフレーム期間３、第４露光時間ｔ４（本実施の形態では所
定露光時間と同じ時間となる）（ｔ４＞ｔ３）で露光時の画素信号を読み出す露光期間を
サブフレーム期間４とする。

従って、撮像素子１０ａは、これら４つのサブフレーム期間において、第１〜第４露光
時間ｔ１〜ｔ４でそれぞれ露光された各画素から、画素信号を非破壊読み出し方式で読み
出す。なお、本実施の形態において、所定露光時間は、被写体を視認するための鮮明な画
像を得るのに十分な露光時間とする。
第１〜第４のＡＦＥ１０ｂ〜１０ｅは、水平転送部５８のＣＨ１〜ＣＨ４を介してそれ
ぞれ独立に出力される４つの領域に対応する画素信号（アナログデータ）を、デジタルデ
ータ（画素データ）に変換する。そして、第１〜第４ＡＦＥ１０ｂ〜１０ｄは、変換後の
画素データを映像処理部１２のサブサンプル画像データ生成部１２ｃ（後述）にそれぞれ
出力する。

更に、図３に基づき、第１のＡＦＥ１０ｂの内部構成を説明する。
第１のＡＦＥ１０ｂは、図３に示すように、クランプ回路１０ｂ₁と、差動増幅回路１
０ｂ₂と、Ａ／Ｄ変換回路１０ｂ₃とを含んで構成される。
クランプ回路１０ｂ₁は、撮像素子１０ａからの画素信号を受信し、それが遮光領域の
信号かを検出し、遮光領域と検出された場合はその信号レベルが黒（基準）レベルになる
ように、入力信号全てに対してクランプ処理を行い、このクランプ処理後の画素信号を増
幅回路１０ｂ₂に出力する。

増幅回路１０ｂ₂は、クランプ後の画素信号を、Ａ／Ｄ変換器の入力レンジと整合する
ように増幅し、この増幅後の画素信号をＡ／Ｄ変換回路１０ｂ₃に出力する。
Ａ／Ｄ変換回路１０ｂ₃は、差動増幅回路１０ｂ₂からの画素信号（アナログデータ）を
、画素データ（デジタルデータ）に変換して映像処理部１２へと出力する。
なお、第１〜第４のＡＦＥ１０ｂ〜１０ｅは、それぞれ同一の内部構成となるので、第
２〜第４のＡＦＥ１０ｃ〜１０ｅに対する内部構成の説明は省略する。

更に、図４に基づき、撮像素子１０ａの内部構成を説明する。
撮像素子１０ａは、図４に示すように、基準タイミング発生器５０と、駆動パルス発生
器５２と、同時に４本の走査線（非破壊読み出しライン）を有効にする走査ラインスキャ
ナ５４と、センサセルアレイ５６と、水平転送部５８とを含んで構成される。
基準タイミング発生器５０は、映像処理部１２のタイミング制御器１２ｂ（後述）から
の垂直同期信号０及び水平同期信号に基づき、基準タイミング信号を発生する。
駆動パルス発生器５２は、基準タイミング発生器５０からの基準タイミング信号と、走
査ラインスキャナ５４からの４つの読出しライン選択信号と、特定のサブフレーム期間の
みに対する４つのリセットライン選択信号とに基づき駆動パルスを発生してセンサセルア
レイ５６に供給する。

走査ラインスキャナ５４は、映像処理部１２からの各種駆動制御信号に基づき、走査領
域１〜走査領域４に対する非破壊読出しラインの位置をそれぞれ選択し、走査領域１〜走
査領域４の非破壊読み出しラインの位置をそれぞれ示す第１〜第４読出しライン選択信号
を生成する。そして、これら生成した第１〜第４読出しライン選択信号を駆動パルス発生
器５２に出力する。また、走査ラインスキャナ５４は、上記した４つのサブフレーム期間
１〜４のうち、１つのサブフレーム期間（ここでは、サブフレーム期間１）に対してリセ
ットラインを有効とするリセットライン選択信号を生成し、これを駆動パルス発生器５２
に出力する。

センサセルアレイ５６は、ＣＭＯＳ技術を用いて各画素が構成されており、駆動パルス
発生器５２から供給される駆動パルスに基づき、露光領域における走査領域１〜走査領域
４を各領域に共通となる複数種類の露光時間で順次露光すると共に、当該露光により各画
素に蓄積された電荷を、各画素のライン毎に読み出して水平転送部５８に順次出力する。
水平転送部５８は、センサセルアレイ５６の走査領域１における各画素から読み出され
た画素信号データを、各画素のライン毎にＣＨ１の第１非破壊読出ラインメモリに順次記
憶し、当該記憶した画素信号データを第１のＡＦＥ１０ｂに順次出力する。同様に、走査
領域２〜走査領域４における各画素から読み出された画素信号データを、各画素のライン
毎にＣＨ２〜ＣＨ４の第２〜第４非破壊読出ラインメモリにそれぞれ順次記憶し、これら
記憶した画素信号データを第２〜第４のＡＦＥ１０ｃ〜１０ｅにそれぞれ独立に順次出力
する。

更に、図５に基づき、走査ラインスキャナ５４の内部構成を説明する。
走査ラインスキャナ５４は、図５（ａ）に示すように、第１〜第４非破壊走査カウンタ
５４ａ〜５４ｄと、第２〜第４非破壊走査アドレスデコーダ５４ｅ〜５４ｈと、ライン制
御ロジック５４ｉとを含んで構成される。
第１非破壊走査カウンタ５４ａは、映像処理部１２からの垂直同期信号０に基づき、カ
ウントアップ動作を繰り返す。ここで、第１の非破壊走査カウンタ５４ａのカウンタ値は
、走査領域１の各画素のライン番号に対応しており、このライン番号は、第１非破壊走査
アドレスデコーダ５４ｅに出力される。同様に、第２〜第４非破壊走査カウンタ５４ｂ〜
５４ｄは、垂直同期信号０に基づきカウントアップ動作を繰り返し、そのカウンタ値を、
走査領域２〜４の各画素のライン番号として、第２〜第４非破壊走査アドレスデコーダ５
４ｆ〜５４ｈにそれぞれ出力する。

また、第１〜第４非破壊走査カウンタ５４ａ〜５４ｄは、走査領域１〜走査領域４にお
ける非破壊読み出しの基準信号である垂直同期信号１を生成し、当該生成した垂直同期信
号１を映像処理部１２のタイミング制御器１２ｂに出力する。
第１非破壊走査アドレスデコーダ５４ｅは、第１非破壊走査カウンタ５４ａから出力さ
れるライン番号のラインを、走査領域１における「非破壊読み出しラインＬ１」として有
効にする。同様に、第２〜第４非破壊走査アドレスデコーダ５４ｆ〜５４ｈは、第２〜第
４非破壊走査カウンタ５４ｂ〜５４ｄからそれぞれ出力されるライン番号のラインを、走
査領域２〜４における「非破壊読み出しラインＬ２〜Ｌ４」としてそれぞれ有効にする。
更に、第１〜第４非破壊走査アドレスデコーダ５４ｅ〜５４ｈはそれぞれ、有効としたラ
イン番号を示す第１〜第４非破壊読み出しライン制御信号をライン制御ロジック５４ｉに
出力する。

ライン制御ロジック５４ｉは、第１〜第４非破壊走査アドレスデコーダ５４ｅ〜５４ｈ
からの第１〜第４非破壊読み出しライン制御信号に基づき、走査領域１〜走査領域４に対
する各読出しライン位置（アドレス）を示す第１〜第４読み出しライン選択信号を生成す
る。また、走査領域１〜走査領域４に対する各リセットライン位置（アドレス）を示す第
１〜第４リセットライン選択信号を生成する。そして、これら生成した第１〜第４読み出
しライン選択信号、及び第１〜第４リセットライン選択信号を、駆動パルス発生器５２に
出力する。

以下、図５（ｂ）に基づき、ライン制御ロジック５４ｉの内部構成を説明する。
ライン制御ロジック５４ｉは、図５（ｂ）に示すように、読み出しライン選択信号は直
接出力し、一方、リセットライン選択信号は、リセットライン制御部５４ｉ₁を介して出
力する。
リセットライン制御部５４ｉ₁は、映像処理部１２からの垂直同期信号０に同期して、
走査領域１〜走査領域４における、上記４つのサブフレーム期間（読み出し期間）１〜４
のうち、１つのサブフレーム期間のみの選択ラインを有効として、当該選択ラインの画素
に蓄積された電荷をリセットするための第１〜第４リセットライン選択信号を生成する。
一方、選択ライン以外のラインは無効とする。そして、前記生成したリセットライン選択
信号を駆動パルス発生器５２に出力する。

また、ライン制御ロジック５４ｉは、第１〜第４非破壊走査アドレスデコーダ５４ｅ〜
５４ｈからの第１〜第４非破壊読み出しライン制御信号を、走査領域１〜走査領域４にお
ける読み出すべきラインのみを選択する読み出しライン選択信号として駆動パルス発生器
５２に出力する。

更に、図６に基づき、センサセルアレイ５６の詳細構成を説明する。
図６に示すように、センサセルアレイ５６は、ＣＭＯＳを用いて構成された複数のセン
サセル（画素）５６ａをマトリクス状に配設し、各ライン毎のセンサセル５６ａに対して
、アドレス線、リセット線及び読出し線が共通に接続され、前記３つの制御線を介して各
種駆動信号が各ラインを構成するセンサセル５６ａに送信される。そして、アドレス線及
び読出し線が有効になると、図６の信号線を介して蓄積電荷を水平転送器に転送する構成
となっている。このような構成によって、アドレス線により、リセット動作又は読出し動
作を行わせる画素のラインを有効に（選択）し、当該選択信号で選択したラインの各セン
サセル５６ａに対して、リセット動作を行わせる場合はリセット線を介してリセット動作
を指示する信号を入力し、画素信号の読出しを行わせる場合は、読出し線を介して蓄積電
荷の転送を指示する信号を入力する。選択信号によって選択された各センサセル５６ａは
、リセット動作を指示する信号が入力されたときはリセット動作を行い、蓄積電荷の転送
を指示する信号が入力されたときは、信号線を介して水平転送部への蓄積電荷の転送を行
う。

更に、図７に基づき、撮像素子１０ａの露光時間の制御方法、及びセンサセルアレイ５
６からの画素信号の読み出し方法について説明する。ここで、図７は、領域別走査対応型
撮像素子１０ａのセンサセルアレイ５６の各領域における、各画素のライン毎の露光、及
び各画素からの画素信号の非破壊読み出し動作の一例を示す図である。
本発明の露光時間の制御及び画素信号の読み出しは、図７に示すように、サブフレーム
期間１に対して、まずセンサセルアレイ５６の走査領域１〜走査領域４における、画素信
号の読み出しを行う第１〜第４非破壊読み出しラインＬ１〜Ｌ４をそれぞれ選択する。更
に、第１〜第４非破壊読み出しラインＬ１〜Ｌ４と同じラインを、第１〜第４リセットラ
インＲ１〜Ｒ４として選択（有効に）する。

そして、走査領域１〜走査領域４において、第１〜第４リセットラインＲ１〜Ｒ４の各
画素のラインがリセットされると、選択ラインの露光が開始され、第１露光時間ｔ１（リ
セット直後）で露光された第１〜第４非破壊読み出しラインＬ１〜Ｌ４の各画素のライン
からの画素信号の読み出しが実行される。

つまり、リセット直後の（第１露光時間ｔ１で露光された）各画素の画素信号を読み出
すサブフレーム期間１において、走査領域１〜走査領域４の各所定位置の画素のライン（
例えば、第１ライン、第５１ライン、第１０１ライン、第１５１ライン）が第１〜第４非
破壊読出しラインＬ１〜Ｌ４として選択されると、これと同じライン（第１ライン、第５
１ライン、第１０１ライン、第１５１ライン）が、第１〜第４リセットラインとして選択
される。そして、各選択ラインの露光が開始される。なお、本実施の形態において、この
サブフレーム期間１における画素信号の読み出しは、後述するサブサンプリング画像デー
タの生成に用いる基準画像データを得るために、リセット直後（可能な限り電荷の蓄積量
が少ない状態）の画素信号を読み出すようになっている。また、画素信号の読み出しは、
読み出し後にリセットを伴わない非破壊読み出し方式で行う。このように、サブフレーム
期間１では、非破壊読み出しラインの選択、リセットラインの選択、選択ラインのリセッ
ト、リセット直後の選択ラインの画素信号の非破壊読み出しといった一連の動作が、走査
領域１〜走査領域４の各画素のライン毎に順次行われる。

そして、サブフレーム期間１において、上記一連の動作が走査領域１〜走査領域４の各
最終ライン（走査領域幅の情報により決定される）に対して行われると、これに引き続き
、走査領域１〜走査領域４において、サブフレーム期間２における露光時間ｔ２の画素信
号の読み出し、サブフレーム期間３における露光時間ｔ３の画素信号の読み出し、サブフ
レーム期間４における露光時間ｔ４の画素信号の読み出しが順次行われる。

本実施の形態において、サブフレーム期間２〜４においては、第１〜第４非破壊読出し
ラインＬ１〜Ｌ４の選択及び選択ラインからの画素信号の読み出しのみを行い、第１〜第
４リセットラインＲ１〜Ｒ４の選択及びリセットは行わないようになっている。つまり、
サブフレーム期間２〜４においては、非破壊読み出し方式で各画素から画素信号の読み出
しが行われる。そして、サブフレーム期間４において、走査領域１〜走査領域４の各最終
ラインの画素信号の読み出しが終了するのと同時に、再びサブフレーム期間１に移行し、
第１〜第４非破壊読出しラインＬ１〜Ｌ４を選択すると共に、これらと同じラインを、第
１〜第４リセットラインＲ１〜Ｒ４として選択してリセットを行う。ここで、前回のリセ
ットから今回のリセットまでの露光期間が前述したメインフレーム期間となる。

また、本実施の形態においては、サブフレーム期間１において、各領域の最終ラインに
おける各画素の画素信号の非破壊読み出しが終了し、再び各領域の開始ラインに戻って、
サブフレーム期間２に移行したときに、開始ラインの各画素は、露光時間ｔ２で電荷が蓄
積された状態となるように非破壊読み出しラインの選択及び画素信号の読み出しの各動作
の制御が行われるようになっている。つまり、１つ前のサブフレーム期間において、各領
域の最終ラインにおける各画素の画素信号の非破壊読み出しが終了し、各領域の開始ライ
ンに戻って、次のサブフレーム期間に移行したときに、各開始ラインの画素は、次のサブ
フレーム期間に対応した露光時間で各画素に電荷が蓄積された状態となるように制御され
る。

なお、上記走査領域１〜走査領域４の各画素信号の読み出しは、映像処理部１２ｂから
供給される共通の垂直同期信号０及び水平同期信号に同期してそれぞれ並列に実行される
。
また、本実施の形態において、走査領域１に対する第１露光時間ｔ１で露光時の画素信
号は、ＣＨ１の第１非破壊読出ラインメモリに転送され、ＣＨ１を介して第１のＡＦＥ１
０ｂに出力されそこでデジタルデータ（以下、画素データと称す）に変換される。同様に
、走査領域２〜４に対する第２〜第４露光時間ｔ２〜ｔ４で露光時の画素信号は、ＣＨ２
〜ＣＨ４の第２〜第４非破壊読出ラインメモリにそれぞれ転送され、ＣＨ２〜ＣＨ４をそ
れぞれ介して第２〜第４のＡＦＥ１０ｃ〜１０ｅにそれぞれ出力されそこでデジタルデー
タ（画素データ）に変換される。

つまり、撮像処理部１０は、メインフレーム期間において、走査領域１〜４に対して並
列に、且つ各領域毎に独立に、第１〜第４露光時間ｔ１〜ｔ４の４種類の露光時間に対す
る画素信号を非破壊読出し方式で順次読み出すことで、メインフレーム期間に対する通常
読み出しに対して、４倍のフレームレートでの読出しを行っている。
更に、図８に基づき、特定光源１６の点灯及び消灯動作の制御について説明する。ここ
で、図８（ａ）は、特定光源の光が被写体に未到達時の蓄積電荷量（輝度レベル）の推移
を示す図であり、（ｂ）は、特定光源の光が被写体に到達時の蓄積電荷量（輝度レベル）
の推移を示す図である。

特定光源１６は、高速スイッチング可能な複数個のＬＥＤから構成され、その点灯及び
消灯動作は、映像処理部１２からの光源駆動制御信号によって制御される。本実施の形態
においては、上記サブフレーム期間１〜４のそれぞれの期間に同期して点灯及び消灯動作
が行われる。また、本実施の形態においては、図８（ａ）及び（ｂ）に示すように、サブ
フレーム期間１、２及び４においては特定光源を消灯の状態にし、サブフレーム期間３に
おいては特定光源を点灯の状態にする。ここで、被写体（目標物）に対して、特定光源の
光が未到達である場合は、図８（ａ）に示すように、通常光（一定の光量）のみの露光が
行われ、終始一定の増加量で電荷が蓄積される。ここで、通常光は、自然光、照明光など
を含む特定光源１６以外の光である。一方、被写体に対して、特定光源１６の光が到達す
る場合は、上記した特定光源１６の点灯及び消灯動作の制御によって、図８（ｂ）に示す
ように、サブフレーム期間１及び２では、特定光源以外の光である通常光のみの露光が行
われるため、通常光のみの増加量で電荷が蓄積される。ところが、サブフレーム期間３で
は特定光源１６の光及び通常光による露光が行われるため、通常光の増加量に特定光源１
６の光の増加量分が加算された増加量で電荷が蓄積される。そして、サブフレーム期間４
では、特定光源１６が消灯されるので、再び通常光のみの増加量で電荷が蓄積される。つ
まり、特定光源１６の点灯及び消灯動作によって、単位時間あたりの蓄積電荷（輝度レベ
ル）の増加量（率）が可変となる。

また、図８（ｂ）に示すように特定光源１６の点灯及び消灯動作を制御することによっ
て、図８（ｂ）のタイミング図（位相関係）では、サブフレーム期間１及び２では通常光
のみの露光による画素データを得ることができ、サブフレーム期間３では、サブフレーム
期間１〜３での通常光の露光分に、サブフレーム期間３の特定光源の光の露光分の加わっ
た画素データを得ることができ、サブフレーム期間４では、サブフレーム期間１〜４での
通常光の露光分に、サブフレーム期間３の特定光源の光の露光分の加わった画素データを
得ることができる。

更に、図２に戻って、ホストシステム２の内部構成を説明する。
ホストシステム２は、図２に示すように、システムコントローラ２ａと、表示装置２ｂ
とを含んで構成される。
システムコントローラ２ａは、映像処理部１２の出力読出器１２ｆ（後述）を介して、
投光画像データ（後述）を読み出し、当該投光画像データに基づき、特定光源１６と被写
体（目標物）との間の距離を推定する（距離画像データを生成）。また、特定光源１６と
被写体との間の距離の変化（距離画像データの変化）に基づき、目標物が特定光源１６に
対してどのような動きを見せているか（例えば、遠ざかっているか、近づいているか等）
を検出し、当該検出結果を計算機に通知したり、表示装置２ｂに表示するなどしてユーザ
に通知したりする。また、システムコントローラ２ａは、出力読出器１２ｆを介して、サ
ブフレーム期間３（所定露光時間）に対応するサブサンプル画像データ３を読み出し、当
該サブサンプル画像データの画像を表示装置２ｂに表示する。
表示装置２ｂは、システムコントローラ２ａからの表示指示に応じて、各種画像を表示
する。

更に、図９〜図１１に基づき、映像処理部１２の内部構成を説明する。ここで、図９は
、映像処理部１２の内部構成を示すブロック図である。また、図１０（ａ）は、サンプル
画像データ生成部１２ｃの内部構成を示す図であり、（ｂ）は、領域１サンプル画像生成
部６０の内部構成を示す図である。また、図１１（ａ）は、投光画像データ生成部１２ｅ
の内部構成を示すブロック図であり、（ｂ）は、領域１投光画像生成部７０の内部構成を
示すブロック図である。

映像処理部１２は、図９に示すように、通信器・ＤＳＰ制御部１２ａと、タイミング制
御器１２ｂと、サブサンプル画像データ生成部１２ｃと、投光画像データ生成部１２ｄと
、メモリアクセス調停器１２ｅと、出力読出器１２ｆとを含んで構成される。
通信器・ＤＳＰ制御部１２ａは、ホストシステム２からのコマンドを受信し、撮像処理
部１０及び映像処理部１２を制御する。撮像処理部１０を制御するときは、撮像処理部１
０のプロトコルに準じて駆動制御信号を出力する。具体的には、撮像動作の開始などがあ
る。

タイミング制御器１２ｂは、撮像素子１０ａのセンサ駆動信号（ピクセルクロック、水
平同期信号、垂直同期信号０）を生成し、これらを、撮像素子１０ａの基準タイミング発
生器５０に出力する。また、タイミング制御器１２ｂは、水平同期信号、撮像素子１０ａ
からの垂直同期信号１から、撮像処理部１０のＣＨ１〜ＣＨ４からそれぞれ出力される走
査領域１〜４の各画素信号の、撮像素子１０ａのセンサセルアレイ５６における画素位置
（画素列（ライン）番号、画素番号）が分かるので、その画素列(ライン)番号及び画素番
号（以下、「アドレス情報」とも呼ぶ。）を生成し、そのアドレス情報をサブサンプル画
像データ生成部１２ｃに出力する。

サブサンプル画像データ生成部１２ｃは、メモリアクセス調停器１２ｅを介して、走査
領域１〜４における、各サブフレーム期間１で読み出された画素信号に対応する画素デー
タを領域１〜４基準画像データとしてそれぞれを、フレームメモリ１４の領域１〜４ワー
クエリアの対応するワークエリアに格納する。また、走査領域１〜４における、サブフレ
ーム期間２〜４で読み出された各画素信号に対応する画素データと、領域１〜４基準画像
データとに基づき、領域１〜４サブサンプル画像データ１〜３を生成する。そして、生成
した領域１〜４サブサンプル画像データ１〜３をそれぞれ、フレームメモリ１４の領域１
〜４ワークエリアの対応するワークエリアに格納する。

更に、図９（ａ）及び（ｂ）に基づき、サブサンプル画像データ生成部１２ｃの内部構
成を説明する。
サブサンプル画像データ生成部１２ｃは、図１０（ａ）に示すように、走査領域１〜４
のサブフレーム期間２〜３にそれぞれ対応するサブサンプル画像データ１〜３を生成する
領域１〜４サブサンプル画像生成部６０〜６３を含んで構成される。
領域１サブサンプル画像生成部６０は、図１０（ｂ）に示すように、差分画像生成部６
０ａを含んで構成される。

差分画像生成部６０ａは、フレームメモリ１４から読み出された領域１基準画像データ
と、走査領域１からサブフレーム期間２〜３でそれぞれ読み出された画素信号に対応する
画像データとを取得する。そして、差分画像生成部６０ａは、サブフレーム期間２〜４の
各画像データを構成する各画素データの示す画素値と、当該画素データと同じ画素位置の
領域１基準画像データを構成する各画素データの示す画素値との差分値をそれぞれ算出し
、当該差分値から、サブフレーム期間２〜４にそれぞれ対応する、領域１サブサンプル画
像データ１〜３を生成する。より具体的には、サブフレーム期間２〜４で読み出した画素
データの示す画素値から、リセット直後のサブフレーム期間１で読み出した画素データの
示す画素値を減算して差分値を算出する。これにより、サブフレーム期間２〜４で読み出
した画素データから、非破壊読出し方式で問題となる、撮像素子の個々の画素のばらつき
に起因する固定パターンノイズを除去することができる。

なお、領域１サブサンプル画像データ１がサブフレーム期間２に対応し、領域１サブサ
ンプル画像データ２がサブフレーム期間３に対応し、領域１サブサンプル画像データ３が
サブフレーム期間４に対応する。
同様に、領域２サブサンプル画像生成部６１においては、領域２サブサンプル画像デー
タ１〜３が生成され、領域３サブサンプル画像生成部６２においては、領域３サブサンプ
ル画像データ１〜３が生成され、領域４サブサンプル画像生成部６３においては、領域４
サブサンプル画像データ１〜３が生成される。

なお、領域２〜４サブサンプル画像生成部６１〜６３は、領域１サブサンプル画像生成
部６０と同様の構成となるので詳細な説明を省略する。
投光画像データ生成部１２ｄは、メモリアクセス調停器１２ｅを介して、フレームメモ
リ１４の領域１〜領域４ワークエリアから、領域１〜４サブサンプル画像データ１〜３を
それぞれ読み出す。そして、これら読み出した領域１〜４サブサンプル画像データ１〜３
に基づき、ホストシステム２のシステムコントローラ２ａにおける距離推定処理のための
画像データである領域１〜４投光画像データを生成する。

ここで、被写体（目標物）を、特定光源１６の光を点灯及び消灯して撮像したときに、
特定光源１６による各画素の輝度レベルの変化量（蓄積電荷量の増加量の変化量）によっ
て、被写体と特定光源１６との距離、被写体の動作等を推定することが可能である。つま
り、特定光源１６の点灯前の輝度レベルの増加量、点灯後の輝度レベルの増加量及び点灯
後に再び消灯したときの輝度レベルの増加量から、目標物が特定光源１６の届く範囲にい
るか否か、目標物が近づいているか遠ざかっているかなどの相対的な動作を推定すること
が可能である。このことを前提に、以下、投光画像データの生成原理について説明する。

いま、サブフレーム期間１〜４でサブサンプルして取得した信号レベルを以下とする。
・サブフレーム期間１での画素データ出力：ｖ０ ・・・ 基準
・サブフレーム期間２での画素データ出力：ｖ１ ・・・ 通常光のみ
・サブフレーム期間３での画素データ出力：ｖ２ ・・・ 通常光＋特定光源
・サブフレーム期間４での画素データ出力：ｖ３ ・・・ 通常光＋特定光源

上記のサブサンプル結果から、下記のレベルが観測される。
・「通常光のみ」による増加分 ：Ｖ１ Ｖ１＝ｖ１−ｖ０ ・・・（式０Ａ）
・「通常光＋特定光源」による増加分１：Ｖ２ Ｖ２＝ｖ２−ｖ１ ・・・（式０Ｂ）
・「通常光＋特定光源」による増加分２：Ｖ３ Ｖ３＝ｖ３−ｖ２ ・・・（式０Ｃ）

ここで、以下の数値を想定する。
・通常光からの画素に対する単位時間あたりの照射光量： Ｓｇ
・特定光源からの画素に対する単位時間あたりの照射光量： Ｓｔ
・サブフレーム期間： Ｔｓ
・点灯期間と読出しラインの読出し期間の位相差： ｔｐ

以上の前提に基づくと、以下の計算式が成り立つので、特定光源による増加量を導出で
きる。
まず、サブフレーム期間２の通常光による増加量理論値は下式（１）で表すことができ
る。
（Ｖ１'）＝Ｓｇ×Ｔｓ ・・・・（１）

更に、サブフレーム期間３の通常光と特定光源による増加量理論値は下式（２）で表す
ことができる。
Ｖ２'＝ Ｓｇ（Ｔｓ−ｔｐ）＋（Ｓｇ＋Ｓｔ）ｔｐ
＝Ｓｇ・Ｔｓ＋Ｓｔ・ｔｐ ・・・・（２）

サブフレーム期間４の通常光と特定光源による増加量理論値は下式（３）で表すことが
できる。
Ｖ３'＝（Ｓｇ＋Ｓｔ）×（Ｔｓ−ｔｐ）＋Ｓｇ・ｔｐ
＝Ｓｇ・Ｔｓ＋Ｓｔ・Ｔｓ−Ｓｔ・ｔｐ ・・・・（３）

上式（２）及び（３）より、下式（４）が成立する。
Ｖ２'＋Ｖ３'＝２Ｓｇ・Ｔｓ＋Ｓｔ・Ｔｓ ・・・・（４）

以上より、特定光源による増加量Ｓｔ・Ｔｓは下記の実測値から推定できる。ここで、
理論値Ｖ１'、Ｖ２'、Ｖ３'は各々観測値Ｖ１、Ｖ２、Ｖ３に対応する。

Ｓｔ・Ｔｓ ＝ Ｖ２＋Ｖ３−２Ｓｇ・Ｔｓ
＝ Ｖ２＋Ｖ３−２Ｖ１ ・・・・（５）

つまり、上式（５）から、特定光源による増加量実測値を求めることができる。

また、前述したように、本実施の形態においては、撮像処理部１０において、サブフレ
ーム期間２では通常光のみの露光による画素データ（上記ｖ１に対応）を取得し、サブフ
レーム期間３では、サブフレーム期間１〜３での通常光の露光分に、サブフレーム期間３
の特定光源の光の露光分の加わった画素データ（上記ｖ２に対応）を取得し、サブフレー
ム期間４では、サブフレーム期間１〜４での通常光の露光分に、サブフレーム期間３の特
定光源の光の露光分の加わった画素データ（上記ｖ３に対応）を取得するようになってい
る。また、前述したように、サブサンプル画像データ生成部１２ｃにおいて、サブフレー
ム期間２〜４の各画素データと、サブフレーム期間１の各画素データとの差分値から領域
１〜４サブサンプル画像データ１〜３を生成している。

従って、投光画像データ生成部１２ｄは、上式（５）に従って、領域１〜４サブサンプ
ル画像データ１〜３を用いて、走査領域１〜４の各領域毎に、特定光源１６の光による蓄
積電荷の増加量分を示す領域１〜４投光画像データを生成することが可能である。
以下、図１１（ａ）及び（ｂ）に基づき、投光画像データ生成部１２ｅの内部構成を説
明する。
投光画像データ生成部１２ｅは、図１１（ａ）に示すように、領域１〜４サンプル画像
データ１〜３に基づき、領域１〜４投光画像データを生成する領域１〜４投光画像生成部
７０〜７３を含んで構成される。

領域１投光画像生成部７０は、図１１（ｂ）に示すように、領域１サブサンプル画像デ
ータ３の各画素値（ｖ３ーｖ０）から、領域１サブサンプル画像データ２の各画素値（ｖ
２ーｖ０）を減算する第１減算器７０ａと、領域１サブサンプル画像データ２の各画素値
（ｖ２ーｖ０）から領域１サブサンプル画像データ１の各画素値（ｖ１ーｖ０）を減算す
る第２減算器７０ｂと、第１減算器７０ａの減算結果の各画素値（Ｖ３）と第２減算器７
０ｂの減算結果の各画素値（Ｖ２）とを加算する加算器７０ｃと、領域１サブサンプル画
像データ１の各画素値（ｖ１ーｖ０＝Ｖ１）を２倍に乗算する乗算器７０ｄと、加算器７
０ｃの加算結果（Ｖ２＋Ｖ３）から、乗算器７０ｄの乗算結果（２Ｖ１）を減算する第３
減算器７０ｅとを含んで構成される。

このような構成であれば、第３減算器７０ｅの減算結果は、Ｖ２＋Ｖ３−２Ｖ１となり
、上式（５）と一致する。従って、第３減算器７０ｅの減算結果を各画素値とした領域１
投光画像データが生成される。
同様に、領域２投光画像生成部７１においては、領域２投光画像データが生成され、領
域３投光画像生成部７２においては、領域３投光画像データが生成され、領域４投光画像
生成部７３においては、領域４投光画像データが生成される。

なお、領域２〜４投光画像生成部７１〜７３は、領域１投光画像生成部７０と同様の構
成となるので詳細な説明を省略する。
以上のようにして生成された領域１〜領域４投光画像データは、領域１〜領域４の各画
素の特定光源の光による輝度レベル（蓄積電荷）の増加量を示し、ホストシステム２のシ
ステムコントローラ２ａにおける距離推定処理で用いられる。

更に、図９に戻って、メモリアクセス調停部１２ｅは、サブサンプル画像データ生成部
１２ｃ、投光画像データ生成部１２ｄ、及び出力読出器１２ｆからの、読み込み・書き込
み命令に基づき、フレームメモリ１４に格納された各種画像データへアクセスする。つま
り、３系統からのアクセス要求を調停し、フレームメモリ１４に対して、画像データの読
み出し及び画像データの書き込みを行う。本実施の形態において、メモリアクセス調停部
１２ｅは、サブサンプル画像データ生成部１２ｃから出力される領域１〜４サブサンプル
画像データ１〜３、及び領域１〜４基準画像データと、投光画像データ生成部１２ｄから
出力される領域１〜４投光画像データとを、フレームメモリ１４に書き込む。また、サブ
サンプル画像データ生成部１２ｃからの読み出し命令に応じて、領域１〜４基準画像デー
タ、領域１〜４サブサンプル画像データ１〜３をフレームメモリ１４から読み出したり、
投光画像データ生成部１２ｄからの読み出し命令に応じて、領域１〜４サブサンプル画像
データ１〜３をフレームメモリ１４から読み出したり、投光画像データ生成部１２ｄから
の書き込み命令に応じて、領域１〜４投光画像データをフレームメモリ１４に書き込んだ
りする。

出力読出器１２ｆは、ホストシステム２からの同期信号（ピクセルクロック、水平同期
信号、垂直同期信号０）に同期して、フレームメモリ１４内の画像データを出力する。具
体的には、まず、メモリアクセス調停器１２ｅに対して、領域１〜３サブサンプル画像デ
ータ３、又は領域１〜４投光画像データの読み出し要求（読み出し命令含む）を行う。そ
して、メモリアクセス調停器１２ｅに、領域１〜３サブサンプル画像データ３、又は領域
１〜４投光画像データを取り込み、ホストシステム２と同期を取りつつ、これら画像デー
タを出力する。また、出力読出器１２ｆは、出力タイミングから、読み出すべき画素番号
（アドレス）を計数し、それをメモリアクセス調停器１２ｅに出力する。

フレームメモリ１４は、図９に示すように、走査領域１〜４にそれぞれ対応する、領域
１〜領域４ワークエリアと、投光画像データを格納するエリアとから構成される。領域１
〜領域４ワークエリアには、それぞれ、サブサンプル画像データを生成するための基準画
像データ、投光画像データを生成するためのサブサンプル画像データ１〜３がそれぞれ格
納される。また、フレームメモリ１４は、メモリアクセス調停器１２ｅから読み出し要求
があると、その要求が示すエリアに格納された画像データを読み出し、メモリアクセス調
停器１２ｅから書き込み要求があると、その書き込み要求が示すエリアに画像データを書
き込む。

次に、図１２及び図１３に基づき、本実施の形態の撮像システム１００の実際の動作を
説明する。ここで、図１２は、撮像環境を示す図である。また、図１３は、特定光源１６
の点灯タイミングに対する読み出しラインの位相及び信号出力の関係を示す図である。
ここでは、図１２に示すように、撮像装置１の撮像対象（距離推定対象）である目標物
体は移動する物体であり、撮像装置１は、この目標物体に対して特定光源１６の光を照射
すると共に、図１３に示すように、その点灯及び消灯を制御しながらサブフレーム期間１
〜４（図１３中の、基準画像取込期間〜第３画像取込期間）における画素信号の非破壊読
み出しを行う。また、図１２に示すように、目標物体には、常に一定光量の通常光（特定
光源１６以外の光）が照射されているとする。

撮像システム１００は、まず、ホストシステム２のシステムコントローラ２ａが、通信
器・ＤＳＰ制御部１２ａを介して、映像処理部１２に、撮像（走査領域１〜４の非破壊走
査）開始命令を与えるコマンドを送信する。映像処理部１２は、このコマンドを受信する
と、撮像素子１０ａに対して、撮像動作を開始させるために、当該撮像素子１０ａ内のレ
ジスタを書き換えるコマンドを発行する。また、撮像処理部１２は、タイミング制御部１
２ｂにおいて駆動信号（ピクセルクロック、水平同期信号、垂直同期信号０）を生成し、
これらを撮像素子１０ａに出力する。更に、映像処理部１２は、特定光源１６に対して、
その点灯及び消灯を制御する光源駆動制御信号を生成し、これを特定光源１６に出力する
。

特定光源１６は、光源駆動制御信号に基づき、点灯及び消灯動作を行う。本実施の形態
においては、図１３に示すように、撮像処理部１０の画素信号の読み出し動作における、
基準画像取込期間〜第３画像取込期間（サブフレーム期間１〜４）の各期間に同期して点
灯及び消灯を行う。具体的には、特定光源１６が、基準画像取込期間、第１画像取込期間
、及び第３画像取込期間（サブフレーム期間１、２及び４）においては消灯し、第２画像
取込期間（サブフレーム期間３）のみ点灯するように制御が行われる。

一方、撮像素子１０ａは、タイミング制御器１２ｂから駆動信号が供給されると、走査
ラインスキャナ５４の領域１〜４非破壊走査カウンタ５４ａ〜５４ｄにおいて、それぞれ
同時並列にカウントアップ動作を開始し、カウント値を領域１〜４非破壊走査アドレスデ
コーダ５４ｅ〜５４ｈにそれぞれ出力する。そして、領域１〜４非破壊走査アドレスデコ
ーダ５４ｅ〜５４ｈは、領域１〜４非破壊走査カウンタ５４ａ〜５４ｄからそれぞれ出力
されるライン番号のラインを、走査領域１〜４のサブフレーム期間１における「読み出し
ライン」として有効にし、それ以外のラインを無効にする。

更に、走査ラインスキャナ５４は、サブフレーム期間１においては、読み出しラインと
して有効にしたライン番号のラインを、「リセットライン」としても有効にする。これに
よって、読み出しラインとして選択されたラインの画素は、センサセルアレイ５６のリセ
ット動作によって蓄積電荷を空にされる。更に、撮像素子１０ａは、走査領域１〜４にお
いて、各選択ラインの画素に対してリセットが行われると、各選択ラインの画素からリセ
ット直後の画素信号をそれぞれ読み出す。この動作は、図１３に示す、基準画像取込期間
（サブフレーム期間１）のセンサ動作におけるリセット・読み込みに対応する。図１３に
示すように、基準画像取込期間においては、特定光源１６は消灯状態となっている。なお
、基準画像取込期間において読み出される画素信号の輝度レベルは、図１３に示すように
、基準レベルとなり、この画素信号データ（アナログデータ）は、第１のＡＦＥ１０ｂに
おいて画素データ（デジタルデータ）に変換されてから、サブサンプル画像データ生成部
１２ｃ及びメモリアクセス調停部１２ｅを介して、領域１〜４基準画像データとしてフレ
ームメモリ１４の領域１〜４ワークエリアに格納される。

基準画像取込期間（サブフレーム期間１）において、走査領域１〜４における画素信号
の読み出しが終了（最終ラインに到達）すると、走査ラインスキャナ５４は、カウンタ値
を開始番号に戻すと共に垂直同期信号１をアクティブにして、再び開始番号からカウント
アップを繰り返す。そして、領域１〜４非破壊走査カウンタ５４ａ〜５４ｄからそれぞれ
出力されるライン番号のラインを、走査領域１〜４のサブフレーム期間２における「読み
出しライン」として有効にし、それ以外のラインを無効にする。このとき、サブフレーム
期間１とは異なり、「読み出しライン」として有効にしたラインを「リセットライン」と
しては無効とする。つまり、撮像素子１０ａは、サブフレーム期間１で蓄積された電荷を
リセットせずにそのまま維持して、各選択ラインの画素からの画素信号の読み出しを行う
。その様子は、図１３に示す、第１画像取込期間（サブフレーム期間２）のセンサ動作に
おける読込み動作に対応する。また、図１３に示すように、第１画像取込期間においても
、特定光源１６は消灯状態となっている。従って、第１画像取込期間において読み出され
る画素信号の輝度レベルは、図１３に示すように、基準レベルから通常光のみによる増加
量分が増加したレベルとなる。

第１画像取込期間（サブフレーム期間２）において、走査領域１〜４における画素信号
の読み出しが終了（最終ラインに到達）すると、上記サブフレーム期間１及び２のときと
同様に、走査ラインスキャナ５４は、カウンタ値を開始番号に戻すと共に垂直同期信号１
をアクティブにして、再び開始番号からカウントアップを繰り返す。そして、カウント値
の番号のラインを、走査領域１〜４のサブフレーム期間３における「読み出しライン」と
して有効にし、それ以外のラインを無効にする。更に、撮像素子１０ａは、上記第１画像
取込期間のときと同様に、選択ラインをリセットラインとしては有効にせず（無効にし）
、各画素の蓄積電荷を維持した状態で画素信号の読み出しを行う。その様子は、図１３に
示す、第２画像取込期間（サブフレーム期間３）のセンサ動作における読込み動作に対応
する。図１３に示すように、第２画像取込期間においては、特定光源１６が点灯状態とな
っている。従って、第２画像取込期間において読み出される画素信号の輝度レベルは、図
１３に示すように、基準画像取込期間〜第２画像取込期間（サブフレーム期間１〜サブフ
レーム期間３）の各画素信号の読み出し時点までの通常光のみによる増加量分に、サブフ
レーム期間３の開始から各画素信号の読み出し時点までの特定光源の光による増加量分を
加えたレベルとなる。

第２画像取込期間（サブフレーム期間３）において、走査領域１〜４における画素信号
の読み出しが終了（最終ラインに到達）すると、上記サブフレーム期間１〜３のときと同
様に、走査ラインスキャナ５４は、カウンタ値を開始番号に戻すと共に垂直同期信号１を
アクティブにして、再び開始番号からカウントアップを繰り返す。そして、カウント値の
番号のラインを、走査領域１〜４のサブフレーム期間４における「読み出しライン」とし
て有効にし、それ以外のラインを無効にする。更に、撮像素子１０ａは、上記第１及び第
２画像取込期間のときと同様に、選択ラインをリセットラインとして無効にし、各画素の
蓄積電荷を維持した状態で画素信号の読み出しを行う。その様子は、図１３に示す、第３
画像取込期間（サブフレーム期間４）のセンサ動作における読込み動作に対応する。図１
３に示すように、第３画像取込期間においては、特定光源１６が再び消灯状態となってい
る。従って、第３画像取込期間において読み出される画素信号の輝度レベルは、図１３に
示すように、基準画像取込期間〜第３画像取込期間（サブフレーム期間１〜サブフレーム
期間４）の各画素信号の読み出し時点までの通常光のみによる増加量分に、サブフレーム
期間３の特定光源の光による増加量分を加えたレベルとなる。

なお、上記基準画像取込期間〜第３画像取込期間（サブフレーム期間１〜サブフレーム
期間４）の各画素信号の読み出しは、撮像処理が終了するまで繰り返し行われる。
そして、上記第１画像取込期間（サブフレーム期間２）〜第３画像取込期間（サブフレ
ーム期間４）で読み出された画素信号データ（アナログデータ）は、各期間毎に、ＣＨ２
〜ＣＨ４を介して第２〜第４のＡＦＥ１０ｃ〜１０ｅに出力されそこで画素データ（デジ
タルデータ）へと変換される。そして、当該画素データは、映像処理部１２のサブサンプ
ル画像データ生成部１２ｃに出力される。

サブサンプル画像データ生成部１２ｃは、走査領域１〜４における第１画像取込期間（
サブフレーム期間２）〜第３画像取込期間（サブフレーム期間４）で読み出された画素信
号に対応する画素データを取得すると、これら取得した画素データに対応する領域１〜４
基準画像データをメモリアクセス調停部１２ｅを介してフレームメモリ１４から読み出す
。そして、走査領域１の第１画像取込期間（サブフレーム期間２）に対応する各画素デー
タの画素値から、これと同じ画素位置の領域１基準画像データの画素データの画素値を減
算し、この減算結果の画素値を有する領域１サブサンプル画像データ１を生成する。これ
と同様に、第２及び第３画像取込期間（サブフレーム期間３及び４）に対応する各画素デ
ータの画素値から、これと同じ画素位置の領域１基準画像データの画素データの画素値を
減算し、これら減算結果の画素値を有する領域１サブサンプル画像データ２及び３をそれ
ぞれ生成する。

なお、走査領域２〜４も走査領域１と同様に、第１画像取込期間（サブフレーム期間２
）〜第３画像取込期間（サブフレーム期間４）に対応する画素データの画素値から、これ
と同じ画素位置の領域２〜４基準画像データの画素データの画素値を減算し、この減算結
果の画素値を有する領域２〜４サブサンプル画像データ１〜３を生成する。
上記生成された領域１〜４サブサンプル画像データ１〜３は、メモリアクセス調停部１
２ｅを介して、フレームメモリ１４の各領域毎に対応する領域１〜４ワークエリアに各領
域ごとに分けて格納される。

一方、領域１〜４サブサンプル画像データ１〜３が生成され、フレームメモリ１４に格
納されると、投光画像データ生成部１２ｄは、メモリアクセス調停部１２ｅを介して、領
域１〜４サブサンプル画像データ１〜３をフレームメモリ１４から読み出す。そして、当
該読み出した領域１〜４サブサンプル画像データ１〜３に基づき各領域の投光画像データ
を生成する。

具体的には、投光画像データ生成部１２ｄの領域１投光画像生成部７０における、第１
減算器７０ａにおいて、領域１サブサンプル画像データ３の各画素データの画素値から、
当該各画素データと同じ画素位置の領域１サブサンプル画像データ２の各画素データの画
素値を減算する。これにより、第２画像取込期間で画素信号が読み出された各画素の当該
第２画像取込期間の残り時間における通常光及び特定光源の光による輝度レベルの増加量
と、第３画像取込期間で同じ各画素から画素信号が読みだされるまでの通常光による輝度
レベルの増加量との和が求まる。以下、この減算結果の画素値をＶ₃₂と称す。

同様に、第２減算器７０ｂにおいて、領域１サブサンプル画像データ２の各画素データ
の画素値から、当該各画素データと同じ画素位置の領域１サブサンプル画像データ１の各
画素データの画素値を減算する。これにより、第１画像取込期間で画素信号が読み出され
た各画素の当該第１画像取込期間の残り時間における通常光による輝度レベルの増加量と
、第２画像取込期間で同じ各画素から画素信号が読みだされるまでの通常光及び特定光源
の光による輝度レベルの増加量との和が求まる。以下、この減算結果の画素値をＶ₂₁と称
す。

更に、加算器７０ｃにおいて、各画素データ毎に、各画素値Ｖ₃₁にＶ₂₁を加算する。こ
の加算結果には、第２取込期間中の特定光源の光による輝度レベルの増加量分が全て含ま
れる。一方、乗算器７０において、領域１サブサンプル画像データ１の各画素データの画
素値を２倍に乗算する。以下、この乗算結果を、２Ｖ₁と称す。また、この乗算結果は、
加算器７０ｃの加算結果における通常光による輝度レベルの増加量分となる。つまり、第
３減算器７０ｅにおいて、加算器７０ｃの加算結果から乗算器７０ｄの乗算結果を減算す
ることで、特定光源の光による輝度レベルの増加量分の「Ｖ₃₁＋Ｖ₂₁−２Ｖ₁」が求まる
。これにより、特定光源の光による輝度レベルの増加量分を示す画素データからなる領域
１投光画像データが生成される。

走査領域２〜４についても、上記走査領域１と同様に、投光画像データ生成部１２ｄの
領域２〜４投光画像生成部７１〜７３において、領域２〜４投光画像データが生成される
。
投光画像データ生成部１２ｄは、領域１〜４投光画像データを生成すると、これら生成
した領域１〜４投光画像データを、メモリアクセス調停部１２ｅを介して、フレームメモ
リ１４の投光画像データのエリアに格納する。

このように、フレームメモリ１４に投光画像データが格納された状態において、ホスト
システム２のシステムコントローラ２ａは、撮像装置１に対して投光画像データの読み出
しを要求を行う。撮像装置１は、この読み出し要求に応じて、映像処理部１２の出力読出
器１２ｆにおいて、メモリアクセス調停器１２ｅを介して、フレームメモリ１４から領域
１〜４投光画像データを読み出す。そして、出力読出器１２ｆは、システムコントローラ
２ａからの各種駆動信号（ピクセルクロック、水平同期信号、垂直同期信号０）に同期し
て、領域１〜４投光画像データを、ホストシステム２に出力する。なお、投光画像データ
は、メインフレームの複数フレーム分を読み出す。

ホストシステム２は、撮像装置１０からの領域１〜４投光画像データを受信すると、特
定光源の光に対する輝度レベルの増加量から、特定光源と目標物体（被写体）との距離を
推定したり、フレーム間の輝度レベルの変化（距離の変化）から目標物体の動き（例えば
、近づいているか、遠ざかっているか等）を推定（判別）したりする。更に、この推定結
果を示す画像を生成し、表示装置２ｂに表示させる。

また、ホストシステム２のシステムコントローラ２ａは、撮像装置１に対して領域１〜
４サブサンプル画像データ３の読み出しを要求を行う。撮像装置１は、この読み出し要求
に応じて、映像処理部１２の出力読出器１２ｆにおいて、メモリアクセス調停器１２ｅを
介して、フレームメモリ１４から領域１〜４サブサンプル画像データ３を読み出す。そし
て、出力読出器１２ｆは、システムコントローラ２ａからの各種駆動信号（ピクセルクロ
ック、水平同期信号、垂直同期信号０）に同期して、領域１〜４サブサンプル画像データ
３を、ホストシステム２に出力する。ここで、領域１〜４サブサンプル画像データ３（第
３画像取込期間（サブフレーム期間４）に対応）は、前述したように、目標物体（被写体
）の鮮明な画像が得られる露光時間に対応した画像データであるので、システムコントロ
ーラ２ａは、この画像データの画像を表示装置２ｂに表示させる。これにより、システム
利用者（ユーザ）は、目標物体（被写体）の画像を視認しながら、特定光源１６と目標物
体との距離及び目標物体の動きを知ることが可能である。

なお、目標物体との距離及び目標物体の動きの推定処理を行い、これら推定結果を監視
し、何らかの変化があった場合のみに、表示や警報等によってシステム利用者に通知した
り、変化時の推定結果を外部計算機等に通知するようにしても良い。
上記したように、本実施形態の撮像システム１００では、撮像装置１において、センサ
セルアレイ５６の露光領域を４つに等分割した走査領域１〜４に対して並列且つ各領域毎
に独立に各画素から画素信号の非破壊読出しを行うことが可能である。これにより、メイ
ンフレーム期間において、各領域の同一画素に対して４回の非破壊読み出し動作を行うこ
とが可能であり、これにより、メインフレームに対して４倍のフレームレートでの画素信
号の読み出しを行うことができる。

また、上記実施の形態においては、特定光源１６として複数個のＬＥＤを用いたが、こ
れに限らず、その他の可視光を発生する光源や、赤外線などの不可視の光を発生する光源
など他の光源を用いる構成としても良い。但し、赤外線を用いる場合は、撮像素子側も光
源の色温度に光応答するように、例えば、赤外線カットフィルタを未搭載にするなどの対
応が必要となる。

また、メインフレームにおける４回の非破壊読み出し期間である、サブフレーム期間１
〜４の各期間に同期させて、特定光源１６の点灯及び消灯動作を制御するようにしたので
、これにより、通常光のみの露光による画素信号、通常光及び特定光源１６の光の露光に
よる画素信号等を容易に取得することが可能である。
また、１つのサブフレーム期間の通常光のみの露光による画素信号、２つ以上サブフレ
ーム期間の通常光及び特定光源１６の光の露光による画素信号から、特定光源１６の光の
みによる輝度レベルの増加量を求めることが可能であり、これにより、特定光源１６の輝
度レベルの増加量から、目標物体の距離を推定したり、増加量の変化から目標物体の動き
を推定したりすることが可能である。

上記実施の形態において、領域走査対応撮像処理部１０は、形態１、２及び７のいずれ
か１の撮像素子に対応し、撮像処理部１０、及びタイミング制御部１２ｂによる画素信号
の読み出し処理は、形態１、２、３、５、７、８及び１０のいずれか１の画素信号読出手
段に対応し、サブサンプル画像データ生成部１２ｃは、形態２、５、７及び９のいずれか
１の画像データ生成手段に対応し、投光画像データ生成部１２ｄは、形態１１の増加率算
出手段に対応し、出力読出器１２ｆは、形態２、６及び７のいずれか１の画像データ出力
手段に対応する。

また、上記実施の形態において、ホストシステム２における距離の推定処理及び目標物
体の動きの推定処理は、形態６、７、１１及び１２のいずれか１の距離推定手段に対応し
、ホストシステム２における推定結果の通知処理は、形態１２の通知手段に対応する。
なお、上記実施の形態においては、撮像装置１において、センサセルアレイ５６の露光
領域を４つの領域に等分割して、メインフレームにおいて、各領域毎に、４回の非破壊読
み出しを行ってフレームレートを高速化するようにしたが、これに限らず、５つ以上に等
分割して、メインフレームにおいて５回以上の非破壊読み出しを行う構成としても良い。

また、上記実施の形態においては、撮像装置１において、センサセルアレイ５６の露光
領域を複数（４つ）の領域に等分割して、メインフレームにおいて、各領域毎に、複数（
４）回の非破壊読み出しを行うようにしたが、これに限らず、センサセルアレイ５６の露
光領域を構成する画素群に対して、所定の画素を間引いた残りの画素に対してのみ非破壊
読み出しを行い、メインフレームにおいて、間引き量に応じた回数の非破壊読み出しを行
ってフレームレートを高速化する構成としても良い。この場合、撮像処理部１０、及びタ
イミング制御部１２ｂによる画素信号の読み出し処理は、形態１、２、４、５、７、８及
び１０のいずれか１の画素信号読出手段に対応する。

また、上記実施の形態においては、撮像装置１から出力される投光画像データを、特定
光源と目標物体との間の距離推定や、目標物体の動きを推定するシステムに利用したが、
これに限らず、目標物体の形状、素材などを推定（解析）するシステムに利用したりする
など、特定光源の光による輝度レベルの増加率から推定可能な他の分野に利用しても良い
。

本発明に係る撮像システム１００の概略構成を示すブロック図である。 撮像処理部１０の内部構成及びホストシステム２の内部構成を示すブロック図である。 第１のＡＦＥ(Analog Front End)１０ｂの内部構成を示す図である。 領域別走査対応型撮像素子１０ａの内部構成を示すブロック図である。 （ａ）は、走査ラインスキャナ５４の内部構成を示す図であり、（ｂ）は、ライン制御ロジック５４ｉの内部構成を示す図である。 センサセルアレイ５６の詳細構成を示す図である。 領域別走査対応型撮像素子１０ａのセンサセルアレイ５６の各領域における、各画素のライン毎の露光、及び各画素からの画素信号の非破壊読み出し動作の一例を示す図である。 （ａ）は、特定光源の光が被写体に未到達時の蓄積電荷量（輝度レベル）の推移を示す図であり、（ｂ）は、特定光源の光が被写体に到達時の蓄積電荷量（輝度レベル）の推移を示す図である。 映像処理部１２の内部構成を示すブロック図である。 （ａ）は、サンプル画像データ生成部１２ｃの内部構成を示す図であり、（ｂ）は、領域１サンプル画像生成部６０の内部構成を示す図である。 （ａ）は、投光画像データ生成部１２ｅの内部構成を示すブロック図であり、（ｂ）は、領域１投光画像生成部７０の内部構成を示すブロック図である。 撮像環境を示す図である。 特定光源１６の点灯タイミングに対する読み出しラインの位相及び信号出力の関係を示す図である。

符号の説明

１００は撮像システム、１は撮像装置、２はホストシステム、２ａはシステムコントロー
ラ、２ｂは表示装置、１０は領域走査対応撮像処理部、１２は映像処理部、１４はフレー
ムメモリ、１０ａは撮像素子、１０ｂ〜１０ｅは第１〜第４のＡＦＥ、５０は基準タイミ
ング発生器、５２は駆動パルス発生器、５４は走査ラインスキャナ、５６はセンサセルア
レイ、５６ａはセンサセル、５８は水平転送部、５４ａ〜５４ｄは第１〜第４非破壊走査
カウンタ、５４ｅ〜５４ｈは第１〜第４非破壊走査アドレスデコーダ、５４ｉはライン制
御ロジック、５４ｉ₁はリセットライン制御部、５４ｉ₂は読み出しライン制御部、１２ａ
は通信器・ＤＳＰ動作制御部、１２ｂはタイミング制御部、１２ｃはサブサンプル画像デ
ータ生成部、１２ｄは投光画像データ生成部、１２ｅはメモリアクセス調停器、１２ｆは
出力読出器

Claims (12)

1. 露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光
   電変換部と、前記各光電変換素子のフレーム毎の露光時間を制御する電子シャッタ機能と
   を備えた撮像素子であって、
   所定露光時間の露光期間において、前記光電変換素子の構成する各画素からの複数種類
   の露光時間で露光時の各蓄積電荷の構成する画素信号の読み出しを、当該各蓄積電荷のリ
   セットを伴わない非破壊読み出し方式で行う画素信号読出手段と、
   被写体に対して特定の光を照射する特定光源と、
   前記特定光源の点灯及び消灯を制御する特定光源制御手段と、を備えることを特徴とす
   る撮像素子。
2. 露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光
   電変換部と、前記各光電変換素子のフレーム毎の露光時間を制御する電子シャッタ機能と
   を有する撮像素子を備えた撮像装置であって、
   所定露光時間の露光期間において、前記光電変換素子の構成する各画素からの複数種類
   の露光時間で露光時の各蓄積電荷の構成する画素信号の読み出しを、当該各蓄積電荷のリ
   セットを伴わない非破壊読み出し方式で行う画素信号読出手段と、
   被写体に対して特定の光を照射する特定光源と、
   前記特定光源の点灯及び消灯を制御する特定光源制御手段と、
   前記画素信号読出手段で読み出された画素信号に対応する画素データに基づき、前記複
   数種類の露光時間にそれぞれ対応する画像データを生成する画像データ生成手段と、
   前記画像データ生成手段で生成された画像データを出力する画像データ出力手段と、を
   備えることを特徴とする撮像装置。
3. 前記光電変換部の露光領域をＮ個（Ｎは２以上の自然数）の領域に分割し、
   前記分割後の領域数Ｎと少なくとも同数の、前記画素信号読出手段で読み出された画素
   信号に対応する画素データを順次記憶すると共に、当該記憶した画素データを順次出力す
   る第１〜第Ｎ出力チャンネルを備え、
   前記画素信号読出手段は、前記複数種類の露光時間で露光時の前記画素信号の読み出し
   を、前記各領域毎に独立に且つ当該各領域に対して並列に行い、
   前記画素信号読出手段によって読み出される画素信号に対応する画素データを、前記各
   領域毎に、前記第１〜第Ｎ出力チャンネルにおけるそれぞれ別々の出力チャンネルから出
   力することを特徴とする請求項２記載の撮像装置。
4. 前記画素信号読出手段で読み出された画素信号に対応する画素データを順次記憶すると
   共に、当該記憶した画素データを順次出力する出力チャンネルを備え、
   前記画素信号読出手段は、前記複数種類の露光時間における各種類毎の前記画素信号の
   読み出しを、前記光電変換素子の構成する画素群から前記露光時間の種類数に応じた数の
   画素を間引いた残りの画素に対して行うことを特徴とする請求項２記載の撮像装置。
5. 前記画素信号読出手段は、前記電子シャッタ機能による蓄積電荷のリセット直後の前記
   各画素の画素信号を読み出し、
   前記画像データ生成手段は、前記読出手段で読み出した前記リセット直後の画素信号に
   対応する各画素データの示す画素値と、当該各画素データと同じ画素位置で、且つ前記リ
   セット直後以外の他の露光時間に対応する各画素データの示す画素値との差分値を各露光
   時間毎にそれぞれ算出し、当該算出した差分値に基づき前記リセット直後以外の露光時間
   にそれぞれ対応する画像データを生成することを特徴とする請求項２乃至請求項４のいず
   れか１項に記載の撮像装置。
6. 請求項２乃至請求項５のいずれか１項に記載の撮像装置を備え、
   前記画像データ出力手段から出力される前記画像データに基づき、前記特定光源と前記
   被写体との間の距離を推定する距離推定手段を備えることを特徴とする撮像システム。
7. 露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光
   電変換部と、前記各光電変換素子のフレーム毎の露光時間を制御する電子シャッタ機能と
   を有する撮像素子を備え、所定露光時間の露光期間において、前記光電変換素子の構成す
   る各画素からの複数種類の露光時間で露光時の各蓄積電荷の構成する画素信号の読み出し
   を、当該各蓄積電荷のリセットを伴わない非破壊読み出し方式で行う画素信号読出手段と
   、前記画素信号読出手段で読み出された画素信号に対応する画素データに基づき、前記複
   数種類の露光時間にそれぞれ対応する画像データを生成する画像データ生成手段とを備え
   る撮像装置と、
   被写体に対して特定の光を照射する特定光源と、
   前記特定光源の点灯及び消灯を制御する特定光源制御手段と、
   前記画像データ出力手段から出力される前記画像データに基づき、前記特定光源と前記被
   写体との間の距離を推定する距離推定手段と、を備えることを特徴とする撮像システム。
8. 前記画素信号読出手段における前記画素信号の読み出し動作と、前記特定光源の点灯動
   作及び消灯動作とを同期させることを特徴とする請求項６又は請求項７記載の撮像システ
   ム。
9. 前記画素信号読出手段は、前記電子シャッタ機能による蓄積電荷のリセット直後の前記
   各画素の蓄積電荷の構成する画素信号を読み出し、
   前記画像データ生成手段は、前記画素信号読出手段で読み出した前記リセット直後の画
   素信号に対応する各画素データの示す画素値と、当該各画素データと同じ画素位置で、且
   つ前記リセット直後以外の他の露光時間に対応する各画素データの示す画素値との差分値
   を各露光時間毎にそれぞれ算出し、当該算出した差分値に基づき前記リセット直後以外の
   露光時間にそれぞれ対応する画像データを生成することを特徴とする請求項６乃至請求項
   ８のいずれか１項に記載の撮像システム。
10. 前記特定光源以外の光である通常光のみによる被写体からの反射光の露光によって前記
    各画素に蓄積された蓄積電荷の構成する画素信号と、前記通常光及び前記特定光源からの
    光による被写体からの反射光の露光によって前記各画素に蓄積された少なくとも２種類以
    上の露光時間にそれぞれ対応する蓄積電荷の構成する画素信号とを、前記画素信号読出手
    段で読み出すことを特徴とする請求項６乃至請求項９のいずれか１項に記載の撮像システ
    ム。
11. 前記複数種類の露光時間にそれぞれ対応する画像データに基づき、前記特定光源を点灯
    したときの露光量の増加率を算出する増加率算出手段を備え、
    前記距離推定手段は、前記増加率算出手段で算出した増加率に基づき、前記特定光源と
    前記被写体との間の距離を推定することを特徴とする請求項６乃至請求項１０のいずれか
    １項に記載の撮像システム。
12. 前記距離推定手段の推定結果に基づく情報をシステム利用者に通知する通知手段を備え
    ることを特徴とする請求項６乃至請求項１１のいずれか１項に記載の撮像システム。

Images