JP4793059B2 - 撮像装置及び撮像システム - Google Patents
撮像装置及び撮像システム Download PDFInfo
- Publication number
- JP4793059B2 JP4793059B2 JP2006101653A JP2006101653A JP4793059B2 JP 4793059 B2 JP4793059 B2 JP 4793059B2 JP 2006101653 A JP2006101653 A JP 2006101653A JP 2006101653 A JP2006101653 A JP 2006101653A JP 4793059 B2 JP4793059 B2 JP 4793059B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image data
- exposure
- light source
- pixel signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Description
び消灯時の前記被写体からの反射光の露光による蓄積電荷を非破壊読み出し方式を用いて
読み出すことが可能な撮像素子及び撮像装置、並びに前記読み出した蓄積電荷から構成さ
れる画素データに基づき前記被写体と前記特定光源との距離を推定する撮像システムに関
する。
撮像して、その撮像結果から、被写体とカメラ(光源)との距離や当該距離に基づく被写
体の動き、更に被写体の形状、素材などを計測する撮像システムが知られている。このシ
ステムにおいては、例えば、被写体の素材(反射率)を知るために、特定光源以外の光(
自然光や照明等)のみが照射された被写体からの反射光を撮像する。また、被写体以外の
背景画像も撮像し、カメラの画角に入った画像を全て素材とするシステムもある。また、
監視システムなどにおいて、被写体と特定光源との距離が計測されることで、よりインテ
リジェントなシステムを構築することができる。
射光を撮像するカメラと、特定光源の光に対する被写体からの反射光を測定するセンサ(
距離センサなど)とを設置する構成や、カメラに専用の撮像素子(センサ)用いる構成な
どがある。これらの構成においては、一般的に、光源の点灯及び消灯(オンオフ)を制御
し、それと同期して撮像を行う。前者は、光源の点灯及び消灯に同期して撮像を行うカメ
ラと、自然光や照明光などの特定光源以外の光の反射光を撮像するカメラとの2台のカメ
ラを用いる。後者は、例えば、特許文献1記載の情報入力装置などがあり、この装置にお
いては、専用のセル構成を有する撮像素子を用いて装置が構成されている。
射光をそれぞれ撮像するのに別々のカメラを用いる必要があるためコストが高くなってし
まう恐れがあった。
また、上記特許文献1の従来技術にあっては、特定光源の光と特定光源以外の光に対す
る反射光をそれぞれ撮像するのに専用の撮像素子(センサ)を用いる必要があるため、特
別な機能を付加する際にセンサセルサイズの大型化や部品点数の増加等が発生し、センサ
のコストが高くなる恐れがあった。
のであって、1つの撮像素子によって、特定光源の光と特定光源以外の光に対する反射光
をそれぞれ撮像することが可能な撮像素子及び撮像装置、並びに前記撮像結果に基づき被
写体と特定光源との距離を推定することが可能な撮像システムを提供することを目的とし
ている。
露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、前記各光電変換素子のフレーム毎の露光時間を制御する電子シャッタ機能とを有する撮像素子を備えた撮像装置であって、
所定露光時間の露光期間において、前記光電変換素子の構成する各画素からの複数種類の露光時間で露光時の各蓄積電荷の構成する画素信号の読み出しを、当該各蓄積電荷のリセットを伴わない非破壊読み出し方式で行う画素信号読出手段と、
被写体に対して特定の光を照射する特定光源と、
前記特定光源の点灯及び消灯を制御する特定光源制御手段と、
前記画素信号読出手段で読み出された画素信号に対応する画素データに基づき、前記複数種類の露光時間にそれぞれ対応する画像データを生成する画像データ生成手段と、
前記画像データ生成手段で生成された画像データを出力する画像データ出力手段と、を備えることを特徴としている。
て、前記光電変換素子の構成する各画素からの複数種類の露光時間で露光時の各蓄積電荷
の構成する画素信号の読み出しを、当該各蓄積電荷のリセットを伴わない非破壊読み出し
方式で行うことが可能である。
更に、特定光源によって、被写体に対して特定の光を照射することが可能であり、特定
光源制御手段によって、前記特定光源の点灯及び消灯を制御することが可能である。
に対応する画素データに基づき、前記複数種類の露光時間にそれぞれ対応する画像データ
を生成することが可能であり、画像データ出力手段によって、前記画像データ生成手段で
生成された画像データを出力することが可能である。
従って、所定露光時間の露光が行われている期間中に、画素信号読出手段によって、複
数種類の露光時間で露光された画素に蓄積された電荷の非破壊読み出しができるので、例
えば、前記期間中において、特定光源制御手段によって特定光源の点灯及び消灯を制御し
、特定光源が点灯しているときの画素信号、特定光源が消灯しているときの画素信号をそ
れぞれ異なる露光時間において複数読みだすことが可能である。
ある通常光のみに対する被写体からの反射光で露光された画素の画素信号と、特定光源の
光及び通常光に対する被写体からの反射光で露光された画素の画素信号とを読み出すこと
ができるという効果が得られる。また、被写体に対する露光量が適切となる露光時間で露
光時の画素信号を読み出すことによって、被写体の鮮明な画像も得ることが可能である。
なお、特定光源が点灯及び消灯しているときの各露光量で露光された画素の画素データ
を解析することで、前述したように、被写体と特定光源との位置関係、被写体の形状、素
材などを知ることが可能である。
前記光電変換部の露光領域をN個(Nは2以上の自然数)の領域に分割し、
前記分割後の領域数Nと少なくとも同数の、前記画素信号読出手段で読み出された画素信号に対応する画素データを順次記憶すると共に、当該記憶した画素データを順次出力する第1〜第N出力チャンネルを備え、
前記画素信号読出手段は、前記複数種類の露光時間で露光時の前記画素信号の読み出しを、前記各領域毎に独立に且つ当該各領域に対して並列に行い、
前記画素信号読出手段によって読み出される画素信号に対応する画素データを、前記各領域毎に、前記第1〜第N出力チャンネルにおけるそれぞれ別々の出力チャンネルから出力することを特徴としている。
域に対して、各領域毎に独立に且つN個の領域に対して並列に画素信号の読み出し及び画
素データの出力を行うことが可能となるので処理負荷を分散することができ、画素信号の
読み出しを容易に高フレームレート化することができる。
従って、より多種の露光時間に対応した画素データを一度に得ることができるという効
果が得られる。
前記画素信号読出手段は、前記電子シャッタ機能による蓄積電荷のリセット直後の前記各画素の画素信号を読み出し、
前記画像データ生成手段は、前記読出手段で読み出した前記リセット直後の画素信号に対応する各画素データの示す画素値と、当該各画素データと同じ画素位置で、且つ前記リセット直後以外の他の露光時間に対応する各画素データの示す画素値との差分値を各露光時間毎にそれぞれ算出し、当該算出した差分値に基づき前記リセット直後以外の露光時間にそれぞれ対応する画像データを生成することを特徴としている。
値と、当該各画素データと同じ画素位置で、且つ前記リセット直後以外の他の露光時間に
対応する各画素データの示す画素値との差分値から画像データを生成することが可能であ
る。これにより、各画素データから非破壊読み出し方式で問題となる固定パターンノイズ
が除去又は低減された画像データを生成することができる。
固定パターンノイズが除去又は低減された画像データを得ることができるという効果が得
られる。
ここで、「固定パターンノイズ」には、長時間露光時に問題になる暗電流シェーディン
グや、画素ごとのセンサ感度の違いによって発生するものなどがある。以下、形態9の撮
像システムにおいて同じである。
前記画像データ出力手段から出力される前記画像データに基づき、前記特定光源と前記被写体との間の距離を推定する距離推定手段を備えることを特徴としている。
このような構成であれば、距離推定手段によって、前記画像データ出力手段から出力される前記画像データに基づき、前記特定光源と前記被写体との間の距離を推定することが可能である。
従って、被写体と特定光源との大凡の距離が解るので、これにより、例えば、被写体と特定光源との位置関係等をシステム利用者に通知するなど距離に基づく様々な処理を行うことができるという効果が得られる。
前記画素信号読出手段における前記画素信号の読み出し動作と、前記特定光源の点灯動作及び消灯動作とを同期させることを特徴としている。
このような構成であれば、特定光源が点灯時の画素データと、特定光源が消灯時の画素データとを正確且つ簡易に取得することができるので、より正確に特定光源と被写体との間の距離を推定することができるという効果が得られる。
前記画素信号読出手段は、前記電子シャッタ機能による蓄積電荷のリセット直後の前記各画素の蓄積電荷の構成する画素信号を読み出し、
前記画像データ生成手段は、前記画素信号読出手段で読み出した前記リセット直後の画素信号に対応する各画素データの示す画素値と、当該各画素データと同じ画素位置で、且つ前記リセット直後以外の他の露光時間に対応する各画素データの示す画素値との差分値を各露光時間毎にそれぞれ算出し、当該算出した差分値に基づき前記リセット直後以外の露光時間にそれぞれ対応する画像データを生成することを特徴としている。
露光時間において読み出した電荷に対応する画素データとの差分値から画像データを生成
することができるので、各露光時間に対応する画素データから非破壊読み出し方式で問題
となる固定パターンノイズを除去又は低減した画素データから構成される撮像画像データ
を生成することができる。
従って、固定パターンノイズによる画質劣化を防ぐ又は低減することができると共に、
固定パターンノイズが除去又は低減された画像データを取得することができるという効果
が得られる。
前記特定光源以外の光である通常光のみによる被写体からの反射光の露光によって前記各画素に蓄積された蓄積電荷の構成する画素信号と、前記通常光及び前記特定光源からの光による被写体からの反射光の露光によって前記各画素に蓄積された少なくとも2種類以上の露光時間にそれぞれ対応する蓄積電荷の構成する画素信号とを、前記画素信号読出手段で読み出すことを特徴としている。
信号から構成される画素データと、2種類以上の通常光及び特定光源の光の反射光の露光
による画素信号から構成される画素データとを得ることが可能である。
従って、これらの画素データから、例えば、特定光源の光のみの反射光に対する露光量
(蓄積電荷量)の変化を算出することができるので、この露光量の変化に対する、特定光
源と被写体との間の距離の変化を予め実験等により測定して記録しておくことで、特定光
源と被写体との間の距離を簡易に推定することができるという効果が得られる。
前記複数種類の露光時間にそれぞれ対応する画像データに基づき、前記特定光源を点灯したときの露光量の増加率を算出する増加率算出手段を備え、
前記距離推定手段は、前記増加率算出手段で算出した増加率に基づき、前記特定光源と前記被写体との間の距離を推定することを特徴としている。
れ対応する画像データに基づき、前記特定光源を点灯したときの露光量の増加率を算出す
ることが可能であり、前記距離推定手段は、前記増加率算出手段で算出した増加率に基づ
き、前記特定光源と前記被写体との間の距離を推定することが可能である。
従って、所定露光時間の露光期間において、特定光源が点灯しているときの露光量(特
定光源の光に対する反射光の露光量)の増加率を得ることができるので、例えば、予め実
験等によって、露光量の増加率に対する特定光源と被写体との間の距離の変化を測定して
記録しておくことで、露光量(蓄積電荷量)の増加率から距離を簡易に推定することがで
きるという効果が得られる。
前記距離推定手段の推定結果に基づく情報をシステム利用者に通知する通知手段を備えることを特徴としている。
このような構成であれば、例えば、「被写体が近づいてくる」、「被写体が遠ざかっている」などの推定された距離から解る(予測できる)情報を、システム利用者に提供することができるという効果が得られる。
き説明する。図1〜図13は、本発明に係る撮像素子、撮像装置及び撮像システムの実施
の形態を示す図である。
以下、図1に基づき、本発明に係る撮像システム100の概略構成を説明する。ここで
、図1は、本発明に係る撮像システム100の概略構成を示すブロック図である。
御すると共に、特定光源の点灯及び消灯に同期して被写体を撮像する撮像装置1と、当該
撮像装置1からの投光画像データ(後述)に基づき、撮像装置1(特定光源16(後述)
)と被写体との間の距離を推定する距離推定処理、撮像画像の表示処理等を行うホストシ
ステム2とを含んだ構成となっている。
センサセルアレイ56(後述)を有すると共に、映像処理部12(後述)からの各種同期
信号に基づき、各領域毎に、複数種類の露光時間で露光された各画素のラインからそれぞ
れ独立に画素信号を非破壊読み出し方式で読み出し、これら読み出した画素のライン毎の
画素信号に対応する画素データ(デジタルデータ)を各領域毎にそれぞれ独立に順次出力
する領域走査対応撮像処理部10(以下、撮像処理部10と称す)と、特定光源16(後
述)の点灯及び消灯の制御、ホストシステム2との各種データの通信の他、撮像処理部1
0から出力される画素データに基づくサブサンプル画像データ(後述)の生成、各領域の
サブサンプル画像データに基づく投光画像データの生成等の映像処理を行う映像処理部1
2と、サブサンプル画像データ、投光画像データ等の各種画像データを記憶するフレーム
メモリ14と、映像処理部12からの光源駆動制御信号に基づき特定の光を点灯及び消灯
する特定光源16とを含んで構成される。
2は、撮像処理部10の内部構成及びホストシステム2の内部構成を示すブロック図であ
る。また、図3は、第1のAFE(Analog Front End)10bの内部構成を示す図である。
また、図4は、領域別走査対応型撮像素子10aの内部構成を示すブロック図である。ま
た、図5(a)は、走査ラインスキャナ54の内部構成を示す図であり、(b)は、ライ
ン制御ロジック54iの内部構成を示す図である。また、図6は、センサセルアレイ56
の詳細構成を示す図である。
図2に示すように、撮像処理部10は、領域別走査対応型撮像素子10aと、第1〜第
4のAFE10b〜10eとを含んで構成される。
を撮像レンズ(不図示)でセンサセルアレイ56(後述)に集光し、その集光量に応じた
電荷をセンサセルアレイ56の各画素に蓄積させる。また、撮像素子10aは、映像処理
部12のタイミング制御器12b(後述)から出力される駆動信号(ピクセルクロック、
水平同期信号及び垂直同期信号0)に基づいて、センサセルアレイ56の各画素列に蓄積
されている電荷群を電圧群に順次変換する。そして、本実施の形態においては、4つの領
域に分割された露光領域の各領域に対する電荷群を変換してなる電圧群を、各領域毎に独
立に、水平転送部58(後述)の有する、第1〜第4非破壊読出ラインメモリを含んで構
成される第1〜第4出力チャンネル(以下、CH1〜CH4と称す)を介して、それぞれ
第1〜第4のAFE10b〜10eに順次出力させる。
以上の自然数)とした場合に、ライン番号n1、n2及びn3(N>n3>n2>n1)
の各画素のラインを境界として露光領域を4つの領域に分割している。従って、以下、ラ
イン番号1〜ライン番号n1の画素のラインのある領域を走査領域1とし、ライン番号(
n1+1)〜n2の画素のラインのある領域を走査領域2とし、ライン番号(n2+1)
〜n3の画素のラインのある領域を走査領域3とし、ライン番号(n3+1)〜Nの画素
のラインのある領域を走査領域4とする。
つまり、撮像素子10aは、走査領域1の電圧群をCH1を介して第1のAFE10b
に、走査領域2の電圧群をCH2を介して第2のAFE10cに、走査領域3の電圧群を
CH3を介して第3のAFE10dに、走査領域4の電圧群をCH4を介して第4のAF
E10eにそれぞれ独立に出力する。
てから次のリセットが行われるまでの時間(所定露光時間)の露光期間をメインフレーム
期間とする。そして、当該メインフレーム期間において、走査領域1〜走査領域4の各領
域に対し、リセット直後の時間である第1露光時間t1で露光時の画素信号を読み出す露
光期間をサブフレーム期間1、第2露光時間t2(t2≫t1)で露光時の画素信号を読
み出す露光期間をサブフレーム期間2、第3露光時間t3(t3>t2)で露光時の画素
信号を読み出す露光期間をサブフレーム期間3、第4露光時間t4(本実施の形態では所
定露光時間と同じ時間となる)(t4>t3)で露光時の画素信号を読み出す露光期間を
サブフレーム期間4とする。
時間t1〜t4でそれぞれ露光された各画素から、画素信号を非破壊読み出し方式で読み
出す。なお、本実施の形態において、所定露光時間は、被写体を視認するための鮮明な画
像を得るのに十分な露光時間とする。
第1〜第4のAFE10b〜10eは、水平転送部58のCH1〜CH4を介してそれ
ぞれ独立に出力される4つの領域に対応する画素信号(アナログデータ)を、デジタルデ
ータ(画素データ)に変換する。そして、第1〜第4AFE10b〜10dは、変換後の
画素データを映像処理部12のサブサンプル画像データ生成部12c(後述)にそれぞれ
出力する。
第1のAFE10bは、図3に示すように、クランプ回路10b1と、差動増幅回路1
0b2と、A/D変換回路10b3とを含んで構成される。
クランプ回路10b1は、撮像素子10aからの画素信号を受信し、それが遮光領域の
信号かを検出し、遮光領域と検出された場合はその信号レベルが黒(基準)レベルになる
ように、入力信号全てに対してクランプ処理を行い、このクランプ処理後の画素信号を増
幅回路10b2に出力する。
ように増幅し、この増幅後の画素信号をA/D変換回路10b3に出力する。
A/D変換回路10b3は、差動増幅回路10b2からの画素信号(アナログデータ)を
、画素データ(デジタルデータ)に変換して映像処理部12へと出力する。
なお、第1〜第4のAFE10b〜10eは、それぞれ同一の内部構成となるので、第
2〜第4のAFE10c〜10eに対する内部構成の説明は省略する。
撮像素子10aは、図4に示すように、基準タイミング発生器50と、駆動パルス発生
器52と、同時に4本の走査線(非破壊読み出しライン)を有効にする走査ラインスキャ
ナ54と、センサセルアレイ56と、水平転送部58とを含んで構成される。
基準タイミング発生器50は、映像処理部12のタイミング制御器12b(後述)から
の垂直同期信号0及び水平同期信号に基づき、基準タイミング信号を発生する。
駆動パルス発生器52は、基準タイミング発生器50からの基準タイミング信号と、走
査ラインスキャナ54からの4つの読出しライン選択信号と、特定のサブフレーム期間の
みに対する4つのリセットライン選択信号とに基づき駆動パルスを発生してセンサセルア
レイ56に供給する。
域1〜走査領域4に対する非破壊読出しラインの位置をそれぞれ選択し、走査領域1〜走
査領域4の非破壊読み出しラインの位置をそれぞれ示す第1〜第4読出しライン選択信号
を生成する。そして、これら生成した第1〜第4読出しライン選択信号を駆動パルス発生
器52に出力する。また、走査ラインスキャナ54は、上記した4つのサブフレーム期間
1〜4のうち、1つのサブフレーム期間(ここでは、サブフレーム期間1)に対してリセ
ットラインを有効とするリセットライン選択信号を生成し、これを駆動パルス発生器52
に出力する。
発生器52から供給される駆動パルスに基づき、露光領域における走査領域1〜走査領域
4を各領域に共通となる複数種類の露光時間で順次露光すると共に、当該露光により各画
素に蓄積された電荷を、各画素のライン毎に読み出して水平転送部58に順次出力する。
水平転送部58は、センサセルアレイ56の走査領域1における各画素から読み出され
た画素信号データを、各画素のライン毎にCH1の第1非破壊読出ラインメモリに順次記
憶し、当該記憶した画素信号データを第1のAFE10bに順次出力する。同様に、走査
領域2〜走査領域4における各画素から読み出された画素信号データを、各画素のライン
毎にCH2〜CH4の第2〜第4非破壊読出ラインメモリにそれぞれ順次記憶し、これら
記憶した画素信号データを第2〜第4のAFE10c〜10eにそれぞれ独立に順次出力
する。
走査ラインスキャナ54は、図5(a)に示すように、第1〜第4非破壊走査カウンタ
54a〜54dと、第2〜第4非破壊走査アドレスデコーダ54e〜54hと、ライン制
御ロジック54iとを含んで構成される。
第1非破壊走査カウンタ54aは、映像処理部12からの垂直同期信号0に基づき、カ
ウントアップ動作を繰り返す。ここで、第1の非破壊走査カウンタ54aのカウンタ値は
、走査領域1の各画素のライン番号に対応しており、このライン番号は、第1非破壊走査
アドレスデコーダ54eに出力される。同様に、第2〜第4非破壊走査カウンタ54b〜
54dは、垂直同期信号0に基づきカウントアップ動作を繰り返し、そのカウンタ値を、
走査領域2〜4の各画素のライン番号として、第2〜第4非破壊走査アドレスデコーダ5
4f〜54hにそれぞれ出力する。
ける非破壊読み出しの基準信号である垂直同期信号1を生成し、当該生成した垂直同期信
号1を映像処理部12のタイミング制御器12bに出力する。
第1非破壊走査アドレスデコーダ54eは、第1非破壊走査カウンタ54aから出力さ
れるライン番号のラインを、走査領域1における「非破壊読み出しラインL1」として有
効にする。同様に、第2〜第4非破壊走査アドレスデコーダ54f〜54hは、第2〜第
4非破壊走査カウンタ54b〜54dからそれぞれ出力されるライン番号のラインを、走
査領域2〜4における「非破壊読み出しラインL2〜L4」としてそれぞれ有効にする。
更に、第1〜第4非破壊走査アドレスデコーダ54e〜54hはそれぞれ、有効としたラ
イン番号を示す第1〜第4非破壊読み出しライン制御信号をライン制御ロジック54iに
出力する。
からの第1〜第4非破壊読み出しライン制御信号に基づき、走査領域1〜走査領域4に対
する各読出しライン位置(アドレス)を示す第1〜第4読み出しライン選択信号を生成す
る。また、走査領域1〜走査領域4に対する各リセットライン位置(アドレス)を示す第
1〜第4リセットライン選択信号を生成する。そして、これら生成した第1〜第4読み出
しライン選択信号、及び第1〜第4リセットライン選択信号を、駆動パルス発生器52に
出力する。
ライン制御ロジック54iは、図5(b)に示すように、読み出しライン選択信号は直
接出力し、一方、リセットライン選択信号は、リセットライン制御部54i1を介して出
力する。
リセットライン制御部54i1は、映像処理部12からの垂直同期信号0に同期して、
走査領域1〜走査領域4における、上記4つのサブフレーム期間(読み出し期間)1〜4
のうち、1つのサブフレーム期間のみの選択ラインを有効として、当該選択ラインの画素
に蓄積された電荷をリセットするための第1〜第4リセットライン選択信号を生成する。
一方、選択ライン以外のラインは無効とする。そして、前記生成したリセットライン選択
信号を駆動パルス発生器52に出力する。
54hからの第1〜第4非破壊読み出しライン制御信号を、走査領域1〜走査領域4にお
ける読み出すべきラインのみを選択する読み出しライン選択信号として駆動パルス発生器
52に出力する。
図6に示すように、センサセルアレイ56は、CMOSを用いて構成された複数のセン
サセル(画素)56aをマトリクス状に配設し、各ライン毎のセンサセル56aに対して
、アドレス線、リセット線及び読出し線が共通に接続され、前記3つの制御線を介して各
種駆動信号が各ラインを構成するセンサセル56aに送信される。そして、アドレス線及
び読出し線が有効になると、図6の信号線を介して蓄積電荷を水平転送器に転送する構成
となっている。このような構成によって、アドレス線により、リセット動作又は読出し動
作を行わせる画素のラインを有効に(選択)し、当該選択信号で選択したラインの各セン
サセル56aに対して、リセット動作を行わせる場合はリセット線を介してリセット動作
を指示する信号を入力し、画素信号の読出しを行わせる場合は、読出し線を介して蓄積電
荷の転送を指示する信号を入力する。選択信号によって選択された各センサセル56aは
、リセット動作を指示する信号が入力されたときはリセット動作を行い、蓄積電荷の転送
を指示する信号が入力されたときは、信号線を介して水平転送部への蓄積電荷の転送を行
う。
6からの画素信号の読み出し方法について説明する。ここで、図7は、領域別走査対応型
撮像素子10aのセンサセルアレイ56の各領域における、各画素のライン毎の露光、及
び各画素からの画素信号の非破壊読み出し動作の一例を示す図である。
本発明の露光時間の制御及び画素信号の読み出しは、図7に示すように、サブフレーム
期間1に対して、まずセンサセルアレイ56の走査領域1〜走査領域4における、画素信
号の読み出しを行う第1〜第4非破壊読み出しラインL1〜L4をそれぞれ選択する。更
に、第1〜第4非破壊読み出しラインL1〜L4と同じラインを、第1〜第4リセットラ
インR1〜R4として選択(有効に)する。
画素のラインがリセットされると、選択ラインの露光が開始され、第1露光時間t1(リ
セット直後)で露光された第1〜第4非破壊読み出しラインL1〜L4の各画素のライン
からの画素信号の読み出しが実行される。
すサブフレーム期間1において、走査領域1〜走査領域4の各所定位置の画素のライン(
例えば、第1ライン、第51ライン、第101ライン、第151ライン)が第1〜第4非
破壊読出しラインL1〜L4として選択されると、これと同じライン(第1ライン、第5
1ライン、第101ライン、第151ライン)が、第1〜第4リセットラインとして選択
される。そして、各選択ラインの露光が開始される。なお、本実施の形態において、この
サブフレーム期間1における画素信号の読み出しは、後述するサブサンプリング画像デー
タの生成に用いる基準画像データを得るために、リセット直後(可能な限り電荷の蓄積量
が少ない状態)の画素信号を読み出すようになっている。また、画素信号の読み出しは、
読み出し後にリセットを伴わない非破壊読み出し方式で行う。このように、サブフレーム
期間1では、非破壊読み出しラインの選択、リセットラインの選択、選択ラインのリセッ
ト、リセット直後の選択ラインの画素信号の非破壊読み出しといった一連の動作が、走査
領域1〜走査領域4の各画素のライン毎に順次行われる。
最終ライン(走査領域幅の情報により決定される)に対して行われると、これに引き続き
、走査領域1〜走査領域4において、サブフレーム期間2における露光時間t2の画素信
号の読み出し、サブフレーム期間3における露光時間t3の画素信号の読み出し、サブフ
レーム期間4における露光時間t4の画素信号の読み出しが順次行われる。
ラインL1〜L4の選択及び選択ラインからの画素信号の読み出しのみを行い、第1〜第
4リセットラインR1〜R4の選択及びリセットは行わないようになっている。つまり、
サブフレーム期間2〜4においては、非破壊読み出し方式で各画素から画素信号の読み出
しが行われる。そして、サブフレーム期間4において、走査領域1〜走査領域4の各最終
ラインの画素信号の読み出しが終了するのと同時に、再びサブフレーム期間1に移行し、
第1〜第4非破壊読出しラインL1〜L4を選択すると共に、これらと同じラインを、第
1〜第4リセットラインR1〜R4として選択してリセットを行う。ここで、前回のリセ
ットから今回のリセットまでの露光期間が前述したメインフレーム期間となる。
おける各画素の画素信号の非破壊読み出しが終了し、再び各領域の開始ラインに戻って、
サブフレーム期間2に移行したときに、開始ラインの各画素は、露光時間t2で電荷が蓄
積された状態となるように非破壊読み出しラインの選択及び画素信号の読み出しの各動作
の制御が行われるようになっている。つまり、1つ前のサブフレーム期間において、各領
域の最終ラインにおける各画素の画素信号の非破壊読み出しが終了し、各領域の開始ライ
ンに戻って、次のサブフレーム期間に移行したときに、各開始ラインの画素は、次のサブ
フレーム期間に対応した露光時間で各画素に電荷が蓄積された状態となるように制御され
る。
供給される共通の垂直同期信号0及び水平同期信号に同期してそれぞれ並列に実行される
。
また、本実施の形態において、走査領域1に対する第1露光時間t1で露光時の画素信
号は、CH1の第1非破壊読出ラインメモリに転送され、CH1を介して第1のAFE1
0bに出力されそこでデジタルデータ(以下、画素データと称す)に変換される。同様に
、走査領域2〜4に対する第2〜第4露光時間t2〜t4で露光時の画素信号は、CH2
〜CH4の第2〜第4非破壊読出ラインメモリにそれぞれ転送され、CH2〜CH4をそ
れぞれ介して第2〜第4のAFE10c〜10eにそれぞれ出力されそこでデジタルデー
タ(画素データ)に変換される。
列に、且つ各領域毎に独立に、第1〜第4露光時間t1〜t4の4種類の露光時間に対す
る画素信号を非破壊読出し方式で順次読み出すことで、メインフレーム期間に対する通常
読み出しに対して、4倍のフレームレートでの読出しを行っている。
更に、図8に基づき、特定光源16の点灯及び消灯動作の制御について説明する。ここ
で、図8(a)は、特定光源の光が被写体に未到達時の蓄積電荷量(輝度レベル)の推移
を示す図であり、(b)は、特定光源の光が被写体に到達時の蓄積電荷量(輝度レベル)
の推移を示す図である。
消灯動作は、映像処理部12からの光源駆動制御信号によって制御される。本実施の形態
においては、上記サブフレーム期間1〜4のそれぞれの期間に同期して点灯及び消灯動作
が行われる。また、本実施の形態においては、図8(a)及び(b)に示すように、サブ
フレーム期間1、2及び4においては特定光源を消灯の状態にし、サブフレーム期間3に
おいては特定光源を点灯の状態にする。ここで、被写体(目標物)に対して、特定光源の
光が未到達である場合は、図8(a)に示すように、通常光(一定の光量)のみの露光が
行われ、終始一定の増加量で電荷が蓄積される。ここで、通常光は、自然光、照明光など
を含む特定光源16以外の光である。一方、被写体に対して、特定光源16の光が到達す
る場合は、上記した特定光源16の点灯及び消灯動作の制御によって、図8(b)に示す
ように、サブフレーム期間1及び2では、特定光源以外の光である通常光のみの露光が行
われるため、通常光のみの増加量で電荷が蓄積される。ところが、サブフレーム期間3で
は特定光源16の光及び通常光による露光が行われるため、通常光の増加量に特定光源1
6の光の増加量分が加算された増加量で電荷が蓄積される。そして、サブフレーム期間4
では、特定光源16が消灯されるので、再び通常光のみの増加量で電荷が蓄積される。つ
まり、特定光源16の点灯及び消灯動作によって、単位時間あたりの蓄積電荷(輝度レベ
ル)の増加量(率)が可変となる。
て、図8(b)のタイミング図(位相関係)では、サブフレーム期間1及び2では通常光
のみの露光による画素データを得ることができ、サブフレーム期間3では、サブフレーム
期間1〜3での通常光の露光分に、サブフレーム期間3の特定光源の光の露光分の加わっ
た画素データを得ることができ、サブフレーム期間4では、サブフレーム期間1〜4での
通常光の露光分に、サブフレーム期間3の特定光源の光の露光分の加わった画素データを
得ることができる。
ホストシステム2は、図2に示すように、システムコントローラ2aと、表示装置2b
とを含んで構成される。
システムコントローラ2aは、映像処理部12の出力読出器12f(後述)を介して、
投光画像データ(後述)を読み出し、当該投光画像データに基づき、特定光源16と被写
体(目標物)との間の距離を推定する(距離画像データを生成)。また、特定光源16と
被写体との間の距離の変化(距離画像データの変化)に基づき、目標物が特定光源16に
対してどのような動きを見せているか(例えば、遠ざかっているか、近づいているか等)
を検出し、当該検出結果を計算機に通知したり、表示装置2bに表示するなどしてユーザ
に通知したりする。また、システムコントローラ2aは、出力読出器12fを介して、サ
ブフレーム期間3(所定露光時間)に対応するサブサンプル画像データ3を読み出し、当
該サブサンプル画像データの画像を表示装置2bに表示する。
表示装置2bは、システムコントローラ2aからの表示指示に応じて、各種画像を表示
する。
、映像処理部12の内部構成を示すブロック図である。また、図10(a)は、サンプル
画像データ生成部12cの内部構成を示す図であり、(b)は、領域1サンプル画像生成
部60の内部構成を示す図である。また、図11(a)は、投光画像データ生成部12e
の内部構成を示すブロック図であり、(b)は、領域1投光画像生成部70の内部構成を
示すブロック図である。
御器12bと、サブサンプル画像データ生成部12cと、投光画像データ生成部12dと
、メモリアクセス調停器12eと、出力読出器12fとを含んで構成される。
通信器・DSP制御部12aは、ホストシステム2からのコマンドを受信し、撮像処理
部10及び映像処理部12を制御する。撮像処理部10を制御するときは、撮像処理部1
0のプロトコルに準じて駆動制御信号を出力する。具体的には、撮像動作の開始などがあ
る。
平同期信号、垂直同期信号0)を生成し、これらを、撮像素子10aの基準タイミング発
生器50に出力する。また、タイミング制御器12bは、水平同期信号、撮像素子10a
からの垂直同期信号1から、撮像処理部10のCH1〜CH4からそれぞれ出力される走
査領域1〜4の各画素信号の、撮像素子10aのセンサセルアレイ56における画素位置
(画素列(ライン)番号、画素番号)が分かるので、その画素列(ライン)番号及び画素番
号(以下、「アドレス情報」とも呼ぶ。)を生成し、そのアドレス情報をサブサンプル画
像データ生成部12cに出力する。
領域1〜4における、各サブフレーム期間1で読み出された画素信号に対応する画素デー
タを領域1〜4基準画像データとしてそれぞれを、フレームメモリ14の領域1〜4ワー
クエリアの対応するワークエリアに格納する。また、走査領域1〜4における、サブフレ
ーム期間2〜4で読み出された各画素信号に対応する画素データと、領域1〜4基準画像
データとに基づき、領域1〜4サブサンプル画像データ1〜3を生成する。そして、生成
した領域1〜4サブサンプル画像データ1〜3をそれぞれ、フレームメモリ14の領域1
〜4ワークエリアの対応するワークエリアに格納する。
成を説明する。
サブサンプル画像データ生成部12cは、図10(a)に示すように、走査領域1〜4
のサブフレーム期間2〜3にそれぞれ対応するサブサンプル画像データ1〜3を生成する
領域1〜4サブサンプル画像生成部60〜63を含んで構成される。
領域1サブサンプル画像生成部60は、図10(b)に示すように、差分画像生成部6
0aを含んで構成される。
と、走査領域1からサブフレーム期間2〜3でそれぞれ読み出された画素信号に対応する
画像データとを取得する。そして、差分画像生成部60aは、サブフレーム期間2〜4の
各画像データを構成する各画素データの示す画素値と、当該画素データと同じ画素位置の
領域1基準画像データを構成する各画素データの示す画素値との差分値をそれぞれ算出し
、当該差分値から、サブフレーム期間2〜4にそれぞれ対応する、領域1サブサンプル画
像データ1〜3を生成する。より具体的には、サブフレーム期間2〜4で読み出した画素
データの示す画素値から、リセット直後のサブフレーム期間1で読み出した画素データの
示す画素値を減算して差分値を算出する。これにより、サブフレーム期間2〜4で読み出
した画素データから、非破壊読出し方式で問題となる、撮像素子の個々の画素のばらつき
に起因する固定パターンノイズを除去することができる。
ンプル画像データ2がサブフレーム期間3に対応し、領域1サブサンプル画像データ3が
サブフレーム期間4に対応する。
同様に、領域2サブサンプル画像生成部61においては、領域2サブサンプル画像デー
タ1〜3が生成され、領域3サブサンプル画像生成部62においては、領域3サブサンプ
ル画像データ1〜3が生成され、領域4サブサンプル画像生成部63においては、領域4
サブサンプル画像データ1〜3が生成される。
部60と同様の構成となるので詳細な説明を省略する。
投光画像データ生成部12dは、メモリアクセス調停器12eを介して、フレームメモ
リ14の領域1〜領域4ワークエリアから、領域1〜4サブサンプル画像データ1〜3を
それぞれ読み出す。そして、これら読み出した領域1〜4サブサンプル画像データ1〜3
に基づき、ホストシステム2のシステムコントローラ2aにおける距離推定処理のための
画像データである領域1〜4投光画像データを生成する。
特定光源16による各画素の輝度レベルの変化量(蓄積電荷量の増加量の変化量)によっ
て、被写体と特定光源16との距離、被写体の動作等を推定することが可能である。つま
り、特定光源16の点灯前の輝度レベルの増加量、点灯後の輝度レベルの増加量及び点灯
後に再び消灯したときの輝度レベルの増加量から、目標物が特定光源16の届く範囲にい
るか否か、目標物が近づいているか遠ざかっているかなどの相対的な動作を推定すること
が可能である。このことを前提に、以下、投光画像データの生成原理について説明する。
・サブフレーム期間1での画素データ出力:v0 ・・・ 基準
・サブフレーム期間2での画素データ出力:v1 ・・・ 通常光のみ
・サブフレーム期間3での画素データ出力:v2 ・・・ 通常光+特定光源
・サブフレーム期間4での画素データ出力:v3 ・・・ 通常光+特定光源
・「通常光のみ」による増加分 :V1 V1=v1−v0 ・・・(式0A)
・「通常光+特定光源」による増加分1:V2 V2=v2−v1 ・・・(式0B)
・「通常光+特定光源」による増加分2:V3 V3=v3−v2 ・・・(式0C)
・通常光からの画素に対する単位時間あたりの照射光量: Sg
・特定光源からの画素に対する単位時間あたりの照射光量: St
・サブフレーム期間: Ts
・点灯期間と読出しラインの読出し期間の位相差: tp
きる。
まず、サブフレーム期間2の通常光による増加量理論値は下式(1)で表すことができ
る。
(V1')=Sg×Ts ・・・・(1)
ことができる。
V2'= Sg(Ts−tp)+(Sg+St)tp
=Sg・Ts+St・tp ・・・・(2)
できる。
V3'=(Sg+St)×(Ts−tp)+Sg・tp
=Sg・Ts+St・Ts−St・tp ・・・・(3)
V2'+V3'=2Sg・Ts+St・Ts ・・・・(4)
理論値V1'、V2'、V3'は各々観測値V1、V2、V3に対応する。
= V2+V3−2V1 ・・・・(5)
ーム期間2では通常光のみの露光による画素データ(上記v1に対応)を取得し、サブフ
レーム期間3では、サブフレーム期間1〜3での通常光の露光分に、サブフレーム期間3
の特定光源の光の露光分の加わった画素データ(上記v2に対応)を取得し、サブフレー
ム期間4では、サブフレーム期間1〜4での通常光の露光分に、サブフレーム期間3の特
定光源の光の露光分の加わった画素データ(上記v3に対応)を取得するようになってい
る。また、前述したように、サブサンプル画像データ生成部12cにおいて、サブフレー
ム期間2〜4の各画素データと、サブフレーム期間1の各画素データとの差分値から領域
1〜4サブサンプル画像データ1〜3を生成している。
ル画像データ1〜3を用いて、走査領域1〜4の各領域毎に、特定光源16の光による蓄
積電荷の増加量分を示す領域1〜4投光画像データを生成することが可能である。
以下、図11(a)及び(b)に基づき、投光画像データ生成部12eの内部構成を説
明する。
投光画像データ生成部12eは、図11(a)に示すように、領域1〜4サンプル画像
データ1〜3に基づき、領域1〜4投光画像データを生成する領域1〜4投光画像生成部
70〜73を含んで構成される。
ータ3の各画素値(v3ーv0)から、領域1サブサンプル画像データ2の各画素値(v
2ーv0)を減算する第1減算器70aと、領域1サブサンプル画像データ2の各画素値
(v2ーv0)から領域1サブサンプル画像データ1の各画素値(v1ーv0)を減算す
る第2減算器70bと、第1減算器70aの減算結果の各画素値(V3)と第2減算器7
0bの減算結果の各画素値(V2)とを加算する加算器70cと、領域1サブサンプル画
像データ1の各画素値(v1ーv0=V1)を2倍に乗算する乗算器70dと、加算器7
0cの加算結果(V2+V3)から、乗算器70dの乗算結果(2V1)を減算する第3
減算器70eとを含んで構成される。
、上式(5)と一致する。従って、第3減算器70eの減算結果を各画素値とした領域1
投光画像データが生成される。
同様に、領域2投光画像生成部71においては、領域2投光画像データが生成され、領
域3投光画像生成部72においては、領域3投光画像データが生成され、領域4投光画像
生成部73においては、領域4投光画像データが生成される。
成となるので詳細な説明を省略する。
以上のようにして生成された領域1〜領域4投光画像データは、領域1〜領域4の各画
素の特定光源の光による輝度レベル(蓄積電荷)の増加量を示し、ホストシステム2のシ
ステムコントローラ2aにおける距離推定処理で用いられる。
12c、投光画像データ生成部12d、及び出力読出器12fからの、読み込み・書き込
み命令に基づき、フレームメモリ14に格納された各種画像データへアクセスする。つま
り、3系統からのアクセス要求を調停し、フレームメモリ14に対して、画像データの読
み出し及び画像データの書き込みを行う。本実施の形態において、メモリアクセス調停部
12eは、サブサンプル画像データ生成部12cから出力される領域1〜4サブサンプル
画像データ1〜3、及び領域1〜4基準画像データと、投光画像データ生成部12dから
出力される領域1〜4投光画像データとを、フレームメモリ14に書き込む。また、サブ
サンプル画像データ生成部12cからの読み出し命令に応じて、領域1〜4基準画像デー
タ、領域1〜4サブサンプル画像データ1〜3をフレームメモリ14から読み出したり、
投光画像データ生成部12dからの読み出し命令に応じて、領域1〜4サブサンプル画像
データ1〜3をフレームメモリ14から読み出したり、投光画像データ生成部12dから
の書き込み命令に応じて、領域1〜4投光画像データをフレームメモリ14に書き込んだ
りする。
信号、垂直同期信号0)に同期して、フレームメモリ14内の画像データを出力する。具
体的には、まず、メモリアクセス調停器12eに対して、領域1〜3サブサンプル画像デ
ータ3、又は領域1〜4投光画像データの読み出し要求(読み出し命令含む)を行う。そ
して、メモリアクセス調停器12eに、領域1〜3サブサンプル画像データ3、又は領域
1〜4投光画像データを取り込み、ホストシステム2と同期を取りつつ、これら画像デー
タを出力する。また、出力読出器12fは、出力タイミングから、読み出すべき画素番号
(アドレス)を計数し、それをメモリアクセス調停器12eに出力する。
1〜領域4ワークエリアと、投光画像データを格納するエリアとから構成される。領域1
〜領域4ワークエリアには、それぞれ、サブサンプル画像データを生成するための基準画
像データ、投光画像データを生成するためのサブサンプル画像データ1〜3がそれぞれ格
納される。また、フレームメモリ14は、メモリアクセス調停器12eから読み出し要求
があると、その要求が示すエリアに格納された画像データを読み出し、メモリアクセス調
停器12eから書き込み要求があると、その書き込み要求が示すエリアに画像データを書
き込む。
説明する。ここで、図12は、撮像環境を示す図である。また、図13は、特定光源16
の点灯タイミングに対する読み出しラインの位相及び信号出力の関係を示す図である。
ここでは、図12に示すように、撮像装置1の撮像対象(距離推定対象)である目標物
体は移動する物体であり、撮像装置1は、この目標物体に対して特定光源16の光を照射
すると共に、図13に示すように、その点灯及び消灯を制御しながらサブフレーム期間1
〜4(図13中の、基準画像取込期間〜第3画像取込期間)における画素信号の非破壊読
み出しを行う。また、図12に示すように、目標物体には、常に一定光量の通常光(特定
光源16以外の光)が照射されているとする。
器・DSP制御部12aを介して、映像処理部12に、撮像(走査領域1〜4の非破壊走
査)開始命令を与えるコマンドを送信する。映像処理部12は、このコマンドを受信する
と、撮像素子10aに対して、撮像動作を開始させるために、当該撮像素子10a内のレ
ジスタを書き換えるコマンドを発行する。また、撮像処理部12は、タイミング制御部1
2bにおいて駆動信号(ピクセルクロック、水平同期信号、垂直同期信号0)を生成し、
これらを撮像素子10aに出力する。更に、映像処理部12は、特定光源16に対して、
その点灯及び消灯を制御する光源駆動制御信号を生成し、これを特定光源16に出力する
。
においては、図13に示すように、撮像処理部10の画素信号の読み出し動作における、
基準画像取込期間〜第3画像取込期間(サブフレーム期間1〜4)の各期間に同期して点
灯及び消灯を行う。具体的には、特定光源16が、基準画像取込期間、第1画像取込期間
、及び第3画像取込期間(サブフレーム期間1、2及び4)においては消灯し、第2画像
取込期間(サブフレーム期間3)のみ点灯するように制御が行われる。
ラインスキャナ54の領域1〜4非破壊走査カウンタ54a〜54dにおいて、それぞれ
同時並列にカウントアップ動作を開始し、カウント値を領域1〜4非破壊走査アドレスデ
コーダ54e〜54hにそれぞれ出力する。そして、領域1〜4非破壊走査アドレスデコ
ーダ54e〜54hは、領域1〜4非破壊走査カウンタ54a〜54dからそれぞれ出力
されるライン番号のラインを、走査領域1〜4のサブフレーム期間1における「読み出し
ライン」として有効にし、それ以外のラインを無効にする。
して有効にしたライン番号のラインを、「リセットライン」としても有効にする。これに
よって、読み出しラインとして選択されたラインの画素は、センサセルアレイ56のリセ
ット動作によって蓄積電荷を空にされる。更に、撮像素子10aは、走査領域1〜4にお
いて、各選択ラインの画素に対してリセットが行われると、各選択ラインの画素からリセ
ット直後の画素信号をそれぞれ読み出す。この動作は、図13に示す、基準画像取込期間
(サブフレーム期間1)のセンサ動作におけるリセット・読み込みに対応する。図13に
示すように、基準画像取込期間においては、特定光源16は消灯状態となっている。なお
、基準画像取込期間において読み出される画素信号の輝度レベルは、図13に示すように
、基準レベルとなり、この画素信号データ(アナログデータ)は、第1のAFE10bに
おいて画素データ(デジタルデータ)に変換されてから、サブサンプル画像データ生成部
12c及びメモリアクセス調停部12eを介して、領域1〜4基準画像データとしてフレ
ームメモリ14の領域1〜4ワークエリアに格納される。
の読み出しが終了(最終ラインに到達)すると、走査ラインスキャナ54は、カウンタ値
を開始番号に戻すと共に垂直同期信号1をアクティブにして、再び開始番号からカウント
アップを繰り返す。そして、領域1〜4非破壊走査カウンタ54a〜54dからそれぞれ
出力されるライン番号のラインを、走査領域1〜4のサブフレーム期間2における「読み
出しライン」として有効にし、それ以外のラインを無効にする。このとき、サブフレーム
期間1とは異なり、「読み出しライン」として有効にしたラインを「リセットライン」と
しては無効とする。つまり、撮像素子10aは、サブフレーム期間1で蓄積された電荷を
リセットせずにそのまま維持して、各選択ラインの画素からの画素信号の読み出しを行う
。その様子は、図13に示す、第1画像取込期間(サブフレーム期間2)のセンサ動作に
おける読込み動作に対応する。また、図13に示すように、第1画像取込期間においても
、特定光源16は消灯状態となっている。従って、第1画像取込期間において読み出され
る画素信号の輝度レベルは、図13に示すように、基準レベルから通常光のみによる増加
量分が増加したレベルとなる。
の読み出しが終了(最終ラインに到達)すると、上記サブフレーム期間1及び2のときと
同様に、走査ラインスキャナ54は、カウンタ値を開始番号に戻すと共に垂直同期信号1
をアクティブにして、再び開始番号からカウントアップを繰り返す。そして、カウント値
の番号のラインを、走査領域1〜4のサブフレーム期間3における「読み出しライン」と
して有効にし、それ以外のラインを無効にする。更に、撮像素子10aは、上記第1画像
取込期間のときと同様に、選択ラインをリセットラインとしては有効にせず(無効にし)
、各画素の蓄積電荷を維持した状態で画素信号の読み出しを行う。その様子は、図13に
示す、第2画像取込期間(サブフレーム期間3)のセンサ動作における読込み動作に対応
する。図13に示すように、第2画像取込期間においては、特定光源16が点灯状態とな
っている。従って、第2画像取込期間において読み出される画素信号の輝度レベルは、図
13に示すように、基準画像取込期間〜第2画像取込期間(サブフレーム期間1〜サブフ
レーム期間3)の各画素信号の読み出し時点までの通常光のみによる増加量分に、サブフ
レーム期間3の開始から各画素信号の読み出し時点までの特定光源の光による増加量分を
加えたレベルとなる。
の読み出しが終了(最終ラインに到達)すると、上記サブフレーム期間1〜3のときと同
様に、走査ラインスキャナ54は、カウンタ値を開始番号に戻すと共に垂直同期信号1を
アクティブにして、再び開始番号からカウントアップを繰り返す。そして、カウント値の
番号のラインを、走査領域1〜4のサブフレーム期間4における「読み出しライン」とし
て有効にし、それ以外のラインを無効にする。更に、撮像素子10aは、上記第1及び第
2画像取込期間のときと同様に、選択ラインをリセットラインとして無効にし、各画素の
蓄積電荷を維持した状態で画素信号の読み出しを行う。その様子は、図13に示す、第3
画像取込期間(サブフレーム期間4)のセンサ動作における読込み動作に対応する。図1
3に示すように、第3画像取込期間においては、特定光源16が再び消灯状態となってい
る。従って、第3画像取込期間において読み出される画素信号の輝度レベルは、図13に
示すように、基準画像取込期間〜第3画像取込期間(サブフレーム期間1〜サブフレーム
期間4)の各画素信号の読み出し時点までの通常光のみによる増加量分に、サブフレーム
期間3の特定光源の光による増加量分を加えたレベルとなる。
期間4)の各画素信号の読み出しは、撮像処理が終了するまで繰り返し行われる。
そして、上記第1画像取込期間(サブフレーム期間2)〜第3画像取込期間(サブフレ
ーム期間4)で読み出された画素信号データ(アナログデータ)は、各期間毎に、CH2
〜CH4を介して第2〜第4のAFE10c〜10eに出力されそこで画素データ(デジ
タルデータ)へと変換される。そして、当該画素データは、映像処理部12のサブサンプ
ル画像データ生成部12cに出力される。
サブフレーム期間2)〜第3画像取込期間(サブフレーム期間4)で読み出された画素信
号に対応する画素データを取得すると、これら取得した画素データに対応する領域1〜4
基準画像データをメモリアクセス調停部12eを介してフレームメモリ14から読み出す
。そして、走査領域1の第1画像取込期間(サブフレーム期間2)に対応する各画素デー
タの画素値から、これと同じ画素位置の領域1基準画像データの画素データの画素値を減
算し、この減算結果の画素値を有する領域1サブサンプル画像データ1を生成する。これ
と同様に、第2及び第3画像取込期間(サブフレーム期間3及び4)に対応する各画素デ
ータの画素値から、これと同じ画素位置の領域1基準画像データの画素データの画素値を
減算し、これら減算結果の画素値を有する領域1サブサンプル画像データ2及び3をそれ
ぞれ生成する。
)〜第3画像取込期間(サブフレーム期間4)に対応する画素データの画素値から、これ
と同じ画素位置の領域2〜4基準画像データの画素データの画素値を減算し、この減算結
果の画素値を有する領域2〜4サブサンプル画像データ1〜3を生成する。
上記生成された領域1〜4サブサンプル画像データ1〜3は、メモリアクセス調停部1
2eを介して、フレームメモリ14の各領域毎に対応する領域1〜4ワークエリアに各領
域ごとに分けて格納される。
納されると、投光画像データ生成部12dは、メモリアクセス調停部12eを介して、領
域1〜4サブサンプル画像データ1〜3をフレームメモリ14から読み出す。そして、当
該読み出した領域1〜4サブサンプル画像データ1〜3に基づき各領域の投光画像データ
を生成する。
減算器70aにおいて、領域1サブサンプル画像データ3の各画素データの画素値から、
当該各画素データと同じ画素位置の領域1サブサンプル画像データ2の各画素データの画
素値を減算する。これにより、第2画像取込期間で画素信号が読み出された各画素の当該
第2画像取込期間の残り時間における通常光及び特定光源の光による輝度レベルの増加量
と、第3画像取込期間で同じ各画素から画素信号が読みだされるまでの通常光による輝度
レベルの増加量との和が求まる。以下、この減算結果の画素値をV32と称す。
の画素値から、当該各画素データと同じ画素位置の領域1サブサンプル画像データ1の各
画素データの画素値を減算する。これにより、第1画像取込期間で画素信号が読み出され
た各画素の当該第1画像取込期間の残り時間における通常光による輝度レベルの増加量と
、第2画像取込期間で同じ各画素から画素信号が読みだされるまでの通常光及び特定光源
の光による輝度レベルの増加量との和が求まる。以下、この減算結果の画素値をV21と称
す。
の加算結果には、第2取込期間中の特定光源の光による輝度レベルの増加量分が全て含ま
れる。一方、乗算器70において、領域1サブサンプル画像データ1の各画素データの画
素値を2倍に乗算する。以下、この乗算結果を、2V1と称す。また、この乗算結果は、
加算器70cの加算結果における通常光による輝度レベルの増加量分となる。つまり、第
3減算器70eにおいて、加算器70cの加算結果から乗算器70dの乗算結果を減算す
ることで、特定光源の光による輝度レベルの増加量分の「V31+V21−2V1」が求まる
。これにより、特定光源の光による輝度レベルの増加量分を示す画素データからなる領域
1投光画像データが生成される。
領域2〜4投光画像生成部71〜73において、領域2〜4投光画像データが生成される
。
投光画像データ生成部12dは、領域1〜4投光画像データを生成すると、これら生成
した領域1〜4投光画像データを、メモリアクセス調停部12eを介して、フレームメモ
リ14の投光画像データのエリアに格納する。
システム2のシステムコントローラ2aは、撮像装置1に対して投光画像データの読み出
しを要求を行う。撮像装置1は、この読み出し要求に応じて、映像処理部12の出力読出
器12fにおいて、メモリアクセス調停器12eを介して、フレームメモリ14から領域
1〜4投光画像データを読み出す。そして、出力読出器12fは、システムコントローラ
2aからの各種駆動信号(ピクセルクロック、水平同期信号、垂直同期信号0)に同期し
て、領域1〜4投光画像データを、ホストシステム2に出力する。なお、投光画像データ
は、メインフレームの複数フレーム分を読み出す。
定光源の光に対する輝度レベルの増加量から、特定光源と目標物体(被写体)との距離を
推定したり、フレーム間の輝度レベルの変化(距離の変化)から目標物体の動き(例えば
、近づいているか、遠ざかっているか等)を推定(判別)したりする。更に、この推定結
果を示す画像を生成し、表示装置2bに表示させる。
4サブサンプル画像データ3の読み出しを要求を行う。撮像装置1は、この読み出し要求
に応じて、映像処理部12の出力読出器12fにおいて、メモリアクセス調停器12eを
介して、フレームメモリ14から領域1〜4サブサンプル画像データ3を読み出す。そし
て、出力読出器12fは、システムコントローラ2aからの各種駆動信号(ピクセルクロ
ック、水平同期信号、垂直同期信号0)に同期して、領域1〜4サブサンプル画像データ
3を、ホストシステム2に出力する。ここで、領域1〜4サブサンプル画像データ3(第
3画像取込期間(サブフレーム期間4)に対応)は、前述したように、目標物体(被写体
)の鮮明な画像が得られる露光時間に対応した画像データであるので、システムコントロ
ーラ2aは、この画像データの画像を表示装置2bに表示させる。これにより、システム
利用者(ユーザ)は、目標物体(被写体)の画像を視認しながら、特定光源16と目標物
体との距離及び目標物体の動きを知ることが可能である。
し、何らかの変化があった場合のみに、表示や警報等によってシステム利用者に通知した
り、変化時の推定結果を外部計算機等に通知するようにしても良い。
上記したように、本実施形態の撮像システム100では、撮像装置1において、センサ
セルアレイ56の露光領域を4つに等分割した走査領域1〜4に対して並列且つ各領域毎
に独立に各画素から画素信号の非破壊読出しを行うことが可能である。これにより、メイ
ンフレーム期間において、各領域の同一画素に対して4回の非破壊読み出し動作を行うこ
とが可能であり、これにより、メインフレームに対して4倍のフレームレートでの画素信
号の読み出しを行うことができる。
れに限らず、その他の可視光を発生する光源や、赤外線などの不可視の光を発生する光源
など他の光源を用いる構成としても良い。但し、赤外線を用いる場合は、撮像素子側も光
源の色温度に光応答するように、例えば、赤外線カットフィルタを未搭載にするなどの対
応が必要となる。
〜4の各期間に同期させて、特定光源16の点灯及び消灯動作を制御するようにしたので
、これにより、通常光のみの露光による画素信号、通常光及び特定光源16の光の露光に
よる画素信号等を容易に取得することが可能である。
また、1つのサブフレーム期間の通常光のみの露光による画素信号、2つ以上サブフレ
ーム期間の通常光及び特定光源16の光の露光による画素信号から、特定光源16の光の
みによる輝度レベルの増加量を求めることが可能であり、これにより、特定光源16の輝
度レベルの増加量から、目標物体の距離を推定したり、増加量の変化から目標物体の動き
を推定したりすることが可能である。
か1の撮像素子に対応し、撮像処理部10、及びタイミング制御部12bによる画素信号
の読み出し処理は、形態1、2、3、5、7、8及び10のいずれか1の画素信号読出手
段に対応し、サブサンプル画像データ生成部12cは、形態2、5、7及び9のいずれか
1の画像データ生成手段に対応し、投光画像データ生成部12dは、形態11の増加率算
出手段に対応し、出力読出器12fは、形態2、6及び7のいずれか1の画像データ出力
手段に対応する。
体の動きの推定処理は、形態6、7、11及び12のいずれか1の距離推定手段に対応し
、ホストシステム2における推定結果の通知処理は、形態12の通知手段に対応する。
なお、上記実施の形態においては、撮像装置1において、センサセルアレイ56の露光
領域を4つの領域に等分割して、メインフレームにおいて、各領域毎に、4回の非破壊読
み出しを行ってフレームレートを高速化するようにしたが、これに限らず、5つ以上に等
分割して、メインフレームにおいて5回以上の非破壊読み出しを行う構成としても良い。
領域を複数(4つ)の領域に等分割して、メインフレームにおいて、各領域毎に、複数(
4)回の非破壊読み出しを行うようにしたが、これに限らず、センサセルアレイ56の露
光領域を構成する画素群に対して、所定の画素を間引いた残りの画素に対してのみ非破壊
読み出しを行い、メインフレームにおいて、間引き量に応じた回数の非破壊読み出しを行
ってフレームレートを高速化する構成としても良い。この場合、撮像処理部10、及びタ
イミング制御部12bによる画素信号の読み出し処理は、形態1、2、4、5、7、8及
び10のいずれか1の画素信号読出手段に対応する。
光源と目標物体との間の距離推定や、目標物体の動きを推定するシステムに利用したが、
これに限らず、目標物体の形状、素材などを推定(解析)するシステムに利用したりする
など、特定光源の光による輝度レベルの増加率から推定可能な他の分野に利用しても良い
。
ラ、2bは表示装置、10は領域走査対応撮像処理部、12は映像処理部、14はフレー
ムメモリ、10aは撮像素子、10b〜10eは第1〜第4のAFE、50は基準タイミ
ング発生器、52は駆動パルス発生器、54は走査ラインスキャナ、56はセンサセルア
レイ、56aはセンサセル、58は水平転送部、54a〜54dは第1〜第4非破壊走査
カウンタ、54e〜54hは第1〜第4非破壊走査アドレスデコーダ、54iはライン制
御ロジック、54i1はリセットライン制御部、54i2は読み出しライン制御部、12a
は通信器・DSP動作制御部、12bはタイミング制御部、12cはサブサンプル画像デ
ータ生成部、12dは投光画像データ生成部、12eはメモリアクセス調停器、12fは
出力読出器
Claims (8)
- 露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、前記各光電変換素子のフレーム毎の露光時間を制御する電子シャッタ機能とを有する撮像素子を備えた撮像装置であって、
所定露光時間の露光期間において、前記光電変換素子の構成する各画素からの複数種類の露光時間で露光時の各蓄積電荷の構成する画素信号の読み出しを、当該各蓄積電荷のリセットを伴わない非破壊読み出し方式で行う画素信号読出手段と、
被写体に対して特定の光を照射する特定光源と、
前記特定光源の点灯及び消灯を制御する特定光源制御手段と、
前記画素信号読出手段で読み出された画素信号に対応する画素データに基づき、前記複数種類の露光時間にそれぞれ対応する画像データを生成する画像データ生成手段と、
前記画像データ生成手段で生成された画像データを出力する画像データ出力手段と、
前記光電変換部の露光領域をN個(Nは2以上の自然数)の領域に分割し、
前記分割後の領域数Nと少なくとも同数の、前記画素信号読出手段で読み出された画素信号に対応する画素データを順次記憶すると共に、当該記憶した画素データを順次出力する第1〜第N出力チャンネルを備え、
前記画素信号読出手段は、前記複数種類の露光時間で露光時の前記画素信号の読み出しを、前記各領域毎に独立に且つ当該各領域に対して並列に行い、
前記画素信号読出手段によって読み出される画素信号に対応する画素データを、前記各領域毎に、前記第1〜第N出力チャンネルにおけるそれぞれ別々の出力チャンネルから出力することを特徴とする請求項2記載の撮像装置。 - 前記画素信号読出手段は、前記電子シャッタ機能による蓄積電荷のリセット直後の前記各画素の画素信号を読み出し、
前記画像データ生成手段は、前記読出手段で読み出した前記リセット直後の画素信号に対応する各画素データの示す画素値と、当該各画素データと同じ画素位置で、且つ前記リセット直後以外の他の露光時間に対応する各画素データの示す画素値との差分値を各露光時間毎にそれぞれ算出し、当該算出した差分値に基づき前記リセット直後以外の露光時間にそれぞれ対応する画像データを生成することを特徴とする請求項1に記載の撮像装置。 - 請求項1又は2に記載の撮像装置を備え、
前記画像データ出力手段から出力される前記画像データに基づき、前記特定光源と前記被写体との間の距離を推定する距離推定手段を備えることを特徴とする撮像システム。 - 前記画素信号読出手段における前記画素信号の読み出し動作と、前記特定光源の点灯動作及び消灯動作とを同期させることを特徴とする請求項3に記載の撮像システム。
- 前記画素信号読出手段は、前記電子シャッタ機能による蓄積電荷のリセット直後の前記各画素の蓄積電荷の構成する画素信号を読み出し、
前記画像データ生成手段は、前記画素信号読出手段で読み出した前記リセット直後の画素信号に対応する各画素データの示す画素値と、当該各画素データと同じ画素位置で、且つ前記リセット直後以外の他の露光時間に対応する各画素データの示す画素値との差分値を各露光時間毎にそれぞれ算出し、当該算出した差分値に基づき前記リセット直後以外の露光時間にそれぞれ対応する画像データを生成することを特徴とする請求項3又は4に記載の撮像システム。 - 前記特定光源以外の光である通常光のみによる被写体からの反射光の露光によって前記各画素に蓄積された蓄積電荷の構成する画素信号と、前記通常光及び前記特定光源からの光による被写体からの反射光の露光によって前記各画素に蓄積された少なくとも2種類以上の露光時間にそれぞれ対応する蓄積電荷の構成する画素信号とを、前記画素信号読出手段で読み出すことを特徴とする請求項3乃至請求項5のいずれか1項に記載の撮像システム。
- 前記複数種類の露光時間にそれぞれ対応する画像データに基づき、前記特定光源を点灯したときの露光量の増加率を算出する増加率算出手段を備え、
前記距離推定手段は、前記増加率算出手段で算出した増加率に基づき、前記特定光源と前記被写体との間の距離を推定することを特徴とする請求項3乃至請求項6のいずれか1項に記載の撮像システム。 - 前記距離推定手段の推定結果に基づく情報をシステム利用者に通知する通知手段を備えることを特徴とする請求項3乃至請求項7のいずれか1項に記載の撮像システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006101653A JP4793059B2 (ja) | 2006-04-03 | 2006-04-03 | 撮像装置及び撮像システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006101653A JP4793059B2 (ja) | 2006-04-03 | 2006-04-03 | 撮像装置及び撮像システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007281556A JP2007281556A (ja) | 2007-10-25 |
JP4793059B2 true JP4793059B2 (ja) | 2011-10-12 |
Family
ID=38682604
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006101653A Active JP4793059B2 (ja) | 2006-04-03 | 2006-04-03 | 撮像装置及び撮像システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4793059B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI433545B (zh) | 2007-10-30 | 2014-04-01 | Nippon Telegraph & Telephone | 影像編碼裝置及影像解碼裝置 |
JP4556993B2 (ja) | 2007-12-07 | 2010-10-06 | セイコーエプソン株式会社 | 状態検査システム |
JP5022923B2 (ja) | 2008-01-23 | 2012-09-12 | 富士フイルム株式会社 | 撮像装置及びその撮像画像信号補正方法 |
JP5211938B2 (ja) * | 2008-08-28 | 2013-06-12 | 日産自動車株式会社 | 照射光抽出装置及び方法 |
JP6424581B2 (ja) * | 2014-11-21 | 2018-11-21 | 株式会社デンソー | 光飛行型測距装置 |
DE112015005163T5 (de) | 2014-11-14 | 2017-07-27 | Denso Corporation | Flugzeitabstandsmessvorrichtung |
JP6539990B2 (ja) * | 2014-11-14 | 2019-07-10 | 株式会社デンソー | 光飛行型測距装置 |
JP7486080B2 (ja) | 2019-08-01 | 2024-05-17 | パナソニックIpマネジメント株式会社 | 撮像装置 |
JP2021082907A (ja) * | 2019-11-18 | 2021-05-27 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置、点灯装置、プログラム、及び情報処理システム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4049897B2 (ja) * | 1998-07-09 | 2008-02-20 | オリンパス株式会社 | 画像入力装置 |
JP4830270B2 (ja) * | 2004-06-14 | 2011-12-07 | ソニー株式会社 | 固体撮像装置および固体撮像装置の信号処理方法 |
-
2006
- 2006-04-03 JP JP2006101653A patent/JP4793059B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2007281556A (ja) | 2007-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4793059B2 (ja) | 撮像装置及び撮像システム | |
US7884868B2 (en) | Image capturing element, image capturing apparatus, image capturing method, image capturing system, and image processing apparatus | |
JP4998056B2 (ja) | 撮像装置、撮像システム及び撮像方法 | |
RU2570354C2 (ru) | Захват и отображение изображений в реальном времени | |
JP6016412B2 (ja) | 撮像装置および信号処理方法 | |
JP4792976B2 (ja) | 撮像装置 | |
CN104010128A (zh) | 摄像设备及其控制方法 | |
JP5979961B2 (ja) | 焦点検出装置、焦点検出方法及び撮像装置 | |
CN101072303A (zh) | 摄像元件及摄像装置 | |
JP2006005520A (ja) | 撮像装置 | |
JP2013005017A (ja) | 撮像装置、および撮像装置制御方法、並びにプログラム | |
JP2005295442A (ja) | 撮像装置及び撮像方法 | |
JP2007194687A (ja) | 撮像装置 | |
JP5222068B2 (ja) | 撮像装置 | |
JP5140939B2 (ja) | 画像記録再生装置 | |
JP2007174266A (ja) | 撮像装置 | |
JP5147652B2 (ja) | 撮像装置及びその制御方法及びプログラム | |
JP7325211B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
KR20220075020A (ko) | 촬상 장치 및 그 제어 방법 | |
JP2010268271A (ja) | 撮像装置 | |
JP5127510B2 (ja) | 撮像装置、及び撮像装置の制御方法 | |
JP2010156596A (ja) | 計測装置及び計測方法 | |
JP2008172606A (ja) | 固体撮像装置及びカメラシステム | |
JP5874473B2 (ja) | 電子カメラ | |
JP6223166B2 (ja) | 画像合成装置、画像合成方法、撮像装置、プログラム及び記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081119 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110628 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110711 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4793059 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140805 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |