JP2007189370A

JP2007189370A - 撮像装置、および多素子検出器の補正方法

Info

Publication number: JP2007189370A
Application number: JP2006004402A
Authority: JP
Inventors: Yasuhito Sano; 泰仁佐野
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2006-01-12
Filing date: 2006-01-12
Publication date: 2007-07-26
Anticipated expiration: 2026-01-12
Also published as: JP4752515B2

Abstract

【課題】被写体の輝度差の影響を受けるおそれがなく、精度良く感度補正を行うことができる多素子検出器の感度補正方法。
【解決手段】ステップＳ１，Ｓ２では、多素子検出器による撮像を所定時間間隔で行う。ステップＳ３では、所定時間間隔で撮像された複数の撮像画像から、同一被写体が撮像され、かつ、多素子検出器の異なる受光素子に対応する画素をそれぞれ抽出する。ステップＳ４では、抽出された複数の画素の輝度に基づいて、同一被写体に対する異なる受光素子の出力が等しくなるように、異なる受光素子毎に感度補正を行う。
【選択図】図２

Description

本発明は、２次元エリアセンサのような多素子検出器を備えた撮像装置、および多素子検出器の補正方法に関する。

従来、１次元ラインセンサや２次元エリアセンサ等の多素子検出器を備えた装置において、多素子検出器の素子間の感度差を補正するものが知られている（例えば、特許文献１参照）。多素子検出器では、各素子の加工精度や材質の不均一性などに起因して、素子間に感度ばらつきが生じる。そのため、上述した従来の装置では、補正対象となっている素子の両脇に隣接する素子から同時に出力される出力値を利用し、それらの出力値の平均値から対象となっている素子の感度を補正するようにしている。

特開平５−１０３７７７号公報

しかしながら、上述した補正方法では、隣接する素子の出力を用いて補正を行っているため、補正対象の素子が検出している被写体の輝度と、隣接する素子が検出している被写体の輝度とが異なる場合、正確な補正ができないという問題があった。

本発明は、複数の受光素子を有する多素子検出器を備え、多素子検出器による撮像を所定時間間隔で行う撮像装置に適用される。そして、所定時間間隔で撮像された複数の撮像画像から、同一被写体中の同一部分が撮像され、かつ、多素子検出器の受光面上の異なる受光領域に対応する画素領域をそれぞれ抽出する抽出手段と、抽出手段により抽出された各画像領域の輝度に基づいて、各画像領域に対応する受光領域に含まれる受光素子の感度補正を行う感度補正手段とを備えたことを特徴とする。

本発明によれば、同一被写体が撮像され、かつ、多素子検出器の受光面上の異なる受光領域に対応する画素領域をそれぞれ抽出し、抽出された各画像領域の輝度に基づいて、各画像領域に対応する受光領域に含まれる受光素子の感度補正を行うようにしたので、従来のように被写体の輝度差の影響を受けるおそれがなく、精度良く感度補正を行うことができる。

以下、図を参照して本発明を実施するための最良の形態について説明する。図１は本発明による撮像装置の一実施の形態を示す図であり、車載物体検出装置の構成を示すブロック図である。車載物体検出装置１は車両に搭載され、車両前方を撮像する撮像部１０と、撮像部１０で撮像した画像を格納するメモリ１２と、制御部１１とを備えている。

撮像部１０は、被写体像を結像する光学系１０１と、結像された被写体像を撮像する多素子検出器１０２とを備えた高速カメラであり、車両走行中に連続的に車両前方を撮像し、フレーム毎にメモリ１２に出力する。多素子検出器１０２には、CCD型やCMOS型等の撮像素子が用いられる。また、制御部１１はＣＰＵ、メモリ、およびその他周辺回路を備え、撮像部１０からの撮像信号に基づいて画像処理等を行う。

次に、制御部１１で行われる感度補正処理について、図２〜図９を用いて説明する。図２は感度補正に関する一連の処理を示すフローチャートであり、図２は処理全体の流れを示すフローチャートである。図２に示す処理は、例えば、車両のキースイッチがオンされるとスタートする。撮像部１０により撮像を開始すると、所定の時間間隔Δｔで画像の撮像が繰り返し行われる。ステップＳ１では、時刻Ｔ１において最初の画像を撮像し、その画像はメモリ１２に格納される。この画像をIT1と表すことにする。ステップＳ２では、時刻Ｔ２＝Ｔ１＋Δｔにおいて２番目の画像IT2を撮像し、メモリ１２に格納する。

続くステップＳ３では、ｉ−１回目およびｉ回目に取得されたそれぞれの画像から、相関の高い画像領域を抽出する。なお、ｉ＝２，３，４，…である。図３のステップＳ３１〜ステップＳ３３は、図２のステップＳ３の処理を詳細に示したものである。図２のステップＳ２〜ステップＳ５の処理は、キースイッチがオンの状態においては繰り返し実行される。初めてステップＳ３を実行する場合には１回目の画像IT1と２回目の画像IT2とに基づき、２回目にステップＳ３を実行する際には２回目の画像と３回目の画像とに基づいて抽出を行う。ここでは、画像IT1，IT2を例に、すなわち、ｉ−１＝１、ｉ＝２の場合について説明する。

まず、ステップＳ３１では、画像IT1を図４に示すように複数の部分領域PT1(a,b)に分割する。ここで、ａは図４の横方向の列番号を表し、ｂは縦方向の行番号を表す。このときの部分領域PT1(a,b)の大きさは、縦および横とも２０画素程度の大きさとする。すなわち、部分領域PT1(a,b)は４００程度の画素が含まれている。

ステップＳ３２では、画像IT1の全ての部分領域PT1(a,b)に関して、部分領域PT1(a,b)が画像TI2のどの領域と相関が高いかそれぞれ計算する。例えば、図５に示すように、画像IT2上に、画像IT1の部分領域PT1(a,b)と同じ位置を中心とした２５画素×２５画素の矩形領域を設定する。そして、その矩形領域内において、２０画素×２０画素の領域Ｒを１画素ずつずらしながら、領域Ｒの被写体画像と上述した部分領域PT1(a,b)の被写体画像との相関を計算する。

相関の計算方法としては、一例として、領域Ｒと部分領域PT1(a,b)の対応する画素同士で輝度の差分を求める。この差分は、全く同じ被写体像であれば非常に小さくなるので、画素毎に得られた差分の総和が小さいほど、領域Ｒの被写体画像と部分領域PT1(a,b)の被写体画像との相関が大きいと判定する。そして、このような相関の計算を、領域Ｒを１画素分ずつ縦横方向にずらしながら行い、最も相関の高い領域Ｒを部分領域PT2(a,b)と称することにする。なお、領域Ｒを移動させる矩形領域の大きさ「２５画素×２５画素」は一例を示したものであり、受光面上の被写体画像の動く速さや撮像間隔Δｔの大きさ等に応じて適宜設定すれば良い。

図６は、部分領域PT1(a,b)と部分領域PT2(a,b)との位置関係を説明する図である。図６では画像IT1と画像IT2とが重ねて表示されており、H1およびH2は同一被写体（人物）を示しており、H1は画像IT1上における位置、H2は画像IT2上における位置を示している。部分領域PT1(a,b)の位置が人物H1の頭部中心である場合、上述したステップＳ３２の検出処理により、画像IT2上の人物H2の頭部中心に部分領域PT2(a,b)が検出されることになる。

ステップＳ３３では、各部分領域PT1(a,b)に関して、部分領域PT1(a,b)とそれに対応する部分領域PT2(a,b)との位置を比較し、それらが画像の上下または左右方向に所定画素（例えば、１画素）以上離れていて、かつ、それらの部分領域間に所定値以上の相関があるものを抽出する。抽出された部分領域PT1(a,b)およびPT2(a,b)を、それぞれP1'(a,b)、P2'(a,b)と表すことにする。ステップＳ３３の処理が終了したならば、図２のステップＳ４へと進む。

ステップＳ４では、多素子検出器１０２の各受光素子の感度補正を行う。上述した画像IT1，IT2における各画素は、多素子検出器１０２の対応する一つの受光素子の出力信号に基づく画像である。図７は、部分領域P1'(a,b)、P2'(a,b)を説明する図であり、多素子検出器１０２の受光素子と、部分領域P1'(a,b)、P2'(a,b)の画素とを一致させるように図示した。２０は多素子検出器１０２の受光面を示しており、Ｓは受光面２０上に格子状に配設された受光素子である。

各部分領域P1'(a,b)、P2'(a,b)は上述したように２０画素×２０画素の領域であって、受光面２０上の異なる位置にあり、互いにずれている。上述したように、部分領域P1'(a,b)、P2'(a,b)同士は相関が高く、部分領域P1'(a,b)に撮像されている被写体画像と部分領域P2'(a,b)に撮像されている被写体画像とはほぼ一致していると考えられる。

図７では、受光面２０における受光素子Ｓの位置を(X,Y)で表し、(X,Y)＝(1,1)にある受光素子をS(X=1,Y=1)と表すことにする。また、各部分領域P1'(a,b)、P2'(a,b)内における画素Ｇの位置を(X',Y')で表し、部分領域P1'(a,b)内の(X',Y')＝(1,1)にある画素ＧをG1(1,1)、部分領域P2'(a,b)内の(X',Y')＝(1,1)にある画素ＧをG2(1,1)と表すことにする。さらに、画素G1(1,1)の輝度をB1(1,1)と表し、画素G2(1,1)の輝度をB2(1,1)と表す。

図７に示すように部分領域P1'(a,b)，P2'(a,b)の位置は受光面２０上でずれているので、画素G1(1,1)，G2(1,1)は部分領域P1'(a,b)，P2'(a,b)内で同一位置にあるが、各画素G1(1,1)，G2(1,1)に対応する受光素子Ｇは互いに異なっている。例えば、部分領域P1'(a,b)の画素G1(1,1)は受光素子S(X=5,Y=3)の出力信号に基づいており、部分領域P2'(a,b)の画素G2(1,1)は受光素子S(X=13,Y=6)の出力信号に基づいている。

画素G1(1,1)，G2(1,1)には同一被写体像が撮像されているので、受光素子S(X=5,Y=3)および受光素子S(X=13,Y=6)の感度が等しければ、原理的に画素G1(1,1)の輝度B1(1,1)と画素G2(1,1)の輝度B2(1,1)とは等しくなるはずである。しかし、前述したように受光素子間に、加工精度や材質の不均一性に起因する感度ばらつきがあることから、実際にはB1(1,1)≠B2(1,1)となっている。そこで、本実施の形態では次のような感度補正を行う。

図８は、ステップＳ４の感度補正処理を詳細に示したものである。ステップＳ４１では、ステップＳ３３で抽出された部分領域P1'(a,b)、P2'(a,b)の同一位置の画素の、輝度の平均値を求める。例えば、画素G1(1,1)の輝度B1(1,1)と画素G2(1,1)の輝度B2(1,1)とから、それらの平均値を求める。ここで、B1(1,1)＝８８、B2(1,1)＝９２の場合には、それらの平均値Bm1(1,1)は、Bm1(1,1)＝９０となる。

ステップＳ４２では、受光素子S(X=5,Y=3)およびS(X=13,Y=6)の感度補正を行う。ここで、入力光の明るさをｘ、ゲインをα、オフセットをβとし、各受光素子Ｓの出力（輝度）ｙがｙ＝αｘ＋βで近似されると仮定する。この場合、受光素子間での感度の違いはゲインα，オフセットβが異なることから生じる。一般的に、大きく異なるのはオフセットβであって、ゲインαは一定と考えても良いので、ここではオフセットβの補正を考える。

オフセットβの補正値をβｍとすると、補正後の出力ｙは次式（１）で表される。
ｙ＝αｘ＋β＋βｍ …（１）
受光素子S(X=5,Y=3)の出力（＝輝度B1(1,1)）は８８となっているので、平均値Bm1(1,1)＝９０が出力されるように補正値βｍを設定すると、βｍ＝＋２となる。同様に、受光素子S(X=13,Y=6)の補正値βｍは、βｍ＝−２となる。このような補正を行うと、受光素子S(X=5,Y=3)，S(X=13,Y=6)の補正後の出力B1'(1,1)，B2'(1,1)は、いずれも９０となる。以上のようにして、部分領域P1'(a,b)、P2'(a,b)の各画素に対応する受光素子Ｇの補正値がそれぞれ算出される。図８に示す例では、X=5〜11、かつ、Y=3〜9を満たす位置の受光素子Ｓと、X=13〜19、かつ、Y=6〜12を満たす位置の受光素子Ｓの補正値βｍがそれぞれ算出される。

ステップＳ４３では、ステップＳ４２で算出された補正値βｍを、各受光素子Ｓに対応させて図１のメモリ１２に記憶する。すなわち、受光面２０の座標(X,Y)を用いて、βｍ(X,Y)のように記憶する。メモリ１２には、βｍ(X,Y)の初期値βｍ(X,Y)＝０が予め記憶されており、新たな補正値βｍ(X,Y)が得られると、取得された補正値βｍ(X,Y)で書き換えることになる。

上述した補正値βｍを用いた感度補正は、多素子検出器１０２の各受光素子から出力されるアナログ信号に対して行っても良いし、デジタル変換された後の信号を補正するようにしても良い。ステップＳ４３の処理が終了したならば、図２のステップＳ５へと進む。ステップＳ５では、終了条件を満たしているか否かを判定し、満たしている場合には一連の処理を終了する。ここで、終了条件とは、例えば、車両のキースイッチがオフされることである。

一方、ステップＳ５で終了条件を満たしていないと判定されると、ステップＳ２へ戻って、ステップＳ２〜ステップＳ４に関して２巡目の処理が実行される。そして、ステップＳ５で終了条件を満たしていると判定されるまで、ステップＳ２〜ステップＳ５の処理を繰り返し実行する。

なお、ステップＳ４１における平均処理に関しては、２巡目以降も１巡目と同様の算出方法でも良いが、次のような重み付き平均を用いるとさらに良い。まず、１巡目と同様の平均処理の場合を説明する。上述した輝度B1(X',Y')，B2(X',Y')および平均値Bm1(X',Y')に代えて、輝度Bi-1(X',Y')，Bi(X',Y')および平均値Bmi(X',Y')を用いると、上述した場合と同様に、Bmi(X',Y')＝Bi-1(X',Y')＋Bi(X',Y')のように表される。ただし、１巡目の補正において補正値βｍが書き換えられている場合には、その書き換えられた補正値βｍを用いて上記Bi-1(X',Y')，Bi(X',Y')が出力されることになる。

図９を用いて具体的に説明すると、部分領域P2'(a,b)は１巡目における２回目の撮像画像に基づいて抽出された部分領域であり、部分領域P3'(a,b)は、２巡目における３回目の撮像画像に基づいて抽出された部分領域である。部分領域P3'(a,b)の画素G3(1,1)には、部分領域P2'(a,b)の画素G2(1,1)と同一被写体の画像が撮像されている。画素G3(1,1)に対応する受光素子S(X=13,Y=6)は、１巡目の補正で補正値βｍ＝−２と補正されており、この補正値βｍを用いた場合の画素G2(1,1)の輝度B2'(1,1)は９０である。また、部分領域P3'(a,b)の画素G3(1,1)に対応する受光素子S(X=16,Y=8)も、１巡目で感度補正が行われている。

この画素G3(1,1)に関して輝度B3'(1,1)＝９３が得られたとすると、平均値Bmi(1,1)は９１．５となる。一方、輝度B3'(1,1)＝９３に重み２を付けて平均値Bmi(1,1)を求めると、Bmi(1,1)＝（９０×２＋９３）／３＝９１となる。これは、補正に使われた画素の数で重みを付けたことになり、補正後の輝度B1'(1,1)およびB2'(1,1)と検出された輝度B3'(1,1)の３つの輝度の平均になっている。

重みを付けることにより、多くの画素の輝度を用いて補正が行われ、補正精度を向上させることができる。このように、重み係数を大きくするほど、過去のより多くの画素の輝度が考慮されるので、例えば、受光素子の感度が経時変化するような場合には、重み係数が大きいと変化前の輝度データの影響が残ってしまう。そのような場合には、変化前の輝度データの影響が速やかに小さくなるように、重み係数を適切な大きさに設定する必要がある。

上述したように、本実施の形態では、多素子検出器１０２の異なる受光素子で同一被写体を撮像し、各受光素子で撮像された画像の輝度が等しくなるように各受光素子の感度を補正するようにしたので、従来のように被写体の輝度差の影響を受けるおそれがなく、精度良く感度補正を行うことができる。

［変形例］
上述した実施形態では、画像IT1，IT2から相関の高い、すなわち同一被写体が撮像されている部分領域P1'(a,b)，P2'(a,b)を求め、各部分領域P1'(a,b)，P2'(a,b)内において同一被写体の同一部分が撮像されている同一位置の画素の輝度に基づいて、それらの画素に対応する受光素子の感度補正を行うようにしたが、以下に述べるように、複数の画素に対応する複数の受光素子をまとめて感度補正するようにしても良い。

図１０は変形例を説明する図であり、上述した図７に対応する図である。この変形例では、部分領域P1'(a,b)，P2'(a,b)において、同一被写体の同一部分が撮像されている４つの画素から成る領域GR1，GR2について感度補正を考える。すなわち、各領域GR1，GR2に含まれる４つの画素の輝度を平均したものを領域GR1，GR2の輝度とし、領域GR1の輝度と領域GR2の輝度の平均値を用いて、各領域GR1，GR2の輝度に対する感度補正値を求める。

例えば、領域GR1の平均の輝度が８８、領域GR2の平均の輝度が９２の場合には、平均値９０を基準として、領域GR1の各画素に対応する各受光素子S(X=5,Y=3)，S(X=6,Y=3)，S(X=5,Y=4)およびS(X=6,Y=4)の補正値βｍは＋２となり、領域GR1の各画素に対応する各受光素子S(X=14,Y=6)，S(X=15,Y=6)，S(X=14,Y=7)およびS(X=15,Y=7)の補正値βｍは−２となる。

このように、複数の受光素子毎に感度補正を行っても上述した実施の形態と同様の効果を奏することができる。なお、上述した実施の形態では、車載用の撮像装置を例に説明したが、車載用に限らず、多素子検出器を備えた種々の撮像装置に適用することができる。

以上説明した実施の形態と特許請求の範囲の要素との対応において、制御部１１は、抽出手段、感度補正手段、特定手段および書換手段を、メモリ１２は記憶手段を、部分領域PT1(a,b)，PT2(a,b)は特定領域をそれぞれ構成する。なお、以上の説明はあくまでも一例であり、発明を解釈する際、上記実施の形態の記載事項と特許請求の範囲の記載事項の対応関係に何ら限定も拘束もされない。

本発明による撮像装置の一実施の形態を示す図であり、車載物体検出装置の構成を示すブロック図である。感度補正に関する処理全体の流れを示すフローチャートである。図２のステップＳ３の処理を詳細に示すフローチャートである。画像IT1と部分領域PT1(a,b)との関係を示す図である。画像IT1と領域Ｒとの関係を示す図である。部分領域PT1(a,b)と部分領域PT2(a,b)との位置関係を説明する図である。部分領域P1'(a,b)、P2'(a,b)を説明する図である。図２のステップＳ４の処理を詳細に示すフローチャートである。平均処理を説明する図である。変形例を説明する図である。

符号の説明

１：車載物体検出装置、１０：撮像部、１１：制御部、１２：メモリ、１０２：多素子検出器、IT1，IT2：画像

Claims

複数の受光素子を有する多素子検出器を備え、前記多素子検出器による撮像を所定時間間隔で行う撮像装置において、
所定時間間隔で撮像された複数の撮像画像から、同一被写体中の同一部分が撮像され、かつ、前記多素子検出器の受光面上の異なる受光領域に対応する画像領域をそれぞれ抽出する抽出手段と、
前記抽出手段により抽出された各画像領域の輝度に基づいて、前記各画像領域に対応する受光領域に含まれる受光素子の感度補正を行う感度補正手段とを備えたことを特徴とする撮像装置。
請求項１に記載の撮像装置において、
前記複数の画像毎に複数の画素を含む所定範囲を設定し、前記所定範囲に含まれる画素の輝度の相関に基づいて、前記同一被写体が撮像されている特定領域を各画像毎に特定する特定手段とを備え、
前記抽出手段は、前記特定領域から前記同一被写体中の同一部分が撮像されている画像領域を抽出することを特徴とする撮像装置。
請求項１または２に記載の撮像装置において、
前記感度補正手段は、前記抽出手段により抽出された複数の画像領域の輝度の平均値を算出し、前記同一被写体中の同一部分を撮像している受光素子の出力が前記平均値と等しくなるように、前記受光素子の感度補正することを特徴とする撮像装置。
請求項１〜３のいずれか一項に記載の撮像装置において、
前記感度補正手段は、
前記所定時間間隔毎に感度補正値を算出する補正値演算手段と、
前記感度補正値を記憶する記憶手段と、
前記補正値演算手段で感度補正値が算出されるたびに、前記記憶手段に記憶されている感度補正値を算出された感度補正値により書き換える書換手段とを備え、
前記記憶手段に記憶された感度補正値で、前記受光素子の感度補正を行うことを特徴とする撮像装置。
請求項１〜４のいずれか一項に記載の撮像装置において、
前記画像領域を、前記多素子検出器の一つの受光素子に対応する画素領域としたことを特徴とする撮像装置。
複数の受光素子を有する多素子検出器の感度補正方法であって、
前記多素子検出器による撮像を所定時間間隔で行う工程と、
所定時間間隔で撮像された複数の撮像画像から、同一被写体中の同一部分が撮像され、かつ、前記多素子検出器の受光面上の異なる受光領域に対応する画像領域をそれぞれ抽出する工程と、
抽出された各画像領域の輝度に基づいて、前記各画像領域に対応する受光領域に含まれる受光素子の感度補正を行う工程とを有することを特徴とする感度補正方法。