JP6225137B2 - 車載カメラ画像処理装置 - Google Patents

Description

本発明は、複数の撮像部により撮像された画像を処理する車載カメラ画像処理装置に関する。

本技術分野の背景技術として、特許文献１には、ステレオ視により広角撮影した撮像画像を画像処理する際に、各カメラから入力された画像を、前記各カメラの配置された前記直線と平行な軸線を持つ円筒面上に射影する画像射影手段と、前記円筒面上に射影された画像において、前記対象物に対応する画素位置を検出する画素位置検出手段とを備えることで、メモリ使用量および処理時間を低減する技術が示されている。

また、特許文献２には、ステレオ撮像ユニット内の第１の不揮発性メモリに、一対のカメラの互いの特性のバラツキを補正するためのカメラ特性データを予め記憶しておくとともに、画像処理ユニット内の第２の不揮発性メモリに、一対のカメラから出力される２系統の画像信号を処理する回路の特性のバラツキを補正するための回路特性データを予め記憶しておく技術が示されている。

特開２００９−１３９２４６号公報 特開平１１−２１１４６９号公報

しかしながら、特許文献１に示される技術のように、中心射影を円筒射影に変更するだけでは、撮像画像が同じサイズである場合に効果があるだけで、たとえば歪補正などキャリブレーションデータが増えていくとメモリ使用量は増え、それに合わせて、キャリブレーションデータにアクセスする時間が増えていくことになり、コストは高くなり、本来の画像処理にかかる時間が短くなり、画像処理性能を上げることには効果が期待できない。

また、特許文献２に示される技術のように、補正データを格納する不揮発性メモリを分けるだけでは、たとえばシェーディング補正などキャリブレーションデータを格納するメモリ使用量は増え、それに合わせて、キャリブレーションデータにアクセスする時間が増えていくことになり、コストは高くなり、本来の画像処理にかかる時間が短くなり、画像処理性能を上げることには効果が期待できない。

今後、車載カメラの機能・性能を向上するためには、撮像素子の高画素化および補正データ量が増加していくことになり、このような手段では、補正データを記憶するメモリにおいて、その補正データが占める割合が増え、本来の画像処理に必要な画像データアクセスが制限されてしまう。解決の手段として、大容量・高速なメモリを採用すると、コスト・消費電力の観点から不利になる。

本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、メモリ部に記憶される補正データのデータ量をなるべく少なくすることができる車載カメラ画像処理装置を提供することである。

上記課題を解決するために、本発明は、例えば特許請求の範囲に記載の構成を採用する。
本発明は、上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、２つのカメラ部で撮像された画像データをそれぞれシェーディング補正するシェーディング補正部と、一方のカメラ部の補正テーブルと他方のカメラ部の補正テーブルとの差分値または平均値を有する補正テーブルを記憶するメモリ部と、前記差分値または平均値を有する補正テーブルから前記一方のカメラ部の補正テーブルと前記他方のカメラ部の補正テーブルの少なくとも一方を生成する補正テーブル生成部とを有し、前記シェーディング補正部は、前記補正テーブル生成部により生成した補正テーブルを用いて前記画像データをシェーディング補正することを特徴とする。

本発明によれば、メモリ部に記憶される補正データのデータ量をなるべく少なくすることができ、画像処理の効率を向上させることができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

実施例１における車載カメラ画像処理装置の構成図。 シェーディング補正テーブルを用いて撮像画像をシェーディング補正する方法を説明する図。 実施例１におけるシェーディング補正テーブルの構成例を説明する図。 実施例２におけるシェーディング補正テーブルの構成例を説明する図。 実施例３におけるシェーディング補正テーブルの構成例を説明する図。 実施例４におけるシェーディング補正テーブルの構成例を説明する図。 実施例５におけるシェーディング補正テーブルの構成例を説明する図。 実施例６におけるシェーディング補正テーブルの構成例を説明する図。 実施例７におけるシェーディング補正テーブルの構成例を説明する図。

以下、本発明の実施例について図面を用いて説明する。

［実施例１］
図１は、実施例１における車載カメラ画像処理装置の構成図である。
本実施例では、車載カメラ画像装置の例として、２つのカメラ部を持つステレオカメラの場合について説明する。車載カメラ画像処理装置１００は、左右一対となるカメラ部(左）１０１及びカメラ部（右）１０２と、カメラ部(左)１０１とカメラ部（右）１０２で撮像した画像データ１２１、１２２をそれぞれシェーディング補正するシェーディング補正部１０３、１０４と、シェーディング補正後の画像データ１２３、１２４を記憶するメモリ部１０６の画像データ部１１１、１１２と、メモリ部１０６の画像データ部１１１、１１２から画像データ１２５を取り込んで画像処理を行う画像処理マイコン１０７を有している。

一方のカメラ部(左)１０１と他方のカメラ部（右）１０２は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの撮像素子であり、複数の画素がマトリックス状に配置された構成を有している。カメラ部(左)１０１とカメラ部（右）１０２では、一般的には光学レンズを経由して対象物が撮像され、撮像素子などによって画像データ１２１、１２２の電気信号となる。また、レンズの特性上、原則的には画面の端は暗く写る。いわゆる周辺光量が落ちるためである。ステレオカメラのように、カメラ部(左)１０１とカメラ部（右）１０２で取得した左右の画像データ１２１、１２２に対して、マッチング処理を行うような場合、面内の輝度が一定であることが理想的であるから、上記、画像データ１２１、１２２に対して、面内の輝度が一定になるような補正が必要である。これをシェーディング補正と呼ぶことにする。

シェーディング補正に用いられる補正データは、たとえば、不揮発性メモリであるフラッシュメモリ部１０８に記憶されていて、車載カメラ画像処理装置１００が起動したときに、画像処理マイコン１０７によって読み出されて、メモリ部１０６のシェーディング補正テーブル部１１３、１１４に記憶される。そして、カメラ部(左)１０１とカメラ部（右）１０２から撮像した画像データを取得するたびに、たとえばフレーム毎にシェーディング補正テーブル部１１３、１１４から読み出されて、シェーディング補正部１０３、１０４で補正計算に用いられる。

図２は、シェーディング補正テーブルを用いて撮像画像をシェーディング補正する方法を説明する図である。
シェーディング補正テーブル３０２は、撮像画像（シェーディング補正前の画像データ）３０１の各画素ｉ（ｍ，ｎ）に対して、１画素毎に一対一となる補正データを持つ。シェーディング補正テーブル３０２の各補正データをｊ（ｍ，ｎ）と表すと、画素位置座標（ｍ，ｎ）の画素データｉのシェーディング補正データｊが補正計算に適用される。

シェーディング補正として、撮像画像３０１に対して、シェーディング補正テーブルを掛け算するときは、シェーディング補正後の画像３０３は、
ｋ（ｍ，ｎ）＝ｉ（ｍ，ｎ）×ｊ（ｍ，ｎ）
ｍ＝１〜Ｍ（Ｍは画像の横サイズ）、ｎ＝１〜Ｎ（Ｎは画像の縦サイズ）
であらわされる。

同様に、オフセットするときは、シェーディング補正後の画像３０３は、
ｋ（ｍ，ｎ）＝ｉ（ｍ，ｎ）＋ｊ（ｍ，ｎ）
ｍ＝１〜Ｍ（Ｍは画像の横サイズ）、ｎ＝１〜Ｎ（Ｎは画像の縦サイズ）
であらわされる。これは一例であり、減算でも除算でも考え方は同じである。

このようにして、画像データ１２１、１２２は、上記シェーディング補正を行うシェーディング補正部１０３、１０４を経由して、シェーディング補正後の画像データ１２３、１２４となり、たとえば、一旦、メモリ部１０６内部の画像データ部１１１、１１２に記憶される。その後、任意のタイミングで画像処理マイコン１０７が、画像データ１２５として読み出し、所望の画像処理を行う。

本実施例において特徴的なことは、フラッシュメモリ部１０８に、左カメラ部１０１のシェーディング補正テーブル(左）と、左カメラ部１０１のシェーディング補正テーブル(左)と右カメラ部１０２のシェーディング補正テーブル(右)との差分値を有するシェーディング補正テーブル（左右差分）が記憶されており、補正データデコード部１０５で、左カメラ部１０１のシェーディング補正テーブル(左）と、左カメラ部１０１のシェーディング補正テーブル(左)と右カメラ部１０２のシェーディング補正テーブル(右)との差分値を有するシェーディング補正テーブル（左右差分）とを用いて右カメラ部１０２のシェーディング補正テーブル(右)を生成することである。

図３は、実施例１におけるシェーディング補正テーブルの構成例を説明する図である。
シェーディング補正部１０３、１０４では、一方のカメラ部(左)１０１と他方のカメラ部（右）１０２が持つそれぞれの撮像素子、および、レンズを代表とする光学特性に合わせたシェーディング補正テーブル（左）Ａと、シェーディング補正テーブル（右）Ｂを用いて、画像データ１２１、１２２をシェーディング補正し、シェーディング補正後の画像データ１２３、１２４をメモリ部１０６に提供する。

このとき、補正データをたとえば、符号なし１２ｂｉｔ／ｐｉｘｅｌとして、また画像サイズがＳＸＧＡ（１２８０画素×１０２４画素）とすると、シェーディング補正テーブルＡ、Ｂは、それぞれ、
Ａ＝１２８０×１０２４×１２ｂｉｔ＝１．８７５ＭＢ
Ｂ＝１２８０×１０２４×１２ｂｉｔ＝１．８７５ＭＢ
となる。

これに対して、シェーディング補正テーブル（左）Ａとシェーディング補正テーブル（右）Ｂの差分を用いて、新たなシェーディング補正テーブル（左右差分）Ｃを計算する。ステレオカメラのように、左右のカメラ部１０１、１０２が持つそれぞれの撮像素子、および、レンズを代表とする光学特性がほぼ等しいときには、左右のシェーディング補正テーブルは近い値になる特徴があるから、たとえば、上記差分は、もともとのデータｂｉｔ数である、符号なし１２ｂｉｔ／ｐｉｘｅｌよりも十分小さいｂｉｔ数で表現できる。たとえば、ここでは、符号付き６ｂｉｔで表現できたとする。

このときのシェーディング補正テーブルＣのデータ量は、
Ｃ＝Ａ−Ｂ＝１２８０×１０２４×６ｂｉｔ＝０．９３７５ＭＢ
となる。

そこで、本実施例では、フラッシュメモリ部１０８に、シェーディング補正テーブル（左）Ａと、シェーディング補正テーブル（左右差分）Ｃを記憶させておく。シェーディング補正テーブル（左）Ａとシェーディング補正テーブル（左右差分）Ｃがあれば、メモリ部１０６から読み出して、メモリ部１０６のシェーディング補正テーブル部１１３、１１４に記憶させた後、補正データデコード部１０５において、
Ａ−Ｃ＝Ａ−（Ａ−Ｂ）＝Ｂ
とすることで、シェーディング補正テーブル（右）Ｂを生成できる。これにより、補正データを元に戻して、シェーディング補正部１０３、１０４で左右の画像データをそれぞれシェーディング補正することができる。

効果として、フラッシュメモリ部１０８の容量、および、メモリ部１０６でシェーディング補正テーブルが占める容量は、下式により２５％削減できる。
（Ａ＋Ｃ）／（Ａ＋Ｂ）＝２．８１２５ＭＢ／３．７５ＭＢ＝７５％（２５％削減）

上述のように、本実施例では、フラッシュメモリ部１０８に、カメラ部(左)１０１のシェーディング補正テーブル(左)Ａと差分値を有するシェーディング補正テーブル（左右差分）Ｃが記憶されており、画像処理マイコン１０７により読み出された後に、メモリ部１０６のシェーディング補正テーブル部１１３、１１４に記憶される。

シェーディング補正テーブル(左)Ａは、カメラ部(左)１０１が有する複数の画素に対して１画素毎に設定された補正データを有し、シェーディング補正テーブル（左右差分）Ｃは、カメラ部(左)１０１が有する複数の画素に対して１画素毎に設定された補正データと、カメラ部(右)１０２が有する複数の画素に対して１画素毎に設定された補正データとの差分値を補正データとして有している。

そして、補正データデコード部１０５は、シェーディング補正テーブル（左右差分）Ｃと、シェーディング補正テーブル(左)Ａとを減算することにより、カメラ部(右)１０２のシェーディング補正テーブル(右)Ｂを生成する(補正テーブル生成部)。そして、シェーディング補正テーブル(左)Ａをシェーディング補正部１０３に供給し、シェーディング補正テーブル(右)Ｂをシェーディング補正部１０４に供給する。

シェーディング補正部１０３は、補正データデコード部１０５から供給されたシェーディング補正テーブル(左)Ａを用いてカメラ部(左)１０１の画像データ１２１をシェーディング補正し、シェーディング補正部１０４は、補正データデコード部１０５で生成されたシェーディング補正テーブル(右)Ｂを用いてカメラ部(右)１０２の画像データ１２２をシェーディング補正する。

フラッシュメモリ部１０８には、シェーディング補正テーブル(右)Ｂの代わりに、シェーディング補正テーブル(右)Ｂよりもデータ量の少ないシェーディング補正テーブル（左右差分）Ｃが記憶されているので、フラッシュメモリ部１０８の容量、および、メモリ部１０６でシェーディング補正テーブルが占める容量を削減することができる。また、フラッシュメモリ部１０８から読み出すデータ量が削減され、かつ、シェーディング補正テーブル部１１３、１１４に記憶させるデータ量が削減されるため、車載カメラ画像処理装置１００の起動時間が短くなる。

さらに、上述した簡単な構成を有する補正データデコード部１０５を追加するだけで、メモリ部１０６からシェーディング補正テーブルを読み出すデータ量を削減することができるため、消費電力の低減化が図れ、さらには、メモリ部１０６へのアクセス量のうち、本来の画像処理性能のための画像処理マイコン１０７からの読み出し量を増やすことができて、性能向上につなげることができる。

今後、車載カメラの機能・性能を向上するためには、撮像素子の高画素化および補正データ量が増加していくことになり、補正データを記憶するメモリにおいて、その補正データが占める割合が増え、本来の画像処理に必要な画像データアクセスが制限されてしまうことが課題となるが、本発明によれば、メモリに記憶される補正データのデータ量をなるべく少なくすることができ、大容量・高速なメモリの採用をすることなく、課題を解決することができる。

なお、本実施例では、左カメラ部１０１のシェーディング補正テーブル(左）と、左カメラ部１０１のシェーディング補正テーブル(左)と右カメラ部１０２のシェーディング補正テーブル(右)との差分値を有するシェーディング補正テーブル（左右差分）を用いて右カメラ部１０２のシェーディング補正テーブルを生成しているが、代わりに、右カメラ部１０２のシェーディング補正テーブル(右)と、左カメラ部１０１のシェーディング補正テーブル(左)と右カメラ部１０２のシェーディング補正テーブル(右)との差分値を有するシェーディング補正テーブル（左右差分）とを用いて左カメラ部１０１のシェーディング補正テーブル(左)を生成してもよい。

また、本実施例では、フラッシュメモリ部１０８とメモリ部１０６とが分かれた構成の場合を例に説明しているが、フラッシュメモリ部１０８を省略して、メモリ部１０６のみにシェーディング補正テーブルを記憶させた構成としてもよい。

以降の実施例は、上述したシェーディング補正テーブルのデータ量削減のさせ方のいくつかの方法について記述する。なお、以降の実施例に書かれていない手法であっても、２つのシェーディング補正テーブルの差分のデータを生成することそのものが本発明である。

［実施例２］
図４は、実施例２におけるシェーディング補正テーブルの構成例を説明する図である。
本実施例では、実施例１で説明したシェーディング補正テーブル（左）Ａと、シェーディング補正テーブル（左右差分）Ｃを圧縮した圧縮シェーディング補正テーブルＡ’、Ｃ’をフラッシュメモリ部１０８に記憶させておくことを特徴とする。

圧縮には、それぞれ一般的な手法のデータ圧縮技術を適用する。圧縮方法は、補正データデコード部１０５によって生成されるシェーディング補正テーブル（左）Ａと（右）Ｂとが同じような補正データとなるものを採用することが望ましく、可逆圧縮でもよく、また、非可逆圧縮でもよい。可逆圧縮の方法としては、例えばランレングス圧縮、ハフマン符号を用いる圧縮、ＬＺＳＳ圧縮等の方法を用いることができる。非可逆圧縮の方法としては、例えばＪＰＥＧ圧縮方法を用いることができる。

データ圧縮によって補正データをたとえば７０％に圧縮できたとすると、シェーディング補正テーブルＡ’、Ｃ’は、それぞれ、
Ａ’＝１．８７５ＭＢ×０．７≒１．３１ＭＢ
Ｃ’＝０．９３７５ＭＢ×０．７≒０．６６ＭＢ
となる。

上記、圧縮シェーディング補正テーブル（左）Ａ’と、圧縮シェーディング補正テーブル（左右差分）Ｃ’をフラッシュメモリ部１０８に記憶させ、メモリ部１０６で読み出してメモリ部１０６のシェーディング補正テーブル部１１３、１１４に記憶させる。これらがあれば、補正データデコード部１０５において、逆圧縮（伸長）処理を行い、
Ａ’ ×逆圧縮＝Ａ、Ｃ’ ×逆圧縮＝Ｃ、
Ａ−Ｃ＝Ａ−（Ａ−Ｂ）＝Ｂ
とすることで、シェーディング補正テーブル（左）Ａと（右）Ｂを生成できる。これにより、補正データを元に戻して、左右それぞれのシェーディング補正を行うことができる。

シェーディング補正テーブルを記憶しておくフラッシュメモリ部１０８の容量、および、メモリ部１０６に占めるシェーディング補正テーブルが占める容量は、下式により４７％削減できる。
（Ａ’＋Ｃ’）／（Ａ＋Ｂ）≒１．９７ＭＢ／３．７５ＭＢ≒５３％（４７％削減）

これにより、実施例１（２５％減）よりも、さらに容量を削減することができる。
例えば、図４に示すシェーディング補正テーブル(左)Ａは、図２に示したように、レンズ周辺の光量が落ちている画素に対して、画像全体が均一になるようなデータとしており、画像中心を含む殆どのエリアは同じ、あるいは似たようなデータが多いことを特徴としている。

したがって、シェーディング補正テーブル(左)Ａの圧縮方法には、データ全体に占めるデータ毎の出現回数に差がある場合に圧縮効率が高くなるハフマン符号を用いた場合に、より高い効果が得られる。

そして、図４に示すシェーディング補正テーブル（左右差分）Ｃは、補正データがばらばらになるケースが想定されるため、データ列を、前のデータ列と一致があったか否か、一致があった場合に一致位置と一致長を用いて表す方法であるＬＺＳＳ圧縮法を用いた場合に、より高い効果が得られる。

また、シェーディング補正テーブルを画像として考えると、図２に示すように、画像データの中心が暗く、周辺が明るい画像になるので、例えば非可逆圧縮であるＪＰＥＧ圧縮方法を用いることも可能である。ただし、ＪＰＥＧ圧縮方法は、画像を８×８ピクセルの正方形ブロックに分割して、その単位で画像の変化の情報を抽出するので、情報の一部を捨てることになる。

圧縮方法として、可逆と非可逆のどちらを選択するかは、撮像素子やレンズ等を含めた光学系の素性、及び、画像処理認識アプリケーションなどの機能やシステムからの要求を検討した上で決定される。

［実施例３］
図５は、実施例３におけるシェーディング補正テーブルの構成例を説明する図である。
本実施例では、２つのシェーディング補正テーブル（左）Ａとシェーディング補正テーブル（右）Ｂの差を用いて、新たなシェーディング補正テーブルＤとＥを計算する。シェーディング補正テーブルＤは、シェーディング補正テーブル（左）Ａと、シェーディング補正テーブル（右）Ｂの和を２で除算したテーブルとする。シェーディング補正テーブルＥは、シェーディング補正テーブル（左）Ａと、シェーディング補正テーブル（右）Ｂの差を２で除算したテーブルとする。

実施例１同様、ステレオカメラのように、左右のカメラ部が持つそれぞれの撮像素子、および、レンズを代表とする光学特性がほぼ等しいときには、左右のシェーディング補正テーブルは近い値になる特徴があるから、たとえば、２つの補正テーブルの差をとるシェーディング補正データＥは、もともとのデータｂｉｔ数である、符号なし１２ｂｉｔ／ｐｉｘｅｌよりも十分小さいｂｉｔ数で表現できる。

たとえば、実施例１では、符号付き６ｂｉｔで表現できたとしたが、ここでは２で除算しているのでさらに１ｂｉｔ少なくてすむ。シェーディング補正テーブルＤは、符号なし１２ｂｉｔ／ｐｉｘｅｌの足し算なので１ｂｉｔ増えるが２で除算するので、結果は符号なし１２ｂｉｔ／ｐｉｘｅｌとなりデータ量は増えない。

このときのシェーディング補正テーブルＤとシェーディング補正テーブルＥのデータ量は、
Ｄ＝１２８０×１０２４×１２ｂｉｔ＝１．８７５ＭＢ
Ｅ＝１２８０×１０２４×５ｂｉｔ≒０．７８ＭＢ
となる。

上記、シェーディング補正テーブルＤと、シェーディング補正テーブルＥをフラッシュメモリ部１０８に記憶させ、メモリ部１０６で読み出してメモリ部１０６のシェーディング補正テーブル部１１３、１１４に記憶させる。これらがあれば、メモリ部１０６から読み出した後に、補正データデコード部１０５において、
Ｄ＋Ｅ＝（Ａ＋Ｂ）／２＋（Ａ−Ｂ）／２＝Ａ
Ｄ−Ｅ＝（Ａ＋Ｂ）／２−（Ａ−Ｂ）／２＝Ｂ
とすることで、シェーディング補正テーブル（左）Ａとシェーディング補正テーブル（右）Ｂを生成できる。これにより、補正データを元に戻して、シェーディング補正部１０３、１０４で左右それぞれのシェーディング補正を行うことができる。

シェーディング補正テーブルを記憶しておくフラッシュメモリ部１０８の容量、および、メモリ部１０６に占めるシェーディング補正テーブルが占める容量は、下式により２９％削減できる。
（Ｄ＋Ｅ）／（Ａ＋Ｂ）≒２．６６ＭＢ／３．７５ＭＢ≒７１％（２９％削減）
したがって、実施例１（２５％削減）よりもデータ容量を削減することができる。

本実施例では、フラッシュメモリ部１０８に、カメラ部(左)１０１のシェーディング補正テーブル(左)Ａとカメラ部(右)１０２のシェーディング補正テーブル(右)Ｂとの和の平均値を有するシェーディング補正テーブルＤと、カメラ部(左)１０１のシェーディング補正テーブル(左)Ａとカメラ部(右)１０２のシェーディング補正テーブル(右)Ｂとの差の平均値を有するシェーディング補正テーブルＥが記憶されており、所定のタイミングで画像処理マイコン１０７によって読み出されて、メモリ部１０６のシェーディング補正テーブル部１１３、１１４に記憶される。

カメラ部(左)１０１のシェーディング補正テーブル(左)Ａは、カメラ部(左)１０１が有する複数の画素に対して１画素毎に設定された補正データを有し、カメラ部(右)１０２のシェーディング補正テーブル(右)Ｂは、カメラ部(右)１０２が有する複数の画素に対して１画素毎に設定された補正データを有している。

和の平均値を有するシェーディング補正テーブルＤは、カメラ部(左)１０１が有する複数の画素に対して１画素毎に設定された補正データと、カメラ部(右)１０２が有する複数の画素に対して１画素毎に設定された補正データとの和を２で除算した値を補正データとして有する。そして、差の平均値を有するシェーディング補正テーブルＥは、カメラ部(左)１０１が有する複数の画素に対して１画素毎に設定された補正データと、カメラ部(右)１０２が有する複数の画素に対して１画素毎に設定された補正データとの差を２で除算した値を補正データとして有する。

そして、補正データデコード部１０５は、和の平均値を有するシェーディング補正テーブルＤと、差の平均値を有するシェーディング補正テーブルＥとを加算することにより、カメラ部(左)１０１のシェーディング補正テーブル(左)Ａを生成し、和の平均値を有するシェーディング補正テーブルＤから、差の平均値を有するシェーディング補正テーブルＥを減算することにより、カメラ部(右)１０２のシェーディング補正テーブル(右)Ｂを生成する。

シェーディング補正部１０３は、補正データデコード部１０５から供給されたシェーディング補正テーブル(左)Ａを用いてカメラ部(左)１０１の画像データ１２１をシェーディング補正し、シェーディング補正部１０４は、補正データデコード部１０５で生成されたシェーディング補正テーブル(右)Ｂを用いてカメラ部(右)１０２の画像データ１２２をシェーディング補正する。

フラッシュメモリ部１０８には、シェーディング補正テーブル(左)Ａとシェーディング補正テーブル(右)Ｂの代わりに、シェーディング補正テーブル(左)Ａと同一のデータ量を有するシェーディング補正テーブルＤと、シェーディング補正テーブル(右)Ｂよりもデータ量の少ないシェーディング補正テーブルＥが記憶されているので、シェーディング補正テーブルを記憶しておくフラッシュメモリ部１０８の容量、および、メモリ部１０６でシェーディング補正テーブルが占める容量を削減することができる。したがって、実施例１と同様の効果を得ることができる。

［実施例４］
図６は、実施例４におけるシェーディング補正テーブルの構成例を説明する図である。
本実施例では、実施例３で説明したシェーディング補正テーブルＤと、シェーディング補正テーブルＥを圧縮した圧縮シェーディング補正テーブルＤ’、Ｅ’をフラッシュメモリ部１０８に記憶させておくことを特徴とする。

圧縮には、それぞれ一般的な手法のデータ圧縮技術を適用する。圧縮方法は可逆圧縮でもよく、また、非可逆圧縮でもよい。可逆圧縮の方法としては、例えばランレングス圧縮、ハフマン符号を用いる圧縮、ＬＺＳＳ圧縮等の方法を用いることができる。非可逆圧縮の方法としては、例えばＪＰＥＧ圧縮方法を用いることができる。

データ圧縮によって補正データをたとえば７０％に圧縮できたとすると、シェーディング補正テーブルＤ’、Ｅ’は、それぞれ、
Ｄ’＝１．８７５ＭＢ×０．７≒１．３１ＭＢ
Ｅ’＝０．７８ＭＢ×０．７≒０．５５ＭＢ
となる。

上記、圧縮シェーディング補正テーブルＤ’と、圧縮シェーディング補正テーブルＥ’をシェーディング補正テーブルに持たせる。これらがあれば、メモリ部１０６から読み出した後に、補正データデコード部１０５において、逆圧縮（伸長）処理を行い、
Ｄ’×逆圧縮＝Ｄ、Ｅ’×逆圧縮＝Ｅ、
Ｄ＋Ｅ＝（Ａ＋Ｂ）／２＋（Ａ−Ｂ）／２＝Ａ
Ｄ−Ｅ＝（Ａ＋Ｂ）／２−（Ａ−Ｂ）／２＝Ｂ
とすることで、シェーディング補正テーブル（左）Ａと（右）Ｂを生成できる。これにより、補正データを元に戻して、左右それぞれのシェーディング補正を行うことができる。

シェーディング補正テーブルを記憶しておくフラッシュメモリ部１０８の容量、および、メモリ部１０６においてシェーディング補正テーブルが占める容量は、下式により５０％削減できる。
（Ｄ’＋Ｅ’）／（Ａ＋Ｂ）≒１．８６ＭＢ／３．７５ＭＢ≒５０％（５０％削減）

これにより、実施例１（２５％減）よりも、さらに容量を削減することができる。
圧縮方法として、可逆と非可逆のどちらを選択するかは、撮像素子やレンズ等を含めた光学系の素性、及び、画像処理認識アプリケーションなどの機能やシステムからの要求を検討した上で決定される。

［実施例５］
図７は、実施例５におけるシェーディング補正テーブルの構成例を説明する図である。
本実施例では、２つのシェーディング補正テーブルの差分を算出する前に、シェーディング補正テーブル（左）Ａとシェーディング補正テーブル（右）Ｂに対して、それぞれ、一般的な手法のデータ圧縮技術を適用する。そして、データ圧縮によって生成された圧縮シェーディング補正テーブル（左）Ａ’と圧縮シェーディング補正テーブル（右）Ｂ’に対して、新たな圧縮シェーディング補正テーブル（左右差分）Ｆを計算する。

たとえば、ここでは、圧縮シェーディング補正テーブル（左）Ａ’および、圧縮シェーディング補正テーブル（右）Ｂ’が圧縮前のものと比較してそれぞれ７０％に圧縮できたとして、また、圧縮シェーディング補正テーブル（左右差分）Ｆのデータ量が、圧縮シェーディング補正テーブル（左）Ａ’の半分になったとすると、このときの圧縮シェーディング補正テーブル（左右差分）Ｆのデータ量は、
Ｆ＝Ａ’ ×５０％＝Ａ×７０％×５０％≒１．３１ＭＢ×５０％≒０．６６ＭＢ
となる。

上記、圧縮シェーディング補正テーブル（左）Ａ’と、圧縮シェーディング補正テーブル（左右差分）Ｆをフラッシュメモリ部１０８に記憶させておき、画像処理マイコン１０７により読み出してメモリ部１０６のシェーディング補正テーブル部１１３に記憶させる。したがって、メモリ部１０６から読み出した後に、補正データデコード部１０５において、
Ａ’−Ｆ＝Ａ’ −（Ａ’−Ｂ’）＝Ｂ’
Ａ’ ×逆圧縮＝Ａ、Ｂ’ ×逆圧縮＝Ｂ、
とすることで、シェーディング補正テーブル（左）Ａと（右）Ｂを生成できる。これにより、補正データを元に戻して、左右それぞれのシェーディング補正を行うことができる。

シェーディング補正テーブルを記憶しておくフラッシュメモリ部１０８の容量、および、メモリ部１０６においてシェーディング補正テーブルが占める容量は、下式により４７％削減できる。
（Ａ’＋Ｆ）／（Ａ＋Ｂ）≒１．９７ＭＢ／３．７５ＭＢ≒５３％（４７％削減）
これにより、実施例１（２５％減）よりも、さらに容量を削減することができる。

圧縮方法は可逆圧縮でも非可逆圧縮でも問わない。圧縮方法として、可逆と非可逆のどちらを選択するかは、撮像素子やレンズ等を含めた光学系の素性、及び、画像処理認識アプリケーションなどの機能やシステムからの要求を検討した上で決定される。

本実施例は、シェーディング補正テーブル（左）Ａと（右）Ｂを圧縮してからその差分である圧縮シェーディング補正テーブル（左右差分）Ｆを算出してフラッシュメモリ部１０８に記憶しているのに対して、実施例２では、シェーディング補正テーブル（左）Ａと（右）Ｂとの差分であるシェーディング補正テーブル（左右差分）Ｃを算出してから圧縮し、その圧縮シェーディング補正テーブル（左右差分）Ｃ’をフラッシュメモリ部１０８に記憶している。このように、圧縮を先に行うか後で行うかは、光学系の素性によって選択することができる。

例えば、カメラ部（左）１０１とカメラ部（右）１０２の公差が少ない等の光学系の素性が良い場合には、左右で似たようなデータになるので、実施例２のように先に差分を算出して後で圧縮する方がデータ量を削減することができる。一方、カメラ部（左）１０１とカメラ部（右）１０２の公差が多い等の光学系の素性が悪い場合には、本実施例のように先に圧縮してから後で差分を算出する。

［実施例６］
図８は、実施例６におけるシェーディング補正テーブルの構成例を説明する図である。
本実施例において特徴的なことは、シェーディング補正テーブル（左右差分）Ｃを、複数のエリアに分割して、エリア別に補正データのデータ量を設定したことである。

上記の実施例１では、シェーディング補正テーブル（左右差分）Ｃの全面に亘って補正データのデータ量を一定にしていた。そして、ステレオカメラのように左右のカメラ部が持つそれぞれの撮像素子、および、レンズを代表とする光学特性がほぼ等しいときには、左右のシェーディング補正テーブルは近い値になる特徴があるから、シェーディング補正テーブル（左）Ａとシェーディング補正テーブル（右）Ｂとの差分値であるシェーディング補正テーブル（左右差分）Ｃは、もともとのデータｂｉｔ数である、符号なし１２ｂｉｔ／ｐｉｘｅｌよりも十分小さいｂｉｔ数で表現できるとして、たとえば、符号付き６ｂｉｔで表現できると説明した。

このときのシェーディング補正テーブル（左右差分）Ｃのデータ量は、
Ｃ＝Ａ−Ｂ＝１２８０×１０２４×６ｂｉｔ＝０．９３７５ＭＢ
となった。

本実施例では、シェーディング補正テーブル（左右差分）Ｃを複数のエリアに分割して、エリア別にｂｉｔ数を持たせて補正データのデータ量を設定することにより、差分値を有するシェーディング補正テーブル（左右差分）Ｃ全体のデータ量を小さくし、フラッシュメモリ部１０８の容量、および、メモリ部１０６でシェーディング補正テーブルが占める容量を削減している。例えば、レンズを代表とする光学性能の特徴などから、エリアによっては差分データに対する必要なｂｉｔ数を可変させることで、差分値を有するシェーディング補正テーブルのトータルのデータ量を、実施例１の０．９３７５ＭＢよりも削減することができる。

本実施例では、シェーディング補正テーブル（左右差分）Ｃを、画像データの中央に配置される中央エリアＣ−４と、中央エリアＣ−４の左右に配置される左右エリアＣ−２と、中央エリアＣ−４の上下に配置される上下エリアＣ−３と、中央エリアＣ−４に対して左右両側でかつ斜め上方と斜め下方に配置される左右上下斜めエリアＣ−１に分割する。そして、中央エリアＣ−４、上下エリアＣ−３、左右エリアＣ−２、左右上下斜めエリアＣ−１の順番でデータｂｉｔ数を増大させて、補正データのデータ量が大きくなるように設定する。

画像データの中央は明るいので、カメラ部（左）１０１とカメラ部（右）１０２との間の差分は小さく、画像データの周辺は暗いのでノイズの影響を受けやすく、カメラ部（左）１０１とカメラ部（右）１０２との間の差分は大きい。したがって、シェーディング補正テーブル（左右差分）Ｃの中央のｂｉｔ数を周辺のｂｉｔ数よりも小さくすることができる。

また、撮像画像が横長の場合、縦方向よりも横方向の方が長いので差分が出やすい。したがって、シェーディング補正テーブル（左右差分）Ｃの縦方向周辺のｂｉｔ数を横方向周辺のｂｉｔ数よりも小さくすることができる。

これにより、例えばシェーディング補正テーブル（左右差分）Ｃを上述のように複数のエリアＣ−４〜Ｃ−１に分割して、エリアＣ−４〜Ｃ−１の順番で補正データのデータ量が大きくなるように設定することによって、シェーディング補正テーブルを記憶しておくフラッシュメモリ部１０８の容量、および、メモリ部１０６でシェーディング補正テーブルが占める容量を適切に削減することができる。

なお、本実施例では、シェーディング補正テーブル（左右差分）Ｃを複数のエリアに分割する場合について説明したが、実施例３や実施例４における和の平均値を有するシェーディング補正テーブルＤと差の平均値を有するシェーディング補正テーブルＥにも適用することもできる。

［実施例７］
図９は、実施例７におけるシェーディング補正テーブルの構成例を説明する図である。
本実施例において特徴的なことは、シェーディング補正テーブル（左右差分）Ｃにおいて所定の画素サイズ毎に補正データの代表値が設定されていることである。

上記の実施例１では、シェーディング補正テーブル（左右差分）Ｃは、撮像した画像データの各画素に対して、１画素毎に一対一となる補正データが設定されていた。そして、ステレオカメラのように、左右のカメラ部が持つそれぞれの撮像素子、および、レンズを代表とする光学特性がほぼ等しいときには、左右のシェーディング補正テーブルは近い値になる特徴があるから、シェーディング補正テーブル（左）Ａとシェーディング補正テーブル（右）Ｂとの差分値であるシェーディング補正テーブル（左右差分Ｃ）は、もともとのデータｂｉｔ数である、符号なし１２ｂｉｔ／ｐｉｘｅｌよりも十分小さいｂｉｔ数で表現できるとして、たとえば、符号付き６ｂｉｔで表現できると説明した。

このときのシェーディング補正テーブルＣのデータ量は、
Ｃ＝Ａ−Ｂ＝１２８０×１０２４×６ｂｉｔ＝０．９３７５ＭＢ
となった。

本実施例では、画面の中で任意の画素サイズに着目し、隣り合う画素座標での補正データはほぼ同じような数値になる場合には、所定の画素サイズに代表値を設定することで、シェーディング補正テーブル（左右差分／代表値）Ｇのトータルのデータ量を０．９３７５ＭＢよりも削減することができる。

たとえば、補正データを２×２画素につき１つの代表値とすると、データ量はさらに１／４になるので、
Ｇ＝０．９３７５ＭＢ×（１／４）＝０．２３ＭＢ
となる。

したがって、シェーディング補正テーブルを記憶しておくフラッシュメモリ部１０８の容量、および、メモリ部１０６でシェーディング補正テーブルが占める容量は、下式により４４％削減できる。
（Ａ＋Ｇ）／（Ａ＋Ｂ）≒２．１１ＭＢ／３．７５ＭＢ≒５６％（４４％削減）
これにより、実施例１（２５％減）よりも、さらに容量を削減することができる。

なお、本実施例では、差分値を有するシェーディング補正テーブルを複数のエリアに分割する場合について説明したが、実施例３や実施例４における和の平均値を有するシェーディング補正テーブルと差の平均値を有するシェーディング補正テーブルにも適用することもできる。

また、本実施例では、シェーディング補正テーブル（左右差分）Ｃの全面に亘って一律に補正データを２×２画素につき１つの代表値とする場合について説明したが、その位置に応じて画素の数を変更してもよい。例えば、シェーディング補正テーブル（左右差分）Ｃの中央は、ほぼ似たような補正データが多く集まっているので、３×３画素につき一つの代表値とし、周辺は２×２画素につき一つの代表値としてもよい。

以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

１０１ カメラ部（左）
１０２ カメラ部（右）
１０３ シェーディング補正部
１０４ シェーディング補正部
１０５ 補正データデコード部（補正テーブル生成部）
１０６ メモリ部
１０７ 画像処理マイコン
１０８ フラッシュメモリ部
１１１、１１２ 画像データ部
１１３、１１４ シェーディング補正テーブル部
１２１、１２２ 画像データ
１２３、１２４ シェーディング補正後の画像データ
１２５ 取り込み画像データ
１３１、１３２ シェーディング補正テーブル
１３３、１３４ 圧縮シェーディング補正データ
２３５ シェーディングテーブルデータ
２３６ シェーディングテーブルデータ
３０１ 撮像画像（シェーディング補正前の画像データ）
３０２ シェーディング補正テーブル
３０３ シェーディング補正後の画像データ

Claims (8)

1. ２つのカメラ部で撮像された画像データをそれぞれシェーディング補正するシェーディング補正部と、
   一方のカメラ部の補正テーブルと他方のカメラ部の補正テーブルとの差分値または平均値を有する補正テーブルを記憶するメモリ部と、
   前記差分値または平均値を有する補正テーブルから前記一方のカメラ部の補正テーブルと前記他方のカメラ部の補正テーブルの少なくとも一方を生成する補正テーブル生成部と、を有し、
   前記シェーディング補正部は、前記補正テーブル生成部により生成した補正テーブルを用いて前記画像データをシェーディング補正し、
   前記差分値または平均値を有する補正テーブルは、一方のカメラ部の補正テーブルおよび他方のカメラ部の補正テーブルよりも小さいデータｂｉｔ数で前記差分値または平均値を表現する
   ことを特徴とする車載カメラ画像処理装置。
2. 前記メモリ部は、前記差分値を有する補正テーブルと、前記一方のカメラ部の補正テーブルと、を記憶し、
   前記補正テーブル生成部は、前記差分値を有する補正テーブルと前記一方のカメラ部の補正テーブルを用いて前記他方のカメラ部の補正テーブルを生成し、
   前記シェーディング補正部は、前記補正テーブル生成部により生成した前記他方のカメラ部の補正テーブルを用いて前記他方のカメラ部の画像データをシェーディング補正し、前記メモリ部に記憶されている前記一方のカメラ部の補正テーブルを用いて前記一方のカメラ部の画像データをシェーディング補正することを特徴とする請求項１に記載の車載カメラ画像処理装置。
3. 前記一方のカメラ部の補正テーブルは、前記一方のカメラ部が有する複数の画素に対して１画素毎に設定された補正データを有し、
   前記差分値を有する補正テーブルは、前記一方のカメラ部が有する複数の画素に対して１画素毎に設定された補正データと、前記他方のカメラ部が有する複数の画素に対して１画素毎に設定された補正データとの差分を補正データとして有し、
   前記補正テーブル生成部は、前記差分値を有する補正テーブルの補正データと、前記一方のカメラ部の補正テーブルの補正データとを減算することにより、前記他方のカメラ部の補正テーブルを生成することを特徴とする請求項２に記載の車載カメラ画像処理装置。
4. 前記メモリ部は、前記一方のカメラ部の補正テーブルと前記他方のカメラ部の補正テーブルとの和の平均値を有する補正テーブルと、前記一方のカメラ部の補正テーブルと前記他方のカメラ部の補正テーブルとの差の平均値を有する補正テーブルを記憶し、
   前記補正テーブル生成部は、前記和の平均値を有する補正テーブルと前記差の平均値を有する補正テーブルを用いて前記一方のカメラ部の補正テーブルと前記他方のカメラ部の補正テーブルを生成し、
   前記シェーディング補正部は、前記補正テーブル生成部により生成した前記一方のカメラ部の補正テーブルと前記他方のカメラ部の補正テーブルを用いて前記画像データをシェーディング補正することを特徴とする請求項１に記載の車載カメラ画像処理装置。
5. 前記一方のカメラ部の補正テーブルは、前記一方のカメラ部が有する複数の画素に対して１画素毎に設定された補正データを有し、
   前記他方のカメラ部の補正テーブルは、前記他方のカメラ部が有する複数の画素に対して１画素毎に設定された補正データを有し、
   前記和の平均値を有する補正テーブルは、前記一方のカメラ部が有する複数の画素に対して１画素毎に設定された補正データと、前記他方のカメラ部が有する複数の画素に対して１画素毎に設定された補正データとの和を２で除算した値を補正データとして有し、
   前記差の平均値を有する補正テーブルは、前記一方のカメラ部が有する複数の画素に対して１画素毎に設定された補正データと、前記他方のカメラ部が有する複数の画素に対して１画素毎に設定された補正データとの差を２で除算した値を補正データとして有し、
   前記補正テーブル生成部は、前記和の平均値を有する補正テーブルの補正データと、前記差の平均値を有する補正テーブルの補正データとを加算することにより、前記一方のカメラ部の補正テーブルを生成し、前記和の平均値を有する補正テーブルの補正データから前記差の平均値を有する補正テーブルの補正データを減算することにより、前記他方のカメラ部の補正テーブルを生成することを特徴とする請求項４に記載の車載カメラ画像処理装置。
6. ２つのカメラ部で撮像された画像データをそれぞれシェーディング補正するシェーディング補正部と、
   一方のカメラ部の補正テーブルと他方のカメラ部の補正テーブルとの差分値または平均値を有する補正テーブルを記憶するメモリ部と、
   前記差分値または平均値を有する補正テーブルから前記一方のカメラ部の補正テーブルと前記他方のカメラ部の補正テーブルの少なくとも一方を生成する補正テーブル生成部と、を有し、
   前記シェーディング補正部は、前記補正テーブル生成部により生成した補正テーブルを用いて前記画像データをシェーディング補正し、
   前記差分値または平均値を有する補正テーブルは、前記画像データを複数のエリアに分割したエリア別に、補正データのデータ量が設定されていることを特徴とする車載カメラ画像処理装置。
7. 前記差分値または平均値を有する補正テーブルは、前記画像データの中央に配置される中央エリアと、該中央エリアの左右に配置される左右エリアと、前記中央エリアの上下に配置される上下エリアと、前記中央エリアに対して左右両側でかつ斜め上方と斜め下方に配置される左右上下斜めエリアに分割されており、前記中央エリア、前記上下エリア、前記左右エリア、左右上下斜めエリアの順番で前記補正データのデータ量が大きくなるように設定されていることを特徴とする請求項６に記載の車載カメラ画像処理装置。
8. ２つのカメラ部で撮像された画像データをそれぞれシェーディング補正するシェーディング補正部と、
   一方のカメラ部の補正テーブルと他方のカメラ部の補正テーブルとの差分値または平均値を有する補正テーブルを記憶するメモリ部と、
   前記差分値または平均値を有する補正テーブルから前記一方のカメラ部の補正テーブルと前記他方のカメラ部の補正テーブルの少なくとも一方を生成する補正テーブル生成部と、を有し、
   前記シェーディング補正部は、前記補正テーブル生成部により生成した補正テーブルを用いて前記画像データをシェーディング補正し、
   前記差分値または平均値を有する補正テーブルは、所定の画素サイズ毎に補正データの代表値が設定されていることを特徴とする車載カメラ画像処理装置。

Images