JP2009130687A - 画像撮像装置 - Google Patents

Abstract

【課題】倍率色収差、歪曲収差が大きい広角の光学系を用いた画像撮像装置において、倍率色収差補正と歪曲収差補正の座標変換に必要なメモリの低コスト化を実現する。
【解決手段】倍率色収差補正処理と歪曲収差補正処理を分離する。倍率色収差補正部１４０では、ＲＧＢ各色成分の画素データ毎に、それぞれ小容量小レイテンシまたは小容量多ポートのＳＲＡＭ等のメモリを用いて座標変換して倍率色収差を補正する。一方、歪曲収差補正部１６０では、倍率色収差補正済みのＲＧＢ各色成分の画素データをまとめて、大容量高レイテンシまたは大容量単一ポートのＤＲＡＭ等のメモリを用いて座標変換して歪曲収差を補正する。
【選択図】図１

Description

本発明は広画角で倍率色収差、歪曲収差が大きい光学系を用いて撮像された画像を取得する画像撮像装置に関し、特に取得した画像の倍率色収差及び歪曲収差を補正する技術に関する。

近年、車のバックモニタなどの用途に向け、広角の撮像装置の需要が増大している。しかしながら、広角になるほど倍率色収差や歪曲収差が大きくなり、収差が小さい光学系を設計するのが困難で、画像処理と組み合わせて性能を向上させる必要がある。一般に歪曲収差はＲＧＢ各色成分共通であるが、倍率色収差は各色成分毎に異なる。また、倍率色収差に比べて歪曲収差の方が大きい。

倍率色収差や歪曲収差がある光学系を用いた撮像装置において、収差補正する従来技術としては、ＣＣＤやＣＭＯＳセンサといった撮像素子より得られたＲ（赤）、Ｇ（緑）、Ｂ（青）信号を後段で、ＲＧＢ各色成分毎に独立に座標変換して倍率色収差と歪曲収差を同時に補正する方法、あるいは、倍率色収差は無視し、ＲＧＢ各色成分一緒に座標変換して歪曲収差のみを補正する方法がある（例えば、特許文献１参照）。

特開２００６−３４５０５４号公報

従来技術において、ＲＧＢ各色成分ごとに独立に座標変換して倍率色収差と歪曲収差を同時に補正する方法は、ＲＧＢ独立にアドレス指定できるメモリが必要で、高価な３チップ構成の３ポートのメモリが必要となる。しかも、座標変換はランダムアクセスが必要で、倍率色収差補正用には３ポートのランダムアクセスが必要となるため、通常の１ポートの外部ＤＲＡＭを用いたのでは、ＤＲＡＭの駆動周波数を上げてタイムシェアリングをすることにより３ポートのＲＡＭとして利用した場合にも、アクセスレイテンシの問題から解像度やフレームレートの向上のため必要であるピクセルレートを上げることが出来ない。さらに、歪曲収差補正用には、１画面分を記憶しておくフレームバッファ等、大容量のメモリが必要である。

つまり、ＲＧＢ各色成分ごとに独立に座標変換して倍率色収差と歪曲収差を同時に補正する従来の方法では、ＲＧＢ各色対応に、大容量で、かつ、ＳＲＡＭのようにランダムアクセス時にレイテンシが小さいメモリまたは多ポートのメモリが必要であった。しかしながら、大容量のＳＲＡＭや、複数のポートを持つメモリは非常に高価であり、特に大容量が必要となる高解像度の場合には装置の値段が非常に高価となっていた。

一方、ＲＧＢ各色成分共通に座標変換して歪曲収差のみを補正する方法は、大容量のメモリを必要とするものの、１チップ構成の価格の低いＤＲＡＭ等を使用することが可能であるが、広画角で倍率色収差が無視できなくなると適用できない。

本発明の目的は、高解像度で高フレームレートの画像に対しても、倍率色収差補正と歪曲収差補正の両機能を最小コストで実装可能な画像撮像装置を提供することにある。

請求項１の発明は、倍率色収差、歪曲収差が大きい広角の光学系で撮像された画像を取得する画像撮像装置において、前記取得された画像に対して、複数の色成分の画素データ毎に、該複数の色成分対応の複数の第１の座標変換メモリを用いてそれぞれ座標変換して倍率色収差を補正する倍率色収差補正手段と、前記倍率色収差補正された画像に対して、複数の色成分に共通の第２の座標変換メモリを用いて、前記複数の色成分の画素データを一緒に座標変換して歪曲収差を補正する歪曲収差補正手段とを備えたことを特徴とする。

請求項２の発明は、請求項１記載の画像撮像装置において、前記第１の座標変換メモリには低容量低レイテンシのメモリまたは低容量多ポートのメモリを使用し、前記第２の座標変換メモリには、前記第１の座標変換メモリに比べて大容量高レイテンシのメモリまたは大容量の単一ポートのメモリを使用することを特徴とする。

請求項３の発明は、請求項２記載の画像撮像装置において、前記第１の座標変換メモリにはＳＲＡＭを使用し、前記第２の座標変換メモリにはＤＲＡＭを使用することを特徴とする。

請求項４の発明は、請求項１乃至３のいずれか１項に記載の画像撮像装置において、前記倍率色収差補正手段は、特定の色成分の画素データについては座標変換を行わず、それ以外の各色成分の画素データについてのみ座標変換を行うことを特徴とする。

請求項５の発明は、請求項４記載の画像撮像装置において、前記倍率色収差補正手段は、特定の色成分の座標を基準に補正量を求め、前記補正量により特定の色成分以外の各色成分の変換座標を算出することを特徴とする。

請求項６の発明は、請求項４又は５記載の画像撮像装置において、複数の色成分は赤（Ｒ）、緑（Ｇ）、青（Ｂ）信号からなり、前記特定の色成分はＧ信号であることを特徴とする。

請求項７の発明は、請求項１乃至６のいずれか１項に記載の画像撮像装置において、前記倍率色収差補正手段と前記歪曲収差補正手段との間に、輝度信号に対してフィルタリングを行うＦＩＲフィルタを有することを特徴とする。

本発明の画像撮像装置によれば、画像の倍率色収差及び歪曲収差のための座標変換を倍率色収差補正と歪曲収差補正で分け、倍率色収差補正の座標変換には低容量低レイテンシまたは低容量多ポートのＳＲＡＭ等のメモリを使用し、歪曲収差補正の座標変換には各色成分共通の単一ポート大容量高レイテンシのＤＲＡＭ等のメモリを使用することで、画像撮像装置の低コスト化が可能になる。

以下、本発明の実施の形態について図面を用いて説明する。以下では色成分は加法３原色の赤（Ｒ）、緑（Ｇ）、青（Ｂ）とするが、減法３原色のＹ（黄）、Ｍ（マゼンタ）、Ｃ（シアン）でもよい。

図１は本発明による画像撮像装置における画像処理系の一実施形態の機能ブロック図を示す。画像撮像装置は、他に操作部、画像記憶部、画像表示部などを備えているが、図１では省略してある。

図１において、制御部１００は、装置の各部に必要な制御信号を与えて、該各部の動作をパイプライン的に制御する。

撮像素子１１０は、広角で倍率色収差及び歪曲収差の大きい光学系（不図）を用いて撮像された光学像を電気信号（画素データ）に変換するための、例えばＣＣＤやＣＭＯＳセンサ等で構成される。該撮像素子１１０にはベイヤー配列の色フィルタが設けられており、ベイヤー配列のＲＧＢ画素データが、制御部１００から与えられる座標データ（ｘ，ｙ）に基づいて順次出力される。なお、制御部１００では、撮像素子１１０に与える座標データ（ｘ，ｙ）を、順次、所定の時間ずらして後段にも与えるようにする。

Ａ／Ｄ変換器１２０は、撮像素子１１０から出力されたアナログ信号としてのベイヤー配列のＲＧＢ画素データをデジタル信号に変換してベイヤー補完部１３０に送出する。本実施例では、デジタル信号は、ＲＧＢそれぞれ８ビットで構成されるとする。

ベイヤー補完部１３０は、デジタル信号に変換されたベイヤー配列のＲＧＢ画素データを入力して、ＲＧＢ各色独立に、全座標位置の画素データを線形補完によって生成し、倍率色収差補完部１４０に送出する。

図２にベイヤー配列のカラーフィルタを示す。ここで、Ｇ₀は次式により求める。

Ｇ₀＝（Ｇ₂＋Ｇ₄＋Ｇ₆＋Ｇ₈）／４ （１）
また、Ｒ₂，Ｒ₄，Ｒ₆，Ｒ₈，Ｒ₀は次式により求める。

Ｒ₂＝（Ｒ₁＋Ｒ₃）／２ （２）
Ｒ₄＝（Ｒ₃＋Ｒ₅）／２ （３）
Ｒ₆＝（Ｒ₅＋Ｒ₇）／２ （４）
Ｒ₈＝（Ｒ₁＋Ｒ₇）／２ （５）
Ｒ₀＝（Ｒ₁＋Ｒ₃＋Ｒ₅＋Ｒ₇）／４ （６）
Ｂ₂，Ｂ₄，Ｂ₆，Ｂ₈，Ｂ₀は上記Ｒ₂，Ｒ₄，Ｒ₆，Ｒ₈，Ｒ₀の場合と同じであるので省略する。

なお、本実施例ではベイヤー配列の色フィルタを持つ撮像素子について述べたが、もちろん他のＣＭＹＧ配列や、ＲＧＢ＋Ｉｒ(赤外)配列など他の色フィルタ配列を持つ撮像素子に関しても効果がある。特にこのように４色の色フィルタ配列を持つ撮像素子では、ＲＧＢのように３色のタイプと比較して、倍率色収差補正においてさらに低レイテンシのメモリまたは、４ポートのＲＡＭが必要であり、本発明の効果は高い。

倍率色収差補正部１４０は、ベイヤー補完されたＲ，Ｇ，Ｂ画素データを入力して、所定の多項式によりＲＧＢ各色成分独立に座標変換（倍率色収差座標変換）を施し、倍率色収差補正されたＲＧＢ画素データを出力する。この倍率色収差補正部１４０については、歪曲収差補正部１６０とともに後で詳述するが、倍率色収差補正の座標変換には低容量低レイテンシのメモリまたは、低容量で複数のポートを持つメモリ（ＳＲＡＭ等）を使用する。

ＭＴＦ補正部１５０は、倍率色収差補正されたＲＧＢ画素データを入力して、ＦＩＲフィルタを用いてＭＴＦ補正処理を施し、ＭＴＦ補正されたＲＧＢ画素データを出力する。

図３にＭＴＦ補正部１５０の概略構成を示す。変換部１５２は次式によりＲＧＢ画素データをＹＣｂＣｒ画素データに変換する。
Ｙ＝０.２９９Ｒ＋０.５８７Ｇ＋０.１１４Ｂ （７）
Ｃｒ＝０.５００Ｒ−０.４１９Ｇ−０.０８１Ｂ （８）
Ｃｂ＝−０.１６９Ｒ−０.３３２Ｇ＋０.５００Ｂ （９）

ＦＩＲフィルタ（５×５フィルタ）１５４では、ＹＣｂＣｒのうち輝度信号Ｙのみを入力して所定のＭＴＦ補正を行う。Ｙ信号のみのフィルタリング（ＭＴＦ補正）を行うことで、色ノイズの増幅を抑えた高画質な画像を得ることが出来る。なお、Ｙ信号についてフィルタリングを行っているため、ＭＴＦ補正は色倍率補正の後に行われる必要がある。しかしながら、歪曲収差補正後にＭＴＦ補正を行う場合には、後述するように歪曲収差補正では座標変換の変換距離が大きく演算誤差が発生しやすい。その誤差がＭＴＦ補正により増幅され、画質に悪影響を及ぼす事を避けるため、本実施例のようにＭＴＦ補正は倍率色収差補正の後段、歪曲収差補正の前段に設置することが望ましい。

逆変換部１５６は、ＣｂＣｒ信号及びＭＴＦ補正されたＹ信号を入力して、次式により逆変換しＲＧＢ画素データを出力する。
Ｒ＝Ｙ＋１.４０２Ｃｒ （10）
Ｇ＝Ｙ−０.７１４Ｃｒ−０.３４４Ｃｂ （11）
Ｂ＝Ｙ＋１.７７２Ｃｂ （12）

歪曲収差補正部１６０は、倍率色収差補正及びＭＴＦ補正されたＲＧＢ画素データを入力して、所定の多項式等によりＲＧＢ各色成分共通に座標変換（歪曲収差座標変換）を施し、歪曲収差補正されたＲＧＢ画素データを出力する。この歪曲収差補正部１６０での座標変換には、倍率色収差補正用のメモリに比べ、メモリ容量が大ではあるが（最大１画面分）、１ポートで良いため高レイテンシのメモリ（ＤＲＡＭ等）を使用することが可能である。先に述べたように、この歪曲収差補正部１６０については後で詳述する。

ガンマ補正部１７０は、歪曲収差補正部１６０から出力されるＲＧＢ画素データを入力して、ＲＧＢそれぞれのルックアップテーブル等を用いて所定のガンマ補正処理を施し、ガンマ補正されたＲＧＢ画素データを出力する。

以上が図１に示した実施形態の全体的動作あるが、以下では本発明の主要構成である倍率色収差補正部１４０と歪曲収差補正部１６０について詳述する。

はじめに、本発明の倍率色収差補正と歪曲収差補正の原理を説明する。

図４に模式的に示すように、倍率色収差と歪曲収差のある光学系を用いて撮影を行った場合、画面右上の１で示す位置（ピクセル）の画素データは、この本来の位置から歪曲収差によりずれ、さらに倍率色収差によってＲＧＢ各色成分でそれぞれ異なるずれをし、撮像素子で実際に撮像される位置は、ＲＧＢそれぞれ２（Ｒ），３（Ｇ），４（Ｂ）の位置となる。倍率色収差と歪曲収差の補正は、この２（Ｒ），３（Ｇ），４（Ｂ）の位置（ピクセル）のＲＧＢ各色成分画素データを本来の位置である１の位置（ピクセル）にコピーする、すなわち、座標変換することで可能である。

光学系の設計データより、歪曲収差の大きさ、倍率色収差の大きさが分かるため、本来の位置に対して、ＲＧＢ各色成分がどの位置にずれるかを計算することができる。

図５は倍率色収差と歪曲収差を補正する従来の方法を模式的に示したものである。すなわち、従来は２（Ｒ），３（Ｇ），４（Ｂ）の位置（ピクセル）のＲＧＢ各色成分の画素データをそれぞれ本来の位置である１の位置（ピクセル）にコピーする、すなわち、座標変換することで、倍率色収差と歪曲収差を同時に補正していた。しかしながら、この従来の方法では、ＲＧＢ各色成分毎に容量が大で、かつ、低レイテンシのメモリまたは多ポートのメモリが必要となる。例えば、図５の場合だと、ＲＧＢそれぞれに、座標変換用として高速の６ラインのメモリが必要となる。

図６は倍率色収差と歪曲収差を補正する本発明の方法を模式的に示したものである。倍率色収差は各色成分で異なるが、ずれは小さい。一方、歪曲収差は、ずれは大きいが、各色成分とも同じである。本発明は、これに着目し、まず、ＲＧＢ各色成分の画素データをそれぞれ座標変換して（実施例では、ＲＢの色成分を座標変換して、Ｇ成分の位置にコピーする）、倍率色収差を補正し、その後、この倍率色収差補正されたＲＧＢ画素データをまとめて座標変換することで、歪曲収差を補正する。これにより、座標変換用のメモリを倍率色収差補正に必要なＲＧＢ対応の少容量・高速（低レンテンシまたは多ポート）なメモリと、歪曲収差補正に必要なＲＧＢ共通の大容量・低速（高レンテンシまたは単一ポート）なメモリに分けることができ、全体としてコスト低減が可能となる。

図６の（ａ）は本発明の倍率色収差補正を模式的に示したもので、２（Ｒ），４（Ｂ）の位置（ピクセル）のＲＢ色成分の画素データについて座標変換を行って、Ｇ成分の３（Ｇ）の位置（ピクセル）にコピーする。この操作により、倍率色収差が補正される。図６の（ｂ）は本発明の歪曲収差補正を模式的に示したもので、倍率色収差補正済みの３の位置（ピクセル）のＲＧＢ各色成分の画素データに対してまとめて座標変換を行い、本来の位置である１の位置（ピクセル）にコピーする。この操作により歪曲収差が補正される。

図６の例では、倍率色収差補正用の高速メモリは、各ＲＧＢ対応の３ラインのメモリで十分である。他に歪曲収差補正用に５ラインのメモリが必要となるが、ＲＧＢ共通の低速メモリでよく、図５の従来例に比較して、全体しては低コスト化が可能となる。

なお、本発明で対象としている歪曲収差とは、目的の射影方式に対するレンズの歪みという意味であり、例えば目的の射影方式がカメラ上方から見下ろした画像が得られる射影方式であったり、ある一部分を拡大して表示される射影方式である場合も含む。

図７に倍率色収差補正部１４０の一実施形態の構成図を示す。１４２は倍率色収差補正用座標変換メモリ（ラインバッファ）で、１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）はそれぞれＲＧＢ各色成分に対応する。１４４は所定の座標変換式に従いＲＧＢそれぞれについて倍率色収差補正の変換座標を計算する倍率色収差補正座標変換演算部であり、１４６は座標変換式に使用される係数を保持する座標変換係数テーブルである。

倍率色収差補正処理には、ラインバッファとして、小容量であるがＲＧＢ３ポートのメモリまたは低レイテンシのメモリが必要である。ここでは、倍率色収差の最大ずれ量がＹ方向に２０ラインと想定して、座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）は、それぞれ２０ライン分のＳＲＡＭで構成されるとする。Ｘ方向のサイズは解像度で決まり、例えば解像度ＶＧＡ（６４０×４８０）とすると、Ｘ方向のサイズは６４０ドットである。色深度はＲＧＢ８ビットであり、座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）とも、書込み読出しは８ビット単位で行われる。

このように、倍率色収差補正用座標変換メモリ（ラインバッファ）１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）は、小容量であるため、当該画像撮像装置の画像処理チップ内に用意された３ポートのＳＲＡＭを用いて、それぞれ２０ライン分のメモリ領域を確保する構成とすることが望ましい。なお、ＳＲＡＭのように低レイテンシのメモリの場合１ポートのメモリをタイムシェアリングにより３ポートのメモリとして使用することも可能である。

倍率色収差と歪曲収差を受けた撮像画像の各ＲＧＢ画素データが、座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）に、それぞれ座標データ（ｘ，ｙ）に従って先頭ラインから順次書込まれる。そして、各々２０ラインの画素データが書き込まれると、先頭ラインの画素データから順次捨てられ、代って後続ラインの画素データが新しく書き込まれていく。こうして、座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）には、それぞれ倍率色収差補正座標変換で必要とする最大２０ライン分のＲＧＢ画素データが順次格納される。

ここで、座標データ（ｘ，ｙ）は１フレーム分の撮像画像の読出し位置を示している。一方、座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）は２０ラインのラインバッファで、書込みラインがサイクックに変化するため、座標データ（ｘ，ｙ）をそのまま座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）の書込みアドレスに使用することができない。このため、座標データ（ｘ，ｙ）の値を、座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）の実アドレスに変換する必要があるが、図７ではそのための構成は省略してある。これは、後述の読出し動作における変換後の座標データ（Ｘ，Ｙ）と座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）の読出しアドレスとの関係でも同様である。

倍率色収差補正座標変換算出部１４４は、座標データ（ｘ，ｙ）を入力として、多項式等の所定の座標変換式に従い、ＲＧＢそれぞれについて倍率色収差補正の変換座標を計算し、ＲＧＢそれぞれの変換後の座標データ（Ｘ，Ｙ）を出力する。図６（ａ）に示したように、本実施形態では、ＲＢの色成分を座標変換してＧ成分の位置にコピーする。このため、倍率色収差補正座標変換演算部１４４では、Ｇ成分については、入力された座標データ（ｘ，ｙ）をそのまま変換後の座標データ（Ｘ，Ｙ）として出力し、ＲＢ色成分について、所定の座標変換式を用いてそれぞれ入力された座標データ（ｘ，ｙ）を座標データ（Ｘ，Ｙ）に変換し、その変換後の座標データ（Ｘ，Ｙ）を出力する。これを座標データ（ｘ，ｙ）ごとに繰り返す。

ここで、座標変換式は、画面中央を原点とした場合、例えば、
Ｘ＝ｘ＋［ａ(1)＋ａ(2)×ａｂｓ(x)＋ａ(3)×ａｂｓ(y)＋ａ(4)×ｙ²］×ｘ
Ｙ＝ｙ＋［ｂ(1)＋ｂ(2)×ａｂｓ(y)＋ｂ(3)×ａｂｓ(x)＋ｂ(4)×ｘ²］×ｙ
（13）
と表わすことができる。ａｂｓ（ ）は絶対値、ａ(1)〜ａ(4)，ｂ(1)〜ｂ(4)は座標変換係数である。座標変換係数は、あらかじめ座標変換係数テーブル146に保持される。

座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）は、先の書込み動作と平行して（実際には所定時間遅れて）、倍率色収差補正座標演算部１４４から出力される座標データ（Ｘ，Ｙ）に基づいて（実際には、座標データ（Ｘ，Ｙ）をアドレス変換した値）、それぞれＲＧＢ画素データを順次読み出していく。この場合、座標変換メモリ１４２（Ｇ）からは、書込み時と同じ位置のＧ成分画素データが読み出される。一方、座標変換メモリ１４２（Ｒ），１４２（Ｂ）からは、それぞれ書き込み時とは所定の位置ずれた位置、すなわち、倍率色収差分ずれた位置のＲＢ色成分画素データが読み出される。

以上の処理により、座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）からは、倍率色収差補正されたＲＧＢ画素データが出力されることになる。

図８に倍率色収差補正座標変換演算部１４４の二、三の実施例を示す。図８（ａ）は、Ｇの色成分は座標変換を行われず、入力された座標データ（ｘ，ｙ）をそのまま、Ｇ用座標データ（Ｘ，Ｙ）として出力し、ＲとＢの色成分についてのみ、それぞれ座標変換演算部１４４１、１４４２により、入力された座標データ（ｘ，ｙ）を変換して、変換後のＲ用座標データ（Ｘ，Ｙ）、Ｂ用座標データ（Ｘ，Ｙ）を出力する実施例である。座標変換演算部はＲとＢ色成分のみでよいため、回路規模が少なくてすむ。

図８（ｂ），（ｃ）は、倍率色収差は一般にＧを中心にＲとＢの色成分がほぼ対称にずれることに着目するものである（図４）。ここで、図８（ｂ）は、座標変換演算部１４４３により、座標データ（ｘ，ｙ）について補正量を求め、減算部１４４４で補正量分だけ座標データ（ｘ，ｙ）から減算した値をＢ用座標データ（Ｘ，Ｙ）とし、一方、加算部１４４５で補正量分だけ座標データ（ｘ，ｙ）に加算した値をＲ用座標データ（Ｘ，Ｙ）とする実施例である。図８（ａ）と同様に、Ｇ用座標データ（Ｘ，Ｙ）には座標データ（ｘ，ｙ）をその出力する。

図８（ｃ）は、対称位置のずれを考慮し、さらにゲイン回路１４４６によりＲ用の補正量を調整するようにしたものである。なお、ゲイン回路はＢ側に設けることでもよい。図８（ｂ），（ｃ）の実施例によれば、座標変換演算部は一つで済み、回路規模を更に小さくできる。

なお、図８（ａ）の座標変換演算部１４４１、１４４２のかわりにＲとＢの各色成分毎に入力座標データ（ｘ，ｙ）と出力座標データ（Ｘ，Ｙ）の対応を記憶したルックアップテーブル（ＬＵＴ）を用意し、該ＬＵＴを用いて、座標データ（ｘ，ｙ）に対する変換後の座標データ（Ｘ，Ｙ）を直接得るようにしてもよい。同様に図８（ｂ），（ｃ）の座標変換演算部１４４３のかわりに入力座標データ（ｘ，ｙ）と補正量の対応を記憶したＬＵＴを用意し、該ＬＵＴを用いて、座標データ（ｘ，ｙ）に対応する補正量を直接得るようにしてもよい。これにより、座標変換のための計算が省略でき、倍率色収差補正は、基本的にメモリチップのみで実現可能となる。

次に、図９に歪曲収差補正部１６０の一実施形態の構成図を示す。１６１はＲＧＢ３つの画素データを一つに合成するＲＧＢ合成部、１４２はＲＧＢ画素データに共通の歪曲収差補正用座標変換メモリ（フレームメモリ）、１６３は合成されたＲＧＢ画素データを元の各色成分に分離するＲＧＢ分離部、１６４は合成されたＲＧＢ画素データに対して、所定の座標変換式に従い歪曲収差補正の変換座標を計算する歪曲収差補正座標変換演算部、１６５は座標変換式に使用される係数を保持する座標変換係数テーブルである。

歪曲収差は画素のずれ量が大きく、歪曲収差補正処理には、画素データを最大１画面分記憶しておくフレームバッファが必要である。一方、ずれはＲＧＢ各色成分とも同じで、ＲＧＢ画素データの合計ビット幅を持つ一つのフレームバッファでよい。ここでは、解像度がＶＧＡ（６４０×４８０）とし、ＲＧＢ画素データのビット数（色深度）がそれぞれ８ビットとして、座標変換メモリ１６２は、書込み読出しが２４ビット単位の６４０×４８０ドットのＤＲＡＭで構成されるとする。

このように、歪曲収差補正用座標変換メモリ（フレームメモリ）１６２は、非常に大きな容量が必要で、画像処理チップ内にＳＲＡＭとして持つのはコスト的に困難であり、かつ、ＲＧＢに対して１ポートのメモリで十分なため、画像処理チップの外に用意したＤＲＡＭを用いるのが望ましい。

ＲＧＢ合成部１６１は、順次、倍率色収差補正済みの各ＲＧＢ画素データ（各８ビット）を入力し、一つの画素データ（２４ビット）に合成して出力する。この合成されたＲＧＢ画素データが、座標変換メモリ１６２に、それぞれ座標データ（ｘ，ｙ）に従って先頭ラインから順次書き込まれる。

一方、歪曲収差補正座標変換演算部１６４は、座標データ（ｘ，ｙ）を入力として、多項式等の所定の座標変換式に従いＲＧＢ共通の歪曲収差補正の変換座標を計算し、変換後の座標データ（Ｘ，Ｙ）を出力する。座標変換式は、先の倍率色収差補正と同じ（１３）式で表わすことができる。ただし、使用される座標変換係数は当然異なる。その座標変換係数は、あらかじめ座標変換係数テーブル１６５に保持される。

上述のように、歪曲収差補正用の座標変換式は、倍率色収差補正用と同じ例えば（１３）式でよく、この（１３）式中で使われるｘ²，ｙ²，ａｂｓ(x)，ａｂｓ(y)の項を、倍率色収差補正での計算結果を用いると（メモリ等に保持しておいて）、新たに計算する必要がなくなり、演算部１６４の回路規模を小さくできる。

座標変換メモリ１６２は、先のＲＧＢ合成画素データ（２４ビット）の書込み動作と平行して（正確には所定時間遅れて）、歪曲収差補正座標変換部１６４から出力される座標データ（Ｘ，Ｙ）に基づいて、ＲＧＢ合成画素データを順次読み出していく。ＲＧＢ分離部１６３は、座標変換メモリ１６２から読み出されたＲＧＢ合成画素データ（２４ビット）を元のＲＧＢ各色成分の画素データ（８ビット）に分離する。

以上の処理により、ＲＧＢ分離部１６３からは、倍率色収差及び歪曲収差の補正された各ＲＧＢ画素データが出力されることになる。すなわち、各ＲＧＢ画素データが本来の位置（ｘ，ｙ）にコピーされる。

なお、歪曲収差補正処理でも、入力座標データ（ｘ，ｙ）と出力座標データ（Ｘ，Ｙ）の対応を記憶したルックアップテーブル（ＬＵＴ）を用意し、該ＬＵＴを用いて、座標データ（ｘ，ｙ）に対する変換後の座標データ（Ｘ，Ｙ）を直接得るようにしてもよい。これにより、座標変換のための計算が省略でき、歪曲収差補正も基本的にメモリチップのみで実現可能となる。

本発明の画像撮像装置の一実施形態の全体ブロック図。 ベイヤー配列カラーフィルタを示す図。 ＭＴＦ補正部の概略構成図。 倍率色収差及び歪曲収差の説明図。 従来の倍率色収差及び歪曲収差補正の説明図。 本発明による倍率色収差及び歪曲収差補正の説明図。 倍率色収差補正部の一実施形態を示す構成図。 倍率色収差補正座標変換演算部の各実施例の構成図。 歪曲収差補正部の一実施形態を示す構成図。

符号の説明

１１０ 撮像素子
１２０ Ａ／Ｄ変換器
１３０ ベイヤー補完部
１４０ 倍率色収差補正部
１５０ ＭＴＦ補正部
１６０ 歪曲収差補正部
１７０ ガンマ補正部
１４２（Ｒ），１４２（Ｇ），１４２（Ｂ） 座標変換メモリ（ＳＲＡＭ）
１４４ 倍率色収差補正座標変換演算部
１４６ 座標変換係数テーブル
１６１ ＲＧＢ合成部
１６２ 座標変換メモリ（ＤＲＡＭ）
１６３ ＲＧＢ分離部
１６４ 歪曲収差補正座標変換演算部
１６５ 座標変換係数テーブル

Claims (7)

1. 倍率色収差、歪曲収差が大きい広角の光学系で撮像された画像を取得する画像撮像装置において、
   前記取得された画像に対して、複数の色成分の画素データ毎に、該複数の色成分対応の複数の第１の座標変換メモリを用いてそれぞれ座標変換して倍率色収差を補正する倍率色収差補正手段と、
   前記倍率色収差補正された画像に対して、複数の色成分に共通の第２の座標変換メモリを用いて、前記複数の色成分の画素データを一緒に座標変換して歪曲収差を補正する歪曲収差補正手段と、
   を有することを特徴とする画像撮像装置。
2. 前記第１の座標変換メモリには低容量低レイテンシまたは低容量多ポートのメモリを使用し、前記第２の座標変換メモリには、前記第１の座標変換メモリに比べて大容量高レイテンシまたは大容量単一ポートのメモリを使用することを特徴とする請求項１記載の画像撮像装置。
3. 前記第１の座標変換メモリにはＳＲＡＭを使用し、前記第２の座標変換メモリにはＤＲＡＭを使用することを特徴とする請求項２記載の画像撮像装置。
4. 前記倍率色収差補正手段は、特定の色成分の画素データについては座標変換を行わず、それ以外の各色成分の画素データについてのみ座標変換を行うことを特徴とする請求項１乃至３のいずれか１項に記載の画像撮像装置。
5. 前記倍率色収差補正手段は、特定の色成分の座標を基準に補正量を求め、前記補正量により特定の色成分以外の各色成分の変換座標を算出することを特徴とする請求項４記載の画像撮像装置。
6. 複数の色成分は赤（Ｒ）、緑（Ｇ）、青（Ｂ）信号からなり、前記特定の色成分はＧ信号であることを特徴とする請求項４又は５記載の画像撮像装置。
7. 前記倍率色収差補正手段と前記歪曲収差補正手段との間に、輝度信号に対してフィルタリングを行うＦＩＲフィルタを有することを特徴とする請求項１乃至６のいずれか１項に記載の画像撮像装置。

Images