JP5078148B2

JP5078148B2 - 画像処理装置及び画像撮像装置

Info

Publication number: JP5078148B2
Application number: JP2008059704A
Authority: JP
Inventors: 亮介笠原
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2008-03-10
Filing date: 2008-03-10
Publication date: 2012-11-21
Anticipated expiration: 2028-03-10
Also published as: EP2101295A1; CN101534384A; EP2101295B1; CN101534384B; US20090231472A1; JP2009218802A; US8106973B2

Description

本発明は広画角で倍率色収差及び歪曲収差が大きい光学系を用いて撮像された画像を処理する画像処理装置、及び画像撮像装置に関する。

近年、車のバックモニタなどの用途に向け、広角の撮像装置の需要が増大している。しかしながら、広角になるほど倍率色収差や歪曲収差が大きくなり、収差が小さい光学系を設計するのが困難で、画像処理と組み合わせて性能を向上させる必要がある。

倍率色収差や歪曲収差がある光学系を用いた撮像装置において、収差補正する従来技術としては、ＣＣＤやＣＭＯＳセンサといった撮像素子より得られたＲ（赤）、Ｇ（緑）、Ｂ（青）信号を後段で、ＲＧＢ各色成分毎に独立に座標変換して倍率色収差と歪曲収差を同時に補正する方法、あるいは、倍率色収差は無視し、ＲＧＢ各色成分一緒に座標変換して歪曲収差のみを補正する方法がある（例えば、特許文献１参照）。

特開２００６−３４５０５４号公報

ＲＧＢ各色成分ごとに独立に座標変換して倍率色収差と歪曲収差を同時に補正する従来の方法では、ＲＧＢ各色対応に、大容量で、かつ、ＳＲＡＭのようにランダムアクセス時にレイテンシが小さいメモリまたは多ポートのメモリが必要であった。しかしながら、大容量のＳＲＡＭや、複数のポートを持つメモリは非常に高価であり、特に大容量が必要となる高解像度の場合には装置の値段が非常に高価となっていた。

一方、ＲＧＢ各色成分共通に座標変換して歪曲収差のみを補正する方法は、大容量のメモリを必要とするものの、１チップ構成の価格の低いＤＲＡＭ等を使用することが可能であるが、広画角で倍率色収差が無視できなくなると適用できない。

歪曲収差はＲＧＢ各色成分で一様であるが、倍率色収差は各色成分毎に異なる。また、倍率色収差は歪曲収差に比べて小さい。このため、倍率色収差と歪曲収差とは別に補正するのが好ましい。

ところで、倍率色収差の補正には、通常、各色成分毎に独立の補正回路が必要であり、コスト低減のためには、最小の回路規模で倍率色収差補正を行う必要がある。

本発明の目的は、最小限の回路規模で、かつ、補正性能を劣化させることなく、倍率色収差補正を行い、さらに歪曲収差補正を行う画像処理装置を提供することにある。

また、本発明の目的は、小さな回路規模で倍率色収差補正を行う画像処理装置を実装することで、低コストの画像撮像装置を提供することにある。

本発明では、広画角で倍率色収差及び歪曲収差が大きい光学系を用いて撮像された画像を、特定の色成分の画像については座標変換を行わず、該特定の色成分以外の色成分の画像についてのみ座標変換を行うことで倍率色収差補正を行うようにする。ここで、特定の色成分は例えば緑（Ｇ）であり、それ以外の色成分は赤（Ｒ）と青（Ｂ）である。これにより、特定の色成分については補正回路が不要となり、回路規模を軽減できる。座標用メモリには、各色成分ごとではあるが、倍率色収差の最大ずれ量に応じた小容量の複数ポートのＳＲＡＭを用いる。これにより、回路規模を更に小さくできる。

また、本発明では、倍率色収差補正を行った後、各色成分の画像に共通に歪曲収差補正を行うようにする。この座標用メモリには、各色成分に共通の単一ポートのＤＲＡＭを用いる。

本発明の画像処理装置によれば、最小の回路規模で倍率色収差補正を行うことが可能となる。したがって、本発明の画像撮像装置によれば、更なる低コスト化が可能となる。さらに、各色成分の画像に共通に歪曲収差補正を行うことで、倍率色収差及び歪曲収差が大きい光学系を用いて撮像された画像に対処できる。

以下、本発明の一実施の形態について図面を用いて説明する。実施形態は、広画角で倍率色収差と歪曲収差が大きい光学系を用いて被写体を撮像する画像撮像装置とし、画像処理系は倍率色収差に加えて歪曲収差も補正する構成とする。また、画像の色成分は加法３原色の赤（Ｒ）、緑（Ｇ）、青（Ｂ）とするが、減法３原色のＹ（黄）、Ｍ（マゼンタ）、Ｃ（シアン）でもよい。

図１は本発明が適用される画像撮像装置における画像処理系の一実施形態の機能ブロック図を示す。画像撮像装置は、他に操作部、画像記憶部、画像表示部などを備えているが、図１では省略してある。本画像撮像装置は、例えば、車載カメラとして使用されるが、もちろん用途はこれに限らない。

図１において、制御部１００は、装置の各部に必要な制御信号（クロック、水平／垂直同期信号、その他）を与えて、該各部の動作をパイプライン的に制御する。

撮像素子１１０は、広角で倍率色収差及び歪曲収差の大きい光学系（不図）を用いて撮像された光学像を電気信号（画像データ）に変換するための、例えばＣＣＤやＣＭＯＳセンサ等で構成される。該撮像素子１１０にはベイヤー配列の色フィルタが設けられており、ベイヤー配列のＲＧＢ画像データが、制御部１００から与えられる座標値（ｘ，ｙ）に基づいて順次出力される。また、制御部１００では、撮像素子１１０に与える座標値（ｘ，ｙ）を、順次、所定の時間ずらして後段にも与えるようにする。なお、座標値（ｘ，ｙ）は、クロック、水平／垂直同期信号を入力として撮像素子１１０の内部で生成して、撮像素子１１０から順次、後段に与えることでもよい。

Ａ／Ｄ変換器１２０は、撮像素子１１０から出力されたアナログ信号としてのベイヤー配列のＲＧＢ画像データをデジタル信号に変換してベイヤー補完部１３０に送出する。デジタル信号は、例えば、ＲＧＢそれぞれ８ビットで構成される。一般にＡ／Ｄ変換器１２０の前段にはＡＧＣ回路が設けられるが、ここでは、省略する。

ベイヤー補完部１３０は、デジタル信号に変換されたベイヤー配列のＲＧＢ画像データを入力して、ＲＧＢ各色独立に、全座標位置の画像データ（画素データ）を線形補完によって生成し、倍率色収差補完部１４０に送出する。

図２にベイヤー配列のカラーフィルタを示す。ここで、Ｇ₀は次式により求める。
Ｇ₀＝（Ｇ₂＋Ｇ₄＋Ｇ₆＋Ｇ₈）／４（１）
また、Ｒ₂，Ｒ₄，Ｒ₆，Ｒ₈，Ｒ₀は次式により求める。
Ｒ₂＝（Ｒ₁＋Ｒ₃）／２（２）
Ｒ₄＝（Ｒ₃＋Ｒ₅）／２（３）
Ｒ₆＝（Ｒ₅＋Ｒ₇）／２（４）
Ｒ₈＝（Ｒ₁＋Ｒ₇）／２（５）
Ｒ₀＝（Ｒ₁＋Ｒ₃＋Ｒ₅＋Ｒ₇）／４（６）
Ｂ₂，Ｂ₄，Ｂ₆，Ｂ₈，Ｂ₀は上記Ｒ₂，Ｒ₄，Ｒ₆，Ｒ₈，Ｒ₀の場合と同じであるので省略する。

なお、本実施例ではベイヤー配列の色フィルタを持つ撮像素子について述べたが、もちろん他のＣＭＹＧ配列や、ＲＧＢ＋Ｉｒ(赤外)配列など他の色フィルタ配列を持つ撮像素子に関しても効果がある。このように４色の色フィルタ配列を持つ撮像素子では、ＲＧＢのように３色のタイプと比較して、倍率色収差補正においてさらに低レイテンシのメモリまたは、４ポートのＲＡＭが必要である。

倍率色収差補正部１４０は、ベイヤー補完されたＲ，Ｇ，Ｂ画像データを入力して、所定の多項式等によりＲＧＢ各色成分独立に座標変換（倍率色収差座標変換）を施し、倍率色収差補正されたＲＧＢ画像データを出力する。この倍率色収差補正部１４０については後で詳述するが、倍率色収差補正の座標変換には低容量低レイテンシのメモリまたは、低容量で複数のポートを持つメモリ（ＳＲＡＭ等）を使用することが可能である。さらに本発明を適用することにより、座標変換演算部の回路規模を小さくすることが可能である。

ＭＴＦ補正部１５０は、倍率色収差補正されたＲＧＢ画像データを入力して、ＦＩＲフィルタを用いてＭＴＦ補正処理を施し、ＭＴＦ補正（高域強調）されたＲＧＢ画像データを出力する。

図３にＭＴＦ補正部１５０の概略構成を示す。変換部１５２は次式によりＲＧＢ画像データをＹＣｂＣｒ画像データに変換する。
Ｙ＝０.２９９Ｒ＋０.５８７Ｇ＋０.１１４Ｂ（７）
Ｃｒ＝０.５００Ｒ−０.４１９Ｇ−０.０８１Ｂ（８）
Ｃｂ＝−０.１６９Ｒ−０.３３２Ｇ＋０.５００Ｂ（９）

ＦＩＲフィルタ（５×５フィルタ）１５４では、ＹＣｂＣｒのうち輝度信号Ｙのみを入力して所定のＭＴＦ補正を行う。Ｙ信号のみのフィルタリング（ＭＴＦ補正）を行うことで、色ノイズの増幅を抑えた高画質な画像を得ることができる。図４にＦＩＲフィルタの係数の一例を示す。

逆変換部１５６は、ＣｂＣｒ信号及びＭＴＦ補正されたＹ信号を入力して、次式により逆変換しＲＧＢ画像データを出力する。
Ｒ＝Ｙ＋１.４０２Ｃｒ（10）
Ｇ＝Ｙ−０.７１４Ｃｒ−０.３４４Ｃｂ（11）
Ｂ＝Ｙ＋１.７７２Ｃｂ（12）

歪曲収差補正部１６０は、倍率色収差補正及びＭＴＦ補正されたＲＧＢ画像データを入力して、所定の多項式等によりＲＧＢ各色成分共通に座標変換（歪曲収差座標変換）を施し、歪曲収差補正されたＲＧＢ画像データを出力する。この歪曲収差補正部１６０での座標変換には、倍率色収差補正用のメモリに比べ、メモリ容量が大ではあるが（最大１画面分）、１ポートで良いため高レイテンシのメモリ（ＤＲＡＭ等）を使用することが可能である。この歪曲収差補正部１６０については後で詳述する。

ガンマ補正部１７０は、歪曲収差補正部１６０から出力されるＲＧＢ画像データを入力して、ＲＧＢそれぞれのルックアップテーブル等を用いて所定のガンマ補正処理を施し、ガンマ補正されたＲＧＢ画像データを出力する。このガンマ補正部１７０の出力画像データが表示部（不図）に送られてモニタ表示される。

以上が図１に示した実施形態の全体的動作であるが、以下では倍率色収差補正部１４０と歪曲収差補正部１６０について詳述する。はじめに、倍率色収差補正と歪曲収差補正の原理を説明する。

図５に模式的に示すように、倍率色収差と歪曲収差のある光学系を用いて撮影を行った場合、画面右上の１で示す位置（ピクセル）の画像データ（画素データ）は、この本来の位置から歪曲収差によりずれ、さらに倍率色収差によってＲＧＢ各色成分でそれぞれ異なるずれをし、撮像素子で実際に撮像される位置は、ＲＧＢそれぞれ２（Ｒ），３（Ｇ），４（Ｂ）の位置となる。倍率色収差と歪曲収差の補正は、この２（Ｒ），３（Ｇ），４（Ｂ）の位置（ピクセル）のＲＧＢ各色成分画像データを本来の位置である１の位置（ピクセル）にコピーする、すなわち、座標変換することで可能である。ここで、２，３，４の位置を座標変換元の座標、１の位置を座標変換先の座標と称す。

光学系の設計データより、歪曲収差の大きさ、倍率色収差の大きさが分かるため、本来の位置に対して、ＲＧＢ各色成分がどの位置にずれるかを計算することができる。

図６は倍率色収差と歪曲収差を同時に補正する方法を模式的に示したものである。すなわち、２（Ｒ），３（Ｇ），４（Ｂ）の位置（ピクセル）のＲＧＢ各色成分の画像データをそれぞれ本来の位置である１の位置（ピクセル）にコピーする、すなわち、座標変換することで、倍率色収差と歪曲収差を同時に補正することができる。しかしながら、この方法では、ＲＧＢ各色成分毎に容量が大で、かつ、低レイテンシのメモリまたは多ポートのメモリが必要となる。例えば、図６の場合だと、ＲＧＢそれぞれに、座標変換用として高速の６ラインのメモリが必要となる。さらに、ＲＧＢそれぞれに座標変換演算回路あるいは座標変換テーブル（ＬＵＴ）が必要となる。

図７は倍率色収差と歪曲収差を別々に補正する方法を模式的に示したものである。倍率色収差は各色成分で異なるが、ずれは小さい。一方、歪曲収差は、ずれは大きいが、各色成分とも同じである。これに着目し、まず、ＲＧＢ各色成分の画像データをそれぞれ座標変換して、倍率色収差を補正し、その後、この倍率色収差補正されたＲＧＢ画像データをまとめて座標変換することで、歪曲収差を補正する。これにより、座標変換用のメモリを倍率色収差補正に必要なＲＧＢ対応の少容量・高速（低レンテンシまたは多ポート）なメモリと、歪曲収差補正に必要なＲＧＢ共通の大容量・低速（高レンテンシまたは単一ポート）なメモリに分けることができ、全体としてコスト低減が可能となる。

さらに、倍率色収差は一般にＧを中心にＲとＢの色成分がほぼ対称にずれる。そこで、倍率色収差補正は、ＲＢの色成分のみを座標変換して、Ｇ成分の位置にコピーすることで実現する。これにより、倍率色収差補正のための座標変換演算回路あるいは座標変換テーブル（ＬＵＴ）はＲＢ色成分のみでよく、回路規模を小さくでき、全体としてさらなるコスト低減が可能になる。

図７の（ａ）は倍率色収差補正を模式的に示したもので、２（Ｒ），４（Ｂ）の位置（ピクセル）のＲＢ色成分の画像データ（画素データ）について座標変換を行って、Ｇ成分の３（Ｇ）の位置（ピクセル）にコピーする。この操作により、倍率色収差が補正される。図７の（ｂ）は歪曲収差補正を模式的に示したもので、倍率色収差補正済みの３の位置（ピクセル）のＲＧＢ各色成分の画像データに対してまとめて座標変換を行い、本来の位置である１の位置（ピクセル）にコピーする。この操作により歪曲収差が補正される。

図７の例では、倍率色収差補正用の高速メモリは、各ＲＧＢ対応の３ラインのメモリで十分である。他に歪曲収差補正用に５ラインのメモリが必要となるが、ＲＧＢ共通の低速メモリでよく、図６の場合に比較して、全体しては低コスト化が可能となる。さらに、倍率色収差補正用の座標変換演算回路あるいは座標変換テーブルはＲＢ色成分のみでよく、全体として更なる低コスト化が可能となる。

なお、ここで対象としている歪曲収差とは、目的の射影方式に対するレンズの歪みという意味であり、例えば目的の射影方式がカメラ上方から見下ろした画像が得られる射影方式であったり、ある一部分を拡大して表示される射影方式である場合も含む。

図８に倍率色収差補正部１４０の一実施形態の構成図を示す。１４２は倍率色収差補正用座標変換メモリ（ラインバッファ）で、１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）はそれぞれＲＧＢ各色成分に対応する。１４４は所定の座標変換式に従いＲＧＢ（実際にはＲＢのみ）それぞれについて倍率色収差補正の変換座標を計算する倍率色収差補正座標変換演算部であり、１４６は座標変換式に使用される係数を保持する座標変換係数テーブルである。

倍率色収差補正処理には、ラインバッファとして、小容量であるがＲＧＢ３ポートのメモリまたは低レイテンシのメモリが必要である。ここでは、倍率色収差の最大ずれ量がＹ方向に２０ラインと想定して、座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）は、それぞれ２０ライン分のＳＲＡＭで構成されるとする。Ｘ方向のサイズは解像度で決まり、例えば解像度ＶＧＡ（６４０×４８０）とすると、Ｘ方向のサイズは６４０ドットである。色深度はＲＧＢ８ビットとすると、座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）とも、書込み読出しは８ビット単位で行われる。

このように、倍率色収差補正用座標変換メモリ（ラインバッファ）１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）は、小容量であるため、当該画像撮像装置の画像処理チップ内に用意された３ポートのＳＲＡＭを用いて、それぞれ２０ライン分のメモリ領域を確保する構成とすることが望ましい。なお、ＳＲＡＭのように低レイテンシのメモリの場合１ポートのメモリをタイムシェアリングにより３ポートのメモリとして使用することも可能である。

倍率色収差と歪曲収差を受けた撮像画像の各ＲＧＢ画像データが、座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）に、それぞれ座標値（ｘ，ｙ）に従って先頭ラインから順次書込まれる。そして、各々２０ラインの画像データが書き込まれると、先頭ラインの画像データから順次捨てられ、代って後続ラインの画像データが新しく書き込まれていく。こうして、座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）には、それぞれ倍率色収差補正座標変換で必要とする最大２０ライン分のＲＧＢ画像データが順次格納される。

ここで、座標値（ｘ，ｙ）は１フレーム分の撮像画像の読出し位置を示している。一方、座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）は２０ラインのラインバッファで、書込みラインがサイクックに変化するため、座標値（ｘ，ｙ）をそのまま座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）の書込みアドレスに使用することができない。このため、座標値（ｘ，ｙ）を座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）の実アドレスに変換する必要があるが、図８ではそのための構成は省略してある。これは、後述の読出し動作における変換後の座標値（Ｘ，Ｙ）と座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）の読出しアドレスとの関係でも同様である。

倍率色収差補正座標変換算出部１４４は、座標変換先座標である座標値（ｘ，ｙ）を入力として、多項式等の所定の座標変換式に従い、ＲＧＢそれぞれについて倍率色収差補正の変換座標を計算し、ＲＧＢそれぞれの座標変換元座標である座標値（Ｘ，Ｙ）を出力する。図７（ａ）に示したように、倍率色収差補正では、ＲＢの色成分のみを座標変換してＧ成分の位置にコピーする。このため、倍率色収差補正座標変換演算部１４４では、Ｇ成分については、入力された座標値（ｘ，ｙ）をそのまま変換後の座標値（Ｘ，Ｙ）として出力し、ＲＢ色成分について、所定の座標変換式を用いてそれぞれ入力された座標値（ｘ，ｙ）を座標値（Ｘ，Ｙ）に変換し、その変換後の座標値（Ｘ，Ｙ）を出力する。これを座標値（ｘ，ｙ）ごとに繰り返す。

ここで、座標変換式は、画面中央を原点とした場合、例えば、
Ｘ＝ｘ＋［ａ(1)＋ａ(2)×ａｂｓ(x)＋ａ(3)×ａｂｓ(y)＋ａ(4)×ｙ²］×ｘ
Ｙ＝ｙ＋［ｂ(1)＋ｂ(2)×ａｂｓ(y)＋ｂ(3)×ａｂｓ(x)＋ｂ(4)×ｘ²］×ｙ
（13）
と表わすことができる。ａｂｓ（）は絶対値、ａ(1)〜ａ(4)，ｂ(1)〜ｂ(4)は座標変換係数である。座標変換係数は、あらかじめ座標変換係数テーブル146に保持される。

座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）は、先の書込み動作と平行して（実際には所定時間遅れて）、倍率色収差補正座標演算部１４４から出力される座標値（Ｘ，Ｙ）に基づいて（実際には、座標値（Ｘ，Ｙ）をアドレス変換した値）、それぞれＲＧＢ画像データを順次読み出していく。この場合、座標変換メモリ１４２（Ｇ）からは、書込み時と同じ位置のＧ成分画像データが読み出される。一方、座標変換メモリ１４２（Ｒ），１４２（Ｂ）からは、それぞれ書き込み時とは所定の位置ずれた位置、すなわち、倍率色収差分ずれた位置のＲＢ色成分画像データが読み出される。

以上の処理により、座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）からは、倍率色収差補正されたＲＧＢ画像データが出力されることになる。すなわち、座標変換元座標値（Ｘ，Ｙ）のＲＧＢ画像データが、座標変換先座標値（ｘ，ｙ）のＲＧＢ画像データとして出力される。

図９乃至図１３に倍率色収差補正座標変換演算部１４４のいくつかの構成例を示す。なお、ここでは、Ｇの色成分を基準とするが、ＲやＢを基準とすることも可能である。

図９は、Ｇの色成分は座標変換を行われず、入力された座標値（ｘ，ｙ）をそのまま、座標変換元のＧ用座標値（Ｘ，Ｙ）として出力し、ＲとＢの色成分についてのみ、それぞれ座標変換演算部１４４１、１４４２により、入力された座標値（ｘ，ｙ）を式（１３）などを用いて変換して、座標変換元のＲ用座標値（Ｘ，Ｙ）、Ｂ用座標値（Ｘ，Ｙ）を出力する実施例である。座標変換演算部はＲとＢ色成分のみでよいため、回路規模が少なくてすむ。

図１０、図１１は、倍率色収差は一般にＧを中心にＲとＢの色成分がほぼ対称にずれることに着目するものである（図７（ａ）参照）。ここで、図１０は、座標変換演算部１４４３により、座標値（ｘ，ｙ）について補正量（ずれ量）を求め、減算部１４４４で補正量分だけ座標値（ｘ，ｙ）から減算した値をＢ用座標値（Ｘ，Ｙ）とし、一方、加算部１４４５で補正量分だけ座標値（ｘ，ｙ）に加算した値をＲ用座標値（Ｘ，Ｙ）とする実施例である。図９と同様に、Ｇ用座標値（Ｘ，Ｙ）には座標値（ｘ，ｙ）をそのまま出力する。図１１は、対称位置のずれを考慮し、さらにゲイン回路１４４６によりＲ用の補正量を調整するようにしたものである。なお、ゲイン回路はＢ側に設けることでもよい。図１０，図１１の実施例によれば、座標変換演算部は一つで済み、回路規模を更に小さくできる。

以上の構成はＲ，Ｇ，Ｂ画素に加えてＩｒ画素を持つような赤外領域を取得できるセンサなどにおいても同様に使用することができる。その場合、例えば図１２に示すように、図１１の構成にＩｒ用のゲイン回路１４６１と加算部１４６２を追加することで、一つの座標変換演算部１４４３よりＢ用座標値，ゲインを通じてＲ用とＩｒ用座標値を計算することができ、本来３つの座標変換演算部が必要である座標変換演算部が一つで済み、回路規模をさらに小さくできる。

図１３及び図１４は倍率色収差補正と同時に歪曲収差補正を実施する構成例である。この場合、後述の歪曲収差補正部１６０は不要となる。

図１３は、座標変換演算部１４４７により、座標値（ｘ，ｙ）について、所定の多項式等を用いてＲＧＢ共通の歪曲収差分の補正量（ずれ量）を求め、加算部１４４８で該補正量だけ座標値（ｘ，ｙ）に加算して、該加算部１４４８の出力をＧ用座標値（Ｘ，Ｙ）とする共に、減算部１４４４及び加算部１４４５の一方の入力とする実施例である。座標変換演算部１４４３、減算部１４４４、加算部１４４５の動作は図１０と同様である。図１３の構成とすることにより、ＲＧＢ用座標値（Ｘ，Ｙ）はそれぞれ倍率色収差と歪曲収差の両補正量分の座標変換元座標を示すことになる。

図１４は、座標変換演算部１４４７により、同じく所定の多項式等を用いてＲＧＢ共通の歪曲収差の補正量を求め、加算部１４４９で加算部１４４５の出力と座標変換演算部１４４７の出力とを加算した値をＲ用座標値（Ｘ，Ｙ）とし、加算部１４５０で入力座標値（ｘ，ｙ）と座標変換演算部１４４７の出力とを加算した値をＧ用座標値（ｘ，ｙ）とし、また、加算部１４５１で減算部１４４４の出力と座標変換演算部１４４７の出力とを加算した値をＢ用座標値（Ｘ，Ｙ）とする実施例である。図１４の構成とすることにより、図１３と同様に、ＲＧＢ用座標値（Ｘ，Ｙ）はそれぞれ倍率色収差と歪曲収差の両補正量分の座標変換元座標を示すことになる。

ここで、図９の座標変換演算部１４４１、１４４２のかわりにＲとＢの各色成分毎に入力座標値（ｘ，ｙ）と出力座標値（Ｘ，Ｙ）の対応を記憶したルックアップテーブル（ＬＵＴ）を用意し、該ＬＵＴを用いて、座標変換先の座標値（ｘ，ｙ）に対する座標変換元の座標値（Ｘ，Ｙ）を直接得るようにしてもよい。同様に図１０乃至図１４の座標変換演算部１４４３，１４４７のかわりに入力座標値（ｘ，ｙ）と補正量の対応を記憶したＬＵＴを用意し、該ＬＵＴを用いて、座標値（ｘ，ｙ）に対応する補正量を直接得るようにしてもよい。これにより、座標変換のための計算が省略でき、倍率色収差補正、あるいは倍率色収差と歪曲収差補正は、基本的にメモリチップのみで実現可能となる。

次に、図１５に歪曲収差補正部１６０の一実施形態の構成図を示す。先に述べたように、倍率色収差補正部１４０が図１３や図１４の座標変換演算部を用いる場合には、該歪曲収差補正部１６０は不要である。図１５において、１６１はＲＧＢ３つの画像データを一つに合成するＲＧＢ合成部、１４２はＲＧＢ画像データに共通の歪曲収差補正用座標変換メモリ、１６３は合成されたＲＧＢ画像データを元の各色成分に分離するＲＧＢ分離部、１６４は合成されたＲＧＢ画像データに対して、所定の座標変換式に従い歪曲収差補正の変換座標を計算する歪曲収差補正座標変換演算部、１６５は座標変換式に使用される係数を保持する座標変換係数テーブルである。

歪曲収差は画素のずれ量が大きく、歪曲収差補正処理には、画像データを最大１画面分記憶しておくバッファメモリが必要である。一方、ずれはＲＧＢ各色成分とも同じで、ＲＧＢ画像データの合計ビット幅を持つ一つのバッファメモリでよい。ここでは、解像度がＶＧＡ（６４０×４８０）とし、ＲＧＢ画像データのビット数（色深度）がそれぞれ８ビットとして、座標変換メモリ１６２は、書込み読出しが２４ビット単位の６４０×４８０ドットのＤＲＡＭで構成されるとする。

このように、歪曲収差補正用座標変換メモリ１６２は、非常に大きな容量が必要で、画像処理チップ内にＳＲＡＭとして持つのはコスト的に困難であり、かつ、ＲＧＢに対して１ポートのメモリで十分なため、画像処理チップの外に用意したＤＲＡＭを用いるのが望ましい。

ＲＧＢ合成部１６１は、順次、倍率色収差補正済みの各ＲＧＢ画像データ（各８ビット）を入力し、一つの画像データ（２４ビット）に合成して出力する。この合成されたＲＧＢ画像データが、座標変換メモリ１６２に、それぞれ座標値（ｘ，ｙ）に従って先頭ラインから順次書き込まれる。

一方、歪曲収差補正座標変換演算部１６４は、座標変換先の座標値（ｘ，ｙ）を入力として、多項式等の所定の座標変換式に従いＲＧＢ共通の歪曲収差補正の変換座標を計算し、座標変換元の座標値（Ｘ，Ｙ）を出力する。座標変換式は、先の倍率色収差補正と同じ（１３）式で表わすことができる。ただし、使用される座標変換係数は当然異なる。その座標変換係数は、あらかじめ座標変換係数テーブル１６５に保持される。

上述のように、歪曲収差補正用の座標変換式は、倍率色収差補正用と同じ例えば（１３）式でよく、この（１３）式中で使われるｘ²，ｙ²，ａｂｓ(x)，ａｂｓ(y)の項を、倍率色収差補正での計算結果を用いると（メモリ等に保持しておいて）、新たに計算する必要がなくなり、演算部１６４の回路規模を小さくできる。

座標変換メモリ１６２は、先のＲＧＢ合成画像データ（２４ビット）の書込み動作と平行して（正確には所定時間遅れて）、歪曲収差補正座標変換部１６４から出力される座標値（Ｘ，Ｙ）に基づいて、ＲＧＢ合成画像データを順次読み出していく。ＲＧＢ分離部１６３は、座標変換メモリ１６２から読み出されたＲＧＢ合成画像データ（２４ビット）を元のＲＧＢ各色成分の画像データ（８ビット）に分離する。

以上の処理により、ＲＧＢ分離部１６３からは、倍率色収差及び歪曲収差の補正された各ＲＧＢ画像データが出力されることになる。すなわち、各ＲＧＢ画像データが本来の位置（ｘ，ｙ）にコピーされる。

なお、歪曲収差補正処理でも、入力座標値（ｘ，ｙ）と出力座標値（Ｘ，Ｙ）の対応を記憶したルックアップテーブル（ＬＵＴ）を用意し、該ＬＵＴを用いて、座標変換先の座標値（ｘ，ｙ）に対する座標変換元の座標値（Ｘ，Ｙ）を直接得るようにしてもよい。これにより、座標変換のための計算が省略でき、歪曲収差補正も基本的にメモリチップのみで実現可能となる。

本発明による画像撮像装置の一実施形態の全体ブロック図。ベイヤー配列カラーフィルタを示す図。ＭＴＦ補正部の概略構成図。ＦＩＲフィルタの一例を示す図。倍率色収差及び歪曲収差の説明図。倍率色収差及び歪曲収差を同時に補正する説明図。倍率色収差及び歪曲収差補正を別々に補正する説明図。倍率色収差補正部の一実施形態を示す構成図。倍率色収差補正座標変換演算部の第１の実施例の構成図。倍率色収差補正座標変換演算部の第２の実施例の構成図。倍率色収差補正座標変換演算部の第３の実施例の構成図。倍率色収差補正座標変換演算部の第４の実施例の構成図。倍率色収差補正座標変換演算部の第５の実施例の構成図。倍率色収差補正座標変換演算部の第６の実施例の構成図。歪曲収差補正部の一実施形態を示す構成図。

符号の説明

１１０撮像素子
１２０Ａ／Ｄ変換器
１３０ベイヤー補完部
１４０倍率色収差補正部
１５０ＭＴＦ補正部
１６０歪曲収差補正部
１７０ガンマ補正部
１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）座標変換メモリ（ＳＲＡＭ）
１４４倍率色収差補正座標変換演算部
１４６座標変換係数テーブル
１６１ＲＧＢ合成部
１６２座標変換メモリ（ＤＲＡＭ）
１６３ＲＧＢ分離部
１６４歪曲収差補正座標変換演算部
１６５座標変換係数テーブル

Claims

広画角で倍率色収差及び歪曲収差が大きい光学系を用いて撮像された複数の色成分からなる画像データを処理する画像処理装置であって、
複数の色成分の画像データについてそれぞれ倍率色収差の最大ずれ量に応じた記憶領域を有して、処理対象の複数の色成分の画像データが順次書き込まれる、複数ポートのＳＲＡＭからなる第１の座標変換用メモリと、
前記第１の座標変換メモリに書き込まれた処理対象の複数の色成分の画像データについて、特定の色成分の画像データは座標変換を行わずにそのまま読み出し、前記特定の色成分以外の画像データは、前記特定の色成分の画像データの座標を基準に補正量を求め、該補正量により変換座標を算出して座標変換を行って読み出す倍率色収差補正手段と、
前記倍率色収差補正された各色成分の画像データを合成する合成手段と、
複数の色成分の画像データに共通の最大１画面分の記憶容量を有し、前記合成された画像データが書き込まれる、単一ポートのＤＲＡＭからなる第２の座標変換用メモリと、
前記第２の座標変換メモリに書き込まれた画像データについて、各色成分の画像データに共通の変換座標を算出して座標変換を行って読み出す歪曲収差補正手段と、
を有することを特徴とする画像処理装置。
前記特定の色成分は緑（Ｇ）であり、それ以外の色成分は赤（Ｒ）と青（Ｂ）であることを特徴とする請求項１記載の画像処理装置。
広画角で倍率色収差及び歪曲収差が大きい光学系と、
前記光学系を通して撮像された画像を読み取る撮像素子と、
前記請求項１もしくは２に記載の画像処理装置と、
を有することを特徴とする画像撮像装置。