JPWO2016088406A1 - 画像処理装置及び方法、並びに撮像装置、並びにプログラム及び記録媒体 - Google Patents

Abstract

歪み補正対象領域（Ａｔｃ）を分割して歪み補正を行う場合に、歪み補正対象領域の分割領域を歪み補正して歪み補正後分割領域画像（Ｄ３）を生成し、複数の歪み補正後分割領域画像（Ｄ３）を結合して歪み補正後画像（Ｄ４）を生成する。歪み補正後画像（Ｄ４）の各画素について、当該画素を含む分割領域及びその周囲の分割領域のスケーリング率（ＭＲ）に応じてゲイン（Ｇｐ）を定め、当該画素の高周波数成分（Ｄ６）に乗算して、歪み補正後画像（Ｄ４）の当該画素の画素値に加算する。歪み補正後画像（Ｄ４）の分割領域毎の解像感の違いを緩和し、良好な解像感の画像を得ることができるようになる。

Description

本発明は、光学的な歪みを有するレンズを用いて撮像された画像の歪みを補正する画像処理装置及び方法、並びに上記の画像処理装置を用いた撮像装置に関する。本発明はまた、画像処理をコンピュータに実行させるためのプログラム、及び該プログラムを記録したコンピュータで読み取り可能な記録媒体に関する。

従来から監視カメラ、車載カメラ等において、広角レンズ、例えば魚眼レンズを用いて広範囲の画像を撮像し、画像処理によってレンズの光学的な歪みによる画像歪みを補正して出力する画像処理装置が用いられている。

このような画像処理装置では、補正後の画像における画素の位置に対応する補正前の画像中の位置を座標変換により求め、求めた位置の画素値を近傍の画素値で補間することによって画像歪みを補正する。そのような処理において、近傍の画素値を処理遅延なく参照することができるようにするために、高速にアクセス可能なラインバッファ等が用いられる。

上記のような座標変換によって画像歪みを補正した場合に、画像の中心に比べ周辺での補正量が比較的大きくなる。このため、補正後の画像においては中心から周辺に向かうに従って解像性能が低下してしまう。

これに対し、輪郭強調処理を利用して、光学的な画像歪みが大きくなるほど輪郭強調レベルが大きくなるように強調係数を設定することにより、画像の歪み補正に起因する解像感の低下を補うことが提案されている（特許文献１参照）。

特開２００４−２４２１２５号公報（段落番号００５３〜００６５、図４〜６）

ところで、画素数の多い歪み画像の歪みを補正する画像処理装置では、ラインバッファ等の容量を削減するために、歪み補正対象となる画像領域を分割して、各分割領域の画像歪みを補正し、歪み補正後の画像を結合して、歪み補正対象領域全体の歪み補正後画像を生成する構成とする場合がある。このような場合、光学的な画像歪み量よりも、分割領域毎の歪み補正前と歪み補正後の画像のサイズの違いが出力画像の画質に影響を与えることがある。

歪み補正は、補正対象領域の局所的なスケーリング（拡大又は縮小）と捉えることができる。そのため、例えば、分割領域の歪み補正後の画像が互いに同一のサイズを有し、歪み補正前の分割領域のサイズが互いに異なる場合、分割領域毎に異なるスケーリング率のスケーリングが行われたことを意味し、分割領域毎に異なる解像感の画質となる。この様な場合に、上記従来の技術を用いて、歪み補正対象領域を分割し、分割領域毎に歪み補正処理を行うと、分割領域毎に異なる解像感となり、特に、分割領域の境界では解像感の連続性が得られない。

本発明は、上述の課題を解決するためになされたもので、入力画像中の歪み補正対象領域を分割し、分割領域毎に歪み補正を行い、分割領域毎の歪み補正後画像を結合して、歪み補正対象領域の歪み補正後画像を生成する際に、分割領域の境界で連続した解像感が得られるようにすることを目的とする。

本発明の画像処理装置は、
入力画像から歪み補正対象領域の一部を成す分割領域を含む複数の部分領域画像を順次切り出して、該部分領域画像又は該部分領域画像を縮小することで得られる画像を、前記分割領域又は前記分割領域に対応する縮小後の分割領域の画像を含む参照画像として順次出力する参照画像生成手段と、
それぞれ前記複数の参照画像に含まれる前記分割領域又は前記縮小後の分割領域の画像を歪み補正し、複数の歪み補正後分割領域画像を順次出力する歪み補正手段と、
前記複数の歪み補正後分割領域画像を結合して、前記歪み補正対象領域の歪み補正後画像を生成する画像結合手段と、
前記歪み補正後画像の高周波数成分画像を生成する高周波数成分画像生成手段と、
前記複数の歪み補正後分割領域画像の各々について、当該歪み補正後分割領域画像のサイズと、当該歪み補正後分割画像に対応する前記参照画像内の前記分割領域又は前記縮小後の分割領域のサイズとから、分割領域スケーリング率を算出するスケーリング率算出手段と、
前記歪み補正後画像を構成する複数の画素を順次注目画素として指定する画素指定手段と、
前記歪み補正後画像の前記注目画素に対応する画素を含む前記歪み補正後分割領域画像についての前記分割領域スケーリング率と、当該歪み補正後分割領域画像に隣接する１又は２以上の歪み補正後分割領域画像についての前記分割領域スケーリング率とから、前記注目画素についての画素ゲインを算出する画素ゲイン算出手段と、
前記高周波数成分画像の、前記注目画素に対応する画素の画素値に、前記注目画素の画素ゲインを乗算して調整後高周波数成分画像の前記注目画素に対応する画素の画素値を出力する調整手段と、
前記歪み補正後画像の前記注目画素の画素値と前記調整後高周波数成分画像の前記注目画素に対応する画素の画素値とを加算した結果を、前記歪み補正対象領域の歪み補正後画像の前記注目画素に対応する画素の画素値として出力する加算手段と
を有することを特徴とする。

本発明によれば、分割領域毎に歪み補正処理を行い、歪み補正後分割領域画像を結合することで、歪み補正処理に際し、分割領域相互間でスケーリング率が異なることによって起こる解像感の不均一性或いは不連続性を軽減することができる。

本発明に係る撮像装置を示すブロック図である。 本発明の実施の形態１の画像処理装置を示す図である。 （Ａ）及び（Ｂ）は、歪み補正対象領域の画像、及び対応する歪み補正後の画像の一例を示す図である。 （Ａ）及び（Ｂ）は、歪み補正対象領域の画像及び対応する歪み補正後の画像の他の例を示す図である。 実施の形態１で用いられる参照画像生成手段の構成例を示すブロック図である。 （Ａ）及び（Ｂ）は、分割領域と、分割領域に外接する矩形の領域と、分割領域の周辺の領域と、分割領域及びその周辺の領域を含む矩形の領域と、歪み補正後分割領域画像の関係を示す図である。 （Ａ）〜（Ｃ）は、歪み補正手段による、歪み補正後分割領域画像の生成方法を模式的に示した図である。 分割領域スケーリング率と分割領域ゲインａの関係の例を示す図である。 分割領域ゲインを用いた画素ゲインの算出方法を示す図である。 本発明の実施の形態２の画像処理装置を示すブロック図である。 実施の形態２で用いられる参照画像生成手段の構成例を示すブロック図である。 （Ａ）及び（Ｂ）は、縮小前の部分領域画像の一例における分割領域と、対応する縮小後の部分領域画像における、分割領域に対応する領域及び該領域に外接する矩形の領域を示す図である。 （Ａ）及び（Ｂ）は、参照画像生成手段の画像縮小手段によって行われる画像の縮小の異なる例を示す図である。 画像縮小手段による、縮小画像の画素値を算出する処理の手順を示すフロー図である。 画像縮小手段による、縮小画像の画素値を算出する処理の手順を示すフロー図である。 画像縮小手段による、縮小画像の画素値を算出する処理の手順を示すフロー図である。 図１３（Ａ）に示す画素配置の場合に、図１４〜図１６の処理の進行に伴う各変数の変化を示す図である。 本発明の実施の形態３の画像処理装置として用い得るコンピュータを示す図である。 図１８のコンピュータで実施される画像処理方法を示すフロー図である。

実施の形態１．
図１は本発明の実施の形態１の撮像装置の構成を示す図である。
図示の撮像装置は、レンズ１０１、撮像素子１０２、前処理部１０３、歪み補正処理部１０４、後処理部１０５、及び映像信号出力端子１０６を備える。

レンズ１０１は、光学的な歪みを有するレンズ、例えば、広角レンズ、例えば半球状空間を撮影可能な魚眼レンズである。
撮像素子１０２は、ＣＣＤあるいはＣＭＯＳ画像センサからなり、レンズ１０１により結像された光学像を電気信号に変換し、撮像画像を表すアナログ画像信号Ｄ１０２を出力する。

前処理部１０３は、撮像素子１０２からのアナログ画像信号Ｄ１０２に対して、ＣＤＳ（相関二重サンプリング）処理、ゲイン処理、Ａ／Ｄ変換処理等を行い、撮像画像を表すデジタル画像信号Ｄ１０３を出力する。
撮像素子１０２と前処理部１０３とで、被写体からの光を受けることで、被写体を撮像し撮像画像を表すデジタル画像信号Ｄ１０３を出力する撮像部が構成されている。

歪み補正処理部１０４は、前処理部１０３からのデジタル画像信号Ｄ１０３で表される撮像画像の一部を成す歪み補正対象領域の画像に対して、後述するように高周波数成分を強調しながら歪み補正処理を行う。

後処理部１０５は、歪み補正処理部１０４で歪み補正することで得られた画像に対して、出力装置（表示装置等）に応じたＹＣｂＣｒ変換、カラーマトリクス変換、階調変換等の処理を行い、出力に適した映像信号Ｄ１０５を映像信号出力端子１０６から出力する。

歪み補正処理部１０４の一例として用い得る本実施の形態の画像処理装置を図２に示す。
図２に示される画像処理装置は、歪み補正対象領域指定手段１と、参照画像生成手段２と、歪み補正手段３と、画像結合手段４と、高周波数成分画像生成手段５と、スケーリング率算出手段６と、画素ゲイン算出手段７と、調整手段８と、加算手段９と、画素指定手段１０とを備える。

歪み補正対象領域指定手段１は、前処理部１０３から出力されるデジタル画像信号Ｄ１０３で表される撮像画像中の歪み補正対象領域Ａｔｃを示す情報を、参照画像生成手段２に供給する。

歪み補正対象領域Ａｔｃの異なる例が図３（Ａ）及び図４（Ａ）に示されている。
図３（Ａ）の例では、魚眼レンズにより撮影された画像のうち、特定の方位、例えば、光軸方向を中心とする領域を切り出して、画像歪みを補正する場合を想定しており、光軸方向を中心とする領域が歪み補正対象領域Ａｔｃとなっている。
図４（Ａ）の例では、魚眼レンズにより撮影された画像のうち、特定の方向、例えば光軸方向を中心とする円弧状に切出して、水平方向の広い範囲にわたり撮影された、いわゆるパノラマ画像を生成する場合を想定しており、光軸方向を中心とする円弧状領域が歪み補正対象領域Ａｔｃとなっている。

以下では、デジタル画像信号Ｄ１０３で表される撮像画像を同じ符号「Ｄ１０３」で示す。

参照画像生成手段２は、図３（Ａ）に示される歪み補正対象領域Ａｔｃを、実線で示すように分割して、分割領域Ｒａ（１，１）、Ｒａ（２，１）、…Ｒａ（６，６）を形成し、或いは図４（Ａ）に示される歪み補正対象領域Ａｔｃを、実線で示すように分割して、分割領域Ｒｃ（１，１）、Ｒｃ（２，１）、…Ｒｃ（８，４）を形成する。なお、図面が煩雑となるのを避けるため、分割領域の一部についてのみ符号を付し、他については、符号を省略している。

参照画像生成手段２は、分割領域の各々とその周辺の領域とを含む領域、例えば矩形の領域の画像を撮像画像Ｄ１０３から順次切出して、参照画像Ｄ２として、歪み補正手段３に順次供給する。

歪み補正手段３は、各参照画像Ｄ２に含まれる分割領域に対して歪み補正を行って、歪み補正後分割領域画像Ｄ３を生成し、画像結合手段４に供給する。この処理は、参照画像生成手段２から順次供給される複数の参照画像Ｄ２に対して順次行われる。その結果、複数の歪み補正後分割領域画像Ｄ３が順次出力される。

例えば図３（Ａ）に示される分割領域Ｒａ（１，１）〜Ｒａ（６，６）の画像を含む複数の参照画像Ｄ２に対して順次処理が行われ、歪み補正後分割領域画像Ｄ３として、図３（Ｂ）に示される領域Ｒｂ（１，１）〜Ｒｂ（６，６）の画像が生成される。或いは、図４（Ａ）に示される分割領域Ｒｃ（１，１）〜Ｒｃ（８，４）の画像を含む複数の参照画像Ｄ２に対して順次処理が行われ、歪み補正後分割領域画像Ｄ３として、図４（Ｂ）に示される領域Ｒｄ（１，１）〜Ｒｄ（８，４）の画像が生成される。

図３（Ｂ）或いは図４（Ｂ）に示される領域の画像は、互いに同じサイズを有する矩形の領域の画像であり、垂直方向及び水平方向に整列したものである。
ここで、「矩形の領域」は、一対の辺が水平方向に延び、他の一対の辺が垂直方向に延びたものである。本願における他の「矩形の領域」も同じである。

画像結合手段４は、歪み補正手段３から順次出力される複数の歪み補正後分割領域画像Ｄ３を結合し、歪み補正対象領域Ａｔｃの歪み補正後画像Ｄ４を生成し、高周波数成分画像生成手段５及び加算手段９へ供給する。図３（Ｂ）の例では、歪み補正後画像Ｄ４は、領域Ｒｂ（１，１）〜Ｒｂ（６，６）の画像から成り、図４（Ｂ）の例では、歪み補正後画像Ｄ４は、領域Ｒｄ（１，１）〜Ｒｄ（８，４）の画像から成る。

歪み補正後画像Ｄ４における、歪み補正後分割領域画像Ｄ３の位置を座標（ｓ,ｔ）で表し、該位置にある歪み補正後分割領域画像を符号Ｄ３（ｓ,ｔ）で表す。但し、ｓは１〜Ｓのいずれか、ｔは１からＴのいずれかである。ここでＳはｓの最大値であり、Ｔはｔの最大値である。図３（Ｂ）の例では、Ｒｂ（１,１）〜Ｒｂ（６,６）がＤ３（ｓ,ｔ）に相当し、Ｓ及びＴともに６である。図４（Ｂ）の例では、Ｒｄ（１,１）〜Ｒｂ（８,４）がＤ３（ｓ,ｔ）に相当し、Ｓは８、Ｔは４である。

また、歪み補正後分割領域画像Ｄ３（ｓ,ｔ）に対応する参照画像を符号Ｄ２（ｓ,ｔ）で表す。但し、複数の歪み補正後分割領域画像のいずれであるかを強調する必要がないときは、単に符号Ｄ３で表す。同様に、複数の参照画像のいずれであるかを強調する必要がないときは、単に符号Ｄ２で表す。
歪み補正後画像Ｄ４における各画素の位置を座標（ｐ，ｑ）で表し、該位置にある画素及びその画素値をＤ４（ｐ，ｑ）で表す。

複数の歪み補正後分割領域画像Ｄ３（ｓ,ｔ）が結合されて歪み補正後画像Ｄ４となるが、歪み補正後画像Ｄ４の各画素Ｄ４（ｐ,ｑ）に対応する、歪み補正後分割領域画像Ｄ３（ｓ,ｔ）の画素は同じ座標値（ｐ,ｑ）で表される位置にあるものとして、符号ＰＤ３（ｐ,ｑ）で表し、該画素の画素値も同じ符号ＰＤ３（ｐ,ｑ）で表す。

高周波数成分画像生成手段５は、歪み補正後画像Ｄ４から高周波数成分を取り出して高周波数成分画像Ｄ５を生成し、調整手段８に供給する。高周波数成分の取り出しは、例えば、水平方向及び垂直方向のそれぞれについてハイパスフィルタ処理を行うことで可能である。代わりに、解像感を向上させる超解像の処理等を行っても良い。高周波数成分画像Ｄ５のうち、歪み補正後画像Ｄ４の画素Ｄ４（ｐ，ｑ）に対応する画素（対応する位置の画素）及びその画素値を符号Ｄ５（ｐ，ｑ）で表す。

スケーリング率算出手段６は、歪み補正後分割領域画像Ｄ３（ｓ，ｔ）のサイズと、該歪み補正後分割領域画像Ｄ３（ｓ，ｔ）に対応する参照画像Ｄ２内の分割領域のサイズとから、歪み補正後分割領域画像Ｄ３（ｓ，ｔ）の各々についての分割領域スケーリング率ＭＲ（ｓ，ｔ）を算出し、画素ゲイン算出手段７へ供給する。
なお、本願において、画像或いは画像領域に関する「サイズ」は、当該画像或いは領域に含まれる画素の数、当該画像或いは領域のある方向、例えば水平方向又は垂直方向の画素数で表される。

画素ゲイン算出手段７は、スケーリング率算出手段６で複数の歪み補正後分割領域画像Ｄ３（ｓ，ｔ）についてそれぞれ算出された分割領域スケーリング率ＭＲ（ｓ，ｔ）に基づいて、歪み補正後画像Ｄ４の各画素Ｄ４（ｐ,ｑ）についてのゲイン（画素ゲイン）Ｇｐ（ｐ，ｑ）を算出し、調整手段８に出力する。

調整手段８は、高周波数成分画像Ｄ５と、画素ゲインＧｐとを乗算し、調整後高周波数成分画像Ｄ８を生成し、加算手段９へ供給する。この処理は、画素毎に行われる。即ち、調整手段８は、歪み補正後画像Ｄ４の各画素Ｄ４（ｐ,ｑ）についてのゲインＧｐ（ｐ，ｑ）を、高周波数成分画像Ｄ５の、対応する画素の画素値Ｄ５（ｐ，ｑ）に乗算し、調整後高周波数成分画像Ｄ８の、対応する画素の画素値Ｄ８(ｐ,ｑ)を生成して、加算手段９へ供給する。

加算手段９は、歪み補正後画像Ｄ４と調整後高周波数成分画像Ｄ８とを加算し、加算結果を最終的な歪み補正後画像Ｄ１０４として出力する。この処理も画素毎に行われる。即ち、加算手段９は、歪み補正後画像Ｄ４の各画素の画素値Ｄ４（ｐ，ｑ）と、調整後高周波数成分画像Ｄ８の、対応する画素の画素値Ｄ８（ｐ，ｑ）を加算し、加算結果を最終的な歪み補正後画像Ｄ１０４の対応する画素の画素値Ｄ１０４（ｐ，ｑ）として出力する。

画素指定手段１０は、歪み補正後画像Ｄ４中の画素Ｄ４（ｐ,ｑ）を順次注目画素として指定し、指定した注目画素の位置（ｐ，ｑ）を示す情報Ｄ１０を、画像結合手段４、高周波数成分画像生成手段５、画素ゲイン算出手段７、調整手段８及び加算手段９に通知する。画像結合手段４、高周波数成分画像生成手段５、画素ゲイン算出手段７、調整手段８及び加算手段９は、画素指定手段１０による注目画素の位置の指定に従って、対応する画素についての処理を行う。

即ち、画像結合手段４は、歪み補正後画像Ｄ４の、指定された画素の画素値Ｄ４（ｐ,ｑ）を出力する。高周波数成分画像生成手段５は、高周波数成分画像Ｄ５の、指定された画素の画素値Ｄ５（ｐ,ｑ）を出力する。画素ゲイン算出手段７は、指定された画素Ｄ４（ｐ,ｑ）についての画素ゲインＧｐ（ｐ,ｑ）を算出して出力する。調整手段８は、高周波数成分画像生成手段５から出力された、指定された画素の画素値Ｄ５（ｐ,ｑ）に、画素ゲイン算出手段７から出力された、指定された画素についての画素ゲインＧｐ（ｐ,ｑ）を乗算して出力する。加算手段９は、画像結合手段４から出力された、指定された画素についての画素値Ｄ４（ｐ,ｑ）に、調整手段８から出力された画素値Ｄ８（ｐ,ｑ）を加算して、指定された画素についての画素値Ｄ１０４（ｐ,ｑ）として出力する。

以下に歪み補正対象領域指定手段１、参照画像生成手段２、歪み補正手段３、スケーリング率算出手段６、及び画素ゲイン算出手段７の動作をより詳細に説明する。

歪み補正対象領域指定手段１は、上記のように、撮像画像Ｄ１０３中の歪み補正対象領域Ａｔｃを示す情報を参照画像生成手段２に供給するのみならず、歪み補正対象領域Ａｔｃの光学的な歪み特性Ｃｈｃを示す情報を、参照画像生成手段２に供給する。歪み特性Ｃｈｃを示す情報を同じ符号「Ｃｈｃ」で示す。

歪み補正対象領域指定手段１はまた、歪み補正後画像Ｄ１０４のサイズを、ユーザーからの指定或いは撮像装置の出力画像のサイズの制約に基づいて決定し、決定したサイズＳｃａを示す情報を、歪み補正手段３に供給する。サイズＳｃａを表す情報を同じ符号「Ｓｃａ」で示す。

歪み補正対象領域指定手段１はまた、歪み補正処理方式Ｓｄｃを決定し、決定した歪み補正処理方式Ｓｄｃを示す情報を歪み補正手段３に供給する。

参照画像生成手段２は、図５に示すように、部分領域画像切出し手段２１と、特性情報生成手段２２とを備える。
部分領域画像切出し手段２１は、上記のように、歪み補正対象領域Ａｔｃを、例えば図３（Ａ）或いは図４（Ａ）に示すように分割して、分割領域Ｒａ（１，１）〜Ｒａ（６，６）或いはＲｃ（１，１）〜Ｒｃ（８，４）を形成する。分割領域の一つ、即ち図４（Ａ）の分割領域Ｒｃ（８，４）が図６（Ａ）に符号Ａｂで示されている。図６（Ｂ）は分割領域Ａｂに対応する歪み補正後分割領域画像Ｄ３を示す。図６（Ａ）及び（Ｂ）で領域Ａｂ及び画像Ｄ３の４隅の「○」、「△」、「□」、「×」、及びこれらを結ぶ矢印付きの線は、歪み補正前の画像における位置と、歪み補正後の画像における位置の対応関係を示す。

なお、図３（Ｂ）の例では、歪み補正後画像の矩形の領域Ｒｂ（１，１）〜Ｒｂ（６，６）が互いに同じになるように、図３（Ａ）の分割領域Ｒａ（１，１）〜Ｒａ（６，６）の形状及びサイズが決められている。同様に、図４（Ｂ）の例では、歪み補正後画像の矩形の領域Ｒｄ（１，１）〜Ｒｄ（８，４）が互いに同じになるように、図４（Ａ）の分割領域Ｒｃ（１，１）〜Ｒｃ（８，４）の形状及びサイズが決められている。しかし、この点は必須ではなく、歪み補正後画像の矩形の領域として、互いに異なる形状（辺の長さの比）又はサイズのものが含まれるように、歪み補正対象領域Ａｔｃを分割しても良い。

歪み補正手段３における、歪み補正後分割領域画像Ｄ３（図３（Ｂ）の領域Ｒｂ（１，１）〜Ｒｂ（６，６）のいずれか、或いは図４（Ｂ）の領域Ｒｄ（１，１）〜Ｒｄ（８，４）のいずれかの画像）の生成には、歪み補正前の撮像画像Ｄ１０３のうちの、対応する分割領域（図３（Ａ）の領域Ｒａ（１，１）〜Ｒａ（６，６）のいずれか、或いは図４（Ａ）の領域Ｒｃ（１，１）〜Ｒｃ（８，４）のいずれか）の画素のみならず、その周辺の領域内の画素の位置及び画素値の情報も必要である。

図６（Ａ）には、分割領域Ａｂの周辺の領域が符号Ａｄで示されている。
参照画像生成手段２の部分領域画像切出し手段２１は、撮像画像Ｄ１０３から、分割領域Ａｂ及びその周辺の領域Ａｄを含む矩形の領域、例えば分割領域Ａｂ及びその周辺の領域Ａｄから成る領域に外接する矩形の領域Ａｅの画像を切出して、部分領域画像Ｄ２１として出力する。
分割領域Ａｂ及びその周辺の領域Ａｄから成る領域に外接する矩形の領域Ａｅとは、分割領域Ａｂ及びその周辺の領域Ａｄから成る領域の全体をその内部に含み、かつ水平方向の寸法及び垂直方向の寸法がともに最小である矩形の領域である。

部分領域画像Ｄ２１は、上記のように、各分割領域Ａｂとその周辺の領域Ａｄを含む矩形の領域であるので、互いに隣り合う歪み補正後分割領域（例えば、図４（Ｂ）の領域Ｒｄ（１，１）と領域Ｒｄ（２，１））に対応する部分領域画像Ｄ２１は、互いに重なり合う。

部分領域画像切出し手段２１は、それぞれ歪み補正後分割領域画像Ｄ３（ｓ,ｔ）に対応する部分領域画像Ｄ２１（ｓ，ｔ）を順次生成する。参照画像生成手段２は、部分領域画像Ｄ２１（ｓ,ｔ）を参照画像Ｄ２（ｓ，ｔ）として、歪み補正手段３に順次供給する。

参照画像生成手段２の特性情報生成手段２２は、歪み補正対象領域指定手段１から供給された光学的な歪み特性Ｃｈｃを示す情報から、各参照画像Ｄ２（ｓ,ｔ）、特にそのうちの分割領域Ａｂ及びその周辺の領域Ａｄの歪み補正特性Ｃｈｄを示す情報を生成する。参照画像生成手段２は、各参照画像Ｄ２（ｓ,ｔ）とともに、当該参照画像Ｄ２（ｓ,ｔ）の歪み補正特性Ｃｈｄを示す情報を、歪み補正手段３に供給する。

参照画像生成手段２の部分領域画像切出し手段２１は、さらに、各参照画像Ｄ２（図６（Ａ））内の分割領域ＡｂのサイズＳｚを示す情報を生成して、スケーリング率算出手段６に供給する。
分割領域ＡｂのサイズＳｚとして、例えば分割領域Ａｂに外接する矩形の領域Ａｃのサイズを用いる。
分割領域Ａｂに外接する矩形の領域Ａｃとは、分割領域Ａｂの全体をその内部に含み、かつ水平方向の寸法及び垂直方向の寸法がともに最小である矩形の領域である。

参照画像生成手段２は、歪み補正対象領域Ａｔｃの分割に当たり、歪み補正手段３に一度に供給される参照画像Ｄ２のデータ量が過大とならないように、即ち、一度に補正処理可能なように分割領域Ａｂのサイズを決定する。この決定に当たり、参照画像生成手段２は、撮像画像Ｄ１０３の光学的な歪み特性Ｃｈｃをも考慮に入れ、歪み補正手段３で一度に補正処理可能な歪み補正前の画像のサイズを算出し、算出結果に基づいて、分割領域Ａｂのサイズを決定する。

歪み補正手段３は、参照画像生成手段２から供給された各参照画像Ｄ２（ｓ,ｔ）のうちの分割領域Ａｂの画像を歪み補正して、対応する歪み補正後分割領域画像Ｄ３（ｓ，ｔ）を生成する。この歪み補正に当たっては、分割領域Ａｂ及びその周辺の領域Ａｄ内の画素を利用する。

また、歪み補正手段３は、歪み補正後分割領域画像Ｄ３のサイズの決定に当たり、歪み補正後画像Ｄ１０４のサイズを表す情報Ｓｃａを参照する。即ち、このサイズＳｃａに基づいて、各歪み補正後分割領域画像Ｄ３のサイズを決める。

歪み補正手段３は、画像メモリ３１、画素値補間手段３２、及び歪み補正パラメータ出力手段３３を備える。

図７（Ａ）〜（Ｃ）は、歪み補正手段３における歪み補正後分割領域画像Ｄ３の生成、特にその座標変換の一例を模式的に示した図である。

図７（Ａ）〜（Ｃ）では、撮像画像Ｄ１０３が樽型の歪みを持つレンズで撮影されることで形成されたものである場合を想定している。また、一例として、図７（Ａ）に示される、歪み補正対象領域Ａｔｃの一部（太線で示す）を成す分割領域Ａｂを含む参照画像Ｄ２が参照画像生成手段２から歪み補正手段３へ入力される場合を想定している。

図７（Ｃ）は、歪み補正後分割領域画像Ｄ３における各画素の位置を「●」で示す。図７（Ｂ）は、歪み補正後分割領域画像Ｄ３の各画素の位置（図７（Ｃ）の「●」印）に対応する、参照画像Ｄ２内の位置（補間位置）を「●」印で示すとともに、参照画像Ｄ２の各画素の位置を「□」印で示す。

歪み補正後分割領域画像Ｄ３の生成のため、歪み補正手段３はまず、参照画像Ｄ２の全体を画像メモリ３１に保持する。画像メモリ３１に書き込まれた参照画像Ｄ２は、図７（Ｂ）に示すように、歪みを有する画像である。
画素値補間手段３２は、画像メモリ３１から、参照画像Ｄ２の画素のうち、歪み補正後分割領域画像Ｄ３の各画素の位置（図７（Ｃ）の「●」印）に対応する位置（図７（Ｂ）の「●」印）の近傍に位置する画素（□）の値を読み出し、読み出した画素の値を用いた補間処理によって歪み補正後分割領域画像Ｄ３の画素（●）の値を求める。

歪み補正後分割領域画像Ｄ３の各画素の位置に対応する参照画像Ｄ２内の位置を求める処理は、歪み補正パラメータ出力手段３３において、座標変換により行なわれる。歪み補正後分割領域画像Ｄ３の各画素、例えば図７（Ｃ）の画素Ｑｃの位置の座標（ｐ，ｑ）に対応する参照画像Ｄ２の位置（補間位置）、例えば図７（Ｂ）の補間位置Ｑｂの座標（ｈ，ｖ）は、画像の歪み率から算出される。

補間位置が算出されたら、算出された補間位置と、その近傍の画素、例えば画素Ｐ１１、Ｐ１２、Ｐ１３、Ｐ１４の位置を示す情報が、歪み補正パラメータ出力手段３３から補間位置情報として供給される。近傍の画素の位置を示す情報は、補間位置に対する相対位置を示す情報であっても良い。歪み補正パラメータ出力手段３３における補間位置の算出方法については後述する。

画素値補間手段３２は、歪み補正パラメータ出力手段３３からの補間位置情報に基づき、画像メモリ３１に蓄えられている各画素のうち、補間位置情報で近傍の画素として示されている画素の画素値を読み出して、補間を行う。

補間の方法としては、最近傍補間法（ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）、線形補間法（ｂｉ−ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）、バイキュービック法（ｂｉ−ｃｕｂｉｃ ｉｎｔｅｒｐｏｌａｔｉｏｎ）などを用いることができる。

ここでは、線形補間法を用いる場合について説明する。線形補間法は、周知の演算手法であり、図７（Ｂ）の「●」で示された補間位置に対して、近傍の４つの画素の値から補間後の画素値を線形近似により求める。図７（Ｂ）に示したように、歪み補正後分割領域画像Ｄ３の画素Ｑｃ（その座標が（ｐ，ｑ）で示される）に対応する補間位置Ｑｂ（その座標が（ｈ，ｖ）で示される）のすぐ左上の画素（Ｑｂよりも左でかつ上に位置し、最も近い画素）の値をＰ１１、すぐ右上の画素（Ｑｂよりも右でかつ上に位置し、最も近い画素）の値をＰ２１、すぐ左下の画素（Ｑｂよりも左でかつ下に位置し、最も近い画素）の値をＰ１２、すぐ右下の画素（Ｑｂよりも右でかつ下に位置し、最も近い画素）の値をＰ２２とすると、補間後の画素Ｑｃの値は、次式（１）により求められる。

ただし、参照画像Ｄ２において、隣接する画素間の距離が水平方向及び垂直方向ともに、「１」で表されており、ｍ及びｎは、補間位置のすぐ左上の画素（Ｑｂの場合はＰ１１）から補間位置までの水平方向及び垂直方向の距離を表しており、従って、上記補間位置（ｈ，ｖ）の、その近傍の画素に対する相対位置を表す。ｈ及びｖがともに整数部分と小数部分とを含む実数であるとし、参照画像Ｄ２の画素（□）については、ｈ及びｖがともに整数であるとすると、ｍはｈの小数部分を、ｎはｖの小数部分を表している。

図７（Ｂ）及び（Ｃ）に示すように補間処理を行うことで得られた値を、歪み補正後分割領域画像Ｄ３の各画素の画素値とすることで、歪み補正後分割領域画像Ｄ３が生成される。上記の補間処理はローパスフィルタ処理と同様の効果を生ずるため、歪み補正前画像である参照画像Ｄ２と比べて高周波数成分が少なくなっている。

歪み補正パラメータ出力手段３３は、補間位置情報出力手段３３ａを備え、参照画像Ｄ２に対する歪み補正処理方式Ｓｄｃから決定される歪み補正パラメータを出力する。ここで、歪み補正パラメータは、補間位置情報出力手段３３ａから出力される補間位置情報（補間位置パラメータ）である。

補間位置情報出力手段３３ａは、歪み補正後分割領域画像Ｄ３の座標（ｐ，ｑ）に対応する参照画像Ｄ２の座標（ｈ，ｖ）を出力する。
対応する座標（ｈ，ｖ）は、歪み補正対象領域指定手段１にて決定される、参照画像Ｄ２に対する歪み補正処理方式Ｓｄｃに基づいて決定されるものである。具体的には、座標（ｈ，ｖ）は、撮像画像Ｄ１０３における参照画像Ｄ２の位置と、参照画像Ｄ２の歪み補正特性Ｃｈｄに依存する撮像画像Ｄ１０３の光軸中心からの距離に応じた歪み率と、歪み補正処理方式Ｓｄｃとから演算により求めることも可能である。

撮像画像Ｄ１０３の光学的な歪み特性Ｃｈｃは、ルックアップテーブル（ＬＵＴ）の形で保持しておくこともできる。ＬＵＴを用いた場合には、撮像画像Ｄ１０３の光軸中からの距離に応じた歪み率の演算を行う必要がなくなるので、補間位置情報出力手段３３ａにおける処理の簡素化を図ることができる。

スケーリング率算出手段６は、歪み補正手段３から出力される歪み補正後分割領域画像Ｄ３（ｓ，ｔ）の各々について、分割領域スケーリング率ＭＲ（ｓ，ｔ）を算出する。
各歪み補正後分割領域画像Ｄ３（ｓ，ｔ）についての分割領域スケーリング率ＭＲ（ｓ，ｔ）は、当該歪み補正後分割領域画像Ｄ３（ｓ，ｔ）のサイズと、当該歪み補正後分割領域画像Ｄ３（ｓ，ｔ）に対応する参照画像Ｄ２（ｓ,ｔ）内の分割領域Ａｂのサイズ、例えば、該分割領域Ａｂに外接する矩形の領域Ａｃのサイズとから算出される。
歪み補正後分割領域画像Ｄ３（ｓ，ｔ）のサイズは、歪み補正手段３から通知される。上記矩形の領域Ａｃのサイズは、参照画像生成手段２から通知される。

分割領域スケーリング率ＭＲ（ｓ，ｔ）の算出においては、矩形の領域(上記の例のＡｃ)の面積(領域内に含まれる画素の総数）と、歪み補正後分割領域画像Ｄ３の面積の比を取る等の方法が考えられる。また、面積の代わりに、矩形の領域の水平画素数に対する歪み補正後分割領域画像Ｄ３の水平画素数の比（水平スケーリング率）と、矩形の領域の垂直画素数に対する歪み補正後分割領域画像Ｄ３の垂直画素数の比（垂直スケーリング率）の大きい方の値を、分割領域スケーリング率ＭＲとして算出することとしても良い。こうすることで、簡単な計算で分割領域スケーリング率を算出することができ、スケーリング率算出手段６の構成を簡略にすることができる。

上記のように、画素ゲイン算出手段７は、スケーリング率算出手段６で算出された複数の歪み補正後分割領域画像Ｄ３（ｓ，ｔ）についての分割領域スケーリング率ＭＲ（ｓ，ｔ）に基づいて、歪み補正後画像Ｄ４の画素Ｄ４（ｐ,ｑ）についてのゲイン（画素ゲイン）Ｇｐ（ｐ，ｑ）を算出し、調整手段８に出力する。

歪み補正後画像Ｄ４の各画素Ｄ４（ｐ,ｑ）の画素ゲインＧｐ（ｐ，ｑ）は、当該画素に対応する画素ＰＤ３（ｐ,ｑ）を含む歪み補正後分割領域画像Ｄ３(ｓ，ｔ)についての分割領域スケーリング率ＭＲ(ｓ，ｔ)と、当該歪み補正後分割領域画像Ｄ３(ｓ，ｔ)に隣接する１又は２以上の歪み補正後分割領域画像Ｄ３（ｓ＋ｉ，ｔ＋ｔｊ）（但し、ｉ＝−１、０又は１、ｊ＝−１、０又は１）についての分割領域スケーリング率ＭＲ（ｓ＋ｉ，ｔ＋ｊ）とから求められる。

画素ゲイン算出手段７は、分割領域ゲイン算出手段７１と、ゲイン補間手段７２とを備える。
分割領域ゲイン算出手段７１は、スケーリング率算出手段６で算出された各歪み補正後分割領域画像Ｄ３（ｓ，ｔ）の分割領域スケーリング率ＭＲ（ｓ，ｔ）に基づいて、各歪み補正後分割領域画像Ｄ３（ｓ，ｔ）についてのゲイン（分割領域ゲイン）Ｇｒａ（ｓ，ｔ）を算出し、ゲイン補間手段７２に出力する。

各歪み補正後分割領域画像Ｄ３（ｓ，ｔ）についてのゲイン（分割領域ゲイン）Ｇｒａ（ｓ，ｔ）は、当該歪み補正後分割領域画像Ｄ３(ｓ，ｔ)についての分割領域スケーリング率ＭＲ(ｓ,ｔ)から求められる。

各歪み補正後分割領域画像Ｄ３（ｓ，ｔ）についてのゲイン（分割領域ゲイン）Ｇｒａ（ｓ，ｔ）は、例えば、歪み補正後画像Ｄ４の形成に用いられる全ての歪み補正後分割領域画像Ｄ３のうち、分割領域スケーリング率ＭＲが最大である歪み補正後分割領域画像Ｄ３（ｓ，ｔ）についての分割領域ゲインＧｒａ（ｓ，ｔ）が１となり、分割領域スケーリング率ＭＲが最小である歪み補正後分割領域画像Ｄ３（ｓ，ｔ）についての分割領域ゲインＧｒａ（ｓ，ｔ）が１未満の正の値となるように定められる。

分割領域ゲインＧｒａ（ｓ，ｔ）を上記の条件を満たすように生成する方法の一例を以下に示す。
まず、例えば、分割領域スケーリング率ＭＲ（ｓ，ｔ）を下記の式（２）により、対数値ＭＲＬ（ｓ，ｔ）に変換する。

次に、歪み補正後画像Ｄ４の生成に用いられる全ての歪み補正後分割領域画像Ｄ３（ｓ，ｔ）（但し、ｓ＝１〜Ｓ、ｔ＝１〜Ｔ）についての対数値ＭＲＬ（ｓ，ｔ）の最大値ＭＲＬｍａｘを求める。

次に、ＭＲＬｍａｘを用いて、下記の式（３）により係数Ｌｋ（ｓ，ｔ）を算出する。

最後に、各歪み補正後分割領域画像Ｄ３（ｓ，ｔ）についての分割領域ゲインＧｒａ（ｓ，ｔ）を下記の式（４）により決定する。

式（２）のＫａは、ＭＲＬｍａｘが２５５となるように定められる。このように定める場合、例えば、ＭＲｍａｘ＝１６であれば、Ｋａ＝１／４となる。ＭＲｍａｘは、歪み補正手段３に実装されている画像メモリ３１のサイズなどに依存して決まる。
式（４）のＫｂの値は、画質を見ながら事前に決定される。
ＭＲｍａｘ＝６４、Ｋａ＝１／６である場合の分割領域スケーリング率ＭＲに対する分割領域ゲインＧｒａの値の変化を図８に示す。

上記の最大値ＭＲＬｍａｘの算出、及び分割領域ゲインＧｒ（ｓ，ｔ）の算出は、歪み補正後画像Ｄ４を構成するすべての歪み補正後分割領域画像Ｄ３についての処理が終わってから行われる。

上記した分割領域ゲインＧｒａ（ｓ,ｔ）を生成する方法についての説明は、分割領域スケーリング率ＭＲ（ｓ，ｔ）が１から１２８程度である場合を想定しているが、分割領域スケーリング率ＭＲ（ｓ,ｔ）が１未満の値となる場合もある。分割領域スケーリング率ＭＲ（ｓ，ｔ）に１未満の値が含まれる場合には、全ての分割領域スケーリング率ＭＲ（ｓ，ｔ）を補正することで補正後の分割領域スケーリング率ＣＭＲ（ｓ,ｔ）の最小値が１となるようにし、補正後の分割領域スケーリング率ＣＭＲ（ｓ,ｔ）を用いて上記と同様の処理を行うこととすれば良い。このように、分割領域スケーリング率ＭＲ（ｓ，ｔ）は、画像の拡大を示すものに限定されるものではなく、画像の縮小を示すものであっても良い。

ゲイン補間手段７２は、分割領域ゲイン算出手段７１から出力される複数の分割領域ゲインＧｒａ（ｓ，ｔ）に基づいて、歪み補正後画像Ｄ４の各画素についてのゲイン（画素ゲイン）Ｇｐ（ｐ，ｑ）を算出し、調整手段８に出力する。

各画素の画素ゲインＧｐ（ｐ，ｑ）の算出に当たり、ゲイン補間手段７２は、複数の分割領域ゲインＧｒａ（ｓ，ｔ）が、それぞれ対応する歪み補正後分割領域画像Ｄ３（ｓ，ｔ）の中心位置におけるゲインであるものとみなして、各画素の画素ゲインを線形補間により算出する。

各画素の画素ゲインＧｐ（ｐ，ｑ）の算出のための線形補間には、当該画素（注目画素）Ｄ４（ｐ,ｑ）に対応する画素ＰＤ３（ｐ,ｑ）を含む歪み補正後分割領域画像Ｄ３(ｓ,ｔ)の分割領域ゲインＧｒａ(ｓ,ｔ)と、隣接する歪み補正後分割領域画像Ｄ３(ｓ＋ｉ,ｔ＋ｊ)（ｉは−１、０又は１、ｊは−１、０又は１）の分割領域ゲインＧｒａ(ｓ＋ｉ,ｔ＋ｊ)を用いる。

例えば歪み補正後画像Ｄ４の注目画素Ｄ４（ｐ,ｑ）に対応する、歪み補正後分割領域画像Ｄ３の画素ＰＤ３（ｐ,ｑ）が、図９に示すように、歪み補正後分割領域画像Ｄ３（ｓ，ｔ）の中心（符号ｃ４で示す位置）よりも上方でかつ左側に位置する場合、歪み補正後分割領域画像Ｄ３（ｓ，ｔ）に対し、上側で隣接する歪み補正後分割領域画像Ｄ３（ｓ，ｔ−１）の分割領域ゲインＧｒａ（ｓ，ｔ−１）と、歪み補正後分割領域画像Ｄ３（ｓ，ｔ）に対し、左側で隣接する歪み補正後分割領域画像Ｄ３（ｓ−１，ｔ）の分割領域ゲインＧｒａ（ｓ−１，ｔ）と、歪み補正後分割領域画像Ｄ３（ｓ，ｔ）に対し、左上側で隣接する歪み補正後分割領域画像Ｄ３（ｓ−１，ｔ−１）の分割領域ゲインＧｒａ（ｓ−１，ｔ−１）と、歪み補正後分割領域画像Ｄ３（ｓ，ｔ）の分割領域ゲインＧｒａ（ｓ，ｔ）とを用い、それぞれの歪み補正後分割領域画像の中心ｃ１、ｃ２、ｃ３、ｃ４からの距離ｄ１、ｄ２、ｄ３、ｄ４に応じた重みｗ１、ｗ２、ｗ３、ｗ４を付けて平均を取ることで、注目画素Ｄ４（ｐ，ｑ）についての画素ゲインＧｐ（ｐ,ｑ）を算出する。重みｗ１、ｗ２、ｗ３、ｗ４は距離ｄ１、ｄ２、ｄ３、ｄ４が大きいほど小さくされる。

具体的には、距離ｄ１、ｄ２、ｄ３、ｄ４の水平方向成分と、垂直方向成分を用いて、上記の式（１）と同様の演算式で、画素ゲインＧｐ（ｐ，ｑ）を求めることができる。水平方向成分としては、式（１）のｍに相当する値を用い、垂直方向成分としては、式（１）のｎに相当する値を用いれば良い。

以下、本実施の形態の画像処理装置（歪み補正処理部１０４）の作用、効果について説明する。
魚眼レンズにより撮影された画像の歪みを補正する例として、図３（Ａ）及び（Ｂ）に示すように処理する場合、図４（Ａ）及び（Ｂ）に示すように処理する場合がある。

図３（Ａ）及び（Ｂ）の例では、歪み補正後画像の領域Ｒｂ（１，１）〜Ｒｂ（６，６）は全て同一サイズであるが、補正前画像の領域Ｒａ（１，１）〜Ｒａ（６，６）は同一ではなく、魚眼画像の光軸中心から同一距離となる領域のサイズが等しく、光軸中心に近付くほど、領域のサイズが大きくなっている。例えば、
「領域Ｒａ（１，１）のサイズ」＝「領域Ｒａ（６，６）のサイズ」
＜「領域Ｒａ（２，２）のサイズ」＝「領域Ｒａ（５，５）のサイズ」
＜「領域Ｒａ（３，３）のサイズ」＝「領域Ｒａ（４，４）のサイズ」
となっている。このことは、領域Ｒａ（１，１）〜Ｒａ（６，６）に対する歪み補正処理時の分割領域スケーリング率ＭＲが同一ではないことを意味しており、魚眼画像の周辺部の領域ほど分割領域スケーリング率ＭＲが大きくなっていることが分かる。

図４（Ａ）及び（Ｂ）の例では、補正後画像の領域Ｒｄ（１，１）〜Ｒｄ（８，４）は全て同一サイズであるが、補正前画像の領域Ｒｃ（１，１）〜Ｒｃ（８，４）は同一ではなく、魚眼画像の光軸中心から同一距離となる領域のサイズが等しく、光軸中心に近付くほど、領域のサイズが大きくなっている。例えば、
「領域Ｒｃ（１，１）のサイズ」＝「領域Ｒｃ（５，１）のサイズ」
＜「領域Ｒｃ（２，２）のサイズ」＝「領域Ｒｃ（６，２）のサイズ」
＜「領域Ｒｃ（３，３）のサイズ」＝「領域Ｒｃ（７，３）のサイズ」
＜「領域Ｒｃ（４，４）のサイズ」＝「領域Ｒｃ（８，４）のサイズ」
となっている。このことは、図３（Ａ）及び（Ｂ）の場合と同様に、領域Ｒｃ（１，１）〜Ｒｃ（８，４）に対する歪み補正処理時の分割領域スケーリング率ＭＲが同一ではないことを意味しているが、図３（Ａ）及び（Ｂ）の場合と異なり、魚眼画像の中心部の領域ほど、分割領域スケーリング率ＭＲが大きくなっていることが分かる。

図３（Ａ）及び（Ｂ）、並びに図４（Ａ）及び（Ｂ）のいずれの場合でも、分割領域スケーリング率ＭＲが大きい領域は、分割領域スケーリング率ＭＲが小さい領域と比べて、歪み補正後分割領域画像Ｄ３中の高周波数成分が少なくなっている。そのため、調整手段８等を用いた調整を行わなければ、画像結合手段４の出力である歪み補正後画像Ｄ４が、歪み補正後分割領域画像Ｄ３の領域毎で異なる画質を有するものとなる。

本実施の形態の画像処理装置では、スケーリング率算出手段６で算出した分割領域スケーリング率ＭＲが大きいほど大きくなるように定められた分割領域ゲインＧｒａを線形補間して、歪み補正後分割領域画像Ｄ３中の各画素の画素ゲインＧｐを算出し、高周波数成分画像生成手段５が出力する高周波数成分画像Ｄ５に乗算することで得られた調整後高周波数成分画像Ｄ８を、歪み補正後画像Ｄ４に加算する。

調整後高周波数成分画像Ｄ８は、分割領域スケーリング率ＭＲが比較的大きいために歪み補正後画像Ｄ４の高周波数成分が少なくなる箇所では比較的大きなゲインＧｐが掛けられ、分割領域スケーリング率ＭＲが比較的小さいために歪み補正後画像Ｄ４の高周波数成分が少なくならない箇所では比較的小さなゲインＧｐが掛けられたものである。従って、歪み補正後画像Ｄ４と調整後高周波数成分画像Ｄ８とを加算することで得られる歪み補正後画像Ｄ１０４では、歪み補正後分割領域画像Ｄ３の領域毎の解像感の違いが緩和され、より自然な画質となる効果がある。

本実施の形態の画像処理装置では、歪み補正処理時の光学的な歪み特性Ｃｈｃに基づく局所的な画像スケーリング率ではなく、歪み補正手段３における歪み補正処理の際の分割領域スケーリング率ＭＲから画素ゲインＧｐを算出し、算出した画素ゲインＧｐを用いて、調整後高周波数成分画像Ｄ８を生成する。従って、異なる歪み補正方式での処理、例えば、パノラマ画像の生成をする場合にも、高周波数成分の強調を適切に行うことができる。

また、分割領域スケーリング率ＭＲを対数値ＭＲＬに変換し、対数値に基づいて、歪み補正後分割領域画像Ｄ３についての分割領域ゲインＧｒａを決定しているので、分割領域スケーリング率ＭＲが最大値に近づくほど、分割領域ゲインＧｒａの増加が抑制されるという利点がある。また、式（３）におけるＫｂの値を調整することにより、分割領域スケーリング率が最小値に近くなる場合に、分割領域ゲインＧｒａを調整することも可能である。

なお、上記の例では、分割領域スケーリング率ＭＲを対数値ＭＲＬに変換し、対数値ＭＲＬに基づいて分割領域ゲインＧｒａを求めているが、本発明はこれに限定されず、分割領域スケーリング率ＭＲに対する分割領域ゲインＧｒａの変化を表す変換特性曲線が上に凸、即ち、分割領域スケーリング率ＭＲの増加に対する分割領域ゲインＧｒａの増加が、分割領域スケーリング率ＭＲが大きくなるに伴い、次第に小さくなるような変換であれば、他の方法を用いても良い。

実施の形態２．
図１０は本発明の実施の形態２の画像処理装置を示す図である。図１０において、参照画像生成手段２Ａとスケーリング率算出手段６Ａ以外の各手段の動作は実施の形態１の説明と同様である。

参照画像生成手段２Ａは、図１１に示すように、部分領域画像切出し手段２１と、特性情報生成手段２２と、画像縮小手段２３を有する。部分領域画像切出し手段２１及び特性情報生成手段２２は図２に示すものと同様のものである。

画像縮小手段２３は、部分領域画像切出し手段２１から出力された部分領域画像Ｄ２１を縮小して縮小後の部分領域画像Ｄ２３を生成する。参照画像生成手段２Ａは、縮小後の部分領域画像Ｄ２３を参照画像Ｄ２ｒとして歪み補正手段３に供給する。縮小後の部分領域画像Ｄ２３は、縮小前の部分領域画像Ｄ２１よりも画素数が少ない画像である。

縮小率が２である場合について、縮小前の部分領域画像Ｄ２１の一例と、これに対応する縮小後の部分領域画像Ｄ２３を図１２（Ａ）及び（Ｂ）を参照して説明する。
図１２（Ａ）において、符号Ａｂ、Ａｃ、Ａｄ、Ａｅはそれぞれ図６（Ａ）と同じ領域を示す。領域Ａｅの画像が縮小前の部分領域画像Ｄ２１として切出される。
図１２（Ｂ）において、領域Ａｂｒは、縮小前の部分領域画像Ｄ２１における分割領域Ａｂに対応する領域であり、縮小後の分割領域とも呼ばれる。縮小後の分割領域Ａｂｒの画像は、歪み補正後分割領域画像Ｄ３に対応する画像である。
縮小後の分割領域Ａｂｒに外接する矩形の領域（縮小後の矩形の領域）が符号Ａｃｒで示されている。また、縮小後の分割領域Ａｂｒの周辺の領域が符号Ａｄｒで示され、縮小後の分割領域Ａｂｒ及びその周辺の領域Ａｄｒを含む矩形の領域が符号Ａｅｒで示されている。

縮小を行うことで、部分領域画像Ｄ２１が歪み補正手段３で処理可能な画像のサイズの最大値ＳＺｍａｘを超過する場合にも、部分領域画像Ｄ２１を上記の最大値ＳＺｍａｘまで縮小してより小さい部分領域画像Ｄ２３を生成し、参照画像Ｄ２ｒとして歪み補正手段３に供給することができる。

画像縮小手段２３はまた、参照画像Ｄ２ｒ内の、縮小後の分割領域Ａｂｒのサイズを示す情報を、スケーリング率算出手段６Ａに供給する。
縮小後の分割領域Ａｂｒのサイズとして、例えば該領域Ａｂｒに外接する矩形の領域Ａｃｒのサイズを用いる。

スケーリング率算出手段６Ａは、歪み補正手段３の歪み補正後分割領域画像Ｄ３に対応する参照画像Ｄ２ｒ内の、縮小後の分割領域Ａｂｒのサイズ、例えば該領域Ａｂｒに外接する矩形の領域ＡｃｒのサイズＳｚｒと、歪み補正後分割領域画像Ｄ３のサイズとから分割領域スケーリング率ＭＲを算出する。

例えば、分割領域スケーリング率ＭＲは、参照画像生成手段２Ａから出力される参照画像Ｄ２ｒにおける上記の矩形の領域Ａｃｒの水平画素数に対する、歪み補正後分割領域画像Ｄ３の水平画素数の比（水平スケーリング率）と、上記の矩形の領域Ａｃｒの垂直画素数に対する、歪み補正後分割領域画像Ｄ３の垂直画素数の比（垂直スケーリング率）のうちの大きい方の値をスケーリング率ＭＲとする。

以下、画像縮小手段２３における画像の縮小についてさらに詳しく説明する。
画像縮小手段２３における画像の縮小は、例えば投影法により行われる。投影法による縮小においては、元の画像を縮小後の画像に投影した際の、縮小後の画像の各画素の位置における、元の画像の画素の占める面積の比率に応じて元の画像の画素値を加重加算することで、上記縮小後の画像の各画素の画素値を定める。

投影法における縮小後画像の各画素の画素値を決定する処理を、図１３（Ａ）、並びに図１４乃至図１６を参照して説明する。

図１３（Ａ）、並びに図１４〜図１６に示す処理は、１次元方向での縮小処理を示す。２次元方向で縮小を行うには、１次元方向の処理を、一方向例えば水平方向に行なった後、同じ処理を、他方向例えば垂直方向に行えばよい。

図１３（Ａ）、並びに図１４〜図１６に示す投影法による縮小では、縮小倍率ＲＲＴを、縮小前の画像の画素サイズ（各画素が占める範囲）ＷＮの、縮小後の画像の画素サイズＷＤに対する比で表し、縮小前の画像の開始位置に対する縮小後画像の開始位置（最初の画素の開始側端部の位置）を縮小オフセットＷＦで表し、縮小後の画像の各画素の画素値を、縮小前の画像Ｄ２の複数の画素の画素値を加重加算することで算出する。

以下の、縮小処理に関する説明では、縮小前の画像を入力画像と言い、縮小後の画像を出力画像と言う。さらにまた、入力画像の画素を入力画素と言い、出力画像の画素を出力画素と言う。
また、各画素の開始側の端部を左端と言い、開始側と反対側（終了側）の端部を右端と言う。

図１４〜図１６の処理では、出力画像の画素を、開始位置側から順に選択し、これとともに、入力画像の画素を、開始位置側から順に選択し、入力画像の選択されている画素のうち、出力画像の選択されている画素に投影されている面積の割合（１次元的には、画素の長さの割合）に、上記入力画像の選択されている画素の画素値を乗算した値を累積加算することで、出力画像の選択されている画素の画素値を求める。

このような処理を、出力画像のすべての画素について順に行う。
図１３（Ａ）において、入力画像の各画素には、開始位置側から順に番号Ｎａ＝０、１、２、…が付され、番号Ｎａの画素及びその画素値は符号Ｉ（Ｎａ）で表される。
同様に、出力画像の各画素には、開始位置側から順に番号Ｎｂ＝０、１、２、…が付され、番号Ｎｂの画素及びその画素値は、符号Ｍ（Ｎｂ）で表される。さらに縮小処理中の出力画素の画素値、即ち暫定画素値も同じ符号Ｍ（Ｎｂ）で表される。暫定画素値を単に画素値と言うことがある。

加重加算を行うに当たり、入力画像の画素の各々のうち、出力画像の各画素に投影される部分の割合を求めるため、出力画像の各画素の端部の位置と、入力画像の各画素の端部の位置を特定する。この位置は、入力画像の、開始側端部からの距離で表される。入力画像の各画素の端部の位置は、ＷＮの整数倍で表され、出力画像の各画素の端部の位置は、ＷＤの整数倍とＷＦとの和で表される。入力画像の画素の端部の位置と、出力画像の画素の端部の位置との関係から、上記加重加算のための加重係数が決定される。

以下の説明では、入力画像において、処理の対象となっている画素（処理中の画素）の右端位置Ｐａを、入力画素位置と言い、出力画像において、処理の対象になっている画素（処理中の画素）の右端位置Ｐｂを、出力画素位置と言う。
入力画素番号Ｎａ及び出力画素番号Ｎｂは、画像縮小手段２３内に設けられたカウンタ群２３ｃにより計数され、入力画素位置Ｐａ及び出力画素位置Ｐｂは、画像縮小手段２３内に設けられたレジスタ群２３ｒに保持される。
さらに、出力画像において、処理の対象となっている画素を注目出力画素とも言い、処理方向における出力画像の画素数（１次元方向に並ぶ画素の数）をＮＯＰで表す。水平方向に処理を行っているときは、水平方向が処理方向となり、垂直方向に処理を行っているときは垂直方向が処理方向となる。

以下、図１４〜図１６のフロー図の各ステップの処理について順に説明する。
ステップＳ１０１では、入力画素サイズＷＮが縮小オフセット（縮小画像の画素開始位置）ＷＦよりも大きいか否かの判断を行う。
Ｙｅｓであれば、ステップＳ１０２に、ＮｏであればステップＳ１０６に進む。

ステップＳ１０２では、入力画素番号Ｎａに０を設定し、出力画素番号Ｎｂに０を設定する。
ステップＳ１０３では、入力画素位置（処理中の入力画素の右端の位置）Ｐａに入力画素サイズＷＮを設定し、出力画素位置（処理中の出力画素の右端の位置）Ｐｂに縮小オフセットＷＦと出力画素サイズＷＤの和を設定する。

ステップＳ１０４では、最初の出力画素の画素値Ｍ（０）に（ＷＮ−ＷＦ）×Ｉ（０）を設定する。
ステップＳ１０５では、入力画素番号Ｎａをインクリメント（１だけ増加）する。
ステップＳ１０６では、入力画素番号Ｎａに１を設定し、出力画素番号Ｎｂに０を設定する。

ステップＳ１０７では、入力画素位置ＰａにＷＮ×２（入力画素サイズの２倍）を設定し、出力画素位置Ｐｂに縮小オフセットＷＦと出力画素サイズＷＤの和を設定する。

ステップＳ１０８では、最初の出力画素値Ｍ（０）に（ＷＮ×２−ＷＦ）×Ｉ（１）を設定する。
ステップＳ１０９では、入力画素番号Ｎａをインクリメントする。
ステップＳ１０５又はＳ１０９の次に、ステップＳ１１１に進む。

ステップＳ１１１では、Ｐａ＋ＷＮ（処理中の画素（Ｉ（０））の次の画素（Ｉ（１））の右端）が、Ｐｂ（処理中の画素、即ち注目出力画素（Ｍ（０））の右端）以上か否かの判断を行い、Ｙｅｓであれば、ステップＳ１１２に進み、Ｎｏであれば、ステップＳ１２１に進む。

ステップＳ１１２では、注目出力画素の画素値Ｍ（Ｎｂ）に（Ｐｂ−Ｐａ）×Ｉ（Ｎａ）を加算する。
ステップＳ１１３では、注目出力画素の画素値Ｍ（Ｎｂ）を出力画素サイズＷＤで除算して正規化し、さらに整数化して出力する。この除算及び正規化は、Ｉｎｔ｛Ｍ（Ｎｂ）／ＷＤ｝で示される。ここで、Ｉｎｔ｛Ａ｝は、Ａを整数化した値を示す。整数化は、例えば四捨五入によって行われる。
ステップＳ１１４では、出力画素番号Ｎｂをインクリメントする。

ステップＳ１１５では、Ｎｂが出力画素数ＮＯＰに等しいか否かの判定を行う。
Ｙｅｓであれば縮小処理を終了する。
Ｎｏであれば、ステップＳ１１６に進む。

ステップＳ１１６では、入力画素位置ＰａにＷＮを加算する。
ステップＳ１１７では、注目出力画素の画素値Ｍ（Ｎｂ）に（Ｐａ−Ｐｂ）×Ｉ（Ｎａ）を設定する。
ステップＳ１１８では、出力画素位置Ｐｂに出力画素サイズＷＤを加算する。
ステップＳ１１９では、入力画素番号Ｎａをインクリメントする。

ステップＳ１２１では、入力画素位置ＰａにＷＮを加算する。
ステップＳ１２２では、注目出力画素の画素値Ｍ（Ｎｂ）にＷＮ×Ｉ（Ｎａ）を加算する。
ステップＳ１２３では、入力画素番号Ｎａをインクリメントする。
ステップＳ１１９又はＳ１２３の次に、ステップＳ１１１に戻る。

ステップＳ１１５で、Ｎｂが出力画素数ＮＯＰに等しくなったと判断されるまで、ステップＳ１１１〜Ｓ１２３の処理が繰り返され、Ｎｂが出力画素数ＮＯＰに達したら、縮小処理が終了する。

以下、図１３（Ａ）の場合を例にとり、図１４〜図１６の各ステップの処理の際のＮａ、Ｎｂ、Ｐａ、Ｐｂ、Ｍ（Ｎｂ）の変化を、図１７を参照して説明する。
図１３（Ａ）の場合、ステップＳ１０１では、ＷＮ＞ＷＦであるので、Ｙｅｓとなり、ステップＳ１０２に進む。
ステップＳ１０２では、入力画素番号Ｎａに０が設定され、出力画素番号Ｎｂに０が設定される。

ステップＳ１０３では、入力画素位置ＰａにＷＮが設定され、出力画素位置Ｐｂに縮小オフセットＷＦと出力画素サイズＷＤの和が設定される。
この処理の結果、図１３（Ａ）の画素Ｉ（０）の右端（ＷＮ）がＰａとなり、画素Ｍ（０）の右端（ＷＦ＋ＷＤ）がＰｂとなる。

ステップＳ１０４では、最初の画素の画素値Ｍ（０）に（ＷＮ−ＷＦ）×Ｉ（０）が設定される。即ち、画素値Ｉ（０）に、画素Ｍ（０）の左端から画素Ｉ（０）の右端までの部分α１（＝ＷＮ−ＷＦ）の長さを掛けた値が、画素値Ｍ（０）に設定される。
ステップＳ１０５では、入力画素番号Ｎａがインクリメントされて１となる。

ステップＳ１０５の次にステップＳ１１１に進む。図１３（Ａ）の場合には、ステップＳ１０４を経由してステップＳ１１１に進むので、このときＰａは、ＷＮ、即ち、Ｉ（０）の右端位置を示し、従って、Ｐａ＋ＷＮは、Ｉ（１）の右端位置を示す。一方、Ｐｂは、ＷＦ＋ＷＤ、即ち、Ｍ（０）の右端位置を示す。
従って、Ｐａ＋ＷＮ＞Ｐｂは成り立たず、次のステップはステップＳ１２１となる。

ステップＳ１２１では、入力画素位置Ｐａ＝ＷＮにＷＮが加算され、その結果、ＰａはＷＮ×２（Ｉ（１）の右端位置）となる。

次にステップＳ１２２では、注目出力画素の画素値Ｍ（Ｎｂ）＝Ｍ（０）にＷＮ×Ｉ（Ｎａ）＝ＷＮ×Ｉ（１）が加算され、その結果、Ｍ（Ｎｂ）は、
Ｍ（Ｎｂ）＝Ｍ（０）
＝(ＷＮ−ＷＦ）×Ｉ（０）＋ＷＮ×Ｉ（１）
となる。
次にステップＳ１２３では、入力画素番号Ｎａがインクリメントされて２となる。

ステップＳ１２３の次にステップＳ１１１に戻る。
このとき、
Ｐａは、ＷＮ×２（Ｉ（１）右端）であり、
Ｐｂは、ＷＦ＋ＷＤ（Ｍ（０）右端）であるので、
Ｐａ＋ＷＮ≧ＷＦ＋ＷＤが成り立つ。
したがって、次にステップＳ１１２に進む。

ステップＳ１１２に進んだとき、
Ｐａは、ＷＮ×２（Ｉ（１）の右端）
Ｐｂは、ＷＦ＋ＷＤ（Ｍ（０）の右端）
Ｉ（Ｎａ）＝Ｉ（２）である。
従って、画素値Ｍ（０）に、（Ｐｂ−Ｐａ）×Ｉ（Ｎａ）として、（ＷＦ＋ＷＤ−ＷＮ×２）×Ｉ（２）が加算される。即ち、画素Ｉ（１）の右端（Ｉ（２）の左端）から画素Ｍ（０）の右端までの長さα２（＝ＷＦ＋ＷＤ−ＷＮ×２）に画素値Ｉ（２）を乗算した値が、画素値Ｍ（０）に加算される。
加算の結果、Ｍ（０）は、
（ＷＮ−ＷＦ）×Ｉ（０）＋ＷＮ×Ｉ（１）＋（ＷＦ＋ＷＤ−ＷＮ×２）×Ｉ（２）
となる。

ステップＳ１１３では、ステップＳ１１２で求められたＭ（Ｎｂ）＝Ｍ（０）を出力画素サイズＷＤで割り、さらに整数化することで得られた値Ｉｎｔ｛Ｍ（０）／ＷＤ｝が出力される。
ステップＳ１１４では、出力画素番号Ｎｂがインクリメントされて１となる。

ステップＳ１１５でＮｏであれば、ステップＳ１１６に進む。
ステップＳ１１６では、入力画素位置ＰａにＷＮが加算される。
Ｐａは、先のステップＳ１２１の処理で、ＷＮ×２となっているので、これにＷＮを加算することでＷＮ×３となる。

ステップＳ１１７では、
Ｍ（Ｎｂ）＝Ｍ（１）
Ｉ（Ｎａ）＝Ｉ（２）
Ｐａ＝ＷＮ×３、
Ｐｂ＝ＷＦ＋ＷＤとなっているので、
（Ｐａ−Ｐｂ）×Ｉ（Ｎａ）＝（ＷＮ×３−（ＷＦ＋ＷＤ））×（２）がＭ（１）に設定される。
即ち、Ｉ（２）に、図１３（Ａ）の長さα３（＝ＷＮ×３−（ＷＦ＋ＷＤ））を乗算したものがＭ（１）に設定される。

次にステップＳ１１８では、出力画素位置Ｐｂに出力画素サイズＷＤが加算される。これにより、ＰｂはＷＦ＋ＷＤ×２となる。
次にステップＳ１１９では、入力画素番号Ｎａがインクリメントされて３となる。
ステップＳ１１９の次にステップＳ１１１に戻り、以下同様の処理が繰り返される。

次に、図１３（Ｂ）の場合を例にとり、図１４〜図１６の各ステップの処理時のＮａ、Ｎｂ、Ｐａ、Ｐｂ、Ｍ（Ｎｂ）の変化を説明する。
図１３（Ｂ）の場合、ステップＳ１０１では、ＷＮ＞ＷＦが成り立たないので、Ｎｏとなり、ステップＳ１０６に進む。

ステップＳ１０６では、入力画素番号Ｎａに１が設定され、出力画素番号Ｎｂに０が設定される。
ステップＳ１０７では、入力画素位置ＰａにＷＮ×２が設定され、出力画素位置Ｐｂに縮小オフセットＷＦと出力画素サイズＷＤの和が設定される。
この処理の結果、図１３（Ｂ）の、画素Ｉ（１）の右端がＰａとなり、画素Ｍ（０）の右端（ＷＦ＋ＷＤ）がＰｂとなる。

ステップＳ１０８では、最初の出力画素の画素値Ｍ（０）に（ＷＮ×２−ＷＦ）×Ｉ（１）が設定される。即ち、図１３（Ｂ）の画素値Ｉ（１）に、画素Ｍ（０）の左端から画素Ｉ（１）の右端までの部分β１（＝ＷＮ×２−ＷＦ）の長さを掛けた値が、Ｍ（０）に設定される。

ステップＳ１０９では、入力画素番号Ｎａがインクリメントされて２となる。
ステップＳ１０９の次にステップＳ１１１に進む。

ステップＳ１１１以降の処理は、図１３（Ａ）の場合と同様である。
但し、ステップＳ１０２でＮａに０を設定する代わりに、ステップＳ１０６でＮａに１を設定し、ステップＳ１０３でＰａにＷＮを設定する代わりに、ステップＳ１０７でＰａにＷＮ×２を設定するので、その後のステップでも、Ｎａ、Ｐａの値が図１３（Ａ）の場合とは異なる。

実施の形態２では、参照画像生成手段２Ａにおいて縮小処理を行うようにしたことで、歪み補正手段３の内部の画像メモリ３１を削減することが可能となる。言い換えれば、画像メモリ３１の容量が同じであれば、歪み補正対象領域Ａｔｃの分割領域への分割に際し、分割領域Ａｂのサイズをより大きなものとすることができる。

縮小処理が行われた場合には、縮小処理により、画像に含まれる高周波数成分がより少なくなる。即ち、縮小後の部分領域画像Ｄ２３から生成される歪み補正後分割領域画像Ｄ３は、縮小率が大きいほど、高周波数成分がより少なくなっている。しかし、スケーリング率算出手段６Ａでは、縮小処理後の部分領域画像Ｄ２３内の対応領域（縮小処理前の分割領域Ａｂに対応する領域）Ａｂｒのサイズ、例えば該領域Ａｂｒに外接する矩形の領域Ａｃｒのサイズと、歪み補正手段３が出力する歪み補正後分割領域画像Ｄ３のサイズとから分割領域スケーリング率ＭＲを算出し、分割領域スケーリング率ＭＲに応じた画素ゲインＧｐを生成して、そのようにして生成した画素ゲインＧｐを用いて調整手段８で各画素の高周波数成分を強調するので、異なる縮小率での縮小処理が画質に与える影響の差異を緩和することが可能となる。

実施の形態３．
実施の形態１及び２では本発明に係る画像処理装置を説明したが、上記の画像処理装置で実施される画像処理方法もまた本発明の一部を成す。
また、実施の形態１及び２で説明した画像処理装置の構成要素の一部又は全部、或いは上記の画像処理方法で実施される処理の一部又は全部は、プロセッサを含む、プログラムされたコンピュータで実現することができる。従って、コンピュータに上記の画像処理装置又は画像処理方法の一部又は全部を実行させるためのプログラム、及びそのようなプログラムを記録した、コンピュータで読み取り可能な記録媒体もまた本発明の一部を成す。

以下、実施の形態１で説明した画像処理装置、或いは該画像処理装置で実施される画像処理方法をプログラムされたコンピュータで実現する場合の構成を説明する。

図１８は、実施の形態３の画像処理装置として用い得るコンピュータ、従って、実施の形態３の画像処理方法の実施に用いられるコンピュータを示す。図示のコンピュータは、プロセッサ２０１、プログラムメモリ２０２、データメモリ２０３、入力インターフェース２０４、出力インターフェース２０５、及びこれらを接続するバス２０６を含む。

プロセッサ２０１は、入力インターフェース２０４を介して入力される画像に対して、プログラムメモリ２０２に記憶されたプログラムに従って動作する。動作の過程で種々のデータをデータメモリ２０３に記憶させる。処理の結果生成された画像はインターフェース２０５を介して出力される。

図１９は、図１８の画像処理装置を用いて実施される、実施の形態３による画像処理方法のフローを表す図である。

歪み補正対象領域指定ステップＳＴ１では、前処理部１０３からの撮像画像Ｄ１０３中の歪み補正対象領域Ａｔｃを示す情報と、歪み補正対象領域Ａｔｃの光学的な歪み特性Ｃｈｃを示す情報と、歪み補正後画像Ｄ１０４のサイズＳｃａを示す情報を生成する。歪み補正対象領域指定ステップＳＴ１では、さらに、歪み補正処理方式Ｓｄｃを示す情報を生成する。
歪み補正対象領域指定ステップＳＴ１の処理は、実施の形態１に関して説明した、歪み補正対象領域指定手段１で行われる処理と同じである。

参照画像生成ステップＳＴ２では、歪み補正対象領域Ａｔｃの光学的な歪み特性Ｃｈｃを考慮に入れて、後述する歪み補正ステップＳＴ３で一度に補正処理可能な歪み補正前の参照画像のサイズを算出し、歪み補正対象領域Ａｔｃの画像から参照画像Ｄ２（ｓ，ｔ）を生成して出力する。
参照画像生成ステップＳＴ２ではさらに、歪み補正対象領域指定ステップＳＴ１で供給された光学的な歪み特性Ｃｈｃを示す情報から、各参照画像、特にその分割領域Ａｂ及びその周辺の領域Ａｄの歪み補正特性Ｃｈｄを示す情報を生成し、該情報を、各参照画像Ｄ２（ｓ，ｔ）とともに出力する。
参照画像生成ステップＳＴ２ではさらに、参照画像Ｄ２（ｓ，ｔ）内の分割領域に外接する矩形の領域のサイズを示す情報を生成して出力する。
参照画像生成ステップＳＴ２の処理は、実施の形態１に関して説明した、参照画像生成手段２で行われる処理と同じである。

歪み補正ステップＳＴ３では、参照画像生成ステップＳＴ２で生成された各参照画像Ｄ２（ｓ，ｔ）、特にその分割領域Ａｂ及びその周辺の領域Ａｄの歪み補正特性Ｃｈｄを示す情報及び歪み補正処理方式Ｓｄｃを示す情報を元に、当該参照画像Ｄ２（ｓ，ｔ）内の分割領域に対する歪み補正処理を行い、歪み補正後分割領域画像Ｄ３（ｓ，ｔ）を生成する。
歪み補正ステップＳＴ３の処理は、実施の形態１に関して説明した、歪み補正手段３で行われる処理と同じである。

スケーリング率算出ステップＳＴ６では、歪み補正後分割領域画像Ｄ３（ｓ，ｔ）のサイズと、当該歪み補正後分割領域画像Ｄ３（ｓ，ｔ）に対応する参照画像Ｄ２（ｓ，ｔ）内の分割領域のサイズとから、歪み補正後分割領域画像Ｄ３（ｓ，ｔ）の各々についての分割領域スケーリング率ＭＲ（ｓ，ｔ）を算出する。
スケーリング率算出ステップＳＴ６の処理は、実施の形態１に関して説明した、スケーリング率算出手段６で行われる処理と同じである。

判定ステップＳＴ１１では、歪み補正対象領域Ａｔｃのすべての参照画像Ｄ２（ｓ，ｔ）について処理が行われた否かを判定し、まだ処理が行われていない参照画像Ｄ２（ｓ，ｔ）があれば、ステップＳＴ２に戻り、ステップＳＴ２、ＳＴ３、ＳＴ６の処理が繰り返される。

画像結合ステップＳＴ４では、歪み補正ステップＳＴ３で生成された複数の歪み補正後分割領域画像Ｄ３（ｓ，ｔ）を結合し、歪み補正対象領域指定ステップＳＴ１で指定された歪み補正対象領域Ａｔｃの歪み補正後画像Ｄ４を生成する。
画像結合ステップＳＴ４の処理は、実施の形態１に関して説明した、画像結合手段４が行う処理と同じである。

高周波数成分画像生成ステップＳＴ５では、画像結合ステップＳＴ４で生成された歪み補正後画像Ｄ４がもつ高周波数成分を取り出して高周波数成分画像Ｄ５を生成する。
高周波数成分画像生成ステップＳＴ５の処理は、実施の形態１に関して説明した、高周波数成分画像生成手段５が行う処理と同じである。

画素指定ステップＳＴ１０では、歪み補正後画像Ｄ４中の画素を順次注目画素として指定し、指定した注目画素の位置（ｐ，ｑ）を示す情報Ｄ１０を生成する。
画素指定ステップＳＴ１０の処理は、実施の形態１に関して説明した、画素指定手段１０で行われる、注目画素を指定する処理と同じである。

画素ゲイン算出ステップＳＴ７では、画素指定ステップＳＴ１０で生成された情報Ｄ１０で指定されている画素（注目画素）についてのゲイン（画素ゲイン）Ｇｐ（ｐ，ｑ）を算出する。この算出は、スケーリング率算出ステップＳＴ６で算出された、複数の歪み補正後分割領域画像Ｄ３（ｓ，ｔ）のそれぞれの分割領域スケーリング率ＭＲ（ｓ，ｔ）に基づいて行われる。
画素ゲイン算出ステップＳＴ７の処理は、実施の形態１に関して説明した、画素ゲイン算出手段７が行う処理と同じである。

調整ステップＳＴ８では、高周波数成分画像Ｄ５と、画素ゲインＧｐとを乗算し、調整後高周波数成分画像Ｄ８を生成する。
調整ステップＳＴ８の処理は、実施の形態１に関して説明した、調整手段８が行う処理と同じである。

加算ステップＳＴ９では、歪み補正後画像Ｄ４と調整後高周波数成分画像Ｄ８とを加算し、加算結果を最終的な歪み補正後画像Ｄ１０４として出力する。
加算ステップＳＴ９の処理は、実施の形態１に関して説明した、加算手段９が行う処理と同じである。

判定ステップＳＴ１２では、歪み補正対象領域Ａｔｃ内のすべての画素について処理が行われた否かを判定し、まだ処理が行われていない画素があれば、ステップＳＴ１０に戻り、ステップＳＴ１０、ＳＴ７、ＳＴ８、ＳＴ９の処理が繰り返される。

ステップＳＴ１２で、歪み補正対象領域Ａｔｃのすべての画素について処理が行われたと判定されたら、当該歪み補正対象領域Ａｔｃに対する処理を終了する。

なお、上記の説明では、歪み補正対象領域Ａｔｃの全体についてステップＳＴ２、ＳＴ３、ＳＴ６の処理が終わってから、ステップＳＴ４、ＳＴ５の処理を行うものとしているが、１つ以上の参照画像について、ＳＴ２、ＳＴ３、ＳＴ６の処理が終わったら、処理が終わった参照画像について、ステップＳＴ４、ＳＴ５の処理を開始することとして良い。即ち、ＳＴ２、ＳＴ３、ＳＴ６の処理と、ステップＳＴ４、ＳＴ５の処理とを並行して行っても良い。

なお、図１８に示される一つのコンピュータで、画像処理装置のすべての処理を行うものとして説明したが、画像処理装置の各部に一つのコンピュータを設け、各コンピュータで各部の処理を行うこととしても良い。

実施の形態３の画像処理装置でも実施の形態１の画像処理装置と同様の効果が得られる。
実施の形態２の画像処理装置も実施の形態３で説明したのと同様に、プログラムされたコンピュータで実現することができる。

１ 歪み補正対象領域指定手段、 ２、２Ａ 参照画像生成手段、 ３ 歪み補正手段、 ４ 画像結合手段、 ５ 高周波数成分画像生成手段、 ６ スケーリング率算出手段、 ７ 画素ゲイン算出手段、 ８ 調整手段、 ９ 加算手段、 １０ 画素指定手段、 ２１ 部分領域画像切出し手段、 ２２ 特性情報生成手段、 ２３ 画像縮小手段、 ３１ 画像メモリ、 ３２ 画素値補間手段、 ３３ 歪み補正パラメータ出力手段、 ７１ 分割領域ゲイン算出手段、 ７２ ゲイン補間手段、 １０１ レンズ、 １０２ 撮像素子、 １０３ 前処理部、 １０４ 歪み補正処理部、１０５ 後処理部、 １０６ 映像信号出力端子。

本発明の画像処理装置は、
入力画像から歪み補正対象領域の一部を成す分割領域を含む複数の部分領域画像を順次切り出して、該部分領域画像又は該部分領域画像を縮小することで得られる画像を、前記分割領域又は前記分割領域に対応する縮小後の分割領域の画像を含む参照画像として順次出力する参照画像生成手段と、
それぞれ前記複数の参照画像に含まれる前記分割領域又は前記縮小後の分割領域の画像を歪み補正し、複数の歪み補正後分割領域画像を順次出力する歪み補正手段と、
前記複数の歪み補正後分割領域画像を結合して、前記歪み補正対象領域の歪み補正後画像を生成する画像結合手段と、
前記歪み補正後画像の高周波数成分画像を生成する高周波数成分画像生成手段と、
前記複数の歪み補正後分割領域画像の各々について、当該歪み補正後分割領域画像のサイズと、当該歪み補正後分割領域画像に対応する前記参照画像内の前記分割領域又は前記縮小後の分割領域のサイズとから、分割領域スケーリング率を算出するスケーリング率算出手段と、
前記歪み補正後画像を構成する複数の画素を順次注目画素として指定する画素指定手段と、
前記歪み補正後画像の前記注目画素に対応する画素を含む前記歪み補正後分割領域画像についての前記分割領域スケーリング率と、当該歪み補正後分割領域画像に隣接する１又は２以上の歪み補正後分割領域画像についての前記分割領域スケーリング率とから、前記注目画素についての画素ゲインを算出する画素ゲイン算出手段と、
前記高周波数成分画像の、前記注目画素に対応する画素の画素値に、前記注目画素の画素ゲインを乗算して調整後高周波数成分画像の前記注目画素に対応する画素の画素値を出力する調整手段と、
前記歪み補正後画像の前記注目画素の画素値と前記調整後高周波数成分画像の前記注目画素に対応する画素の画素値とを加算した結果を、前記歪み補正対象領域の歪み補正後画像の前記注目画素に対応する画素の画素値として出力する加算手段と
を有することを特徴とする。

Claims (14)

1. 入力画像から歪み補正対象領域の一部を成す分割領域を含む複数の部分領域画像を順次切り出して、該部分領域画像又は該部分領域画像を縮小することで得られる画像を、前記分割領域又は前記分割領域に対応する縮小後の分割領域の画像を含む参照画像として順次出力する参照画像生成手段と、
   それぞれ前記複数の参照画像に含まれる前記分割領域又は前記縮小後の分割領域の画像を歪み補正し、複数の歪み補正後分割領域画像を順次出力する歪み補正手段と、
   前記複数の歪み補正後分割領域画像を結合して、前記歪み補正対象領域の歪み補正後画像を生成する画像結合手段と、
   前記歪み補正後画像の高周波数成分画像を生成する高周波数成分画像生成手段と、
   前記複数の歪み補正後分割領域画像の各々について、当該歪み補正後分割領域画像のサイズと、当該歪み補正後分割画像に対応する前記参照画像内の前記分割領域又は前記縮小後の分割領域のサイズとから、分割領域スケーリング率を算出するスケーリング率算出手段と、
   前記歪み補正後画像を構成する複数の画素を順次注目画素として指定する画素指定手段と、
   前記歪み補正後画像の前記注目画素に対応する画素を含む前記歪み補正後分割領域画像についての前記分割領域スケーリング率と、当該歪み補正後分割領域画像に隣接する１又は２以上の歪み補正後分割領域画像についての前記分割領域スケーリング率とから、前記注目画素についての画素ゲインを算出する画素ゲイン算出手段と、
   前記高周波数成分画像の、前記注目画素に対応する画素の画素値に、前記注目画素の画素ゲインを乗算して調整後高周波数成分画像の前記注目画素に対応する画素の画素値を出力する調整手段と、
   前記歪み補正後画像の前記注目画素の画素値と前記調整後高周波数成分画像の前記注目画素に対応する画素の画素値とを加算した結果を、前記歪み補正対象領域の歪み補正後画像の前記注目画素に対応する画素の画素値として出力する加算手段と
   を有することを特徴とする画像処理装置。
2. 前記分割領域の各々が、前記歪み補正対象領域を分割することで形成された領域であることを特徴とする請求項１に記載の画像処理装置。
3. 前記分割領域を含む前記部分領域画像が、前記分割領域と、当該分割領域の周辺の領域とを含む領域の画像であることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記スケーリング率算出手段は、前記参照画像内の前記分割領域又は前記縮小後の分割領域に外接する矩形の領域のサイズと前記歪み補正後分割領域画像のサイズとから前記分割領域スケーリング率を算出する
   ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記スケーリング率算出手段は、前記複数の歪み補正後分割領域画像の各々について、
   前記矩形の領域の水平画素数に対する当該歪み補正後分割領域画像の水平画素数の比と、前記矩形の領域の垂直画素数に対する当該歪み補正後分割領域画像の垂直画素数の比のうちの大きい方の値を、前記分割領域スケーリング率として算出する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記画素ゲイン算出手段は、
   前記歪み補正後分割領域画像の各々についての前記分割領域スケーリング率に基づいて、当該歪み補正後分割領域画像についての分割領域ゲインを算出し、
   前記歪み補正後画像の前記注目画素に対応する画素を含む前記歪み補正後分割領域画像と、当該歪み補正後分割領域画像に隣接する前記１又は２以上の歪み補正後分割領域画像の前記分割領域ゲインから、当該注目画素の画素ゲインを算出する
   ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記画素ゲイン算出手段は、前記歪み補正後分割領域画像の各々についての前記分割領域スケーリング率が大きいほど大きくなる値を、当該歪み補正後分割領域画像についての前記分割領域ゲインとして算出する
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記画素ゲイン算出手段は、
   前記歪み補正後分割領域画像の各々について、
   前記分割領域スケーリング率が大きくなるほど、前記分割領域スケーリング率の増加に対する、当該歪み補正後分割領域画像についての前記分割領域ゲインの増加が少なくなるように、前記分割領域ゲインを定める
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記画素ゲイン算出手段は、
   前記歪み補正後分割領域画像の各々についての前記分割領域ゲインが、当該歪み補正後分割領域画像の中心位置のゲインであるとみて、
   前記歪み補正後画像の前記注目画素の画素ゲインを線形補間により算出する
   ことを特徴とする請求項６から８のいずれか１項に記載の画像処理装置。
10. 前記参照画像生成手段は、
    前記入力画像から、各々前記歪み補正対象領域の一部を成す分割領域を含む複数の部分領域画像を順次切り出す部分領域画像切出し手段と、
    前記部分領域画像切出し手段により切出された前記部分領域画像を縮小する画像縮小手段とを備え、
    前記画像縮小手段により縮小された画像を、前記縮小後の分割領域の画像を含む前記参照画像として出力する
    ことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 被写体を撮像し撮像画像を生成して出力する撮像部と、
    前記撮像部から出力された撮像画像を前記入力画像とする、請求項１から１０のいずれか１項に記載の画像処理装置とを備えた
    ことを特徴とする撮像装置。
12. 入力画像から歪み補正対象領域の一部を成す分割領域を含む複数の部分領域画像を順次切り出して、該部分領域画像又は該部分領域画像を縮小することで得られる画像を、前記分割領域又は前記分割領域に対応する縮小後の分割領域の画像を含む参照画像として順次出力する参照画像生成ステップと、
    それぞれ前記複数の参照画像に含まれる前記分割領域又は前記縮小後の分割領域の画像を歪み補正し、複数の歪み補正後分割領域画像を順次出力する歪み補正ステップと、
    前記複数の歪み補正後分割領域画像を結合して、前記歪み補正対象領域の歪み補正後画像を生成する画像結合ステップと、
    前記歪み補正後画像の高周波数成分画像を生成する高周波数成分画像生成ステップと、
    前記複数の歪み補正後分割領域画像の各々について、当該歪み補正後分割領域画像のサイズと、当該歪み補正後分割画像に対応する前記参照画像内の前記分割領域又は前記縮小後の分割領域のサイズとから、分割領域スケーリング率を算出するスケーリング率算出ステップと、
    前記歪み補正後画像を構成する複数の画素を順次注目画素として指定する画素指定ステップと、
    前記歪み補正後画像の前記注目画素に対応する画素を含む前記歪み補正後分割領域画像についての前記分割領域スケーリング率と、当該歪み補正後分割領域画像に隣接する１又は２以上の歪み補正後分割領域画像についての前記分割領域スケーリング率とから、前記注目画素についての画素ゲインを算出する画素ゲイン算出ステップと、
    前記高周波数成分画像の、前記注目画素に対応する画素の画素値に、前記注目画素の画素ゲインを乗算して調整後高周波数成分画像の前記注目画素に対応する画素の画素値を出力する調整ステップと、
    前記歪み補正後画像の前記注目画素の画素値と前記調整後高周波数成分画像の前記注目画素に対応する画素の画素値とを加算した結果を、前記歪み補正対象領域の歪み補正後画像の前記注目画素に対応する画素の画素値として出力する加算ステップと
    を有することを特徴とする画像処理方法。
13. 請求項１２の各ステップの処理をコンピュータに実行させるためのプログラム。
14. 請求項１３のプログラムを記録したコンピュータで読み取可能な記録媒体。

Images