JP4285575B2

JP4285575B2 - 画像処理装置とカメラシステム及び画像処理方法

Info

Publication number: JP4285575B2
Application number: JP2007318820A
Authority: JP
Inventors: 幸治青山; 徹倉田; 敦能勢; 仁孝和田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-12-10
Filing date: 2007-12-10
Publication date: 2009-06-24
Anticipated expiration: 2022-08-20
Also published as: JP2008092602A

Description

本発明はビデオカメラやデジタルスチルカメラ、銀塩カメラなどに用いられる画像処理装置とカメラシステム及び画像処理方法に関するものである。

従来より、ビデオカメラやデジタルスチルカメラ、あるいは銀塩カメラなどにより撮像された画像においては、撮像レンズの歪曲収差特性の影響により歪みが生じていた。ここで、高精度で高性能なレンズにおいて該歪みは目立たないが、コストが低いレンズを使用する場合や光学ズームレンズを使用する場合には、画歪みの影響を完全に回避することは難しい。

そこで、近年、該歪みを信号処理により補正する画像処理装置が提案されてきている。図３３は、従来における画像処理装置１００の構成を示す。図３３に示されるように従来の画像処理装置１００は、レンズ２００と撮像素子３００、データ変換部４００、信号処理部５００、画像メモリ６００、制御マイコン７００、同期信号生成部８００、補正データテーブル１０１０、記録部１１００、再生部１２００、及び表示系処理部１３００とを備える。

ここで、図３４のフローチャートを参照しつつ、上記画像処理装置１００の動作の概要を説明する。まずステップＳ１では、レンズ２００及び撮像素子３００を介して被写体１０１に対するアナログ画像信号を入力する。そして、ステップＳ２ではデータ変換部４００で該アナログ画像信号をデジタル画像信号に変換し、画像１０２を生成する。

次に、ステップＳ３において、信号処理部５００は補正データテーブル１０１０に格納された歪み補正ベクトル（以下、単に「補正ベクトル」ともいう）を用いて歪んだ画像１０２に対し補正演算を施す。そして、ステップＳ４において、制御マイコン７００は画像の入力を終了するか否かを判断し、終了しないと判断した場合にはステップＳ１へ戻る。

以上が、図３３に示された従来の画像処理装置１００の動作の概要であるが、以下において該動作を詳しく説明する。

レンズ２００は被写体１０１からの反射光を集光して撮像素子３００に写影する。また、撮像素子３００はCCDやCMOSセンサなどから構成され、写影された映像をキャプチャーして、アナログの画像信号を生成する。また、データ変換部４００は撮像素子３００から供給された該アナログ信号をデジタルの画像信号に変換し、画像１０２を生成する。一方、制御マイコン７００は外部のユーザインタフェースへの入力に応じて、所定の動作を命令するコマンドを発行する。

また、信号処理部５００は制御マイコン７００から供給されたコマンドに応じてデータ変換部４００により生成されたデジタル画像信号を画像メモリ６００へ格納する。そして、信号処理部５００は補正データテーブル１０１０に予め記録された全画素に対応する補正ベクトルを該テーブルから読み出し、該補正情報に応じて画像メモリ６００から必要な画像信号を取得した後、該画像信号につき２次元補間方式による幾何学補正を実行することによって、データ変換部４００から出力された画像１０２の歪みを補正する。

ここで、信号処理部５００において生成された画像信号は、表示系処理部１３００へ供給されることにより該画像がモニタに表示され、あるいは記録部１１００へ供給されることにより外部のテープやディスクあるいはメモリなどのメディア１４００に記録される。また、メディア１４００に記録された画像信号は、再生部１２００により再生され、該再生信号が表示系処理部１３００へ供給されることにより該再生画像がモニタに表示される。

なお、同期信号生成部８００は、外部から供給されるクロック信号ＣＬＫに応じて内部同期信号を生成し、撮像素子３００とデータ変換部４００及び信号処理部１０へ供給する。

図３５は、図３３に示された信号処理部５００の構成を示すブロック図である。図３５に示されるように、信号処理部５００はタイミング制御部５１０と補間位相・入力データ座標計算部５２０、データ取得部５３０、補間係数生成部５４０、データ補間計算部５５０、出力データバッファ５６０、及びデータ書き込み部５７０とを含む。

ここで、データ書き込み部５７０はデータ変換部４００から供給されたデジタル画像信号を書き込み制御信号Ｓｗと共に画像メモリ６００へ供給し、画像メモリ６００に対して該デジタル画像信号を格納させる。

また、タイミング制御部５１０は同期信号生成部８００から供給された内部同期信号に応じて制御タイミング信号Ｓｔを生成し、補間位相・入力データ座標計算部５２０は供給された制御タイミング信号Ｓｔに応じて出力画像の座標を計算し、得られた座標に対する補正ベクトルを要求する補正ベクトル要求信号Ｓａを補正データテーブル１０１０へ供給する。

補正データテーブル１０１０は、内蔵する該テーブルにより補正ベクトル要求信号Ｓａに応じた補正ベクトルを求め、データ取得部５３０及び補間係数生成部５４０へ供給する。データ取得部５３０は、読み出し制御信号Ｓｒを画像メモリ６００へ供給することにより、補正データテーブル１０１０から出力された補正ベクトルの整数成分に応じた補間用データを画像メモリ６００から取得する。なお、データ取得部５３０は取得した該補間用データをデータ補間計算部５５０へ供給する。

一方、補間係数生成部５４０は、補正データテーブル１０１０から供給された補正ベクトルの小数成分に応じて補間係数を生成し、データ補間計算部５５０へ供給する。そして、データ補間計算部５５０はデータ取得部５３０から供給された補間用データと、補間係数生成部５４０から供給された補間係数とに応じて補間演算を実行する。なお、該補間演算として２次元の補間演算が実行される。

以下、２次元補間による画像変換を図３６を参照しつつ説明する。図３６（ａ）は２次元補間の前後における画像を示し、図３６（ｂ）は図３６（ａ）の一部を拡大した図を示す。

ここで、例えば図３６（ａ）に示された点ａ１から点ａ４までを結ぶ矢印が出力画像であるとき、該出力画像を構成する点ａ１から点ａ４までに対応する画像１０２上の点は点Ａ１から点Ａ４までとする。従って、図３６（ａ）では点Ａ１から点Ａ４までを結ぶ矢印からなる原画像が、２次元補間により点ａ１から点ａ４までを結ぶ出力画像に変換された場合が示される。

このときｘ及びｙ方向においてそれぞれ２つ（２×２）の画像データを用いて出力画像の各点の画像を決定する場合には、例えば点Ａ１を囲む４つの格子点Ｋ００，Ｋ０１，Ｋ１０，Ｋ１１における画像データを用いて点ａ１の画像データが決定される。なお、点Ａ２から点Ａ４までについても同様な演算が実行されることにより、点ａ２から点ａ４の画像データが決定される。ここで、上記４つの格子点Ｋ００，Ｋ０１，Ｋ１０，Ｋ１１は、補正データテーブル１０１０から出力された補正座標に応じて決定される。

また、図３６（ｂ）に示されるように、格子点Ｋ００と格子点Ｋ１０との間、及び格子点Ｋ１０と格子点Ｋ１１との間の距離を共に１としたとき、ｘ方向及びｙ方向における点Ａ１の位置はそれぞれ小数パラメータＰｘ，Ｐｙにより特定される。このとき、点ａ１の画像データを算出する際に用いられる格子点Ｋ００，Ｋ０１，Ｋ１０，Ｋ１１の各画像データの重み付け（補間係数）Ｃｎ（ｎ＝１〜４）は、補正データテーブル１０１０から供給される上記補正ベクトルの小数成分、すなわち該小数パラメータＰｘ，Ｐｙにより決定される。

また、データ補間計算部５５０による補間演算の結果得られたデータは、出力データバッファ５６０に保持され、所定のタイミングで表示系処理部１３００又は記録部１１００へ出力される。

ここで、従来のデータ補間計算部５５０は図３７に示されるように構成される。なお、図３７においては、ｘ及びｙ方向にそれぞれ４つ並んだ（４×４）合計１６個からなる画像データを用いて出力画像の各点の画像が決定される場合の構成が示される。

図３７に示されるように、従来のデータ補間計算部５５０は４つのラインメモリ９００と、各ラインメモリ９００の出力ノードにそれぞれ４つずつ直列接続された合計１６個のレジスタ９０１と、各レジスタ９０１から出力された画像データと対応する補間係数ＣＨｎ（ｎ＝００〜３３）とをそれぞれ乗算する１６個の乗算回路９０２と、該１６個の乗算回路９０２により得られたデータを加算する加算回路９０４と、加算回路９０４により得られたデータを除算する除算回路９０５とを含む。

しかしながら、上記のような従来の画像処理装置によれば、リアルタイムに画像の歪みを補正することもできるが、全画素に対応する補正ベクトルを持つ必要があるために回路規模が大きくなり、コストがかかるという問題がある。

さらに、レンズ２００の位置を変動させる場合やレンズ交換を行う場合には、該レンズの歪曲収差特性の変化に応じて補正ベクトルを更新する必要があるため、コストの高い大容量の補正データテーブル１０１０が必要となる。

また、補正データテーブル１０１０の該更新は、ユーザインタフェースからの指示により制御マイコン７００により実行されるが、制御マイコン７００と補正データテーブル１０１０との間においては大きな通信容量が必要とされるため、制御マイコン７００によるリアルタイム処理が困難になるという問題もある。

なお、補正データテーブル１０１０を備える代わりに該補正ベクトルを逐次演算する方法もあるが、かかる方法ではいわゆるフレーム遅延のないリアルタイム処理が困難であり、リアルタイム処理を実現するためには大きなハードウェアが必要となってコストがかかるという問題がある。

また、上記のように２次元補間では、１点の画像データを補正するために画像が形成される２次元平面上の複数の点における画像データが用いられるが、質の高い画像を得るためには多数の点における画像データが必要となるため、画像メモリ６００に対するアクセス頻度が高くなり動作の高速化を図ることができないという問題がある。

また、２次元補間を実行する場合には、画像メモリ６００のポート幅が出力レートの数倍のバンド幅であることが必要となる。すなわち例えば、２次元補間において４画素の画像データから１画素の画像データを生成する場合には、該ポート幅は１画素のバンド幅の４倍であることが必要となる。

このように、２次元補間を実行する場合には該ポート幅に一定の条件が必要とされるため、高次タップ（「タップ」とは、画像処理の対象とされる一方向におけるデータ数を意味する）の高性能フィルタを用いることが非常に困難であることから、高画質な画像を得ることが難しいという問題がある。

本発明によれば、歪みを持った原画像の歪みを補正する画像処理装置であって、
直交する第１方向および第２方向のうち、第１方向における前記原画像を構成する画素点における歪み補正量を示す、第１補正量パラメータに基づいた画素点の前記原画像に対して、前記第１補正量パラメータに基づいた一次元の第１補間演算を施すことにより、前記原画像の第１方向における歪みを補正した第１補正画像データを生成する、第１補正手段と、前記第１補正画像データを記憶する記憶手段と、前記第１方向と直交する第２方向における前記原画像を構成する画素点における歪み補正量を示す、第２補正量パラメータに基づいて前記記憶手段から前記第１補正画像データを読み出し、当該読みだした第１補正画像データに対し、前記第２補正量パラメータに基づいた一次元の第２補間演算を施すことにより、前記原画像の第２方向における歪みを補正する第２補正手段とを備え、
前記第１補正手段と前記第２補正手段とが、前記記憶手段を介して並行して同時的に動作して、前記歪みを持った原画像に対して第１方向の歪み補正および第２方向の歪み補正を行うように構成されている、ことを特徴とする画像処理装置が提供される。

好ましくは、前記記憶手段は、前記第１補正手段で生成された前記第１補正画像データを順次記憶し、前記第２補正手段は、第２方向の最大歪み量に応じたライン数または行数の前記第１補正画像データが前記記憶手段に記憶されたとき、前記第２補正手段における前記処理を開始し、前記第１補正手段と前記第２補正手段とが前記記憶手段を介して並行して同時的に動作して、前記歪みを持った原画像に対して前記第１方向の歪み補正および前記第２方向の歪み補正を行うに当該画像処理装置が構成されている。

また好ましくは、前記第１補正量パラメータは、第１方向の画素点の位置を示す整数成分と、位相成分を示す少数成分とを含み、前記第１補正手段は、前記第１補正量パラメータの整数成分に基づいた画素点の前記原画像データに対して、前記第１補正量パラメータの少数成分に基づいた第１補間係数を用いて前記第１補間演算を行い、前記第２補正量パラメータは、第２方向の画素点の位置を示す整数成分と、位相成分を示す少数成分とを含み、前記第２補正手段は、前記第２補正量パラメータの整数成分に基づいた画素の前記原画像データを前記記憶手段から読み出し、当該読みだした原画像データに対して、前記第２補正量パラメータの少数成分に基づいた第２補間係数を用いて前記第２補間演算を行う。

また本発明によれば、歪みを持った原画像の歪みを補正する画像処理方法であって、
直交する第１方向および第２方向のうち、第１方向における前記原画像を構成する画素点における歪み補正量を示す、第１補正量パラメータに基づいた画素点の前記原画像に対し、前記第１補正量パラメータに基づいて一次元の第１補間演算を施すことにより、前記原画像の第１方向における歪みを補正した第１補正画像データを生成する、第１補正ステップと、前記第１補正画像データを記憶手段に記憶する記憶ステップと、前記第１方向と直交する第２方向における前記原画像を構成する画素点における歪み補正量を示す、予め求められた第２補正量パラメータに基づいて前記記憶手段から前記第１補正画像データを読み出し、当該読みだした第１補正画像データに対し前記第２補正量パラメータに基づいて一次元の第２補間演算を施すことにより、前記原画像の第２方向における歪みを補正する第２補正ステップとを有し、
前記第１補正ステップの処理と前記第２補正ステップの処理とが前記記憶ステップの処理を介在させて並行して同時的に行われ、前記歪みを持った原画像に対して第１方向の歪み補正および第２方向の歪み補正を行う、ことを特徴とする画像処理方法が提供される。

本発明によれば、歪みを持った原画像を補正する画像処理装置であって、
前記原画像を構成する水平方向の画素点の位置に応じて規定される水平方向の歪み補正量を示す、水平補正量パラメータに基づいた画素点の位置の前記原画像に対して、前記水平補正量パラメータに基づいて規定される水平補間係数を用いて一次元の水平補間演算を施すことにより、前記原画像の水平方向における歪みを補正した水平補正画像データを生成する、水平補正手段と、垂直方向の最大歪み量に応じたライン数の前記水平補正画像データを記憶可能な記憶手段と、垂直方向の最大歪み量に応じたライン数の前記水平補正画像データが前記記憶手段に記憶されたとき動作を開始し、前記原画像を構成する垂直方向の画素点の位置に応じて規定される垂直方向の歪み補正量を示す、垂直補正量パラメータに基づいた画素点の位置の前記水平補正画像データを前記記憶手段から読み出し、当該読みだした水平補正画像データに対して、前記垂直補正量パラメータに基づいて規定される垂直補間係数を用いて一次元の垂直補間演算を施すことにより、前記原画像の垂直方向における歪みを補正する、垂直補正手段とを備え、
前記水平補正手段と前記垂直補正手段とが前記記憶手段を介して並行して同時的に動作して、前記歪みを持った原画像に対して、水平方向の歪み補正および垂直方向の歪み補正を行うように構成されている、ことを特徴とする画像処理装置が提供される。

好ましくは、前記水平補正量パラメータは、水平方向の画素位置を示す整数成分と、位相成分を示す少数成分とを含み、前記水平補正手段は、前記水平補正量パラメータの整数成分に応じて前記画素点における前記原画像データを選択的に取得する第１データ取得手段と、前記水平補正量パラメータの小数成分に応じて前記水平補間係数を生成する第１補間係数生成手段と、前記第１データ取得手段により取得された前記原画像データと、前記第１補間係数生成手段により生成された前記水平補間係数とを用いて一次元の前記水平補間演算を実行する第１補間演算手段とを有し、
前記垂直補正量パラメータは、垂直方向の画素位置を示す整数成分と、位相成分を示す少数成分とを含み、前記垂直補正手段は、前記垂直補正量パラメータの整数成分に応じて前記記憶手段から前記垂直方向の画素点における前記水平補間画像データを選択的に取得する第２データ取得手段と、前記垂直補正量パラメータの小数成分に応じて前記垂直補間係数を生成する第２補間係数生成手段と、前記第２データ取得手段により取得された前記水平補間画像データと、前記第２補間係数生成手段により生成された前記垂直補間係数とを用いて一次元の前記第２補間演算を実行する第２補間演算手段とを有する。

また好ましくは、前記水平補正手段は、前記水平補間演算により画像データを求める画素点の水平方向における間隔を調整することによって、前記原画像を水平方向において伸縮すると共に、前記垂直補正手段は、前記垂直補間演算により画像データを求める画素点の垂直方向における間隔を調整することによって、前記原画像を垂直方向において伸縮する。

また本発明によれば、歪みを持った原画像を補正する画像処理装置であって、
前記原画像を構成する垂直方向の画素点における当該画素点の位置に応じて規定される垂直方向の歪みの補正量を示す、垂直補正量パラメータに応じた画素点の位置の前記原画像データに対して、前記垂直補正量パラメータで規定される垂直補間係数を用いて一次元の垂直補間演算を施すことにより、前記原画像の垂直方向における歪みを補正した垂直補正画像データを生成する、垂直補正手段と、水平方向の最大歪み量に応じた列数の前記垂直補正画像データを記憶可能な記憶手段と、水平方向の最大歪み量に応じた列数の前記垂直補正画像データが前記記憶手段に記憶されたとき動作を開始し、前記画像を構成する水平方向の画素点の位置に応じて規定される水平方向の歪みの補正量を示す、水平補正量パラメータに応じた画素点の位置の前記垂直補正画像データを前記記憶手段から読み出し、当該読みだした垂直補正画像データに対して前記水平補正量パラメータで規定される水平補間係数を用いて一次元の水平補間演算を施すことにより、前記原画像の水平方向における歪みを補正する、水平補正手段とを備え、
前記垂直補正手段と前記水平補正手段とが前記記憶手段を介して並行して同時的に動作して、前記歪みを持った原画像に対して、垂直方向の歪み補正および水平方向の歪み補正を行うように構成されている、ことを特徴とする画像処理装置が提供される。

好ましくは、前記垂直補正量パラメータは、垂直方向の画素位置を示す整数成分と、位相成分を示す少数成分とを含み、前記垂直補正手段は、前記垂直補正量パラメータの整数成分に応じて前記画素点における前記原画像データを選択的に取得する第１データ取得手段と、前記垂直補正量パラメータの小数成分に応じて前記垂直補間係数を生成する第１補間係数生成手段と、前記第１データ取得手段により取得された前記原画像データと、前記第１補間係数生成手段により生成された前記垂直補間係数とを用いて前記垂直補間演算を実行する第１補間演算手段とを有し、
前記水平補正量パラメータは、水平方向の画素位置を示す整数成分と、位相成分を示す少数成分とを含み、前記水平補正手段は、前記水平補正量パラメータの整数成分に応じて、前記記憶手段から、前記画素点における前記原画像データを選択的に取得する第２データ取得手段と、前記水平補正量パラメータの小数成分に応じて前記水平補間係数を生成する第２補間係数生成手段と、前記第２データ取得手段により取得された前記原画像データと、前記第２補間係数生成手段により生成された前記水平補間係数とを用いて前記水平補間演算を実行する第２補間演算手段とを有する。

好ましくは、前記垂直補正手段は、前記垂直補間演算により画像データを求める画素点の垂直方向における間隔を調整することによって、前記原画像を垂直方向において伸縮すると共に、前記水平補正手段は、前記水平補間演算により画像データを求める画素点の水平方向における間隔を調整することによって、前記原画像を水平方向において伸縮する。

また本発明によれば、被写体からの光を集光するレンズと、前記レンズからの射影光より撮像画像信号を生成する撮像素子と、前記撮像素子からの撮像画像信号をデジタル画像信号に変換するデータ変換回路と、前記データ変換回路からのデジタル画像信号を信号処理して記録画像データを生成する信号処理回路と、前記信号処理回路からの記録画像データを記録する記録部とを含むカメラシステムであって、前記信号処理回路は、レンズ歪みを持った原画像を補正する画像補正手段を具備する、ことを特徴とするカメラシステムが提供される。前記画像補正手段は、請求項７に記載の画像処理装置と実質的に同じ構成を持つ。

また本発明によれば、被写体からの光を集光するレンズと、前記レンズからの射影光より撮像画像信号を生成する撮像素子と、前記撮像素子からの撮像画像信号をデジタル画像信号に変換するデータ変換回路と、前記データ変換回路からのデジタル画像信号を信号処理して記録画像データを生成する信号処理回路と、前記信号処理回路からの記録画像データを記録する記録部とを含むカメラシステムであって、前記信号処理回路は、レンズ歪みを持った原画像を補正する画像補正手段を具備する、ことを特徴とするカメラシステムが提供される。前記画像補正手段は、請求項１０に記載の画像処理装置と実質的に同じ構成を持つ。

本発明によれば、請求項７〜９に記載の発明に対応する画像処理方法が提供される。

本発明によれば、請求項１０〜１２に記載の発明に対応する画像処理方法が提供される。

本発明に係る画像処理装置とカメラシステム及び画像処理方法によれば、低コストでリアルタイムに原画像の歪みを補正することができるため、高品質な画像を容易に得ることができる。

以下において、本発明の実施の形態を図面を参照しつつ詳しく説明する。なお、図中同一符号は同一または相当部分を示す。

図１は、本発明の実施の形態に係る画像処理システムの構成を示すブロック図である。図１に示されるように、本発明の実施の形態に係る画像処理システムは画像処理装置２と前処理装置３及びメディア１４００を備え、画像処理装置２はレンズ２００と撮像素子３００、データ変換部４００、信号処理部１０、画像メモリ７、制御マイコン８、補正パラメータデコーダ９、同期信号生成部８００、記録部１１００、再生部１２００、及び表示系処理部１３００とを含み、前処理装置３は補正パラメータエンコーダ５と補正パラメータ導出部６とを含む。

ここで、レンズ２００は被写体１０１からの反射光を集光して撮像素子３００に写影するものであって、単焦点のレンズにとどまらずズーム機能を有するものであっても良い。また、撮像素子３００はCCDやCMOSセンサなどから構成され、同期信号生成部８００から供給された内部同期信号に応じて、写影された映像をキャプチャーしアナログ画像信号を生成する。

データ変換部４００は撮像素子３００に接続され、同期信号生成部８００から供給された内部同期信号に応じて、撮像素子３００により生成されたアナログ画像信号をデジタル画像信号に変換し画像１０２を生成する。

信号処理部１０は、制御マイコン８とデータ変換部４００、画像メモリ７、補正パラメータデコーダ９及び同期信号生成部８００に接続される。そして、信号処理部１０は、制御マイコン８から供給されたコマンドに応じて、データ変換部４００から供給されるデジタル画像信号を画像メモリ７へ格納すると共に、補正パラメータデコーダ９から供給される補正量パラメータによって格納された該画像信号に対する補正処理を実行する。そして、信号処理部１０は、該補正により得られた画像信号を表示系処理部１３００及び記録部１１００へ供給する。なお、信号処理部１０については後に詳しく説明する。

一方、補正パラメータ導出部６は、レンズ２００の歪曲収差に関するデータなどから、全画素の各位置に応じた補正量ベクトルを予め計算する。また、補正パラメータエンコーダ５は補正パラメータ導出部６及びユーザインタフェースに接続され、ユーザインタフェースから供給された制御信号Ｌｎ，Ｌｗに応じて、補正パラメータ導出部６から供給された補正量ベクトルを圧縮（エンコード）し、該圧縮データＰｃを補正パラメータデコーダ９へ供給する。

なお、補正パラメータ導出部６における演算及び上記エンコードは、共に非常に負荷の大きな演算となるが、別途パーソナルコンピュータ等を用いて計算すればよく、画像処理装置２によるリアルタイム処理に影響を与えるものでない。

また、本発明の実施の形態に係る画像処理システムでは、前処理装置３は必須の構成要素とされず、画像処理装置２の外から上記圧縮データＰｃが補正パラメータデコーダ９へ供給される種々の実施の形態が同様に考えられる。

また、制御マイコン８はユーザインタフェースからの制御信号に応じて、所定の動作を命令するコマンド等を信号処理部１０へ出力すると共に、レンズ２００の位置情報などを補正パラメータデコーダ９へ供給する。

補正パラメータデコーダ９は、補正パラメータエンコーダ５と制御マイコン８及び信号処理部１０に接続される。そして、補正パラメータデコーダ９は、制御マイコン８から供給された情報等に応じて、補正パラメータエンコーダ５から供給されたエンコードされた圧縮データＰｃを各画素に対応した補正量パラメータに伸長（デコード）し、該補正量パラメータを信号処理部１０へ供給する。

ここで、補正パラメータデコーダ９は、信号処理部１０において実行される補間方式によらず、上記補正量パラメータを信号処理部１０へ供給する。なお、上記補正パラメータエンコーダ５及び補正パラメータデコーダ９については、後に詳しく説明する。

また、記録部１１００は信号処理部１０に接続され、信号処理部１０により生成された画像信号をテープやフレキシブルディスク、DVD（デジタル多用途ディスク）、ハードディスク、メモリなどのメディア（記録媒体）１４００に記録する。なお、信号処理部１０により生成された画像信号は、インターネットやワイヤレス通信等を用いてメディア１４００に記録されるようにすることもできる。

また、再生部１２００はメディア１４００に接続され、メディア１４００に格納された画像信号を再生して表示系処理部１３００へ供給する。表示系処理部１３００は信号処理部１０及び再生部１２００に接続され、信号処理部１０又は再生部１２００から供給された画像信号をモニタに表示する。

なお、同期信号生成部８００は外部から供給されたクロック信号ＣＬＫに応じて内部同期信号を生成し、撮像素子３００とデータ変換部４００及び信号処理部１０へ供給する。

図２は、図１に示された信号処理部１０の構成を示すブロック図である。図２に示されるように、信号処理部１０は水平１次元補間部５０１と垂直１次元補間部５０２とを含む。なお、画像メモリ７は水平処理用ＦＩＦＯメモリからなる画像メモリ６０１と垂直処理用ラインバッファからなる画像メモリ６０２とを含み、補正パラメータデコーダ９はｘ方向用の画歪補正パラメータデコーダ３３とｙ方向用の画歪補正パラメータデコーダ３４とを含む。

なお、画像メモリ６０２は垂直方向の歪み補正を実現するために必要な最小限のライン数分に渡るデータを格納できるだけの容量を有するものとされるが、この点については後述する。また、通常上記容量は、出力データバッファ３２に供給される出力同期信号の周波数に応じて決定される。

そして、水平１次元補間部５０１はデータ書き込み部２１と演算制御部２２、補間位相・入力データ座標計算部２３、データ取得部２４、補間係数生成部２５、及びデータ補間計算部２６を含み、垂直１次元補間部５０２は演算制御部２７と補間位相・入力データ座標計算部２８、データ取得部２９、補間係数生成部３０、データ補間計算部３１、及び出力データバッファ３２を含む。

ここで、データ書き込み部２１はデータ変換部４００に接続され、演算制御部２２は同期信号生成部８００に接続される。また、補間位相・入力データ座標計算部２３は演算制御部２２及び制御マイコン８に接続され、データ取得部２４は補間位相・入力データ座標計算部２３と画像メモリ６０１及び画歪補正パラメータデコーダ３３に接続される。また、補間係数生成部２５は画歪補正パラメータデコーダ３３に接続され、データ補間計算部２６はデータ取得部２４及び補間係数生成部２５に接続される。

なお、画像メモリ６０１はデータ書き込み部２１及びデータ取得部２４に接続され、画像メモリ６０２はデータ補間計算部２６及びデータ取得部２９に接続される。また、画歪補正パラメータデコーダ３３は補間位相・入力データ座標計算部２３及びデータ取得部２４に接続される。

一方、演算制御部２７は同期信号生成部８００に接続され、補間位相・入力データ座標計算部２８は演算制御部２７及び制御マイコン８に接続される。また、データ取得部２９は補間位相・入力データ座標計算部２８と画像メモリ６０２及び画歪補正パラメータデコーダ３４に接続され、補間係数生成部３０は画歪補正パラメータデコーダ３４に接続される。また、データ補間計算部３１はデータ取得部２９及び補間係数生成部３０に接続され、出力データバッファ３２はデータ補間計算部３１及び同期信号生成部８００に接続される。

なお、出力データバッファ３２の出力ノードは表示系処理部１３００及び記録部１１００に接続される。また、画歪補正パラメータデコーダ３４は補間位相・入力データ座標計算部２８に接続される。

上記のような構成を有する信号処理部１０では、まず水平１次元補間部５０１が水平方向（ｘ方向）の１次元補間演算を実行し、続いて垂直１次元補間部５０２が垂直方向（ｙ方向）の１次元補間演算を実行する。ここで、信号処理部１０による該演算の概要を、図３を参照しつつ説明する。なお、図３においては、ｘ及びｙ方向にそれぞれ４つ並んだ（４×４）合計１６個からなる画像データを用いて出力画像の各点の画像データが決定される場合が例示される。

そして、図３（ａ）はｘ方向の補正により、歪みを伴う原画像を構成する点Ｂ１〜Ｂ４に対応してそれぞれ点Ｂ１０〜Ｂ４０の画像データが算出されたことを示し、図３（ｂ）はさらにｙ方向の補正により、点Ｂ１０〜Ｂ４０に対応して点ｂ１〜ｂ４の画像データが算出されたことを示す。

より具体的には、例えば水平方向に連続した点Ｂ１を跨ぐ４つの格子点の画像データに所定の補間演算を施すことにより点Ｂ１０の画像データが算出され、同様に点Ｂ２〜Ｂ４に対応してそれぞれ点Ｂ２０〜Ｂ４０の画像データが算出される。

次に、図３（ｂ）に示されるように、例えば点Ｂ３０に対しては、垂直方向に連続した点Ｂ３０を跨ぐ破線内の４つの格子点（点Ｋ２０〜Ｋ２３）における画像データに所定の補間演算を施すことにより点ｂ３の画像データが算出される。また同様に、点Ｂ１０，Ｂ２０，Ｂ４０に対応してそれぞれ点ｂ１，ｂ２，ｂ４の画像データが算出される。

ここで、上記のような水平方向における１次元補間演算は、データ補間計算部２６に含まれる図４に示された水平処理回路４０により実現される。図４に示されるように水平処理回路４０は、ラインメモリ９００と、ラインメモリ９００の出力ノードに直列接続された４つのレジスタ９０１と、各レジスタ９０１から出力されたデータと対応する補間係数CHｋ（ｋ＝０〜３）とを乗算する４つの乗算回路９０２と、４つの乗算回路９０２により得られたデータを加算する加算回路９０３とを含む。

なお、上記のような垂直方向における１次元補間演算は後述する図２５に示された回路により実現されるが、これについては後に詳しく説明する。

次に、図２に示された信号処理部１０の動作の概要を説明する。まずデータ変換部４００から水平１次元補間部５０１へ入力された画像データは、データ書き込み部２１によって書き込み制御信号と共に画像メモリ６０１へ供給され、該書き込み制御信号に応じて画像メモリ６０１に書き込まれる。

このとき、データ取得部２４は読み出し制御信号を水平処理用の画像メモリ６０１へ供給することにより、画歪補正パラメータデコーダ３３から供給されるｘ方向用の補正量パラメータＸｍに応じて、画像メモリ６０１から水平方向に並ぶ画像データを補間用データとして取得する。

そして、データ補間計算部２６が補間係数生成部２５から供給された補間係数を用いて水平方向の１次元補間演算を実行し、垂直処理用の画像メモリ６０２が該演算結果を格納する。

次に、垂直１次元補間部５０２では、データ取得部２９が画歪補正パラメータデコーダ３４から供給されるｙ方向用の補正量パラメータＹｍに応じて、垂直処理用の画像メモリ６０２から垂直方向に並ぶ画像データを補間用データとして取得する。そして、データ補間計算部３１が補間係数生成部３０から供給された補間係数を用いて垂直方向の１次元補間演算を実行し、出力データバッファ３２は出力同期信号に応じて該演算結果を出力する。

なお、上記のように、水平１次元補間部５０１及び垂直１次元補間部５０２により実行される補間演算は１次元補間演算とされるため、キュービック補間のような４タップのフィルタ、又はより高次タップ数のフィルタを用いることができる。

すなわち、１次元補間演算は上記のように簡易な回路により実現されるため、２次元補間演算では難しい高次タップのフィルタによる演算が容易に実現できることから、より高画質な画像を得ることができる。なお、一般的な画素数変換回路などは１次元補間を実行する回路とされているため、既存の該回路を上記演算に共用しても良い。

また、上記においては、水平方向の１次元補間演算を実行した後に垂直方向の１次元補間演算を実行する実施の形態を説明したが、逆に垂直方向の１次元補間演算を先に実行し、その後に水平方向の1次元補間演算を実行するようにしても良い。なお、この場合にはデータ変換部４００から出力される画像データは垂直1次元補間部５０２へ入力され、垂直１次元補間演算が施された後に一旦水平処理用の画像メモリ６０１へ格納される。そして、このように画像メモリ６０１に格納された画像データは、さらに水平1次元補間部５０１により水平１次元補間演算が施され、完全に歪みが補正されて信号処理部１０の外部へ出力される。

また、上記における演算処理は１系統のデータに適用するのみならず、色信号（ＲＧＢ，ＹＵＶ）に対して系統毎に適用しても良い。さらに、動画像に対して該補間演算を施す場合には、垂直同期信号に同期して該演算を実行すれば良い。

ところで、ビデオカメラやデジタルスチルカメラなどの撮像装置では、いわゆる光学ズーム機能や手ぶれ補正機能が搭載されることが多い。ここで、上記機能により光学ズームを行うと、テレ（ズームアップ）かワイド（ズームダウン）かに応じてレンズの歪み特性が変動する。すなわち、一般的に、ワイドの向きにレンズ２００が移動すると画像に樽歪みが生じ、テレの向きにレンズ２００が移動すると画像に糸巻き型の歪みが発生する。

このとき、該光学ズームに応じた適切な補正ベクトルにより該画像が補正されないときは画質が劣化するため、補正パラメータデコーダ９はレンズの位置に応じた最適な補正量パラメータを選択するものとされる。

具体的には、補正パラメータデコーダ９は制御マイコン８からレンズ２００の位置を示す情報を受け取り、補正パラメータエンコーダ５から供給された圧縮データＰｃを該位置情報に応じて選択的にデコードする。

このように、図１に示された画像処理装置２によれば、レンズ２００の特性が変動するような場合においても、該特性に応じてデコードされた補正量パラメータのみが補間演算に使用されるため、該演算に使用されるデータ量を最小限に抑えることができ、その結果として製造コストを低減することができる。

次に、上記手ぶれ補正機能について説明する。一般的に、手ぶれによる画像の歪みを補正する方法には、アクティブプリズム方式やアクティブレンズ方式のようにレンズ等の位置を制御して該画像を光学的に補正する方法と、アクティブイメージエリア方式のように得られた画像信号に所定の処理を施すことにより電気的に補正する方法とがある。

ここで、光学的な補正方法はレンズ２００の位置に応じてレンズ特性が変動することから、本発明の実施の形態に係る画像処理装置２で実現するのは難しい。

一方、上記の電気的な補正方法は、角速度センサ等により検知された手ぶれ位置の情報に基づいて、画像全体から一部（有効エリア）の画像を切り出す信号処理により実現される。このとき、該有効エリアの位置等に応じて画像処理の対象が変化するため、該対象に応じて補間演算を施す際に使用する補正ベクトルを変更する必要がある。

そこで、補正パラメータデコーダ９はさらに、制御マイコン８から手ぶれ位置の情報を受け取り、補正パラメータエンコーダ５から供給された圧縮データＰｃを該位置情報に応じて選択的にデコードすることによって、手ぶれ補正を実現する。

なお、本実施の形態に係る画像処理装置２では、レンズ２００を交換したような場合にも同様に、補正パラメータデコーダ９が該新たなレンズ２００等に応じて選択的に該圧縮データＰｃをデコードすることとすれば、部品交換後においても容易に高画質の画像を得ることができる。

次に、図５及び図６のフローチャートを参照しつつ、図２に示された水平１次元補間部５０１の動作を詳しく説明する。まず、演算制御部２２は、同期信号生成部８００から供給される内部同期信号に応じて制御タイミング信号を生成する。そして、補間位相・入力データ座標計算部２３は、演算制御部２２から供給された制御タイミング信号に応じて動作し、信号処理部１０に入力された画像に歪みがない場合における座標系での補間点の座標を小数点付きで計算する。

具体的には、ステップＳ１において補間位相・入力データ座標計算部２３は、図７（ａ）に示されるように歪み補正され等倍変換された画像上の座標（ｘ，ｙ）として、切り出した画像ＣＩの左上の座標（Ｓｘ，Ｓｙ）を初期設定し、画歪補正パラメータデコーダ３３へ補正パラメータ要求信号Ｒｘを供給する。一方、ステップＳ２において、画歪補正パラメータデコーダ３３は供給された補正パラメータ要求信号Ｒｘ及び該座標（Ｓｘ，Ｓｙ）に対応する補正量パラメータＸｍを求め、データ取得部２４及び補間係数生成部２５へ供給する。

ここで画歪補正パラメータデコーダ３３は、例えばＲＯＭ（Read Only Memory）を内蔵し、該ＲＯＭにｘ座標と補正量パラメータＸｍとの間の対照テーブルを予め格納しておくようにしても良いし、補正量パラメータＸｍをｘ座標のある関数として近似し、該関数を用いて補正量パラメータＸｍを求めても良いが、後に詳しく説明する。

次に、ステップＳ３において、データ取得部２４は補間位相・入力データ座標計算部２３から供給された座標（Ｘ，Ｙ）に、画歪補正パラメータデコーダ３３から供給された補正量パラメータＸｍに応じた補正量ベクトル（Ｘｍ，０）を加える。これより、図７（ｂ）に示されるように、補正前の原画像ＯＩにおいて上記座標（Ｘ，Ｙ）に対応する点の座標（Ｘ＋Ｘｍ，Ｙ）、すなわち補正ベクトルが求められたことになる。

なお、データ取得部２４の替わりに、画歪補正パラメータデコーダ３３が補間位相・入力データ座標計算部２３から供給されたｘ座標に応じて上記補正ベクトルを求め、該補正ベクトルをデータ取得部２４へ供給するようにしても良い。

このとき、データ取得部２４はｘ座標の整数値がＸｍを加えることで変化したか否かを判断し、変化したと判断した場合にはステップＳ５へ進み、変化していないと判断した場合にはステップＳ６へ進む。

ステップＳ５では、データ取得部２４が、さらに該整数値は２以上変化したか否かを判断し、２以上変化したと判断した場合にはステップＳ８へ進み、１のみ変化したと判断した場合にはステップＳ７へ進む。一方、ステップＳ６では、画像メモリ６０１がデータ取得部２４から供給されたホールド信号Ｓｈに応じて、前サイクルに出力したものと同じ補間用データを再度データ取得部２４へ供給する。

上記において、データ取得部２４は生成された補正ベクトルのｘ成分（Ｘ＋Ｘｍ）の整数値に応じて画像メモリ６０１から読み出すべきデータのアドレスを生成し、読み出し制御信号を画像メモリ６０１に供給することによって該アドレスに応じた補間用データを取得する。

ここで、画像メモリ６０１は先頭アドレスからアドレスを１づつインクリメントしつつ該アドレスに応じた補間用データを順次出力すると共に、データ取得部２４からホールド信号Ｓｈが供給されることによって、上記インクリメントを一時的に停止する。

なお、画像メモリ６０１はデータ取得部２４から読み出し開始アドレスを受け取り、該読み出し開始アドレスを上記先頭アドレスとした所定数の連続データを出力するものであっても良い。

ここで、上記ホールド信号Ｓｈ及び読み出し開始アドレスは、画歪補正パラメータデコーダ３３から出力される補正量パラメータＸｍの整数成分から求められる。

一方、補間係数生成部２５は、画歪補正パラメータデコーダ３３から供給される補正量パラメータＸｍの小数成分を水平補間フィルタの位相として扱い、該小数成分に応じて補間係数を生成する。なお、このような動作は、信号処理部１０に入力される画像１０２がＲＧＢフォーマットの場合に適用される。一方、ＹＵＶフォーマットの場合には輝度信号Ｙのフィルタ位相はＲＧＢフォーマットのフィルタ位相と同じように扱うことができ、色差信号Ｃｂ／Ｃｒについては、補正量パラメータＸｍの小数成分だけでなく整数成分も併用して該位相を算出することができる。

そして、ステップＳ７においてデータ補間計算部２６は、データ取得部２４から供給された補間用データと上記補間係数とに応じて１次元補間演算を実行し、ステップＳ９へ進む。

ここで、上記の１次元補間演算では、例えばＹＵＶフォーマットにおいては、図７（ｃ）に示されるように補正ベクトル（Ｘ＋Ｘｍ，Ｙ）の近傍から水平方向において８画素の輝度データＤｔが補間用データとして利用され、上記小数成分を位相とした８タップの補間演算が実行される。なお、該補間演算により得られた結果は出力画像の輝度データ等として利用され、これより水平方向の歪みが補正される。

一方、ステップＳ８ではデータ取得部２４が補間位相・入力データ座標計算部２３と画歪補正パラメータデコーダ３３及びデータ補間計算部２６へスキップ信号ｓｋを供給し、これら補間位相・入力データ座標計算部２３と画歪補正パラメータデコーダ３３及びデータ補間計算部２６の動作を停止させる。

ここで、ステップＳ５においてｘ座標が２以上変化したと判断される場合は、実際に補間演算する中心座標が２画素以上移動する場合を意味するため、データ補間計算部２６による画像メモリ６０２へのデータ出力が中断される。また、実際に補間演算する中心座標が２画素以上移動する場合は、画歪補正パラメータデコーダ３３から出力される補正量パラメータＸｍの小数成分（補間位相）は次サイクルまで保持されることから、画歪補正パラメータデコーダ３３の動作が停止される。

そして、ステップＳ１３では、補間位相・入力データ座標計算部２３がｘ座標に水平方向の拡大縮小パラメータＨａを加算し、ステップＳ２へ進む。なお、この拡大縮小パラメータＨａは、補正後の画像に対する歪みを持った原画像の水平方向における長さの比により決定され、補正後に画像を水平方向に拡大する場合には１より小さな値とされ、逆に縮小する場合は１より大きな値とされ、等倍の場合には１とされる。

ステップＳ９ではデータ補間計算部２６が、得られた画像データを垂直処理用ラインバッファからなる画像メモリ６０２へ格納する。そして、ステップＳ１０では補間位相・入力データ座標計算部２３が現時点のｘ座標を基に１ライン分、すなわち出力水平画素数ＨＳ分の画像データが画像メモリ６０２へ出力されたか否かを判断し、１ライン分のデータが出力されたと判断した場合にはステップＳ１１へ進み、１ライン分のデータが出力されていないと判断した場合にはステップＳ１３へ進む。

ステップＳ１１では補間位相・入力データ座標計算部２３がｘ座標をＳｘとすると共に、ｙ座標に１を加える。そして、ステップＳ１２では補間位相・入力データ座標計算部２３がさらにｙ座標を基に１フレーム分、すなわち出力垂直ライン数分の画像データが画像メモリ６０２へ出力されたか否かを判断し、１フレーム分のデータが出力されたと判断した場合には動作を終了し、１フレーム分のデータが出力されていないと判断した場合にはステップＳ１３へ進む。

以上より、水平１次元補間部５０１は、歪みを持った原画像に対して水平方向の１次元補間演算を施すことにより、水平画歪み補正処理と水平方向の拡大・縮小処理を同時に実現し、得られた画像を垂直処理用の画像メモリ６０２に保存する。

なお、上記水平１次元補間による等倍変換の具体例が図８に示される。ここで、図８は輝度信号に関する変換を示し、図８（ａ）は信号処理部１０に入力された補間用データＤ０〜Ｄ９、図８（ｂ）及び図８（ｆ）は補正量パラメータＸｍ、図８（ｃ）及び図８（ｄ）はそれぞれ補正後の画像を構成するデータのサンプリング位置及び番号を示す。

また、図８（ｅ）は補間位相・入力データ座標計算部２３から画歪補正パラメータデコーダ３３へ供給されるｘ座標（ｘｔ）を示し、図８（ｇ）はデータ取得部２４により生成される補正ベクトルのｘ座標（補正パラメータ）、図８（ｈ）は補正前の画像における補間用データのアドレス、図８（ｉ）は補間位相をそれぞれ示す。

例えば、図８に示されるように、補正後の画像においてｘ座標が2.0の点に位置するデータの補正量パラメータＸｍは1.25とされる。その結果、補正前の画像における該点の対応点のｘ座標は、該2.0に補正量パラメータＸｍを加算して3.25と求められる。このとき、該ｘ座標（3.25）の整数成分（３）が補正前の画像における該データのアドレスを示し、0.25が補間位相を示す。従って、補正後の画像におけるｘ座標が2.0の点の輝度信号は、補正前の画像において３近傍のｘアドレスを有する複数の連続データを対象とし、水平補間フィルタの位相を0.25とした1次元補間演算により求められることになる。

図９は、図８に示された等倍変換の動作タイミングを示すタイミング図である。ここで、図９（ａ）は演算制御部２２に供給される内部同期信号を示し、図９（ｂ）は演算制御部２２により生成される制御タイミング信号、図９（ｃ）はデータ取得部２４から画像メモリ６０１に供給される読み出し制御信号、図９（ｄ）は画像メモリ６０１からデータ取得部２４へ入力される補間用データ、図９（ｅ）は補間位相・入力データ座標計算部２３から画歪補正パラメータデコーダ３３へ供給されるｘ座標（ｘｔ）をそれぞれ示す。

また、図９（ｆ）は画歪補正パラメータデコーダ３３から出力される補正量パラメータＸｍを示し、図９（ｇ）はデータ取得部２４により生成される補正パラメータ、図９（ｈ）は補正前の画像における補間用データのアドレス、図９（ｉ）は補間位相、図９（ｊ）及び図９（ｋ）はそれぞれデータ取得部２４により生成されるスキップ信号ｓｋ及びホールド信号Ｓｈ、図９（ｌ）は画像メモリ６０１から読み出される２タップのデータ、図９（ｍ）はデータ補間計算部２６から画像メモリ６０２へ出力されるデータ、図９（ｎ）はデータ補間計算部２６で内部生成される出力イネーブル信号をそれぞれ示す。なお、ここでは説明を簡略化するために、一つのデータを得るための補間演算においては、図９（ｌ）に示される２タップのデータが使用されるものとする。

図９（ｂ）に示されるように、時刻Ｔ１において制御タイミング信号が内部同期信号に応じてハイレベルに活性化されると、図９（ｅ）に示されるように補間位相・入力データ座標計算部２３は0.0から1.0づつインクリメントされるｘ座標（ｘｔ）を順次画歪補正パラメータデコーダ３３へ供給する。

これより、図９（ｆ）に示されるように画歪補正パラメータデコーダ３３は対応する補正量パラメータＸｍを求め、その後にデータ取得部２４は図９（ｇ）に示される補正パラメータを算出する。ここで、図９（ｈ）に示されるように、データ取得部２４は該補正パラメータの整数成分から補正前の画像における補間用データの先頭アドレスを０と特定する。そして、図９（ｃ）及び図９（ｄ）に示されるように、データ取得部２４は活性化された読み出し制御信号と共に、上記のように特定されたアドレス０を画像メモリ６０１へ供給する。

これより、図９（ｄ）に示されるように、画像メモリ６０１は該先頭アドレス０に対応するデータＤ０から順次補間用データをデータ取得部２４へ連続的に出力する。

また、図９（ｇ）及び図９（ｊ）に示されるように、時刻Ｔ２においてデータ取得部２４は補正パラメータの整数成分が２以上増加したと判断すると、ハイレベル（Ｈ）のスキップ信号ｓｋを生成して補間位相・入力データ座標計算部２３とデータ補間計算部２６及び画歪補正パラメータデコーダ３３へ供給する。この結果、図９（ｅ）から図９（ｇ）に示されるように時刻Ｔ３から１サイクルの間補正パラメータの生成動作が停止されると共に、図９（ｍ）及び図９（ｎ）に示されるように出力イネーブル信号がロウレベルに不活性化されることによって、データ補間計算部２６から画像メモリ６０２へのデータ出力が停止される。

また、図９（ｇ）及び図９（ｋ）に示されるように、データ取得部２４は時刻Ｔ４において生成された補正パラメータ（8.75）の整数成分が１サイクル前の補正パラメータ（8.25）の整数成分と同じであると判断し、時刻Ｔ４においてホールド信号Ｓｈをハイレベルに活性化させる。これより、図９（ｌ）に示されるように時刻Ｔ５において、データ取得部２４は画像メモリ６０１から前サイクルと同じ２タップの補間用データＤ８，Ｄ９を取得する。

なお、図１０は図８と同様に水平１次元補間による拡大変換の具体例を示し、図１１は図９と同様に該拡大変換の動作タイミングを示す。この拡大変換の例では、図１０（ｅ）に示されるように、データ番号が２から６近傍までのデータが水平方向の拡大縮小パラメータＨａを0.5として水平方向に拡大される。ここで、図１０（ｂ）はデータ番号が０から９までの１０個のデータについての補正量パラメータＸｍを示し、図１０（ｆ）は該拡大による補間点、すなわちｘ座標が2.0から6.5までにおける0.5間隔の１０個の点における補正量パラメータＸｍを示す。

そして、このような拡大変換においては、図１１（ｇ）に示されるように時刻Ｔ２，Ｔ３，Ｔ４，Ｔ５，Ｔ６において補正パラメータの整数成分が変化しないため、各時刻において１サイクルの間ホールド信号Ｓｈがハイレベルに活性化される。

次に、図１２及び図１３のフローチャートを参照しつつ、図２に示された垂直１次元補間部５０２の動作を詳しく説明する。まず、演算制御部２７は、同期信号生成部８００から供給される内部同期信号に応じて制御タイミング信号を生成する。そして、補間位相・入力データ座標計算部２８は、演算制御部２７から供給された制御タイミング信号に応じて動作し、信号処理部１０に入力された画像に歪みがない場合における座標系での補間点の座標を小数点付きで計算する。

具体的には、ステップＳ１において補間位相・入力データ座標計算部２８は、図１４（ａ）に示されるように歪み補正され等倍変換された画像上の座標（ｘ，ｙ）として、切り出した画像ＣＩの左上の座標（Ｓｘ，Ｓｙ）を初期設定し、画歪補正パラメータデコーダ３４へ補正パラメータ要求信号Ｒｙを供給する。一方、ステップＳ２において、画歪補正パラメータデコーダ３４は供給された補正パラメータ要求信号Ｒｙに応じて該ｙ座標に対応する補正量パラメータＹｍを求め、データ取得部２９及び補間係数生成部３０へ供給する。

ここで画歪補正パラメータデコーダ３４は、例えばＲＯＭ（Read Only Memory）を内蔵し、該ＲＯＭにｙ座標と補正量パラメータＹｍとの間の対照テーブルを予め格納しておくようにしても良いし、補正量パラメータＹｍをｙ座標のある関数として近似し、該関数を用いて補正量パラメータＹｍを求めても良いが、後に詳しく説明する。

次に、ステップＳ３において、データ取得部２９は補間位相・入力データ座標計算部２８から供給された座標（Ｘ，Ｙ）に、画歪補正パラメータデコーダ３４から供給された補正量パラメータＹｍに応じた補正量ベクトル（０，Ｙｍ）を加える。これより、図１４（ｂ）に示されるように、補正前の原画像ＯＩにおいて上記座標（Ｘ，Ｙ）に対応する点の座標（Ｘ，Ｙ＋Ｙｍ）、すなわち補正ベクトルが求められる。このとき、データ取得部２９は生成された補正ベクトルのｙ成分（Ｙ＋Ｙｍ）の整数値に応じて画像メモリ６０２から読み出すべきデータのアドレスを生成し、メモリ制御信号と共に画像メモリ６０２へ供給する。

なお、データ取得部２９の替わりに、画歪補正パラメータデコーダ３４が補間位相・入力データ座標計算部２８から供給されたｙ座標に応じて上記補正ベクトルを求め、該補正ベクトルをデータ取得部２９等へ供給するようにしても良い。

そして、ステップＳ４においては、垂直処理用の画像メモリ６０２が供給された上記アドレスに応じて、座標Ｘにおいて垂直方向に複数ラインに渡って並ぶ複数の補間用データを同時にデータ取得部２９へ出力する。

ここで、画像メモリ６０２は、データ取得部２９から読み出しを開始する先頭アドレスを受け取り、該アドレスを１づつインクリメントすることにより該アドレスに応じた補間用データを順次出力するか、あるいは、アドレスをインクリメントすることなく、受け取った該先頭アドレスから所定数連続したデータを出力するものとされる。ここで、上記先頭アドレスは、画歪補正パラメータデコーダ３４から出力される補正量パラメータＹｍの整数成分から求められる。

一方、補間係数生成部３０は、画歪補正パラメータデコーダ３４から供給される補正量パラメータＹｍの小数成分を垂直補間フィルタの位相として扱い、該小数成分に応じて補間係数を生成する。

そして、ステップＳ５においてデータ補間計算部３１は、データ取得部２９から供給された補間用データと上記補間係数とに応じて１次元補間演算を実行する。なお、上記補間演算は、信号処理部１０に入力される画像１０２がＲＧＢフォーマットの場合にのみ適用されるものでない。すなわち、ＹＵＶフォーマットの場合、輝度信号と色差信号の垂直方向におけるデータ密度が同じ場合には輝度信号のフィルタ位相を色差信号のフィルタ位相としても利用でき、該データ密度が異なる場合には補正量パラメータＹｍの小数成分だけでなく整数成分も併用することにより色差信号のフィルタ位相が算出される。

また、ＹＵＶフォーマットにおいては、図１４（ｃ）に示されるように補正ベクトル（Ｘ，Ｙ＋Ｙｍ）の近傍から垂直方向において例えば８画素の輝度データＤｔ等が補間用データとして利用され、上記小数成分を位相とした８タップの補間演算が実行される。なお、該補間演算により得られた結果は出力画像の輝度データや色差データとして利用され、これより垂直方向の歪みが補正される。

次に、ステップＳ６において、出力データバッファ３２は該補間演算により得られた画像データを出力する。ステップＳ７では、補間位相・入力データ座標計算部２３が現時点のｘ座標を基に１ライン分、すなわち出力水平画素数ＨＳ分の画像データが出力されたか否かを判断し、１ライン分のデータが出力されたと判断した場合にはステップＳ８へ進み、１ライン分のデータが出力されていないと判断した場合にはステップＳ１０へ進む。

ステップＳ８では、補間位相・入力データ座標計算部２８がｘ座標をＳｘとすると共に、ｙ座標に垂直方向の拡大縮小パラメータＶａを加算する。一方、ステップＳ１０ではｘ座標に水平方向の拡大縮小パラメータＨａを加算し、ステップＳ２へ戻る。なお、上記拡大縮小パラメータＶａは、補正後の画像に対する歪みを持った原画像の垂直方向における長さの比により決定され、補正後に画像を垂直方向に拡大する場合には１より小さな値とされ、逆に縮小する場合は１より大きな値とされ、等倍の場合には１とされる。

ステップＳ９では補間位相・入力データ座標計算部２８がさらにｙ座標を基に１フレーム分、すなわち垂直ライン数（垂直画素数）分の画像データが出力データバッファ３２から出力されたか否かを判断し、１フレーム分のデータが出力されたと判断した場合には動作を終了し、１フレーム分のデータが出力されていないと判断した場合にはステップＳ１０へ進む。

なお、以上のような垂直方向における１次元補間では、水平方向に関するデータの補間や画像の拡大・縮小を伴わないため、図１４（ａ）に示される水平方向のスキャンにおいては毎サイクル同様な動作が繰り返される。しかしながら、補正量パラメータＹｍが大きいときには、画像メモリ６０２における格納場所に応じて然るべき補間用データを読み出す時間が大きくなる場合がある。このような場合に、データ取得部２９は補間位相・入力データ座標計算部２８及び画歪補正パラメータデコーダ３４へ活性化された待機信号ＷＴを供給し、待機信号ＷＴの該活性期間において補間位相・入力データ座標計算部２８及び画歪補正パラメータデコーダ３４の動作を中断させる。

以上より、垂直１次元補間部５０２は、歪みを持った原画像に対して垂直方向の１次元補間演算を施すことにより、垂直画歪み補正処理と垂直方向の拡大・縮小処理を同時に実現し、完全に歪みの取れた画像を生成して出力する。

なお、上記垂直１次元補間による等倍変換の具体例が図１５に示される。ここで、図１５は輝度信号に関する変換を示すグラフであり、横軸はｘ座標、縦軸は補正されたｙ座標（Ｙ＋Ｙｍ）を示す。

そして、図１５において、ｙ座標が０でｘ座標が0.0から10.0の１０個の点は補正後の画像上における点を示し、矢印は該各点に対応する原画像上の点までの補正量パラメータＹｍを示す。すなわち例えば、補正後の画像において座標（1.0，0）の点は、補正前の原画像において座標（1.0，7.1）の点に対応し、補正量パラメータが7.1で補間位相がその小数成分0.1とされる。

次に、図１に示された前処理装置３及び補正パラメータデコーダ９について詳しく説明する。最初に、図１６に示されたフローチャートを参照しつつ、前処理装置３及び補正パラメータデコーダ９の動作の概要を説明する。

図１６に示されるように、ステップＳ１では、補正パラメータエンコーダ５が補正パラメータ導出部６から全画素点の補正量ベクトルを読み込む。次に、ステップＳ２に示されるように、補正パラメータエンコーダ５は該全画素点の補正量ベクトルを区分毎に分割するための格子線を決定する。なお、該格子線の決定については後に詳しく説明する。

ステップＳ３では、補正パラメータエンコーダ５が該格子線により分割された各区分の補正量ベクトルを圧縮して圧縮データＰｃとして補正パラメータデコーダ９へ供給すると共に、ステップＳ４では撮像素子３００が画像を撮像する。なお、補正量ベクトルの該圧縮については後に詳しく説明する。

そして、ステップＳ５ではデータ変換部４００が該撮像により生成されたアナログ画像信号をデジタル画像信号に変換する。ステップＳ６では、補正パラメータデコーダ９は補正量パラメータの信号処理部１０への読み出しに必要な格子を決定し、ステップＳ７において信号処理部１０から供給された座標を該格子に応じて正規化する。

次にステップＳ８においては、補正パラメータデコーダ９が該格子を利用して補正パラメータエンコーダ５から供給された圧縮データＰｃをデコードし、得られた補正量パラメータを信号処理部１０へ供給する。そして、ステップＳ９においては、信号処理部１０が該補正量パラメータを用いて原画像に対する補間演算を施す。ここで、ステップＳ１０において制御マイコン８が信号処理部１０への原画像の入力を終了させるか否かを判断し、終了させると判断した場合には画像処理装置２の動作を終了させ、該入力を終了させないと判断した場合にはステップＳ４へ戻る。

図１７は、図１に示された補正パラメータエンコーダ５の構成を示すブロック図である。図１７に示されるように、補正パラメータエンコーダ５は格子分割部１１とパラメータ圧縮部１２とを含む。ここで、格子分割部１１はユーザインタフェースに接続され、パラメータ圧縮部１２は格子分割部１１と補正パラメータ導出部６に接続される。以下において、図１８から図２３を参照しつつ、補正パラメータエンコーダ５の動作を詳しく説明する。

まず、格子分割部１１はデータ変換部４００により得られた画像１０２を複数の領域に分割するための格子線を決定する。そして、パラメータ圧縮部１２は、このような格子線により分割された領域毎に格子点を利用して画像の補正量ベクトルを圧縮し、得られた圧縮データＰｃを補正パラメータデコーダ９へ供給する。

このような方法によれば、補正パラメータデコーダ９により保持すべき補正量ベクトルの数を削減することができると共に、全点の補正量ベクトルを保持する場合と同様にｘ及びｙ方向の補正ベクトルを分けて演算することができ、高速な補間演算を実現することができる。

以下において、図１７に示された格子分割部１１による格子分割動作を説明する。なお、実際にはデータ変換部４００により生成された画像１０２の歪みは中心（原点）に対して点対称に発生するため、図１８（ａ）に示されるように、画像１０２の１／４の領域、例えば第一象限Ｑ１のみを格子分割の対象領域とすれば足りる。

すなわち、上記歪みは中心からの距離によって決まるため、第一象限Ｑ１における画像処理はｘ座標又はｙ座標、あるいはその双方の符号を反転させることにより他の象限における画像処理にそのまま適用することができる。

格子分割決定方法には、所定の領域をｘ方向及びｙ方向において均等に分割する方法（均等分割）と、各格子の幅が２のべき乗となるように分割する方法（べき乗分割）と、最適分割位置において分割する方法（最適分割）とがある。

ここで、格子分割部１１はユーザインタフェースから格子分割方法を指定する信号Ｌｗと格子分割数を指定する信号Ｌｎとを受け取り、図１８（ｂ）に示されるように、該指定された方法により格子５０を用いて画像１０２を指定された分割数に分割する。

このとき、上記のような格子分割により得られた格子点における補正量ベクトル、すなわち各方向につき（１／格子幅）毎の補正量ベクトルのみが該補間演算に利用される。なお、上記べき乗分割では格子の幅が２のべき乗とされることにより、各格子点における補正量ベクトルの演算が容易となるため、回路規模を軽減することができる。

以下において、図１９及び図２０のフローチャートを参照しつつ、格子分割部１１により実行される上記最適分割方法を説明する。

ステップＳ１では、まず画像処理における走査方向をｘ方向と決定する。次に、ステップＳ２では図１８（ａ）に示される画面上端における１ラインＬ１の補正量パラメータを取得して、該補正量パラメータのｘ依存性を調べる。そして例えば、基準点をｘ＝０としたときにおける該補正量パラメータＸｍ（ｘ）のｘ依存性の一例が図２１（ａ）に示される。

ステップＳ３では、該基準点（原点）の２画素右方にターゲット点を設定し、基準点と該ターゲット点との間（一区分）における全点を２次多項式（以下、「区分２次多項式」ともいう）でフィッティングする。

このとき、該区分において補正量パラメータＸｍ（ｘ）の値と該２次多項式により求められた補正量との差（コストともいう）が所定値より小さいという条件を満たす場合には、ターゲット点をさらに右へ１画素ずらして該コスト計算を繰り返す。このようにして、上記条件を満足する最大点を探索する（右方向探索）。

ステップＳ４では基準点をターゲット点にずらし、次区分における右方向探索を実行する。なお、このような方法により、例えば図２１（ｂ）に示された点Ｘ１，Ｘ２，Ｘ３が順次決定され、ｘの関数としての補正量パラメータＸｍ（ｘ）が区分毎に２次多項式で近似される。

ステップＳ５ではターゲット点が右端であるか否かを判断し、右端であると判断した場合にはステップＳ６へ進むと共に、右端でないと判断した場合にはステップＳ３へ戻る。

ステップＳ６では右端のデータを基準点として該基準点の２画素左方にターゲット点を設定し、上記右方向探索と同様に左方向探索を実行する。そして、該コスト計算によりある区分が決定された後は、ステップＳ７において基準点を該ターゲット点にずらし、次区分における左方向探索を実行する。なお、このような方法により、例えば図２１（ｃ）に示された点Ｘ５，Ｘ４が順次決定され、ｘの関数としての補正量パラメータＸｍ（ｘ）が区分毎に２次多項式で近似される。

ステップＳ８ではターゲット点が左端であるか否かを判断し、左端であると判断した場合にはステップＳ９へ進むと共に、左端でないと判断した場合にはステップＳ６へ戻る。

次にステップＳ９においては、図２１（ｄ）に示されるように、上記右方向探索により求められた点と左方向探索により求められた点とを比較し、全体の該コストが最小となる分割位置（最適点）を求める。ここで例えば、図２１（ｄ）に示されるように、点Ｘ４と点Ｘ１とを比較することにより点Ｘ６を決定し、点Ｘ５と点Ｘ２とを比較することによって点Ｘ７を決定する。

ステップＳ１０では、分割位置の探索方向がｘ方向であるか否かを判断し、ｘ方向であると判断した場合にはステップＳ１１へ進むと共に、ｘ方向でなくｙ方向であると判断した場合には動作を終了する。

ステップＳ１１では、分割対象領域の右端における１ラインの補正量パラメータを取得して該補正量パラメータのｙ依存性を調べ、ステップＳ３へ戻る。なお、基準点をｙ＝０とし、横軸をｙ座標、縦軸を補正量パラメータＸｍ（ｙ）とした関数は図２１（ａ）と同様に示され、該関数に対してｘ方向と同様に該探索動作が実行される。格子分割部１１は、このようにｘ方向及びｙ方向においてそれぞれ分割位置を決定して格子５０を確定する。なお、この確定された格子位置は、格子情報Ｌｉとしてパラメータ圧縮部１２へ供給される。

図１７に示されたパラメータ圧縮部１２は、格子分割部１１から供給された格子情報Ｌｉに応じて、各格子点における補正量ベクトルのみを保持する。そしてパラメータ圧縮部１２は、図２２（ａ）に示されるように格子５０を構成する線分Ｌ２を処理対象として決定する。ここで例えば、線分Ｌ２の両端のｘ座標をＸ０及びＸ２とし、これら両端における補正量パラメータをそれぞれＸｍ０及びＸｍ２としたとき、線分Ｌ２上の各点におけるｘ座標と補正量パラメータとの関係は例えば図２２（ｂ）のように示される。このとき、線分Ｌ２上の画素におけるｘ座標をＸ１、補正量パラメータをＸｍ１として、以下の式（１）を満たす係数Ｃａ，Ｃｂ，Ｃｃを算出する。

なお、図２２（ｂ）及び図２２（ｃ）に示されるように、Ｘ１はＸ０からＸ２まで順次１だけインクリメントされ、線分Ｌ２上の各点において補正量パラメータの大きさと該区分２次多項式による近似値との差が順次比較される。そして、該差が最小となる点のｘ座標及び補正量パラメータが、それぞれＸ１及びＸｍ１として上記式（１）に代入される。

ここでパラメータ圧縮部１２は、格子５０をなす全線分について上記係数Ｃａ，Ｃｂ，Ｃｃを算出して保持すると共に、これらの係数Ｃａ，Ｃｂ，Ｃｃを圧縮データＰｃとして補正パラメータデコーダ９へ供給する。

図２３は、図２に示されたｘ方向用の画歪補正パラメータデコーダ３３の構成を示すブロック図である。図２３に示されるように、画歪補正パラメータデコーダ３３は歪みパラメータバッファ６１と格子決定部６２、正規化部６３、関数変換部６４、及び平面補間部６５を含む。

ここで、歪みパラメータバッファ６１は制御マイコン８及び補正パラメータエンコーダ５に接続され、格子決定部６２と正規化部６３及び関数変換部６４は共に歪みパラメータバッファ６１に接続される。さらに、格子決定部６２は信号処理部１０に接続され、正規化部６３は格子決定部６２に接続される。また、関数変換部６４は正規化部６３に接続され、平面補間部６５は関数変換部６４に接続される。なお、信号処理部１０は平面補間部６５に接続される。

上記のような構成を有する画歪補正パラメータデコーダ３３は、補正パラメータエンコーダ５から供給された圧縮データＰｃをデコードして画面上の各点におけるｘ方向の補正量パラメータを復元するが、該動作を以下に詳しく説明する。

なお、図２に示されたｙ方向用の画歪補正パラメータデコーダ３４は、ｘ方向用の画歪補正パラメータデコーダ３３と同様な構成を有し、該画歪補正パラメータデコーダ３３と同様に動作する。

まず歪みパラメータバッファ６１は、補正パラメータエンコーダ５より圧縮データＰｃと、該圧縮データＰｃに対応する格子の位置を示す格子位置情報Ｌｐと、該格子の幅の逆数からなる格子定数情報Ｌｃとを入力して格納すると共に、制御マイコン８からコマンド信号Ｃｄを入力する。

格子決定部６２は、信号処理部１０から補正後の画像を求める点のｘ座標（ｘｔ）及びｙ座標（ｙｔ）を補正パラメータ要求信号Ｒｘと共に受領し、該点が含まれる格子枠を決定する。ここで、格子決定部６２は供給された座標（ｘｔ，ｙｔ）と歪みパラメータバッファ６１から供給される格子情報ＬＩとを比較することにより該格子枠を決定する。

次に、正規化部６３は格子決定部６２により決定された格子枠の範囲で所定の補間演算を実行するため、座標（ｘｔ，ｙｔ）を以下の式（２）により正規化する。但し、ここでは図２４（ａ）に示されるように、座標（ｘｔ，ｙｔ）を含む格子枠の四隅の座標が（Ｘ０，Ｙ０）と（Ｘ０，Ｙ２）、（Ｘ２，Ｙ０）及び（Ｘ２，Ｙ２）であると仮定する。

なお、上記式（２）における１／（Ｘ２−Ｘ０）及び１／（Ｙ２−Ｙ０）の値は補正パラメータエンコーダ５に含まれた格子分割部１１において算出され、正規化部６３は歪みパラメータバッファ６１から該値を格子定数情報Ｌｃとして受領する。これより、正規化部６３において上記値を用いた乗算を実行することによって、座標（ｐｘ，ｐｙ）が算出される。

関数変換部６４は、図２４（ｂ）に示されるように座標（ｘｔ，ｙｔ）を含む該格子枠において、ｘ又はｙの関数としての補正量パラメータｆ（ｘ）とｇ（ｘ）、ｍ（ｙ）、及びｎ（ｙ）を求める。また関数変換部６４は、上記４つの関数のそれぞれにおける係数Ｃａ，Ｃｂ，Ｃｃを、係数情報ＣＬとして歪みパラメータバッファ６１から受領する。

そして、関数変換部６４は、上記４つの関数を用いて上記座標（ｘｔ，ｙｔ）の補正量パラメータを求めるが、ｘ方向及びｙ方向における関数の連続性を担保するため、該４つの関数ｆ，ｇ，ｍ，ｎを例えば下記の式（３）に示されるような重み付けを考慮した近似関数Ｆ，Ｇ，Ｍ，Ｎに変換する。なお、式（３）におけるｆａ，ｆｂ，ｆｃは、関数ｆにおいて上記係数Ｃａ，Ｃｂ，Ｃｃに対応する係数を示し、同様にｇａ，ｇｂ，ｇｃは関数ｇの、ｍａ，ｍｂ，ｍｃは関数ｍの、ｎａ，ｎｂ，ｎｃは関数ｎの該係数をそれぞれ示す。

なお、関数変換部６４は正規化部６３より供給された座標（ｐｘ，ｐｙ）を、そのまま平面補間部６５へ供給する。

そして、平面補間部６５は、関数変換部６４により得られた関数Ｆ，Ｇ，Ｍ，Ｎと上記座標（ｐｘ，ｐｙ）を示す情報とを用いて、下記の式（４）によって上記座標（ｘｔ，ｙｔ）における補正量パラメータＸｍを算出する。

平面補間部６５は、このような方法により算出された補正量パラメータＸｍを、該パラメータの算出動作が終了したことを示すイネーブル信号ＥＮと共に信号処理部１０へ供給する。なお、ｙ方向用の画歪補正パラメータデコーダ３４は、上記と同様な方法により補正量パラメータＹｍを算出し、イネーブル信号ＥＮと共に信号処理部１０へ供給する。

なお、格子枠をなす上記関数ｆ，ｇ，ｍ，ｎは、上記のように区分２次多項式によって近似する他、一般的にｎ次多項式（ｎは自然数）により近似しても良い。

図２５は、図２に示された画像メモリ６０２とデータ取得部２９及びデータ補間計算部３１の構成を示す図である。なお、図２５は、画像処理装置２が（４×４）タップの１６画素の画像データを利用した補間演算によって各画素の画像データを生成する場合の構成を示す。

図２５に示されるように、画像メモリ６０２はセレクタ６７と、垂直タップ数より１だけ大きな５つのメモリ、すなわちＡメモリ７１とＢメモリ７２、Ｃメモリ７３、Ｄメモリ７４、及びＥメモリ７５を含み、データ取得部２９は制御部８０とＡバッファ８１、Ｂバッファ８２、Ｃバッファ８３、Ｄバッファ８４、Ｅバッファ８５、サイクル分割部５６０、及びセレクタ９６〜９９を含む。なお、サイクル分割部５６０はセレクタ９１〜９５を含む。

ここで、データ取得部２９には、上記のように垂直タップ数より１だけ多い５つのバッファ（Ａバッファ８１からＥバッファ８５）及び対応する５つのセレクタ９１〜９５と、垂直タップ数である４つのセレクタ９６〜９９が含まれることになる。

また、データ補間計算部３１は４つのレジスタ９０１及び乗算回路９０２と加算回路４３を含む。

上記において、セレクタ６７はデータ補間計算部２６及び制御部８０に接続され、Ａメモリ７１とＢメモリ７２、Ｃメモリ７３、Ｄメモリ７４、及びＥメモリ７５はセレクタ６７に接続される。

また、制御部８０は画歪補正パラメータデコーダ３４に接続され、Ａバッファ８１はＡメモリ７１に接続され、Ｂバッファ８２はＢメモリ７２に接続される。同様に、Ｃバッファ８３はＣメモリ７３に接続され、Ｄバッファ８４はＤメモリ７４に接続され、Ｅバッファ８５はＥメモリ７５に接続される。

また、セレクタ９１はＡバッファ８１に接続され、セレクタ９２はＢバッファ８２に接続され、セレクタ９３はＣバッファ８３に接続される。同様に、セレクタ９４はＤバッファ８４に接続され、セレクタ９５はＥバッファ８５に接続される。また、セレクタ９６〜９９はそれぞれ５つのセレクタ９１〜９５に接続される。なお、セレクタ９１〜９９はそれぞれ制御部８０により制御される。

また、セレクタ９６〜９９にはそれぞれレジスタ９０１が接続され、各レジスタ９０１には乗算回路９０２が接続される。そして、４つの乗算回路９０２は一つの加算回路４３が接続される。

ここで、上記のように、データ補間計算部２６により水平方向の補間処理がなされたデータは画像メモリ６０２へ書き込まれ、同時にデータ取得部２９により画像メモリ６０２から取得されたデータに垂直方向の補間処理が施されるため、処理待ち時間としてのフレーム遅延を生じさせることなく画歪み補正が実行される。

以下において、図２５に示された画像メモリ６０２とデータ取得部２９及びデータ補間計算部３１の動作を詳しく説明する。まず、水平方向の補間処理がなされたデータはデータ補間計算部２６から順次セレクタ６７へ供給されるが、該データは制御部８０により制御されるセレクタ６７によってＡメモリ７１からＥメモリ７５までの５つのメモリへ振り分けられて格納される。

そして、Ａメモリ７１に格納されたデータはＡバッファ８１を介してセレクタ９１へ供給され、Ｂメモリ７２に格納されたデータはＢバッファ８２を介してセレクタ９２へ供給される。同様に、Ｃメモリ７３に格納されたデータはＣバッファ８３を介してセレクタ９３へ供給され、Ｄメモリ７４に格納されたデータはＤバッファ８４を介してセレクタ９４へ供給され、Ｅメモリ７５に格納されたデータはＥバッファ８５を介してセレクタ９５へ供給される。

ここで、サイクル分割部５６０に含まれた各セレクタ９１〜９５は、制御部８０による制御に応じて、Ａバッファ８１からＥバッファ８５へ例えば２画素単位で読み出されたデータを分割し、１サイクル毎に１画素分のデータをセレクタ９６〜９９へ供給する。

そして、各セレクタ９６〜９９はセレクタ９１〜９５から供給されたデータを制御部８０による制御により選択的にレジスタ９０１へ出力する。これより、垂直方向の補間処理に必要なタップ数である４つのデータが、選択的にデータ補間計算部３１へ供給されることになる。

さらに、レジスタ９０１に格納された各データは、各乗算回路９０２において補間係数Ｃ０〜Ｃ３との間で積がとられ、該４つの積が加算回路４３で加算されることにより垂直方向の補間演算が施され、出力データバッファ３２へ供給される。

ここで、図２６を参照しつつ、本発明の実施の形態に係る画像処理装置２の動作を説明する。なお、図２６（ａ）〜（ｄ）においては、１フレーム分の画像データが示される。

まず図２６（ａ）に示されるように、時刻Ｔ１から信号処理部１０へ画像データが入力されると、時刻Ｔ２から水平１次元補間部５０１により水平方向の補間処理が施される。そして、図２６（ｃ）に示されるように、水平方向の補間処理が施された画像は時刻Ｔ２以降において、画像メモリ６０２に含まれたＡメモリ７１からＥメモリ７５へ順次書き込まれる。ここで、例えば奇数サイクルにおいて画像メモリ６０２からデータ取得部２９へ垂直処理用のデータが読み出され、偶数サイクルにおいてデータ補間計算部２６から水平処理がなされたデータが画像メモリ６０２へ書き込まれることによって、２サイクル周期による歪み補正処理が実行される。

このとき、図２７に示されるように、画像１０２における水平ラインの最大歪み曲線１０４における垂直方向の最大歪み量に応じたライン数分のデータＤｍｘが画像メモリ６０２に格納された時刻Ｔ３から、各ラインの垂直方向における補間演算が順次実行される。従って、該補間演算における遅延時間は時刻Ｔ１から時刻Ｔ３までとされ、１フレーム分のデータに水平方向の補間処理が施される時間（フレーム遅延）を待ち時間とする必要がないため、リアルタイムに画歪み補正を実行することができる。

また、全体として画像メモリ６０２は、垂直方向においては上記最大歪み量に対応したライン数と垂直処理用タップ数（例えば４タップ）を加算した数、水平方向においては信号処理部１０へ入力された画像の水平方向画素数分のデータを記憶するメモリ容量を有する。なお、図２５に示されたＡメモリ７１からＥメモリ７５までの５つのメモリは例えば同容量とされ、各メモリのポート幅は例えば３２ビットとされる。

ここで、画像１０２の領域１０２Ｐにおけるデータを画像メモリ６０２へ格納する方法が図２８に示される。なお、図２８において「Ａ」から「Ｅ」は、それぞれ図２５に示された「Ａメモリ」７１から「Ｅメモリ」７５を意味する。また、上記のように各メモリのポート幅が３２ビットで、１画素分のデータがＹ信号（輝度情報）とＣ信号（色差情報）を含む１６ビットからなる場合には、セレクタ６７は２画素分のデータを単位として該データをＡメモリ７１からＥメモリ７５へ順次格納する。

すなわちセレクタ６７は、図２８に示されるように、まず０ライン目の０から２３画素目までのデータをＡメモリ７１に格納し、次に１ライン目の０から２３画素目までのデータをＢメモリ７２に格納する。また同様に、セレクタ６７は２ライン目の０から２３画素目までのデータをＣメモリ７３に格納し、３ライン目の０から２３画素目までのデータをＤメモリ７４に格納し、４ライン目の０から２３画素目までのデータをＥメモリ７５に格納する。なお、セレクタ６７は、以下同様に各ラインのデータをライン毎に順次Ａメモリ７１からＥメモリ７５へ格納する。

以下において、データ取得部２９に垂直タップ数より１多い数のバッファが必要とされる理由を説明する。歪みを持った画像１０２を局所的に見た場合、図２９（ａ）〜（ｃ）のパターン１から３に示されるように、水平方向に隣接する２画素間においては画像データが垂直方向に２画素以上移動していることはない。

すなわち、図２９（ａ）のパターン１に示されるように水平方向に隣接する画素間で該画像データは垂直方向に全く移動しないか、図２９（ｂ）や図２９（ｃ）のパターン２やパターン３に示されるように垂直方向に１画素分移動するものの、図３０（ａ）や図３０（ｂ）に示されるように、水平方向に隣接する画素間で該画像データが垂直方向に２画素分以上移動することはない。

ここで、該垂直４タップ処理においては、図３１に示されるように中心画素Ｉｃに対して垂直方向に隣接する３つの周辺画素Ｉｐを含めた４画素のデータを用いてフィルタリング処理が実行される。

このとき、図３２に示されるように、画像メモリ６０２に含まれたＡメモリ７１からＥメモリ７５の５つのメモリは、例えばそれぞれ３２ビットのポートを持つものとされ、この場合には１回のアクセスにより該各ポートを介して１６ビットの画像データが２画素分出力される。

すなわち、図３２に示されるように、１回のアクセスによってＡメモリ７１からは各々１６ビットからなる画像データＩａ０，Ｉａ１が２画素単位で読み出され、Ｂメモリ７２からは各々１６ビットからなる画像データＩｂ０，Ｉｂ１が２画素単位で読み出され、Ｃメモリ７３からは各々１６ビットからなる画像データＩｃ０，Ｉｃ１が２画素単位で読み出される。また同様に、Ｄメモリ７４からは各々１６ビットからなる画像データＩｄ０，Ｉｄ１が２画素単位で読み出され、Ｅメモリ７５からは各々１６ビットからなる画像データＩｅ０，Ｉｅ１が２画素単位で読み出される。

このように、隣接する２画素分の画像データを垂直方向にタップ数より１だけ多く読み出すことによって、隣接画素間の変化が図２９（ａ）から図２９（ｃ）に示されるパターン１からパターン３までのいずれであっても、各列において同じ処理が実行される。すなわち例えば図３２の斜線部に示されるように、各列において中心画素Ｉｃの１つ上の画素から２つ下の画素まで垂直方向に並ぶ４つの画素における画像データを対象としたフィルタリング処理を実行することにより、水平方向に隣接する２画素の画像データがそれぞれ生成される。

なお、隣接画素間の該変化が図２９（ａ）から図２９（ｃ）に示されたパターン１からパターン３のどれにあたるかは、制御部８０により該フィルタリング処理前に予め識別される。

より具体的には、制御部８０が画歪補正パラメータデコーダ３４から水平方向に隣接する２列における２つの中心画素Ｉｃのｙ座標を受け、該ｙ座標の差に応じてセレクタ９６〜９９を制御することにより、図３２の斜線部に示された画像データがフィルタリング処理の対象として選択的にデータ補間計算部３１へ供給される。

なお、上記においては例として４タップのフィルタリング処理を説明したが、本発明の実施の形態に係る画像処理方法は、画像メモリ６０２とデータ取得部２９及びデータ補間計算部３１をタップ数に応じた構成とし、画像メモリ６０２に対するデータの入出力サイクルを変更することによって４タップ以外のフィルタリング処理にも適用することができることはいうまでもない。

以上より、本発明の実施の形態に係る画像処理システムによれば、撮像された光学歪みを伴う画像に対して水平及び垂直方向に１次元補間演算が施され、補正ベクトルが効率的に利用されるため、静止画像だけでなくリアルタイム処理が必要な動画像に対する歪み補正が簡易な構成により実現され、歪みの無い高画質な画像を容易に得ることができる。

また、本発明の実施の形態に係る画像処理システムによれば、信号処理によりリアルタイムに画像の歪みを補正することができるため、レンズ設計の自由度を高めることができ、レンズの小型化やレンズの低コスト化を容易に実現することができる。

本発明の実施の形態に係る画像処理システムの構成を示すブロック図である。図１に示された信号処理部の構成を示すブロック図である。図２に示された信号処理部により実行される１次元補間演算の概要を説明する図である。図２に示されたデータ補間計算部に含まれる水平処理回路の構成を示す図である。図２に示された水平１次元補間部の動作を示す第一のフローチャートである。図２に示された水平１次元補間部の動作を示す第二のフローチャートである図５及び図６に示された動作を説明する図である。水平１次元補間における等倍変換の一例を示す図である。図８に示された等倍変換の動作タイミングを示すタイミング図である。水平１次元補間における水平拡大変換の一例を示す図である。図１０に示された水平拡大変換の動作タイミングを示すタイミング図である。図２に示された垂直１次元補間部の動作を示す第一のフローチャートである。図２に示された垂直１次元補間部の動作を示す第二のフローチャートである。図１２及び図１３に示された動作を説明する図である。垂直１次元補間における垂直拡大変換の一例を示す図である。図１に示された前処理装置及び補正パラメータデコーダの動作の概要を示すフローチャートである。図１に示された補正パラメータエンコーダの構成を示すブロック図である。図１７に示された格子分割部の動作の概要を説明する図である。最適分割の方法を示す第一のフローチャートである。最適分割の方法を示す第二のフローチャートである。図１９及び図２０に示された動作を説明する第一の図である。図１９及び図２０に示された動作を説明する第二の図である。図２に示されたｘ方向用の画歪補正パラメータデコーダの構成を示すブロック図である。図２３に示された補正パラメータデコーダの動作を説明する図である。図２に示された画像メモリとデータ取得部及びデータ補間計算部の構成を示す図である。水平１次元補間処理及び垂直１次元補間処理のタイミングを示すタイミング図である。水平１次元補間及び垂直１次元補間を実行するために必要なメモリ容量を説明する図である。図２５に示された画像メモリへのデータ格納方法を説明する図である。隣接画素における垂直方向の取り得る変化パターンを示す図である。隣接画素における垂直方向の有り得ない変化パターンを示す図である。垂直４タップ処理を説明する図である。図２５に示された画像メモリからのデータ読み出し方法を説明する図である。従来における画像処理装置の構成を示すブロック図である。図３３に示された画像処理装置の動作の概要を示すフローチャートである。図３３に示された信号処理部の構成を示すブロック図である。２次元補間による画像変換の原理を示す図である。図３５に示されたデータ補間計算部の構成を示すブロック図である。

符号の説明

２，１００画像処理装置、３前処理装置、５補正パラメータエンコーダ、６補正パラメータ導出部、７，６００，６０１，６０２画像メモリ、８，７００制御マイコン、９補正パラメータデコーダ、１０，５００信号処理部、１１格子分割部、１２パラメータ圧縮部、２１，５７０データ書き込み部、２２，２７演算制御部、２３，２８，５２０補間位相・入力データ座標計算部、２４，２９，５３０データ取得部、２５，３０，５４０補間係数生成部、２６，３１，５５０データ補間計算部、３２，５６０出力データバッファ、３３，３４画歪補正パラメータデコーダ、４０水平処理回路、４２，４３，９０３，９０４加算回路、６１歪みパラメータバッファ、６２格子決定部、６３正規化部、６４関数変換部、６５平面補間部、６７，９１〜９８セレクタ、７１Ａメモリ、７２Ｂメモリ、７３Ｃメモリ、７４Ｄメモリ、７５Ｅメモリ、８０制御部、８１Ａバッファ、８２Ｂバッファ、８３Ｃバッファ、８４Ｄバッファ、８５Ｅバッファ、２００レンズ、３００撮像素子、４００データ変換部、５０１水平１次元補間部、５０２
垂直１次元補間部、５１０タイミング制御部、８００同期信号生成部、９００ラインメモリ、９０１レジスタ、９０２乗算回路、９０５除算回路、１０１０補正データテーブル、１１００記録部、１２００再生部、１３００表示系処理部、１４００メディア。

Claims

歪みを持った原画像の歪みを補正する画像処理装置であって、
直交する第１方向および第２方向のうち、第１方向における前記原画像を構成する画素点における歪み補正量を示す、第１補正量パラメータに基づいた画素点の前記原画像に対して、前記第１補正量パラメータに基づいた一次元の第１補間演算を施すことにより、前記原画像の第１方向における歪みを補正した第１補正画像データを生成する、第１補正手段と、
前記第１補正画像データを記憶する記憶手段と、
前記第１方向と直交する第２方向における前記原画像を構成する画素点における歪み補正量を示す、第２補正量パラメータに基づいて前記記憶手段から前記第１補正画像データを読み出し、当該読みだした第１補正画像データに対し、前記第２補正量パラメータに基づいた一次元の第２補間演算を施すことにより、前記原画像の第２方向における歪みを補正する第２補正手段と
を備え、
前記第１補正手段と前記第２補正手段とが、前記記憶手段を介して並行して同時的に動作して、前記歪みを持った原画像に対して第１方向の歪み補正および第２方向の歪み補正を行うように構成されている、
ことを特徴とする画像処理装置。
前記記憶手段は、前記第１補正手段で生成された前記第１補正画像データを順次記憶し、
前記第２補正手段は、第２方向の最大歪み量に応じたライン数または行数の前記第１補正画像データが前記記憶手段に記憶されたとき、前記第２補正手段における前記処理を開始し、
前記第１補正手段と前記第２補正手段とが前記記憶手段を介して並行して同時的に動作して、前記歪みを持った原画像に対して前記第１方向の歪み補正および前記第２方向の歪み補正を行うに構成されている、
請求項１に記載の画像処理装置。
前記第１補正量パラメータは、第１方向の画素点の位置を示す整数成分と、位相成分を示す少数成分とを含み、
前記第１補正手段は、前記第１補正量パラメータの整数成分に基づいた画素点の前記原画像データに対して、前記第１補正量パラメータの少数成分に基づいた第１補間係数を用いて前記第１補間演算を行い、
前記第２補正量パラメータは、第２方向の画素点の位置を示す整数成分と、位相成分を示す少数成分とを含み、
前記第２補正手段は、前記第２補正量パラメータの整数成分に基づいた画素の前記原画像データを前記記憶手段から読み出し、当該読みだした原画像データに対して、前記第２補正量パラメータの少数成分に基づいた第２補間係数を用いて前記第２補間演算を行う、請求項２に記載の画像処理装置。
歪みを持った原画像の歪みを補正する画像処理方法であって、
直交する第１方向および第２方向のうち、第１方向における前記原画像を構成する画素点における歪み補正量を示す、第１補正量パラメータに基づいた画素点の前記原画像に対し、前記第１補正量パラメータに基づいて一次元の第１補間演算を施すことにより、前記原画像の第１方向における歪みを補正した第１補正画像データを生成する、第１補正ステップと、
前記第１補正画像データを記憶手段に記憶する記憶ステップと、
前記第１方向と直交する第２方向における前記原画像を構成する画素点における歪み補正量を示す、予め求められた第２補正量パラメータに基づいて前記記憶手段から前記第１補正画像データを読み出し、当該読みだした第１補正画像データに対し前記第２補正量パラメータに基づいて一次元の第２補間演算を施すことにより、前記原画像の第２方向における歪みを補正する第２補正ステップと
を有し、
前記第１補正ステップの処理と前記第２補正ステップの処理とが前記記憶ステップの処理を介在させて並行して同時的に行われ、前記歪みを持った原画像に対して第１方向の歪み補正および第２方向の歪み補正を行う、
ことを特徴とする画像処理方法。
前記記憶ステップにおいて、前記第１補正ステップにおいて生成された前記第１補正画像データを前記記憶手段に順次記憶し、
前記第２補正ステップにおいて、第２方向の最大歪み量に応じたライン数または行数の前記第１補正画像データが前記記憶手段に記憶されたとき、前記第２補正ステップにおける前記処理を開始し、
前記第１補正ステップの処理と前記第２補正ステップの処理とが前記記憶ステップの処理を介在させて並行して同時的に行われ、前記歪みを持った原画像に対して前記第１方向の歪み補正および前記第２方向の歪み補正を行う、
請求項４に記載の画像処理方法。
前記第１補正量パラメータは、第１方向の画素点の位置を示す整数成分と、位相成分を示す少数成分とを含み、
前記第１補正ステップにおいて、前記第１補正量パラメータの整数成分に基づいた画素点の前記原画像データに対して、前記第１補正量パラメータの少数成分に基づいた第１補間係数を用いて一次元の前記第１補間演算を行い、
前記第２補正量パラメータは、第２方向の画素点の位置を示す整数成分と、位相成分を示す少数成分とを含み、
前記第２補正ステップにおいて、前記第２補正量パラメータの整数成分に基づいた画素の前記原画像データを前記記憶手段から読み出し、当該読みだした原画像データに対して、前記第２補正量パラメータの少数成分に基づいた第２補間係数を用いて一次元の前記第２補間演算を行う、
請求項５に記載の画像処理方法。
歪みを持った原画像を補正する画像処理装置であって、
前記原画像を構成する水平方向の画素点の位置に応じて規定される水平方向の歪み補正量を示す、水平補正量パラメータに基づいた画素点の位置の前記原画像に対して、前記水平補正量パラメータに基づいて規定される水平補間係数を用いて一次元の水平補間演算を施すことにより、前記原画像の水平方向における歪みを補正した水平補正画像データを生成する、水平補正手段と、
垂直方向の最大歪み量に応じたライン数の前記水平補正画像データを記憶可能な記憶手段と、
垂直方向の最大歪み量に応じたライン数の前記水平補正画像データが前記記憶手段に記憶されたとき動作を開始し、前記原画像を構成する垂直方向の画素点の位置に応じて規定される垂直方向の歪み補正量を示す、垂直補正量パラメータに基づいた画素点の位置の前記水平補正画像データを前記記憶手段から読み出し、当該読みだした水平補正画像データに対して、前記垂直補正量パラメータに基づいて規定される垂直補間係数を用いて一次元の垂直補間演算を施すことにより、前記原画像の垂直方向における歪みを補正する、垂直補正手段と
を備え、
前記水平補正手段と前記垂直補正手段とが前記記憶手段を介して並行して同時的に動作して、前記歪みを持った原画像に対して、水平方向の歪み補正および垂直方向の歪み補正を行うように構成されている、
ことを特徴とする画像処理装置。
前記水平補正量パラメータは、水平方向の画素位置を示す整数成分と、位相成分を示す少数成分とを含み、
前記水平補正手段は、
前記水平補正量パラメータの整数成分に応じて前記画素点における前記原画像データを選択的に取得する第１データ取得手段と、
前記水平補正量パラメータの小数成分に応じて前記水平補間係数を生成する第１補間係数生成手段と、
前記第１データ取得手段により取得された前記原画像データと、前記第１補間係数生成手段により生成された前記水平補間係数とを用いて一次元の前記水平補間演算を実行する第１補間演算手段と
を有し、
前記垂直補正量パラメータは、垂直方向の画素位置を示す整数成分と、位相成分を示す少数成分とを含み、
前記垂直補正手段は、
前記垂直補正量パラメータの整数成分に応じて前記記憶手段から前記垂直方向の画素点における前記水平補間画像データを選択的に取得する第２データ取得手段と、
前記垂直補正量パラメータの小数成分に応じて前記垂直補間係数を生成する第２補間係数生成手段と、
前記第２データ取得手段により取得された前記水平補間画像データと、前記第２補間係数生成手段により生成された前記垂直補間係数とを用いて一次元の前記第２補間演算を実行する第２補間演算手段と
を有する、
請求項７に記載の画像処理装置。
前記水平補正手段は、前記水平補間演算により画像データを求める画素点の水平方向における間隔を調整することによって、前記原画像を水平方向において伸縮すると共に、
前記垂直補正手段は、前記垂直補間演算により画像データを求める画素点の垂直方向における間隔を調整することによって、前記原画像を垂直方向において伸縮する、
請求項７に記載の画像処理装置。
歪みを持った原画像を補正する画像処理装置であって、
前記原画像を構成する垂直方向の画素点における当該画素点の位置に応じて規定される垂直方向の歪みの補正量を示す、垂直補正量パラメータに応じた画素点の位置の前記原画像データに対して、前記垂直補正量パラメータで規定される垂直補間係数を用いて一次元の垂直補間演算を施すことにより、前記原画像の垂直方向における歪みを補正した垂直補正画像データを生成する、垂直補正手段と、
水平方向の最大歪み量に応じた列数の前記垂直補正画像データを記憶可能な記憶手段と、
水平方向の最大歪み量に応じた列数の前記垂直補正画像データが前記記憶手段に記憶されたとき動作を開始し、前記画像を構成する水平方向の画素点の位置に応じて規定される水平方向の歪みの補正量を示す、水平補正量パラメータに応じた画素点の位置の前記垂直補正画像データを前記記憶手段から読み出し、当該読みだした垂直補正画像データに対して前記水平補正量パラメータで規定される水平補間係数を用いて一次元の水平補間演算を施すことにより、前記原画像の水平方向における歪みを補正する、水平補正手段と
を備え、
前記垂直補正手段と前記水平補正手段とが前記記憶手段を介して並行して同時的に動作して、前記歪みを持った原画像に対して、垂直方向の歪み補正および水平方向の歪み補正を行うように構成されている、
ことを特徴とする画像処理装置。
前記垂直補正量パラメータは、垂直方向の画素位置を示す整数成分と、位相成分を示す少数成分とを含み、
前記垂直補正手段は、
前記垂直補正量パラメータの整数成分に応じて前記画素点における前記原画像データを選択的に取得する第１データ取得手段と、
前記垂直補正量パラメータの小数成分に応じて前記垂直補間係数を生成する第１補間係数生成手段と、
前記第１データ取得手段により取得された前記原画像データと、前記第１補間係数生成手段により生成された前記垂直補間係数とを用いて前記垂直補間演算を実行する第１補間演算手段と
を有し、
前記水平補正量パラメータは、水平方向の画素位置を示す整数成分と、位相成分を示す少数成分とを含み、
前記水平補正手段は、
前記水平補正量パラメータの整数成分に応じて、前記記憶手段から、前記画素点における前記原画像データを選択的に取得する第２データ取得手段と、
前記水平補正量パラメータの小数成分に応じて前記水平補間係数を生成する第２補間係数生成手段と、
前記第２データ取得手段により取得された前記原画像データと、前記第２補間係数生成手段により生成された前記水平補間係数とを用いて前記水平補間演算を実行する第２補間演算手段と
を有する、
請求項１０に記載の画像処理装置。
前記垂直補正手段は、前記垂直補間演算により画像データを求める画素点の垂直方向における間隔を調整することによって、前記原画像を垂直方向において伸縮すると共に、
前記水平補正手段は、前記水平補間演算により画像データを求める画素点の水平方向における間隔を調整することによって、前記原画像を水平方向において伸縮する
請求項１０に記載の画像処理装置。
被写体からの光を集光するレンズと、
前記レンズからの射影光より撮像画像信号を生成する撮像素子と、
前記撮像素子からの撮像画像信号をデジタル画像信号に変換するデータ変換回路と、
前記データ変換回路からのデジタル画像信号を信号処理して記録画像データを生成する信号処理回路と、
前記信号処理回路からの記録画像データを記録する記録部と
を含むカメラシステムであって、
前記信号処理回路は、レンズ歪みを持った原画像を補正する画像補正手段を具備し、
前記画像補正手段は、
前記原画像を構成する水平方向の画素点の位置に応じて規定される水平方向の歪み補正量を示す、水平補正量パラメータに基づいた画素点の位置の前記原画像に対して、前記水平補正量パラメータに基づいて規定される水平補間係数を用いて一次元の水平補間演算を施すことにより、前記原画像の水平方向における歪みを補正した水平補正画像データを生成する、水平補正手段と、
垂直方向の最大歪み量に応じたライン数の前記水平補正画像データを記憶可能な記憶手段と、
垂直方向の最大歪み量に応じたライン数の前記水平補正画像データが前記記憶手段に記憶されたとき動作を開始し、前記原画像を構成する垂直方向の画素点の位置に応じて規定される垂直方向の歪み補正量を示す、垂直補正量パラメータに基づいた画素点の位置の前記水平補正画像データを前記記憶手段から読み出し、当該読みだした水平補正画像データに対して、前記垂直補正量パラメータに基づいて規定される垂直補間係数を用いて一次元の垂直補間演算を施すことにより、前記原画像の垂直方向における歪みを補正する、垂直補正手段と
を備え、
前記水平補正手段と前記垂直補正手段とが前記記憶手段を介して並行して同時的に動作して、前記歪みを持った原画像に対して、水平方向の歪み補正および垂直方向の歪み補正を行うように構成されている、
ことを特徴とするカメラシステム。
被写体からの光を集光するレンズと、
前記レンズからの射影光より撮像画像信号を生成する撮像素子と、
前記撮像素子からの撮像画像信号をデジタル画像信号に変換するデータ変換回路と、
前記データ変換回路からのデジタル画像信号を信号処理して記録画像データを生成する信号処理回路と、
前記信号処理回路からの記録画像データを記録する記録部と
を含むカメラシステムであって、
前記信号処理回路は、レンズ歪みを持った原画像を補正する画像補正手段を具備し、
前記画像補正手段は、
前記原画像を構成する垂直方向の画素点における当該画素点の位置に応じて規定される垂直方向の歪みの補正量を示す、垂直補正量パラメータに応じた画素点の位置の前記原画像データに対して、前記垂直補正量パラメータで規定される垂直補間係数を用いて一次元の垂直補間演算を施すことにより、前記原画像の垂直方向における歪みを補正した垂直補正画像データを生成する、垂直補正手段と、
水平方向の最大歪み量に応じた列数の前記垂直補正画像データを記憶可能な記憶手段と、
水平方向の最大歪み量に応じた列数の前記垂直補正画像データが前記記憶手段に記憶されたとき動作を開始し、前記画像を構成する水平方向の画素点の位置に応じて規定される水平方向の歪みの補正量を示す、水平補正量パラメータに応じた画素点の位置の前記垂直補正画像データを前記記憶手段から読み出し、当該読みだした垂直補正画像データに対して前記水平補正量パラメータで規定される水平補間係数を用いて一次元の水平補間演算を施すことにより、前記原画像の水平方向における歪みを補正する、水平補正手段と
を備え、
前記垂直補正手段と前記水平補正手段とが前記記憶手段を介して並行して同時的に動作して、前記歪みを持った原画像に対して、垂直方向の歪み補正および水平方向の歪み補正を行うように構成されている、
ことを特徴とするカメラシステム。
歪みを持った原画像を補正する画像処理方法であって、
前記原画像を構成する水平方向の画素点の位置に応じて規定される水平方向の歪み補正量を示す、水平補正量パラメータに基づいた画素点の位置の前記原画像に対して、前記水平補正量パラメータに基づいて規定される水平補間係数を用いて一次元の水平補間演算を施すことにより、前記原画像の水平方向における歪みを補正した水平補正画像データを生成する、水平補正ステップと、
垂直方向の最大歪み量に応じたライン数の前記水平補正画像データを記憶可能な記憶手段に、前記水平補正画像データを記憶する記憶ステップと、
垂直方向の最大歪み量に応じたライン数の前記水平補正画像データが前記記憶手段に記憶されたとき動作を開始し、前記原画像を構成する垂直方向の画素点の位置に応じて規定される垂直方向の歪み補正量を示す、垂直補正量パラメータに基づいた画素点の位置の前記水平補正画像データを前記記憶手段から読み出し、当該読みだした水平補正画像データに対して、前記垂直補正量パラメータに基づいて規定される垂直補間係数を用いて一次元の垂直補間演算を施すことにより、前記原画像の垂直方向における歪みを補正する、垂直補正ステップと、
を有し、
前記水平補正ステップの処理と前記垂直補正ステップの処理とが前記記憶ステップの処理を介して並行して同時的に行って、前記歪みを持った原画像に対して、水平方向の歪み補正および垂直方向の歪み補正を行う、
ことを特徴とする画像処理方法。
前記水平補正量パラメータは、水平方向の画素位置を示す整数成分と、位相成分を示す少数成分とを含み、
前記水平補正ステップは、
前記水平補正量パラメータの整数成分に応じて前記画素点における前記原画像データを選択的に取得する第１データ取得ステップと、
前記水平補正量パラメータの小数成分に応じて前記水平補間係数を生成する第１補間係数生成ステップと、
前記第１データ取得ステップにおいて取得された前記原画像データと、前記第１補間係数生成ステップにおいて生成された前記水平補間係数とを用いて前記水平補間演算を実行する第１補間演算ステップと
を有し、
前記垂直補正量パラメータは、垂直方向の画素位置を示す整数成分と、位相成分を示す少数成分とを含み、
前記垂直補正ステップは、
前記垂直補正量パラメータの整数成分に応じて前記記憶手段から前記垂直方向の画素点における前記水平補間画像データを選択的に取得する第２データ取得ステップと、
前記垂直補正量パラメータの小数成分に応じて前記垂直補間係数を生成する第２補間係数生成ステップと、
前記第２データ取得ステップにおいて取得された前記水平補間画像データと、前記第２補間係数生成ステップにおいて生成された前記垂直補間係数とを用いて前記第２補間演算を実行する第２補間演算ステップと
を有する、
請求項１５に記載の画像処理方法。
少なくとも前記水平補正ステップにおいて、前記水平補間演算により画像データを求める画素点の水平方向における間隔を調整することにより前記原画像を水平方向において伸縮し、または
前記垂直補正ステップにおいて、前記垂直補間演算により画像データを求める画素点の垂直方向における間隔を調整することにより前記原画像を垂直方向において伸縮する
請求項１５に記載の画像処理方法。
歪みを持った原画像を補正する画像処理方法であって、
前記原画像を構成する垂直方向の画素点における当該画素点の位置に応じて規定される垂直方向の歪みの補正量を示す、垂直補正量パラメータに応じた画素点の位置の前記原画像データに対して、前記垂直補正量パラメータで規定される垂直補間係数を用いて一次元の垂直補間演算を施すことにより、前記原画像の垂直方向における歪みを補正した垂直補正画像データを生成する、垂直補正ステップと、
水平方向の最大歪み量に応じた列数の前記垂直補正画像データを記憶可能な記憶手段に、前記垂直補正画像データを記憶する記憶ステップと、
水平方向の最大歪み量に応じた列数の前記垂直補正画像データが前記記憶手段に記憶されたとき動作を開始し、前記画像を構成する水平方向の画素点の位置に応じて規定される水平方向の歪みの補正量を示す、水平補正量パラメータに応じた画素点の位置の前記垂直補正画像データを前記記憶手段から読み出し、当該読みだした垂直補正画像データに対して前記水平補正量パラメータで規定される水平補間係数を用いて一次元の水平補間演算を施すことにより、前記原画像の水平方向における歪みを補正する、水平補正ステップと、を有し、
前記垂直補正ステップの処理と前記水平補正ステップの処理とが前記記憶ステップの処理を介して並行して同時的に行われ、前記歪みを持った原画像に対して垂直方向の歪み補正および水平方向の歪み補正を行う、
ことを特徴とする画像処理方法。
前記垂直補正量パラメータは、垂直方向の画素位置を示す整数成分と、位相成分を示す少数成分とを含み、
前記垂直補正ステップは、
前記垂直補正量パラメータの整数成分に応じて前記画素点における前記原画像データを選択的に取得する第１データ取得ステップと、
前記垂直補正量パラメータの小数成分に応じて前記垂直補間係数を生成する第１補間係数生成ステップと、
前記第１データ取得ステップにおいて取得された前記原画像データと、前記第１補間係数生成ステップにおいて生成された前記垂直補間係数とを用いて前記垂直補間演算を実行する第１補間演算ステップと
を有し、
前記水平補正量パラメータは、水平方向の画素位置を示す整数成分と、位相成分を示す少数成分とを含み、
前記水平補正ステップは、
前記水平補正量パラメータの整数成分に応じて、前記記憶手段から、前記画素点における前記原画像データを選択的に取得する第２データ取得ステップと、
前記水平補正量パラメータの小数成分に応じて前記水平補間係数を生成する第２補間係数生成ステップと、
前記第２データ取得ステップにおいて取得された前記原画像データと、前記第２補間係数生成ステップにおいて生成された前記水平補間係数とを用いて前記水平補間演算を実行する第２補間演算ステップと
を有する、
請求項１８に記載の画像処理方法。
少なくとも前記垂直補正ステップにおいて、前記垂直補間演算により画像データを求める画素点の垂直方向における間隔を調整することにより前記原画像を垂直方向において伸縮し、または
前記水平補正ステップにおいて、前記水平補間演算により画像データを求める画素点の水平方向における間隔を調整することにより前記原画像を水平方向において伸縮する
請求項１８に記載の画像処理方法。