JP2005057529A - 画像処理方法、画像処理装置およびプログラム - Google Patents

Abstract

【課題】
ディジタルカメラ等によるカラー撮像においてリサイズ処理が縮小のとき、色補間でいったんデータを増大させてリサイズで再び減少させるという演算冗長性を回避するとともに処理後の画像品位も保つ。
【解決手段】
本発明は、色補間処理とリサイズ処理とを従来のように別処理として行なうことに伴う演算冗長性を回避し、しかもリサイズが縮小の場合でも、ローデータ損失を回避して高品位の画像を保持する画像処理の装置、方法、プログラムを提供する。
そのために色補間処理とリサイズ処理を図５に示すようにフィルタも含めて画像変換に統合し、1本化した画像変換フィルタ５０２に対してアップサンプリング処理はその後へ、ダウンサンプリング処理はその前へ移行することにより演算冗長性をなくした。
【選択図】 図５

Description

撮像画像データの変換を効率的に行う画像処理の装置、方法およびプログラムに関する。

ディジタルカメラ機器、たとえばディジタルカメラや携帯電話付属カメラなどにより被写体を動画や静止画としてカラー撮像しそれを記録、表示するとき、通常は撮像したデータを縮小して、つまり撮像装置が有している解像度で撮像したデータよりも低い解像度に下げてデータ量を少なくしてから、記録あるいはプレビュー表示する。図１2に示すように、カメラ機器での撮像可能画素数に比較して表示の画素数あるいは動画記録の画素数は通常は十分の１前後とかなり小さい。またカラー撮像素子（画素）から得られる撮像データは画素に配置した色フィルタの色の輝度の値しか得られないので、他の色値を得るには色補間する処理が必要である。

したがってディジタルカラー画像処理において、撮像から記録あるいは表示までの処理の途中で、色補間と縮小リサイズの処理が必要となる。
図１３は従来の一般的な画像処理装置の構成例である。図中の撮像手段１３０１では、色フィルタ、たとえば図１４(a)に示すR、G、Bの配列からなる原色フィルタ、あるいは同図(b)に示すYe、Cy、Mg、Grの配列からなる補色フィルタがＣＣＤ（Charge-Coupled Devices）からなる撮像素子を覆っているので、撮像素子に配置された色の輝度値をその画素の色の値として得る。これをローデータ（Raw Data）あるいは原画像データと呼ぶ。ここでは説明の便宜上、色フィルタが原色フィルタであって、その色の配列が図１４(a)に示した、広く使われているベイア（Bayer）配列とする。ベイア配列では、G色は他のR色、B色と異なって配列単位を構成する４画素のうち２画素を占め市松状に配置されている。

こうして撮像した原画像データに対して、図１３の撮像処理部分１３０２内の色補間手段１３０３で色補間し、その結果の画像に対してリサイズ手段１３０４でリサイズを行う。原画像データは各画素1色から成る画像データであり、画素のそれ以外の色の値を仮に０値としてその色値を推定、算出するための演算処理が狭義の色補間処理である。図１５に示すように、空間処理的にみれば、色補間はR、B、G各色ごとに原画像と同じサイズの画像データを実記憶域または仮想のデータプレーン上に得ることである。

また図１６に示すように信号処理的にみれば、色補間は原画像であるローデータの水平または垂直方向のデータを順次入力し、そのデータに対して↓２のダウンサンプリングによる指定色分離、抽出のための間引き（データ量は２分の１に）と、↑２のアップサンプリングによるデータ間へのひとつの０値挿入（データ量は２倍に）とを行う処理のことである。この図の例では、水平方向の画像データが間引かれて、その代わりにダミーとして０値のデータが挿入され、後で補間値が与えられる様子を示している。この色補間の処理を模式的に示したものが図１７（a）の１７０１である。ここでHｃは色補間フィルタである。なお原画像データに対する色分離と０値挿入の過程は、元来は撮像手段１３０１で行うべき処理とも考えられるが、ここでは色補間処理の一部とみなす。ただし原画像データから特定の色分離後のデータも原画像データと呼ぶことがあり、この場合の原画像データに対しては色分離は必要ないので、色補間にも色分離は含めない。今後特に断りがなければ原画像データは色分離前の画像データを言う。

次に、図１３のリサイズ手段１３０４は、色補間された画像データのサイズ変更であるリサイズ（サイズ変更）を行う。リサイズを模式的に表現したものが図１７(a)のリサイズ処理１７０２である。これは画像の水平、垂直方向のリサイズがともにU/Dの時のリサイズの処理部分を表している。↑UはデータをU倍に増加するアップサンプリングを、↓DはD分の１に間引くダウンサンプリングを表している。詳しく言うと、↑Uはデータひとつのデータに対して、そのデータの直後に、色補間の場合と同様にU-1個の0値のデータを挿入する。また↓DはD個のデータに対してそのうちたとえば最初の１個だけを抽出し他は捨てる処理を行う。

さて、ここでデータ量に注目すると、色補間は↓２でローデータから当該色値のみ抽出した後は↑２で当該色のデータ量を２倍に増加させる処理であり、一方で縮小リサイズは当該色のデータ量を削減する処理である。このように色補間処理でいったん増加させたデータをリサイズでまた縮小するということは、これらの処理に冗長性があることを意味している。

従来技術における色補間、リサイズの冗長性をなくすための先行技術が特許文献１に開示されている。この先行技術では、画素のベイア配列のパターンを維持したまま、リサイズを先に行い、その後に色補間を行うので、縮小リサイズの場合にも上記のような冗長性はなく演算量は大幅に削減できる。
特開２００２−８４５４７号公報

しかしながら特許文献１では縮小でのリサイズ処理を色補間処理よりも先に行うため、原画像データの縮小に伴うローデータの損失が発生し、その後に行う色補間処理による画像の復元品位の低下をきたすことになる。このローデータの損失による復元品位の低下は、色補間を先に行う従来技術では生じなかったものである。
本発明は、上記の問題点に鑑み、色補間処理とリサイズ処理とを従来技術のように別処理として行なうことに伴う演算冗長性をなくし、しかもローデータ損失による画質劣化のない画像処理の装置、方法、プログラムを提供する。

上記問題を解決するため、
（１） 本発明の画像処理装置は、色フィルタを備えた複数のカラー撮像素子により撮像された原画像データに対し撮像素子に配置された色以外の色の値を補間する色補間と、色補間で補間された画像データに対し画像サイズを変更するリサイズとを一括して行う画像変換手段を備える、ことを特徴とする。

（２）また、前記色補間は前記原画像データに対する色分離と、色補間のためにデータ拡張を行う第１アップサンプリングと、補間値算出のための色補間フィルタ処理とに相当するデータ変換であり、前記リサイズは前記色補間処理後の画像データに対するデータ拡張を行う第2アップサンプリングと、画像サイズ変更データ算出のためのリサイズフィルタの処理と、データ縮小を行うダウンサンプリングとに相当するデータ変換であって、前記画像変換手段は、該色補間フィルタ処理と該リサイズフィルタ処理とを一括して処理する画像変換フィルタと、該第1アップサンプリングを行うひとつ以上の第1アップサンプラと該第２アップサンプリングを行うひとつ以上の第２アップサンプラと、該ダウンサンプリングを行うひとつ以上のダウンサンプラと、を備え、該第1アップサンプラと該第２アップサンプラとは該画像変換フィルタの後段に配置し、該ダウンサンプラは該画像変換フィルタの前段に配置することを特徴とする。

なおこの構成で色分離の処理部がなければ、処理対象は色分離後の原画像データであり、色分離の処理部が構成にあれば、処理対象は色分離前の原画像データである。
（３）さらに、前記色フィルタの色はベイア配列であって、前記画像変換手段は、ベイア配列の配列単位４画素のうち2画素に配置されるGの色を別色のG1、G2とみなして４色の原画像データに対し色別に前記画像変換を行い、前記画像処理装置はさらに、前記画像変換で得られたG1色,G2色の画像変換データをもとにして低域G色と高域G色の各画像データとを生成する帯域分割手段と、該高域G色をもとにしてR色、該低域G色、B色の各画像変換データの高域補償を行う高域補償手段と、を備えることを特徴とする
としてもよい。

（４）また前記色フィルタの色はベイア配列であって、前記画像変換手段は、RとBの２色については前記画像変換により処理し、Gの色については、ベイア配列４要素のうち2画素に配置されるGの色を別色のG1、G2とみなして４色の原画像データに対し水平または垂直いずれか一方の方向に画像変換し、該画像変換されたG1、G2データをマージしたデータに対して、もうひとつの方向にリサイズのみを行うことにより処理することを特徴とする、としてもよい。

（５）上記問題を解決するため、本発明の画像変換の方法は、色フィルタを備えた撮像素子により撮像された原画像データに対し行う色補間とリサイズの処理の方法であって、該色補間と該リサイズの各データ変換を画像変換として一括して行い、該画像変換は、該色補間のためのフィルタである色補間フィルタと該リサイズのためのフィルタであるリサイズフィルタとを統合した画像変換フィルタの処理ステップと、該色補間のための第１アップサンプリングステップと、該リサイズのための第2アップサンプリングステップとダウンサンプリングステップと、を含み、該第１アップサンプリングステップと該第2アップサンプリングのステップとを該画像変換フィルタの処理ステップの後に行い、該ダウンサンプリングステップを該画像変換フィルタの処理ステップの前に行うことを特徴とする。

（６）上記問題を解決するため、本発明の画像変換のプログラムは、色フィルタを備えた撮像素子により撮像された原画像データに対し行う色補間とリサイズの処理をコンピュータに実行させるプログラムであって、該色補間と該リサイズの各データ変換を画像変換として一括して行い、該画像変換は、該色補間のためのフィルタである色補間フィルタと該リサイズのためのフィルタであるリサイズフィルタとを統合した画像変換フィルタの処理と、該色補間のための第１アップサンプリングの処理と、該リサイズのための第2アップサンプリング処理と、ダウンサンプリング処理と、を含み、該第１アップサンプリングの処理と該第2アップサンプリングの処理とを該画像変換フィルタの処理の後に行い、該ダウンサンプリング処理を該画像変換フィルタの処理の前に行うことを特徴とする。

本発明の画像処理装置は、
色フィルタを備えた複数のカラー撮像素子により撮像された原画像データに対し撮像素子に配置された色以外の色の値を補間する色補間と、
色補間で補間された画像データに対し画像サイズを変更するリサイズとを
一括して行う画像変換手段
を備える。

この構成により、色補間とリサイズの処理は従来技術では別々のハードモジュールにおいてそれぞれのフィルタ演算回路などにより処理されてきたが、本発明のこの構成により、色補間とリサイズの２つの処理モジュールが画像変換モジュールに1本化、簡素化される。
さらに色補間とリサイズの両処理の全体での演算最適化をして冗長性をなくすための前提条件が整う。

また、本発明の画像処理装置は、その画像変換手段が、色補間フィルタ処理とリサイズフィルタ処理とを一括して処理する画像変換フィルタと、色補間のための第1アップサンプリングを行うひとつ以上の第1アップサンプラと、リサイズのための第２アップサンプリングを行うひとつ以上の第２アップサンプラと、リサイズのためのダウンサンプリングを行うひとつ以上のダウンサンプラとを備え、第1アップサンプラと第２アップサンプラとは画像変換フィルタの後段に配置し、ダウンサンプラは画像変換フィルタの前段に配置することを特徴とする。

この構成は、色補間とリサイズの処理に関して文献１で開示された技術を除く従来技術における場合と機能的に等価な処理であり、しかも演算の冗長性のない最適化された構成である。したがって画像品位を落とすことがなく、しかも従来に比べて演算量を大幅に軽減できる。
さらに、本発明の画像処理装置は、撮像素子の色フィルタがベイア配列であり、その配列単位４画素のうち2画素に配置されるGの色を別色のG1、G2とみなして４色の原画像データに対し色別に前記画像変換を行い、前記画像変換で得られたG1色,G2色の画像変換データをもとにして低域G色と高域G色の各画像データとを生成する帯域分割手段と、該高域G色をもとにしてR色、該低域G色、B色の各画像変換データの高域補償を行う高域補償手段とを備える、
としてもよい。

この構成によれば、画像変換の後でさらに画像データの高域化の処理も行うので、後の記録・再生レベルの要求に対応できる。
また、本発明の画像処理装置は、撮像素子の色フィルタがベイア配列であり、画像変換手段は、RとBの２色については前記画像変換により処理し、Gの色については、ベイア配列４要素のうち2画素に配置されるGの色を別色のG1、G2とみなして４色の原画像データに対し水平または垂直いずれか一方の方向に画像変換し、該画像変換されたG1、G2データをマージしたデータに対して、もうひとつの方向にリサイズのみを行うことにより処理する、としてもよい。

この構成によれば、画像データの生成は低域に限定される。したがって高域補正の演算が不要であり、G1、G2データ生成の演算も前述の場合の約半分で済む。後の工程で独自の高域補償をする場合や、低域データによるプレビュー表示の場合にも利用できる。
本発明の画像変換の方法は、色フィルタを備えた撮像素子により撮像された原画像データに対し行う色補間とリサイズの処理の方法であって、該色補間と該リサイズの各データ変換を画像変換として一括して行い、該画像変換は、該色補間のためのフィルタである色補間フィルタと該リサイズのためのフィルタであるリサイズフィルタとを統合した画像変換フィルタの処理ステップと、該色補間のための第1アップサンプリングステップと、該リサイズのための第2アップサンプリングステップとダウンサンプリングステップと、を含み、該第1アップサンプリングステップと該第2アップサンプリングのステップとを該画像変換フィルタの処理ステップの後に行い、該ダウンサンプリングステップを該画像変換フィルタの処理ステップの前に行うことを特徴とする。

本発明の画像変換のプログラムは、色フィルタを備えた撮像素子により撮像された原画像データに対し行う色補間とリサイズの処理をコンピュータに実行させるプログラムであって、該色補間と該リサイズの各データ変換を画像変換として一括して行い、該画像変換は、該色補間のためのフィルタである色補間フィルタと該リサイズのためのフィルタであるリサイズフィルタとを統合した画像変換フィルタの処理と、該色補間のための第1アップサンプリングの処理と、該リサイズのための第2アップサンプリング処理とダウンサンプリング処理と、を含み、該第1アップサンプリングの処理と該第2アップサンプリングの処理とを該画像変換フィルタの処理の後に行い、該ダウンサンプリング処理を該画像変換フィルタの処理の前に行うものであり、コンピュータ上で実行させる。

本発明のプログラムを実行すれば、カメラ機器で画像処理専用の論理回路に代わりマイクロプロセッサのもとで動作させることができる。またあらかじめ記録しておいた撮像データを汎用のコンピュータで高速処理することにも使える。

（実施の形態１）
実施の形態１における画像処理装置の全体構成を図１に示す。実施の形態１の特徴的な部分は図の画像変換手段１０３とその後処理を行う帯域分割手段１０４、エッジ検出手段１０５、高域補償手段１０６である。次にこれらについて手段毎に説明する。
まず画像変換手段１０３は、従来技術の図１３の色補間手段１３０３とリサイズ手段１３０４を統合したものであるので、画像変換手段の構成は色補間手段とリサイズ手段の構成によって定義される。したがって色補間手段とリサイズ手段の統合の結果だけではなくその過程も説明する。

画像変換フィルタの元となる色補間フィルタHc、リサイズフィルタHRはともに線形であり、また水平方向、垂直方向に分離可能とする。これらのフィルタは伝達関数で表現できる。伝達関数の例を、色補間フィルタのタップ数が７の場合、およびリサイズフィルタのタップ数が１２の場合について図19の(a)と(ｂ)にそれぞれ示す。
今後特に断りのない限り、フィルタはどれも水平あるいは垂直の方向に関するものとする。なお水平、あるいは垂直の方向は便宜的なものであり、画像データの画素の並びが行列状であるので、行あるいは列のどちらかを水平、もう一方を垂直方向とみなせばよい。

画像変換フィルタを作成するための前処理として、リサイズフィルタHRを周知のポリフェーズ分解の方法によってU個に分割し、アップサンプラ（↑U）をリサイズフィルタの前段から後段に移動する。ここで前段とは処理の流れのなかで上流側を、後段とは下流側を意味する。この移動結果を図４(a)に示す。同図の４０２がリサイズフィルタである。そして色補間フィルタ４０１とリサイズフィルタ４０２とを統合して画像変換フィルタ４０３を作成する。色補間フィルタ、リサイズフィルタとその分割フィルタは線形であることから、画像変換フィルタのU分割フィルタ（U 個の部分フィルタHi）は、次式のようにそれらの積として与えられる。この様子を図４(ｂ)に示す。

Hi = Hｃ・RRi ここでi=0,1,…,U-1
ここでフィルタ演算の項数であるタップ数について述べる。統合前のリサイズフィルタHRのタップ数をMとするとU個のRRiのそれぞれのタップ数はM/Uとなる。ここでM/Uが割り切れないで商がｍ、余りがｎのときは、ポリフェーズ分解の定義により、iが大きい順にｎ個までの分割フィルタRRiは（ｍ＋１）タップ、それ以外はｍタップとなる。したがってポリフェーズ分解してもタップ総数は分割前と変わらない。Hcのタップ数をN とすると、RRiのタップ数はM/UなのでHiの部分フィルタのタップ数は（N―１＋M/U）となる。

次に、図４(ｂ)の画像変換手段の最適な構成を求める。そのためにアップサンプラ、ダウンサンプラの一般的な振舞いを見てみたい。フィルタの前段にアップサンプラ↑ｎがあるときを考える。アップサンプラ↑ｎは入力されたデータひとつに対して（ｎ−１）個の0値データを生成、付加して出力する処理を行う。つまりアップサンプラによりデータはn倍になるが殆どが０値である。これらのデータがフィルタに入ったとき、フィルタはその伝達関数に相当する積和の演算を行うが、０値のデータに対する演算は無駄となる。したがってフィルタの前にアップサンプラがあるときは演算の冗長性を避けるためにはそれをフィルタの後段に移動すればよい。

次は逆にフィルタの後段にダウンサンプラ↓ｎがあるときを考える。ダウンサンプラ↓ｎは入力されたデータｎ個に対してひとつだけ採用して出力し、残りはすべて捨てる間引き処理を行う。つまりフィルタで演算した結果のデータの大部分は無駄になってしまう。したがってフィルタの後にダウンサンプラがあるときは演算の冗長性を避けるためにはそれをフィルタの前段に移動すればよい。

なおアップサンプラやダウンサンプラのこれらの移動の前と後の構成においては、入力データが同じなら出力データも同じとなる。
上記の理由から、図４(ｂ)の画像変換手段の構成を最適化するために色補間のアップサンプラ↑２を画像変換フィルタ４０３の後段に、またリサイズのダウンサンプラ↓Dを前段に移動する。画像変換のU分割フィルタHiをそれぞれさらに２個づつにポリフェーズ分解（2分割フィルタHi,j（j=0,1）ができる）してから、色補間のアップサンプラ↑２を各部分フィルタの後段に移動する。そして２U個のHi,jフィルタをさらにそれぞれD個にポリフェーズ分解（D分割フィルタHi,j,k（k=0,1,…,D-1）ができる）してから、リサイズのダウンサンプラ↓Dを前段に移動する。こうして水平方向あるいは垂直方向の画像変換を行う２DU個の部分フィルタHi,j,kからなる画像変換フィルタを得る。これを図５の５０２に示す。この部分フィルタHi,j,kのタップ数は平均で（N−１＋M/U）/２Dとなる。

さて、アップサンプラ、ダウンサンプラの移動の結果、画像変換フィルタで行う演算は、従来のように色補間、リサイズの処理順で行ったときと同じ画像データの出力をするのにもかかわらず、これらの出力データを生成するのに必要かつ十分な処理あるいは演算だけになる。
したがって従来技術のように「色補間で拡大してからリサイズで縮小」での冗長性、あるいは「ローデータの縮減後に色補間」での画質劣化がない、演算的に最適化された構成を得る。この図５の構成が、リサイズがU/D倍での実施の形態１での、水平または垂直の画像変換を行う部分の画像変換手段における構成である。色補間フィルタ、リサイズフィルタの伝達関数が固定していても、リサイズのパラメタであるU、Dが異なると図５の構成も異なる。したがって、実際的にはあらかじめU、Dのいくつかの値の対のそれぞれについての図５の画像変換の構成を用意しておくことになる。なお図５の画像変換部５０１は、水平用と垂直用の２種類がある。

画像変換の構成の例として、リサイズフィルタの伝達関数がタップ数（演算項数）１２、リサイズが２/３倍、つまりアップサンプリング↑２、ダウンサンプリング↓３でリサイズする場合について、図４(b)のリサイズフィルタ４０２の2分割フィルタの各伝達関数を図７(a)に示す。同じ条件で図５の２分割フィルタ５０３内の各D分割フィルタの伝達関数を図７(b)に示す。

フィルタを実現する演算回路の設計方法は、従来技術と同様であるので、ここでは簡単に述べる。たとえば、各部分フィルタの伝達関数が図７の(b)のときの図５の２分割フィルタ５０３に対応する回路図の例を、図６(a)の６０４に示す。この図６の６０１が図５のD分割フィルタH0,0,0の、６０２がH0,0,1の、６０３がH0,0,2の演算回路である。たとえば６０１は１データクロック前に入力されたデータをレジスタ０にストアしておきそれと係数a7との積と、最新の入力データと係数a1の積との和を出力する。６０２，６０３もそれぞれ同様に演算出力し、それぞれの出力データの総和を６０４の出力値としていることを示している。なお図のDFF（D-フリップフロップ）は１遅延素子である。

図6(a)ではひとつの部分フィルタでひとつの演算回路が対応しているが、実際には必ずしも1対１対応である必要はない。たとえば図６(b)は同図(a)の部分フィルタごとの演算回路をひとつの演算回路６１１にして３個の部分フィルタ間で共有し、セレクタとレジスタの使用により同図(a)と等価な演算処理を行っている。セレクタ６１３，６１４，６１５はセレクト信号SelをSel=2,1,0の演算サイクル順に制御することによりフィルタ係数の切替えとデータ格納先のレジスタの選択を行う。ひとつのSelで指定された積和の結果を累積レジスタ加算部６１２で和しておき、３サイクル目のSelが0で演算を終えたとき、累積レジスタの出力イネーブル信号oeをオンにして出力し、累積レジスタをクリアする。

このようにすると、上記3サイクル分の演算は、６タップフィルタを３サイクルに１回演算するのと等価であり、もとの2分割フィルタ６タップに必要な乗算器６個が２個に、加算器５個が2個に節減できる。これまで図５の2分割フィルタ５０３を実行する回路の例を説明してきたが、同じく2分割フィルタである５０４のデータ入力が５０３と全く同じであることに注目して、両者で回路を共有し、可変部分のデータと係数をレジスタにおくことにより部分フィルタごとの演算をレジスタ内容の置き換えで行うことができ、さらに回路の簡素化、節減を図ることができるが、回路最適化は本題ではないのでこれ以上の説明は省略する。

画像変換手段１０３は、ベイア配列のG色のうち上側をG1、下側をG2と記して別色扱いし、R、B、G1、G2の４色のデータごとに、以下の順で水平方向または垂直方向にR、B、G1、G2の画像変換データを生成する。
ある色について画像変換したい場合、当該色は色分離前の原画像データにおいては1行おき、あるいは1列おきに存在するので、画像変換手段１０３は当該色が存在する行または列をひとつおきに選択する。原画像の水平方向（行）または垂直方向（列）のある当該色のデータの列を、画像変換手段１０３はまず図５で示した構成で処理するが、同図の↓２のダウンサンプラ５１１により当該色だけがデータの列から分離される。ここで画像変換手段で処理する対象の原画像データがすでに色分離済みである場合には、図５の色分離のダウンサンプラ５１１は必要がない。

色分離済みの当該色のデータの列は基準のタイミング（クロック）で図５の画像変換部５０１に順次入力され、いくつかのルートをたどって画像変換の部分フィルタに入っていく。あるルートでは1/Dに間引かれて、ここで抽出された場合はすぐに部分フィルタに、また同じデータが別ルートでは１遅延（図のｚマイナス１乗の記号部分）の箇所を次のデータタイミングのときに通過し、同じように1/Dに間引かれるが、ここで抽出された場合は当該の部分フィルタに入力される、という具合に処理されていく。これらの部分フィルタでは、伝達関数で決められたフィルタ係数とそのフィルタ入力（あるいは入力済み）データとの積和の演算が行われる。

既述の数値例では従来技術でのリサイズの分割された部分フィルタも実施の形態１での画像変換の部分フィルタもどちらも2タップの演算であることは同じである。図5の画像変換部５０１では２分割フィルタHi,jの単位で演算データ出力を行う。つまりD分割フィルタHi,j,kの演算値のｋ＝０,１,…,D-1 についての総和が画像変換部の出力データのひとつとなる。

以上のようにして、処理したい色のある原画像データのすべての行データについて画像変換することで、原画像データの水平画像変換を行い、水平画像変換されたデータに対してさらに垂直画像変換を行う。この画像変換の様子を図８に示す。図８ではまず水平画像変換により、水平方向のサイズ（画素数）がH、垂直方向のサイズがVの原画像データを入力して、当該色の色分離後、図5の水平変換用の構成全体により水平画像変換を行う。こうして得られた水平方向のサイズがH（U/D）、垂直方向のサイズがV/2の当該色データに対して、垂直方向だけの色補間とリサイズとを図５の垂直変換用の画像変換部５０１の構成による垂直画像変換により行う。

なお水平と垂直の変換順序は逆でも同じ結果を得るが、その場合も同様にして垂直画像変換では、原画像データが色分離前なら図５の色分離のダウンサンプラ５１１を含む垂直用の構成全体を、色分離後なら図５の垂直用の画像変換部５０１を使用し、水平画像変換では図５の水平用の画像変換部５０１を使用する。
色補間やリサイズのフィルタはどちらもLPF（Low Pass Filter:低域通過フィルタ）の特性を有しているため、画像変換フィルタ５０２も同様の特性を継承する。そのため上述の画像変換手段で水平・垂直画像変換処理された画像変換データも高域部分が欠落しているので、ここでは低域色データと呼び、RL、BL、G1、G2データと記すことにする。

実施の形態１では、まずRとB色に関して画像変換手段で上述の画像変換を行って、低域のRLデータ、BLデータを得る。次にG1、G2についても別色とみなして、それぞれR、Bデータと同様にして画像変換を行う。ここでG1の画像変換データをG1データ、G2の変換データをG2データと記すことにする。
G1の画像変換データであるG1データを図９(a)に、またG2データを同図(b)に示す。
次に図１の帯域分割手段１０４によりG1、G2データをもとに、低域GであるGLデータ、高域GであるGHデータを生成する。
GLデータは
GL＝（G１＋G2）/2
の式で求める。

ここで、上の式はある画素のGLの値は、同じ画素位置のG1とG2の各色値の平均値と定義している。こうしてR、G、Bのローデータはいずれも低域データとして画像変換された。
次に画像変換データの後処理として図１の高域補償手段１０６により高域補償を行なう。まずG高域データであるGHをG1、G2各変換データからGLと同じように同じ画素位置の値を使って次式で求める。

GH ＝ G１−G2 またはG2−G1
上記右辺のどちらを選ぶかは図１のエッジ検出手段１０５によりエッジを算出して決める。図１０(a)に示すようにGHを求めたい画素A1の位置で水平方向のエッジ△H、垂直方向のエッジ△Vを算出する。ここで図１０のA1、A2等の意味は、AがRL、GL、BL、G1、G2の各色のうちあらかじめ決めておいた任意の１色のことであり、添え字の番号は画素の相対位置を指し、1がエッジ算出対象の画素を、２がその上、３が左等を意味する。そして△H＞△Vなら水平強調となるようにG1―G2を採用し、それ以外は垂直強調の G2―G1 を採用する。

次に図１の高域補償手段１０６により高域補償を行う。GHが画素ごとに決まれば図１０(b)に示すように、次の式により高域補償を色ごとの補正値（色係数とGHの積）を加えることにより行い、広域化されたR、G、Bである広域色データRα、Gα、Bαデータを得る。
広域色データ ＝ 低域色データ ＋ 色係数・GH
ここで色係数は色ごとに定義されるGHデータのゲインであり、固定値を用意してもよいし、エッジ情報に応じて調整してもよい。

以上が実施の形態１に固有な部分であり、図１の構成のうち残りの手段は従来技術と同様である。なお画像変換について説明の便宜上、水平または垂直方向の１次元画像変換としたが、水平・垂直の画像変換はそれと等価な2次元の画像変換でも同様な結果が得られるので2次元による方法でもよい。その場合はフィルタ計算も2次元（面積）データに対する演算となる。図１で示すその他の手段は従来技術と同様である。以上が本発明の第１の実施の形態である。

次に同じ画像データを処理した場合、従来技術に比べて画像変換への統合により演算がどれだけ軽減できるかを説明する。
比較のため、従来技術での最適化構成を求めておく。まず色補間処理とリサイズ処理のアップサンプラである↑２と↑Uを対応する各フィルタの後に移行するために、色補間フィルタを２個に、またリサイズフィルタをU個にそれぞれポリフェーズ分解する。その結果を図１７(ｂ)に示す。さらにリサイズフィルタの各部分フィルタをD分割し、リサイズ処理のアップサンプラである↓Dをリサイズフィルタの前に移行する。移行した結果が従来技術として演算的に最適化された構成であり、これを図１８に示す。先ほど説明した画像変換の数値例の場合リサイズフィルタをD分割した各部分フィルタのタップ数は同じく２となり、リサイズの伝達関数も係数など画像変換フィルタと異なる値ではあるものの、画像変換フィルタのD分割フィルタと同様な2項積和の演算式となる。

次に演算量の重要な因子となるデータレートについて述べる。一般にポリフェーズ分解の際にダウンサンプラ↓nをフィルタの前に、あるいはアップサンプラ↑nを後にすると、フィルタへの入力データレートは1/nになる。データレートが1/nになるとは単位時間あたりのデータ量、あるいは入力データ総数が1/nになるということであり、演算（乗算と加算）量も比例してほぼ1/nになることを意味する。

データレート倍率は、色分離↓２の直後を基準１とする。演算回数は、基準データレートでの入力データのクロック（データ間周期）あたりの値として示す。
またフィルタのタップ数を、色補間フィルタがNタップ、リサイズフィルタがMタップ、リサイズはU/D倍とする。
乗算回数は分割フィルタ数とそのタップ数とデータレート倍率の積で決まり、加算回数はフィルタタップ総数から１減じた数値に対してデータレート倍率を掛けたものに等しい。
従来の一般的な技術の場合、
色補間処理で
分割フィルタ数： 2
分割フィルタタップ数： N/2
データレート倍率：1
乗算回数：2(N/2)
加算回数：N-1
リサイズ処理で
分割フィルタ数： DU
分割フィルタタップ数： M/（DU）
データレート倍率：2/D
乗算回数：2/D(M/(DU))DU = 2M/D
加算回数： (2/D)((DU)M/(DU)-１)=2(M-1)/D
したがって合計では
乗算回数： N+２M/D
加算回数： N-1+2(M-1)/D
一方、本発明では
分割フィルタ数： ２DU
分割フィルタタップ数：（N-1＋M/U）/(２D）
データレート倍率：1/D
乗算回数：2DU(N-1+M/U)/(２D)(/D) = (N-1)U/D+M/D
加算回数：(１/D)（（２DU）（N-1＋M/U）/(２D)-１）＝(N-1)U/D＋(M-１)/D
演算量は対応項を見ると、乗算、加算ともに半分近くまで減少することがわかる。

数値の例として、以下にN=７、M=12、U＝２、D=3の場合について両者を比較する。
従来技術では
乗算回数：１５
加算回数：１４
本発明では
乗算回数：８
加算回数：８
このように1本化されたフィルタによって、演算回路が簡素化されるだけでなく、アップサンプラ、ダウンサンプラの移動が容易にでき、その結果画像変換フィルタの構築が容易にできる。しかもフィルタ入力のデータレートが大幅に低減できるので、演算回路もそれに比例して低減できることになり、ひいては回路規模や消費電力を削減できる。

（実施の形態２）
実施の形態２における画像処理装置の構成を図２に示し、画像変換手段の詳細を図３に示す。実施の形態２では低域R、Bの各データは実施の形態１で述べた低域のR、Bと同様に水平・垂直画像変換３０１で画像変換して得るが、G1、G2を使った高域補償はしない。またG 色については、G1、G2を別色扱いしない。1プレーンのGデータを作成するために、まず低域のRまたはBの変換データをもとに画像中央付近の任意に選択した画素を対象として図３のエッジ検出部３０２によりエッジを算出し、その方向により以下の処理を行う。

エッジが水平方向の場合、G1、G2の水平（行）方向の画像変換を行い、その画像変換データの各行をインターリーブでマージする。このインタリーブでマージするとは、まずG1データの第1行、ついでG2データの第1行、G1データの第2行、ついでG2データの第2行と上から順にG1、G2データの各行を交互に選んで合成していくことである。
こうしてマージしたデータに対して、次は垂直（列）方向のリサイズ処理のみを行う。その様子を図３の(a)と(b)に示す。

エッジが垂直方向の場合、垂直方向の画像変換を行い、その画像変換データの各列をインターリーブでマージしたデータにたいし、水平方向のリサイズ処理のみを行う。
実施の形態２は実施の形態１のようにG1、G2の水平、垂直の画像変換を両方行う必要はなく、また低域GデータであるGLの生成、高域GデータであるGHの生成、およびGHデータによる高域補償のどれも行わないので、実施の形態１よりも演算量をさらに大幅に軽減できる。以上が実施の形態２に固有な手段の説明であり、図１の構成のうち残りの手段は従来技術と同様である。

（その他の変形例）
本発明に関する２つの実施の形態に基いてこれまで説明してきたが、本発明は上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
発明は、色配列がベイア配列のかわりに他の原色配列あるいは補色配列としてもよい。これらの配列でも画像変換手段はベイア配列のときと同様である。

発明は、実施の形態で説明したステップを含む方法であるとしてもよい。
またこれらの方法を、コンピュータシステムを用いて実現するためのコンピュータプログラムであるとしてもよいし、前記プログラムを表すデジタル信号であるとしてもよい。
図１の画像変換手段１０３を画像変換のプログラムで実現するための処理のフローを図１１に示す。図１１(a)は画像変換のプログラムのメイン部であり、４色の色ごと（図中のS１０１）に水平（S１０２）、垂直（S１０３）の画像変換により画像変換を行う。

同図(b)の水平画像変換ルーチンは、指定色の水平画像変換を行う。指定色のデータを含む行ごと（S２０１）に色データだけ間引いたデータ列を作成し（S２０２）、データ変換ルーチンを呼び出して（S２０３）、このデータ列の画像変換を行い変換データを出力する。
同図(c)はデータ変換ルーチンは、図５に示したようにU分割（S３０２）、２分割（S３０３）と順に分割した２分割フィルタHi,jの演算値を画像変換データとして出力（S３０７）する。ここで2分割フィルタHi,jは、D分割フィルタHi,j,k（ｋ＝U-1,U-2,…,0）の集合なので、その演算値はこれらのD分割フィルタ演算値の合計により得られる（S３０４、S３０５、S３０６）。

なお同図(c)のダウンサンプルデータサイクル（S３０１）の意味は、色データ列の処理を進める際に、最初０番目のデータ開始でサイクル０とし、その０番目データが図５の２分割フィルタ内の１番下にあるD分割フィルタHi,j,U-1に入力したタイミングで、図５の一番下のD分割フィルタから順に２分割フィルタHi,jのすべてのD分割フィルタの演算値の和を求め、それを上述した２分割フィルタHi,jの演算値として出力する。そして次に駒を進めてサイクル１（データ列D番目）で同様な処理、サイクル２（同２D番目）、と以下同様にサイクルが
データ数/D (を超えない最大整数)
に至るまで同様な処理を繰り返して、水平画像変換データを順次出力する。なお垂直画像変換ルーチンの処理は、入力が水平画像変換データのすべての列のデータであることを除き水平画像変換の処理と同様なので図示していない。以上が本発明のプログラムによる実施例である。

また、本発明は、電気通信回線、無線又は有線通信回線、若しくはインターネットに代表されるネットワーク等を経由して伝送される前記プログラム又は前記デジタル信号であるとしてもよい。
また、本発明は、CPU及びメモリを備えたコンピュータシステムであり、前記メモリは前記プログラムを記憶しており、前記CPUは前記メモリに記憶されている前記プログラムに従って動作することにより、前記方法を実現するとしてもよい。

また、前記プログラムは、前記記録媒体に記録されて移送され、若しくは、前記ネットワーク等を経由して移送され、独立した他のコンピュータシステムにおいて実施されるとしてもよい。

本発明はカラーディジタルカメラ機器類に利用でき、またプログラムとしてディジタルカメラによりあらかじめ撮像しておいた原画像データの処理にも利用できる。

本発明の実施の形態１の構成を示すブロック図である。 本発明の実施の形態２の構成を示すブロック図である。 本発明の実施の形態２の画像変換手段の詳細ブロック図である。 従来技術の色補間フィルタとリサイズフィルタから本発明の画像変換フィルタの 統合の様子を示す図である。 本発明の画像変換手段の構成図である。 本発明の画像変換フィルタを実現する回路の例である。 本発明の画像変換フィルタの伝達関数の例である。 本発明の水平・垂直画像変換フィルタによるデータ変換の様子を示す図である。

G1、G2データ、低域と高域のGデータの各々を示す図である。 エッジの算出と高域補償処理の様子を示す図である。 本発明のプログラムの処理のフローチャートである。 カメラ撮像時、記録時、表示時のそれぞれの画像サイズ例を示す図である。 従来の一般的な画像処理の構成を示すブロック図である。 カラーフィルタ配列を示す図である。 原色フィルタでの色補間の2次元の処理図である。 色補間、リサイズの流れを信号処理的に示す図である。 従来技術における色補間とリサイズの処理の構成を示す図である。 従来技術における色補間とリサイズのそれぞれの処理の最適化された構成を 示す図である。 従来技術における色補間とリサイズのフィルタの伝達関数の例である。

符号の説明

１０１ 撮像手段
１０２ 撮像処理部
１０３ 画像変換手段
１０４ 帯域分割手段
１０５ エッジ検出手段
１０６ 高域補償手段
２０１ 画像処理部
２０２ 画像変換手段
３０１ 水平・垂直画像変換
３０２ エッジ検出部
４０１ 色補間フィルタ
４０２ リサイズフィルタ
４０３ 画像変換フィルタ
５０１ 画像変換部
５０２ 画像変換フィルタ
５０３ ２分割フィルタ
５０４ ２分割フィルタ
５１１ 色分離のダウンサンプラ
６０１ D分割フィルタH0,0,0実現回路例
６０２ D分割フィルタH0,0,1実現回路例
６０３ D分割フィルタH0,0,2実現回路例
６１１ ２分割フィルタH0,0実現回路例
６１２ ２分割フィルタH0,0演算結果
６１３ 第１項係数セレクタ
６１４ データレジスタセレクタ
６１５ 第2項係数セレクタ
１３０１ 撮像手段
１３０２ 撮像処理部
１３０３ 色補間手段
１３０４ リサイズ手段
１７０１ 色補間処理部
１７０２ リサイズ処理部
１８０１ 色補間処理部
１８０２ リサイズ処理部

Claims (6)

1. 色フィルタを備えた複数のカラー撮像素子により撮像された原画像データに対し撮像素子に配置された色以外の色の値を補間する色補間と、
   色補間で補間された画像データに対し画像サイズを変更するリサイズと
   を一括して行う画像変換手段
   を備えることを特徴とする画像処理装置。
2. 前記色補間は前記原画像データに対する色分離と、
   色補間のためにデータ拡張を行う第１アップサンプリングと、
   補間値算出のための色補間フィルタ処理と
   に相当するデータ変換であり、
   前記リサイズは前記色補間処理後の画像データに対する
   データ拡張を行う第2アップサンプリングと、
   画像サイズ変更データ算出のためのリサイズフィルタの処理と、
   データ縮小を行うダウンサンプリングと
   に相当するデータ変換であって、
   前記画像変換手段は、
   該色補間フィルタ処理と該リサイズフィルタ処理とを
   一括して処理する画像変換フィルタと、
   該第1アップサンプリングを行うひとつ以上の第1アップサンプラと
   該第２アップサンプリングを行うひとつ以上の第２アップサンプラと、
   該ダウンサンプリングを行うひとつ以上のダウンサンプラと
   を備え、
   該第1アップサンプラと該第２アップサンプラとは
   該画像変換フィルタの後段に配置し、
   該ダウンサンプラは該画像変換フィルタの前段に配置する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記色フィルタの色はベイア配列であって、
   前記画像変換手段は
   ベイア配列の配列単位４画素のうち2画素に配置されるGの色を別色のG1、G2とみなして４色の原画像データに対し色別に前記画像変換を行い、
   前記画像処理装置はさらに、
   前記画像変換で得られたG1色,G2色の画像変換データをもとにして低域G色と高域G色の各画像データとを生成する帯域分割手段と、
   該高域G色をもとにしてR色、該低域G色、B色の各画像変換データの高域補償を行う高域補償手段と、
   を備えることを特徴とする請求項２に記載の画像処理装置。
4. 前記色フィルタの色はベイア配列であって、
   前記画像変換手段は、
   RとBの２色については前記画像変換により処理し、
   Gの色については、ベイア配列４要素のうち2画素に配置されるGの色を別色のG1、G2とみなして４色の原画像データに対し水平または垂直いずれか一方の方向に画像変換し、該画像変換されたG1、G2データをマージしたデータに対して、もうひとつの方向にリサイズのみを行うことにより処理する、
   ことを特徴とする請求項２に記載の画像処理装置。
5. 色フィルタを備えた撮像素子により撮像された原画像データに対し行う色補間とリサイズの処理の方法であって、
   該色補間と該リサイズの各データ変換を画像変換として一括して行い
   該画像変換は、
   該色補間のためのフィルタである色補間フィルタと該リサイズのためのフィルタであるリサイズフィルタとを統合した画像変換フィルタの処理ステップと、
   該色補間のための第１アップサンプリングステップと、
   該リサイズのための第2アップサンプリングステップとダウンサンプリングステップと、
   を含み、
   該第1アップサンプリングステップと該第2アップサンプリングのステップと
   を該画像変換フィルタの処理ステップの後に行い、
   該ダウンサンプリングステップ
   を該画像変換フィルタの処理ステップの前に行う
   ことを特徴とする画像変換の方法。
6. 色フィルタを備えた撮像素子により撮像された原画像データに対し行う色補間とリサイズの処理をコンピュータに実行させるプログラムであって、
   該色補間と該リサイズの各データ変換を画像変換として一括して行い、
   該画像変換は、該色補間のためのフィルタである色補間フィルタと該リサイズのためのフィルタであるリサイズフィルタとを統合した画像変換フィルタの処理と、
   該色補間のための第１アップサンプリングの処理と、
   該リサイズのための第2アップサンプリング処理とダウンサンプリング処理と、
   を含み、
   該第１アップサンプリングの処理と該第2アップサンプリングの処理と
   を該画像変換フィルタ処理の後に行い、
   該ダウンサンプリング処理
   を該画像変換フィルタ処理の前に行う
   ことを特徴とする画像変換のプログラム。

Images