JP4136255B2 - 画像処理装置及びその方法 - Google Patents
画像処理装置及びその方法 Download PDFInfo
- Publication number
- JP4136255B2 JP4136255B2 JP2000053737A JP2000053737A JP4136255B2 JP 4136255 B2 JP4136255 B2 JP 4136255B2 JP 2000053737 A JP2000053737 A JP 2000053737A JP 2000053737 A JP2000053737 A JP 2000053737A JP 4136255 B2 JP4136255 B2 JP 4136255B2
- Authority
- JP
- Japan
- Prior art keywords
- matrix
- image data
- horizontal
- vertical
- averaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title description 19
- 239000011159 matrix material Substances 0.000 claims description 101
- 238000012935 Averaging Methods 0.000 claims description 59
- 230000010354 integration Effects 0.000 claims description 51
- 238000000926 separation method Methods 0.000 claims description 11
- 238000003672 processing method Methods 0.000 claims 4
- 238000010586 diagram Methods 0.000 description 11
- 230000008707 rearrangement Effects 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007323 disproportionation reaction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画像処理装置及びその方法に関し、特にベイヤー配列画像から縮小画像を生成する画像処理装置及びその方法に関する。
【０００２】
【従来の技術】
一般に、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置において、その撮像センサによって撮影・出力される被写体の画像データは、原色系であればＲＧＢのベイヤー配列である。このＲＧＢのベイヤー配列とは、解像度の上で重要なＧを市松状に配置することによって、奇数／偶数番走査線からＲＧ／ＢＧ信号、又はＢＧ／ＲＧ信号を検出する配列である。ベイヤー配列の種類としては、図２の（Ａ）〜（Ｄ）に示す４種類が一般的である。
【０００３】
この様なベイヤー配列をなすＲＧＢ画像データを縮小する方法としては、ＲＧＢそれぞれについて、注目画素に存在しない他の２つの要素（色成分）を、周辺画素を利用して線形もしくは、適応的に補間する方法が良く知られている。
【０００４】
ただし、入力とする画像サイズに対して間引き処理を行って出力画像サイズを十分に縮小する様な場合には、生成される画質よりも、ハードウエア上の制限や入出力のレーテンシの観点から、画素を補間せずに入力されたベイヤー配列に基づいてＲＧＢ画像を作成することがある。この方法の具体例について、図３を参照して以下に説明する。
【０００５】
図３は、従来の縮小画像生成回路の構成を示す図である。該構成によれば、ライン毎に入力されるベイヤー配列画像のＲＧＢそれぞれの画素に対して、多段のローパスフィルタ（以降、ＬＰＦ）処理と画素間引き処理を水平及び垂直方向にて行なうことにより、入力原画像サイズを徐々に縮小していく。
【０００６】
図３に示す３０２が、ＲＧＢ縮小サムネイル画像の生成を実現する縮小部である。入力されたベイヤー配列画像は、水平ＬＰＦ３０２にて水平方向の高周波成分がカットされる。そして水平間引き部３０４において所望の間隔にて水平方向に画素をサンプリングすることによって、水平方向が縮小された一次的な画像を作成する。更に、以上の水平方向と同様の処理を次段の垂直ＬＰＦ３０５及び垂直間引き部３０６において行うことにより、水平・垂直方向ともに縮小された画像が生成される。
【０００７】
この水平方向及び垂直方向のＬＰＦ処理及び間引き処理を複数回繰り返すこと、即ち縮小部を複数段備えることによって、入力画像サイズから所望の締小率のＲＧＢ画像を生成して出力することができた。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記従来の縮小画像生成回路においては、縮小率が大きくなるに従ってより多くの縮小部を備える必要がある。
【０００９】
縮小率に応じた十分な段数のＬＰＦ及び間引き部による処理が行えなかった場合には、生成される縮小画像にはモアレが発生してしまい、著しい画質劣化が生じてしまう。
【００１０】
また、画像データがライン順次に入力される場合には、垂直方向のＬＰＦを実現するためのタップメモリが必要となるため、備えるべきメモリ容量が莫大になってしまうという問題がある。
【００１１】
また、上記のように縮小画像生成処理をハードウエアによって実現する場合には、フィルタ段数は固定となるため、処理できる縮小率の範囲が限定されてしまい、汎用性に乏しい。
【００１２】
ここで、上述したようなＬＰＦを使用した縮小方法の他にも、図４に示すような領域積分方法によって縮小画像を生成する方法も知られている。この方法によれば、固定サイズ（この場合９×９）のマトリクスを各ＲＧＢプレーン上に敷き詰め、該マトリクス単位で平均化を行って１画素として出力することによって、縮小画像を得る。
【００１３】
しかしながらこの方法においても、入力画像サイズと出力画像サイズの関係によっては、マトリクス処理の対象とならない画素が水平、垂直とも数多く発生してしまう場合があり、入力情報を十分に使用することができないという問題があった。図４に示す例では、水平／垂直それぞれ４２／２８画素が切り捨てられてしまう。
【００１４】
そこで領域積分方法を適用した縮小を行う際に、マトリクス処理の対象外となる画素を無くそうとすると、マトリクスサイズの制御や平均時の計算方法等が複雑になってしまうため、ハードウエアで実現する事が非常に困難であった。
【００１５】
本発明は上述した問題を解決するために成されたものであり、ベイヤー配列をなす原画像から、少ないメモリ容量にて良質な縮小画像を生成することが可能な画像処理装置及びその方法を提供することを目的とする。
【００１６】
【課題を解決するための手段】
上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。
【００１７】
即ち、各成分がベイヤー配列をなす画像データを入力し、その縮小画像データを出力する画像処理装置であって、各成分がベイヤー配列をなす画像データを該成分毎のプレーンに分離する分離手段と、前記画像データの水平及び垂直方向の縮小率に基づいて、各プレーン毎にマトリクスの水平及び垂直方向のサイズを決定するマトリクス決定手段と、各プレーン毎に、前記マトリクス決定手段において決定されたマトリクスの水平方向サイズに基づいて、画像データを水平方向に積分して平均化する水平平均化手段と、各プレーン毎に、前記水平平均化手段において水平方向に平均化された画像データを、前記マトリクスの垂直方向サイズに基づいて垂直方向に積分して平均化する垂直平均化手段と、前記垂直平均化手段において垂直方向に平均化された各プレーンの画像データを、前記ベイヤー配列に応じて点順次に出力する出力手段と、を有することを特徴とする。
【００１８】
更に、前記垂直平均化手段において垂直方向に平均化された各プレーンの画像データのそれぞれ１ライン分を保持する保持手段を備え、前記出力手段は、前記ベイヤー配列に応じて前記保持手段に保持された画像データを読み出すことによって各プレーンの画像データを点順次に出力することを特徴とする。
【００１９】
【発明の実施の形態】
以下、本発明に係る一実施形態について、図面を参照して詳細に説明する。
【００２０】
図１は、本実施形態における縮小画像作成回路の構成を示すブロック図である。以下、各構成について詳細に説明する。
【００２１】
［ＲＧＢ分離回路１０２］
ＲＧＢ分離回路１０２には、図２に示す４種類のベイヤー配列のいずれかの形態を有する画像が、ライン単位で水平方向の画素順次に入力される。ただしＲＧＢ分離回路１０２へは、図２に示すいずれのベイヤー配列が入力されるかを表す２ビットの識別信号がパラメータとして入力される必要がある。ＲＧＢ分離回路１０２からは、現タイミングにおけるデータがＲ，Ｇ，Ｂのどの成分であるかを示す同期信号が出力される。
【００２２】
［任意サイズ積分マトリクス発生部１０６］
任意サイズ積分マトリクス発生部１０６は、ＲＧＢ分離回路１０２からの出力同期信号を入力し、図５に示す各積分マトリクスの右端列と右下端を示すそれぞれのパルス信号MAT_H，R_MAT_CLRを出力する。
【００２３】
ここで図５は、入力画像を水平方向３０００画素、垂直方向２０００画素からなるベイヤー配列とし、出力サムネイル画像サイズを水平方向１６２画素、垂直方向１０８画素とする場合について、特にＲＢプレーンの例を示してある。即ち、ＲＢプレーンにおける処理対象となる画素数は、ベイヤー配列の特性により水平／垂直方向にそれぞれ１５００／１０００画素となる。尚、Ｇプレーンについては１５００／２０００画素となる。
【００２４】
任意サイズ積分マトリクス発生部１０６では、水平／垂直方向の縮小率を決定する。図５に示す例によれば、水平方向の縮小率THINhは１６２／１５００＝０．１０８、即ちTHINh＝１０．８％である。同様に、垂直方向のＲＢプレーンの縮小率THINrbvは１０８／１０００＝０．１０８、即ちTHINrbv＝１０．８％である。また、Ｇプレーンの縮小率THINgvは１０８／２０００＝０．０５４、即ちTHINgv＝５．４％（右に１ビットシフト）となる。
【００２５】
本実施形態においては、除算の結果として余りが生じる場合にも問題はなく、商をパラメータ精度として存在する桁数で丸めることで、処理可能である。
【００２６】
上述したようにして縮小率を設定した任意サイズマトリクス発生部１０６では、以下に示すBresenhamの原理を応用したアルゴリズムによって、各プレーン上のマトリクスの右端列のタイミング（MAT_H）を発生する。即ち、任意サイズマトリクス発生部１０６は、以下に示す論理回路を実現する。
【００２７】
TMP ＝ THINh − 100
IF（TMP ＞ 0） THEN
MAT_H ＝ 1
TMP ＝ TMP − 100
ELSE
MAT_H ＝ 0
TMP ＝ TMP ＋ THINh …(1)
ここで、THINh＝１０．８であり、MAT_Hはマトリクス右端列を表す信号である。即ち、MAT_Hが「１」であれば、マトリクス右端を示す。尚、TMPは任意サイズマトリクス発生部１０６内にフリップフロップを適宜備えることによって実現される変数を示す。
【００２８】
任意サイズ積分マトリクス発生部１０６においては即ち、水平方向の縮小率THINhと１００％との差分に対して、THINhを画素毎に足しこんでいき、その累積が１００％を越えた時点で、マトリクス右端列を検出する。
【００２９】
尚、任意サイズ積分マトリクス発生部１０６では、垂直方向についても上記水平方向の場合と同様の論理回路を構成することによって、マトリクスの右下端のタイミングを示す信号R_MAT_CLRを発生する。任意サイズマトリクス発生部１０６においては、この水平、垂直２方向についての論理回路を、ＲＧＢの各プレーンに対して構成する。
【００３０】
任意サイズマトリクス発生部１０６から出力されるマトリクスのサイズは、水平／垂直ともに、縮小率が０でない場合にはＮ（自然数）、もしくはＮ＋１の２種類のみ、即ち、必ず偶数と奇数の２つの値の組み合わせとなる。図５に示す例では、水平方向サイズが９画素のマトリクスと１０画素のマトリクスが発生していることが分かる。尚、この２種類の値は、縮小率を決定した時点で自明となるため、縮小率（即ち入／出力画像サイズ）とともに、本装置にパラメータとして予め与えられる。
【００３１】
以上説明したように任意サイズマトリクス発生部１０６によれば、入出力画像サイズによらず、入力画像データの全てを有効に活用することができる。
【００３２】
［水平積分＆平均回路１０３］
水平積分＆平均回路１０３においても、ＲＧＢの各プレーン毎に処理部を設ける。ここで図６に、水平積分＆平均回路１０３におけるＲプレーン処理部についての主な構成を示す。
【００３３】
上述したように、任意サイズ積分マトリクス発生部１０６から発生されるマトリクスの水平／垂直方向それぞれのサイズは、必ず偶数と奇数の２つの値の組み合わせとなることを利用して、マトリクスの水平方向におけるサイズが偶数である場合のサイズ（画素数）の逆数をパラメータEVEN_NUM_H、奇数である場合のサイズ（画素数）の逆数をパラメータODD_NUM_Hとすれば、以下の論理を図６に示すように回路化することで、マトリクスの水平ラインの積分及び平均処理を自動的に行うことが可能となる。
【００３４】
IF（MAT_H ＝ 1）THEN
IF（ODD_EVEN ＝ 0）
R_AVE ＝ R_SUM_H × EVEN_NUM_H
ELSE
R_AVE ＝ R_SUM_H ×ODD_NUM_H
ODD_EVEN ＝ 0
ELSE
ODD_EVEN ＝ NOT ODD_EVEN
R_SUM_H ＝ R_SUM_H ＋ R_DATA …(2)
ここで、ODD_EVENは回路内に備える１ビットのフリップフロップ（不図示）に対応し、マトリクス内の画素数が奇数／偶数のいずれであるかを判別するために使用される変数を示す。R_DATAは入力データ、R_SUM_Hは水平方向のＲ値の累計を示し、R_AVEがＲプレーン上のマトリクスの一行の平均値を表す信号として得られる。ただし、MAT_H＝１の場合のみ、R_AVEの値は有効となる。
【００３５】
水平積分＆平均回路１０３においては即ち、マトリクス右端列において、マトリクスサイズが偶数であるか奇数であるかに応じて、水平方向の累積値に該マトリクス内の画素数の逆数を乗じることによって平均値を算出する。一方、マトリクス右端列でなければ、偶奇判定のための変数ODD_EVENの設定処理と共に、水平方向のＲ値を累積する。
【００３６】
図６によれば即ち、入力されたR_DATAが積分回路６０１で積分され、R_SUM_Hを出力する。マトリクス右端列を示すMAT_Hは、ベイヤー配列の特性に基づき１／２分周回路６０３で１／２分周され、マルチプレクサ６０４に対するイネーブル信号として入力される。マルチプレクサ６０４へはEVEN_NUM_H及びODD_NUM_Hが入力されており、不図示のODD_EVEN信号を選択信号として、そのいずれかがMAT_Hのタイミングで出力され、乗算器６０２においてR_SUM_Hと乗算される。この乗算結果が、Ｒプレーン上のマトリクスの一行の平均値を表すR_AVEが信号となる。
【００３７】
水平積分＆平均回路１０３においては、Ｂ，Ｇプレーンについても図６と同様の回路構成を備える。
【００３８】
［垂直積分＆平均回路１０４］
垂直積分＆平均回路１０４においても、ＲＧＢの各プレーン毎に処理部を設ける。ここで図７に、メモリ１０７及び垂直積分＆平均回路１０４におけるＲプレーン処理部についての主な構成を示す。
【００３９】
垂直積分＆平均回路１０４では、各マトリクスの水平方向に平均化されたデータについて、更に垂直方向に積分及び平均を行なうことにより、マトリクス全体の平均化を行う。
【００４０】
水平積分＆平均回路１０３から入力されるR_AVE信号は、マトリクスの先頭ライン（MAT_FIRST_LINE）においてメモリ１０７へ書き込まれ、それ以外の場合には加算器７０１において、同一マトリクス内の前ラインまでの積分結果R_INTGと加算（積分）される。また、マトリクスの最終行において加算器７０１の出力を平均化する。
【００４１】
ここでも水平積分＆平均回路１０３と同様に、任意サイズ積分マトリクス発生部１０６から発生されるマトリクスの水平／垂直方向それぞれのサイズが必ず偶数と奇数の２つの値の組み合わせとなることを利用する。即ち、マトリクスの垂直方向におけるサイズが偶数である場合のサイズ（画素数）の逆数をパラメータEVEN_NUM_V、奇数である場合のサイズ（画素数）の逆数をパラメータODD_NUM_Vとし、マトリクス内においてライン数の偶奇を判定して選択し、乗算を行うことにより、Ｒプレーン上のマトリクス内の平均値を表すR_MAT_AVEを得る。このR_MAT_AVEはデコーダ７０３を介してメモリ１０７へ書き込まれる。このデコーダ７０３における動作は、以下の論理に従う。
【００４２】
IF（R_MAT_CLR ＝ 1）
THEN
MEM ＝ R_MAT_AVE
ELSE IF（MAT_FIRST_LINE ＝ 1）
THEN
MEM ＝ R_AVE
ELSE
MEM ＝ R_INTG …(3)
ここでR_MAT_CLR信号は、任意サイズ積分マトリクス発生部１０６にて発生した水平方向と垂直方向のタイミングパルスのＡＮＤゲート出力により得られる、マトリクスの右下端を表す信号である。またMAT_FIRST_LINE信号は、各マトリクスの先頭ラインであることを示す信号である。
【００４３】
デコーダ７０３においては即ち、マトリクス右下端であればR_MAT_AVEをメモリ１０７へ書き込み、マトリクス先頭ラインであればR_AVEをメモリ１０７に書き込み、その他の場合はマトリクス内の累積値であるR_INTGをメモリ１０７に書き込む。
【００４４】
図７によれば即ち、Ｒラインの有効同期信号に基づいて、立ち上がり検出回路７０４でブロックの開始を検出し、それを１／２分周回路７０５で１／２分周した信号をマルチプレクサ７０６のイネーブル信号として入力する。マルチプレクサ７０６へはEVEN_NUM_V及びODD_NUM_Vが入力されており、不図示の選択信号によってそのいずれかが上記ブロック開始のタイミングで出力され、乗算器７０２においてR_AVEの累積値と乗算される。この乗算結果がマルチプレクサ７０７を介して、Ｒプレーン上のマトリクス内の平均値を表すR_OUT信号として出力される。
【００４５】
マルチプレクサ７０７は、後段のＲＧＢ点順次並び替え部１０５の制御に基づいて、乗算器７０２における乗算結果であるR_MAT_AVE、もしくはメモリ１０７に既に格納されているＲの平均値（R_MAT_AVE）のいずれかを、Ｒライン有効同期信号に基づいてR_OUT信号として出力する。
【００４６】
以上のように、垂直積分＆平均回路１０４においてマトリクスの垂直方向にも平均化された結果は、各色成分毎にR_OUT，G_OUT，B_OUTとして出力される。
【００４７】
以上説明したように、水平積分＆平均回路１０３及び垂直積分＆平均回路１０４においては、２つのマトリクスサイズに応じた逆数をパラメータとし、そのいずれかを自動的に選択して乗算を行うことによって縮小画像を出力する。即ち、縮小率に応じた縮小が可能であることから、本実施形態の縮小画像生成回路においては縮小率に汎用性があることが分かる。
【００４８】
［ＲＧＢ点順時並び替え部１０５］
図８は、メモリ１０７及びＲＧＢ点順時並び替え部１０５の主な構成を示すブロック図である。
【００４９】
ＲＧＢ点順時並び替え部１０５においては、垂直積分＆平均回路１０４からＲＧＢそれぞれの出力データR_OUT，G_OUT，B_OUTを取り出し、一旦８０２等の記憶素子に保持した後、ＲＧＢの点順時にて出力する。尚、図８において、データ同期信号はＲＧＢ分離回路１０２から入力され、マトリクスの右下端を表すR_MAT_CLR等のマトリクス同期信号は垂直積分＆平均回路１０４から入力される。
【００５０】
図２に示したようなベイヤー配列によれば、奇数／偶数ラインの組によってＲＧＢの各色成分が揃うため、ＲＧＢ点順時並び替え部１０５からデータが出力されるラインは、必ず原画像の偶数ライン目となることは明らかである。ただし原画像において、ＲもしくはＢ成分のいずれかが偶数ラインで、もう一方が奇数ラインで入力される。即ち、コントローラ８０１は現在入力されている原画像のベイヤー配列の種類に基づいて、ＲＧＢ各プレーンにおけるマトリクス右下端画素の位置関係を判断し、点順時にて出力する。
【００５１】
以下、点順次並び替え部１０５における動作について、具体的に説明する。
【００５２】
図９は、入力画像が図２の（Ａ）に示すベイヤー配列をなす場合の、ＲＧＢ点順次出力を示すタイミングチャートである。
【００５３】
同図によれば、コントローラ８０１は、例えばＲプレーンについてマトリクスの最終ラインであるＸ番目（Ｘは自然数）ライン時には、垂直積分＆平均回路１０４よりR_OUTが入力されるが、この出力は行わない。上述したように垂直積分＆平均回路１０４において、R_OUTはR_MAT_CLR信号に同期してメモリ１０７に書き込まれている。
【００５４】
そして、Ｒのマトリクスにおける最終ラインの次ライン（Ｘ＋１番目ライン）において、該ラインは必ずＧ，Ｂの各マトリクスの最終ラインとなるので、コントローラ８０１はメモリ１０７に対して制御信号R_Memoryを出力することによって、メモリ１０７に保持されたＲデータを、Ｇ，Ｂプレーンのマトリクス右下端を示すタイミング信号B_MAT_CLRに同期して、マルチプレクサ７０７を介して読み出すことにより、R_OUT，G_OUT，B_OUTの順に出力する。
【００５５】
以上のようにして、Ｒ，Ｇ，Ｂ各プレーンについて垂直積分＆平均回路１０４でマトリクス内の積分＆平均化したデータ（R_OUT，G_OUT，B_OUT）を画素毎に、ＲＧＢ順に点順次出力する。この出力が即ち、本実施形態の縮小画像生成回路において出力される縮小画像データとなる。
【００５６】
尚、入力画像が図２の（Ｂ）に示すベイヤー配列をなす場合であっても、そのタイミングチャートは図９に示す様になることは言うまでもない。また、入力画像が図２の（Ｃ），（Ｄ）のいずれかに示すベイヤー配列をなす場合には、図９においてＲとＢを入れ換えたタイミングチャートが得られることは言うまでもない。
【００５７】
従って本実施形態の縮小画像生成回路においては、垂直積分＆平均回路１０４及びＲＧＢ点順次並べ替え部１０５において使用されるメモリ１０７の容量として、ＲＧＢ毎に縮小画像の１ライン分、即ち計３ライン分のみを用意すれば良い。
【００５８】
［処理フローチャート］
ここで、以上説明した本実施形態の縮小画像生成回路における処理を簡単にまとめて、図１０のフローチャートを参照して説明する。
【００５９】
まずステップＳ１０１において、ＲＧＢ分離回路１０２でベイヤー配列の種類に応じてＲＧＢプレーンを分離する。
【００６０】
そしてステップＳ１０２で、任意サイズ積分マトリクス発生部１０６で縮小率に応じた最適な縦横任意サイズのマトリクスを発生させる。
【００６１】
そしてステップＳ１０３で、水平積分＆平均回路１０３においてマトリクス内を水平方向に積分してその平均化パラメータを自動的に選択して平均化する。
【００６２】
そしてステップＳ１０４で、更に垂直積分＆平均回路１０４においてマトリクス内を垂直方向に積分してその平均化パラメータを自動的に選択して平均化する。
【００６３】
最後にステップＳ１０５で、ＲＧＢ点順次並び替え部１０５において各ＲＧＢプレーンのマトリクスの積分結果を任意のベイヤー配列からＲＧＢ点順時に並び替えて出力する。
【００６４】
以上説明したように本実施形態の縮小画像生成回路によれば、ベイヤー配列をなす原画像について、ＲＧＢ分離回路１０２でベイヤー配列の種類に応じてＲＧＢプレーンを分離し、任意サイズ積分マトリクス発生部１０６で縮小率に応じた最適な縦横任意サイズのマトリクスを発生させ、水平積分＆平均回路１０３においてマトリクス内を水平方向に積分して平均化し、更に垂直積分＆平均回路１０４においてマトリクス内を垂直方向に積分して平均化し、ＲＧＢ点順次並び替え部１０５において各ＲＧＢプレーンのマトリクスの積分結果を任意のベイヤー配列からＲＧＢ点順時に並び替えて出力する。このとき、垂直積分＆平均回路１０４における出力を保持するメモリ１０７の容量として、ＲＧＢ毎に縮小画像の１ライン分のみを用意すれば良い。
【００６５】
また、本実施形態の縮小画像生成回路においては、入出力画像サイズによらず、入力画像データの全てを有効に活用することができ、かつ、縮小率の汎用性に富む。
【００６６】
即ち本実施形態の縮小画像生成回路によれば、使用メモリサイズが小さく、かつ処理可能な縮小率範囲に汎用性があり、かつ入力画像データを十分に有効活用して、縮小画像を生成することが可能である。
【００６７】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００６８】
【発明の効果】
以上説明したように本発明によれば、ベイヤー配列をなす原画像から、少ないメモリ容量にて良質な縮小画像を生成することが可能となる。
【図面の簡単な説明】
【図１】本発明に係る一実施形態における縮小画像生成回路の構成を示すブロック図である。
【図２】原画像のベイヤー配列の種類を示す図である。
【図３】従来の縮小画像生成回路の構成を示すブロック図である。
【図４】従来の領域積分法による縮小画像生成方法を説明するための図である。
【図５】本実施形態におけるマトリクスを説明するための図である。
【図６】本実施形態における水平積分＆平均回路の構成を示す図である。
【図７】本実施形態における垂直積分＆平均回路の構成を示す図である。
【図８】本実施形態におけるＲＧＢ点順次並び替え部の構成を示す図である。
【図９】本実施形態におけるＲＧＢ点順次出力を示すタイミングチャートである。
【図１０】本実施形態の縮小画像生成回路における処理を示すフローチャートである。
【符号の説明】
１０１ 縮小画像生成回路
１０２ ＲＧＢ分離回路
１０３ 水平積分＆平均回路
１０４ 垂直積分＆平均回路
１０５ ＲＧＢ点順次並び替え回路
１０６ 任意サイズ積分マトリクス発生部
【発明の属する技術分野】
本発明は画像処理装置及びその方法に関し、特にベイヤー配列画像から縮小画像を生成する画像処理装置及びその方法に関する。
【０００２】
【従来の技術】
一般に、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置において、その撮像センサによって撮影・出力される被写体の画像データは、原色系であればＲＧＢのベイヤー配列である。このＲＧＢのベイヤー配列とは、解像度の上で重要なＧを市松状に配置することによって、奇数／偶数番走査線からＲＧ／ＢＧ信号、又はＢＧ／ＲＧ信号を検出する配列である。ベイヤー配列の種類としては、図２の（Ａ）〜（Ｄ）に示す４種類が一般的である。
【０００３】
この様なベイヤー配列をなすＲＧＢ画像データを縮小する方法としては、ＲＧＢそれぞれについて、注目画素に存在しない他の２つの要素（色成分）を、周辺画素を利用して線形もしくは、適応的に補間する方法が良く知られている。
【０００４】
ただし、入力とする画像サイズに対して間引き処理を行って出力画像サイズを十分に縮小する様な場合には、生成される画質よりも、ハードウエア上の制限や入出力のレーテンシの観点から、画素を補間せずに入力されたベイヤー配列に基づいてＲＧＢ画像を作成することがある。この方法の具体例について、図３を参照して以下に説明する。
【０００５】
図３は、従来の縮小画像生成回路の構成を示す図である。該構成によれば、ライン毎に入力されるベイヤー配列画像のＲＧＢそれぞれの画素に対して、多段のローパスフィルタ（以降、ＬＰＦ）処理と画素間引き処理を水平及び垂直方向にて行なうことにより、入力原画像サイズを徐々に縮小していく。
【０００６】
図３に示す３０２が、ＲＧＢ縮小サムネイル画像の生成を実現する縮小部である。入力されたベイヤー配列画像は、水平ＬＰＦ３０２にて水平方向の高周波成分がカットされる。そして水平間引き部３０４において所望の間隔にて水平方向に画素をサンプリングすることによって、水平方向が縮小された一次的な画像を作成する。更に、以上の水平方向と同様の処理を次段の垂直ＬＰＦ３０５及び垂直間引き部３０６において行うことにより、水平・垂直方向ともに縮小された画像が生成される。
【０００７】
この水平方向及び垂直方向のＬＰＦ処理及び間引き処理を複数回繰り返すこと、即ち縮小部を複数段備えることによって、入力画像サイズから所望の締小率のＲＧＢ画像を生成して出力することができた。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記従来の縮小画像生成回路においては、縮小率が大きくなるに従ってより多くの縮小部を備える必要がある。
【０００９】
縮小率に応じた十分な段数のＬＰＦ及び間引き部による処理が行えなかった場合には、生成される縮小画像にはモアレが発生してしまい、著しい画質劣化が生じてしまう。
【００１０】
また、画像データがライン順次に入力される場合には、垂直方向のＬＰＦを実現するためのタップメモリが必要となるため、備えるべきメモリ容量が莫大になってしまうという問題がある。
【００１１】
また、上記のように縮小画像生成処理をハードウエアによって実現する場合には、フィルタ段数は固定となるため、処理できる縮小率の範囲が限定されてしまい、汎用性に乏しい。
【００１２】
ここで、上述したようなＬＰＦを使用した縮小方法の他にも、図４に示すような領域積分方法によって縮小画像を生成する方法も知られている。この方法によれば、固定サイズ（この場合９×９）のマトリクスを各ＲＧＢプレーン上に敷き詰め、該マトリクス単位で平均化を行って１画素として出力することによって、縮小画像を得る。
【００１３】
しかしながらこの方法においても、入力画像サイズと出力画像サイズの関係によっては、マトリクス処理の対象とならない画素が水平、垂直とも数多く発生してしまう場合があり、入力情報を十分に使用することができないという問題があった。図４に示す例では、水平／垂直それぞれ４２／２８画素が切り捨てられてしまう。
【００１４】
そこで領域積分方法を適用した縮小を行う際に、マトリクス処理の対象外となる画素を無くそうとすると、マトリクスサイズの制御や平均時の計算方法等が複雑になってしまうため、ハードウエアで実現する事が非常に困難であった。
【００１５】
本発明は上述した問題を解決するために成されたものであり、ベイヤー配列をなす原画像から、少ないメモリ容量にて良質な縮小画像を生成することが可能な画像処理装置及びその方法を提供することを目的とする。
【００１６】
【課題を解決するための手段】
上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。
【００１７】
即ち、各成分がベイヤー配列をなす画像データを入力し、その縮小画像データを出力する画像処理装置であって、各成分がベイヤー配列をなす画像データを該成分毎のプレーンに分離する分離手段と、前記画像データの水平及び垂直方向の縮小率に基づいて、各プレーン毎にマトリクスの水平及び垂直方向のサイズを決定するマトリクス決定手段と、各プレーン毎に、前記マトリクス決定手段において決定されたマトリクスの水平方向サイズに基づいて、画像データを水平方向に積分して平均化する水平平均化手段と、各プレーン毎に、前記水平平均化手段において水平方向に平均化された画像データを、前記マトリクスの垂直方向サイズに基づいて垂直方向に積分して平均化する垂直平均化手段と、前記垂直平均化手段において垂直方向に平均化された各プレーンの画像データを、前記ベイヤー配列に応じて点順次に出力する出力手段と、を有することを特徴とする。
【００１８】
更に、前記垂直平均化手段において垂直方向に平均化された各プレーンの画像データのそれぞれ１ライン分を保持する保持手段を備え、前記出力手段は、前記ベイヤー配列に応じて前記保持手段に保持された画像データを読み出すことによって各プレーンの画像データを点順次に出力することを特徴とする。
【００１９】
【発明の実施の形態】
以下、本発明に係る一実施形態について、図面を参照して詳細に説明する。
【００２０】
図１は、本実施形態における縮小画像作成回路の構成を示すブロック図である。以下、各構成について詳細に説明する。
【００２１】
［ＲＧＢ分離回路１０２］
ＲＧＢ分離回路１０２には、図２に示す４種類のベイヤー配列のいずれかの形態を有する画像が、ライン単位で水平方向の画素順次に入力される。ただしＲＧＢ分離回路１０２へは、図２に示すいずれのベイヤー配列が入力されるかを表す２ビットの識別信号がパラメータとして入力される必要がある。ＲＧＢ分離回路１０２からは、現タイミングにおけるデータがＲ，Ｇ，Ｂのどの成分であるかを示す同期信号が出力される。
【００２２】
［任意サイズ積分マトリクス発生部１０６］
任意サイズ積分マトリクス発生部１０６は、ＲＧＢ分離回路１０２からの出力同期信号を入力し、図５に示す各積分マトリクスの右端列と右下端を示すそれぞれのパルス信号MAT_H，R_MAT_CLRを出力する。
【００２３】
ここで図５は、入力画像を水平方向３０００画素、垂直方向２０００画素からなるベイヤー配列とし、出力サムネイル画像サイズを水平方向１６２画素、垂直方向１０８画素とする場合について、特にＲＢプレーンの例を示してある。即ち、ＲＢプレーンにおける処理対象となる画素数は、ベイヤー配列の特性により水平／垂直方向にそれぞれ１５００／１０００画素となる。尚、Ｇプレーンについては１５００／２０００画素となる。
【００２４】
任意サイズ積分マトリクス発生部１０６では、水平／垂直方向の縮小率を決定する。図５に示す例によれば、水平方向の縮小率THINhは１６２／１５００＝０．１０８、即ちTHINh＝１０．８％である。同様に、垂直方向のＲＢプレーンの縮小率THINrbvは１０８／１０００＝０．１０８、即ちTHINrbv＝１０．８％である。また、Ｇプレーンの縮小率THINgvは１０８／２０００＝０．０５４、即ちTHINgv＝５．４％（右に１ビットシフト）となる。
【００２５】
本実施形態においては、除算の結果として余りが生じる場合にも問題はなく、商をパラメータ精度として存在する桁数で丸めることで、処理可能である。
【００２６】
上述したようにして縮小率を設定した任意サイズマトリクス発生部１０６では、以下に示すBresenhamの原理を応用したアルゴリズムによって、各プレーン上のマトリクスの右端列のタイミング（MAT_H）を発生する。即ち、任意サイズマトリクス発生部１０６は、以下に示す論理回路を実現する。
【００２７】
TMP ＝ THINh − 100
IF（TMP ＞ 0） THEN
MAT_H ＝ 1
TMP ＝ TMP − 100
ELSE
MAT_H ＝ 0
TMP ＝ TMP ＋ THINh …(1)
ここで、THINh＝１０．８であり、MAT_Hはマトリクス右端列を表す信号である。即ち、MAT_Hが「１」であれば、マトリクス右端を示す。尚、TMPは任意サイズマトリクス発生部１０６内にフリップフロップを適宜備えることによって実現される変数を示す。
【００２８】
任意サイズ積分マトリクス発生部１０６においては即ち、水平方向の縮小率THINhと１００％との差分に対して、THINhを画素毎に足しこんでいき、その累積が１００％を越えた時点で、マトリクス右端列を検出する。
【００２９】
尚、任意サイズ積分マトリクス発生部１０６では、垂直方向についても上記水平方向の場合と同様の論理回路を構成することによって、マトリクスの右下端のタイミングを示す信号R_MAT_CLRを発生する。任意サイズマトリクス発生部１０６においては、この水平、垂直２方向についての論理回路を、ＲＧＢの各プレーンに対して構成する。
【００３０】
任意サイズマトリクス発生部１０６から出力されるマトリクスのサイズは、水平／垂直ともに、縮小率が０でない場合にはＮ（自然数）、もしくはＮ＋１の２種類のみ、即ち、必ず偶数と奇数の２つの値の組み合わせとなる。図５に示す例では、水平方向サイズが９画素のマトリクスと１０画素のマトリクスが発生していることが分かる。尚、この２種類の値は、縮小率を決定した時点で自明となるため、縮小率（即ち入／出力画像サイズ）とともに、本装置にパラメータとして予め与えられる。
【００３１】
以上説明したように任意サイズマトリクス発生部１０６によれば、入出力画像サイズによらず、入力画像データの全てを有効に活用することができる。
【００３２】
［水平積分＆平均回路１０３］
水平積分＆平均回路１０３においても、ＲＧＢの各プレーン毎に処理部を設ける。ここで図６に、水平積分＆平均回路１０３におけるＲプレーン処理部についての主な構成を示す。
【００３３】
上述したように、任意サイズ積分マトリクス発生部１０６から発生されるマトリクスの水平／垂直方向それぞれのサイズは、必ず偶数と奇数の２つの値の組み合わせとなることを利用して、マトリクスの水平方向におけるサイズが偶数である場合のサイズ（画素数）の逆数をパラメータEVEN_NUM_H、奇数である場合のサイズ（画素数）の逆数をパラメータODD_NUM_Hとすれば、以下の論理を図６に示すように回路化することで、マトリクスの水平ラインの積分及び平均処理を自動的に行うことが可能となる。
【００３４】
IF（MAT_H ＝ 1）THEN
IF（ODD_EVEN ＝ 0）
R_AVE ＝ R_SUM_H × EVEN_NUM_H
ELSE
R_AVE ＝ R_SUM_H ×ODD_NUM_H
ODD_EVEN ＝ 0
ELSE
ODD_EVEN ＝ NOT ODD_EVEN
R_SUM_H ＝ R_SUM_H ＋ R_DATA …(2)
ここで、ODD_EVENは回路内に備える１ビットのフリップフロップ（不図示）に対応し、マトリクス内の画素数が奇数／偶数のいずれであるかを判別するために使用される変数を示す。R_DATAは入力データ、R_SUM_Hは水平方向のＲ値の累計を示し、R_AVEがＲプレーン上のマトリクスの一行の平均値を表す信号として得られる。ただし、MAT_H＝１の場合のみ、R_AVEの値は有効となる。
【００３５】
水平積分＆平均回路１０３においては即ち、マトリクス右端列において、マトリクスサイズが偶数であるか奇数であるかに応じて、水平方向の累積値に該マトリクス内の画素数の逆数を乗じることによって平均値を算出する。一方、マトリクス右端列でなければ、偶奇判定のための変数ODD_EVENの設定処理と共に、水平方向のＲ値を累積する。
【００３６】
図６によれば即ち、入力されたR_DATAが積分回路６０１で積分され、R_SUM_Hを出力する。マトリクス右端列を示すMAT_Hは、ベイヤー配列の特性に基づき１／２分周回路６０３で１／２分周され、マルチプレクサ６０４に対するイネーブル信号として入力される。マルチプレクサ６０４へはEVEN_NUM_H及びODD_NUM_Hが入力されており、不図示のODD_EVEN信号を選択信号として、そのいずれかがMAT_Hのタイミングで出力され、乗算器６０２においてR_SUM_Hと乗算される。この乗算結果が、Ｒプレーン上のマトリクスの一行の平均値を表すR_AVEが信号となる。
【００３７】
水平積分＆平均回路１０３においては、Ｂ，Ｇプレーンについても図６と同様の回路構成を備える。
【００３８】
［垂直積分＆平均回路１０４］
垂直積分＆平均回路１０４においても、ＲＧＢの各プレーン毎に処理部を設ける。ここで図７に、メモリ１０７及び垂直積分＆平均回路１０４におけるＲプレーン処理部についての主な構成を示す。
【００３９】
垂直積分＆平均回路１０４では、各マトリクスの水平方向に平均化されたデータについて、更に垂直方向に積分及び平均を行なうことにより、マトリクス全体の平均化を行う。
【００４０】
水平積分＆平均回路１０３から入力されるR_AVE信号は、マトリクスの先頭ライン（MAT_FIRST_LINE）においてメモリ１０７へ書き込まれ、それ以外の場合には加算器７０１において、同一マトリクス内の前ラインまでの積分結果R_INTGと加算（積分）される。また、マトリクスの最終行において加算器７０１の出力を平均化する。
【００４１】
ここでも水平積分＆平均回路１０３と同様に、任意サイズ積分マトリクス発生部１０６から発生されるマトリクスの水平／垂直方向それぞれのサイズが必ず偶数と奇数の２つの値の組み合わせとなることを利用する。即ち、マトリクスの垂直方向におけるサイズが偶数である場合のサイズ（画素数）の逆数をパラメータEVEN_NUM_V、奇数である場合のサイズ（画素数）の逆数をパラメータODD_NUM_Vとし、マトリクス内においてライン数の偶奇を判定して選択し、乗算を行うことにより、Ｒプレーン上のマトリクス内の平均値を表すR_MAT_AVEを得る。このR_MAT_AVEはデコーダ７０３を介してメモリ１０７へ書き込まれる。このデコーダ７０３における動作は、以下の論理に従う。
【００４２】
IF（R_MAT_CLR ＝ 1）
THEN
MEM ＝ R_MAT_AVE
ELSE IF（MAT_FIRST_LINE ＝ 1）
THEN
MEM ＝ R_AVE
ELSE
MEM ＝ R_INTG …(3)
ここでR_MAT_CLR信号は、任意サイズ積分マトリクス発生部１０６にて発生した水平方向と垂直方向のタイミングパルスのＡＮＤゲート出力により得られる、マトリクスの右下端を表す信号である。またMAT_FIRST_LINE信号は、各マトリクスの先頭ラインであることを示す信号である。
【００４３】
デコーダ７０３においては即ち、マトリクス右下端であればR_MAT_AVEをメモリ１０７へ書き込み、マトリクス先頭ラインであればR_AVEをメモリ１０７に書き込み、その他の場合はマトリクス内の累積値であるR_INTGをメモリ１０７に書き込む。
【００４４】
図７によれば即ち、Ｒラインの有効同期信号に基づいて、立ち上がり検出回路７０４でブロックの開始を検出し、それを１／２分周回路７０５で１／２分周した信号をマルチプレクサ７０６のイネーブル信号として入力する。マルチプレクサ７０６へはEVEN_NUM_V及びODD_NUM_Vが入力されており、不図示の選択信号によってそのいずれかが上記ブロック開始のタイミングで出力され、乗算器７０２においてR_AVEの累積値と乗算される。この乗算結果がマルチプレクサ７０７を介して、Ｒプレーン上のマトリクス内の平均値を表すR_OUT信号として出力される。
【００４５】
マルチプレクサ７０７は、後段のＲＧＢ点順次並び替え部１０５の制御に基づいて、乗算器７０２における乗算結果であるR_MAT_AVE、もしくはメモリ１０７に既に格納されているＲの平均値（R_MAT_AVE）のいずれかを、Ｒライン有効同期信号に基づいてR_OUT信号として出力する。
【００４６】
以上のように、垂直積分＆平均回路１０４においてマトリクスの垂直方向にも平均化された結果は、各色成分毎にR_OUT，G_OUT，B_OUTとして出力される。
【００４７】
以上説明したように、水平積分＆平均回路１０３及び垂直積分＆平均回路１０４においては、２つのマトリクスサイズに応じた逆数をパラメータとし、そのいずれかを自動的に選択して乗算を行うことによって縮小画像を出力する。即ち、縮小率に応じた縮小が可能であることから、本実施形態の縮小画像生成回路においては縮小率に汎用性があることが分かる。
【００４８】
［ＲＧＢ点順時並び替え部１０５］
図８は、メモリ１０７及びＲＧＢ点順時並び替え部１０５の主な構成を示すブロック図である。
【００４９】
ＲＧＢ点順時並び替え部１０５においては、垂直積分＆平均回路１０４からＲＧＢそれぞれの出力データR_OUT，G_OUT，B_OUTを取り出し、一旦８０２等の記憶素子に保持した後、ＲＧＢの点順時にて出力する。尚、図８において、データ同期信号はＲＧＢ分離回路１０２から入力され、マトリクスの右下端を表すR_MAT_CLR等のマトリクス同期信号は垂直積分＆平均回路１０４から入力される。
【００５０】
図２に示したようなベイヤー配列によれば、奇数／偶数ラインの組によってＲＧＢの各色成分が揃うため、ＲＧＢ点順時並び替え部１０５からデータが出力されるラインは、必ず原画像の偶数ライン目となることは明らかである。ただし原画像において、ＲもしくはＢ成分のいずれかが偶数ラインで、もう一方が奇数ラインで入力される。即ち、コントローラ８０１は現在入力されている原画像のベイヤー配列の種類に基づいて、ＲＧＢ各プレーンにおけるマトリクス右下端画素の位置関係を判断し、点順時にて出力する。
【００５１】
以下、点順次並び替え部１０５における動作について、具体的に説明する。
【００５２】
図９は、入力画像が図２の（Ａ）に示すベイヤー配列をなす場合の、ＲＧＢ点順次出力を示すタイミングチャートである。
【００５３】
同図によれば、コントローラ８０１は、例えばＲプレーンについてマトリクスの最終ラインであるＸ番目（Ｘは自然数）ライン時には、垂直積分＆平均回路１０４よりR_OUTが入力されるが、この出力は行わない。上述したように垂直積分＆平均回路１０４において、R_OUTはR_MAT_CLR信号に同期してメモリ１０７に書き込まれている。
【００５４】
そして、Ｒのマトリクスにおける最終ラインの次ライン（Ｘ＋１番目ライン）において、該ラインは必ずＧ，Ｂの各マトリクスの最終ラインとなるので、コントローラ８０１はメモリ１０７に対して制御信号R_Memoryを出力することによって、メモリ１０７に保持されたＲデータを、Ｇ，Ｂプレーンのマトリクス右下端を示すタイミング信号B_MAT_CLRに同期して、マルチプレクサ７０７を介して読み出すことにより、R_OUT，G_OUT，B_OUTの順に出力する。
【００５５】
以上のようにして、Ｒ，Ｇ，Ｂ各プレーンについて垂直積分＆平均回路１０４でマトリクス内の積分＆平均化したデータ（R_OUT，G_OUT，B_OUT）を画素毎に、ＲＧＢ順に点順次出力する。この出力が即ち、本実施形態の縮小画像生成回路において出力される縮小画像データとなる。
【００５６】
尚、入力画像が図２の（Ｂ）に示すベイヤー配列をなす場合であっても、そのタイミングチャートは図９に示す様になることは言うまでもない。また、入力画像が図２の（Ｃ），（Ｄ）のいずれかに示すベイヤー配列をなす場合には、図９においてＲとＢを入れ換えたタイミングチャートが得られることは言うまでもない。
【００５７】
従って本実施形態の縮小画像生成回路においては、垂直積分＆平均回路１０４及びＲＧＢ点順次並べ替え部１０５において使用されるメモリ１０７の容量として、ＲＧＢ毎に縮小画像の１ライン分、即ち計３ライン分のみを用意すれば良い。
【００５８】
［処理フローチャート］
ここで、以上説明した本実施形態の縮小画像生成回路における処理を簡単にまとめて、図１０のフローチャートを参照して説明する。
【００５９】
まずステップＳ１０１において、ＲＧＢ分離回路１０２でベイヤー配列の種類に応じてＲＧＢプレーンを分離する。
【００６０】
そしてステップＳ１０２で、任意サイズ積分マトリクス発生部１０６で縮小率に応じた最適な縦横任意サイズのマトリクスを発生させる。
【００６１】
そしてステップＳ１０３で、水平積分＆平均回路１０３においてマトリクス内を水平方向に積分してその平均化パラメータを自動的に選択して平均化する。
【００６２】
そしてステップＳ１０４で、更に垂直積分＆平均回路１０４においてマトリクス内を垂直方向に積分してその平均化パラメータを自動的に選択して平均化する。
【００６３】
最後にステップＳ１０５で、ＲＧＢ点順次並び替え部１０５において各ＲＧＢプレーンのマトリクスの積分結果を任意のベイヤー配列からＲＧＢ点順時に並び替えて出力する。
【００６４】
以上説明したように本実施形態の縮小画像生成回路によれば、ベイヤー配列をなす原画像について、ＲＧＢ分離回路１０２でベイヤー配列の種類に応じてＲＧＢプレーンを分離し、任意サイズ積分マトリクス発生部１０６で縮小率に応じた最適な縦横任意サイズのマトリクスを発生させ、水平積分＆平均回路１０３においてマトリクス内を水平方向に積分して平均化し、更に垂直積分＆平均回路１０４においてマトリクス内を垂直方向に積分して平均化し、ＲＧＢ点順次並び替え部１０５において各ＲＧＢプレーンのマトリクスの積分結果を任意のベイヤー配列からＲＧＢ点順時に並び替えて出力する。このとき、垂直積分＆平均回路１０４における出力を保持するメモリ１０７の容量として、ＲＧＢ毎に縮小画像の１ライン分のみを用意すれば良い。
【００６５】
また、本実施形態の縮小画像生成回路においては、入出力画像サイズによらず、入力画像データの全てを有効に活用することができ、かつ、縮小率の汎用性に富む。
【００６６】
即ち本実施形態の縮小画像生成回路によれば、使用メモリサイズが小さく、かつ処理可能な縮小率範囲に汎用性があり、かつ入力画像データを十分に有効活用して、縮小画像を生成することが可能である。
【００６７】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００６８】
【発明の効果】
以上説明したように本発明によれば、ベイヤー配列をなす原画像から、少ないメモリ容量にて良質な縮小画像を生成することが可能となる。
【図面の簡単な説明】
【図１】本発明に係る一実施形態における縮小画像生成回路の構成を示すブロック図である。
【図２】原画像のベイヤー配列の種類を示す図である。
【図３】従来の縮小画像生成回路の構成を示すブロック図である。
【図４】従来の領域積分法による縮小画像生成方法を説明するための図である。
【図５】本実施形態におけるマトリクスを説明するための図である。
【図６】本実施形態における水平積分＆平均回路の構成を示す図である。
【図７】本実施形態における垂直積分＆平均回路の構成を示す図である。
【図８】本実施形態におけるＲＧＢ点順次並び替え部の構成を示す図である。
【図９】本実施形態におけるＲＧＢ点順次出力を示すタイミングチャートである。
【図１０】本実施形態の縮小画像生成回路における処理を示すフローチャートである。
【符号の説明】
１０１ 縮小画像生成回路
１０２ ＲＧＢ分離回路
１０３ 水平積分＆平均回路
１０４ 垂直積分＆平均回路
１０５ ＲＧＢ点順次並び替え回路
１０６ 任意サイズ積分マトリクス発生部
Claims (10)
- 各成分がベイヤー配列をなす画像データを入力し、その縮小画像データを出力する画像処理装置であって、
各成分がベイヤー配列をなす画像データを該成分毎のプレーンに分離する分離手段と、
前記画像データの水平及び垂直方向の縮小率に基づいて、各プレーン毎にマトリクスの水平及び垂直方向のサイズを決定するマトリクス決定手段と、
各プレーン毎に、前記マトリクス決定手段において決定されたマトリクスの水平方向サイズに基づいて、画像データを水平方向に積分して平均化する水平平均化手段と、
各プレーン毎に、前記水平平均化手段において水平方向に平均化された画像データを、前記マトリクスの垂直方向サイズに基づいて垂直方向に積分して平均化する垂直平均化手段と、
前記垂直平均化手段において垂直方向に平均化された各プレーンの画像データを、前記ベイヤー配列に応じて点順次に出力する出力手段と、
を有することを特徴とする画像処理装置。 - 更に、前記垂直平均化手段において垂直方向に平均化された各プレーンの画像データのそれぞれ１ライン分を保持する保持手段を備え、
前記出力手段は、前記ベイヤー配列に応じて前記保持手段に保持された画像データを読み出すことによって各プレーンの画像データを点順次に出力することを特徴とする請求項１記載の画像処理装置。 - 前記マトリクス決定手段は、各プレーン毎のマトリクスの水平及び垂直方向のサイズとして、連続する２つの自然数を決定することを特徴とする請求項２記載の画像処理装置。
- 前記マトリクス決定手段は、前記マトリクスの水平方向のタイミング信号を発生し、
前記水平平均化手段は、前記マトリクスの水平方向のタイミング信号に基づいて画像データを水平方向に積分し、前記マトリクスの水平方向サイズに基づいて画像データを水平方向に平均化することを特徴とする請求項３記載の画像処理装置。 - 前記水平平均化手段は、前記マトリクス決定手段において前記マトリクスの水平方向のサイズとして決定された前記連続する２つの自然数について、いずれかの逆数を前記積分結果に乗じることによって画像データを水平方向に平均化することを特徴とする請求項４記載の画像処理装置。
- 前記マトリクス決定手段は、前記マトリクスの垂直方向のタイミング信号を発生し、
前記垂直平均化手段は、前記マトリクスの垂直方向のタイミング信号に基づいて画像データを垂直方向に積分し、前記マトリクスの垂直方向サイズに基づいて画像データを垂直方向に平均化することを特徴とする請求項３記載の画像処理装置。 - 前記垂直平均化手段は、前記マトリクス決定手段において前記マトリクスの垂直方向のサイズとして決定された前記連続する２つの自然数について、いずれかの逆数を前記積分結果に乗じることによって画像データを垂直方向に平均化することを特徴とする請求項６記載の画像処理装置。
- 各成分がベイヤー配列をなす画像データを入力する入力手段と、
前記画像データを各成分毎に独立して縮小する縮小手段と、
前記縮小手段から出力される各成分の画像データによって１画素が揃う毎に、該各成分の画像データを点順次に出力する出力手段と、
を有することを特徴とする画像処理装置。 - 各成分がベイヤー配列をなす画像データを入力し、その縮小画像データを出力する画像処理装置における画像処理方法であって、
分離手段が、各成分がベイヤー配列をなす画像データを該成分毎のプレーンに分離する分離工程と、
前記画像データの水平及び垂直方向の縮小率に基づいて、決定手段が、各プレーン毎にマトリクスの水平及び垂直方向のサイズを決定するマトリクス決定工程と、
各プレーン毎に、前記マトリクス決定工程において決定されたマトリクスの水平方向サイズに基づいて、水平平均化手段が、画像データを水平方向に積分して平均化する水平平均化工程と、
各プレーン毎に、前記水平平均化工程において水平方向に平均化された画像データを、垂直平均化手段が、前記マトリクスの垂直方向サイズに基づいて垂直方向に積分して平均化する垂直平均化工程と、
前記垂直平均化工程において垂直方向に平均化された各プレーンの画像データを、出力手段が、前記ベイヤー配列に応じて点順次に出力する出力工程と、
を有することを特徴とする画像処理方法。 - 画像処理装置の画像処理方法であって、
入力手段が、各成分がベイヤー配列をなす画像データを入力する工程と、
縮小手段が、前記画像データを各成分毎に独立して縮小する工程と、
出力手段が、該縮小された各成分の画像データによって１画素が揃う毎に、該各成分の画像データを点順次に出力する工程と、
を有することを特徴とする画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000053737A JP4136255B2 (ja) | 2000-02-29 | 2000-02-29 | 画像処理装置及びその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000053737A JP4136255B2 (ja) | 2000-02-29 | 2000-02-29 | 画像処理装置及びその方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2001245141A JP2001245141A (ja) | 2001-09-07 |
| JP2001245141A5 JP2001245141A5 (ja) | 2007-04-12 |
| JP4136255B2 true JP4136255B2 (ja) | 2008-08-20 |
Family
ID=18575077
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000053737A Expired - Fee Related JP4136255B2 (ja) | 2000-02-29 | 2000-02-29 | 画像処理装置及びその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4136255B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103563350A (zh) * | 2011-05-31 | 2014-02-05 | 松下电器产业株式会社 | 图像处理装置、图像处理方法以及数码相机 |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3947969B2 (ja) | 2002-05-15 | 2007-07-25 | ソニー株式会社 | 画像処理装置、および画像処理方法、記録媒体、並びにプログラム |
| JP4285948B2 (ja) | 2002-06-18 | 2009-06-24 | オリンパス株式会社 | 撮像装置 |
| EP1569442A4 (en) * | 2002-12-02 | 2009-08-12 | Olympus Corp | VIEWING DEVICE |
| US8040385B2 (en) | 2002-12-02 | 2011-10-18 | Olympus Corporation | Image pickup apparatus |
| WO2004068852A1 (ja) | 2003-01-29 | 2004-08-12 | Olympus Corporation | 撮像装置 |
| JP4748702B2 (ja) * | 2003-06-10 | 2011-08-17 | 三星電子株式会社 | 輝度ノイズフィルタリング方法及び輝度ノイズフィルタリングシステム |
| KR100510532B1 (ko) * | 2003-06-10 | 2005-08-26 | 삼성전자주식회사 | 베이어 패턴 컬러 신호에 대한 적응형 노이즈 제거 필터,이를 구비한 디지털 영상 신호 처리 장치, 및 그 방법 |
| JP3942569B2 (ja) | 2003-09-04 | 2007-07-11 | オリンパス株式会社 | 撮像装置および画像データの変換方法 |
| JP2006065497A (ja) * | 2004-08-25 | 2006-03-09 | Sanyo Electric Co Ltd | データ処理装置、データ処理方法、データ処理プログラム |
| JP4573769B2 (ja) | 2005-12-20 | 2010-11-04 | 富士通セミコンダクター株式会社 | 画像処理回路および画像処理方法 |
| CN102090067B (zh) * | 2008-08-04 | 2013-03-20 | 松下电器产业株式会社 | 摄像装置、图像处理方法、图像处理程序及半导体集成电路 |
| JP4764905B2 (ja) * | 2008-08-11 | 2011-09-07 | キヤノン株式会社 | 撮像システム |
| JP5572940B2 (ja) * | 2008-10-30 | 2014-08-20 | 株式会社ニコン | 撮像装置 |
| JP5697418B2 (ja) * | 2010-11-30 | 2015-04-08 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
| CN103563359B (zh) | 2011-06-08 | 2016-11-09 | 松下知识产权经营株式会社 | 图像处理装置及图像处理方法以及数码相机 |
| CN110139039B (zh) * | 2019-05-24 | 2021-09-21 | 安翰科技(武汉)股份有限公司 | 胶囊内窥镜bayer图像的压缩处理方法及*** |
-
2000
- 2000-02-29 JP JP2000053737A patent/JP4136255B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103563350A (zh) * | 2011-05-31 | 2014-02-05 | 松下电器产业株式会社 | 图像处理装置、图像处理方法以及数码相机 |
| CN103563350B (zh) * | 2011-05-31 | 2016-09-28 | 松下知识产权经营株式会社 | 图像处理装置、图像处理方法以及数码相机 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001245141A (ja) | 2001-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4136255B2 (ja) | 画像処理装置及びその方法 | |
| EP1288855B1 (en) | System and method for concurrently demosaicing and resizing raw data images | |
| US5488674A (en) | Method for fusing images and apparatus therefor | |
| EP0633535B1 (en) | Image processor | |
| EP0597555B1 (en) | Image processing apparatus | |
| US8836813B2 (en) | Image processing device and image processing method | |
| EP0918439A1 (en) | Device and method for converting two-dimensional video into three-dimensional video | |
| JP2004208336A (ja) | 輝度勾配を用いたフルカラーイメージ適応的補間装置 | |
| EP1764737A2 (en) | Image processing and resizing | |
| US20070133902A1 (en) | Method and circuit for integrated de-mosaicing and downscaling preferably with edge adaptive interpolation and color correlation to reduce aliasing artifacts | |
| US20060177152A1 (en) | Apparatus and method for producing thumbnail images and for improving image quality of re-sized images | |
| JP4019201B2 (ja) | ディスクリートコサイン変換を用いた色調回復のためのシステムおよび方法 | |
| EP1592235A1 (en) | Image processing device, image processing program and program-recorded recording medium | |
| US7746519B2 (en) | Method and device for scanning images | |
| EP0547881B1 (en) | Method and apparatus for implementing two-dimensional digital filters | |
| US7149364B2 (en) | Mean filter device and filtering method | |
| JP4132264B2 (ja) | 画像信号処理回路 | |
| US20060170954A1 (en) | Method and system for generating synchronous multidimensional data streams from a one -dimensional data stream | |
| JP2006303693A (ja) | 縮小画像の生成機能を備える電子カメラ | |
| JPH10233900A (ja) | 画像読取装置 | |
| JPS59204378A (ja) | 画像処理装置 | |
| JP2005308934A (ja) | 画像処理方法 | |
| JPH11185036A (ja) | 画像処理装置 | |
| US6947608B2 (en) | Equalizing circuit and method, and image processing circuit and method | |
| JP2006020024A (ja) | 電子ズーム装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070220 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070220 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20070220 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080514 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080523 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080603 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110613 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120613 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120613 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130613 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |