JP4287331B2 - 縮小補間回路および縮小補間方法 - Google Patents

Description

本発明は、カラー画像の縮小補間技術に関する。

デジタルカメラに用いられるＣＣＤ等の撮像センサには、色フィルタアレイが取り付けられている。被写体から撮像センサに入射した光は、この色フィルタによって各色成分の光に分解され、各色成分の光は、撮像センサの各素子に入射して、電荷として蓄積される。

例えば、単板式のＣＣＤに用いられる色フィルタアレイとしてＲＧＢベイヤ配列の色フィルタアレイが存在する。この色フィルタアレイを備えたＣＣＤから出力された画像信号は、例えば奇数ラインについては、Ｒ（赤色）信号と、Ｇ（緑色）信号が交互に配列され、偶数ラインについては、Ｇ（緑色）信号と、Ｂ（青色）信号とが、交互に配列される。つまり、このタイプのＣＣＤから出力された画像信号は、各画素については、単一の色成分の信号を備えており、複数の画素によってカラー画像を表現可能としているのである。

デジタルカメラでは、撮影画像をメモリカードなどに保存する処理を行うほか、ライブビュー画像として被写体像をリアルタイムでモニタに出力する処理が行われる。このライブビュー画像として、一般にＣＣＤから出力された画像サイズよりも小さい縮小画像が用いられる。したがって、デジタルカメラにおいては、ＣＣＤから出力された画像信号に対する縮小処理が行われる。

画像信号の縮小処理としては、縮小補間処理が一般的に行われている。縮小補間処理は、複数の周囲の画素の画素値から縮小処理後の対象画素の画素値を演算により求める方法である。ベイヤ配列の画像信号に対して縮小補間処理を行う方法が、たとえば、下記特許文献１において開示されている。

特開２００２−８４５４７号公報

上記特許文献１では、異なる色成分の画素信号について、同一の補間比率により縮小補間処理を行うようにしている。たとえば、Ｒ信号とＧ信号が配列されるラインについては、Ｒ信号とＧ信号とを同一の補間比率を用いて縮小補間するようにしている。また、Ｇ信号とＢ信号とが配列されるラインにおいては、Ｇ信号とＢ信号とを同一の補間比率を用いて縮小補間するようにしている。このため、各色成分について、精度の高い縮小補間が行われているとは言えなかった。

そこで、本発明は前記問題点に鑑み、カラー画像信号に対して各色成分ごとに精度の高い縮小補間処理を行うことを可能とした技術を提供することを目的とする。

請求項１記載の発明は、第１の色成分の画素信号と第２の色成分の画素信号が交互に配列された画像信号を入力し、画像をＬＶ／ＲＶに縮小補間する回路であって、奇数番目に前記第１の色成分の画素信号を入力し、偶数番目に前記第２の色成分の画素信号を入力する回路と、前記第１の色成分と前記第２の色成分の画素信号が入力されるたびに基準位置を起点として画素間隔ＬＶを加算して、カウンタ値ｃｎｔＫを格納するカウンタと、前記第１の色成分の画素信号を入力した際、前記カウンタ値ｃｎｔＫが、２ＲＶ以上となっているか否かを判定し、２ＲＶ以上となっている場合には、基準位置から間隔２ＲＶの位置に補間画素が存在するという前提でバイリニア補間を行って補間画素の画素値を出力するとともに、当該補間画素の位置を新たな基準位置として更新し、前記第２の色成分の画素信号を入力した際、前記カウンタ値ｃｎｔＫがＲＶ以上となっているかを判定し、ＲＶ以上となっている場合には、基準位置から間隔ＲＶの位置に補間画素が存在するという前提でバイリニア補間を行って補間画素の画素値を出力する補間回路と、を備えることを特徴とする。

請求項２記載の発明は、請求項１に記載の縮小補間回路であって、前記補間回路は、前記第１の色成分の第ｎ＋１番目画素信号を入力した際、前記カウンタ値ｃｎｔＫが、２ＲＶ以上となっている場合には、ｃｎｔＫ−２ＲＶ＝ＲＴと設定し、現在入力した第ｎ＋１番目画素と直前に入力した同色の第ｎ番目画素とを用いて、両画素間をＲＴ：２ＬＶ−ＲＴで補間することにより補間画素を出力する回路と、前記第２の色成分の第ｎ＋１番目画素信号を入力した際、前記カウンタ値ｃｎｔＫが、ＲＶ以上となっている場合には、ｃｎｔＫ−ＲＶ＝ＲＴと設定し、現在入力した第ｎ＋１番目画素と直前に入力した同色の第ｎ番目画素とを用いて、両画素間をＲＴ：２ＬＶ−ＲＴで補間することにより補間画素を出力する回路と、を含むことを特徴とする。

請求項３記載の発明は、請求項１または請求項２に記載の縮小補間回路であって、入力される画像信号は、ＲＧＢベイヤ配列の画像信号、を含み、請求項１または請求項２に記載の各回路における処理を、水平方向および垂直方向に適用させることにより、２次元画像をＬＶ／ＲＶに縮小することを特徴とする。

請求項４記載の発明は、画像をＬＶ／ＲＶに縮小補間する方法であって、第１の色成分の画素信号と第２の色成分の画素信号が交互に配列された画像信号を入力する工程と、ただし、前記第１の色成分は奇数番目に、前記第２の色成分は偶数番目に配列されており、前記第１の色成分と前記第２の色成分の画素信号が入力されるたびに基準位置に対して画素間隔ＬＶを加算して、カウンタ値ｃｎｔＫを格納する工程と、前記第１の色成分の画素信号を入力した際、前記カウンタ値ｃｎｔＫが、２ＲＶ以上となっているか否かを判定し、２ＲＶ以上となっている場合には、基準位置から間隔２ＲＶの位置に補間画素が存在するという前提でバイリニア補間を行って補間画素の画素値を出力するとともに、当該補間画素の位置を新たな基準位置として更新し、前記第２の色成分の画素信号を入力した際、前記カウンタ値ｃｎｔＫがＲＶ以上となっているかを判定し、ＲＶ以上となっている場合には、基準位置から間隔ＲＶの位置に補間画素が存在するという前提でバイリニア補間を行って補間画素の画素値を出力する補間工程と、を備えることを特徴とする。

請求項５記載の発明は、請求項４に記載の縮小補間方法であって、前記補間工程は、前記第１の色成分の第ｎ＋１番目画素信号を入力した際、前記カウンタ値ｃｎｔＫが、２ＲＶ以上となっている場合には、ｃｎｔＫ−２ＲＶ＝ＲＴと設定し、現在入力した第ｎ＋１番目画素と直前に入力した同色の第ｎ番目画素とを用いて、両画素間をＲＴ：２ＬＶ−ＲＴで補間することにより補間画素を出力する工程と、前記第２の色成分の第ｎ＋１番目画素信号を入力した際、前記カウンタ値ｃｎｔＫが、ＲＶ以上となっている場合には、ｃｎｔＫ−ＲＶ＝ＲＴと設定し、現在入力した第ｎ＋１番目画素と直前に入力した同色の第ｎ番目画素とを用いて、両画素間をＲＴ：２ＬＶ−ＲＴで補間することにより補間画素を出力する工程と、を含むことを特徴とする。

請求項６記載の発明は、請求項４または請求項５に記載の縮小補間方法であって、入力される画像信号は、ＲＧＢベイヤ配列の画像信号、を含み、請求項４または請求項５に記載の方法を、水平方向および垂直方向に適用させることにより、２次元画像をＬＶ／ＲＶに縮小することを特徴とする。

本発明によれば、複数の画素によってカラー画像を表現する画像信号について、全ての色成分について個別の補間比率を用いてバイリニア補間を行い、縮小補間処理を実行するので、縮小補間精度を向上させることが可能である。

また、各色成分の補間比率を算出するためのカウンタとして共通のカウンタを用いるので、回路規模の縮小を図ることが可能である。

以下、図面を参照しつつ本発明の実施の形態について説明する。

＜デジタルカメラの構成＞
図１は、本発明の実施の形態にかかるデジタルカメラ１０の機能ブロック図である。デジタルカメラ１０は、撮像センサ１と、Ａ／Ｄ変換回路２と、画像処理回路３と、ＬＣＤ７とを備えている。画像処理回路３は、ＬＳＩとして構成されており、さらに、信号処理ブロック４と画像処理ブロック６を備えている。信号処理ブロック４は、さらに、本発明の特徴部分であるリサイズ処理回路５を備え、画像処理ブロック６は、色補間回路や補正回路を備えている。

撮像センサ１は、本実施の形態では、ＣＣＤである。撮像センサ１は、また、ＲＧＢベイヤ配列の色フィルタアレイを備えている。したがって、被写体から入射した光は、ＲＧＢベイヤ配列の色フィルタによって、ＲＧＢ各色の光に分解される。そして、ＲＧＢ各色の光は、撮像センサ１の各画素において光電変換され、電荷情報として蓄積される。図２は、ＲＧＢベイヤ配列の画像信号を示す図である。

撮像センサ１は、蓄積した電荷情報をアナログの画像信号として出力する。このアナログの画像信号は、Ａ／Ｄ変換回路２においてデジタル変換され、Ａ／Ｄ変換回路２は、ＲＧＢベイヤ配列の画像信号をデジタル信号として出力する。Ａ／Ｄ変換回路２から出力される画像信号は、図２に示すように、Ｒ（赤色）信号とＧ（緑色）信号が交互に出力されるラインをＲＧラインとし、Ｇ（緑色）信号とＢ（青色）信号が交互に出力されるラインをＧＢラインとすると、ＲＧラインとＧＢラインが交互に出力される信号である。

なお、この実施の形態においては、撮像センサ１から出力される画像信号をＲＧＢベイヤ配列の画像信号としているが、本発明の縮小補間処理は、補色系の色フィルタアレイを備えた撮像センサから出力された画像信号など、様々な画像信号に適用可能である。たとえば、Ｙｅ,Ｃｙ,Ｍｇ,Ｇの４色カラーフィルタが２×２のマトリクス状に配列された色フィルタアレイを備えた撮像センサから出力された画像信号にも適用可能である。つまり、２×２のマトリクスを最小単位とする色信号の配列が、２次元領域上に繰り返し出現するタイプの画像信号に対して本発明は適用可能である。

Ａ／Ｄ変換回路２から出力されたベイヤ配列の画像信号は、１画素が単一の色情報を持つ信号であり、信号処理ブロック４では、このような信号に対してリサイズ処理を含む各種の処理が施される。信号処理ブロック４から出力された縮小画像信号は、画像処理ブロック６に入力され、色補間回路において色補間処理が施される。これにより、１画素がＲＧＢ３つの色成分の信号をもつ画像信号へと変換される。そして、その他の補正処理等が施された後、縮小画像信号は、ＬＣＤ７に対して出力されるのである。これにより、ＬＣＤ７において、縮小画像がライブビュー画像として表示されるのである。ユーザは、ＬＣＤ７に表示されたライブビュー画像を参照しながら、画像の撮影動作などを行う。

＜バイリニア補間処理＞
次に、本発明のリサイズ処理の基礎となるバイリニア補間処理について説明する。図３は、バイリニア補間処理の処理の概要を示す図である。この例は、Ａ点,Ｂ点,Ｃ点,Ｄ点の４つの画素から、Ｅ点の画素を補間する処理を示している。ここで、水平方向（Ａ−Ｂ間あるいはＣ−Ｄ間）におけるＥ点の位置の距離比をｐ：ｑとし、垂直方向（Ａ−Ｃ間あるいはＢ−Ｄ間）におけるＥ点の位置の距離比をｒ：ｓとする。

まず、水平方向のリニア補間により、Ａ−Ｂ間をｐ：ｑに分割する位置Ｆ点の画素値を数１式により求める。ただし、Ｘａ,Ｘｂ,Ｘｆは、それぞれＡ点,Ｂ点,Ｆ点の画素値を示している。

同様に、水平方向のリニア補間により、Ｃ−Ｄ間をｐ：ｑに分割する位置Ｇ点の画素値を数２式により求める。ただし、Ｘｃ,Ｘｄ,Ｘｇは、それぞれＣ点,Ｄ点,Ｇ点の画素値を示している。

そして、Ｆ−Ｇ間をｒ：ｓに分割する位置Ｅ点の画素値を数３式により求める。ただし、Ｘｅは、Ｅ点の画素値を示している。

このように、バイリニア補間処理は、水平方向および垂直方向の両方向についてリニア補間を行うことにより、補間画素の画素値を求めるので、単純な間引き処理とは異なり、補間画素の位置のずれを考慮して画素値が求められる。したがって、補間処理後の画像の品質が良いという特徴がある。

後述する本発明の特徴であるリサイズ処理は、ここで説明したバイリニア補間処理を基本としている。したがって、以下の説明では、バイリニア補間処理の説明について重複する部分は適宜省略するが、図３を用いて説明した方法と同様の方法で補間処理が行われる。

なお、数１式を用いてＡ点とＢ点をｐ：ｑに分割するＦ点の画素値を求めたが、このような処理を、この明細書において、「Ａ−Ｂ間をｐ：ｑに補間する」と表現することとする。

＜リサイズ処理回路の構成およびリサイズ処理の流れ＞
次に、リサイズ処理回路５の構成および各ブロックの処理内容について図４を用いて説明する。なお、以下の説明においては、入力した画像をＬＶ／ＲＶに縮小する場合を例に説明する。ここで、入力した画像をＬＶ／ＲＶに縮小するという処理は、入力画像の画素間隔をＬＶとした場合に、出力画素の画素間隔をＲＶに間引く処理に置き換えることができる。実際には、画素の間隔が変化するわけではなく、縮小処理により画素の数が減少するわけであるが、画素の補間位置に応じてバイリニア補間を行うために、このような考え方をすると便利であるということである。そして、以下の説明においては、入力画像の画素間隔ＬＶを、画素間隔ＲＶに変換する処理と考えると理解が容易である。また、以下の説明では、水平方向と垂直方向の両方向について画像をＬＶ／ＲＶに縮小する場合を実施例としているが、水平方向と垂直方向とで、縮小率が異なっていてもよい。

入力制御部５１は、クロック信号ＳＳを入力し、クロック信号ＳＳに基づいて、リサイズ処理回路５が入力する画像信号の信号種別を特定するための信号ＩＤａを出力する。この画像信号の信号種別を特定するための信号ＩＤａはセレクタ５２に対して出力される。

セレクタ５２には、ＲＧＢベイヤ配列の画像信号ＣＤが入力される。具体的には、図２で説明したようにＲ信号とＧ信号が交互に入力されるＲＧラインと、Ｇ信号とＢ信号とが交互に入力されるＧＢラインとが、交互に入力される。従って、入力制御部５１は、セレクタ５２に入力される画像信号ＣＤがＲＧラインであるかＧＢラインであるか、また、ＲＧラインを入力している際には、Ｒ信号とＧ信号のいずれの信号を入力しているか、ＧＢラインを入力している際には、Ｇ信号とＢ信号のいずれの信号を入力しているかを特定する信号ＩＤａを出力する。具体的には、セレクタ５２がＲＧラインのＲ信号を入力している場合には信号ＩＤａとして「０」を出力し、セレクタ５２がＲＧラインのＧ信号を入力している場合には信号ＩＤａとして「１」を出力し、セレクタ５２がＧＢラインのＧ信号を入力している場合には信号ＩＤａとして「２」を出力し、セレクタ５２がＧＢラインのＢ信号を入力している場合には信号ＩＤａとして「３」を出力する。

これにより、セレクタ５２は、入力した画像信号ＣＤを、４つの信号に分解して出力する。つまり、信号ＩＤａとして「０」を入力した際には、出力端子「０」からＲ信号を出力し、信号ＩＤａとして「１」を入力した際には、出力端子「１」からＲＧラインのＧ信号を出力し、信号ＩＤａとして「２」を入力した際には、出力端子「２」からＧＢラインのＧ信号を出力し、信号ＩＤａとして「３」を入力した際には、出力端子「３」からＢ信号を出力するのである。

そして、セレクタ５２から出力された各色の画像信号は、レジスタ５３およびラインバッファ５４１〜５４４に蓄積される。

レジスタ５３のうち、レジスタlr0,ll0,ur0,ul0は、Ｒ信号が格納されるレジスタであり、レジスタlr1,ll1,ur1,ul1は、ＲＧラインのＧ信号が格納されるレジスタであり、レジスタlr2,ll2,ur2,ul2は、ＧＢラインのＧ信号が格納されるレジスタであり、レジスタlr3,ll3,ur3,ul3は、Ｂ信号が格納されるレジスタである。

撮像センサ１から出力される画像信号の水平方向の１ラインの画素数をＮとすると、ラインバッファ５４１〜５４４は、それぞれＮ―２画素分の画像信号を蓄積可能である。したがって、レジスタ５３のうち、各色に対応した４つのレジスタには、縦２画素×横２画素の正方領域の画像信号が格納されることになる。つまり、レジスタlr0,ll0,ur0,ul0には、２×２の正方領域のＲ信号が格納され、レジスタlr1,ll1,ur1,ul1およびレジスタlr2,ll2,ur2,ul2には、２×２の正方領域のＧ信号が格納され、レジスタlr3,ll3,ur3,ul3には、２×２の正方領域のＢ信号が格納される。そして、セレクタ５２に最新の画素信号が入力されると、信号ＩＤａにしたがって、最新の画素信号が、lr0,lr1,lr2.lr3のいずれかのレジスタに出力される。これによって、Ｒ,Ｇ,Ｇ,Ｂの４つの正方領域の画素信号のうちの１つが更新されることになる。

ここで、図４で示したレジスタ５３の各レジスタ名称（lr0,lr1等）のうち、末尾の数字は、色を示している。0はＲ色を、1,2はＧ色を、3はＢ色を示している。また、先頭のアルファベットについては、lはlow（２×２の正方領域の下の領域）、uは、upper（２×２の正方領域の上の領域）を示し、２番目のアルファベットは、rはright（２×２の正方領域の右の領域）、lは、left（２×２の正方領域の左の領域）を示している。図では上下左右が逆になっているが、これは２次元画像の上下左右とレジスタへの格納位置が逆になっていることを示している。

一方、クロック信号ＳＳは、水平方向カウンタ５５Ｈにも入力される。水平方向カウンタ５５Ｈは、１画素が入力されるタイミングで、加算値ＬＶを加算し、この加算した値をカウンタ値ｃｎｔＨとして格納する。カウンタ値ｃｎｔＨは、数４式で表される。

また、入力制御部５１は、クロック信号ＳＳに基づいて、垂直方向のライン番号（垂直方向で何番目のラインに含まれる画素であるかを示す番号）を特定し、ライン番号を指定した信号ＶＤを垂直方向カウンタ５５Ｖに出力する。垂直方向カウンタ５５Ｖは、１画素が入力されるタイミングで、加算値ＬＶを加算し、この加算した値をカウンタ値ｃｎｔＶとして格納する。カウンタ値ｃｎｔＶは、数５式で表される。

水平方向カウンタ５５Ｈは、カウンタ値ｃｎｔＨを補間比率算出部５６１Ｈ,５６２Ｈおよび出力制御部５７に出力する。また、垂直方向カウンタ５５Ｖは、カウンタ値ｃｎｔＶを補間比率算出部５６１Ｖ,５６２Ｖおよび出力制御部５７に出力する。

補間比率算出部５６１Ｈは、水平方向において奇数番目の画素を入力した際に、縮小補間比率を算出する機能部である。補間比率算出部５６１Ｈは、図にも示すように、縮小補間比率ｈ＿ＲＴとしてｃｎｔＨ−２ＲＶをセレクタ５６３Ｈに対して出力する。

補間比率算出部５６２Ｈは、水平方向において偶数番目の画素を入力した際に、縮小補間比率を算出する機能部である。補間比率算出部５６２Ｈは、図にも示すように、縮小補間比率ｈ＿ＲＴとしてｃｎｔＨ−ＲＶをセレクタ５６３Ｈに対して出力する。

補間比率算出部５６１Ｖは、垂直方向において奇数番目の画素を入力した際に、縮小補間比率を算出する機能部である。補間比率算出部５６１Ｖは、図にも示すように、縮小補間比率ｖ＿ＲＴとしてｃｎｔＶ−２ＲＶをセレクタ５６３Ｖに対して出力する。

補間比率算出部５６２Ｖは、垂直方向において偶数番目の画素を入力した際に、縮小補間比率を算出する機能部である。補間比率算出部５６２Ｖは、図にも示すように、縮小補間比率ｖ＿ＲＴとしてｃｎｔＶ−ＲＶをセレクタ５６３Ｖに対して出力する。

そして、出力制御部５７は、セレクタ５６３Ｈ,５６３Ｖに対して出力信号を指定するための信号ＩＤｂを出力する。

具体的には、出力制御部５７は、入力画素が水平方向および垂直方向の両方向で奇数番目の画素である場合には、セレクタ５６３Ｈに対して信号ＩＤｂとして「０」を出力し、セレクタ５６３Ｖに対して信号ＩＤｂとして「０」を出力する。入力画素が水平方向で奇数番目、垂直方向で偶数番目の画素である場合には、セレクタ５６３Ｈに対して信号ＩＤｂとして「０」を出力し、セレクタ５６３Ｖに対して信号ＩＤｂとして「１」を出力する。入力画素が水平方向で偶数番目、垂直方向で奇数番目の画素である場合には、セレクタ５６３Ｈに対して信号ＩＤｂとして「１」を出力し、セレクタ５６３Ｖに対して信号ＩＤｂとして「０」を出力する。入力画素が水平方向および垂直方向の両方向で偶数番目の画素である場合には、セレクタ５６３Ｈに対して信号ＩＤｂとして「１」を出力し、セレクタ５６３Ｖに対して信号ＩＤｂとして「１」を出力する。

さらに、出力制御部５７は、補間画素された画素の出力を有効とするか否かの判定を行い、その判定信号ＪＤをバイリニア補間演算部５９に対して出力する。つまり、バイリニア補間演算部５９は、セレクタ５２に新たな画素が入力されるたびに画素補間比率ｈ＿ＲＴ,ｖ＿ＲＴを入力し、これら画素補間比率に基づいてバイリニア補間を行い補間画素の画素値を算出するが、この補間画素は、有効とされる場合と利用されない場合がある。そこで、出力制御部５７からの判定信号ＪＤに従って、補間画素の有効、無効を制御するのである。

具体的には、セレクタ５２に入力された最新の画素が、水平方向において奇数番目の画素である場合には、出力制御部５７は、数６式に示す判定を行う。

また、セレクタ５２に入力された最新の画素が、水平方向において偶数番目の画素である場合には、出力制御部５７は、数７式に示す判定を行う。

また、セレクタ５２に入力された最新の画素が、垂直方向において奇数番目の画素である場合には、出力制御部５７は、数８式に示す判定を行う。

また、セレクタ５２に入力された最新の画素が、垂直方向において偶数番目の画素である場合には、出力制御部５７は、数９式に示す判定を行う。

つまり、セレクタ５２に入力された最新の画素の状態に応じて、出力制御部５７は、水平方向においては、数６式あるいは数７式のいずれかの判定を行うとともに、垂直方向においては、数８式あるいは数９式のいずれかの判定を行う。そして、水平方向において数６式あるいは数７式いずれかの条件を満たし、且つ、垂直方向において数８式あるいは数９式のいずれかの条件を満たした場合には、補間画素の出力を有効とするようバイリニア補間演算部５９に対して判定信号ＪＤを出力するのである。言い換えると、水平方向と垂直方向の両方向において数６式ないしは数９式のいずれかの条件を満たした場合に、補間画素の出力を有効とするのである。

なお、出力制御部５７は、奇数番目の画素について数６式の条件を満たしている場合には、水平方向カウンタ５５Ｈに格納されているカウンタ値ｃｎｔＨから２ＲＶを減算するように水平方向カウンタ５５Ｈに対して制御信号を送信する。また、出力制御部５７は、奇数番目の画素について数８式の条件を満たしている場合には、垂直方向カウンタ５５Ｖに格納されているカウンタ値ｃｎｔＶから２ＲＶを減算するように垂直方向カウンタ５５Ｖに対して制御信号を送信する。

また、水平方向カウンタ５５Ｈおよび垂直方向カウンタ５５Ｖのいずれについても、１番目の画素が入力された時点では、初期値を２ＲＶに設定するという制御を行うことが望ましい。これにより、１番目（奇数）の画素について、数６式あるいは数８式の条件を満たすようにすることが可能である。

なお、本実施の形態においては、画素の列を１番目からスタートするように考えているが、０番目からスタートするように考える場合には、奇数と偶数の扱いを逆にすればよい。

バイリニア補間演算部５９は、補間比率ｈ＿ＲＴ,補間比率ｖ＿ＲＴを入力し、バイリニア補間演算を行う。なお、図のバイリニア補間演算部５９のブロックでも示しているように、バイリニア補間演算は、Ｒ,Ｇ,Ｂの各色で共通の処理であるので、レジスタ名称のうち、末尾の色成分を表す数字は省略している。

まず、水平方向においては、lr画素とll画素をｈ＿ＲＴ:２ＬＶ−ｈ＿ＲＴの比で分割する画素Ｃ１の画素値を求める。次に、水平方向において、ur画素とul画素をｈ＿ＲＴ：２ＬＶ−ｈ＿ＲＴの比で分割する画素Ｃ２の画素値を求める。最後に、画素Ｃ１と画素Ｃ２をｖ＿ＲＴ：２ＬＶ−ｖ＿ＲＴで分割する補間対象画素Ｃ３の画素値を求めるのである。この画素Ｃ１,Ｃ２,Ｃ３の画素値を求める演算は、数１式〜数３式を用いて説明した演算と同じ方法で行われる。

このように、バイリニア補間演算部５９は、新たな画素がレジスタlr0,lr1,lr2,lr3のいずれかのレジスタに入力されるたびに、それぞれの色成分についてバイリニア補間演算を行い補間対象画素の画素値を算出する。そして、判定信号ＪＤによって、補間画素を有効とする指示を受けた場合には、補間演算を行った結果を補間対象画素の画素値Ｃ３として出力するのである。

＜リサイズ処理の具体例＞
次に、本発明のリサイズ処理の特徴を図５〜図１０および表１〜表６を参照しながら具体例を用いて説明する。ここでは、説明を簡単にするため、水平方向のみの縮小補間処理を例として説明する。また、この例では、ＬＶ＝１２８,ＲＶ＝１６０である場合を説明する。つまり、撮影画像を１２８／１６０＝４／５に縮小する場合を例に説明する。

図５に示すように１番目の画素（ピクセル）を入力する場合を考える。この場合、表１に示すように、カウンタ値ｃｎｔＫは、初期値として２ＲＶ＝１６０×２が設定される（前述したように、１番目の画素を補間画素として出力させるためである。）。なお、ここでは、水平方向の画素補間のみを考えるので、カウンタ値ｃｎｔＫは、上述した水平カウンタｃｎｔＨが対応している。

カウンタ値ｃｎｔＫが１６０×２（＝２ＲＶ）であり、奇数番目の画素であるので、数６式を満たすこととなり、補間画素の出力が有効となる。また、補間比率ｈ＿ＲＴは、２ＲＶ−２ＲＶ＝０となるので、入力画素と同じ画素値の画素が１番目の縮小補間画素として出力される。また、奇数番目の画素において、数６式の条件を満たしたため、カウンタ値ｃｎｔＫから２ＲＶ＝２×１６０が減算される。したがって、カウンタ値ｃｎｔＫは０となる。

次に、図６に示すように２番目の画素（ピクセル）を入力する場合を考える。この場合、表２に示すように、カウンタ値ｃｎｔＫは、ＬＶ＝１２８が加算されてｃｎｔＫ＝１２８となる。しかし、偶数番目の画素において、数７式の条件を満たさないので（ｃｎｔＫがＲＶ＝１６０より小さい。）、ここでは補間画素の出力は有効とならない。

次に、図７に示すように３番目の画素（ピクセル）を入力する場合を考える。この場合、表３に示すように、カウンタ値ｃｎｔＫは、ＬＶ＝１２８が加算されてｃｎｔＫ＝２５６となる。しかし、奇数番目の画素において、数６式の条件を満たさないので（ｃｎｔＫが２ＲＶ＝３２０より小さい。）、ここでは補間画素の出力は有効とならない。

次に、図８に示すように４番目の画素（ピクセル）を入力する場合を考える。この場合、表４に示すように、カウンタ値ｃｎｔＫは、ＬＶ＝１２８が加算されてｃｎｔＫ＝３８４となる。そして、偶数番目の画素において、数７式の条件を満たしているので（ｃｎｔＫがＲＶ＝１６０以上となっている。）、補間画素の出力が有効となる。また、ｈ＿ＲＴ＝ｃｎｔＫ−ＲＶ＝３８４−１６０＝２２４であるので、補間比率は、２ＬＶ−ｈ＿ＲＴ：ｈ＿ＲＴ＝２５６−２２４：２２４＝３２：２２４となる。ただし、図４のバイリニア補間演算部５９で図示した各画素の位置と、図８の画素の位置は左右が逆になっているため、補間比率も逆になっていることに注意。）。この補間比率を用いて、数１式等で説明した演算方法により縮小補間画素の画素値を算出し、２番目の縮小補間画素を出力するのである。

次に、図９に示すように５番目の画素（ピクセル）を入力する場合を考える。この場合、表５に示すように、カウンタ値ｃｎｔＫは、ＬＶ＝１２８が加算されてｃｎｔＫ＝５１２となる。そして、奇数番目の画素において、数６式の条件を満たしているので（ｃｎｔＫが２ＲＶ＝３２０以上となっている。）、補間画素の出力が有効となる。また、ｈ＿ＲＴ＝ｃｎｔＫ−２ＲＶ＝５１２−３２０＝１９２であるので、補間比率は、２ＬＶ−ｈ＿ＲＴ：ｈ＿ＲＴ＝２５６−１９２：１９２＝６４：１９２となる。この補間比率を用いて、数１式等で説明した演算方法により縮小補間画素の画素値を算出し、３番目の縮小補間画素を出力するのである。また、奇数番目の画素において数６式の条件を満たしたので、ｃｎｔＫから２ＲＶが除算され、カウンタ値が更新され、ｃｎｔＫ＝１９２となる。

次に、図１０に示すように６番目の画素（ピクセル）を入力する場合を考える。この場合、表６に示すように、カウンタ値ｃｎｔＫは、ＬＶ＝１２８が加算されてｃｎｔＫ＝３２０となる。そして、偶数番目の画素において、数７式の条件を満たしているので（ｃｎｔＫがＲＶ＝１６０以上となっている。）、補間画素の出力が有効となる。また、ｈ＿ＲＴ＝ｃｎｔＫ−ＲＶ＝３２０−１６０＝１６０であるので、補間比率は、２ＬＶ−ｈ＿ＲＴ：ｈ＿ＲＴ＝２５６−１６０：１６０＝９６：１６０となる。この補間比率を用いて、数１式等で説明した演算方法により縮小補間画素の画素値を算出し、４番目の縮小補間画素を出力するのである。

以上の処理により、６つの入力画素に対して、４つの縮小補間後の画素が出力された。このような処理を繰り返すことによって、順次補間縮小画素の画素値を求めるのである。そして、垂直方向についても同様の処理を行えばよい。図４の回路ブロックを用いて説明した例では、水平方向と垂直方向の処理を同時に行うようにしたが、上記のように水平方向のみの縮小補間処理を実行した後に、水平方向の縮小画像信号を用いて垂直方向の縮小補間処理を実行するようにしてもよい。

なお、前述したように、本発明は、水平方向と垂直方向の縮小率が異なる場合にも適用可能である。上記の実施例では、水平方向および垂直方向について、縮小後の画素間隔として同じ画素間隔ＲＶを用いたが、このＲＶを水平方向と垂直方向とで別の数値を使用するようにすればよい。

本実施の形態にかかるデジタルカメラの機能ブロック図である。 ＲＧＢベイヤ配列の画像信号を示す図である。 バイリニア補間方法を示す図である。 リサイズ処理回路の機能ブロック図である。 リサイズ処理の具体例（１ピクセル目入力時）を示す図である。 リサイズ処理の具体例（２ピクセル目入力時）を示す図である。 リサイズ処理の具体例（３ピクセル目入力時）を示す図である。 リサイズ処理の具体例（４ピクセル目入力時）を示す図である。 リサイズ処理の具体例（５ピクセル目入力時）を示す図である。 リサイズ処理の具体例（６ピクセル目入力時）を示す図である。

符号の説明

１ 撮像センサ
２ Ａ／Ｄ変換回路
３ 画像処理回路（ＬＳＩ）
４ 信号処理ブロック
５ リサイズ処理回路
６ 画像処理ブロック
５２ セレクタ
５３ レジスタ
５５Ｈ 水平方向カウンタ
５５Ｖ 垂直方向カウンタ
５６１Ｈ,５６２Ｈ （水平方向）補間比率算出部
５６１Ｖ,５６２Ｖ （垂直方向）補間比率算出部
５６３Ｈ,５６３Ｖ セレクタ
５９ バイリニア補間演算部

Claims (6)

1. 第１の色成分の画素信号と第２の色成分の画素信号が交互に配列された画像信号を入力し、画像をＬＶ／ＲＶに縮小補間する回路であって、
   奇数番目に前記第１の色成分の画素信号を入力し、偶数番目に前記第２の色成分の画素信号を入力する回路と、
   前記第１の色成分と前記第２の色成分の画素信号が入力されるたびに基準位置を起点として画素間隔ＬＶを加算して、カウンタ値ｃｎｔＫを格納するカウンタと、
   前記第１の色成分の画素信号を入力した際、前記カウンタ値ｃｎｔＫが、２ＲＶ以上となっているか否かを判定し、２ＲＶ以上となっている場合には、基準位置から間隔２ＲＶの位置に補間画素が存在するという前提でバイリニア補間を行って補間画素の画素値を出力するとともに、当該補間画素の位置を新たな基準位置として更新し、前記第２の色成分の画素信号を入力した際、前記カウンタ値ｃｎｔＫがＲＶ以上となっているかを判定し、ＲＶ以上となっている場合には、基準位置から間隔ＲＶの位置に補間画素が存在するという前提でバイリニア補間を行って補間画素の画素値を出力する補間回路と、
   を備えることを特徴とする縮小補間回路。
2. 請求項１に記載の縮小補間回路であって、
   前記補間回路は、
   前記第１の色成分の第ｎ＋１番目画素信号を入力した際、前記カウンタ値ｃｎｔＫが、２ＲＶ以上となっている場合には、ｃｎｔＫ−２ＲＶ＝ＲＴと設定し、現在入力した第ｎ＋１番目画素と直前に入力した同色の第ｎ番目画素とを用いて、両画素間をＲＴ：２ＬＶ−ＲＴで補間することにより補間画素を出力する回路と、
   前記第２の色成分の第ｎ＋１番目画素信号を入力した際、前記カウンタ値ｃｎｔＫが、ＲＶ以上となっている場合には、ｃｎｔＫ−ＲＶ＝ＲＴと設定し、現在入力した第ｎ＋１番目画素と直前に入力した同色の第ｎ番目画素とを用いて、両画素間をＲＴ：２ＬＶ−ＲＴで補間することにより補間画素を出力する回路と、
   を含むことを特徴とする縮小補間回路。
3. 請求項１または請求項２に記載の縮小補間回路であって、
   入力される画像信号は、
   ＲＧＢベイヤ配列の画像信号、
   を含み、
   請求項１または請求項２に記載の各回路における処理を、水平方向および垂直方向に適用させることにより、２次元画像をＬＶ／ＲＶに縮小することを特徴とする縮小補間回路。
4. 画像をＬＶ／ＲＶに縮小補間する方法であって、
   第１の色成分の画素信号と第２の色成分の画素信号が交互に配列された画像信号を入力する工程と、ただし、前記第１の色成分は奇数番目に、前記第２の色成分は偶数番目に配列されており、
   前記第１の色成分と前記第２の色成分の画素信号が入力されるたびに基準位置に対して画素間隔ＬＶを加算して、カウンタ値ｃｎｔＫを格納する工程と、
   前記第１の色成分の画素信号を入力した際、前記カウンタ値ｃｎｔＫが、２ＲＶ以上となっているか否かを判定し、２ＲＶ以上となっている場合には、基準位置から間隔２ＲＶの位置に補間画素が存在するという前提でバイリニア補間を行って補間画素の画素値を出力するとともに、当該補間画素の位置を新たな基準位置として更新し、前記第２の色成分の画素信号を入力した際、前記カウンタ値ｃｎｔＫがＲＶ以上となっているかを判定し、ＲＶ以上となっている場合には、基準位置から間隔ＲＶの位置に補間画素が存在するという前提でバイリニア補間を行って補間画素の画素値を出力する補間工程と、
   を備えることを特徴とする縮小補間方法。
5. 請求項４に記載の縮小補間方法であって、
   前記補間工程は、
   前記第１の色成分の第ｎ＋１番目画素信号を入力した際、前記カウンタ値ｃｎｔＫが、２ＲＶ以上となっている場合には、ｃｎｔＫ−２ＲＶ＝ＲＴと設定し、現在入力した第ｎ＋１番目画素と直前に入力した同色の第ｎ番目画素とを用いて、両画素間をＲＴ：２ＬＶ−ＲＴで補間することにより補間画素を出力する工程と、
   前記第２の色成分の第ｎ＋１番目画素信号を入力した際、前記カウンタ値ｃｎｔＫが、ＲＶ以上となっている場合には、ｃｎｔＫ−ＲＶ＝ＲＴと設定し、現在入力した第ｎ＋１番目画素と直前に入力した同色の第ｎ番目画素とを用いて、両画素間をＲＴ：２ＬＶ−ＲＴで補間することにより補間画素を出力する工程と、
   を含むことを特徴とする縮小補間方法。
6. 請求項４または請求項５に記載の縮小補間方法であって、
   入力される画像信号は、
   ＲＧＢベイヤ配列の画像信号、
   を含み、
   請求項４または請求項５に記載の方法を、水平方向および垂直方向に適用させることにより、２次元画像をＬＶ／ＲＶに縮小することを特徴とする縮小補間方法。

Images