JP3975033B2

JP3975033B2 - Electronic camera

Info

Publication number: JP3975033B2
Application number: JP23706199A
Authority: JP
Inventors: 大川瀬; 正祐樋口
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 1999-08-24
Filing date: 1999-08-24
Publication date: 2007-09-12
Anticipated expiration: 2019-08-24
Also published as: JP2001061156A

Description

【０００１】
【発明の属する技術分野】
本発明は、所望の画像を撮像し、この画像情報を記録・表示することが可能な電子カメラに関し、特に、単板からなる撮像素子を用いて擬似３板化した画像処理が可能な電子カメラに関する。
【０００２】
【従来の技術】
従来画素補間を行った場合において、エッジ部分の偽信号発生を回避するために、空間画素ずらし法によって生成された２つの画像を合成して合成画像を作成する撮像装置が報告されている（特開平１０−２４８０６９）。
【０００３】
【発明が解決しようとする課題】
本発明は、少なくとも単板からなる撮像素子で撮影した画像を擬似３板化することにより、安価で高画質の電子カメラを提供することを目的とする。
【０００４】
【課題を解決するための手段】
本発明は、上記の課題を解決するために次のような手段を講じた。
【０００５】
本発明の電子カメラは、単板からなり、二次元配列された各画素に対して、少なくとも３つの異なる色のカラーフィルタの１つ１つが所定の順序で二次元配列された単板カラー撮像素子と、３次以上の多項近似式による補間処理を行うための補間係数を記憶したテーブルと、前記単板カラー撮像素子の全画素数に相当する位置及び数の色情報からなる色プレーンを各色について前記補間処理を用いて得る補間手段と、高域信号に相当する所定の色の色情報に基づいて画像のエッジ情報を抽出するエッジ情報抽出手段と、前記各色プレーンと前記抽出されたエッジ情報とを合成するエッジ情報合成手段と、を備え、前記各色プレーンの各々は、前記単板カラー撮像素子の当該色の画素から得られる色情報と前記補間処理により算出される当該色情報との配列からなり、前記補間係数は、所定数の当該色の画素を含むように予め定めた配列において、他色の画素の位置の各々について、前記所定数の当該色の画素の位置に対応して与えられ、前記補間処理は、前記単板カラー撮像素子の当該色の画素の位置に応じて、前記予め定めた配列に対応するように、領域を設定し、前記領域を設定した前記単板カラー撮像素子の当該色の画素の位置の周りの他色の画素の位置の色情報を、前記設定した領域の前記所定数の当該色の画素の色情報を用いて算出することを特徴とする。
【０００６】
上記の電子カメラにおいて、前記画素における色情報のうち広帯域信号に相当する所定の色情報に基づいて画像のエッジを抽出する手段を更に備え、前記補間手段は、前記生成した各色プレーンのうち前記所定の色情報に対応する色プレーン情報と前記抽出されたエッジ情報とを混合して出力することを特徴とする。
【０００７】
【発明の実施の形態】
図面を参照して本発明の実施の形態を説明する。
【０００８】
図１は、本発明の一実施形態に係る電子カメラのシステム構成を示す概略ブロック図である。図１を参照して本発明に係る電子カメラの概略構成を説明する。
【０００９】
撮影レンズ系１１を通過した被写体の画像は、撮像素子１２で電気信号に変換される。撮像素子１２で変換された電気信号は、撮像回路１３でアナログ画像信号に変換された後に、Ａ／Ｄ変換器１４によってデジタル画像信号に変換される。そして、このデジタル画像信号は、所定の処理を経て、例えば、外部メモリである着脱可能な着脱メモリ２０（例えば、フラッシュメモリ、スマートメディア等）にインターフェース（Ｉ／Ｆ）２１を介して記録される。なお、着脱メモリ２０は通常カードスロット２２に装着される。また、電子カメラは、高速な内蔵メモリ３０（例えば、ランダムアクセスメモリ（ＲＡＭ）等）を有しており、画像の圧縮伸長における作業用メモリとして、或いは一時的な画像記憶手段としての高速バッファとして使用される。内蔵メモリ３０は、本発明においては、補間処理用のメモリ領域３１を有している。なお、このメモリ領域３１は内蔵メモリ３０と独立したメモリであっても良いし、補間処理用の演算回路（又は、ＩＣ）に内蔵されたメモリであってもかまわない。
【００１０】
圧縮伸長回路４０は、デジタル画像信号の圧縮を行ったり、圧縮された画像信号を展開（伸長）するためのものである。
【００１１】
また、電子カメラには、通常画像表示用のＬＣＤ５０（液晶表示装置）が搭載されており、このＬＣＤ５０は、着脱メモリ２０に記録された画像の確認や、撮影しようとする画像を表示する。このＬＣＤ５０に表示される画像は内蔵メモリ３０からの画像情報を一旦ビデオメモリ５１に取り込み、次に、ビデオ出力回路５２で、ビデオ画像に変化して、画像表示ＬＣＤ５０に画像が表示可能となっている。また、ビデオ出力回路５２の出力はビデオ出力用の外部端子５３を介して外部表示装置にビデオ画像が出力できるようになっている。
【００１２】
シスコン７０は、電子カメラの各機器の全体の制御を行うもので、その機能の詳細は後述する。シスコン７０は、レリーズからなる操作部７３からの入力を受け付けて、レリーズの操作によって撮像を行ったり、画像処理を図示しない画像処理回路に依頼したりする。また、シスコン７０は、被写体の撮像時における光量が不足している場合には、ストロボ発光部７１に依頼してストロボをオンにして撮影するように制御する。また、シスコン７０には図示しない撮影距離検出部があり、被写体との距離を検出する機能を有する。また、操作部７３は、各種モードの設定も行うことができるようになっており、そのモード設定はモードＬＣＤ７２に表示される。
【００１３】
外部インターフェース（外部Ｉ／Ｆ）６１は、外部入出力端子６０に接続されて、外部機器とのデータの入出力を行う。この外部入出力端子６０には、例えば、パーソナルコンピュータ等が接続されて、着脱メモリ２０内の画像をパーソナルコンピュータ等に転送したり、パーソナルコンピュータ等から画像データを入力したりする。
【００１４】
また、電子カメラの各部は基本的に電池により駆動するようになっており、電源部８０を介してカメラ電池８１からの電力によってカメラの各部が駆動するようになっている。また、カメラ電池８１は電源部８０の制御により充電可能なものとなっている。
【００１５】
図２は、１次元の補間モデルを示す図である。図２の（ａ）に示すように、従来では、２点間を結ぶ直線によって所望の位置における出力値を計算する直線補間が一般的であった。このようにすると、計算に必要な既知の出力値を有する位置は２点でよいが、あくまでも２点間の比例平均の出力値を求めることになるので、例えば、その２点間に最大値又は最小値がある場合でも、検出できないことになる。本発明では、この補間精度を上げるために、少なくとも３次以上の多次多項式による近似式を用いて所望の位置における出力値を得ている。図２では、４点の値から３次多項式の係数を求めて、求められた３次多項式による近似式に位置データを入れて出力を得ている例を示す。なお、この３次多項式による近似式による補間は「Ｃｕｂｉｃ補間」とも称する。図２において、位置ｎ−１、ｎ、ｎ＋１、ｎ＋２の４点の出力値から３次多項式の係数を求め、その３次多項式から位置ｘ′における出力値を求めることによって所望の位置における補間値が得られることになる。これを例えば、直線補間で行った場合を考慮すると、最大値を有する位置はｎ＋１になるので、本発明の場合と異なり、正確な位置が得られないことが明らかである。
【００１６】
図３は、本発明における補間演算回路９０のブロック図である。補間演算回路９０は補間位置算出部９１と、補間位置修正部９２と、補間係数テーブル９３と、補間演算部９４と、バッファメモリ３１とからなる。なお、補間位置算出部９１から補間演算部９４の機能はシスコン７０で行われる。具体的には、補間演算回路９０は次のような動作を行う。
【００１７】
内蔵メモリ３０からの元画像データが補間位置算出部９１と補間演算部９４とに入力する。補間位置算出部９１は、入力データに基づいて、例えば、図２（ｂ）における、ｎ点とｎ＋１点との間の補間位置ｘ′を算出する。次に、補間位置修正部９２は、演算を簡略化するために、例えば、ｎ点とｎ＋１点との間を１６等分した場合におけるｘ′点に最も近い点に補間位置をメモリ領域３１からのデータに基づいて修正する。このように補間位置を修正することにより、予め用意された補間係数テーブル９３を用いて修正された補間位置における出力を算出することができるので、複雑な計算を行うことなく、高速に補間位置における出力値が算出可能となる。なお、この補間位置の修正による誤差については、テーブルで補間係数を与えるようにしているために、細かくしすぎるとテーブルのデータ量が増えるので現実的ではないが、ある程度、例えば上記のように１６等分した位置とすれば精度的には十分であるし、データ量もさほど多くならないので、現実的といえる。
【００１８】
図４は、高次多項式の近似式により補間を擬似３板化に適用した場合について説明するための図である。
図４の（ａ）に示すように、単板の撮像素子においては、画素毎にＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の色配置が決まっており、１つの画素には１つの色が対応している。本発明では、高次多項式の近似式による補間を用いて、各画素において、例えば、レッドの色情報がない部分にレッドの補間値を埋め込み、グリーンの色情報のない部分にはグリーンの補間値を埋め込み、ブルーの色情報のない部分にはブルーの補間値を埋め込むようにして、擬似３板化を実現している。この様子を図４の（ｂ）に示す。また、その後の処理で、
Ｙ＝ａＲ＋ｂＧ＋ｃＢ
Ｃｂ＝α（Ｂ−Ｙ）
Ｃｒ＝β（Ｒ−Ｙ）
でそれぞれ示される式に基づき、図４の（ｂ）を同図（ｃ）へ置き換えている。
【００１９】
図５は、ＲＧＢの各色についての補間方法を説明するための図である。図５において、ＲＧＢの括弧内の部分の（Ｒ）（Ｇ）（Ｂ）はそれぞれ当該色情報がないことを示している。図５の（ａ）は、Ｒ（レッド）の補間の様子を示す図であって、この場合において、Ｒ（レッド）の色情報を有する周りの点▲１▼と点▲２▼及び点▲３▼におけるＲ（レッド）の色情報は、図中破線Ａで示したデータ（１６個のＲのデータ）を用いて補間できる。また、同様にして、点▲４▼、点▲５▼及び点▲６▼におけるＲ（レッド）の色情報は、図中破線Ｂで示したデータで求めることができる。このような補間方法により、全ての格子点の色情報が求められる。次に、Ｇ（グリーン）の場合には、Ｇのデータのある画素とない画素とが交互に配置されているので、例えば、破線Ｃ内の１６個のデータを用いて、図中の斜線で示した（Ｇ）のデータが得られる。なお、図５の（ｃ）に示すＢ（ブルー）の場合には、配置はＲ（レッド）の場合と同様であるので、Ｒ（レッド）と同様な方法によって画素のない部分におけるデータを補間することができる。この場合において、補間係数テーブルとして用意されているのは、１６画素（３次多項式の２次元補間であれば、上記のように１６個のデータ）分であるので、補間係数テーブルとしては小さいテーブルを用意すれば良く、更にテーブルによって補間係数を与えているので、複雑な計算を要することがないので、小さな回路で、擬似３板化が実現できる。
【００２０】
図６は、ＲＧＢの各色について他の補間方法を説明するための図である。図５ではＲＧＢの各色の補間を行うのに際し、例えば、図５の（ａ）のＲ（レッド）の領域Ａについては、７×７画素（基本的には、８×８画素の領域を抽出）から補間値を求め、図５の（ｂ）のＧ（グリーン）については、菱形の領域を設定して、補間値を求めるようにしている。図５に示すような領域の設定方法によって、補間値を求める場合には、Ｒ（レッド）とＢ（ブルー）は有効帯域が同一にできるが、Ｇ（グリーン）については他の色と有効帯域が異なり、補間方法としては好ましくない。本実施形態においては、ＲＧＢの各色の全てについてＲＧＢ共に４×４画素から各色の補間を行っている。図６の（ａ）はＲ（レッド）の補間例であり、（ｂ）はＧ（グリーン）の補間例であり、（ｃ）はＢ（ブルー）の補間例である。例えば、図６の（ａ）において、４×４画素を抽出すると、抽出された領域には少なくともＲ（レッド）の４画素（すなわち、４つのデータ）が存在することになる。この４つのデータを用いて、図６の（ａ）の○の位置における補間値を３次多項式による近似式を用いて補間して求める。Ｇ（グリーン）Ｂ（ブルー）についてもＲ（レッド）と同様に、補間される。なお、画素データは、その位置と補間係数により周波数帯域が異なるので、その画素位置に応じた補正係数で図示のように補正する。このように、本実施形態においては、補間画素を少なくでき、ＲＧＢの各色について同一の４×４画素から同一の補間係数を用いて各色のデータを生成するために、有効帯域が合わせられるという利点がある。
【００２１】
図７は、Ｇ（グリーン）についての更に他の補間方法を説明するための図である。図７では、図５の（ｂ）で示したＧ（グリーン）のように抽出領域を菱形でなく、Ｒ（レッド）やＢ（ブルー）と同様に正方形としたことにある。図７においては、例えば、（Ｇ）で補間したものと［Ｇ］で補間したものとを加算することによって、補間値を得ている。このようにすると、Ｇ（グリーン）についても、Ｒ（レッド）やＢ（ブルー）と同一の画素領域で同一の補間係数を用いてデータの作成が可能になるので、有効帯域が合わせられる。また、図６の実施形態と比較した場合には、補間に用いる画素数が多くなるので、精度が向上するという利点を有する。
【００２２】
図８は、擬似３板化による処理の流れの概略図である。ＣＣＤからの出力は、ＡＤ変換器によってデジタル信号に変換され、その信号は２つに分かれ、１つはエッジ抽出用、もう１つは擬似３板化用に使用される。エッジは広帯域信号から抽出される。また、擬似３板化は狭帯域信号を用いて行われる。そして、抽出されたエッジが３板化された信号と合成されて画像処理が行われる。このように、「エッジ処理」に相当する処理は、３板化処理（狭帯域信号による処理）にエッジ処理による高帯域成分を補うことによって広帯域化処理を行うものである。この時、エッジ処理で用いる信号としては、例えば、広帯域成分をより多く含む、例えば、上記の図５の実施形態で生成されたＧ（グリーン）信号が用いられる。
【００２３】
上記のように、本発明によれば、例えば、ＲＧＢの色情報のうちＲ（レッド）の画素情報のある画素については、Ｇ（グリーン）及びＢ（ブルー）についてそれぞれ高次多項式を用いた近似式による補間によってＧ（グリーン）とＢ（ブルー）の画素値を求め、Ｒ（レッド）の色情報のない画素については、同様にして補間により画素値を求めている。この高次多項式を用いた近似式による補間では、従来の例えば直線補間比較して極めて精度の良い補間値が得られるので、安価で高画質な電子カメラを提供することを可能となる。
【００２４】
本発明は、上記の発明の実施の形態に限定されるものではない。上記の実施形態においては、近似式として３次多項式の１次元についてのみの例を示したが、４次以上の多項式に拡張も可能であるし、２次元以上の多次元による補間を行うことも可能である。更に、多項式による近似でなく、他の適当な関数（例えば、指数関数等）を使用した更に精度の良い近似式が得られたのであれば、その近似式を使用し、更に、その補間係数をテーブルとして与えておくのも非常に効果的である。
【００２５】
また、本発明の要旨を変更しない範囲で種々変形して実施できるのは勿論である。
【００２６】
【発明の効果】
本発明によれば次のような効果が得られる。
【００２７】
高次多項式を用いた近似式により精度の良い補間を行って擬似３板化を可能としたので、安価で高画質の電子カメラを提供できる。
【００２８】
また、複雑な演算を行わず予め用意されたテーブルを参照して補間演算を実行するので、高速処理が可能になると共に、高性能な演算素子などを必要としない。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る電子カメラのシステム構成を示す概略ブロック図。
【図２】１次元の補間モデルを示す図。
【図３】本発明における補間演算回路９０のブロック図。
【図４】高次多項式の近似式により補間を擬似３板化に適用した場合について説明するための図。
【図５】ＲＧＢの各色についての補間方法を説明するための図。
【図６】ＲＧＢの各色について他の補間方法を説明するための図。
【図７】Ｇについて更に他の補間方法を説明するための図。
【図８】擬似３板化による処理の流れの概略図。
【符号の説明】
１１…撮影レンズ系、
１２…撮像素子、
１３…撮像回路、
１４…Ａ／Ｄ変換器、
２０…着脱メモリ、
２１…インターフェース（Ｉ／Ｆ）、
２２…カードスロット、
３０…内蔵メモリ、
３１…補間処理用のメモリ領域、
４０…圧縮伸長回路、
５０…ＬＣＤ、
５１…ビデオメモリ、
５２…ビデオ出力回路、
５３…外部端子、
７０…シスコン
７３…操作部、
７１…ストロボ発光部、
６１…外部インターフェース（外部Ｉ／Ｆ）、
８０…電源部、
８１…カメラ電池。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an electronic camera capable of capturing a desired image and recording / displaying the image information, and more particularly to an electronic camera capable of performing pseudo-three-panel image processing using a single-plate image sensor. About.
[0002]
[Prior art]
In the case of performing conventional pixel interpolation, in order to avoid generation of a false signal at an edge portion, an imaging device that generates a composite image by combining two images generated by a spatial pixel shift method has been reported (special feature). Kaihei 10-248069).
[0003]
[Problems to be solved by the invention]
SUMMARY OF THE INVENTION An object of the present invention is to provide an inexpensive and high-quality electronic camera by converting an image photographed by an image sensor composed of at least a single plate into a pseudo three-plate.
[0004]
[Means for Solving the Problems]
In order to solve the above-mentioned problems, the present invention has taken the following measures.
[0005]
The electronic camera of the present invention comprises a single plate, for each pixel arranged two-dimensionally, at least three different colors single-plate color image pickup device one of the color filter one is arranged two-dimensionally in a predetermined order of A color plane including a table storing interpolation coefficients for performing interpolation processing using a third-order or higher order polynomial approximation expression, and color information of positions and numbers of color information corresponding to the total number of pixels of the single-plate color image sensor for each color Interpolating means obtained using the interpolation processing, edge information extracting means for extracting edge information of an image based on color information of a predetermined color corresponding to a high frequency signal, each color plane and the extracted edge information and an edge information combining means for combining each of said respective color plane, the color calculated by said color information obtained from the color pixels of the single-plate color image sensor interpolation processing The interpolation coefficient is arranged in a predetermined array so as to include a predetermined number of pixels of the color, and the position of the predetermined number of pixels of the color is determined for each of the positions of the pixels of other colors. The interpolation processing is performed in accordance with the position of the pixel of the color of the single-chip color imaging device, the region is set to correspond to the predetermined array, and the region is set. The color information of the positions of the pixels of the other color around the positions of the pixels of the corresponding color of the single-chip color image sensor is calculated using the color information of the pixels of the predetermined number of the colors of the set area. And
[0006]
The electronic camera further includes means for extracting an edge of an image based on predetermined color information corresponding to a broadband signal among color information in the pixel, and the interpolation means includes the predetermined color plane among the generated color planes. The color plane information corresponding to the color information and the extracted edge information are mixed and output .
[0007]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described with reference to the drawings.
[0008]
FIG. 1 is a schematic block diagram showing a system configuration of an electronic camera according to an embodiment of the present invention. A schematic configuration of an electronic camera according to the present invention will be described with reference to FIG.
[0009]
The image of the subject that has passed through the photographic lens system 11 is converted into an electrical signal by the image sensor 12. The electric signal converted by the image pickup device 12 is converted into an analog image signal by the image pickup circuit 13 and then converted into a digital image signal by the A / D converter 14. Then, the digital image signal is recorded through a predetermined process, for example, on an detachable removable memory 20 (for example, a flash memory, smart media, etc.) that is an external memory via an interface (I / F) 21. . Note that the removable memory 20 is normally mounted in the card slot 22. Further, the electronic camera has a high-speed built-in memory 30 (for example, a random access memory (RAM) or the like), and is used as a working memory for image compression / decompression or as a high-speed buffer as a temporary image storage means. used. In the present invention, the built-in memory 30 has a memory area 31 for interpolation processing. The memory area 31 may be a memory independent of the built-in memory 30 or may be a memory built in an arithmetic processing circuit (or IC) for interpolation processing.
[0010]
The compression / decompression circuit 40 is for compressing the digital image signal and expanding (decompressing) the compressed image signal.
[0011]
The electronic camera is equipped with an LCD 50 (liquid crystal display device) for normal image display. The LCD 50 confirms an image recorded in the removable memory 20 and displays an image to be taken. For the image displayed on the LCD 50, image information from the built-in memory 30 is once taken into the video memory 51, and then converted into a video image by the video output circuit 52 so that the image can be displayed on the image display LCD 50. Yes. The video output circuit 52 can output a video image to an external display device via an external terminal 53 for video output.
[0012]
The syscon 70 performs overall control of each device of the electronic camera, and details of the function will be described later. The syscon 70 receives an input from the operation unit 73 including a release, and performs imaging by operating the release, or requests an image processing circuit (not shown) for image processing. Further, the system controller 70 controls the strobe light emitting unit 71 to turn on the strobe and take a picture when the amount of light at the time of photographing the subject is insufficient. Further, the syscon 70 has a photographing distance detection unit (not shown) and has a function of detecting the distance to the subject. The operation unit 73 can also set various modes, and the mode settings are displayed on the mode LCD 72.
[0013]
An external interface (external I / F) 61 is connected to the external input / output terminal 60 to input / output data to / from an external device. For example, a personal computer or the like is connected to the external input / output terminal 60, and an image in the removable memory 20 is transferred to the personal computer or the like, or image data is input from the personal computer or the like.
[0014]
Each part of the electronic camera is basically driven by a battery, and each part of the camera is driven by the power from the camera battery 81 via the power supply unit 80. The camera battery 81 can be charged under the control of the power supply unit 80.
[0015]
FIG. 2 is a diagram illustrating a one-dimensional interpolation model. As shown in FIG. 2A, conventionally, linear interpolation for calculating an output value at a desired position by a straight line connecting two points is generally used. In this way, the position having the known output value necessary for the calculation may be two points. However, since the output value of the proportional average between the two points is obtained to the last, for example, the maximum value between the two points or Even if there is a minimum value, it cannot be detected. In the present invention, in order to increase the interpolation accuracy, an output value at a desired position is obtained by using an approximate expression based on a multi-order polynomial of at least third order. FIG. 2 shows an example in which a coefficient of a cubic polynomial is obtained from the values of four points, and position data is put into an approximate expression by the obtained cubic polynomial to obtain an output. Note that the interpolation by the approximate expression using the cubic polynomial is also referred to as “Cubic interpolation”. In FIG. 2, a third-order polynomial coefficient is obtained from output values at four points at positions n−1, n, n + 1, n + 2, and an output value at a position x ′ is obtained from the third-order polynomial, whereby an interpolation value at a desired position is obtained. Will be obtained. Considering the case where this is performed by, for example, linear interpolation, the position having the maximum value is n + 1, so that it is clear that an accurate position cannot be obtained unlike the case of the present invention.
[0016]
FIG. 3 is a block diagram of the interpolation calculation circuit 90 in the present invention. The interpolation calculation circuit 90 includes an interpolation position calculation unit 91, an interpolation position correction unit 92, an interpolation coefficient table 93, an interpolation calculation unit 94, and a buffer memory 31. The functions from the interpolation position calculation unit 91 to the interpolation calculation unit 94 are performed by the syscon 70. Specifically, the interpolation calculation circuit 90 performs the following operation.
[0017]
Original image data from the built-in memory 30 is input to the interpolation position calculation unit 91 and the interpolation calculation unit 94. The interpolation position calculation unit 91 calculates, for example, an interpolation position x ′ between the n point and the n + 1 point in FIG. 2B based on the input data. Next, in order to simplify the calculation, for example, the interpolation position correcting unit 92 sets the interpolation position from the memory area 31 to a point closest to the point x ′ when the n point and the n + 1 point are equally divided into 16 points. Correct based on the data. By correcting the interpolation position in this way, it is possible to calculate the output at the corrected interpolation position using the interpolation coefficient table 93 prepared in advance, so that the interpolation position can be calculated at high speed without performing complicated calculations. The output value can be calculated. Note that the error due to the correction of the interpolation position is not practical because if the data is too fine, the interpolation coefficient is given by the table. If the position is equally divided, the accuracy is sufficient, and the amount of data does not increase so much.
[0018]
FIG. 4 is a diagram for explaining a case where interpolation is applied to pseudo three-plate conversion using an approximate expression of a high-order polynomial.
As shown in FIG. 4A, in a single-plate image sensor, the color arrangement of R (red), G (green), and B (blue) is determined for each pixel, and one pixel has one. Two colors correspond. In the present invention, for example, in each pixel, a red interpolation value is embedded in a portion where there is no red color information and a green interpolation value is used in a portion where there is no green color information. Is embedded, and a blue interpolation value is embedded in a portion having no blue color information, thereby realizing a pseudo three-plate configuration. This is shown in FIG. In subsequent processing,
Y = aR + bG + cB
Cb = α (BY)
Cr = β (R−Y)
(B) in FIG. 4 is replaced with (c) in FIG.
[0019]
FIG. 5 is a diagram for explaining an interpolation method for each color of RGB. In FIG. 5, (R), (G), and (B) in the parentheses of RGB indicate that there is no color information. FIG. 5A is a diagram showing how R (red) is interpolated. In this case, the surrounding points {circle around (1)}, {circle around (2)}, and {dot over (▲)} having color information of R (red) are shown. The color information of R (red) in 3 ▼ can be interpolated using data (16 pieces of R data) indicated by a broken line A in the figure. Similarly, the color information of R (red) at points (4), (5) and (6) can be obtained from the data indicated by the broken line B in the figure. By such an interpolation method, color information of all grid points is obtained. Next, in the case of G (green), pixels with and without G data are alternately arranged. For example, using the 16 data in the broken line C, the hatched lines in the figure The data (G) shown is obtained. In the case of B (blue) shown in FIG. 5C, the arrangement is the same as in the case of R (red), and therefore data in a portion without pixels is interpolated by the same method as R (red). can do. In this case, since the interpolation coefficient table is prepared for 16 pixels (16 data as described above if two-dimensional interpolation of a cubic polynomial), a small table is used as the interpolation coefficient table. In addition, since the interpolation coefficient is given by a table, no complicated calculation is required, so that a pseudo three-plate configuration can be realized with a small circuit.
[0020]
FIG. 6 is a diagram for explaining another interpolation method for each color of RGB. In FIG. 5, when interpolation of each color of RGB is performed, for example, an area of 7 × 7 pixels (basically, an 8 × 8 pixel region is extracted from the R (red) region A in FIG. ) To obtain an interpolation value, and for G (green) in FIG. 5B, a rhombus region is set to obtain the interpolation value. When the interpolation value is obtained by the region setting method as shown in FIG. 5, the effective bands of R (red) and B (blue) can be the same, but other colors and effective bands of G (green) can be obtained. Are different and are not preferable as an interpolation method. In the present embodiment, the interpolation of each color is performed from 4 × 4 pixels for all the RGB colors. 6A shows an example of R (red) interpolation, FIG. 6B shows an example of G (green) interpolation, and FIG. 6C shows an example of B (blue) interpolation. For example, in FIG. 6A, when 4 × 4 pixels are extracted, at least four R (red) pixels (that is, four data) are present in the extracted region. Using these four data, the interpolation value at the position of ◯ in FIG. 6A is interpolated using an approximate expression by a cubic polynomial. G (green) and B (blue) are also interpolated in the same manner as R (red). Since the pixel data has a different frequency band depending on the position and the interpolation coefficient, the pixel data is corrected as shown in the figure with a correction coefficient corresponding to the pixel position. As described above, in the present embodiment, the number of interpolation pixels can be reduced, and the effective bands can be adjusted in order to generate the data for each color using the same interpolation coefficient from the same 4 × 4 pixels for each color of RGB. There is.
[0021]
FIG. 7 is a diagram for explaining still another interpolation method for G (green). In FIG. 7, the extraction region is not a rhombus like G (green) shown in FIG. 5B, but is a square like R (red) and B (blue). In FIG. 7, for example, an interpolation value is obtained by adding the one interpolated in (G) and the one interpolated in [G]. In this way, for G (green), data can be created using the same interpolation coefficient in the same pixel area as R (red) and B (blue), so that the effective band is matched. Further, when compared with the embodiment of FIG. 6, since the number of pixels used for interpolation increases, there is an advantage that accuracy is improved.
[0022]
FIG. 8 is a schematic diagram of a process flow by the pseudo three-plate process. The output from the CCD is converted into a digital signal by an AD converter, and the signal is divided into two, one for edge extraction and one for pseudo-three-plate conversion. Edges are extracted from the broadband signal. In addition, the pseudo three-plate conversion is performed using a narrowband signal. Then, the extracted edge is combined with the three-plate signal for image processing. As described above, the processing corresponding to the “edge processing” is to perform the wideband processing by supplementing the high band component by the edge processing to the three-plate processing (processing by the narrowband signal). At this time, as a signal used in the edge processing, for example, the G (green) signal generated in the above-described embodiment of FIG.
[0023]
As described above, according to the present invention, for example, for pixels having R (red) pixel information among RGB color information, approximation using high-order polynomials for G (green) and B (blue), respectively. G (green) and B (blue) pixel values are obtained by interpolation using equations, and pixel values for pixels without R (red) color information are similarly obtained by interpolation. In the interpolation by the approximate expression using the higher-order polynomial, an interpolation value with extremely high accuracy can be obtained by comparison with the conventional linear interpolation, for example, and it is possible to provide an inexpensive and high-quality electronic camera.
[0024]
The present invention is not limited to the above-described embodiments. In the above embodiment, an example of only a one-dimensional third-order polynomial is shown as an approximate expression, but it can be expanded to a fourth-order or higher-order polynomial, and multidimensional interpolation of two or more dimensions can be performed. Is possible. Furthermore, if an approximate expression with higher accuracy using another appropriate function (for example, an exponential function) than the approximation by a polynomial is obtained, the approximate expression is used, and the interpolation coefficient is further changed. It is also very effective to give it as a table.
[0025]
Of course, various modifications can be made without departing from the scope of the present invention.
[0026]
【The invention's effect】
According to the present invention, the following effects can be obtained.
[0027]
Interpolation with high accuracy is performed by an approximation formula using a high-order polynomial to enable the pseudo three-plate configuration, so that an inexpensive and high-quality electronic camera can be provided.
[0028]
In addition, since the interpolation calculation is executed by referring to a table prepared in advance without performing a complicated calculation, high-speed processing is possible and a high-performance calculation element is not required.
[Brief description of the drawings]
FIG. 1 is a schematic block diagram showing a system configuration of an electronic camera according to an embodiment of the present invention.
FIG. 2 is a diagram showing a one-dimensional interpolation model.
FIG. 3 is a block diagram of an interpolation calculation circuit 90 in the present invention.
FIG. 4 is a diagram for explaining a case where interpolation is applied to pseudo three-plate conversion using an approximate expression of a high-order polynomial.
FIG. 5 is a diagram for explaining an interpolation method for each color of RGB.
FIG. 6 is a diagram for explaining another interpolation method for each color of RGB.
FIG. 7 is a diagram for explaining still another interpolation method for G.
FIG. 8 is a schematic diagram of a flow of processing by pseudo three-plate formation.
[Explanation of symbols]
11 ... Photography lens system,
12: Image sensor,
13: Imaging circuit,
14 ... A / D converter,
20 ... removable memory,
21 ... Interface (I / F),
22: Card slot,
30 ... Built-in memory,
31: Memory area for interpolation processing,
40. Compression / decompression circuit,
50 ... LCD,
51 ... Video memory,
52 ... Video output circuit,
53 ... External terminal,
70 ... Syscon 73 ... Operation part,
71 ... Strobe light emitting part,
61 ... External interface (external I / F),
80 ... power supply,
81 ... Camera battery.

Claims

二次元配列された各画素に対して、少なくとも３つの異なる色のカラーフィルタの１つ１つが所定の順序で二次元配列された単板カラー撮像素子と、
３次以上の多項近似式による補間処理を行うための補間係数を記憶したテーブルと、
前記単板カラー撮像素子の全画素数に相当する位置及び数の色情報からなる色プレーンを各色について前記補間処理を用いて得る補間手段と、
高域信号に相当する所定の色の色情報に基づいて画像のエッジ情報を抽出するエッジ情報抽出手段と、
前記各色プレーンと前記抽出されたエッジ情報とを合成するエッジ情報合成手段と、を備え、
前記各色プレーンの各々は、前記単板カラー撮像素子の当該色の画素から得られる色情報と前記補間処理により算出される当該色情報との配列からなり、
前記補間係数は、所定数の当該色の画素を含むように予め定めた配列において、他色の画素の位置の各々について、前記所定数の当該色の画素の位置に対応して与えられ、
前記補間処理は、前記単板カラー撮像素子の当該色の画素の位置に応じて、前記予め定めた配列に対応するように、領域を設定し、
前記領域を設定した前記単板カラー撮像素子の当該色の画素の位置の周りの他色の画素の位置の色情報を、前記設定した領域の前記所定数の当該色の画素の色情報を用いて算出することを特徴とする電子カメラ。For each pixel arranged two-dimensionally, each one of the color filters of at least three different colors, but the single-plate color image pickup elements arranged two-dimensionally in a predetermined order,
A table storing interpolation coefficients for performing interpolation processing by a third-order or higher polynomial approximation,
Interpolating means for obtaining a color plane composed of color information of positions and numbers corresponding to the total number of pixels of the single-plate color image sensor using the interpolation processing for each color ;
Edge information extraction means for extracting edge information of an image based on color information of a predetermined color corresponding to a high frequency signal;
Edge information combining means for combining each color plane and the extracted edge information ;
Each of the color planes is composed of an array of color information obtained from pixels of the color of the single-chip color image sensor and the color information calculated by the interpolation process,
The interpolation coefficient is given in correspondence with the position of the predetermined number of pixels of the color for each of the positions of the pixels of the other color in a predetermined array so as to include the predetermined number of pixels of the color,
The interpolation processing sets an area so as to correspond to the predetermined arrangement according to the position of the pixel of the color of the single-plate color image sensor,
The color information of the positions of the pixels of the other color around the position of the pixels of the color of the single-chip color image sensor in which the area is set is used as the color information of the pixels of the predetermined number of the colors of the set area. electronic camera and calculates Te.