JP3717720B2

JP3717720B2 - Electronic camera

Info

Publication number: JP3717720B2
Application number: JP23706099A
Authority: JP
Inventors: 大川瀬; 正祐樋口
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 1999-08-24
Filing date: 1999-08-24
Publication date: 2005-11-16
Anticipated expiration: 2019-08-24
Also published as: JP2001061099A

Description

【０００１】
【発明の属する技術分野】
本発明は、所望の画像を撮像し、この画像情報を記録・表示することが可能な電子カメラに関する。
【０００２】
【従来の技術】
いわゆる電子カメラにおいて、撮影レンズ系を介して得られた被写体像はＣＣＤ（固体撮像素子）によって電気信号に変換され、さらにＡ／Ｄ変換器によってデジタル画像信号に変換される。これにより、ＬＣＤへの画像表示、小型記録メディアへの記録等を行うために種々の画像処理を施すことが可能な被写体像の画像情報が得られる。例えば画像記録に関し、被写体像の画像情報は、所定の画像処理が施されたのち、例えばＪＰＥＧ(Joint Photographic Coding Experts Group)方式の画像圧縮伸長回路に供給される。ＪＰＥＧ方式はカラー静止画像のデータ圧縮方式の一つとしてよく知られており、人間の視覚特性に基づいて特定の画像情報を削減し、画像の記憶容量を少なくする。圧縮伸長回路により圧縮された画像情報は所定のインターフェースを介してフラッシュメモリ、スマートメディア等の小型記録メディアに記録される。
【０００３】
このような従来の電子カメラにおいては、言うまでもなく画像記録における画質向上が重要な課題であり、固体撮像素子の高精細化、演算プロセッサの能力向上とあいまって不断の研究開発が進められている。
【０００４】
画質向上を実現するためには、例えば、電子カメラに新たな専用の処理系を実装することが考えられる。しかしながら、特に普及型の電子カメラでは極めて厳格なコストを要求される。
【０００５】
【発明が解決しようとする課題】
本発明は上記事情を考慮してなされたものであり、高画質の画像記録を行い得る安価な構成の電子カメラを提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、上記の課題を解決するために次のような手段を講じた。
（１）本発明の電子カメラは、被写体光を撮像手段により受光し、これにより電子的な画像情報として得られた被写体像を電子的に記録可能な電子カメラであって、前記撮像手段により得られた複数画素の画像データを画像処理する画像処理手段と、前記画像データに対して画素数を変更する際に画素補間をするときの補間位置を算出する補間位置算出部と、前記画像データのｎ点とｎ＋１点との間を予め等分割し、この等分割した各位置に対応するように予め設けられた補間係数を記憶する補間係数記憶部と、前記補間位置算出部での算出によって前記予め等分割した位置とは異なる位置に得られた補間位置を、前記予め等分割された位置のうち前記算出された画素補間位置に最も近い分割位置に更に修正する補間位置修正部と、前記修正された補間位置及びこの補間位置に対応するように予め設けられた補間係数とにより前記画像データの補間演算を行う補間演算部とを有し、該補間演算部により少なくとも３次以上の高次多項式の近似式による補間処理を行う補間処理手段と、前記補間処理手段により補間処理をされた画像データを圧縮処理する画像圧縮処理手段と、を具備することを特徴とする。
（２）本発明の電子カメラは、上記（１）に記載の電子カメラであって、且つ前記画像処理手段は、前記撮像手段に設けられた撮像素子から出力された色毎のデータを擬似的に３板化する処理を行うことを特徴とする。
【０００７】
（３）本発明の電子カメラは、上記（１）に記載の電子カメラであって、且つ前記画像処理手段は、前記撮像手段により得られた画像データから変換された色相データのサンプリングレートを変換する処理を行うことを特徴とする。
【０００８】
【発明の実施の形態】
図面を参照して本発明の実施の形態を説明する。
【０００９】
図１は、本発明の一実施形態に係る電子カメラの概略構成を示す概略ブロック図である。
【００１０】
撮影レンズ系１１を通過した被写体の画像は、撮像素子１２で電気信号に変換される。撮像素子１２で変換された電気信号は、撮像回路１３でアナログ画像信号に変換された後に、Ａ／Ｄ変換器１４によってデジタル画像信号に変換される。そして、このデジタル画像信号は、所定の処理を経て、例えば、外部メモリである着脱可能な着脱メモリ２０（例えば、フラッシュメモリ、スマートメディア等）にインターフェース（Ｉ／Ｆ）２１を介して記録される。なお、着脱メモリ２０は通常カードスロット２２に装着される。また、電子カメラは、例えばランダムアクセスメモリ（ＲＡＭ）等からなり高速に動作するバッファメモリ３０を有している。このバッファメモリ３０は、画像の圧縮伸長における作業用メモリとして、或いは一時的な画像記憶手段としての高速バッファとして使用される。バッファメモリ３０の記録領域は、本発明においては、元画像用の記録領域３１と、キュービック補間画像用の記録領域３２とを有している。なお、キュービック補間画像用の記録領域３２をバッファメモリ３０から独立したメモリにより構成しても良く、例えばキュービック補間処理用の演算回路（又は、ＩＣ）の内蔵メモリに設けても良い。
【００１１】
圧縮伸長回路４０は、デジタル画像信号の圧縮を行ったり、圧縮された画像信号を展開（伸長）するためのものである。
【００１２】
また、電子カメラには、通常、画像表示用のＬＣＤ５０（液晶表示装置）が搭載されており、このＬＣＤ５０は着脱メモリ２０に記録された画像の確認や、撮影しようとする画像を表示する。即ち、バッファメモリ３０からの画像情報が一旦ビデオメモリ５１に取り込まれ、次にビデオ出力回路５２によってこれがビデオ画像に変換されて画像表示ＬＣＤ５０により表示される。また、ビデオ出力回路５２の出力はビデオ出力用の外部端子５３を介して外部表示装置にビデオ画像が出力できるようになっている。
【００１３】
シスコン７０は、電子カメラの各機器の全体の制御を行うもので、その機能の詳細は後述する。シスコン７０は、レリーズからなる操作部７３からの入力を受け付けてレリーズの操作に応じて撮像を行ったり、画像処理を指示したりする。また、シスコン７０は、被写体の撮像時における光量が不足している場合には、ストロボ発光部７１に依頼してストロボをオンにして撮影するように制御する。また、シスコン７０には図示しない撮影距離検出部があり、被写体との距離を検出する機能を有する。また、操作部７３は、各種モードの設定も行うことができるようになっており、そのモード設定はモードＬＣＤに表示される。
【００１４】
外部インターフェース（外部Ｉ／Ｆ）６１は、外部入出力端子６０に接続されて、外部機器とのデータの入出力を行う。この外部入出力端子６０には、例えばパーソナルコンピュータ等が接続され、着脱メモリ２０内の画像をパーソナルコンピュータ等に転送したり、パーソナルコンピュータ等から画像データを入力したりする。
【００１５】
また、電子カメラの各部は基本的に電池により駆動されるようになっており、電源部８０を介してカメラ電池８１からの電力がカメラ回路を含む各部に供給される。また、カメラ電池８１は電源部８０からの制御により充電可能なものとなっている。
【００１６】
ところで、シスコン７０には、本発明の特徴点に係る構成要素として、画素数変換処理部７０１と、キュービック補間処理部７０２とを備える。
【００１７】
画素数変換処理部７０１は、被写体像のデジタル画像信号をＡ／Ｄ変換器１４から入力し、該デジタル信号が示す画像の画素数を所望の画素数に変換する。このような画素数変換処理部７０１による画素数変換処理、すなわち画像情報の情報量変更処理にキュービック補間処理が適用されている。画像情報量の変更とは、ここでは、所定の画素データを間引きすること、所定の画素データ同士を加算すること、及び画素データを移動することを含む。
【００１８】
キュービック補間（演算）処理は、３次畳み込み補間演算処理とも称され、一般に、見た目にきれいな高画質の画像が得られる補間処理手法である。なお、本願発明はキュービック補間演算処理のみに限定されず、少なくとも３次以上の高次多項式の近似式による異なる補間演算処理が適用されても良い。
【００１９】
図２は、本実施形態の要部に関するより詳細な構成を示すブロック図である。
【００２０】
同図に示されるように、Ａ／Ｄ変換器１４の出力段に、ＲＧＢ３板化処理部１００、色空間変換部、サンプリングレート変換部１０１、拡大／縮小処理部１０２、および圧縮／伸長（ＪＰＥＧ）部４０が接続されている。これらＲＧＢ３板化処理部１００、色空間変換部、サンプリングレート変換部１０１、拡大／縮小処理部１０２、および圧縮／伸長（ＪＰＥＧ）部４０は共通のバスに接続されており、このバスを介してバッファメモリ３０の記録対象である元画像やキュービック補間画像に対しアクセス可能となっている。
【００２１】
そして、上記ＲＧＢ３板化処理部１００によるＲＧＢデータの３板化処理、サンプリングレート変換部１０１による画像情報のサンプリングレート変換処理、および拡大／縮小処理部１０２による画像情報の拡大／縮小処理の少なくとも一部（本実施形態ではこれら３つの処理全て）にキュービック補間処理が適用されている。
【００２２】
キュービック補間処理の基本概念について、１次元イメージに基づいて説明する。
【００２３】
図３は、１次元の補間モデルを示す図である。図３の（ａ）に示すように、従来では、２点間を結ぶ直線によって所望の位置における出力値を計算する直線補間が一般的であった。このようにすると、計算に必要な既知の出力値を有する位置は２点でよいが、あくまでも２点間の比例平均の出力値を求めるものであるので、例えば、その２点間に最大値又は最小値がある場合は補間点を適切に検出できないことになる。本発明では、この補間精度を上げるために、少なくとも３次以上の多次多項式による近似式による補間演算（特に本実施形態ではキュービック補間演算）を用いて所望の位置における出力値を得ている。図３の（ｂ）は、４点の値から３次多項式の係数を求め、求められた３次多項式による近似式に位置データを入れて出力を得ている例を示す。図３の（ｂ）において、位置ｎ−１、ｎ、ｎ＋１、ｎ＋２の４点の出力値から３次多項式の係数を求め、その３次多項式から位置ｘ′における出力値を求めることによって所望の位置における補間値が得られることになる。これを例えば、直線補間で行った場合を考慮すると、最大値をとる位置はｎ＋１になるので、図３の（ｂ）の場合と異なり、正確な位置が得られない。
【００２４】
図４は、キュービック補間処理部の構成を示すブロック図である。キュービック補間処理部７０２は、補間位置算出部９１と、補間位置修正部９２と、補間係数テーブル９３と、補間演算部９４とにより構成され、次のように動作する。
【００２５】
バッファメモリ３０の元画像用の記録領域３１に記録されている元画像データの例えば４×４＝１６画素分の画像データが補間位置算出部９１に入力される。補間位置算出部９１は、入力された元画像データに基づいて、例えば、図３（ｂ）における、ｎ点とｎ＋１点との間の補間位置ｘ’を算出する。次に、補間位置修正部９２は、演算を簡略化するために、例えば、ｎ点とｎ＋１点との間を１６等分した場合におけるｘ’点に最も近い点に補間位置を修正する。このように補間位置を修正することにより、予め用意された補間係数テーブル９３を用いて演算が行えるようになる。修正された補間位置に関して補間係数テーブル９３から所定の補間係数が読み出されるとともに、補間演算部９４は読み出された補間係数を上記４×４の画素データのそれぞれに適用し、所定の演算式に従って画素データのレベル値（補間画素データ）を算出する。補間された画素データはキュービック補間画像用の記録領域３２に記録される。
【００２６】
このようなキュービック補間処理部７０２によれば、複雑な計算を行うことなく、高速に補間位置における出力値が算出可能となる。
【００２７】
図５は、ＲＧＢ３板化を説明するための図である。
【００２８】
例えば撮像素子１２により図５（ａ）に示すようなＲＧＢデータが得られたとする。このＲＧＢデータでは「Ｒ(ed)」，「Ｇ(reen)」，「Ｂ(lue)」それぞれのデータが１画素を挟んで離散的な配置となっているが、図５（ｂ）に示すように、全画素について１画素毎に「Ｒ」，「Ｇ」，「Ｂ」のデータを用意する必要がある。なお、図５（ｃ）は、Ｙ＝ａＲ＋ｂＧ＋ｃＢ，ｃｂ＝α（Ｂ−Ｙ），Ｃｒ＝β（Ｒ−Ｙ）によりＲＧＢ表現が輝度−色差表現に変換された場合を示す。この輝度−色差表現に対するキュービック補間処理については後述する。
【００２９】
ＲＧＢ３板化処理部１００は、図５（ｂ）に示すようなデータを得るべく、データが存在しない色のデータを補間により得る。この場合の補間処理に上述したキュービック補間処理部７０２による補間処理が適用される。
【００３０】
図５（ｄ）は、補間により求める画素と、その際に用いられる画素の範囲を示している。図５（ｄ）において、括弧で括られたＲはデータが存在しない画素である。
【００３１】
図５（ｄ）〜（ｆ）において、ＲＧＢの括弧内の部分の（Ｒ）（Ｇ）（Ｂ）はそれぞれ当該色情報がないことを示している。図５の（ｄ）は、Ｒ（レッド）の補間の様子を示す図であって、この場合において、Ｒ（レッド）の色情報を有する周りの点▲１▼と点▲２▼及び点▲３▼におけるＲ（レッド）の色情報は、図中破線Ａで示したデータ（１６個のＲのデータ）を用いて補間できる。また、同様にして、点▲４▼、点▲５▼及び点▲６▼におけるＲ（レッド）の色情報は、図中破線Ｂで示したデータで求めることができる。このような補間方法により、全ての格子点の色情報が求められる。次に、Ｇ（グリーン）の場合には、Ｇのデータのある画素とない画素とが交互に配置されているので、例えば、破線Ｃ内の１６個のデータを用いて、図中の斜線で示した（Ｇ）のデータが得られる。なお、図５の（ｆ）に示すＢ（ブルー）の場合には、配置はＲ（レッド）の場合と同様であるので、Ｒ（レッド）と同様な方法によって画素のない部分におけるデータを補間することができる。この場合において、補間係数テーブルとして用意されているのは、１６画素（３次多項式の２次元補間であれば、上記のように１６個のデータ）分であるので、補間係数テーブルとしては小さいテーブルを用意すれば良く、更にテーブルによって補間係数を与えているので、複雑な計算を要することがないので、小さな回路で、擬似３板化が実現できる。
【００３２】
図６は、サンプリングレート変換を説明するための図である。
【００３３】
ＲＧＢデータが上述したように色空間変換部により輝度及び色相（色差）データに変換され、例えば図６に示すように、輝度データ２００と、いわゆる「４４４」相当の色相データ２０１とが得られているとする。サンプリングレート変換部１０１は、この「４４４」相当の色相データ２０１から画素データの間引きによりＸ方向の画素数を１／２にして「４２２」相当の色相データを得る。あるいは、「４４４」相当の色相データ２０１から画素データの間引きにより、Ｘ方向の画素数を１／２にすると共にＹ方向の画素数についてもこれを１／２にして「４２０」相当の色相データを得る。このような画素数変換において、サンプリング位相の設定によっては、存在しない空間における画像データを補間生成する必要があり、キュービック補間処理部７０２による補間処理が適用され、存在しない画素のデータが補間される。
【００３４】
図７は、画像の拡大／縮小を説明するための図である。
【００３５】
図７において、白丸は拡大／縮小処理前の画素を示しており、黒丸（Ｐ１１，Ｐ１２，Ｐ１３，Ｐ２１，Ｐ２２，．．．）は拡大／縮小処理後の画素を示している。同図から明らかなように、Ｘ座標０〜４までの区間の画素の配列ピッチは白丸の画素と黒丸の画素とで異なっており、黒丸の画素の方が白丸の画素よりもピッチが荒く画素数が減少している。つまり、図７は画像を縮小した場合を示している。画像拡大についてはこの場合と逆になる。
【００３６】
拡大／縮小処理部１０２は、与えられたの拡大／縮小率に応じて画素数を変更するが、このとき、上記と同様にキュービック補間処理部７０２による補間処理が適用される。
【００３７】
以上説明したように、ＲＧＢ３板化処理、サンプリングレート変換処理、拡大／縮小処理など、画素数を変更する処理にキュービック補間演算処理が適用されているので、画質向上のための専用のハードウェアを付加することなくシステム構成の制約を受けないで安価に高画質の画像を記録可能になる。
【００３８】
また、複雑な演算を行わず予め用意されたテーブル（補間係数テーブル）を参照して補間演算を実行するので、高速処理が可能になると共に、高性能な演算素子などを必要としない。
【００３９】
なお、キュービック補間処理は、ＲＧＢ３板化処理、サンプリングレート変換処理、拡大／縮小処理の全てに適用されなくても良く、例えばサンプリングレート変換処理のみに適用するなど、適用範囲は任意に変更され得る。
【００４０】
また、本発明は、上述した実施形態のみに限定されず、種々変形して実施可能である。
【００４１】
【発明の効果】
本発明によれば、画素数を変更する際に行われる３次以上の高次多項式の近似式による補間処理を複雑な演算を行わずに行い得る補間処理手段を具備する構成としていることから、高速かつ高精度に画像記録を行い得る電子カメラを提供できる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る電子カメラの概略構成を示す概略ブロック図
【図２】実施形態の要部に関するより詳細な構成を示すブロック図
【図３】１次元の補間モデルを示す図
【図４】キュービック補間処理部の構成を示すブロック図
【図５】ＲＧＢ３板化を説明するための図
【図６】サンプリングレート変換を説明するための図
【図７】画像の拡大／縮小を説明するための図
【符号の説明】
１１…撮影レンズ系、
１２…撮像素子、
１３…撮像回路、
１４…Ａ／Ｄ変換器、
２０…着脱メモリ、
２１…インターフェース（Ｉ／Ｆ）、
２２…カードスロット、
３０…バッファメモリ、
３１…元画像用の記録領域
３２…キュービック補間画像用の記録領域、
４０…圧縮伸長回路、
５０…ＬＣＤ、
５１…ビデオメモリ、
５２…ビデオ出力回路、
５３…外部端子、
７０…シスコン
７３…操作部、
７１…ストロボ発光部、
６１…外部インターフェース（外部Ｉ／Ｆ）、
８０…電源部、
８１…カメラ電池。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an electronic camera capable of capturing a desired image and recording / displaying the image information.
[0002]
[Prior art]
In a so-called electronic camera, a subject image obtained through a photographing lens system is converted into an electrical signal by a CCD (solid-state image sensor), and further converted into a digital image signal by an A / D converter. As a result, image information of a subject image that can be subjected to various image processes for displaying an image on an LCD, recording on a small recording medium, and the like is obtained. For example, regarding image recording, image information of a subject image is supplied to an image compression / decompression circuit of, for example, a JPEG (Joint Photographic Coding Experts Group) system after performing predetermined image processing. The JPEG method is well known as a data compression method for color still images, and reduces specific image information based on human visual characteristics and reduces image storage capacity. The image information compressed by the compression / decompression circuit is recorded on a small recording medium such as a flash memory or smart media via a predetermined interface.
[0003]
In such a conventional electronic camera, needless to say, improvement of image quality in image recording is an important issue, and continuous research and development are being promoted in combination with higher definition of the solid-state imaging device and improvement of the performance of the arithmetic processor.
[0004]
In order to improve the image quality, for example, it is conceivable to install a new dedicated processing system in the electronic camera. However, extremely strict costs are required especially for popular electronic cameras.
[0005]
[Problems to be solved by the invention]
The present invention has been made in view of the above circumstances, and an object of the present invention is to provide an inexpensive electronic camera that can perform high-quality image recording.
[0006]
[Means for Solving the Problems]
The present invention has taken the following measures in order to solve the above problems.
(1) The electronic camera of the present invention is an electronic camera that can receive subject light by an imaging unit and electronically record a subject image obtained as electronic image information, and is obtained by the imaging unit. Image processing means for performing image processing on the obtained image data of a plurality of pixels, an interpolation position calculation unit for calculating an interpolation position when performing pixel interpolation when changing the number of pixels for the image data, The n-point and n + 1 points are equally divided in advance, and an interpolation coefficient storage unit that stores interpolation coefficients provided in advance so as to correspond to the equally divided positions, and the calculation by the interpolation position calculation unit An interpolation position correction unit that further corrects an interpolation position obtained at a position different from a previously equally divided position to a divided position closest to the calculated pixel interpolation position among the previously equally divided positions; An interpolation calculation unit that performs an interpolation calculation of the image data using a predetermined interpolation position and an interpolation coefficient that is provided in advance so as to correspond to the interpolation position. Interpolation processing means for performing interpolation processing using the approximate expression and image compression processing means for compressing image data subjected to interpolation processing by the interpolation processing means .
(2) The electronic camera according to the present invention is the electronic camera according to (1) above, and the image processing unit simulates data for each color output from an image sensor provided in the imaging unit. A process of forming three plates is performed .
[0007]
(3) The electronic camera of the present invention is the electronic camera according to (1) above, and the image processing unit converts a sampling rate of hue data converted from the image data obtained by the imaging unit. It is characterized by performing the process .
[0008]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described with reference to the drawings.
[0009]
FIG. 1 is a schematic block diagram showing a schematic configuration of an electronic camera according to an embodiment of the present invention.
[0010]
The image of the subject that has passed through the photographic lens system 11 is converted into an electrical signal by the image sensor 12. The electric signal converted by the image pickup device 12 is converted into an analog image signal by the image pickup circuit 13 and then converted into a digital image signal by the A / D converter 14. Then, the digital image signal is recorded through a predetermined process, for example, on an attachable / detachable removable memory 20 (for example, a flash memory, smart media, etc.), which is an external memory, via an interface (I / F) 21. . Note that the removable memory 20 is normally mounted in the card slot 22. Further, the electronic camera has a buffer memory 30 which is composed of, for example, a random access memory (RAM) and operates at high speed. The buffer memory 30 is used as a working memory for image compression / decompression, or as a high-speed buffer as temporary image storage means. In the present invention, the recording area of the buffer memory 30 has an original image recording area 31 and a cubic interpolated image recording area 32. The cubic interpolated image recording area 32 may be constituted by a memory independent of the buffer memory 30, and may be provided, for example, in a built-in memory of an arithmetic circuit (or IC) for cubic interpolation processing.
[0011]
The compression / decompression circuit 40 is for compressing the digital image signal and expanding (decompressing) the compressed image signal.
[0012]
In addition, an LCD 50 (liquid crystal display device) for displaying an image is usually mounted on the electronic camera, and the LCD 50 confirms an image recorded in the removable memory 20 and displays an image to be taken. That is, image information from the buffer memory 30 is once taken into the video memory 51, and then converted into a video image by the video output circuit 52 and displayed on the image display LCD 50. The video output circuit 52 can output a video image to an external display device via an external terminal 53 for video output.
[0013]
The syscon 70 performs overall control of each device of the electronic camera, and details of the function will be described later. The syscon 70 receives an input from the operation unit 73 including a release, and performs imaging according to the release operation or instructs image processing. Further, the system controller 70 controls the strobe light emitting unit 71 to turn on the strobe and take a picture when the amount of light at the time of photographing the subject is insufficient. Further, the syscon 70 has a photographing distance detection unit (not shown) and has a function of detecting the distance to the subject. The operation unit 73 can also set various modes, and the mode settings are displayed on the mode LCD.
[0014]
An external interface (external I / F) 61 is connected to the external input / output terminal 60 to input / output data to / from an external device. For example, a personal computer or the like is connected to the external input / output terminal 60, and an image in the removable memory 20 is transferred to the personal computer or the like, or image data is input from the personal computer or the like.
[0015]
Each part of the electronic camera is basically driven by a battery, and power from the camera battery 81 is supplied to each part including the camera circuit via the power supply unit 80. The camera battery 81 can be charged by control from the power supply unit 80.
[0016]
Incidentally, the syscon 70 includes a pixel number conversion processing unit 701 and a cubic interpolation processing unit 702 as components related to the feature point of the present invention.
[0017]
The pixel number conversion processing unit 701 receives the digital image signal of the subject image from the A / D converter 14 and converts the number of pixels of the image indicated by the digital signal into a desired number of pixels. Cubic interpolation processing is applied to such pixel number conversion processing by the pixel number conversion processing unit 701, that is, image information information amount changing processing. Here, the change of the image information amount includes thinning out the predetermined pixel data, adding the predetermined pixel data, and moving the pixel data.
[0018]
Cubic interpolation (calculation) processing is also referred to as cubic convolution interpolation calculation processing, and is generally an interpolation processing method that can provide a visually high-quality image. Note that the present invention is not limited only to cubic interpolation calculation processing, and different interpolation calculation processing based on an approximate expression of a higher-order polynomial of at least third order may be applied.
[0019]
FIG. 2 is a block diagram showing a more detailed configuration regarding the main part of the present embodiment.
[0020]
As shown in the figure, at the output stage of the A / D converter 14, an RGB3 plate processing unit 100, a color space conversion unit, a sampling rate conversion unit 101, an enlargement / reduction processing unit 102, and a compression / decompression (JPEG) ) Part 40 is connected. These RGB3 plate processing unit 100, color space conversion unit, sampling rate conversion unit 101, enlargement / reduction processing unit 102, and compression / decompression (JPEG) unit 40 are connected to a common bus, via this bus. Access to the original image and the cubic interpolated image to be recorded in the buffer memory 30 is possible.
[0021]
Then, at least one of RGB data three-plate processing by the RGB three-plate processing unit 100, sampling rate conversion processing of image information by the sampling rate conversion unit 101, and enlargement / reduction processing of image information by the enlargement / reduction processing unit 102 is performed. The cubic interpolation process is applied to the unit (all three processes in this embodiment).
[0022]
The basic concept of cubic interpolation processing will be described based on a one-dimensional image.
[0023]
FIG. 3 is a diagram illustrating a one-dimensional interpolation model. As shown in FIG. 3A, conventionally, linear interpolation for calculating an output value at a desired position using a straight line connecting two points is generally used. In this way, the position having the known output value necessary for the calculation may be two points. However, since the output value of the proportional average between the two points is only obtained, for example, the maximum value or If there is a minimum value, the interpolation point cannot be detected properly. In the present invention, in order to increase the interpolation accuracy, an output value at a desired position is obtained by using an interpolation calculation (in particular, a cubic interpolation calculation in the present embodiment) by an approximate expression using at least a third-order or higher-order polynomial. FIG. 3B shows an example in which a coefficient of a cubic polynomial is obtained from the values of four points, and position data is put into an approximate expression based on the obtained cubic polynomial to obtain an output. In FIG. 3B, the coefficient of the cubic polynomial is obtained from the output values at the four points at the positions n-1, n, n + 1, and n + 2, and the output value at the position x ′ is obtained from the cubic polynomial. An interpolated value at the position is obtained. Considering the case where this is performed by, for example, linear interpolation, the position where the maximum value is obtained is n + 1. Thus, unlike the case of FIG. 3B, an accurate position cannot be obtained.
[0024]
FIG. 4 is a block diagram illustrating a configuration of the cubic interpolation processing unit. The cubic interpolation processing unit 702 includes an interpolation position calculation unit 91, an interpolation position correction unit 92, an interpolation coefficient table 93, and an interpolation calculation unit 94, and operates as follows.
[0025]
For example, 4 × 4 = 16 pixel image data of the original image data recorded in the original image recording area 31 of the buffer memory 30 is input to the interpolation position calculation unit 91. The interpolation position calculation unit 91 calculates, for example, an interpolation position x ′ between the n point and the n + 1 point in FIG. 3B based on the input original image data. Next, in order to simplify the calculation, the interpolation position correcting unit 92 corrects the interpolation position to a point closest to the x ′ point when, for example, the n point and the n + 1 point are divided into 16 equal parts. By correcting the interpolation position in this way, calculation can be performed using the interpolation coefficient table 93 prepared in advance. A predetermined interpolation coefficient is read from the interpolation coefficient table 93 with respect to the corrected interpolation position, and the interpolation calculation unit 94 applies the read interpolation coefficient to each of the 4 × 4 pixel data, according to a predetermined calculation formula. A level value of pixel data (interpolated pixel data) is calculated. The interpolated pixel data is recorded in the recording area 32 for the cubic interpolated image .
[0026]
According to such a cubic interpolation processing unit 702, the output value at the interpolation position can be calculated at high speed without performing complicated calculations.
[0027]
FIG. 5 is a diagram for explaining RGB3 plate formation.
[0028]
For example, it is assumed that RGB data as shown in FIG. In this RGB data, “R (ed)”, “G (reen)”, and “B (lue)” data are discretely arranged across one pixel, as shown in FIG. Thus, it is necessary to prepare “R”, “G”, and “B” data for each pixel for all pixels. FIG. 5C shows a case where RGB representation is converted into luminance-color difference representation by Y = aR + bG + cB, cb = α (BY), Cr = β (RY). The cubic interpolation process for the luminance-color difference expression will be described later.
[0029]
The RGB3 plate processing unit 100 interpolates color data for which no data exists in order to obtain data as shown in FIG. The interpolation processing by the cubic interpolation processing unit 702 described above is applied to the interpolation processing in this case.
[0030]
FIG. 5D shows a pixel obtained by interpolation and a range of pixels used at that time. In FIG. 5D, R in parentheses is a pixel for which no data exists.
[0031]
5D to 5F, (R), (G), and (B) in the parentheses of RGB indicate that there is no color information. FIG. 5D is a diagram showing how R (red) is interpolated. In this case, the surrounding points {circle around (1)}, {circle around (2)}, and {dot over (▲)} having color information of R (red) are shown. The color information of R (red) in 3 ▼ can be interpolated using data (16 pieces of R data) indicated by a broken line A in the figure. Similarly, the color information of R (red) at points (4), (5) and (6) can be obtained from the data indicated by the broken line B in the figure. By such an interpolation method, color information of all grid points is obtained. Next, in the case of G (green), pixels with and without G data are alternately arranged. For example, using the 16 data in the broken line C, the hatched lines in the figure The data (G) shown is obtained. In the case of B (blue) shown in (f) of FIG. 5, the arrangement is the same as in the case of R (red), and therefore data in a portion without pixels is interpolated by the same method as R (red). can do. In this case, since the interpolation coefficient table is prepared for 16 pixels (16 data as described above in the case of two-dimensional interpolation of a cubic polynomial), a small table is used as the interpolation coefficient table. In addition, since the interpolation coefficient is given by a table, no complicated calculation is required, so that a pseudo three-plate configuration can be realized with a small circuit.
[0032]
FIG. 6 is a diagram for explaining the sampling rate conversion.
[0033]
As described above, the RGB data is converted into luminance and hue (color difference) data by the color space conversion unit, and for example, as shown in FIG. 6, luminance data 200 and hue data 201 corresponding to so-called “444” are obtained. Suppose that The sampling rate conversion unit 101 obtains hue data corresponding to “422” by halving the number of pixels in the X direction by thinning out pixel data from the hue data 201 corresponding to “444”. Alternatively, by thinning out the pixel data from the hue data 201 corresponding to “444”, the number of pixels in the X direction is halved and the number of pixels in the Y direction is also halved, and hue data corresponding to “420” Get. In such pixel number conversion, depending on the setting of the sampling phase, it is necessary to interpolate and generate image data in a non-existing space, and interpolation processing by the cubic interpolation processing unit 702 is applied to interpolate nonexistent pixel data. .
[0034]
FIG. 7 is a diagram for explaining enlargement / reduction of an image.
[0035]
In FIG. 7, white circles indicate pixels before enlargement / reduction processing, and black circles (P11, P12, P13, P21, P22,...) Indicate pixels after enlargement / reduction processing. As is clear from the figure, the arrangement pitch of the pixels in the section from the X coordinate 0 to 4 is different between the white circle pixels and the black circle pixels, and the black circle pixels are larger in pitch than the white circle pixels. The number is decreasing. That is, FIG. 7 shows a case where the image is reduced. The image enlargement is the reverse of this case.
[0036]
The enlargement / reduction processing unit 102 changes the number of pixels in accordance with the given enlargement / reduction rate. At this time, the interpolation processing by the cubic interpolation processing unit 702 is applied as described above.
[0037]
As described above, since cubic interpolation calculation processing is applied to processing for changing the number of pixels such as RGB3 plate processing, sampling rate conversion processing, enlargement / reduction processing, etc., dedicated hardware for improving image quality is used. Without adding, it is possible to record high-quality images at low cost without being restricted by the system configuration.
[0038]
In addition, since the interpolation calculation is executed by referring to a previously prepared table (interpolation coefficient table) without performing a complicated calculation, high-speed processing is possible and a high-performance calculation element is not required.
[0039]
Note that the cubic interpolation processing does not have to be applied to all of the RGB3 plate processing, the sampling rate conversion processing, and the enlargement / reduction processing. For example, the application range can be arbitrarily changed, such as being applied only to the sampling rate conversion processing. .
[0040]
Further, the present invention is not limited to the above-described embodiments, and can be implemented with various modifications.
[0041]
【The invention's effect】
According to the present invention, it is configured to include an interpolation processing means that can perform an interpolation process by an approximation expression of a higher order polynomial of the third or higher order that is performed when changing the number of pixels without performing a complicated operation. An electronic camera capable of recording images with high speed and high accuracy can be provided.
[Brief description of the drawings]
FIG. 1 is a schematic block diagram showing a schematic configuration of an electronic camera according to an embodiment of the present invention. FIG. 2 is a block diagram showing a more detailed configuration related to the main part of the embodiment. FIG. FIG. 4 is a block diagram showing the configuration of a cubic interpolation processing unit. FIG. 5 is a diagram for explaining RGB3 plate formation. FIG. 6 is a diagram for explaining sampling rate conversion. FIG. Diagram for explaining reduction [Explanation of symbols]
11 ... Photography lens system,
12: Image sensor,
13: Imaging circuit,
14 ... A / D converter,
20 ... removable memory,
21 ... Interface (I / F),
22: Card slot,
30 ... Buffer memory,
31 ... Original image recording area 32 ... Cubic interpolation image recording area,
40. Compression / decompression circuit,
50 ... LCD,
51 ... Video memory,
52 ... Video output circuit,
53 ... External terminal,
70 ... Syscon 73 ... Operation part,
71 ... Strobe light emitting part,
61 ... External interface (external I / F),
80 ... power supply,
81 ... Camera battery.

Claims

被写体光を撮像手段により受光し、これにより電子的な画像情報として得られた被写体像を電子的に記録可能な電子カメラであって、
前記撮像手段により得られた複数画素の画像データを画像処理する画像処理手段と、
前記画像データに対して画素数を変更する際に画素補間をするときの補間位置を算出する補間位置算出部と、前記画像データのｎ点とｎ＋１点との間を予め等分割し、この等分割した各位置に対応するように予め設けられた補間係数を記憶する補間係数記憶部と、前記補間位置算出部での算出によって前記予め等分割した位置とは異なる位置に得られた補間位置を、前記予め等分割された位置のうち前記算出された画素補間位置に最も近い分割位置に更に修正する補間位置修正部と、前記修正された補間位置及びこの補間位置に対応するように予め設けられた補間係数とにより前記画像データの補間演算を行う補間演算部とを有し、該補間演算部により少なくとも３次以上の高次多項式の近似式による補間処理を行う補間処理手段と、
前記補間処理手段により補間処理をされた画像データを圧縮処理する画像圧縮処理手段と、
を具備することを特徴とする電子カメラ。An electronic camera capable of electronically recording a subject image obtained by receiving subject light by an imaging means and thereby obtaining electronic image information,
Image processing means for performing image processing on image data of a plurality of pixels obtained by the imaging means;
An interpolation position calculation unit that calculates an interpolation position when performing pixel interpolation when changing the number of pixels with respect to the image data, and an n point and an n + 1 point of the image data are equally divided in advance. An interpolation coefficient storage unit that stores an interpolation coefficient provided in advance so as to correspond to each divided position, and an interpolation position obtained at a position different from the previously equally divided position by calculation in the interpolation position calculation unit An interpolation position correction unit that further corrects the division position closest to the calculated pixel interpolation position among the previously equally divided positions, the correction interpolation position, and the correction interpolation position and the interpolation position. An interpolation calculation unit that performs an interpolation calculation of the image data using the interpolation coefficient, and an interpolation processing unit that performs an interpolation process using an approximate expression of at least a third-order higher-order polynomial by the interpolation calculation unit;
Image compression processing means for compressing the image data interpolated by the interpolation processing means;
An electronic camera comprising:

前記画像処理手段は、前記撮像手段に設けられた撮像素子から出力された色毎のデータを擬似的に３板化する処理を行うことを特徴とする請求項１に記載の電子カメラ。 The electronic camera according to claim 1, wherein the image processing unit performs a process of quasi-three-plate data for each color output from an image sensor provided in the imaging unit.

前記画像処理手段は、前記撮像手段により得られた画像データから変換された色相データのサンプリングレートを変換する処理を行うことを特徴とする請求項１に記載の電子カメラ。 The electronic camera according to claim 1, wherein the image processing unit performs a process of converting a sampling rate of hue data converted from image data obtained by the imaging unit.