JP2002209100A - Image processor and image processing method - Google Patents

Abstract

PROBLEM TO BE SOLVED: To provide an image processor and an image processing method specific to so-called a honeycomb layout which enable maintenance of high image quality even when an image size is reduced. SOLUTION: A digital camera 10 gives pixel data corresponding to a G square lattice pattern and RB complete checkered patterns to a signal processing section 30, a reduction correction section 46 of the signal processing section 30 generates pixel data in desired colors by regarding object pixels as real pixels or virtual pixels, uses the pixel data of the object pixels for representative data of surrounding pixel data and obtains the data having the same substantial spatial frequency distribution by considering green pixel layout configuring the structural image while reducing the number of pixels in each colors used as a whole and a broadband processing section 30c applies frequency broadband processing to the pixel data obtained by the reduction correction section 46 to maintain the image quality of the obtained image.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、画像処理装置およ
び画像処理方法に関し、特に、たとえば数百万以上の画
素データを入力し、この得られた画素データに対して画
像処理を施し、そして出力するディジタルカメラ等の画
像入力装置やプリンタ等の画像出力装置に適用して好適
なものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing apparatus and an image processing method, and more particularly to inputting, for example, millions or more of pixel data, performing image processing on the obtained pixel data, and outputting the image data. It is suitable for an image input device such as a digital camera and an image output device such as a printer.

【０００２】[0002]

【従来の技術】民生市場で高画素なディジタルスチルカ
メラは、2000年現在において撮像素子を画素数として現
在100 万ないし600 万画素で撮像するように構成されて
いる場合が多い。現状において撮像して得られる画像
は、最大サイズで概ね上述した画素数で表現される。ま
た、撮像した画素データを用いて画素間の画素データを
補間することにより実際の撮像素子の画素数以上の画素
数が出力され、得られる画像の解像度を高めたカメラも
ある。2. Description of the Related Art As of 2000, digital still cameras with a high number of pixels in the consumer market are often configured to pick up images at 1 to 6 million pixels using an image sensor as the number of pixels. At present, an image obtained by imaging is expressed by the above-described number of pixels at the maximum size. There is also a camera in which the number of pixels equal to or more than the actual number of pixels of the image sensor is output by interpolating pixel data between pixels using captured pixel data, thereby increasing the resolution of the obtained image.

【０００３】これらが示すように画素数の増加は、たと
えば最終出力形態の一つである写真印刷における解像度
の向上を目的に設計されている。[0003] As shown by these, the increase in the number of pixels is designed for the purpose of improving the resolution in photographic printing, which is one of the final output forms, for example.

【０００４】また、得られた画像を装置に表示させる場
合、表示装置は実際にはこれほど多数の画素数を表示す
る構成になっていない場合が多いので全画像を表示でき
ないことがある。画像全体を表示させるためには画像を
縮小表示させたり、メディア記録時に縮小することもあ
る。When an obtained image is displayed on a device, the display device may not be able to display the entire image in many cases because it is not actually configured to display such a large number of pixels. In order to display the entire image, the image may be displayed in a reduced size, or may be reduced during recording on a medium.

【０００５】画像を縮小するには得られた画像データを
信号処理により減少させる方法と撮像部からの読出し段
階で加算混合または間引き読出しを行う方法との２通り
の方法がある。後者の方法はたとえば自動処理系で行わ
れる自動焦点調節（AF: Automatic Focusing contro
l）、および自動露出調節（AE: Automatic Exposure co
ntrol）や動画表示させるムービモード等の高速読出し
が要求される場合に用いられる。There are two methods for reducing an image, a method of reducing the obtained image data by signal processing, and a method of performing addition mixing or thinning-out reading at the stage of reading from the imaging unit. The latter method is, for example, an automatic focusing control (AF) performed by an automatic processing system.
l) and automatic exposure adjustment (AE: Automatic Exposure co)
This is used when high-speed reading is required, such as in a movie mode for displaying a moving image.

【０００６】[0006]

【発明が解決しようとする課題】ところで、上述した２
つの画像縮小方法は、本来、生成された画像が有する品
質に比べて画質を低下させる場合がある。しかしなが
ら、いわゆるハニカム配列の特徴を生かして画像縮小さ
せた際に良好な画質を得る方法があり、標記課題を改善
できる。By the way, the above-mentioned 2
One of the image reduction methods may originally lower the image quality compared to the quality of the generated image. However, there is a method of obtaining a good image quality when reducing the image by making use of the feature of the so-called honeycomb arrangement, and it is possible to improve the marking problem.

【０００７】本発明はこのような従来技術の欠点を解消
し、画像サイズを縮小させても高画質を維持することの
できるいわゆる、ハニカム配列固有の画像処理装置およ
び画像処理方法を提供することを目的とする。An object of the present invention is to provide a so-called honeycomb-array-specific image processing apparatus and image processing method capable of solving the drawbacks of the prior art and maintaining high image quality even when the image size is reduced. Aim.

【０００８】[0008]

【課題を解決するための手段】本発明は上述の課題を解
決するために、色分解された入射光を光電変換する複数
の撮像素子が隣接する撮像素子の幾何学的な中心に対し
て行および／または列方向に半ピッチずらして得られた
各色の画素データを用いて、高画質な画像をもたらす画
像データを生成する画像処理装置において、この装置
は、画素データの色が、２次元的に正方格子状に得られ
る画素データを画像データに含まれる輝度データの生成
に関わる色、この輝度データの生成に関わる色を挟む一
方の対角位置の画素データを輝度データの生成に関わる
色と異なる一方の色として同色または異色、ならびにこ
の輝度データの生成に関わる色を挟む他方の対角位置の
画素データを輝度データの生成に関わる色および一方の
色と異なる他方の色として同色または異色で供給される
画素データを入力して、この供給される画素データを実
在する実在画素からのデータとし、この実在画素で囲ま
れた領域の中央を幾何学的な中心とする仮想画素とし、
供給される画素データのうち、縮小表示に用いる対象画
素を実在画素または仮想画素にしてこの対象画素を囲む
周囲の画素データから所望の色の画素データを生成する
縮小演算処理手段と、この対象画素として得られた画素
データを周波数的に広帯域化する広帯域化手段とを含む
ことを特徴とする。According to the present invention, in order to solve the above-mentioned problems, a plurality of image sensors for photoelectrically converting color-separated incident light are arranged with respect to a geometric center of an adjacent image sensor. And / or an image processing apparatus that generates image data that provides a high-quality image by using pixel data of each color obtained by shifting the pixel data by a half pitch in the column direction. The pixel data obtained in the form of a square lattice is a color related to the generation of luminance data included in the image data, and the pixel data at one diagonal position sandwiching the color related to the generation of the luminance data is a color related to the generation of the luminance data. The same color or a different color as one of the different colors, and the pixel data at the other diagonal position sandwiching the color related to the generation of the luminance data is represented by the color related to the generation of the luminance data and the other color different from the one color Then, pixel data supplied in the same color or a different color is input, and the supplied pixel data is used as data from an existing real pixel, and the center of an area surrounded by the existing pixels is set as a geometric center. Virtual pixels,
Reduction processing means for setting a target pixel used for reduced display to a real pixel or a virtual pixel in the supplied pixel data and generating pixel data of a desired color from surrounding pixel data surrounding the target pixel; Means for broadening the frequency of the pixel data obtained as (1).

【０００９】本発明の画像処理装置は、縮小演算処理手
段で対象画素を実在画素または仮想画素にして所望の色
の画素データを生成することにより対象画素の画素デー
タを周囲の画素データの代表値として用いて全体的に用
いる各色の画素数を減少させながらも構造的な画像を構
成する緑色の画素配置を考慮して求め、さらに広帯域化
手段では縮小演算処理手段で得られた画素データに広帯
域化の処理が施されることからより一層の画像の高画質
化が施される。According to the image processing apparatus of the present invention, the pixel data of the target pixel is generated by the reduction operation processing unit by using the target pixel as a real pixel or a virtual pixel to generate pixel data of a desired color. As a whole, the number of pixels of each color used is reduced, and it is determined in consideration of the arrangement of green pixels constituting a structural image. Since the image processing is performed, the image quality of the image is further improved.

【００１０】ここで、供給される画素データの色は、具
体的に説明すると、原色系でも補色系でもよい。得られ
る画素データの空間構造は、画素ずらしした、いわゆる
ハニカム構造である。このハニカム構造における個々の
色の空間周波数分布に関わる関係は、まず、画像データ
に含まれる輝度データの生成に関わる色を２次元的に正
方格子状に得られる、緑色、マゼンタ色や白色等にす
る。そして、輝度データの生成に関わる色の画素データ
を挟んで供給される画素データは、原色系および補色系
で用いる２色が市松または完全市松パターンで供給され
る。原色系の場合、たとえば一方の色を赤色とし、他方
の色を青色とする。Here, the color of the supplied pixel data may be of a primary color type or a complementary color type. The spatial structure of the obtained pixel data is a so-called honeycomb structure in which pixels are shifted. The relationship related to the spatial frequency distribution of each color in this honeycomb structure is as follows. First, the colors related to the generation of the luminance data included in the image data are obtained in a two-dimensional square lattice, such as green, magenta or white. I do. As pixel data supplied with pixel data of a color related to generation of luminance data, two colors used in a primary color system and a complementary color system are supplied in a checkered or complete checkered pattern. In the case of primary colors, for example, one color is red and the other color is blue.

【００１１】本発明は上述の課題を解決するために、被
写界からの入射光を３つの色に分解し、得られた３色の
入射光を光電変換する撮像素子が隣接する撮像素子の幾
何学的な中心に対して行および／または列方向に半ピッ
チずらして複数配設され、この撮像素子を実在画素と
し、この撮像素子を用いてこの撮像素子から得られる撮
像信号のそれぞれをディジタルの画素データにして、こ
の実在画素で囲まれた空間を新たに形成する仮想画素と
し、供給される画素データに基づいて演算し各画素に対
応する輝度および色差データを生成する画像処理方法に
おいて、この方法は、画素データの色が、２次元的に正
方格子状に得られる画素データを画像データに含まれる
輝度データの生成に関わる色、この輝度データの生成に
関わる色を挟む一方の対角位置の画素データを輝度デー
タの生成に関わる色と異なる一方の色として同色または
異色、ならびにこの輝度データの生成に関わる色を挟む
他方の対角位置の画素データを輝度データの生成に関わ
る色および一方の色と異なる他方の色として同色または
異色で供給される画素データを用いて、この供給される
画素データを実在する実在画素からのデータとし、この
実在画素で囲まれた領域の中央を幾何学的な中心とする
仮想画素とし、供給される画素データのうち、縮小表示
に用いる対象画素を実在画素または仮想画素にしてこの
対象画素を囲む周囲の画素データから所望の色の画素デ
ータを生成する第１の工程と、この対象画素として得ら
れた画素データを周波数的に広帯域化する第２の工程と
を含むことを特徴とする。In order to solve the above-mentioned problem, the present invention separates incident light from a subject field into three colors, and an image pickup device for photoelectrically converting the obtained three colors of incident light is used for an adjacent image pickup device. A plurality of pixels are arranged at a half pitch in the row and / or column direction with respect to the geometric center, the image sensor is used as an actual pixel, and each of image signals obtained from the image sensor is digitally converted using the image sensor. In the image processing method of calculating the pixel data and generating a virtual pixel that newly forms a space surrounded by the real pixels and generating luminance and color difference data corresponding to each pixel by calculating based on the supplied pixel data, According to this method, the color of the pixel data sandwiches the pixel data obtained two-dimensionally in a square lattice between the color related to the generation of the luminance data included in the image data and the color related to the generation of the luminance data. The pixel data at the diagonal position is the same color or a different color as one color different from the color related to the generation of the luminance data, and the pixel data at the other diagonal position sandwiching the color related to the generation of the luminance data is related to the generation of the luminance data. Using pixel data supplied in the same color or different color as a color and another color different from one color, the supplied pixel data is regarded as data from a real pixel, and the center of an area surrounded by the real pixel is used. Is a virtual pixel having a geometric center, and of the supplied pixel data, a target pixel used for reduced display is a real pixel or a virtual pixel, and pixel data of a desired color is obtained from surrounding pixel data surrounding the target pixel. , And a second step of frequency-banding the pixel data obtained as the target pixel in frequency.

【００１２】本発明の画像処理方法は、正方格子状の配
置を有する画素に輝度データに関わる色を担わせた画素
データを含む画像データを用いて、対象画素を実在画素
または仮想画素にしてこの対象画素を囲む周囲の画素デ
ータから複数の所望の色の画素データを生成し、生成し
た所望の色の画素データに対して周波数的に広帯域化の
処理を施すことにより、対象画素の画素データを周囲の
画素データの代表値とし、全体的に用いる各色の画素数
を減少させながらも画像を構成する際に緑色の画素配置
を考慮して得ることで構造的な画像の高解像度化を図
り、さらに広帯域化手段で得られた画素データに広帯域
化の処理が施されることから画像の高画質化を行う。According to the image processing method of the present invention, a target pixel is converted into a real pixel or a virtual pixel by using image data including pixel data in which a pixel having a square lattice arrangement is assigned a color related to luminance data. By generating pixel data of a plurality of desired colors from the surrounding pixel data surrounding the target pixel and performing a frequency band widening process on the generated pixel data of the desired color, the pixel data of the target pixel is obtained. As a representative value of the surrounding pixel data, while reducing the number of pixels of each color to be used as a whole, while taking into account the arrangement of green pixels when constructing the image, the resolution of the structural image is improved, Further, the image data is improved in quality because the processing of widening the band is performed on the pixel data obtained by the widening means.

【００１３】[0013]

【発明の実施の形態】次に添付図面を参照して本発明に
よる画像処理装置の実施例を詳細に説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Next, an embodiment of an image processing apparatus according to the present invention will be described in detail with reference to the accompanying drawings.

【００１４】本実施例は、本発明を適用したディジタル
カメラ10について説明する。また、本実施例は、本発明
と直接関係のない部分について図示および説明を省略す
る。ここで、信号の参照符号はその現れる接続線の参照
番号で表す。In this embodiment, a digital camera 10 to which the present invention is applied will be described. In the present embodiment, illustration and description of parts not directly related to the present invention are omitted. Here, the reference numerals of the signals are represented by the reference numbers of the connecting lines in which they appear.

【００１５】ディジタルカメラ10には、光学レンズ系1
2、操作部14、システム制御部18、タイミング信号発生
部20、ドライバ部22、メカニカルシャッタ24、撮像部2
6、前処理部28、信号処理部30、圧縮／伸長処理部32、
ストレージ部34、モニタ36、プリンタ38およびI/F 部40
が備えられている。これら各部を順次説明する。The digital camera 10 has an optical lens system 1
2, operation unit 14, system control unit 18, timing signal generation unit 20, driver unit 22, mechanical shutter 24, imaging unit 2
6, pre-processing unit 28, signal processing unit 30, compression / decompression processing unit 32,
Storage unit 34, monitor 36, printer 38 and I / F unit 40
Is provided. These components will be described sequentially.

【００１６】光学レンズ系12は、たとえば、複数枚の光
学レンズを組み合わせて構成されている。光学レンズ系
12には、図示しないが、これら光学レンズの配置する位
置を調節して画面の画角を操作部14からの操作信号14a
に応じて調節するズーム機構や被写体とカメラ10との距
離に応じてピント調節する、AF（Automatic Focus ：自
動焦点）調節機構が含まれている。後述するように操作
信号14a は、システムバス16、データバス18a を介して
システム制御部18に供給される。システム制御部18は制
御信号18b をシステムバス16に供給する。制御信号18c
は、システムバス16から制御信号18c としてタイミング
信号発生部20およびドライバ部22に供給される。タイミ
ング信号発生部20およびドライバ部22は供給される制御
信号18cに応じて動作して光学レンズ系12に駆動信号22a
を出力する。The optical lens system 12 is constituted by combining a plurality of optical lenses, for example. Optical lens system
In FIG. 12, although not shown, the positions of these optical lenses are adjusted to adjust the angle of view of the screen to an operation signal 14a from the operation unit 14.
It includes a zoom mechanism that adjusts according to the distance and an AF (Automatic Focus) adjustment mechanism that adjusts the focus according to the distance between the subject and the camera 10. As described later, the operation signal 14a is supplied to the system control unit 18 via the system bus 16 and the data bus 18a. The system control unit 18 supplies a control signal 18b to the system bus 16. Control signal 18c
Is supplied from the system bus 16 to the timing signal generator 20 and the driver 22 as a control signal 18c. The timing signal generating section 20 and the driver section 22 operate in response to the supplied control signal 18c to drive the optical lens system 12 with the drive signal 22a.
Is output.

【００１７】操作部14には、図示しないがレリーズシャ
ッタボタンやたとえばモニタ画面に各種の項目を表示さ
せ、表示項目のなかからカーソルを用いて選択する選択
機能等がある。操作部14には、これら各種の機能選択の
うち、静止画・動画設定部が含まれている。静止画・動
画設定部は、設定した結果が別な操作信号として出力し
ている（本実施例では図示せず）。操作部14で選択され
た操作は前述したように操作信号14a がシステムバス16
を介してシステム制御部18に報知される。The operation unit 14 has a release shutter button (not shown) and a selection function for displaying various items on, for example, a monitor screen and selecting the displayed items using a cursor. The operation unit 14 includes a still image / moving image setting unit among these various function selections. The still image / moving image setting unit outputs the set result as another operation signal (not shown in this embodiment). The operation selected by the operation unit 14 is, as described above, the operation signal 14a
Is notified to the system control unit 18 via the.

【００１８】システム制御部18は、たとえば CPU（Cent
ral Processing Unit ：中央演算処理装置）を有する。
システム制御部18には、ディジタルカメラ10の動作手順
が書き込まれた ROM（Read Only Memory：読み出し専用
メモリ）がある。システム制御部18は、データ信号線18
a を介してたとえば、ユーザの操作に伴って操作部14か
ら供給される情報、すなわち操作信号14a とこの ROMが
有する情報とを用いて各部の動作を制御する制御信号18
b を生成する。システム制御部18は、生成した制御信号
18b をシステムバス16を介して上述した光学レンズ系12
の駆動だけでなく、タイミング信号発生部20、ドライバ
部22に供給するとともに、図示していないが前処理部2
8、信号処理部30、圧縮／伸長処理部32、ストレージ部3
4、モニタ36、プリンタ38およびI/F 部40にも供給して
いる。The system control unit 18 includes, for example, a CPU (Cent
ral Processing Unit).
The system control unit 18 has a ROM (Read Only Memory) in which the operation procedure of the digital camera 10 is written. The system control unit 18 includes a data signal line 18
a, for example, a control signal 18 for controlling the operation of each unit using information supplied from the operation unit 14 in response to a user's operation, that is, an operation signal 14a and information stored in the ROM.
Generate b. The system control unit 18 generates the control signal
18b via the system bus 16 to the optical lens system 12 described above.
In addition to the driving of the signal, the signal is supplied to the timing signal generation unit 20 and the driver unit 22.
8, signal processing unit 30, compression / decompression processing unit 32, storage unit 3
4. It is also supplied to the monitor 36, printer 38 and I / F unit 40.

【００１９】タイミング信号発生部20は、ディジタルカ
メラ10を動作させる基本クロック（システムクロック）
を発生する発振器（図示せず）を有する。発振器にはた
とえば、VCO (Voltage Controlled Oscillator）方式等
が用いられている。また、タイミング信号発生部20はこ
の基本クロックをシステム制御部18や信号処理部30等必
要とするほとんどすべてのブロックに供給するととも
に、基本クロックを分周して様々な信号も生成してい
る。特にタイミング信号発生部20は、この基本クロック
を用い、制御信号18b に基づいて各部の動作をタイミン
グ調節するタイミング信号20a, 20bを生成する回路を含
む。タイミング信号発生部20は、ドライバ部22に生成し
たタイミング信号20a を供給する。また、タイミング信
号発生部20は、前処理部28等の動作タイミングとして供
給するようにタイミング信号20b も生成し、供給してい
る。この他、図示していないが図１に示すように各部に
も各種のタイミング信号が供給されている。The timing signal generator 20 is a basic clock (system clock) for operating the digital camera 10.
(Not shown) that generates the For example, a VCO (Voltage Controlled Oscillator) method or the like is used for the oscillator. The timing signal generator 20 supplies the basic clock to almost all necessary blocks such as the system controller 18 and the signal processor 30, and also generates various signals by dividing the frequency of the basic clock. In particular, the timing signal generator 20 includes a circuit that uses the basic clock to generate timing signals 20a and 20b for adjusting the operation of each unit based on the control signal 18b. The timing signal generator 20 supplies the generated timing signal 20a to the driver 22. The timing signal generator 20 also generates and supplies a timing signal 20b so as to supply it as operation timing of the preprocessor 28 and the like. In addition, although not shown, various timing signals are supplied to each unit as shown in FIG.

【００２０】ドライバ部22は、供給されるタイミング信
号20a を用いて、所望の駆動信号22a, 22b,および 22c
をそれぞれ、生成し、光学レンズ系12、メカニカルシャ
ッタ24、および撮像部26に供給する。駆動信号22c は、
静止画用と動画用のモードに対応している。The driver section 22 uses the supplied timing signal 20a to generate desired drive signals 22a, 22b, and 22c.
Are generated and supplied to the optical lens system 12, the mechanical shutter 24, and the imaging unit 26, respectively. The drive signal 22c is
It supports modes for still images and moving images.

【００２１】メカニカルシャッタ24は、操作部14のレリ
ーズボタンの押圧操作に応じて動作する。動作順序は、
レリーズシャッタボタンの押圧操作により、たとえば、
システムバス16を介して操作信号14a がシステム制御部
18に供給され、システム制御部18からの制御信号18b が
システムバス16、および信号線18c を介してドライバ部
22に供給される。メカニカルシャッタ24はドライバ部22
から供給される駆動信号22b に応じて動作する。メカニ
カルシャッタ24は、このような順序で動作して制御され
る。The mechanical shutter 24 operates in response to a pressing operation of a release button of the operation unit 14. The operation order is
By pressing the release shutter button, for example,
The operation signal 14a is transmitted via the system bus 16 to the system controller.
The control signal 18b is supplied to the driver 18 via the system bus 16 and the signal line 18c.
Supplied to 22. The mechanical shutter 24 is the driver section 22
It operates according to the drive signal 22b supplied from the controller. The mechanical shutter 24 operates and is controlled in such an order.

【００２２】撮像部26は色フィルタ26a が固体撮像素子
（Charge Coupled Device：CCD )26b の入射光側に一体
的に設けられた単板カラーCCD センサである。これは、
光学レンズ系12で結像された光学像が固体撮像素子26b
の受光部の各撮像素子に到達した光量に応じた出力信号
27を出力する。撮像部26には、光学ローパスフィルタが
配設されていない大きな特徴がある。入射光の側から順
次に色フィルタ26a 、および固体撮像素子26b だけで一
体的に形成されている。色フィルタ26a は単板である。
色フィルタ26a の色フィルタセグメント260 と撮像素子
262 とは、一対一の対応関係にある。The imaging section 26 is a single-chip color CCD sensor in which a color filter 26a is integrally provided on the incident light side of a solid-state imaging device (Charge Coupled Device: CCD) 26b. this is,
The optical image formed by the optical lens system 12 is a solid-state image sensor 26b.
Output signal according to the amount of light reaching each image sensor of the light receiving unit
Outputs 27. The imaging unit 26 has a major feature in which an optical low-pass filter is not provided. The color filter 26a and the solid-state imaging device 26b are formed integrally in this order from the side of the incident light. The color filter 26a is a single plate.
Color filter segment 260 of color filter 26a and image sensor
262 is in a one-to-one correspondence.

【００２３】ところで、後段で撮像素子262 を実在画
素、撮像素子262 が対応していない領域、すなわち撮像
素子262 で囲まれた幾何学的な領域の中心に仮想画素を
想定して信号処理について説明する。The signal processing will be described on the assumption that the image sensor 262 is a real pixel in the subsequent stage, and a virtual pixel is located at the center of a region not corresponding to the image sensor 262, that is, a geometrical area surrounded by the image sensor 262. I do.

【００２４】色フィルタ26a は、たとえば、図２に示す
ような三原色RGB の色フィルタセグメント260 が配置さ
れている。この色フィルタセグメント260 の配置パター
ンは、色G が正方格子状に配され、さらに色G を挟んで
対角位置に同色R,または Bが配される完全市松に配する
パターンである。In the color filter 26a, for example, a color filter segment 260 of three primary colors RGB as shown in FIG. 2 is arranged. The arrangement pattern of the color filter segments 260 is a pattern in which the colors G are arranged in a square lattice, and the same color R or B is arranged at a diagonal position across the color G on a complete checkered pattern.

【００２５】この色パターンは、以後、この色フィルタ
配置はハニカム型G 正方格子RB完全市松パターンとい
う。図２に示した画素数は、14個のうち、本来の色G が
６個、色R, Bがそれぞれ４個ずつである。上述した色G
の正方格子状とは、画素の形状を示すものでなく、画素
の配置形状を示している。画素の形状は多角形で、たと
えば四角形、六角形、八角形等がある。This color pattern is hereinafter referred to as a honeycomb type G square lattice RB perfect checkerboard pattern. The number of pixels shown in FIG. 2 is six out of fourteen, the original color G is six, and the colors R and B are four each. The color G mentioned above
The square lattice shape does not indicate the shape of the pixel but indicates the arrangement shape of the pixel. The shape of the pixel is a polygon, for example, a square, a hexagon, an octagon, or the like.

【００２６】撮像素子には、CCD や後段で示すMOS（Met
al Oxide Semiconductor: 金属酸化型半導体）タイプの
固体撮像デバイスが適用される。撮像部26では、供給さ
れる駆動信号22c に応じて光電変換によって得られた信
号電荷を所定のタイミングとして、たとえば、垂直ブラ
ンキング期間にフィールドシフトにより垂直転送路に読
み出され、この垂直転送路をラインシフトした信号電荷
が水平転送路に供給される。この水平転送路を経た信号
電荷は図示しない出力回路による電荷／電圧変換によっ
てアナログ電圧信号27にされて前処理部28に出力され
る。固体撮像素子26b は、CCD タイプでは信号電荷の読
出しモードに応じて間引き読出しや全画素読出しを用い
る。The imaging device includes a CCD and a MOS (Met)
al Oxide Semiconductor: A solid-state imaging device of the metal oxide semiconductor type is applied. In the imaging unit 26, the signal charge obtained by the photoelectric conversion in accordance with the supplied drive signal 22c is read as a predetermined timing, for example, by a field shift in a vertical blanking period by a field shift to a vertical transfer path. Is supplied to the horizontal transfer path. The signal charges that have passed through the horizontal transfer path are converted into analog voltage signals 27 by charge / voltage conversion by an output circuit (not shown) and output to the preprocessing unit 28. In the case of the CCD type, the solid-state imaging device 26b uses thinning-out reading and all-pixel reading depending on the signal charge reading mode.

【００２７】前処理部28は、図示しないが相関二重サン
プリング部（Correlated Double Sampling :以下、CDS
という）およびA/D 変換部を有している。CDS 部は、ア
ナログ電圧信号に含まれる1/f 雑音やリセット雑音の低
減に寄与して、ノイズ除去を行う。また、前処理部28は
ここでガンマ補正を行うようにしてもよい。ノイズ成分
が除去された出力信号がA/D 変換部に送られる。A/D 変
換部は、供給されるアナログ信号の信号レベルを所定の
量子化レベルにより量子化してディジタル信号29に変換
するA/D 変換器を有する。A/D 変換部は、タイミング信
号発生部20から供給される変換クロック等のタイミング
信号20b により変換し、この変換したディジタル信号29
を信号処理部30に出力する。前処理部28は撮像部26から
得られるアナログの撮像信号に対して用いるサンプリン
グ周波数を、光学LPF がなくても折返し歪みが生じない
程度に高く設定してそれぞれの処理を行っている。Although not shown, the preprocessing unit 28 includes a correlated double sampling unit (hereinafter referred to as CDS).
) And an A / D converter. The CDS unit removes noise by contributing to reduction of 1 / f noise and reset noise included in the analog voltage signal. Further, the pre-processing unit 28 may perform gamma correction here. The output signal from which the noise component has been removed is sent to the A / D converter. The A / D converter has an A / D converter that quantizes the signal level of the supplied analog signal with a predetermined quantization level and converts the signal level into a digital signal 29. The A / D converter converts the digital signal 29 based on the timing signal 20 b such as a conversion clock supplied from the timing signal generator 20.
Is output to the signal processing unit 30. The pre-processing unit 28 performs each processing by setting the sampling frequency used for the analog image signal obtained from the imaging unit 26 high enough to prevent aliasing distortion even without the optical LPF.

【００２８】信号処理部30には、フレームメモリ機能を
有するデータ補正部30a 、補間処理部30b 、および広帯
域化処理部30c が含まれる。さらに、データ補正部30a
には、図示しないがバッファ機能としてフレームメモリ
および補正処理部が含まれている。補正処理部は、あら
わに示していないがガンマ補正やホワイトバランス等の
調整を行う機能も有する。ここでのガンマ補正は、消費
電力や回路規模を小さくして信号処理のビット数を低減
すること等も可能にしている。このガンマ補正処理をた
とえば、前処理部28ですでに行っている場合、省略す
る。A/D 変換によりディジタル化された画像データ29が
データ補正部30a のフレームメモリに供給され、そこに
記憶される。フレームメモリは、読み出す領域をずらし
ながら繰り返して画素データを読み出すことから、非破
壊型のメモリを用いると有利である。また、フレームメ
モリには、システム制御部18からの制御信号18b に含ま
れる書込み／読出しイネーブル信号、クロック信号等の
制御に関わる信号をシステムバス16を介した制御信号18
d として供給されている。データ補正部30a は、処理と
して、たとえば、各色フィルタに対応した画像データの
レベルを後段の信号処理に適したレベルに合わせるため
各色フィルタごとにゲイン調整も行っている。また、デ
ータ補正部30a は、記憶した画像データを所定の順序で
画像データ42を補間処理部30b に出力する。The signal processing section 30 includes a data correction section 30a having a frame memory function, an interpolation processing section 30b, and a broadband processing section 30c. Further, the data correction unit 30a
Although not shown, a frame memory and a correction processing unit are included as buffer functions. Although not explicitly shown, the correction processing unit also has a function of performing gamma correction, white balance adjustment, and the like. The gamma correction here also makes it possible to reduce the number of bits for signal processing by reducing power consumption and circuit scale. If the gamma correction process is already performed by the pre-processing unit 28, the description is omitted. The image data 29 digitized by the A / D conversion is supplied to the frame memory of the data correction unit 30a and stored therein. Since the frame memory repeatedly reads pixel data while shifting the read area, it is advantageous to use a non-destructive memory. Further, the frame memory stores signals related to control of a write / read enable signal, a clock signal, and the like included in the control signal 18b from the system control unit 18 via the control signal 18 via the system bus 16.
supplied as d. As a process, the data correction unit 30a also performs gain adjustment for each color filter, for example, in order to adjust the level of image data corresponding to each color filter to a level suitable for subsequent signal processing. Further, the data correction unit 30a outputs the stored image data to the interpolation processing unit 30b as image data 42 in a predetermined order.

【００２９】なお、撮像部26の説明で定義した実在画素
および仮想画素を用いて補間処理部30b を説明する。補
間処理部30b は、本実施例では静止画補間および動画補
間を行う機能を有し、供給される画像データ42の供給先
をユーザの要望に応じて切り換えて各部に供給してい
る。このうち、静止画補間を行う構成について説明す
る。補間処理部30b は、静止画補間に対応して通常補正
部44および縮小補正部46を含んでいる。補間処理部30b
は、システム制御部18からの制御に応じて通常補正部44
および縮小補正部46が動作する。ただし、補間処理部30
b としての出力はいずれか選択された方から行われる。The interpolation processing unit 30b will be described using real pixels and virtual pixels defined in the description of the imaging unit 26. In the present embodiment, the interpolation processing unit 30b has a function of performing still image interpolation and moving image interpolation, and switches the supply destination of the supplied image data 42 according to a user's request and supplies the data to each unit. Among them, a configuration for performing still image interpolation will be described. The interpolation processing unit 30b includes a normal correction unit 44 and a reduction correction unit 46 corresponding to still image interpolation. Interpolation processing unit 30b
The normal correction unit 44 is controlled according to the control from the system control unit 18.
And the reduction correcting section 46 operates. However, the interpolation processing unit 30
The output as b is made from the selected one.

【００３０】通常補正部44には、図３に示すように、輝
度補間展開部44a および色補間展開部44b が備えられて
いる。通常補正部44は、実在画素および実在画素の中間
に位置する仮想画素において高域成分を含む高周波輝度
データY_Hおよび三原色データを補間生成する機能を有す
る。輝度補間展開部44a および色補間展開部44b には、
データ補正部30a から画像データ42がそれぞれ供給され
ている。画像データ42は、撮像素子の実在する実在画素
からの画素データである。As shown in FIG. 3, the normal correcting section 44 includes a luminance interpolation developing section 44a and a color interpolation developing section 44b. Usually correcting unit 44 has a function for interpolating generates a high-frequency luminance data Y _H and the three primary colors data including high-frequency component in the virtual pixel located in the middle of the actual pixel and existing pixels. The luminance interpolation developing section 44a and the color interpolation developing section 44b include
Image data 42 is supplied from the data correction unit 30a. The image data 42 is pixel data from a real pixel existing in the image sensor.

【００３１】輝度補間展開部44a には、高周波輝度デー
タ作成部440 および輝度データ補間展開部442 が含まれ
る。高周波輝度データ作成部440 は、供給される画素デ
ータを用いて実在画素または仮想画素の位置における高
域成分を含む高周波輝度データY_H（444)を生成する。本
実施例の高周波輝度データ作成部440 は、実在画素の位
置での高周波輝度データY_Hの算出を行う。この算出は、
供給される画素データ42を用いてたとえば、供給される
色に対する相関関係がどの方向にあるか検出し、検出結
果に応じた高周波輝度データY_H（444)を生成している。The luminance interpolation / expansion unit 44a includes a high-frequency luminance data creation unit 440 and a luminance data interpolation / expansion unit 442. The high-frequency luminance data generation unit 440 generates high-frequency luminance data Y _H (444) including a high-frequency component at the position of a real pixel or a virtual pixel using the supplied pixel data. Frequency luminance data generator 440 of the present embodiment performs calculation of high-frequency luminance data Y _H at the location of the existing pixels. This calculation is
For example, the supplied pixel data 42 is used to detect the direction of the correlation with the supplied color, and high-frequency luminance data Y _H (444) corresponding to the detection result is generated.

【００３２】輝度データ補間展開部442 は、供給される
高周波輝度データY_H（444)を用いて仮想画素の位置にお
ける高周波輝度データY_Hを生成する。輝度補間展開部44
a は、このように高周波輝度データY_Hの生成および補間
により実在画素および仮想画素すべての位置での高周波
輝度データY_H (446)を広帯域化処理部30c に出力する。The luminance data interpolation / expansion unit 442 generates high frequency luminance data Y _H at the position of the virtual pixel using the supplied high frequency luminance data Y _H (444). Luminance interpolation developing unit 44
a outputs the high-frequency luminance data Y _H (446) at the positions of all the real pixels and the virtual pixels to the broadband processing unit 30c by generating and interpolating the high-frequency luminance data Y _H in this manner.

【００３３】なお、輝度補間展開部44a は、仮想画素の
位置に対応する高周波輝度データY_Hを作成し、この仮想
画素の高周波輝度データY_Hを用いて実在画素の位置に対
応する高周波輝度データY_Hを作成するようにしてもよ
い。[0033] Luminance interpolation expansion unit 44a, the high-frequency luminance data to create a high-frequency luminance data Y _H corresponding to the position of the virtual pixel, corresponding to the positions of existing pixels by using the high-frequency luminance data Y _H of the virtual pixel Y _H may be created.

【００３４】色補間展開部44b は、仮想画素および実在
画素の対応していない色に対して実在画素の色配置を考
慮して補間処理を行い、画面全体の三原色データを生成
する機能を有する。このため、色補間展開部44b には、
各色ごとの補間展開部がある。これがR 補間展開部448
、G 補間展開部450 、およびB 補間展開部452 であ
る。各補間展開部448, 450, 452 は供給される画像デー
タ42のうち、色ごとにそれぞれ色データ42a, 42b, 42c
を入力し、入力したそれぞれの色データで補間展開処理
を行うことにより実在画素および仮想画素すべての位置
で色データを生成する。これにより三原色RGB をすべて
そろえる、RGB 同時化処理を行って三原色データ454, 4
56, 458を広帯域化処理部30c に出力する。The color interpolation developing section 44b has a function of performing an interpolation process on a color that does not correspond to a virtual pixel and a real pixel in consideration of the color arrangement of the real pixel, and generating three primary color data of the entire screen. Therefore, the color interpolation developing unit 44b includes:
There is an interpolation developing unit for each color. This is the R interpolation expansion unit 448
, A G interpolation developing section 450 and a B interpolation developing section 452. Each of the interpolation developing sections 448, 450, and 452 outputs color data 42a, 42b, 42c for each color of the supplied image data 42.
Is input, and interpolation and expansion processing is performed on the input color data to generate color data at all positions of the real pixels and the virtual pixels. In this way, all three primary colors RGB are aligned, and the RGB primary processing is performed to execute the three primary color data.
56 and 458 are output to the broadband processing section 30c.

【００３５】縮小補正部46は、供給される画素データ42
を用いて実在画素または仮想画素を縮小補正の代表値を
割り当てる対象画素にして扱い、結果的に画素数を減少
させる機能部である。本実施例では対象画素を実在画素
に設定した場合の構成を示す（図４を参照）。縮小補正
部46には、G 縮小演算部46a 、R 縮小演算部46b および
B 縮小演算部46c が含まれている。The reduction correction section 46 supplies the supplied pixel data 42
Is a functional unit that treats a real pixel or a virtual pixel as a target pixel to which a representative value of reduction correction is assigned, and consequently reduces the number of pixels. This embodiment shows a configuration in which the target pixel is set as a real pixel (see FIG. 4). The reduction correction unit 46 includes a G reduction operation unit 46a, an R reduction operation unit 46b,
A B reduction operation unit 46c is included.

【００３６】G 縮小演算部46a は、色R または色B の位
置を対象画素として対象画素を囲む４つの色G の画素デ
ータを用いて加算平均して色G の画素データを算出する
演算部である。ここで、図５および図６に示す画素配置
関係の画素データにあるとする。八角形の実線は実在画
素、八角形の破線は仮想画素を表す。また、八角形の内
部に記した記号R, G, B は各画素が生成する色を示す。
記号R, G, B に付される添字は画素の位置を行列表示で
示している。The G reduction operation unit 46a is an operation unit that calculates the pixel data of the color G by performing averaging using the pixel data of four colors G surrounding the target pixel with the position of the color R or the color B as the target pixel. is there. Here, it is assumed that the pixel data has the pixel arrangement relationship shown in FIGS. 5 and 6. The octagonal solid line represents a real pixel, and the octagonal dashed line represents a virtual pixel. Symbols R, G, and B written inside the octagon indicate the color generated by each pixel.
Subscripts added to the symbols R, G, and B indicate the positions of pixels in a matrix display.

【００３７】図５に示すようなG 正方格子RB完全市松パ
ターンでG 縮小演算部46a は、色R_{2 2} や色B₂₄ の位置に
対応する色G₂₂, G₂₄を算出する場合、色G₁₁, G₁₃, G₃₁,
G₃₃と色G₁₃, G₁₅, G₃₃, G₃₅を、それぞれの一組として
用いて加算平均して求めている。G 縮小演算部46a は、
集約させた色G の画素データ462 として出力するだけで
なく、色G_Hの画素データ460 、すなわち輝度データY_Hと
しても広帯域化処理部30c に出力する。[0037] G reduction operation unit 46a in G square lattice RB completely checkered pattern as shown in FIG. 5, when calculating a color G _22, G ₂₄ corresponding to the position of the color R _{2 2} and color B _24, color G ₁₁ , G ₁₃ , G ₃₁ ,
G ₃₃ and colors G ₁₃ , G ₁₅ , G ₃₃ , and G ₃₅ are used as a set of each and averaged and obtained. G reduction operation unit 46a
Not only is the pixel data 462 of the aggregated color G output, but also the pixel data 460 of the color G _H , that is, the luminance data Y _H is output to the broadband processing unit 30c.

【００３８】R 縮小演算部46b は、色B の位置を対象画
素として対象画素を囲む４つの異色R の画素データを用
いて加算平均して対象画素（色B ）での色R の画素デー
タを算出する演算部である。対象画素が色R の場合、こ
の位置の画素データをそのまま用いる。図６のパターン
でR 縮小演算部46b は、色B₂₄ の位置に対応する色R
（同色）の画素データを算出する場合、色R₀₄, R₂₂, R
₂₆, R₄₄を一組（実線）として用いて加算平均して、色R
₂₄ を算出する。色R₂₂ の位置では、本来色R の画素デ
ータはそのまま用いる。R 縮小演算部46b は、算出した
対象画素に対する色R の画素データ464 を広帯域化処理
部30c に出力する。The R reduction operation unit 46b performs averaging using the pixel data of four different colors R surrounding the target pixel with the position of the color B as the target pixel, and calculates the pixel data of the color R at the target pixel (color B). This is a calculation unit for calculating. When the target pixel is the color R, the pixel data at this position is used as it is. R reduction calculation section 46b in the pattern of Figure 6, the color corresponds to the position of the color B ₂₄ R
When calculating (same color) pixel data, the colors R ₀₄ , R ₂₂ , R
₂₆ and R ₄₄ as a set (solid line) and averaged to obtain the color R
Calculate ₂₄ . The position of the color R _22, pixel data of the original color R is used as it is. The R reduction operation unit 46b outputs the calculated pixel data 464 of the color R for the target pixel to the broadband processing unit 30c.

【００３９】また、B 縮小演算部46c は、色R の位置を
対象画素として対象画素を囲む４つの異色B の画素デー
タを用いて加算平均して対象画素（色R ）での色B の画
素データを算出する演算部である。対象画素が色B の場
合、この位置の画素データをそのまま用いる。図６のパ
ターンでB 縮小演算部46c は、色R₂₂ の位置に対応する
色B （同色）の画素データを算出する場合、色B₀₂,
B₂₀, B₂₄, B₄₂を一組（一点鎖線）として用いて加算平
均して、色B₂₂ を算出する。色B₂₄ の位置では、本来色
B の画素データはそのまま用いる。B 縮小演算部46c
は、算出した対象画素に対する色B の画素データ466 を
広帯域化処理部30c に出力する。本実施例で画素数は図
５の矢印で示す位置の画素データ数に減少する。The B-reduction calculating unit 46c performs averaging using four different-color B pixel data surrounding the target pixel with the position of the color R as the target pixel and calculating the pixel of the color B at the target pixel (color R). This is an operation unit that calculates data. If the target pixel is color B, the pixel data at this position is used as it is. B reduction calculation section 46c in the pattern of FIG. 6, the case of calculating the pixel data of the color B (the same color) corresponding to the position of the color R _22, color B _02,
B _20, B _24, B ₄₂ a pair and averaged with a (dashed line), and calculates the color B _22. At the position of color B ₂₄ , the original color
The B pixel data is used as it is. B Reduction operation unit 46c
Outputs the calculated pixel data 466 of color B for the target pixel to the broadband processing unit 30c. In this embodiment, the number of pixels is reduced to the number of pixel data at the position indicated by the arrow in FIG.

【００４０】広帯域化処理部30c には、通常補正部44お
よび縮小補正部46のいずれか一方から供給される高周波
輝度データY_HおよびプレーンなRGB データが供給されて
通常補正部44および縮小補正部46にそれぞれ対応した処
理部が用意されている。このうち、本実施例では縮小表
示用の構成を広帯域化処理部30c として表す。広帯域化
処理部30c には、ハイパスフィルタ回路48、色差マトリ
クス部50、加算器52、歪み防止処理部54、アパーチャ調
整部56および色差ゲイン調整部58, 60が備えられている
（図７を参照）。ハイパスフィルタ回路（以下、HPF と
いう）48は、供給される高周波輝度データ446 または色
G_Hの画素データ460 から高周波成分を抽出するフィルタ
である。HPF 48は、抽出した高周波成分Y_h（またはG_h）
の信号48a を加算器52の一端52a 側に出力する。[0040] The wideband processing unit 30c, and the high-frequency luminance data Y _H and plain RGB data supplied from either the normal correction portion 44 and the reduced correction unit 46 is supplied usually correcting unit 44 and the reduced correction unit Processing units corresponding to each of the 46 are prepared. Of these, in this embodiment, the configuration for reduced display is represented as a broadband processing unit 30c. The broadband processing unit 30c includes a high-pass filter circuit 48, a color difference matrix unit 50, an adder 52, a distortion prevention processing unit 54, an aperture adjustment unit 56, and color difference gain adjustment units 58 and 60 (see FIG. 7). ). The high-pass filter circuit (hereinafter referred to as HPF) 48 is supplied with high-frequency luminance data 446 or color data.
This is a filter for extracting high-frequency components from the pixel data 460 of _GH . HPF 48 is the extracted high frequency component Y _h (or G _h )
Is output to the one end 52a side of the adder 52.

【００４１】色差マトリクス部50は、通常補正部44の三
原色データ454, 456, 458 または縮小補正部46の三原色
データ464, 462, 466 を用いて輝度データY 、色差デー
タC_r, C_bを生成している。色差マトリクス部50は、ここ
で行うマトリクス演算にはこれまで用いてきた従来の算
出式を用いている。色差マトリクス部50は、生成した輝
度データY (50a）を加算器52の他端52b 側に供給し、色
差データC_r(50b）, C_b(50c）を歪み防止処理部54に出力
する。The color difference matrix unit 50 uses the three primary color data 454, 456, 458 of the normal correction unit 44 or the three primary color data 464, 462, 466 of the reduction correction unit 46 to generate luminance data Y and color difference data C _r , C _b . are doing. The color difference matrix unit 50 uses the conventional calculation formula used so far for the matrix calculation performed here. Color difference matrix unit 50, the generated luminance data Y (50a) is supplied to the other end 52b of the adder 52, the color difference data C _r (50b), and outputs the C _b (50c) in anti-distortion processing unit 54.

【００４２】加算部52は、原色G に対応して高周波成分
Y_hを加算することにより三原色データの周波数帯域を広
帯域化する。広帯域化は、色G に対してアウトオブグリ
ーン方式で行われる。加算器52は、広帯域化した輝度デ
ータ52a (Y )を歪み防止処理部54に供給する。The adder 52 generates a high-frequency component corresponding to the primary color G.
To widen the frequency band of the three primary color data by adding the Y _h. Broadbanding is performed for the color G in an out-of-green manner. The adder 52 supplies the luminance data 52a (Y) with the wide band to the distortion prevention processing unit 54.

【００４３】また、加算器52は、この配設位置に限定さ
れるものでなく、図示していないが、通常の補正信号処
理を行って画素数を増加させる場合には色差マトリクス
部50の前に各色ごとに生成した画素データと高周波成分
Y_hとの加算が行えるように加算器をそれぞれ配設すると
よい。この場合、補正信号処理を行う通常補正部44で
は、前述した通り高周波輝度データY_Hおよび色補間展開
して得られたプレーンな各原色の画素データをそれぞれ
生成する。HPF 回路が高周波輝度データY_Hを通して高周
波輝度成分Y_hを抽出する。広帯域化はこの抽出した高周
波輝度成分Y_hとプレーンな各原色の画素データとを、そ
れぞれの加算器（図示せず）で加算している。The adder 52 is not limited to this arrangement position. Although not shown, the adder 52 is provided in front of the color difference matrix unit 50 when the number of pixels is increased by performing normal correction signal processing. Pixel data and high-frequency components generated for each color
Adder may respectively arranged to allow the addition of Y _h. In this case, the correction in the signal processing normally correcting unit 44 performs, for generating respective pixel data of each primary color of the resulting plane to expand as the high-frequency luminance data Y _H and color interpolation described above. HPF circuit extracts the high frequency luminance component Y _h through a high-frequency luminance data Y _H. Broadband is the pixel data of the extracted high-frequency luminance component Y _h and plain each primary color, are added in respective adders (not shown).

【００４４】歪み防止処理部54には、供給される３つの
信号の帯域を損なうことなく、折返し歪みを発生させな
いように高域にまで帯域のあるローパスフィルタ（以
下、LPF という）540, 542, 544 がある。その中でもLP
F 540 は輝度データY に応じて最も高い周波数まで通す
特性を有している。また、歪み防止処理部54では、通常
補正が行われた際に水平および垂直方向の周波数帯域の
重複している領域に対して一方の方向の重複する周波数
帯域を制限する処理も施している。これにより、周波数
の重複による画質劣化を回避している。このように処理
された輝度データY (54a）および色差データC_r(54b）,
C_b(54c）がそれぞれ、アパーチャ調整部56、色差ゲイン
調整部58, 60に供給される。The distortion prevention processing unit 54 includes low-pass filters (hereinafter, referred to as LPFs) 540, 542, and 540 having a band up to a high frequency so as not to generate aliasing distortion without impairing the bands of the three supplied signals. There are 544. Among them LP
F 540 has a characteristic of passing the highest frequency according to the luminance data Y. In addition, the distortion prevention processing unit 54 also performs processing for limiting the overlapping frequency band in one direction with respect to the region where the horizontal and vertical frequency bands overlap when normal correction is performed. This avoids image quality degradation due to overlapping frequencies. The thus treated luminance data Y (54a) and color difference data C _r (54b),
C _b (54c) is supplied to the aperture adjustment unit 56 and the color difference gain adjustment units 58 and 60, respectively.

【００４５】アパーチャ調整部56は、たとえば、LPF 処
理によって高域成分の低下をなくすように処理して出力
する。この結果、画像には輪郭（エッジ）強調処理が施
されたと同様の効果がもたらされる。また、色差ゲイン
調整部58, 60は、供給される色差データC_r(54b）, C_b(5
4c）に対してゲイン調整を行い、所定のレベルに揃えて
いる。このようにして信号処理部30は、生成した輝度デ
ータY (60a）、色差データC_r(60b）, C_b(60c）を圧縮／
伸長処理部32に供給する。The aperture adjusting unit 56 processes and outputs the low-frequency component by LPF processing, for example, so as not to lower it. As a result, the same effect as when the outline (edge) enhancement processing is performed on the image is obtained. The color difference gain adjusters 58 and 60 supply the color difference data C _r (54b) and C _b (5
The gain is adjusted for 4c), and the level is adjusted to a predetermined level. Such signal processing section 30 and, the generated luminance data Y (60a), the color difference data C _r (60b), compressing the C _b (60c) /
It is supplied to the decompression processing unit 32.

【００４６】図１に戻って圧縮／伸長処理部32は、信号
処理部30から供給された１フレーム分の輝度データY と
色差データC_r, C_bを一時的に記憶するフレームメモリ
と、たとえば、直交変換を用いたJPEG（Joint Photogra
phic Experts Group）規格での圧縮を施す回路と、この
圧縮した画像を再び元のデータに伸長する回路とを有す
る。ここで、フレームメモリは、信号処理部30のフレー
ムメモリと兼用してもよい。ここで、複数のフレームメ
モリを所有すると、動画の記録、すなわち連写等の処理
において有利である。また、圧縮はJPEGに限定されるも
のでなく、MPEG（Moving Picture coding Experts Grou
p ）や動画像の１枚いちまいのフレームにJPEGを適用す
るモーションJPEG等の圧縮方法がある。[0046] Figure 1 in back compression / decompression processing unit 32, a frame memory for temporarily storing the luminance data Y and color difference data C _r for one frame supplied from the signal processing unit 30, a C _b, e.g. , JPEG (Joint Photogra
A circuit for performing compression according to the phic experts group) standard and a circuit for decompressing the compressed image to original data again. Here, the frame memory may also be used as the frame memory of the signal processing unit 30. Here, possessing a plurality of frame memories is advantageous in recording moving images, that is, in processing such as continuous shooting. Further, the compression is not limited to JPEG, but may be MPEG (Moving Picture coding Experts Group).
p) and a compression method such as motion JPEG which applies JPEG to a single frame of a moving image.

【００４７】圧縮／伸長処理部32は、システム制御部18
の制御により記録時には圧縮したデータをシステムバス
16を介してストレージ部34に供給する。圧縮／伸長処理
部32は、供給される輝度データY (60a）、色差データC_r
(60b）, C_b (60c）をシステム制御部18の制御によりス
ルーさせてシステムバス16に供給したり、または信号処
理部32からの信号をシステムバス16を介してモニタ36に
供給することもできる。圧縮／伸長処理部32が伸長処理
を行う場合、逆にストレージ部34から読み出したデータ
をシステムバス16を介して圧縮／伸長処理部32に取り込
んで処理する。ここで処理されたデータはフレームメモ
リに記憶された後、システム制御部18の制御により圧縮
／伸長処理部32は、所要の順序でフレームメモリのデー
タを読み出し、モニタ36に供給して表示させる。The compression / decompression processing unit 32 includes a system control unit 18
During recording by the control of
The data is supplied to the storage section 34 via 16. Compression / decompression processing unit 32, the luminance data Y (60a) supplied, color difference data C _r
(60b) and C _b (60c) may be supplied to the system bus 16 by passing through under the control of the system control unit 18, or a signal from the signal processing unit 32 may be supplied to the monitor 36 via the system bus 16. it can. When the compression / decompression processing unit 32 performs the decompression processing, on the contrary, the data read from the storage unit 34 is taken into the compression / decompression processing unit 32 via the system bus 16 and processed. After the processed data is stored in the frame memory, the compression / decompression processing unit 32 reads the data in the frame memory in a required order under the control of the system control unit 18 and supplies the data to the monitor 36 for display.

【００４８】ストレージ部34は、記録媒体に記録する記
録処理部と、記録媒体から記録した画像データを読み出
す再生処理部とを含む（ともに図示せず）。記録媒体に
は、たとえば、いわゆる、スマートメディア（登録商
標）のような半導体メモリや磁気ディスク、光ディスク
等がある。磁気ディスク、光ディスクを用いる場合、画
像データを変調する変調部とともに、この画像データを
書き込むヘッドがある。The storage section 34 includes a recording processing section for recording on a recording medium and a reproduction processing section for reading image data recorded from the recording medium (both not shown). Examples of the recording medium include a semiconductor memory such as a so-called smart media (registered trademark), a magnetic disk, and an optical disk. When a magnetic disk or an optical disk is used, there is a head for writing the image data together with a modulator for modulating the image data.

【００４９】モニタ36は、システム制御部18の制御に応
じてシステムバス16を介して供給される輝度データY お
よび色差データC_r, C_bまたは三原色RGB のデータを画面
の大きさを考慮するとともに、タイミング調整して表示
する機能を有する。モニタ36には、図１に示すように広
帯域化処理部30c から供給される広帯域化された縮小表
示用の画像データをシステムバス16を介して供給される
ようにしてこの画像データを表示させてもよい。The monitor 36, the luminance data Y and color difference data C _r supplied via the system bus 16 in response to control of the system controller 18, as well as consideration of the size of the screen C _b or three primary RGB data , And a function of adjusting and displaying the timing. As shown in FIG. 1, the image data for the reduced display which is broadened and supplied from the broadband processing unit 30c is supplied to the monitor 36 via the system bus 16 to display the image data. Is also good.

【００５０】プリンタ38は、図示しないがYMC 変換処理
部、駆動信号生成部および感熱ヘッドおよび印画紙保持
部が含まれる。YMC 変換処理部は、縮小表示サイズに調
整された三原色RGB または輝度データY および色差デー
C_r, C_bに応じてYMC 変換処理する。駆動信号生成部は、
処理されたYMC データに応じた熱を発生させる駆動信号
の生成を行う。感熱ヘッドは、供給される駆動信号のレ
ベルに応じてヘッドに熱を発生させるセンサを含む。感
熱ヘッドは印画紙保持部からカメラ10の外部に排出され
る印画紙に非接触ながら感熱させ、発色させている。Although not shown, the printer 38 includes a YMC conversion processing section, a drive signal generation section, a thermal head, and a photographic paper holding section. The YMC conversion unit converts the three primary colors RGB or luminance data Y and color difference data adjusted to the reduced display size.
YMC conversion processing is performed according to C _r and C _b . The drive signal generation unit includes:
Generates a drive signal that generates heat according to the processed YMC data. The thermal head includes a sensor that generates heat in the head according to the level of the supplied drive signal. The heat-sensitive head heats the photographic paper discharged from the photographic paper holding unit to the outside of the camera 10 while not in contact with the photographic paper, thereby developing a color.

【００５１】I/F 部40は、たとえばUSB (Universal Ser
ial Bus ）を含み、外部と画像データ等の入出力を行う
処理機能を有している。入出力を行う機能にはデータの
信号レベル変換や制御のタイミング調整等も含む。I/F
部40は、生成した画像データや再生した画像データを接
続した外部のプリンタに供給することができる。The I / F unit 40 is, for example, a USB (Universal Serial
ial Bus), and has a processing function of inputting and outputting image data and the like with the outside. The input / output functions include data signal level conversion and control timing adjustment. I / F
The unit 40 can supply the generated image data and the reproduced image data to an external printer connected thereto.

【００５２】このようにディジタルカメラ10は構成して
撮像した画像に対して信号処理を施し、記録している。
また、記録した画像データを再生してモニタ36に表示さ
せることも行っている。As described above, the digital camera 10 is configured to perform signal processing on an image captured and record the image.
Further, the recorded image data is reproduced and displayed on the monitor 36.

【００５３】次に、ディジタルカメラ10の動作について
説明する。必要に応じて前述の構成で用いた図面も参照
する。ディジタルカメラ10は、たとえば、図８に示す撮
影におけるメインフローチャートに従って動作する。本
実施例のディジタルカメラ10は、静止画撮影の画像サイ
ズ拡大モード（補間処理モード）と画像サイズ縮小モー
ド（縮小処理モード）の両方を有している。この動作手
順は前述したように静止画撮影におけるこれらのモード
での処理の中で、特に、縮小モードの動作に着目して説
明する。Next, the operation of the digital camera 10 will be described. Reference is made to the drawings used in the above configuration as necessary. The digital camera 10 operates, for example, according to a main flowchart in photographing shown in FIG. The digital camera 10 according to the present embodiment has both an image size enlargement mode (interpolation processing mode) for photographing still images and an image size reduction mode (reduction processing mode). As described above, this operation procedure will be described focusing on the operation in the reduction mode in the processing in these modes in the still image shooting as described above.

【００５４】ディジタルカメラ10は、電源投入後、カメ
ラ10が有する複数のモードのうち、どのようなモードで
動作させるか選択する（ステップS10 ）。ここでは各種
あるモードから撮影モードを選択するだけでなく、静止
画撮影、かつ画像サイズ設定も行う。画像サイズ設定に
は、実在画素数以上に画素数を増大させる通常行う補間
処理モードと実在画素数より減少させる縮小処理モード
とがある。画像サイズ設定はこのいずれか一方のモード
を選択する。After the power is turned on, the digital camera 10 selects which mode to operate from among a plurality of modes of the camera 10 (step S10). Here, in addition to selecting a shooting mode from various modes, still image shooting and image size setting are also performed. The image size setting includes a normal interpolation processing mode in which the number of pixels is increased to the number of actual pixels or more, and a reduction processing mode in which the number of pixels is decreased from the actual number of pixels. The image size setting selects one of these modes.

【００５５】撮影モードが選択されている場合、光学レ
ンズ系12を介して採り込む被写界の像をディジタル処理
して連続的にモニタ36に表示する（ステップS12 ：予備
の撮像）。特に、操作部14のレリーズシャッタボタン
（図示せず）を１段階押すと、カメラ10は、撮像した被
写界の画像をモニタ36に表示させるだけでなく、本撮像
を前に露光条件の設定処理および露光対象との焦点距離
の調節等をシステム制御部18で行い、本撮像に備えてい
る。露光条件の設定に関わるパラメータ設定処理は、信
号処理部30で行ってもよい。When the photographing mode is selected, the image of the scene taken through the optical lens system 12 is digitally processed and continuously displayed on the monitor 36 (step S12: preliminary image pickup). In particular, when the release shutter button (not shown) of the operation unit 14 is pressed by one step, the camera 10 not only displays the captured image of the object scene on the monitor 36 but also sets the exposure conditions before the main imaging. Processing and adjustment of the focal length with respect to the exposure target and the like are performed by the system control unit 18 to prepare for the main imaging. The parameter setting process related to the setting of the exposure condition may be performed by the signal processing unit 30.

【００５６】ユーザが所望のタイミングでレリーズシャ
ッタボタンを２段階まで押し切って本撮像を行う（ステ
ップS14 ）。本撮像が行われると、システム制御部18に
は、操作信号14a から供給される。システム制御部18は
このタイミングであらかじめ設定した制御信号18b をシ
ステムバス16、信号線18c を介してタイミング信号発生
部20およびドライバ部22に送る。カメラ10は、タイミン
グ信号発生部20およびドライバ部22からのタイミング信
号および駆動信号に応じて動作する。図２に示すよう
に、固体撮像素子26b は、ハニカム型G 正方格子RB完全
市松パターンの色フィルタ26a を介して色フィルタセグ
メントRGB に対応した画素から読み出した信号電荷をア
ナログ信号27にしている。読み出したアナログ信号27が
前処理部28に供給される。At the desired timing, the user presses the release shutter button all the way down to two steps to perform the main image pickup (step S14). When the main imaging is performed, the system controller 18 is supplied with the operation signal 14a. At this timing, the system controller 18 sends a preset control signal 18b to the timing signal generator 20 and the driver 22 via the system bus 16 and the signal line 18c. The camera 10 operates according to a timing signal and a drive signal from the timing signal generator 20 and the driver 22. As shown in FIG. 2, the solid-state imaging device 26b converts the signal charge read from the pixel corresponding to the color filter segment RGB into the analog signal 27 via the color filter 26a of the honeycomb type G square lattice RB complete checkerboard pattern. The read analog signal 27 is supplied to the preprocessing unit 28.

【００５７】前処理部28では、タイミング信号20b に応
じて供給されたアナログ信号27に含まれる雑音を除去
し、雑音除去された信号にA/D 変換処理を施してディジ
タル信号29に変換する（ステップS16 ）。ディジタル信
号29が撮像された画像データとして信号処理部30に供給
される。フローチャートに示していないが信号処理部30
のデータ補正部30a でたとえば、ガンマ補正やホワイト
バランス等の調整が補正処理として施されている。デー
タ補正部30a にはフレームメモリ（図示せず）を備えて
もよい。この場合画像データは供給された際に一時的に
記憶し、その後各画素ごとに読み出して上述した補正が
施される。この補正された画像データ42は、フレームメ
モリにふたたび格納してもよいし、補間処理部30b に補
正結果を供給してもよい。The pre-processing unit 28 removes noise contained in the analog signal 27 supplied according to the timing signal 20b, performs A / D conversion processing on the signal from which the noise has been removed, and converts the signal into a digital signal 29 ( Step S16). The digital signal 29 is supplied to the signal processing unit 30 as captured image data. Although not shown in the flowchart, the signal processing unit 30
In the data correction unit 30a, for example, adjustment such as gamma correction and white balance is performed as a correction process. The data correction unit 30a may include a frame memory (not shown). In this case, the image data is temporarily stored when supplied, and thereafter read out for each pixel to perform the above-described correction. The corrected image data 42 may be stored again in the frame memory, or the correction result may be supplied to the interpolation processing unit 30b.

【００５８】次に静止画撮影の中で画像サイズの設定が
補間処理モードかどうかの判定を行っている（ステップ
S18 ）。この設定が補間処理モードのとき（YES ）、信
号処理部30の通常補正処理部44で実在画素数以上に多い
画素数で画像を表現させる補間信号処理に進む（サブル
ーチンSUB1）。また、この設定が縮小補正処理モードの
とき（NO）、縮小補正部46で実在画素数より画素数を減
少させる縮小補正処理に進む（サブルーチンSUB2）。Next, it is determined whether or not the image size is set in the interpolation processing mode during still image shooting (step S1).
S18). When this setting is in the interpolation processing mode (YES), the process proceeds to the interpolation signal processing in which the normal correction processing unit 44 of the signal processing unit 30 expresses an image with a larger number of pixels than the number of existing pixels (subroutine SUB1). When this setting is in the reduction correction processing mode (NO), the reduction correction section 46 proceeds to a reduction correction processing for reducing the number of pixels from the actual number of pixels (subroutine SUB2).

【００５９】補間信号処理（サブルーチンSUB1）では、
たとえばCCD 26b が有する実在画素の位置に高周波輝度
データを生成し、さらに実在画素数以上に画素数を増加
させるように新たな画素として仮想画素にも高周波輝度
データの補間生成を行う。色に関しては、色補間展開部
44b で一つの実在画素に対して本来得られた色と異なる
２色の画素データも補間生成する。この補間により生成
された画素データ、すなわち高周波輝度データY_Hおよび
プレーンな色データがそれぞれが広帯域化処理部30c に
供給される。In the interpolation signal processing (subroutine SUB1),
For example, high-frequency luminance data is generated at the position of a real pixel included in the CCD 26b, and interpolation generation of high-frequency luminance data is also performed on a virtual pixel as a new pixel so as to increase the number of pixels beyond the number of real pixels. For color, color interpolation development unit
In 44b, pixel data of two colors different from the color originally obtained for one real pixel is also generated by interpolation. Pixel data generated by the interpolation, i.e. the high-frequency luminance data Y _H and plain color data are respectively supplied to the wideband processing unit 30c.

【００６０】補間生成された画素データには広帯域化処
理が施される（サブルーチンSUB3）。広帯域化処理は、
供給される画素データを用いて広帯域な輝度データY お
よび色差データC_r, C_bを画像データとしてそれぞれ生成
する。生成した画像データを圧縮／伸長処理部32に出力
する。The pixel data interpolated and generated is subjected to a band broadening process (subroutine SUB3). Broadband processing is
Using the pixel data supplied respectively generate wideband luminance data Y and color difference data C _r, the C _b as image data. The generated image data is output to the compression / decompression processing unit 32.

【００６１】また、通常の補間信号処理でないと判定さ
れた際に行う縮小補正処理に移行する（サブルーチンSU
B2）。縮小補正処理は、後段で詳述する処理を縮小補正
部46で行う。縮小補正部46では実在画素の画素データを
用いて実在画素を対象画素として三原色RGB の画素デー
タを生成する。縮小補正部46では色R または色B を対象
画素とする画素データに対して本来の画素にない色の画
素データの生成を行う。すなわち、色R の画素データに
対して色B および色G の画素データを生成する。また、
色B の画素データに対して色R および色G の画素データ
を生成する。生成した画素データは広帯域化処理部30c
に供給される。The processing shifts to a reduction correction processing performed when it is determined that the processing is not normal interpolation signal processing (subroutine SU
B2). The reduction correction processing is performed by the reduction correction unit 46, which will be described in detail later. The reduction correction unit 46 uses the pixel data of the actual pixel to generate pixel data of three primary colors RGB using the actual pixel as a target pixel. The reduction correction unit 46 generates pixel data of a color not included in the original pixel with respect to the pixel data having the color R or the color B as the target pixel. That is, color B and color G pixel data are generated for the color R pixel data. Also,
Pixel data of color R and color G is generated for the pixel data of color B. The generated pixel data is sent to the broadband processing unit 30c.
Supplied to

【００６２】広帯域化処理部30c では、縮小補正処理モ
ードで対象画素に対する広帯域化処理を施す（サブルー
チンSUB4）。このモードでは対象画素の色G に対する高
周波輝度成分G_h(=Y_h）の抽出を行う。そして、広帯域化
処理部30c では、対象画素での三原色RGB の画素データ
を用いて輝度データY および色差データC_r, C_bをそれぞ
れ生成する。生成した輝度データY には高周波輝度成分
G_hを加算する。これにより輝度データY は広帯域化す
る。さらにこの他にも広帯域化に対応した画像処理等を
後処理として施している。このようにして得られた画像
サイズは縮小されている。The widening processing section 30c performs widening processing on the target pixel in the reduction correction processing mode (subroutine SUB4). In this mode, a high-frequency luminance component G _h (= Y _h ) for the color G of the target pixel is extracted. Then, the broadband processing unit 30c, each generate luminance data Y and color difference data C _r, the C _b using three primary colors RGB of the pixel data of the target pixel. The generated luminance data Y has a high-frequency luminance component
Add G _h . Thereby, the luminance data Y is broadened. In addition, image processing and the like corresponding to a wider band are performed as post-processing. The image size obtained in this way is reduced.

【００６３】次に縮小補正処理モードで生成した画像デ
ータを印刷するかどうか判定する（ステップS20 ）。内
蔵する印画紙に印刷するとき（YES ）、画像（写真）の
印刷処理に進む。また、画像を印刷しないとき（NO）、
圧縮処理に進む。Next, it is determined whether to print the image data generated in the reduction correction processing mode (step S20). When printing on the built-in photographic paper (YES), the process proceeds to image (photograph) printing processing. Also, when not printing an image (NO),
Proceed to compression processing.

【００６４】画像の印刷処理は、プリンタ38で行う（ス
テップS22 ）。画像データはプリンタ38が印画紙に印刷
可能な縮小サイズに調整されている。プリンタ38は、画
像データに対してYMC 変換を施して印刷用画像データを
生成している。生成した印刷用画像データを用いてプリ
ンタ38は、たとえば写真として印刷する。The image printing process is performed by the printer 38 (step S22). The image data is adjusted to a reduced size that the printer 38 can print on photographic paper. The printer 38 performs YMC conversion on the image data to generate print image data. The printer 38 prints, for example, as a photograph using the generated print image data.

【００６５】圧縮処理は、前述したサブルーチンSUB3や
印刷しない場合にそれぞれ生成した輝度データY および
色差データC_r, C_bに対して圧縮／伸長処理部32で行われ
る（ステップS24 ）。静止画モードではJPEG等が圧縮信
号処理として適用される。この圧縮処理が施された画像
データは、ストレージ部34の記録再生装置に装着された
記録媒体に記録保存される（ステップS26 ）。[0065] compression processing is performed by the compression / decompression processing unit 32 the luminance data Y and color difference data C _r respectively generated when no subroutines SUB3 and printing described above, with respect to C _b (step S24). In the still image mode, JPEG or the like is applied as compressed signal processing. The image data that has been subjected to the compression processing is recorded and stored on a recording medium mounted on the recording / reproducing device of the storage unit 34 (step S26).

【００６６】最後に、ディジタルカメラ10の動作を終了
させるかどうかを判定する（ステップS28 ）。まだ動作
を継続するとき（NO）、ステップS10 に戻って一連の処
理を継続する。また、動作を終了するとき（YES ）、デ
ィジタルカメラ10の電源をオフにする。なお、モード設
定をそのまま用いる場合、ステップS12 の処理から動作
を継続させるようにしてもよい。Finally, it is determined whether or not the operation of the digital camera 10 is to be terminated (step S28). If the operation is still to be continued (NO), the flow returns to step S10 to continue a series of processing. When the operation is completed (YES), the power of the digital camera 10 is turned off. When the mode setting is used as it is, the operation may be continued from the processing in step S12.

【００６７】次に補間信号処理について簡単に説明する
（図９を参照）。実在画素が表す市松状パターンの画素
位置に高周波輝度データY_Hを生成する（サブルーチンSU
B5）。実在画素の位置に生成する高周波輝度データY
_Hは、対象の画素データと周囲の画素データとの相関性
を考慮して相関性の高い方向に位置する画素データを用
いて重み付け加算平均することにより生成する。この加
算平均により得られる高周波輝度データY_Hは、色G の画
素データや色G の補色、すなわち色マゼンタMgを示すデ
ータでもよい。相関検出は、斜め、垂直および／または
水平方向について行う。特に、垂直および水平方向の相
関検出は、対象の画素に対して用いる周囲の画素を対象
画素の色（同色または異色）を考慮して、相関検出に実
際に用いる画素の領域を変えながら行っている。この処
理は、高周波輝度データ作成部440 で行う。本実施例で
は実在画素を用いて実在画素の位置での高周波輝度デー
タY_Hを生成したが、実在画素から仮想画素での高周波輝
度データY_Hを生成するようにしてもよい。この場合、次
に行う補間処理は実在画素の位置に対して行うことにな
る。Next, the interpolation signal processing will be briefly described (see FIG. 9). Generating a high-frequency luminance data Y _H to the pixel position of the checkered pattern of existing pixels represents (subroutine SU
B5). High-frequency luminance data Y generated at the position of a real pixel
_H is generated by performing weighted averaging using pixel data located in the direction of high correlation in consideration of the correlation between the target pixel data and the surrounding pixel data. The averaging by the resulting high frequency luminance data Y _H is the complementary color of the pixel data and color G color G, i.e. may be data indicating the color magenta Mg. The correlation detection is performed in the oblique, vertical and / or horizontal directions. In particular, the correlation detection in the vertical and horizontal directions is performed by changing surrounding pixels used for the target pixel while changing the area of the pixel actually used for the correlation detection in consideration of the color (same color or different color) of the target pixel. I have. This processing is performed by the high-frequency luminance data creation unit 440. In the present embodiment it has been generating the high-frequency luminance data Y _H at the position of the existing pixels using existing pixels, may generate a high-frequency luminance data Y _H of the virtual pixel from the existing pixels. In this case, the next interpolation processing is performed on the position of the actual pixel.

【００６８】次に高周波輝度データY_Hの補間を行う（サ
ブルーチンSUB6）。この補間処理は、実在画素の高周波
輝度データY_Hを用いて仮想画素の位置での高周波輝度デ
ータY_Hを生成する。この生成は、輝度データ補間処理部
442 で行っている。この位置の高周波輝度データY_Hは相
関性を考慮して生成してもよい。また、高周波輝度デー
タY_HはディジタルフィルタのLPF 機能を用いて生成して
もよい。[0068] Next to interpolate the high-frequency luminance data Y _H (subroutine SUB6). This interpolation process produces a high-frequency luminance data Y _H at the position of the virtual pixel using the high-frequency luminance data Y _H of existing pixels. This generation is performed by the luminance data interpolation processing unit.
442. Frequency luminance data Y _H of this position may be generated in consideration of the correlation. The high frequency luminance data Y _H may be generated using the LPF function of the digital filter.

【００６９】次に色補間展開処理を行う（サブルーチン
SUB7）。単板の色フィルタ26a を用いることにより色フ
ィルタセグメントを介して実在画素に対して一つの色が
割り当てられている。色補間展開処理は、三原色RGB の
うち、各実在画素が割り当てられていない色を補間生成
する。この処理により色補間展開部44b ではプレーンな
三原色RGB の画素データを生成することができる。各サ
ブルーチンSUB5, SUB6, SUB7では１フレーム単位でそれ
ぞれ処理を行っている。これらの処理が終了したならば
リターンを介してメインルーチンに戻る。Next, color interpolation development processing is performed (subroutine).
SUB7). By using a single-plate color filter 26a, one color is assigned to an existing pixel via a color filter segment. The color interpolation development process interpolates and generates a color to which no actual pixel is assigned among the three primary colors RGB. With this processing, the color interpolation developing section 44b can generate pixel data of the three primary colors RGB. In each of the subroutines SUB5, SUB6, SUB7, processing is performed in units of one frame. When these processes are completed, the process returns to the main routine via return.

【００７０】また、縮小補正処理モードでの縮小補正処
理について具体的に手順を説明する（図10を参照）。こ
の手順は図５および図６の模式的に示した画素位置の関
係も参照しながら説明する。縮小補正処理（サブルーチ
ンSUB2）は、縮小した際の代表位置となる対象画素の位
置を設定する（サブステップSS200 ）。対象画素は、正
方格子に並ぶ色G の４つの画素に囲まれた色R または色
B の実在画素（斜線）にする（図５を参照）。本実施例
では、色R の位置R₂₂ を最初の対象画素として設定す
る。The procedure of the reduction correction processing in the reduction correction processing mode will be specifically described (see FIG. 10). This procedure will be described with reference to the relationship between the pixel positions schematically shown in FIGS. In the reduction correction processing (subroutine SUB2), the position of the target pixel which is a representative position when reduced is set (substep SS200). The target pixel is the color R or the color surrounded by four pixels of the color G arranged in a square lattice
The actual pixel (shaded line) of B is set (see FIG. 5). In this embodiment sets the position R ₂₂ colors R as the first target pixel.

【００７１】次に画素位置R₂₂ における色G の画素デー
タG₂₂ の算出を行う（サブステップSS202 ）。画素デー
タG₂₂ は、たとえば周囲の画素データ（G₁₁, G₁₃, G₃₁,
G₃₃）を用いて[0071] Next to calculate the pixel data G ₂₂ color G at the pixel position R ₂₂ (substep SS202). Pixel data G ₂₂ is, for example, around the pixel data _{(G 11, G 13, G} 31,
G ₃₃ )

【００７２】[0072]

【数１】 G₂₂ ＝（G₁₁ ＋G₁₃ ＋G₃₁ ＋G₃₃ ）/4 ・・・(1) の加算平均によって算出する。G ₂₂ = (G ₁₁ + G ₁₃ + G ₃₁ + G ₃₃ ) / 4 Calculated by the averaging of (1).

【００７３】次に対象画素の色がR かどうかの判定を行
う（サブステップSS204 ）。対象画素が色R に対応して
いるとき（YES ）、対象画素における色R の画素データ
をそのまま用いる。また、対象画素が色R でなかったと
き（NO）、対象画素の色を色B と判定し、色B の画素デ
ータをそのまま用いる。いま算出する画素R₂₂ の場合、
判定が真であるから画素データR₂₂ をそのまま縮小補正
で用いる色R の画素データにする。Next, it is determined whether or not the color of the target pixel is R (substep SS204). When the target pixel corresponds to the color R (YES), the pixel data of the color R in the target pixel is used as it is. When the target pixel is not the color R (NO), the color of the target pixel is determined to be color B, and the pixel data of the color B is used as it is. If the pixel R ₂₂ for calculating now,
Determination is the pixel data of the color R for use as is reduction correction pixel data R ₂₂ because it is true.

【００７４】次に対象画素でまだ算出されていない色B
の画素データB₂₂ を算出する（サブステップSS206 ）。
画素データB₂₂ は、図６に示すように、算出される色B
と同色の一点鎖線で囲まれた画素（B₀₂, B₂₀, B₂₄,
B₄₂）を用いてNext, the color B that has not yet been calculated for the target pixel
Calculating the pixel data B ₂₂ (substep SS206).
The pixel data B ₂₂ is, as shown in FIG.
Pixels (B ₀₂ , B ₂₀ , B ₂₄ ,
B ₄₂ )

【００７５】[0075]

【数２】 B₂₂ ＝（B₀₂ ＋B₂₀ ＋B₂₄ ＋B₄₂ ）/4 ・・・(2) の加算平均によって算出する。[Number 2] _{B 22 = (B 02 + B} 20 + B 24 + B 42) / 4 is calculated by averaging the (2).

【００７６】次に１フレーム分の画素データに対する縮
小補正処理が完了したかどうかの判定を行う（サブステ
ップSS208 ）。まだ処理が完了していないとき（NO）、
次の対象画素の設定（サブステップSS210 ）に進む。ま
た、処理が完了したとき（YES ）、リターンに進んでこ
の処理を終了する。この時点でまだ処理が完了していな
いので、サブステップSS210 に進む。Next, it is determined whether or not the reduction correction process for one frame of pixel data has been completed (sub-step SS208). When processing is not yet completed (NO),
Proceed to the setting of the next target pixel (substep SS210). When the processing is completed (YES), the process proceeds to the return and ends this processing. At this point, since the processing has not been completed, the process proceeds to sub-step SS210.

【００７７】新たな対象画素は、水平方向に処理を進め
るとき列を示す表示を+2歩進させる。また、改行するよ
うに垂直方向に処理を移すとき、行を示す表示を+2歩進
させ、かつ列を示す表示を水平方向の処理開始の列表示
に戻す。単に+2歩進させると、新たな対象画素は色B の
画素データB₂₄ になる。この設定の後、サブステップSS
202 に戻って前述した処理を繰り返す。画素データG₂₄
は、たとえば周囲の画素データ（G₁₃, G₁₅, G₃₃, G₃₅）
を用いてThe new target pixel advances the display indicating the column by +2 when the processing is advanced in the horizontal direction. When the processing is shifted in the vertical direction so as to start a new line, the display indicating the row is incremented by +2, and the display indicating the column is returned to the column display indicating the start of processing in the horizontal direction. By simply incrementing by +2, the new target pixel becomes the pixel data B ₂₄ of the color B. After this setting, sub-step SS
Returning to step 202, the above-described processing is repeated. Pixel data G ₂₄
, For example around the pixel data _{(G 13, G 15, G} 33, G 35)
Using

【００７８】[0078]

【数３】 G₂₄ ＝（G₁₃ ＋G₁₅ ＋G₃₃ ＋G₃₅ ）/4 ・・・(3) の加算平均によって算出する。G ₂₄ = (G ₁₃ + G ₁₅ + G ₃₃ + G ₃₅ ) / 4 Calculated by the averaging of (3).

【００７９】対象画素の色が色R かどうか判定し、色R
でないと判定されるから（NO)、対象画素でまだ算出さ
れていない色R の画素データR₂₄ を算出する（サブステ
ップSS212 ）。画素データR₂₄ は、図６に示すように、
算出される色R と同色の実線で囲まれた画素（R₀₄,
R₂₂, R₂₆, R₄₄）を用いてIt is determined whether or not the color of the target pixel is color R.
Not equal because it is determined (NO), calculates the pixel data R ₂₄ colors R not yet calculated in the target pixel (substep SS212). The pixel data R ₂₄ is, as shown in FIG.
Pixels surrounded by solid lines of the same color as the calculated color R (R ₀₄ ,
R ₂₂ , R ₂₆ , R ₄₄ )

【００８０】[0080]

【数４】 R₂₄ ＝（R₀₄ ＋R₂₂ ＋R₂₆ ＋R₄₄ ）/4 ・・・(4) の加算平均によって算出する。R ₂₄ = (R ₀₄ + R ₂₂ + R ₂₆ + R ₄₄ ) / 4 Calculated by the averaging of (4).

【００８１】また、対象画素が新たな行で算出する、た
とえば画素位置B₄₂ のようなとき前述したように改行的
に設定を変更して欠如している各色の算出を行う。結果
を示すと、画素データG₄₂ は、たとえば周囲の画素デー
タ（G₃₁, G₃₃, G₅₁, G₅₃）を用いて[0081] Also, the target pixel is calculated by a new line, for example, performs a line feed to the calculation of each color lacking change the setting as described above such time as the pixel position B _42. When showing a result, pixel data G ₄₂ is, for example, using the surrounding pixel data _{(G 31, G 33, G} 51, G 53)

【００８２】[0082]

【数５】 G₄₂ ＝（G₃₁ ＋G₃₃ ＋G₅₁ ＋G₅₃ ）/4 ・・・(5) の加算平均によって算出する。画素データR₄₂ は、たと
えば周囲の画素データ（R₂₂, R₄₀, R₄₄, R₆₂）を用いてG ₄₂ = (G ₃₁ + G ₃₃ + G ₅₁ + G ₅₃ ) / 4 Calculated by the average of (5). Pixel data R _42, for example by using the surrounding pixel data _{(R 22, R 40, R} 44, R 62)

【００８３】[0083]

【数６】 R₄₂ ＝（R₂₂ ＋R₄₀ ＋R₄₄ ＋R₆₂ ）/4 ・・・(6) の加算平均によって算出する。R ₄₂ = (R ₂₂ + R ₄₀ + R ₄₄ + R ₆₂ ) / 4 Calculated by the averaging of (6).

【００８４】このように各対象画素の算出には周囲の画
素データを一部の画素データを重ね合わせて用いてい
る。この算出の結果、図５の斜線で示した各位置におけ
る三原色RGB の画素データがそれぞれ得られる。これ
は、画素数が減少するが各対象画素で三原色RGB の画素
データが得られることから、ディジタルカメラ10は、単
板方式で縮小した画像データでありながら３板式CCD で
求めた場合に匹敵する情報が得られる。As described above, in calculating each target pixel, the surrounding pixel data is used by overlapping a part of the pixel data. As a result of this calculation, RGB pixel data of the three primary colors at each position indicated by oblique lines in FIG. 5 is obtained. This is because the number of pixels is reduced, but the pixel data of the three primary colors RGB can be obtained at each target pixel. Therefore, the digital camera 10 is comparable to the case where the image data is reduced by the single-chip system but is determined by the three-chip CCD. Information is obtained.

【００８５】対象画素の画素データを求めるために使用
する周囲の領域内に存在する実在画素数N_rは、水平方向
にN_h（列数）、垂直方向にN_v（行数）とし、その行列間
の数をガウス記号[]を用いて表すと、[0085] real number of pixels N _r present around the area to be used to determine the pixel data of the target pixel, N _h (number of columns) in the horizontal direction, and N _v (the number of rows) in the vertical direction, the Expressing the number between the matrices using the Gaussian symbol [],

【００８６】[0086]

【数７】 Nr＝（[N_h/2]＋1)×（[N_v/2]＋1)＋[N_h/2] ×[N_v/2] ・・・(7) と計算される。具体的に値を代入してみると、N_h＝7, N
_v ＝7 の領域62では、中間の行が[N_h/2]＝3, [N_v/2]＝3
であるから、領域62内の実在画素数Nr＝4 ×4 ＋3 ×3
＝16＋9 ＝25個とわかる。また、領域62での仮想画素数
Nvは[Equation 7] Nr = is calculated as _{([N h / 2] +1} ) × ([N v / 2] +1) + [N h / 2] × [N v / 2] ··· (7). When substituting the values, N _h = 7, N
_In the region 62 where _v = 7, the middle row is [N _h / 2] = 3, [N _v / 2] = 3
Therefore, the number Nr of actual pixels in the area 62 is Nr = 4 × 4 + 3 × 3
= 16 + 9 = 25 pieces Also, the number of virtual pixels in the area 62
Nv

【００８７】[0087]

【数８】 Nv＝[N_h/2]×（[N_v/2]＋1)＋（[N_h/2]＋1)×[N_v/2] ・・・(8) となり、仮想画素数Nv＝3 ×4 ＋4 ×3 ＝24（＝25−1
）である。したがって、この領域62での実在および仮
想画素を合わせた総数N は49個の画素位置で画素データ
が生成される。縮小補正処理では、実在および仮想画素
を合わせた25個の領域64から一つの画素を代表させてい
る。また、この縮小補正処理における領域66は前述した
ように画素を重複させながら対象画素を生成している。
これを考慮し、かつ重複した画素数もカウントすること
にして、領域64を水平方向および垂直方向に拡大した
（総数N が49個を含む）領域62では、画素数のカウント
が25+(15+10)+(6+9+4+6)+(9+6+6+4)＝100 個になる。し
たがって、この領域62から得られる縮小補正の画素数は
100/25＝4 個とわかる。この一例として挙げた領域62に
おける重複を考慮した縮小補正処理では4/49＝0.082 と
補間信号処理を行って画素数を増加させる場合に比べて
大幅に画素数を削減させることができることがわかる。[Equation 8] _{Nv = [N h / 2]} × ([N v / 2] +1) + ([N h / 2] +1) × [N v / 2] ··· (8) , and the number of virtual pixels Nv = 3 × 4 +4 × 3 = 24 (= 25-1
). Therefore, pixel data is generated at 49 pixel positions, the total number N of the real and virtual pixels in this area 62 combined. In the reduction correction process, one pixel is represented from 25 regions 64 including the real and virtual pixels. In addition, as described above, the target pixel is generated in the area 66 in the reduction correction processing while overlapping the pixels.
In consideration of this, and by counting the number of overlapping pixels, in the region 62 in which the region 64 is expanded in the horizontal direction and the vertical direction (the total number N includes 49), the pixel count is 25+ (15 +10) + (6 + 9 + 4 + 6) + (9 + 6 + 6 + 4) = 100. Therefore, the number of pixels for reduction correction obtained from this area 62 is
100/25 = 4 It can be seen that the number of pixels can be significantly reduced in the reduction correction processing taking into account the overlap in the region 62 as an example, as compared with the case where the number of pixels is increased by performing the interpolation signal processing as 4/49 = 0.082.

【００８８】本実施例のように、G 正方格子RB完全市松
パターンを縮小補正処理すると、結果として、色R, Bの
位置に三原色RGB の画素データを持たせることができ、
色Gの画素データが正方配置されることから、後段で説
明するように画像の像構造を不変にしていることから画
像サイズを縮小させてもその画像の画質を維持させるこ
とが可能になる。When the G square RB complete checkerboard pattern is reduced and corrected as in the present embodiment, as a result, pixel data of the three primary colors RGB can be provided at the positions of the colors R and B.
Since the pixel data of the color G is arranged in a square, since the image structure of the image is unchanged as described later, the image quality of the image can be maintained even if the image size is reduced.

【００８９】次にこれまで通常の画素数を増加させる補
間信号処理に対応した広帯域化処理について簡単に説明
する（図12を参照）。この補間信号処理に対応した広帯
域化処理の構成は図示していない。広帯域化処理は、輝
度補間展開部44a から供給される高周波輝度データY
_H（446 ）に対してハイパスフィルタ（HPF ）処理を行
う（サブステップSS300 ）。この処理によって得られる
高周波輝度データY_Hの高周波成分Y_hの信号を加算部に出
力する。加算部には色補間展開部44b からのプレーンな
画素データ454, 456, 458 が各加算器の一端側に供給さ
れる。各加算器の他端側には高周波成分Y_hの信号がそれ
ぞれ供給されている。各加算器は、それぞれ供給される
画素データ454, 456, 458 と高周波成分Y_hの信号とを加
算して色差マトリクス部に供給する（サブステップSS30
2 ）。この加算により、各画素データは広帯域まで延び
た信号にしている。Next, a brief description will be given of a wideband processing corresponding to the interpolation signal processing for increasing the number of normal pixels (see FIG. 12). The configuration of the broadband processing corresponding to the interpolation signal processing is not shown. The broadband processing is performed by the high-frequency luminance data Y supplied from the luminance interpolation developing unit 44a.
_A high-pass filter (HPF) process is performed on _H (446) (substep SS300). And it outputs a signal of the high frequency components Y _h of the high-frequency luminance data Y _H obtained by this process to the adding unit. The pixel data 454, 456, and 458 of the plain form from the color interpolation developing unit 44b are supplied to one end of each adder. The other end of each of the adders high frequency component signal Y _h are supplied respectively. Each adder, pixel data 454 to be supplied, 456, 458 and the high-frequency component Y _h supplied signal and a color difference matrix unit by adding the (substep SS30
2). By this addition, each pixel data is converted into a signal extending to a wide band.

【００９０】次に色差マトリクス部では供給されるプレ
ーンな画素データRGB を用いて色差マトリクス処理を行
う（サブステップSS304 ）。色差マトリクス処理に用い
る係数は従来から知られている係数を用いる。供給され
る画素データに対して色差マトリクス処理を施して輝度
データY および色差データC_r, C_bを出力する。Next, in the color difference matrix section, color difference matrix processing is performed using the supplied plane pixel data RGB (substep SS304). A conventionally known coefficient is used as a coefficient used for the color difference matrix processing. Luminance data Y and color difference data C _r by performing color difference matrix processing to the supplied pixel data, and outputs the C _b.

【００９１】次に供給される輝度データY および色差デ
ータC_r, C_bに対して歪み防止処理を施す（サブステップ
SS306 ）。これら得られた画素データには歪み防止処理
として周波数的な重複防止および広帯域まで延びたLPF
処理を施している。重複防止処理では、たとえば周波数
的に垂直および水平方向に重複した領域がある場合、そ
の一方の周波数領域を遮断するバンドパスフィルタ（BP
F ）処理が行われる。重複の有無は補間処理等で、たと
えば、あらかじめ各画素データに付したフラグを参照し
て判断するとよい。[0091] Next luminance data Y and color difference data C _r is supplied, the anti-distortion processing on the C _b applying (sub-step
SS306). These obtained pixel data are processed as distortion prevention processing to prevent frequency duplication and LPF extended to a wide band.
Has been treated. In the duplication prevention processing, for example, if there is a frequency overlapping region in the vertical and horizontal directions, a band-pass filter (BP
F) Processing is performed. The presence or absence of overlap may be determined by interpolation processing or the like, for example, by referring to a flag previously attached to each pixel data.

【００９２】また、LPF 処理は、帯域阻止周波数の特性
が高域まで延びたフィルタ処理を行い、折返し歪みが生
じないようにしている。この他、撮像部26から得られる
アナログの撮像信号に対して適用するサンプリング周波
数を高くしている。このように折返し歪みが生じないよ
うにしていることから光学LPF を薄くまたは最良の場合
この光学LPF の配設を回避することができる。歪み防止
処理の施された輝度データY および色差データC_r, C_bが
出力される。In the LPF processing, a filter processing in which the characteristic of the band rejection frequency extends to a high frequency band is performed so that aliasing distortion does not occur. In addition, the sampling frequency applied to the analog imaging signal obtained from the imaging unit 26 is increased. Since the folding distortion is prevented from occurring, the optical LPF can be made thinner or, in the best case, provided with the optical LPF. The luminance data Y and the chrominance data C _r and C _b that have been subjected to the distortion prevention processing are output.

【００９３】輝度データY には後処理の一つとしてアパ
ーチャ調整が施される（サブステップSS308 ）。アパー
チャ調整は輪郭強調処理に相当する処理である。そし
て、歪み防止処理を受けた色差データC_r, C_bに対して所
定のレベルになるようにゲイン調整を施す（サブステッ
プSS310 ）。このように処理して１フレーム分の処理が
終了したかどうか判定を行う（サブステップSS312 ）。
１フレーム分の処理が終了していない場合（NO）、最初
（サブステップSS300 ）に戻って一連の処理を繰り返
す。また、１フレーム分の処理が終了している場合（YE
S ）、リターンに進んでこのサブルーチンSUB3を終了
し、リターンを介してメインルーチンに移行する。Aperture adjustment is performed on the luminance data Y as one of post-processing (sub-step SS308). The aperture adjustment is a process corresponding to the outline enhancement process. Then, gain adjustment is performed on the color difference data C _r and C _b that have been subjected to the distortion prevention processing so as to be at a predetermined level (sub-step SS310). With this processing, it is determined whether the processing for one frame is completed (substep SS312).
If the processing for one frame has not been completed (NO), the process returns to the beginning (sub-step SS300) and repeats a series of processing. If the processing for one frame has been completed (YE
S), the program proceeds to the return, ends this subroutine SUB3, and shifts to the main routine via the return.

【００９４】なお、前述した手順を実現させる構成は図
７に示すように広帯域化処理部30cと異なるが、広帯域
化処理部30c と同じ構成にしてもよい。共通化すること
により構成の簡素化を図ることができる。Although the configuration for realizing the above-described procedure is different from that of the broadband processing unit 30c as shown in FIG. 7, the configuration may be the same as that of the broadband processing unit 30c. The configuration can be simplified by the common use.

【００９５】次に縮小補正処理モードで得られた画素デ
ータに対する広帯域化処理の手順を説明する（図13を参
照）。この広帯域化処理も最初に縮小補正部46から供給
される高周波輝度データY_H（460 ）に対してハイパスフ
ィルタ（HPF ）処理を行う（サブステップSS400 ）。こ
の処理によって得られる高周波輝度データY_Hの高周波成
分Y_h（＝G_h）の信号48a を加算部52に出力する。Next, the procedure of the band broadening process for the pixel data obtained in the reduction correction processing mode will be described (see FIG. 13). Also in this broadband processing, first, a high-pass filter (HPF) process is performed on the high-frequency luminance data Y _H (460) supplied from the reduction correction unit 46 (substep SS400). And outputs the high frequency component Y _h (= G _h) of the signal 48a of the high-frequency luminance data Y _H obtained by this process to the adder 52.

【００９６】次に縮小補正部46から縮小処理の施された
画素データ462, 464, 466 が色差マトリクス部50に供給
される。色差マトリクス部50では、それぞれ、原色G,
R, Bの画素データ464, 462, 466 を用いて輝度データY
および色差データC_r, C_bを生成する（サブステップSS40
2 ）。色差マトリクス処理に用いる係数は前述したと同
様に従来から知られている係数を用いる。生成した輝度
データY を加算器52の一端52a の側に供給する。また、
生成した色差データC_r, C_bを歪み防止処理部54に出力す
る。Next, the pixel data 462, 464, and 466 subjected to the reduction processing are supplied from the reduction correction section 46 to the color difference matrix section 50. In the color difference matrix section 50, the primary colors G,
Luminance data Y using R, B pixel data 464, 462, 466
And color difference data C _r, to generate the C _b (substep SS40
2). As a coefficient used for the color difference matrix processing, a conventionally known coefficient is used as described above. The generated luminance data Y is supplied to one end 52a of the adder 52. Also,
The resulting color difference data C _r, and outputs the C _b to anti-distortion processing unit 54.

【００９７】加算器52では、輝度データY が一端52a 側
から供給され、一方、高周波成分Y_hの信号48a が他端52
b 側から供給される。このとき、加算器52は、輝度デー
タYと高周波成分Y_hの信号48a とを加算して輝度データY
を高周波域にまで延びた信号にする（サブステップSS4
04 ）。加算器52は輝度データY (52a）を歪み防止処理
部54に出力する。[0097] Adder At 52, the luminance data Y is supplied from one end 52a side, whereas, the high frequency component Y _h of the signal 48a is the other end 52
Supplied from b side. In this case, the adder 52, the luminance data Y by adding the signal 48a of the luminance data Y and the high-frequency component Y _h
To the signal extended to the high frequency range (substep SS4
04). The adder 52 outputs the luminance data Y (52a) to the distortion prevention processing unit 54.

【００９８】歪み防止処理部54では、供給される輝度デ
ータY および色差データC_r, C_bに対して高周波帯域まで
帯域阻止特性の延びたLPF 処理を施す（サブステップSS
406）。また、垂直および水平方向に対する相関性を考
慮した画素データの生成を行っている場合、前述した補
間信号処理と同様に周波数的な重複の有無に応じた処理
を行ってもよい。LPF 処理を施すことにより歪み防止処
理では折返し歪みの発生が防止される。これにより、画
素ピッチが狭くするとき光学LPF を薄くでき、最良の場
合、本実施例のように光学LPF の配設を回避することが
できる。[0098] In the anti-distortion processing unit 54, luminance data Y and color difference data C _r is supplied, the LPF process extending bandstop characteristic for C _b to a high frequency band subjected (substep SS
406). Further, when pixel data is generated in consideration of the correlation in the vertical and horizontal directions, processing according to the presence or absence of frequency overlap may be performed as in the above-described interpolation signal processing. By performing the LPF processing, the occurrence of aliasing distortion is prevented in the distortion prevention processing. This makes it possible to make the optical LPF thinner when the pixel pitch is reduced, and in the best case, it is possible to avoid disposing the optical LPF as in this embodiment.

【００９９】ディジタルカメラ10をこのように構成する
ことにより、縮小補正させても正方格子状に画素が供給
される像構造であり、さらに各画素が色G の画素データ
を有していることから、この補正を施しても従来の間引
き表示に比べて得られる画像の画質劣化をもたらすこと
なく、単板でありながら３板方式に匹敵する画像を提供
することができる。また、カメラ10は、撮像部の構成が
簡素化できる点で優れている。By configuring the digital camera 10 in this manner, an image structure is provided in which pixels are supplied in a square lattice even when reduction correction is performed, and since each pixel has pixel data of the color G, Even if this correction is performed, it is possible to provide an image comparable to that of the three-panel system even though it is a single-panel, without deteriorating the image quality of the image obtained as compared with the conventional thinned display. Further, the camera 10 is excellent in that the configuration of the imaging unit can be simplified.

【０１００】次に本発明を適用した他の実施例について
説明する。本実施例は、縮小補正部46で行う縮小補正処
理の方法（サブルーチンSUB8）が先の実施例と異なって
いる。本実施例の縮小補正処理の原理を以下に説明す
る。この縮小補正処理は、先の方法のような縮小する領
域を重複させることなく、実在画素が十字に配される４
つの画素データを用いて新たな画素データを生成するこ
とに特徴がある。ここで、新たに生成する画素の位置
は、ハニカム型の画素ずらしにより空いている空間を仮
想画素の位置に生成してこの位置を対象画素とする。画
素データは、この対象画素の位置に対して三原色RGB の
画素データが生成される。Next, another embodiment to which the present invention is applied will be described. This embodiment is different from the previous embodiment in the method (subroutine SUB8) of the reduction correction process performed by the reduction correction unit 46. The principle of the reduction correction processing of the present embodiment will be described below. In this reduction correction processing, actual pixels are arranged in a cross without overlapping areas to be reduced as in the previous method.
It is characterized in that new pixel data is generated using one pixel data. Here, as for the position of a pixel to be newly generated, an empty space is generated at a position of a virtual pixel by a honeycomb type pixel shift, and this position is set as a target pixel. As pixel data, pixel data of three primary colors RGB is generated for the position of the target pixel.

【０１０１】画素のブロック化は、図14に示すように、
２通り考えられる。すなわち、縦方向に色R, Rがあり横
方向に色G が配されるブロック化（図14(a) ）と、縦方
向に色G があり横方向に色R, Bが配されるブロック化
（図14(b) ）とがある。後者のブロック化を採用した際
のブロックおよび各ブロックが生成する色の関係を図15
に示す。各ブロックの領域は一点鎖線で示す。各ブロッ
クで生成される色はブロック内に配される仮想画素に三
原色RGB のいずれか一色が示されている。本実施例では
この一連の原理に従って動作させる。As shown in FIG. 14, pixel blocking is performed as follows.
There are two possibilities. That is, a block in which the colors R and R are arranged in the vertical direction and the color G is arranged in the horizontal direction (FIG. 14A), and a block in which the color G is arranged in the vertical direction and the colors R and B are arranged in the horizontal direction. (Fig. 14 (b)). Fig. 15 shows the relationship between blocks and the colors generated by each block when the latter blocking is adopted.
Shown in The area of each block is indicated by a dashed line. As for the color generated in each block, any one of the three primary colors RGB is shown in a virtual pixel arranged in the block. In this embodiment, the operation is performed according to this series of principles.

【０１０２】この動作手順は、最初に供給される実在画
素からそれぞれ得られた画素データをブロック化する
（サブステップSS800 ：図15を参照)。ブロック化は４
つの画素データずつ重複しないように行う。本実施例で
は図14や図15が示すようにブロック化した領域の中央に
位置する仮想画素を生成する対象画素とする。この他、
常にブロック内の同じ位置の実在画素を対象画素に定義
してもよい。このようにブロック化することにより、各
ブロックも画素ずらしの配置が維持されてブロック化さ
れることがわかる。In this operation procedure, the pixel data obtained from the actual pixels supplied first are divided into blocks (sub-step SS800: see FIG. 15). Blocking is 4
This is performed so that one pixel data does not overlap each other. In the present embodiment, as shown in FIGS. 14 and 15, a virtual pixel located at the center of the block area is set as a target pixel to be generated. In addition,
A real pixel at the same position in a block may always be defined as a target pixel. It can be seen that, by performing the blocking in this way, each block is also blocked while maintaining the pixel shift arrangement.

【０１０３】次にブロック化した対象画素に割り付ける
色の指定を行う（サブステップSS802 ）。ブロックの正
方格子状に配置した４ブロックには色G を指定し、４ブ
ロックの中央に位置するブロックには色R または色B が
指定される。色R と色B の指定は、対角位置のブロック
では同色の画素データを生成するように指定する。これ
はG 正方格子RB完全市松パターンと同じ定義である。Next, a color to be assigned to the block target pixel is specified (sub-step SS802). The color G is designated for the four blocks arranged in the square lattice of the blocks, and the color R or B is designated for the block located at the center of the four blocks. The specification of the color R and the color B is such that pixel data of the same color is generated in the block at the diagonal position. This is the same definition as the G square lattice RB perfect checkerboard pattern.

【０１０４】指定色に対応しないブロック内の画素デー
タに対してこの位置における指定色の画素データを生成
する（サブステップSS804 ）。このサブステップでの処
理は、たとえば、ブロック（G₁₁, B₂₀, R₂₂, G₃₁ )の指
定色が色G のとき、画素B₂₀および画素R₂₂には色G の画
素データがないから、周囲の画素データを用いて本来存
在しない画素データG₂₀および画素データG₂₂の２つを補
間処理によって生成する。具体的に説明しないが補間処
理は、たとえば色補間展開処理を用いるとよい。色G 指
定の場合残りの色R, Bの２画素を生成する。色R 指定の
場合残る色G,Bの３画素を生成する。色B 指定の場合残
る色G, Rの３画素を生成する。The pixel data of the designated color at this position is generated for the pixel data in the block which does not correspond to the designated color (sub-step SS804). Processing in this sub-step, for example, when the designated color block _{(G 11, B 20, R} 22, G 31) is the color G, since there is no pixel data of the color G is the pixel B ₂₀ and the pixel R ₂₂ , generated by two interpolation of pixel data G ₂₀ and the pixel data G ₂₂ it does not originally exist with the surrounding pixel data. Although not specifically described, the interpolation processing may use, for example, color interpolation development processing. When the color G is specified, two pixels of the remaining colors R and B are generated. When the color R is specified, three pixels of the remaining colors G and B are generated. When the color B is specified, three pixels of the remaining colors G and R are generated.

【０１０５】次に指定色の画素データの生成を行う（サ
ブステップSS806 ）。前述した色Gの場合、G₁₁, G₂₀, G
₂₂, G₃₁ を用いて、仮想画素G₂₁ にNext, pixel data of the designated color is generated (substep SS806). G ₁₁ , G ₂₀ , G
₂₂ , and G ₃₁ to the virtual pixel G ₂₁

【０１０６】[0106]

【数９】 G₂₁ ＝（G₁₁ ＋G₂₀ ＋G₂₂ ＋G₃₁ ）/4 ・・・(9) を生成する。このように４つの画素データの加算平均処
理によって４画素データを１つの画素データにまとめ
る。G ₂₁ = (G ₁₁ + G ₂₀ + G ₂₂ + G ₃₁ ) / 4 (9) is generated. In this way, the four pixel data is combined into one pixel data by the averaging process of the four pixel data.

【０１０７】供給された画像データの縮小補正処理が１
フレーム分に対して終了したかどうかの判定を行う（サ
ブステップSS808 ）。まだ完了していないとき（NO)、
次のブロックの選択に進む。また、１フレーム分すべて
に対して処理が終了したとき（YES ）、終了したとみな
してリターンに移行する。リターンからメインルーチン
に戻る。The reduction correction processing of the supplied image data is 1
It is determined whether the process has been completed for the frame (substep SS808). When not completed (NO),
Proceed to the next block selection. When the processing has been completed for all the frames (YES), it is determined that the processing has been completed, and the process returns to the return. Return to the main routine.

【０１０８】次のブロックの選択処理（サブステップSS
810 ）では、あらかじめブロック化した隣接するブロッ
クを指定する。図15の仮想画素の色で選択方向を説明す
ると、色G, G, G,・・・ と水平方向に選択し、次に垂直方
向に半ブロックずらした位置から水平方向に色R, B, R,
・・・ と選択し、また垂直方向に半ブロックずらすといっ
た選択を行わせる。このブロックの選択後、生成する色
の指定に戻る（サブステップSS802 )。Next block selection processing (substep SS)
In 810), an adjacent block which has been divided into blocks in advance is designated. Explaining the selection direction with the colors of the virtual pixels in FIG. 15, the colors G, G, G,... Are horizontally selected, and then the colors R, B,. R,
.., And a selection of shifting by half a block in the vertical direction is performed. After selecting this block, the process returns to the specification of the color to be generated (substep SS802).

【０１０９】このように縮小補正処理を行うことによっ
て、画像サイズを縮小化しても本来のG 正方格子RB完全
市松パターンが維持された画像が得られる。By performing the reduction correction processing in this manner, an image in which the original G square lattice RB perfect checkerboard pattern is maintained even when the image size is reduced is obtained.

【０１１０】なお、この画像処理方法は、本実施例に限
定されるものでなく、ブロックで用いる周辺画素の数
を、９画素、16画素、および２のN 乗の画素加算の方法
でも縮小補正処理を施すことができることは言うまでも
ない。ただし、N は整数である。Note that this image processing method is not limited to the present embodiment, and the number of peripheral pixels used in a block is reduced and corrected by a method of adding 9 pixels, 16 pixels, and 2 to the Nth power of pixels. Needless to say, processing can be performed. Here, N is an integer.

【０１１１】この画像が得られる関係について簡単に説
明する（図17(a) を参照）。空間周波数（h, v）で表す
と、G 正方格子RB完全市松パターンの色G が正方格子に
配置されていることから空間周波数分布は正方形にな
る。色R, Bは対角位置にそれぞれ配されていることか
ら、空間周波数軸h, vの色G が切る切断点を頂点とする
四辺形（正方形）になっている。The relationship in which this image is obtained will be briefly described (see FIG. 17A). When represented by the spatial frequency (h, v), the spatial frequency distribution becomes a square because the color G of the G square lattice RB perfect checkered pattern is arranged in the square lattice. Since the colors R and B are arranged at diagonal positions, a quadrilateral (square) having a vertex at a cutting point cut by the color G on the spatial frequency axes h and v is formed.

【０１１２】ところで、縮小補正処理を行った場合、縮
小用に新たに対象画素位置とされた空間の配置は図５か
ら明らかなように前述したパターンの色G の場合とまっ
たく同じ関係にある。また、他の実施例の場合は縮小補
正処理して新たにG 正方RB完全市松パターンを生成して
いることから、空間周波数の構造が損なわれることな
く、生成されていることがわかる（図17(a) の破線）。
結果的にこの縮小補正処理が３板方式で得られる正方格
子と同じ配置で得られるから、実際に得られる画像は３
板方式に匹敵するものになる。By the way, when the reduction correction processing is performed, the arrangement of the space newly set as the target pixel position for the reduction has exactly the same relationship as the case of the above-described pattern color G, as is apparent from FIG. Further, in the case of the other embodiments, since the G square RB complete checkerboard pattern is newly generated by performing the reduction correction processing, it can be seen that the spatial frequency structure is generated without being damaged (FIG. 17). (dashed line in (a)).
As a result, since this reduction correction processing is obtained in the same arrangement as the square grid obtained by the three-plate method, the image actually obtained is 3
It becomes comparable to the plate method.

【０１１３】また、この縮小補正処理にともなって生成
する画素データは、画素数の増加に対応するように高周
波輝度データG_Hの作成時にLPF 処理による補間を施して
補間しなくて済む。そして、縮小処理には単に加算平均
するだけでよい。これは、縮小補正処理にLPF 処理によ
る補間で生じる偽信号の発生がないことを意味してい
る。Further, the pixel data generated by the reduction correction process does not need to be interpolated by performing the LPF process when creating the high-frequency luminance data _GH so as to correspond to the increase in the number of pixels. Then, in the reduction processing, it is sufficient to simply perform the averaging. This means that no false signal is generated in the reduction correction processing due to interpolation by LPF processing.

【０１１４】比較例としてベイヤパターンの場合の空間
周波数分布を検討してみる。この場合、画素ずらしなく
G ストライプRB完全市松パターンを45°回転した位置と
同じ関係にある。このことから、ベイヤパターンの色G
はG 正方格子RB完全市松パターンの色G の正方形に比べ
て45°回転した四辺形になり、色R, Bはこの四辺形の各
辺を切って形成される正方形である。したがって、色R,
Bの空間周波数分布は四辺形の内部になる。このベイヤ
パターンに対して本実施例で行った縮小補正処理を施し
た場合、生成される色G の位置関係を考慮して空間周波
数分布を求めると、色R, または色Bの空間周波数分布と
同じであることがわかる。As a comparative example, the spatial frequency distribution in the case of the Bayer pattern will be examined. In this case, without shifting the pixels
It has the same relationship as the position where the G stripe RB perfect checkered pattern is rotated by 45 °. From this, the color G of the Bayer pattern
Is a quadrilateral rotated 45 ° compared to the square of the color G of the G square lattice RB perfect checkered pattern, and the colors R and B are squares formed by cutting each side of this quadrilateral. Therefore, the color R,
The spatial frequency distribution of B is inside the quadrilateral. When the Bayer pattern is subjected to the reduction correction processing performed in the present embodiment, when the spatial frequency distribution is calculated in consideration of the positional relationship of the generated color G, the spatial frequency distribution of the color R or the color B is obtained. It turns out that they are the same.

【０１１５】これは本実施例が示したようにG 正方格子
RB完全市松パターンの画素データを用いて縮小補正処理
を施すことにより、画像サイズを縮小させても得られた
画像はベイヤパターンより高い空間周波数特性を維持で
きることを示している。This is, as shown in this embodiment, a G square lattice
It is shown that by performing the reduction correction process using the pixel data of the RB complete checkerboard pattern, the obtained image can maintain higher spatial frequency characteristics than the Bayer pattern even when the image size is reduced.

【０１１６】また、色G の信号の周波数分布に対する応
答特性を図18に示す。図18(a) および(b) の周波数−応
答特性は斜め方向ならびに垂直および水平方向の特性を
それぞれ示している。この特性から明らかなように、垂
直および水平方向の応答特性が斜め方向よりも優れてい
ることがわかる。このように本発明は、たとえば1000万
画素以上の撮像素子を用いてYC処理を行うような画像処
理において有効な処理である。FIG. 18 shows the response characteristics of the color G signal to the frequency distribution. The frequency-response characteristics in FIGS. 18 (a) and 18 (b) show the characteristics in the oblique direction and the vertical and horizontal directions, respectively. As is apparent from this characteristic, the response characteristics in the vertical and horizontal directions are superior to those in the oblique direction. As described above, the present invention is effective processing in image processing in which YC processing is performed using, for example, an image sensor having 10 million pixels or more.

【０１１７】なお、前述した実施例は、供給される画像
データがG 正方格子RB完全市松パターンで供給された場
合について説明したが、これらの実施例に限定されるも
のでなく、G 正方光子RB市松パターンでも補色系でもよ
い。G 正方光子RB市松パターンの場合、対象画素の周囲
の画素データは色R, Bが混合して得られる。求める色と
異なる色の画素データに対しては、この位置における求
める色と同色の画素データをこの画素データの周囲の画
素データから補間生成することで対応することができ
る。In the above-described embodiment, the case where the supplied image data is supplied in the G square lattice RB complete checkerboard pattern has been described. However, the present invention is not limited to these embodiments, and the G square photon RB A checkered pattern or a complementary color system may be used. In the case of the G square photon RB checkerboard pattern, pixel data around the target pixel is obtained by mixing colors R and B. Pixel data of a color different from the color to be obtained can be handled by interpolating and generating pixel data of the same color as the color to be obtained at this position from pixel data around the pixel data.

【０１１８】以上のように構成することにより、縮小補
正部で対象画素を実在画素または仮想画素にして所望の
色の画素データを生成して対象画素の画素データを周囲
の画素データの代表値として用い、全体的に用いる各色
の画素数を減少させながらも構造的な画像を構成する緑
色の画素を正方格子状に配置して縮小画素を求め、さら
に広帯域化部では縮小補正部で得られた画素データに広
帯域化の処理が施されることにより、単なる画素間引き
して画像サイズを縮小した場合に比べてより一層の高画
質化および偽信号の抑圧を画像に施すことができ、光学
LPF の利用をなくす構成の簡素化も図ることができる。With the above-described configuration, the reduction correction unit sets the target pixel as a real pixel or a virtual pixel to generate pixel data of a desired color, and uses the pixel data of the target pixel as a representative value of surrounding pixel data. Using, while reducing the number of pixels of each color used as a whole, the green pixels constituting the structural image were arranged in a square lattice to obtain reduced pixels, and further obtained in the reduction correction unit in the broadband unit. By subjecting the pixel data to a process of broadening the bandwidth, it is possible to further enhance the image quality and suppress false signals to the image as compared with a case where the image size is reduced by simply thinning out the pixels, and the optical
The configuration that eliminates the use of LPF can be simplified.

【０１１９】[0119]

【発明の効果】このように本発明の画像処理装置によれ
ば、縮小演算処理手段で対象画素を実在画素または仮想
画素にして所望の色の画素データを生成して対象画素の
画素データを周囲の画素データの代表値として用い、全
体的に用いる各色の画素数を減少させながらも構造的な
画像を構成する緑色の画素配置を考慮して求め、さらに
広帯域化手段では縮小演算処理手段で得られた画素デー
タに広帯域化の処理が施されることにより、単なる画素
間引きして画像サイズを縮小した場合に比べてより一層
の高画質化および偽信号の抑圧を画像に施すことができ
る。As described above, according to the image processing apparatus of the present invention, the pixel data of a desired color is generated by setting the target pixel as a real pixel or a virtual pixel by the reduction arithmetic processing means, and the pixel data of the target pixel is surrounded. It is used as a representative value of the pixel data, and is determined in consideration of the arrangement of green pixels constituting a structural image while reducing the number of pixels of each color used as a whole. By performing the process of increasing the bandwidth on the pixel data obtained, it is possible to further improve the image quality and suppress the false signal to the image as compared with the case where the image size is reduced by simply thinning out the pixels.

【０１２０】また、本発明の画像処理方法によれば、正
方格子状の配置を有する画素に輝度データに関わる色を
担わせた画素データを含む画像データを用いて、対象画
素を実在画素または仮想画素にしてこの対象画素を囲む
周囲の画素データから複数の所望の色の画素データを生
成し、生成した所望の色の画素データに対して周波数的
に広帯域化の処理を施し、対象画素の画素データを周囲
の画素データの代表値とし、全体的に用いる各色の画素
数を減少させながらも画像を構成する際に緑色の画素配
置を考慮して得ることで構造的な画像の高解像度化およ
び偽信号の抑圧を図り、さらに広帯域化手段で得られた
画素データに広帯域化の処理が施されることから画像を
一層高画質化させることができる。Further, according to the image processing method of the present invention, a target pixel is set to a real pixel or a virtual pixel by using image data including pixel data in which pixels having a square lattice arrangement are assigned colors related to luminance data. A plurality of pixel data of a desired color is generated from surrounding pixel data surrounding the target pixel as a pixel, and the generated pixel data of the desired color is subjected to a frequency band broadening process. The data is used as the representative value of the surrounding pixel data, and by taking into account the green pixel arrangement when constructing the image while reducing the number of pixels of each color used as a whole, it is possible to increase the resolution of the structural image and Since the false signal is suppressed and the pixel data obtained by the band widening unit is subjected to the band widening process, the image quality can be further improved.

【図面の簡単な説明】[Brief description of the drawings]

【図１】本発明に係る画像処理装置を適用したディジタ
ルカメラの概略的なブロック図である。FIG. 1 is a schematic block diagram of a digital camera to which an image processing device according to the present invention is applied.

【図２】図１のディジタルカメラにて用いた撮像部を入
射光側から見た模式図である。FIG. 2 is a schematic view of an imaging unit used in the digital camera of FIG. 1 as viewed from an incident light side.

【図３】図１のディジタルカメラの通常補正部の概略的
な構成を示すブロック図である。FIG. 3 is a block diagram illustrating a schematic configuration of a normal correction unit of the digital camera in FIG. 1;

【図４】図１のディジタルカメラの縮小補正部の概略的
な構成を示すブロック図である。FIG. 4 is a block diagram illustrating a schematic configuration of a reduction correction unit of the digital camera in FIG. 1;

【図５】図４の縮小補正部での縮小補正処理における色
G の対象画素および処理に用いる画素の位置関係を説明
する模式図である。FIG. 5 is a diagram illustrating a color used in a reduction correction process performed by a reduction correction unit illustrated in FIG. 4;
FIG. 4 is a schematic diagram illustrating a positional relationship between a target pixel of G and a pixel used for processing.

【図６】図４の縮小補正部での縮小補正処理における色
R および色B の対象画素および処理に用いる画素の位置
関係を説明する模式図である。6 is a diagram illustrating a color used in a reduction correction process performed by the reduction correction unit illustrated in FIG. 4;
FIG. 4 is a schematic diagram illustrating a positional relationship between target pixels of R and B and pixels used for processing.

【図７】図１のディジタルカメラの縮小補正処理モード
対応における広帯域化処理部の概略的な構成を示すブロ
ック図である。FIG. 7 is a block diagram showing a schematic configuration of a broadband processing unit in the digital camera of FIG. 1 corresponding to a reduction correction processing mode.

【図８】図１のディジタルカメラの動作を説明するメイ
ンフローチャートである。FIG. 8 is a main flowchart for explaining the operation of the digital camera in FIG. 1;

【図９】図８に示した通常の補間信号処理（サブルーチ
ンSUB1）の手順を説明するフローチャートである。FIG. 9 is a flowchart illustrating a procedure of a normal interpolation signal process (subroutine SUB1) shown in FIG. 8;

【図１０】図８に示した縮小補正処理モードにおける縮
小補正処理の手順（サブルーチンSUB2）を説明するフロ
ーチャートである。FIG. 10 is a flowchart illustrating a procedure (subroutine SUB2) of a reduction correction process in the reduction correction processing mode illustrated in FIG. 8;

【図１１】図10に示した縮小補正処理における処理領域
の範囲を説明する模式図である。11 is a schematic diagram illustrating a range of a processing area in the reduction correction processing illustrated in FIG.

【図１２】図９に示した通常の補間信号処理の手順によ
り生成された画素データに対して施す広帯域化処理の手
順（サブルーチンSUB3）を説明するフローチャートであ
る。12 is a flowchart illustrating a procedure (subroutine SUB3) of a broadband process performed on pixel data generated by the normal interpolation signal processing procedure illustrated in FIG. 9;

【図１３】図10に示した縮小補正処理の手順により生成
された画素データに対して施す広帯域化処理の手順（サ
ブルーチンSUB4）を説明するフローチャートである。13 is a flowchart illustrating a procedure (subroutine SUB4) of a broadband process performed on pixel data generated by the procedure of the reduction correction process illustrated in FIG.

【図１４】本発明の画像処理方法におけるブロック化の
仕方を説明する模式図である。FIG. 14 is a schematic diagram illustrating a method of blocking in the image processing method of the present invention.

【図１５】図15に示したブロック化の一つを用いてブロ
ック化する際の画素および位置の関係を説明する模式図
である。FIG. 15 is a schematic diagram illustrating a relationship between pixels and positions when a block is formed by using one of the blocks illustrated in FIG. 15;

【図１６】図15の関係から得られる画素データに対して
施す縮小補正処理の手順（サブルーチンSUB8）を説明す
るフローチャートである。FIG. 16 is a flowchart illustrating a procedure (subroutine SUB8) of a reduction correction process performed on pixel data obtained from the relationship in FIG.

【図１７】図５に示したG 正方格子RB完全市松パターン
とベイヤパターンとに関し、縮小補正処理を施した際の
空間周波数分布を示すグラフである。17 is a graph showing a spatial frequency distribution when a reduction correction process is performed on the G square lattice RB perfect checkerboard pattern and the Bayer pattern shown in FIG. 5;

【図１８】図17のG 正方格子RB完全市松パターンにおけ
る斜め、垂直および水平方向のローパスフィルタの周波
数応答を示すチャートである。18 is a chart showing the frequency response of the low-pass filter in the diagonal, vertical, and horizontal directions in the G square lattice RB perfect checkerboard pattern of FIG. 17;

【符号の説明】[Explanation of symbols]

10 ディジタルカメラ 12 光学レンズ系 14 操作部 16 システムバス 18 システム制御部 26 撮像部 30 信号処理部 30a データ補正部 30b 補間処理部 30c 広帯域化処理部 32 圧縮／伸長処理部 38 プリンタ 40 I/F 部 44 通常補正部 46 縮小補正部 10 Digital camera 12 Optical lens system 14 Operation unit 16 System bus 18 System control unit 26 Imaging unit 30 Signal processing unit 30a Data correction unit 30b Interpolation processing unit 30c Broadband processing unit 32 Compression / decompression processing unit 38 Printer 40 I / F unit 44 Normal correction unit 46 Reduction correction unit

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 9/07 Ｈ０４Ｎ 101:00 ５Ｃ０７９ 9/64 1/40 Ｄ // Ｈ０４Ｎ 101:00 1/46 Ｚ Ｆターム(参考） 5B057 BA02 BA12 CA01 CA08 CA12 CB01 CB08 CB12 CB16 CC02 CD06 CE03 CE06 CE16 CH09 5C065 AA03 BB10 BB12 CC01 CC02 CC03 CC08 CC09 DD02 DD17 EE06 GG02 GG15 GG21 HH02 5C066 AA01 AA05 CA06 CA17 EA14 EC02 EC05 GA01 GA02 GA05 GA31 KC02 KE02 KE05 KE07 KM05 5C076 AA22 AA26 BA01 BA06 BB07 BB40 5C077 LL19 MP08 PP20 PP32 PP34 RR19 RR21 5C079 HB01 HB04 JA12 LA02 LA10 LA14 LA26 LA28 LA37 MA11 MA17 NA02 NA04 PA03 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. ⁷ Identification symbol FI Theme coat ゛ (Reference) H04N 9/07 H04N 101: 00 5C079 9/64 1/40 D // H04N 101: 00 1/46 ZF Term (Reference) 5B057 BA02 BA12 CA01 CA08 CA12 CB01 CB08 CB12 CB16 CC02 CD06 CE03 CE06 CE16 CH09 5C065 AA03 BB10 BB12 CC01 CC02 CC03 CC08 CC09 DD02 DD17 EE06 GG02 GG15 GG21 HH02 5C066 AA01 GA02 EC02 KE05 KE07 KM05 5C076 AA22 AA26 BA01 BA06 BB07 BB40 5C077 LL19 MP08 PP20 PP32 PP34 RR19 RR21 5C079 HB01 HB04 JA12 LA02 LA10 LA14 LA26 LA28 LA37 MA11 MA17 NA02 NA04 PA03

Claims (10)

【特許請求の範囲】[Claims] 【請求項１】 色分解された入射光を光電変換する複数
の撮像素子が隣接する撮像素子の幾何学的な中心に対し
て行および／または列方向に半ピッチずらして得られた
各色の画素データを用いて、高画質な画像をもたらす画
像データを生成する画像処理装置において、該装置は、 前記画素データの色が、２次元的に正方格子状に得られ
る画素データを前記画像データに含まれる輝度データの
生成に関わる色、該輝度データの生成に関わる色を挟む
一方の対角位置の画素データを前記輝度データの生成に
関わる色と異なる一方の色として同色または異色、なら
びに該輝度データの生成に関わる色を挟む他方の対角位
置の画素データを前記輝度データの生成に関わる色およ
び前記一方の色と異なる他方の色として同色または異色
で供給される画素データを入力して、該供給される画素
データを実在する実在画素からのデータとし、該実在画
素で囲まれた領域の中央を幾何学的な中心とする仮想画
素とし、 供給される画素データのうち、縮小表示に用いる対象画
素を前記実在画素または前記仮想画素にして該対象画素
を囲む周囲の画素データから所望の色の画素データを生
成する縮小演算処理手段と、 該対象画素として得られた画素データを周波数的に広帯
域化する広帯域化手段とを含むことを特徴とする画像処
理装置。1. A pixel of each color obtained by displacing a plurality of image sensors that photoelectrically convert color-separated incident light in a row and / or column direction by a half pitch with respect to a geometric center of an adjacent image sensor. In an image processing apparatus that generates image data that provides a high-quality image by using data, the apparatus includes, in the image data, pixel data in which the color of the pixel data is obtained in a two-dimensional square lattice shape. The same color or different color as one color different from the color related to the generation of the brightness data, the pixel data at one diagonal position sandwiching the color related to the generation of the brightness data as one color different from the color related to the generation of the brightness data, and the brightness data Pixels that are supplied in the same or different colors as pixel data at the other diagonal position sandwiching the color related to the generation of the color as the color related to the generation of the luminance data and the other color different from the one color The supplied pixel data is used as the data from the existing real pixels, and the virtual pixel having the center of the area surrounded by the real pixels as the geometric center. A reduction operation processing unit that sets a target pixel used for reduced display to the real pixel or the virtual pixel and generates pixel data of a desired color from surrounding pixel data surrounding the target pixel; An image processing apparatus, comprising: a band-widening unit for broadening the frequency of the pixel data. 【請求項２】 請求項１に記載の装置において、前記縮
小演算処理手段は、前記対象画素を前記輝度データの生
成に関わる色で囲むそれぞれの領域の中心に位置する実
在画素にして、該対象画素が本来持つ色および前記輝度
データの生成に関わる色と異色の画素データを算出する
第１算出手段を含むことを特徴とする画像処理装置。2. The apparatus according to claim 1, wherein the reduction operation processing means converts the target pixel to a real pixel located at the center of each area surrounded by a color related to the generation of the luminance data, and An image processing apparatus, comprising: a first calculation unit that calculates pixel data of a color different from a color inherent in a pixel and a color related to generation of the luminance data. 【請求項３】 請求項２に記載の装置において、第１算
出手段は、前記輝度データの生成に関わる色の実在画素
で囲まれた前記一方の色または前記他方の色の前記対象
画素の位置に、該輝度データの生成に関わる色の実在画
素から得られる画素データを用いて加算平均処理を行う
第１の平均化手段と、 前記一方の色および前記他方の色のいずれかの色を前記
対象画素の画素データとしてそのまま用い、前記縮小用
画素に用いる３色のうち、前記対象画素を囲む画素デー
タを残る色の画素データと同色の画素データにして加算
平均処理を行う第２の平均化手段とを含むことを特徴と
する画像処理装置。3. The apparatus according to claim 2, wherein the first calculating unit is configured to determine a position of the target pixel of the one color or the other color surrounded by real pixels of a color related to the generation of the luminance data. A first averaging unit that performs an averaging process using pixel data obtained from actual pixels of a color related to the generation of the luminance data; and the one of the one color and the other color is Second averaging in which pixel data surrounding the target pixel is used as it is as pixel data of the target pixel and pixel data surrounding the target pixel is converted into pixel data of the same color as pixel data of the remaining color, and averaging is performed. And an image processing apparatus. 【請求項４】 請求項１に記載の装置において、前記縮
小演算処理手段は、供給される画素データのうち、４つ
の前記実在画素の中心に前記仮想画素を含むブロック化
を行い、前記対象画素を各ブロックの前記仮想画素にし
て、前記各ブロックに色分解する３つの色のいずれか一
色を指定するとともに、各ブロックに含まれる画素デー
タを用いて指定色の画素データを算出する第２算出手段
を含むことを特徴とする画像処理装置。4. The apparatus according to claim 1, wherein the reduction operation processing unit performs blocking including the virtual pixel at the center of four of the existing pixels in the supplied pixel data, and Is used as the virtual pixel of each block, and one of three colors to be color-separated into each block is designated, and pixel data of the designated color is calculated using pixel data included in each block. An image processing apparatus characterized by including means. 【請求項５】 請求項４に記載の装置において、第２算
出手段は、前記各ブロックへの前記指定色を本来供給さ
れる画素データの色と同じパターンの色指定を行う色指
定手段と、 前記各ブロック内の画素データのうち、該指定色と異な
る色の画素の周囲にある該指定色と同色の画素データか
ら前記異なる色の画素における画素データを生成する指
定色データ生成手段とを含むことを特徴とする画像処理
装置。5. The apparatus according to claim 4, wherein the second calculating means performs color specification of the same color as the color of pixel data to which the specified color for each of the blocks is originally supplied; A designated color data generating means for generating pixel data of the pixel of the different color from pixel data of the same color as the designated color surrounding the pixel of a different color from the designated color among the pixel data in each block. An image processing apparatus characterized by the above-mentioned. 【請求項６】 被写界からの入射光を３つの色に分解
し、得られた３色の入射光を光電変換する撮像素子が隣
接する撮像素子の幾何学的な中心に対して行および／ま
たは列方向に半ピッチずらして複数配設され、該撮像素
子を実在画素とし、該撮像素子を用いて該撮像素子から
得られる撮像信号のそれぞれをディジタルの画素データ
にして、該実在画素で囲まれた空間を新たに形成する仮
想画素とし、供給される画素データに基づいて演算し各
画素に対応する輝度および色差データを生成する画像処
理方法において、該方法は、 前記画素データの色が、２次元的に正方格子状に得られ
る画素データを前記画像データに含まれる輝度データの
生成に関わる色、該輝度データの生成に関わる色を挟む
一方の対角位置の画素データを前記輝度データの生成に
関わる色と異なる一方の色として同色または異色、なら
びに該輝度データの生成に関わる色を挟む他方の対角位
置の画素データを前記輝度データの生成に関わる色およ
び前記一方の色と異なる他方の色として同色または異色
で供給される画素データを用いて、該供給される画素デ
ータを実在する実在画素からのデータとし、該実在画素
で囲まれた領域の中央を幾何学的な中心とする仮想画素
とし、 供給される画素データのうち、縮小表示に用いる対象画
素を前記実在画素または前記仮想画素にして該対象画素
を囲む周囲の画素データから所望の色の画素データを生
成する第１の工程と、 該対象画素として得られた画素データを周波数的に広帯
域化する第２の工程とを含むことを特徴とする画像処理
方法。6. An image pickup device that separates incident light from an object field into three colors and photoelectrically converts the obtained three colors of incident light with respect to a geometric center of an adjacent image pickup device. And / or a plurality of pixels arranged at half-pitch shift in the column direction, the image sensor is used as an actual pixel, and each of image signals obtained from the image sensor using the image sensor is converted into digital pixel data. An image processing method for generating a luminance pixel and a color difference data corresponding to each pixel by calculating an enclosed space as a newly formed virtual pixel and calculating based on the supplied pixel data, wherein the color of the pixel data is The pixel data obtained two-dimensionally in a square lattice form is a color related to the generation of the luminance data included in the image data, and the pixel data at one diagonal position sandwiching the color related to the generation of the luminance data is the luminance data The same color or a different color as one color different from the color related to the generation, and the pixel data at the other diagonal position sandwiching the color related to the generation of the luminance data is the color different from the color related to the generation of the luminance data and the other color. Using the pixel data supplied in the same color or a different color as the color, the supplied pixel data is taken as the data from the existing real pixel, and the center of the area surrounded by the real pixel is set as the geometric center. A first pixel that generates a pixel data of a desired color from surrounding pixel data surrounding the target pixel by using the target pixel used for reduced display as the real pixel or the virtual pixel among the supplied pixel data as the virtual pixel. An image processing method, comprising: a step of: broadening a frequency band of pixel data obtained as the target pixel in frequency. 【請求項７】 請求項６に記載の方法において、第１の
工程は、前記対象画素を前記輝度データの生成に関わる
色で囲むそれぞれの領域の中心に位置する実在画素にし
て、該対象画素が本来持つ色および前記輝度データの生
成に関わる色と異色の画素データを算出する第３の工程
を含むことを特徴とする画像処理方法。7. The method according to claim 6, wherein the first step is to convert the target pixel into a real pixel located at the center of each area surrounded by a color involved in the generation of the luminance data, An image processing method comprising calculating pixel data of a color different from a color inherent to the pixel and a color related to the generation of the luminance data. 【請求項８】 請求項７に記載の方法において、第３の
工程は、前記輝度データの生成に関わる色の実在画素で
囲まれた前記一方の色または前記他方の色の前記対象画
素の位置に、該輝度データの生成に関わる色の実在画素
から得られる画素データを用いて加算平均処理を行う第
４の工程と、 前記一方の色および前記他方の色のいずれかの色を前記
対象画素の画素データとしてそのまま用い、前記縮小用
画素に用いる３色のうち、前記対象画素を囲む画素デー
タを残る色の画素データと同色の画素データにして加算
平均処理を行う第５の工程とを含むことを特徴とする画
像処理方法。8. The method according to claim 7, wherein the third step is the position of the target pixel of the one color or the other color surrounded by real pixels of a color involved in the generation of the luminance data. A fourth step of performing an averaging process using pixel data obtained from real pixels of a color related to the generation of the luminance data; and converting any one of the one color and the other color into the target pixel. A pixel data surrounding the target pixel among the three colors used for the reduction pixel, and performing an averaging process by converting the pixel data to the same color pixel data as the remaining color pixel data. An image processing method comprising: 【請求項９】 請求項６に記載の方法において、第１の
工程は、供給される画素データのうち、４つの前記実在
画素の中心に前記仮想画素を含むブロック化を行い、前
記対象画素を各ブロックの前記仮想画素にして、前記各
ブロックに３色のいずれか一色を指定するとともに、各
ブロックに含まれる画素データを用いて指定色の画素デ
ータを算出する第６の工程を含むことを特徴とする画像
処理方法。9. The method according to claim 6, wherein the first step is to block the supplied pixel data including the virtual pixel at the center of four of the real pixels, and to set the target pixel to A sixth step of specifying one of three colors for each block as the virtual pixel of each block, and calculating pixel data of the specified color using pixel data included in each block. Characteristic image processing method. 【請求項１０】 請求項９に記載の方法において、第６
の工程は、前記各ブロックへの前記指定色を本来供給さ
れる画素データの色と同じパターンの色指定を行う第７
の工程と、 前記各ブロック内の画素データのうち、該指定色と異な
る色の画素の周囲にある該指定色と同色の画素データか
ら前記異なる色の画素における画素データを生成する第
８の工程とを含むことを特徴とする画像処理方法。10. The method according to claim 9, wherein
In the step (c), the designated color for each of the blocks is designated in the same pattern as the color of the pixel data originally supplied.
And an eighth step of generating pixel data in the pixel of the different color from the pixel data of the same color as the designated color around the pixel of a different color from the designated color among the pixel data in each block. An image processing method comprising: