JPH11168744A - Data interpolation processing method and color image-pickup device using the same - Google Patents

Data interpolation processing method and color image-pickup device using the same

Info

Publication number
JPH11168744A
JPH11168744A JP9336176A JP33617697A JPH11168744A JP H11168744 A JPH11168744 A JP H11168744A JP 9336176 A JP9336176 A JP 9336176A JP 33617697 A JP33617697 A JP 33617697A JP H11168744 A JPH11168744 A JP H11168744A
Authority
JP
Japan
Prior art keywords
image
data
light
color
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9336176A
Other languages
Japanese (ja)
Other versions
JP3497363B2 (en
Inventor
Eiji Yamada
栄二 山田
Masayuki Nomura
正幸 野村
Kazuto Nishida
一人 西田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP33617697A priority Critical patent/JP3497363B2/en
Publication of JPH11168744A publication Critical patent/JPH11168744A/en
Application granted granted Critical
Publication of JP3497363B2 publication Critical patent/JP3497363B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Complex Calculations (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

PROBLEM TO BE SOLVED: To generate a high resolution image, without color moires in the case of compositing two original images photographed by shifting an image by one pixel. SOLUTION: Respective pixel data R(n), corresponding to a second or a third color light not obtained from an image-pickup element are obtained by adding pixel data G(n), corresponding to a first color light at the same position as that of the pixel data to values LPF(R) resulting from low-pass processing to pixel data groups R(n-1), R(n+1) corresponding to the second or third color light which is arranged in one direction at the same position as the pixel data and subtracting values LPF(G) resulting from low-pass filter processing to pixel data groups G(n-1), G(n+1) corresponding to a first color light arranged in a direction through the same position as that of the pixel data from the sum.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、単一の撮像素子を
用いて、カラー画像を得ることができるカラー撮像装置
に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a color image pickup apparatus capable of obtaining a color image using a single image pickup device.

【０００２】[0002]

【従来の技術】単一の撮像素子を用いてカラー画像を撮
像する単板式のカラー撮像装置が、動画像および静止画
像の撮像に用いられているが、このような単板式のカラ
ー撮像装置では、撮像素子の受光領域の数が少ないと、
画像の解像度が低下するといった問題がある。2. Description of the Related Art A single-chip type color image pickup device for picking up a color image using a single image pickup element is used for picking up moving images and still images. If the number of light receiving areas of the image sensor is small,
There is a problem that the resolution of an image is reduced.

【０００３】そこで従来より、画像の解像度を向上させ
るための技術が種々開発されており、本願出願人も、先
に、特願平８−２７１１６９号において、以下に記載す
るようなカラー撮像装置を提案している。In view of the above, various techniques for improving the resolution of an image have been conventionally developed. The applicant of the present application has previously disclosed in Japanese Patent Application No. 8-271169 a color imaging apparatus as described below. is suggesting.

【０００４】該カラー撮像装置では、撮像素子の受光領
域の入射側に予め定める３色の色光だけを通過させる色
フィルタが設置されている。この色フィルタでは、３色
のうちの何れか１つの色光を通過させる透光領域だけが
市松状に配列されている。In the color image pickup apparatus, a color filter that allows only predetermined three color lights to pass is provided on an incident side of a light receiving area of the image pickup device. In this color filter, only light-transmitting regions that allow any one of the three colors to pass therethrough are arranged in a checkered pattern.

【０００５】図２５に、撮像素子の光入射側に配される
色フィルタの透光領域Ｌの配列を示す。色フィルタは、
撮像素子の受光領域と同数の透光領域を有する。透光領
域の配列は受光領域の配列と等価であり、水平方向Ｈお
よび垂直方向Ｖに沿って、それぞれ周期ＰＨ，ＰＶで、
行列状に配列されている。図において、実線で囲まれた
矩形領域が各透光領域Ｌを示す。また矩形領域内に描か
れる記号「Ｒ」，「Ｇ」，「Ｂ」は、その透光領域を通
過可能な色彩光の色が、赤、緑、青であることをそれぞ
れ示す。各色彩光の透光領域Ｌの色配列は、２点鎖線で
囲む２行２列の４つの透光領域Ｌの配列を基本配列パタ
ーンとする周期的な配列である。FIG. 25 shows an arrangement of the light-transmitting regions L of the color filters arranged on the light incident side of the image sensor. The color filter is
It has the same number of light transmitting regions as the light receiving regions of the image sensor. The arrangement of the light-transmitting regions is equivalent to the arrangement of the light-receiving regions, and is arranged along the horizontal direction H and the vertical direction V at periods PH and PV, respectively.
They are arranged in a matrix. In the figure, a rectangular area surrounded by a solid line indicates each light transmitting area L. The symbols “R”, “G”, and “B” drawn in the rectangular area indicate that the colors of the chromatic light that can pass through the translucent area are red, green, and blue, respectively. The color arrangement of the light-transmitting regions L of the respective colored lights is a periodic array in which an array of four light-transmitting regions L in two rows and two columns surrounded by a two-dot chain line is used as a basic array pattern.

【０００６】この撮像素子において、画像光に対する水
平方向Ｈのサンプリング周波数ｆＨは、水平方向Ｈの配
列周期ＰＨの逆数であり、同様に、垂直方向Ｖのサンプ
リング周波数ｆＶは、垂直方向Ｖの配列周期ＰＶの逆数
である。サンプリング周波数ｆＨは（１）式で、サンプ
リング周波数ｆＶは（２）式で示される。In this imaging device, the sampling frequency fH in the horizontal direction H for the image light is the reciprocal of the arrangement period PH in the horizontal direction H. Similarly, the sampling frequency fV in the vertical direction V is It is the reciprocal of PV. The sampling frequency fH is given by equation (1), and the sampling frequency fV is given by equation (2).

【０００７】[0007]

【数１】 (Equation 1)

【０００８】このカラー撮像装置は、通常モードと高解
像度モードとの２つの撮影モードを有する。通常モード
では、１枚の原画像信号から生成される通常出力画像を
得る。高解像度モードでは、イメージシフト動作を行
い、２回分の撮像で得られた原画像を合成して、高解像
度出力画像を得る。This color image pickup apparatus has two photographing modes, a normal mode and a high-resolution mode. In the normal mode, a normal output image generated from one original image signal is obtained. In the high-resolution mode, an image shift operation is performed, and original images obtained by two imaging operations are combined to obtain a high-resolution output image.

【０００９】高解像度モードにて実施されるイメージシ
フト動作では、撮像素子の空間サンプリング位置を、水
平方向Ｈに画素ピッチの長さＰＨだけ変位させる。撮像
素子に画像光が結像する結像位置は、変位する前の第１
結像位置と変位した後の第２結像位置がある。In the image shift operation performed in the high resolution mode, the spatial sampling position of the image pickup device is displaced in the horizontal direction H by the pixel pitch length PH. The imaging position where the image light is imaged on the image sensor is the first position before the displacement.
There is an imaging position and a second imaging position after the displacement.

【００１０】図２６に、第１および第２結像位置の位置
関係を示す。第１結像位置Ｑ1 を基準にすると、第２結
像位置Ｑ2 は第１結像位置Ｑ1 から水平方向Ｈにシフト
長さＰＨだけ移動した位置である。FIG. 26 shows the positional relationship between the first and second image forming positions. When the first reference imaging position Q 1, the second image forming position Q 2 is a position shifted by the shift length PH in a horizontal direction H from the first image forming position Q 1.

【００１１】カラー撮像装置は、この第１結像位置Ｑ1
および第２結像位置Ｑ2 のそれぞれにおいて、撮像素子
に結像した第１原画像および第２原画像を撮像する。撮
像された２枚の原画像信号は、それぞれ画像メモリにス
トアされる。次いでこの２回分の撮像で得られた原画像
を合成して、高解像度出力画像を生成する。[0011] The color image pickup apparatus operates at the first image forming position Q 1.
And the second respective imaging position Q 2, imaging the first original image and the second original image formed on the imaging device. Each of the two captured original image signals is stored in the image memory. Next, a high-resolution output image is generated by combining the original images obtained by the two imaging operations.

【００１２】この合成画像信号は、原画像信号と比較し
て、基底帯域の大きさは変化しないが、赤および青色フ
ィルタに対応する画素配列のイメージシフト方向に対応
する配列周期が半分になる。これによって、原画像信号
でイメージシフト方向に対応する空間周波数軸上に現わ
れるモアレが合成画像信号ではすべて消滅する。したが
って、光学的ローパスフィルタで画像光の周波数成分を
制限する必要がなく、基底帯域の実質の幅が拡大する。Although the size of the base band does not change in the composite image signal as compared with the original image signal, the arrangement period corresponding to the image shift direction of the pixel arrangement corresponding to the red and blue filters is halved. As a result, moiré appearing on the spatial frequency axis corresponding to the image shift direction in the original image signal disappears in the composite image signal. Therefore, it is not necessary to limit the frequency component of the image light with the optical low-pass filter, and the substantial width of the base band is increased.

【００１３】図２７の空間周波数平面図に、通常モード
の、原画像信号の輝度の基底帯域および色差信号のモア
レのキャリア周波数を示す。輝度の基底帯域を、図２７
では斜線を付して示す。また、輝度の基底帯域内におい
て、色差信号のモアレのキャリア周波数の存在する位置
を○印で表す。FIG. 27 is a spatial frequency plan view showing the base band of the luminance of the original image signal and the carrier frequency of the moiré of the color difference signal in the normal mode. The base band of luminance is shown in FIG.
Here, it is shown with diagonal lines. In addition, the position where the carrier frequency of the moiré of the color difference signal exists in the base band of the luminance is indicated by a circle.

【００１４】また、図２８の空間周波数平面図に、高解
像度モードの、高解像度出力画像の基底帯域および色差
信号のモアレのキャリア周波数を示す。２回分の撮像で
得られた原画像を合成することによって、色差信号のモ
アレのキャリア周波数のうち、水平空間周波数がｆＨ／
２または−ｆＨ／２であるモアレ、つまり、（ｆＨ／
２，０）、（ｆＨ／２，ｆＶ／２）、（−ｆＨ／２，
０）、（−ｆＨ／２，ｆＶ／２）の４箇所が消滅する。
したがって、輝度の基底帯域内に存在する色差信号のモ
アレのキャリア周波数は、（０，ｆＶ／２）の１箇所の
みとなる（図中、○印付記）。FIG. 28 is a plan view of the spatial frequency in the high resolution mode, showing the base band of the high resolution output image and the carrier frequency of the moiré of the color difference signal. By combining the original images obtained by the two imagings, the horizontal spatial frequency of the moire carrier frequency of the color difference signal is fH /
2 or -fH / 2, that is, (fH /
2,0), (fH / 2, fV / 2), (-fH / 2,
0) and (−fH / 2, fV / 2) disappear.
Therefore, the carrier frequency of the moiré of the color difference signal existing in the base band of the luminance is only one position of (0, fV / 2) (marked with a circle in the figure).

【００１５】また、上記のカラー撮像装置においては、
撮影モードの切り替えに同期して、カラー撮像装置内に
設けられた可変空間フィルタも切り替えられる。この可
変空間フィルタは、複屈折板などによって構成されてい
る。Further, in the above color imaging apparatus,
In synchronization with the switching of the photographing mode, the variable spatial filter provided in the color imaging device is also switched. This variable spatial filter is constituted by a birefringent plate or the like.

【００１６】可変空間フィルタは、通常モードにおいて
は、第１状態に切り替えられ、図２７に示した基底帯域
の境界線近傍の空間周波数成分を減衰させるように定め
られる。また、高解像度モードにおいては、第２状態に
切り替えられ、空間周波数ｆＶ／２近傍の空間周波数成
分を減衰させるように定められる。図２８にて示せば、
水平方向の空間周波数軸（水平軸）に平行で、（０，ｆ
Ｖ／２）を通る直線近傍の空間周波数成分を減衰させ
る。In the normal mode, the variable spatial filter is switched to the first state, and is set so as to attenuate the spatial frequency components near the boundary of the base band shown in FIG. In the high-resolution mode, the mode is switched to the second state, and it is determined that the spatial frequency component near the spatial frequency fV / 2 is attenuated. As shown in FIG.
Parallel to the horizontal spatial frequency axis (horizontal axis), (0, f
V / 2) is attenuated.

【００１７】このように、可変空間フィルタによって、
画像に生じるモアレによる画質の劣化するのを防ぐこと
ができる。As described above, by the variable spatial filter,
It is possible to prevent the image quality from deteriorating due to moire generated in the image.

【００１８】通常モードと高解像度モードの各出力画像
信号を比較すると、基底帯域の形状や大きさは変化しな
い。しかしながら、高解像度モード時の高解像度出力画
像は、水平空間周波数がｆＨ／２または−ｆＨ／２（上
述の４箇所）のモアレが消滅し、また可変空間フィルタ
による±ｆＨ／２近傍の空間周波数成分の減衰も無いた
め、基底帯域の水平方向の実質の幅が拡大し、水平解像
度が向上する。When the output image signals in the normal mode and the high resolution mode are compared, the shape and size of the base band do not change. However, in the high-resolution output image in the high-resolution mode, the moire with a horizontal spatial frequency of fH / 2 or -fH / 2 (the above four locations) disappears, and the spatial frequency near ± fH / 2 by the variable spatial filter is used. Since there is no attenuation of the component, the substantial width of the base band in the horizontal direction is enlarged, and the horizontal resolution is improved.

【００１９】一方、垂直方向の空間周波数軸上のモアレ
は、通常モードと高解像度モードともに存在し、可変空
間フィルタによるｆＶ／２近傍の空間周波数成分の減衰
もあるため、基底帯域の垂直方向の実質の幅は変わら
ず、垂直解像度もほとんど変わらない。On the other hand, the moire on the vertical spatial frequency axis exists in both the normal mode and the high-resolution mode, and the spatial frequency component near fV / 2 is attenuated by the variable spatial filter. The actual width does not change, and the vertical resolution hardly changes.

【００２０】つまり、上記のカラー撮像装置では、イメ
ージシフト動作を行うことにより、水平解像度の向上を
実現できる。That is, in the above color image pickup apparatus, the horizontal resolution can be improved by performing the image shift operation.

【００２１】[0021]

【発明が解決しようとする課題】上述したように、本願
出願人が先に提案しているカラー撮像装置では、水平解
像度の向上を図ることができたが、垂直解像度を向上さ
せることはできない。また、可変空間フィルタを実現す
るための可変機構が設ける必要がある。この可変機構を
設けるためには、部品点数が多いので、製造コストが増
大し、小型化を阻害する。As described above, in the color imaging apparatus proposed by the present applicant, the horizontal resolution can be improved, but the vertical resolution cannot be improved. Further, it is necessary to provide a variable mechanism for realizing a variable spatial filter. In order to provide this variable mechanism, since the number of parts is large, the manufacturing cost increases, and miniaturization is hindered.

【００２２】また、通常モードと高解像度モードとを切
り替え時には、可変機構を動作させて可変空間フィルタ
を切り替える必要があるため、切り替えるのに時間を要
し、すばやく切り替えることができない。また、切り替
えるごとに可変機構を動作させるため、耐久性にも問題
がある。Further, when switching between the normal mode and the high resolution mode, it is necessary to operate the variable mechanism to switch the variable spatial filter, so that it takes time to switch and it is not possible to switch quickly. In addition, since the variable mechanism is operated every time switching is performed, there is a problem in durability.

【００２３】また、通常モード時には１枚分の画像メモ
リの容量が必要であるのに対して高解像度モード時にお
いては、画像メモリに２枚の原画像信号をストアするだ
けの容量が必要であり、製造コストをさらに増大させ
る。Also, in the normal mode, the capacity of one image memory is required, whereas in the high resolution mode, the capacity for storing two original image signals in the image memory is required. , Further increasing manufacturing costs.

【００２４】本発明の第１の目的は、今までにないデー
タ補間処理方法を採用することで、単板式のカラー撮像
装置において、水平解像度だけでなく垂直解像度の向上
を得ることができ、また、通常モードと高解像度モード
との２つの撮像モードを有する構成とした場合でも、可
変空間フィルタを必要としないカラー撮像装置を提供す
ることである。A first object of the present invention is to improve not only the horizontal resolution but also the vertical resolution in a single-chip type color image pickup apparatus by employing an unprecedented data interpolation processing method. Another object of the present invention is to provide a color image pickup apparatus that does not require a variable spatial filter even in a configuration having two image pickup modes: a normal mode and a high-resolution mode.

【００２５】また、第２の目的は、今までにないデータ
補間方法を採用することで、単板式のカラー撮像装置に
おいて、水平解像度だけでなく垂直解像度の向上を得る
ことができ、かつ、通常モードと高解像度モードとの２
つの撮像モードを有する構成とした場合、可変空間フィ
ルタは必要であるものの、高解像度モードの画質が各段
に向上したカラー撮像装置を提供することである。A second object is to improve the vertical resolution as well as the horizontal resolution in a single-chip color image pickup apparatus by employing an unprecedented data interpolation method. Mode and high resolution mode
In the case of a configuration having two imaging modes, a variable spatial filter is required, but an object of the present invention is to provide a color imaging apparatus in which the image quality of the high resolution mode is improved in each stage.

【００２６】そして、第３の目的は、イメージシフト動
作を行うにもかかわらず、画像メモリも１枚の原画像信
号分だけで良い構成として、安価で小型のカラー撮像装
置を提供することである。A third object is to provide an inexpensive and small-sized color image pickup device in which the image memory only needs to store one original image signal despite performing the image shift operation. .

【００２７】[0027]

【課題を解決するための手段】本発明の請求項１記載の
データ補間処理方法は、上記の課題を解決するために、
それぞれ複数のデータ群からなり、局所的な領域にて相
関のある第１および第２のデータ系列において、第１の
データ系列の欠落したデータを求める際、該欠落データ
と同じ位置にある第２のデータ系列のデータに、第１の
データ系列のデータ群をローパスフィルタ処理した値を
加算し、さらに第２のデータ系列のデータ群をローパス
フィルタ処理した値を引くことにより求めることを特徴
としている。According to a first aspect of the present invention, there is provided a data interpolation processing method for solving the above problems.
When obtaining missing data of the first data series in the first and second data series each including a plurality of data groups and having a correlation in a local area, the second data set at the same position as the missing data is obtained. Is obtained by adding a value obtained by subjecting the data group of the first data series to low-pass filtering to the data of the data series No. 2, and further subtracting a value obtained by subjecting the data group of the second data series to low-pass filtering. .

【００２８】また、本発明の請求項５記載のデータ補間
処理回路は、上記の課題を解決するために、複数のデー
タ群からなるデータ系列の欠落したデータを補間するデ
ータ補間処理回路において、欠落データを有する第１の
データ系列のデータ群をローパスフィルタ処理する第１
のローパスフィルタ処理手段と、上記の第１のデータ系
列と局所的な領域において相関のある第２のデータ系列
のデータ群をローパスフィルタ処理する第２のローパス
フィルタ処理手段と、第１のデータ系列における欠落し
たデータと同じ位置にある第２のデータ系列のデータ
に、第１のデータ系列のデータ群のローパスフィルタ処
理した値を加算する加算手段と、該加算手段の計算値か
ら、第２のデータ系列のデータ群をローパスフィルタ処
理した値を減算する減算手段とを備えたことを特徴とし
ている。According to a fifth aspect of the present invention, there is provided a data interpolation processing circuit for interpolating missing data of a data series consisting of a plurality of data groups. A first method for performing low-pass filtering on a data group of a first data series having data
Low-pass filter processing means, low-pass filter processing means for performing low-pass filter processing on a data group of a second data series correlated with the first data series in a local region, and first data series Adding means for adding the low-pass filtered value of the data group of the first data series to the data of the second data series at the same position as the missing data in the above, and calculating the second value from the calculated value of the adding means. And a subtracting means for subtracting a value obtained by subjecting the data group of the data series to low-pass filtering.

【００２９】上記請求項１、５に記載した構成の欠落し
たデータの補間処理を、例えば、前述の従来技術の項で
述べた、本願出願人が先に提案しているカラー撮像装置
における、高解像度モード時の画像を合成する処理に供
することで、図２８の空間周波数平面図に○印を付し
た、基底帯域内に存在するキャリア周波数（０，ｆＶ／
２）の色差信号のモアレを消滅させることが可能とな
る。詳細については、以降の各請求項の説明と共に述べ
る。The interpolation processing of the missing data having the structure described in the first and fifth aspects is performed, for example, in the color imaging apparatus proposed by the applicant of the present invention as described in the above-mentioned prior art. By providing a process for synthesizing an image in the resolution mode, the carrier frequency (0, fV /
2) It is possible to eliminate the moiré of the color difference signal. The details will be described together with the description of each claim below.

【００３０】本発明の請求項２記載のデータ補間処理方
法は、請求項１記載の構成において、上記のローパスフ
ィルタ処理が、第１のデータ系列の場合は求めるべきデ
ータの位置に隣接する２つのデータの平均をとり、第２
のデータ系列の場合は求めるべきデータと同じ位置に隣
接する２つのデータの平均をとることを特徴としてい
る。According to a second aspect of the present invention, in the data interpolation processing method according to the first aspect, in the case where the low-pass filter processing is a first data series, two low-pass filter processing steps are performed adjacent to the position of data to be obtained. Take the average of the data and
Is characterized by taking the average of two data adjacent to the same position as the data to be obtained.

【００３１】本発明の請求項６記載のデータ補間処理回
路は、請求項５記載の構成において、上記の第１ローパ
スフィルタ処理手段は、求めるべきデータの位置に隣接
する２つのデータの平均をとることでローパスフィルタ
処理を実施し、上記の第２ローパスフィルタ処理手段
は、求めるべきデータと同じ位置に隣接する２つのデー
タの平均をとることでローパスフィルタ処理を実施する
ことを特徴としている。According to a sixth aspect of the present invention, in the data interpolation processing circuit according to the fifth aspect, the first low-pass filter processing means averages two data adjacent to the position of the data to be obtained. Thus, the low-pass filter processing is performed, and the second low-pass filter processing means performs low-pass filter processing by averaging two adjacent data at the same position as the data to be obtained.

【００３２】上記請求項２、６に記載した構成では、求
めるべきデータの位置、或いは該データと同じ位置に隣
接する２つのデータの平均をとってローパスフィルタ処
理を行うようになっている。上記ローパスフィルタ処理
としては、隣接する４つのデータから計算する方法もあ
るが、このような方法に比べ、２つのデータの平均をと
る方法の場合、計算に用いるデータ数が少ないので、処
理速度が速く、回路規模が小さいといった利点がある。In the configuration according to the second and sixth aspects, the low-pass filter processing is performed by taking the position of the data to be obtained or the average of two data adjacent to the same position as the data. As the above low-pass filter processing, there is a method of calculating from four adjacent data. However, in the case of the method of averaging two data, the number of data used for calculation is small, so that the processing speed is low. There are advantages such as high speed and small circuit scale.

【００３３】本発明の請求項３記載のデータ補間処理方
法は、請求項１又は２記載の構成において、上記の第１
および第２のデータ系列が、カラー撮像装置において異
なる色フィルタ配列により受光された２種類の受光デー
タ群であることを特徴としている。According to a third aspect of the present invention, there is provided a data interpolation processing method according to the first or second aspect, wherein
The second data series is characterized by two types of light reception data groups received by different color filter arrangements in the color imaging device.

【００３４】本発明の請求項７記載のデータ補間処理回
路は、請求項５又は６記載の構成において、上記の第１
および第２のデータ系列が、カラー撮像装置において異
なる色フィルタ配列により受光された２種類の受光デー
タ群であることを特徴としている。According to a seventh aspect of the present invention, there is provided a data interpolation processing circuit according to the fifth or sixth aspect, wherein
The second data series is characterized by two types of light reception data groups received by different color filter arrangements in the color imaging device.

【００３５】上記請求項３、７に記載した構成によれ
ば、請求項１、５におけるデータ補間処理方法、データ
補間処理回路を、カラー撮像装置における異なる色フィ
ルタ配列により受光された２種類の受光データ群を対象
としたデータ補間に適用している。したがって、例えば
２板式のカラー撮像装置に適用することで、隣接する３
画素において、３画素とも受光データの存在する同一種
類の画素データと、中間の位置には受光データが存在せ
ず両端の画素位置には受光データが存在する別種類の画
素データがあるデータ系列では、中間の位置の受光デー
タを、色モアレの発生を抑圧して求めることができる。According to the third and seventh aspects of the present invention, the data interpolation processing method and the data interpolation processing circuit according to the first and fifth aspects are adapted to perform the two types of light reception using different color filter arrangements in the color image pickup apparatus. It is applied to data interpolation for data groups. Therefore, for example, by applying the present invention to a two-plate type color imaging device,
In a pixel, there is a data series in which all three pixels have the same type of pixel data in which light reception data exists, and a data series in which there is another type of pixel data in which light reception data does not exist at an intermediate position and light reception data exists at both end pixel positions. , Light receiving data at an intermediate position can be obtained while suppressing the occurrence of color moiré.

【００３６】本発明の請求項４記載のデータ補間処理方
法は、請求項３記載の構成において、上記の第１および
第２のデータ系列が、異なる結像位置において撮像され
た２枚の画像を重ね合わせて得た、第１の色フィルタの
受光データ群と、第２の色フィルタの受光データ群とで
あることを特徴としている。According to a fourth aspect of the present invention, there is provided a data interpolation processing method according to the third aspect, wherein the first and second data sequences are obtained by converting two images picked up at different image forming positions. It is characterized by a light reception data group of the first color filter and a light reception data group of the second color filter obtained by superimposition.

【００３７】本発明の請求項８記載のデータ補間処理回
路は、請求項７記載の構成において、上記の第１および
第２のデータ系列が、異なる結像位置において撮像され
た２枚の画像を重ね合わせて得た、第１の色フィルタの
受光データ群と、第２の色フィルタの受光データ群とで
あることを特徴としている。The data interpolation processing circuit according to claim 8 of the present invention is the data interpolation processing circuit according to claim 7, wherein the first and second data series are obtained by converting two images picked up at different imaging positions. It is characterized by a light reception data group of the first color filter and a light reception data group of the second color filter obtained by superimposition.

【００３８】上記請求項４、８に記載した構成によれ
ば、請求項３、７におけるデータ補間処理方法、データ
補間処理回路を、異なる結像位置において撮像された２
枚の画像を重ね合わせて得た、第１の色フィルタの受光
データ群と、第２の色フィルタの受光データ群とを対象
としたデータ補間に適用している。したがって、例えば
請求項９に記載のように、単板式のカラー撮像装置に適
用することで、イメージシフト動作により得られた画像
を重ね合わせて合成画像とする際に、色モアレのない高
解像度画像を生成することが可能となる。According to the configuration described in the fourth and eighth aspects, the data interpolation processing method and the data interpolation processing circuit according to the third and seventh aspects are adapted to execute the data interpolation processing at different imaging positions.
The present invention is applied to data interpolation for a light reception data group of a first color filter and a light reception data group of a second color filter obtained by superimposing two images. Therefore, by applying the present invention to a single-panel color image pickup apparatus as described in claim 9, a high-resolution image without color moiré can be obtained when an image obtained by an image shift operation is superimposed to form a composite image. Can be generated.

【００３９】本発明の請求項９記載のカラー撮像装置
は、撮像素子の結像面における結像位置を移動させるイ
メージシフト動作を実施して、結像位置が１画素だけ異
なる２枚の撮像画像を得て、画像合成処理回路にて、こ
れら２枚の撮像画像を結像位置の離反量だけ位置の移動
方向とは逆方向にずらして重ね合わせて合成画像を生成
するカラー撮像装置において、上記画像合成処理回路
に、上記請求項８に記載のデータ補間処理回路が備えら
れている構成である。The color image pickup apparatus according to the ninth aspect of the present invention performs an image shift operation of moving an image forming position on an image forming surface of an image pickup device, and two image pickup images having different image forming positions by one pixel. In a color imaging apparatus that generates a composite image by shifting the two captured images in the direction opposite to the moving direction of the position by the amount of separation of the imaging position and superimposing the two captured images in an image synthesis processing circuit, The image synthesis processing circuit is provided with the data interpolation processing circuit according to claim 8.

【００４０】本発明の請求項１０記載の画像合成処理方
法は、イメージシフト動作により得られた複数枚の撮像
画像を合成して１枚の合成画像とする画像合成処理方法
において、まずは１枚目に撮像された画像を上書き可能
な画像メモリに蓄積し、その後の２枚目以降は、画像を
撮像するたびに、画像メモリに蓄積された画像と、撮像
された画像とを合成処理し、該合成処理した画像を再び
画像メモリに上書きして蓄積する工程を繰り返すことを
特徴としている。According to a tenth aspect of the present invention, there is provided an image synthesizing processing method for synthesizing a plurality of picked-up images obtained by an image shifting operation into one synthesized image. The captured image is stored in an overwritable image memory, and after that, every time an image is captured, the image stored in the image memory and the captured image are combined, and It is characterized in that the process of overwriting and storing the combined image again in the image memory is repeated.

【００４１】本発明の請求項１１記載の画像合成処理回
路は、イメージシフト動作により得られた複数枚の撮像
画像を合成して１枚の合成画像とする画像合成処理回路
において、１枚目に撮像された画像を上書き可能な画像
メモリに蓄積する手段と、２枚目以降の撮像が行われる
たびに、上記画像メモリに蓄積された画像を読み出して
撮像された画像とを合成処理し、該合成処理した画像を
再び上記画像メモリに上書きする手段とを備えているこ
とを特徴としている。According to an eleventh aspect of the present invention, there is provided an image synthesizing circuit for synthesizing a plurality of picked-up images obtained by an image shift operation into one synthesized image. Means for storing the captured image in an overwritable image memory, and reading out the image stored in the image memory and synthesizing the captured image each time the second and subsequent images are captured, Means for overwriting the combined image in the image memory again.

【００４２】上記請求項１０、１１に記載した構成によ
れば、画像を合成する際、画像メモリに蓄積された合成
するべき１つの画像（以下、合成画像と区別して原画像
と称する）を出力しながら、合成後の高解像度出力画像
を上書きしていく。すなわち、出力されていく原画像の
書き込み領域から、順次高解像度出力画像を上書きして
いく。したがって、原画像をすべて出力し終える時点
で、画像メモリには、高解像度出力画像の蓄積が完了す
ることになるので、画像メモリの容量は、原画像もしく
は高解像度出力画像の１枚分だけでよく、２枚分の容量
を必要としない。According to the above configuration, when composing images, one image to be composed stored in the image memory (hereinafter referred to as an original image to be distinguished from the composite image) is output. While overwriting the synthesized high-resolution output image. That is, the high-resolution output image is sequentially overwritten from the writing area of the output original image. Therefore, when the output of all the original images is completed, the storage of the high-resolution output image is completed in the image memory, so that the capacity of the image memory is limited to only one of the original image or the high-resolution output image. Often, the capacity for two sheets is not required.

【００４３】したがって、例えば請求項１２の構成のよ
うに、このような画像合成処理回路を備えたカラー撮像
装置では、画像メモリの容量が少なくて済み、コスト削
減が図れる。Therefore, in a color image pickup apparatus having such an image synthesizing processing circuit, for example, the capacity of the image memory can be reduced and the cost can be reduced.

【００４４】本発明の請求項１２記載のカラー撮像装置
は、撮像素子の結像面における結像位置を移動させるイ
メージシフト動作を実施して、結像位置が異なる複数の
撮像画像を得て、画像合成処理回路にて、これら複数の
撮像画像を結像位置の離反量だけ位置の移動方向とは逆
方向にずらして重ね合わせて合成画像を生成するカラー
撮像装置において、上記画像合成処理回路が、１枚目に
撮像された画像を上書き可能な画像メモリに蓄積する手
段と、２枚目以降の撮像が行われるたびに、上記画像メ
モリに蓄積された画像を読み出して撮像された画像とを
合成処理し、該合成処理した画像を再び上記画像メモリ
に上書きする手段とを備えている構成である。The color image pickup apparatus according to the twelfth aspect of the present invention performs an image shift operation of moving an image forming position on an image forming surface of an image pickup device to obtain a plurality of picked-up images having different image forming positions. In a color imaging apparatus that generates a composite image by shifting the plurality of captured images in the direction opposite to the moving direction of the position by the amount of separation of the imaging position in the image synthesis processing circuit, the image synthesis processing circuit Means for storing the first captured image in an overwritable image memory, and reading out the image stored in the image memory and capturing the captured image every time the second and subsequent images are captured. Means for performing a combining process and overwriting the combined image on the image memory again.

【００４５】本発明の請求項１３記載のカラー撮像装置
は、複数の色彩光にそれぞれ対応し、入射される被写体
からの画像光のうちの対応する色彩光だけを個別的に通
過させる複数の透光領域を有し、該透光領域が２次元平
面上に配列された色フィルタであって、透光領域は、第
１〜第３の色彩光を通過させる第１〜第３透光領域に区
分され、第１および第２透光領域が一方方向に沿って第
１周期で直線状に配列された第１群と、第１および第３
透光領域が一方方向に沿って第１周期で直線上に配列さ
れた第２群とが、一方方向と直交する他方方向に沿って
第２周期で交互に、かつ、第１群の第１透光領域に第３
透光領域が他方方向の両側に隣接するように配列された
色フィルタと、上記色フィルタの透光領域に個別的に対
応した受光領域が、透光領域の配列と同等の配列で２次
元平面上に配列され、各受光領域では対応した透光領域
を通過した色彩光だけを受光し、各受光領域の受光量を
示す画素データから構成される画像信号を出力する撮像
素子と、上記撮像素子に入射される画像光の結像位置
を、基準位置である第１移動位置と、第１移動位置から
一方方向に第１周期の長さだけ相互にずれた第２移動位
置に相対的に移動させる移動手段と、上記撮像素子から
出力された２つの画像信号を撮像時の結像位置の離反量
だけ位置の移動方向とは逆方向にずらして重ね合わせ
て、撮像素子からは得られなかった第２または第３色彩
光に対応する画素データを求めて合成画像信号を生成す
る画像合成手段と、撮影が開始されると、移動手段によ
って画像光の結像位置を第１および第２移動位置のいず
れか一方位置に移動させ、該移動位置において撮像素子
に画像光を撮像させて画像信号を画像合成手段に与え、
次いで移動手段によって結像位置をいずれか他方位置に
移動させ、該移動位置において撮像素子に画像光を撮像
させて画像信号を画像合成手段に与える制御手段とを備
え、かつ、上記画像合成手段が、撮像素子からは得られ
なかった第２または第３の色彩光に対応する画素データ
を、該画素データと同じ位置にある第１色彩光に対応す
る画素データに、該画素データと同じ位置を通る一方方
向に沿って配列された第２または第３色彩光に対応する
画素データ群をローパスフィルタ処理した値を加算し、
さらに該画素データと同じ位置を通る一方方向に沿って
配列された第１色彩光に対応する画素データ群をローパ
スフィルタ処理した値を引くことにより求めることを特
徴としている。According to a thirteenth aspect of the present invention, there is provided a color image pickup apparatus, wherein each of the plurality of color light sources corresponds to a plurality of color lights, and only a corresponding one of the incident image light from the subject passes therethrough. A color filter having a light region, wherein the light-transmitting regions are arranged on a two-dimensional plane, wherein the light-transmitting regions are first to third light-transmitting regions that allow the first to third color lights to pass therethrough. A first group in which the first and second light-transmitting regions are linearly arranged at a first period along one direction;
The second group in which the light-transmitting regions are arranged on a straight line in the first cycle along one direction is alternately arranged in the second cycle along the other direction orthogonal to the one direction, and the first group of the first group. Third in light-transmitting area
A color filter in which light-transmitting regions are arranged on both sides in the other direction and light-receiving regions individually corresponding to the light-transmitting regions of the color filter are two-dimensionally arranged in the same arrangement as the light-transmitting region. An imaging element arranged above, and each of the light receiving areas receives only the color light that has passed through the corresponding light transmitting area, and outputs an image signal composed of pixel data indicating the amount of light received in each light receiving area; Relative to the first movement position, which is the reference position, and the second movement position, which is shifted from the first movement position in one direction by the length of the first period. The moving means to be moved and the two image signals output from the image pickup device are superimposed by being shifted in the direction opposite to the moving direction of the position by the amount of separation of the imaging position at the time of image pickup, and were not obtained from the image pickup device. Pixel data corresponding to the second or third color light And an image synthesizing means for generating a synthesized image signal by calculating the image position, and when the photographing is started, the moving means moves the image forming position of the image light to one of the first and second moving positions. In, the image signal is given to the image synthesizing means by causing the image sensor to capture the image light,
Then, the image forming position is moved to one of the other positions by the moving means, and control means for causing the image pickup device to capture image light at the moving position and providing an image signal to the image synthesizing means is provided. The pixel data corresponding to the second or third color light not obtained from the image sensor is replaced with the pixel data corresponding to the first color light at the same position as the pixel data, Adding a value obtained by subjecting a pixel data group corresponding to the second or third color light arrayed along one direction passing through to low-pass filtering,
Further, it is characterized in that the pixel data group corresponding to the first color light arranged along one direction passing through the same position as the pixel data is obtained by subtracting a value subjected to the low-pass filter processing.

【００４６】本発明の請求項１４記載のカラー撮像装置
は、請求項１３の構成において、第１回目に撮像された
画像信号を蓄積し、第２回目の撮像に同期して蓄積した
画像信号を出力し、出力した領域に画像合成手段から出
力された合成画像信号を上書きして蓄積する画像メモリ
をさらに備えたことを特徴としている。According to a fourteenth aspect of the present invention, in the color imaging apparatus according to the thirteenth aspect, the first image signal is stored, and the stored image signal is synchronized with the second image signal. The image processing apparatus further comprises an image memory for outputting the output image and overwriting the output image with the synthesized image signal output from the image synthesis means.

【００４７】本発明の請求項１５記載のカラー撮像装置
は、請求項１３または１４の構成において、上記画像合
成手段が、第１色彩光に対応する画素データ群をローパ
スフィルタ処理する際は、求めるべき画素データの位置
に隣接する２つの画素データの平均をとることで処理を
実施し、第２および第３色彩光に対応する画素データ群
のローパスフィルタ処理する際は、求めるべき画素デー
タと同じ位置に隣接する２つの画素データの平均をとる
ことで処理を実施することを特徴としている。According to a fifteenth aspect of the present invention, in the color imaging apparatus according to the thirteenth or fourteenth aspect, the image synthesizing means obtains the image data when the pixel data group corresponding to the first color light is subjected to the low-pass filter processing. The processing is performed by averaging two pixel data adjacent to the position of the pixel data to be processed, and when performing low-pass filtering of the pixel data groups corresponding to the second and third color lights, the same as the pixel data to be obtained is used. Processing is performed by averaging two pixel data adjacent to the position.

【００４８】請求項１３は、本発明の請求項１に記載し
たデータ補間処理方法を、画像合成手段の信号処理に適
用したカラー撮像装置であり、該カラー撮像装置は、単
板式のカラー撮像装置である。また、請求項１４は、請
求項２、５を、請求項１５は請求項３、６を適用したカ
ラー撮像装置である。According to a thirteenth aspect of the present invention, there is provided a color imaging apparatus in which the data interpolation processing method according to the first aspect of the present invention is applied to signal processing of an image synthesizing unit. It is. A fourteenth aspect is a color imaging apparatus to which the second and fifth aspects are applied, and a fifteenth aspect is a color imaging apparatus to which the third and sixth aspects are applied.

【００４９】該カラー撮像装置に入射された被写体から
の画像光は、上述の色フィルタを通過した後に撮像素子
に入射される。ここで画像光は、色フィルタを通過する
ことで、第１〜第３色彩光に色分離される。色フィルタ
の第１〜第３透光領域の配列は、いわゆるベイヤー配列
と称される配列パターンである。The image light from the subject incident on the color image pickup device is incident on the image pickup device after passing through the above-mentioned color filter. Here, the image light is color-separated into first to third color lights by passing through a color filter. The arrangement of the first to third light-transmitting regions of the color filter is an arrangement pattern called a so-called Bayer arrangement.

【００５０】この色フィルタを通過した画像光は、撮像
素子の結像面に結像される。上述した画像光は、透光領
域の配列方向である一方および他方方向に平行な空間軸
上で連続的に輝度変化する。撮像素子は、空間軸に平行
に配列される複数の受光領域でこの画像光の各色彩光成
分を受光する。故に、画像光は連続的な画像光を受光領
域単位で平滑化した画像となる。これは、輝度が連続し
て変化する画像光を受光領域単位でサンプリングしたこ
とと等価である。前述の色フィルタと撮像素子とは一体
的に形成されることが望ましい。The image light that has passed through the color filter forms an image on the image plane of the image sensor. The above-described image light continuously changes in luminance on a spatial axis parallel to one and the other directions, which are the arrangement directions of the translucent regions. The image sensor receives each color light component of the image light in a plurality of light receiving regions arranged in parallel with the spatial axis. Therefore, the image light is an image obtained by smoothing the continuous image light for each light receiving area. This is equivalent to sampling image light of which luminance continuously changes in units of light receiving areas. It is desirable that the above-described color filter and the image sensor be formed integrally.

【００５１】移動手段は、入射された画像光の結像面で
受光位置を予め定める第１及び第２の位置に移動させる
イメージシフト動作を実施するものである。撮像素子
は、移動手段によって結像位置が移動される毎に、画像
光を撮像して原画像信号を出力する。これによって、撮
像素子は、結像位置の異なる２つの原画像信号を出力す
ることとなる。The moving means carries out an image shift operation for moving the light receiving position to first and second predetermined positions on the image forming plane of the incident image light. The imaging device captures image light and outputs an original image signal each time the imaging position is moved by the moving unit. As a result, the image sensor outputs two original image signals having different imaging positions.

【００５２】画像合成手段は、これら２つの原画像信号
から、合成画像を表す合成画像信号を生成する。ここ
で、画像合成手段は、撮像素子からは得られなかった第
２または第３の色彩光に対応する画素データを、該画素
データと同じ位置にある第１色彩光に対応する画素デー
タに、該画素データと同じ位置を通る一方方向に沿って
配列された第２または第３色彩光に対応する画素データ
群をローパスフィルタ処理した値を加算し、さらに該画
素データと同じ位置を通る一方方向に沿って配列された
第１色彩光に対応する画素データ群をローパスフィルタ
処理した値を引くことにより求める。これにより、基底
帯域内に存在するキャリア周波数（０，ｆＶ／２）の色
差信号のモアレを消滅させることが可能となる。したが
って、合成画像信号の基底帯域の水平方向の実質の幅が
拡大すると共に、垂直方向の実質の幅が拡大する。The image combining means generates a combined image signal representing a combined image from these two original image signals. Here, the image synthesizing unit converts the pixel data corresponding to the second or third color light not obtained from the image sensor into pixel data corresponding to the first color light at the same position as the pixel data. A value obtained by subjecting a pixel data group corresponding to the second or third color light arranged along one direction passing through the same position as the pixel data to a value obtained by low-pass filtering is added, and further, a direction passing through the same position as the pixel data is added. Is obtained by subtracting a value obtained by subjecting the pixel data group corresponding to the first color light arranged along the line to low-pass filtering. This makes it possible to eliminate the moire of the color difference signal of the carrier frequency (0, fV / 2) existing in the base band. Therefore, the substantial width in the horizontal direction of the base band of the composite image signal is increased, and the substantial width in the vertical direction is increased.

【００５３】したがって、このような単板式のカラー撮
像装置においては、水平解像度だけでなく垂直解像度の
向上を得ることができる。Therefore, in such a single-plate type color image pickup device, not only the horizontal resolution but also the vertical resolution can be improved.

【００５４】請求項１７記載のカラー撮像装置は、請求
項１３又は１４記載の構成において、上記移動手段にお
ける結像位置の移動を許容または禁止する移動判定手段
と、撮像素子に入射される画像光の空間周波数成分を減
衰させる固定空間フィルタをさらに含む構成である。According to a seventeenth aspect of the present invention, in the color imaging apparatus according to the thirteenth or fourteenth aspect, a movement determining means for permitting or prohibiting the movement of the imaging position by the moving means, and an image light incident on the image sensor. Is a configuration further including a fixed spatial filter that attenuates the spatial frequency component of.

【００５５】この構成によれば、２つのモードを有し、
一方モードでは１枚の原画像信号から生成された通常出
力画像信号を出力し、他方モードでは２枚の原画像信号
から合成画像信号を生成して出力する構成である。合成
画像信号を生成する他方モードでは、モアレが発生しな
いので、このモアレを目立たなくするための光学的ロー
パスフィルタである空間フィルタを設ける必要がない。According to this configuration, there are two modes,
In one mode, a normal output image signal generated from one original image signal is output, and in the other mode, a composite image signal is generated and output from two original image signals. In the other mode in which the combined image signal is generated, moire does not occur, so that there is no need to provide a spatial filter which is an optical low-pass filter for making the moire less noticeable.

【００５６】したがって、空間フィルタは、原画像信号
をそのまま出力する一方モードでのモアレを目立たなく
するものだけでよく、また、一方モードに適合させた空
間フィルタでよく、他方モードではその空間フィルタを
そのまま適用することができ、可変機構を必要としない
固定のものでよい。その結果、安価で小型のカラー撮像
装置を実現できる。Therefore, the spatial filter only needs to be one that makes the moiré in one mode in which the original image signal is output as it is inconspicuous, and it can be a spatial filter adapted to one mode, and the spatial filter can be used in the other mode. It can be applied as it is, and may be a fixed one that does not require a variable mechanism. As a result, an inexpensive and compact color imaging device can be realized.

【００５７】請求項１８記載のカラー撮像装置は、請求
項１３又は１４記載の構成において、上記移動手段にお
ける結像位置の移動を許容または禁止する移動判定手段
と、撮像素子に入射される画像光の空間周波数成分を減
衰させる可変空間フィルタであって、撮像位置の移動が
禁止されるときに空間周波数成分を第１の減衰量だけ減
衰させ、許容されるときは画像光の光路から除去される
可変空間フィルタをさらに含む構成である。In the color image pickup apparatus according to the present invention, in the constitution according to the present invention, the movement judging means for permitting or prohibiting the movement of the image forming position by the moving means, and the image light incident on the image pickup device. Is a variable spatial filter that attenuates the spatial frequency component of the image light, wherein the spatial frequency component is attenuated by a first attenuation amount when the movement of the imaging position is prohibited, and is removed from the optical path of the image light when it is allowed. The configuration further includes a variable spatial filter.

【００５８】請求項１７に記載した構成のように、可変
機構を必要としない固定空間フィルタの場合、安価で小
型のカラー撮像装置を実現できるといった利点を有す
る。しかしながら、固定空間フィルタが配設されたまま
であると、合成画像信号を出力するモードで、固定空間
フィルタによる空間周波数成分が低下するため、合成画
像信号の高周波数成分のゲインが小さくなるといった不
具合を生じる。そこで、合成画像信号を出力するモード
では、空間フィルタが光路から抜脱される可変空間フィ
ルタの構成としている。これにより、合成画像信号を出
力するモードでの画像がより高画質になる。In the case of a fixed spatial filter which does not require a variable mechanism as in the configuration of the seventeenth aspect, there is an advantage that an inexpensive and small color image pickup device can be realized. However, if the fixed spatial filter is still provided, the spatial frequency component due to the fixed spatial filter is reduced in the mode in which the composite image signal is output, so that the gain of the high frequency component of the composite image signal decreases. Occurs. Therefore, in the mode in which the combined image signal is output, the variable spatial filter has a configuration in which the spatial filter is removed from the optical path. As a result, an image in the mode for outputting the composite image signal has higher image quality.

【００５９】本発明の請求項１６記載のカラー撮像装置
は、請求項１４の構成において、上記画像合成手段が、
画像メモリから出力された画像信号と撮像素子から出力
された画像信号とを重ね合わせた後に、３種類の色彩光
に対応するそれぞれの画素データごとに、２回の撮像間
の光量差に基づいて発生する空間周波数成分を取り除
く、ローパスフィルタからなる光量差補正手段を有する
ことを特徴としている。According to a sixteenth aspect of the present invention, in the color imaging apparatus according to the fourteenth aspect, the image synthesizing means includes:
After superimposing the image signal output from the image memory and the image signal output from the image sensor, for each pixel data corresponding to three types of color light, based on a light amount difference between two image capturing operations. It is characterized by having a light amount difference correcting means comprising a low-pass filter for removing a generated spatial frequency component.

【００６０】これによれば、光量差補正手段が、画像メ
モリから出力された画像信号と撮像素子から出力された
画像信号とを重ね合わせた後に、３種類の色彩光に対応
するそれぞれの画素データごとに、２回の撮像間の光量
差に基づいて発生する空間周波数成分を取り除くように
なっている。したがって、２枚の原画像間に光量差が生
じる場合でも、１枚の画像メモリしかないカラー撮像装
置においても、ローパスフィルタを施すことにより光量
差を補正することができる。According to this, after the light amount difference correcting means superimposes the image signal output from the image memory and the image signal output from the image pickup device, the respective pixel data corresponding to the three types of color light are obtained. Each time, a spatial frequency component generated based on a light amount difference between two imagings is removed. Therefore, even when a light amount difference occurs between two original images, even in a color imaging apparatus having only one image memory, the light amount difference can be corrected by applying a low-pass filter.

【００６１】[0061]

【発明の実施の形態】本発明に係る実施の形態を、図１
〜図２４に基づいて説明すれば、以下の通りである。DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment according to the present invention is shown in FIG.
24 will be described below.

【００６２】第１実施形態のカラー撮像装置は、いわゆ
る単板式のカラー撮像装置である。本カラー撮像装置
は、通常モードと高解像度モードとの２つの撮影モード
を有している。通常モードでは、後述する撮像素子の受
光領域の数と同数の画素から成る通常出力画像を得る。
高解像度モードでは、後述するイメージシフト動作を行
い、撮像素子の受光領域と同数の画素から成る高解像度
出力画像を得る。高解像度出力画像信号は、撮像素子で
撮像される２つの原画像信号を合成して得られる。The color imaging device of the first embodiment is a so-called single-plate type color imaging device. The present color imaging apparatus has two shooting modes: a normal mode and a high-resolution mode. In the normal mode, a normal output image including the same number of pixels as the number of light receiving regions of the image sensor described later is obtained.
In the high-resolution mode, an image shift operation described later is performed to obtain a high-resolution output image including the same number of pixels as the light-receiving region of the image sensor. The high-resolution output image signal is obtained by combining two original image signals captured by the image sensor.

【００６３】まず、図２を基にして、本カラー撮像装置
の構成を簡単に説明する。図２は、本カラー撮像装置の
構成を示すブロック図である。被写体からの画像光（図
２では光軸１４を記載）は、光学系１に含まれる複数枚
のレンズからなるレンズ群にて結像された後、色フィル
タ１５を通過して、撮像素子２の結像面上に結像され
る。この撮像素子２の結像面には、複数の受光領域が後
述する予め定める配列で並べられている。First, the configuration of the present color imaging apparatus will be briefly described with reference to FIG. FIG. 2 is a block diagram illustrating a configuration of the color imaging apparatus. The image light from the subject (the optical axis 14 is shown in FIG. 2) is imaged by a lens group including a plurality of lenses included in the optical system 1, passes through a color filter 15, and passes through the image sensor 2. Are imaged on the imaging plane of. A plurality of light receiving regions are arranged in a predetermined arrangement described later on the image forming surface of the image sensor 2.

【００６４】上記光学系１には、上述のレンズ群の他に
イメージシフト機構、および空間フィルタも含まれてい
る。イメージシフト機構（移動手段）は、詳細には後述
するが、屈折板を有しており、通常モード選択時、撮像
素子２の結像面上の画像光の結像位置を第１結像位置に
固定させる。一方、イメージシフト機構は、高解像度モ
ード選択時、予め定める時間毎に、結像面上の画像光の
結像位置を第１および第２結像位置にそれぞれシフト移
動させる。以後、このシフト移動させる動作をイメージ
シフト動作と称する。空間フィルタは、いわゆる光学的
ローパスフィルタであり、画像光の空間周波数成分を制
限するためのものである。空間フィルタの詳細な説明も
後述する。The optical system 1 includes an image shift mechanism and a spatial filter in addition to the above-described lens group. The image shift mechanism (moving means) has a refraction plate, which will be described later in detail, and when the normal mode is selected, the image forming position of the image light on the image forming surface of the image sensor 2 is changed to the first image forming position. To be fixed. On the other hand, the image shift mechanism shifts the image forming position of the image light on the image forming plane to the first and second image forming positions at predetermined time intervals when the high resolution mode is selected. Hereinafter, this shift movement operation is referred to as an image shift operation. The spatial filter is a so-called optical low-pass filter for limiting a spatial frequency component of image light. A detailed description of the spatial filter will also be described later.

【００６５】上記撮像素子２は、いわゆる全画素読み出
し型の撮像素子であり、その結像面には、図３に示すよ
うに、複数の受光領域ＰＤが、水平方向Ｈおよび該水平
方向Ｈと直交する垂直方向Ｖに沿って、予め定める配列
周期ＰＨ，ＰＶの間隔で２次元行列的に並べられてい
る。The image pickup device 2 is a so-called all-pixel readout type image pickup device. On its image forming surface, a plurality of light receiving areas PD are arranged in the horizontal direction H and in the horizontal direction H as shown in FIG. They are arranged in a two-dimensional matrix at intervals of a predetermined arrangement period PH, PV along a vertical direction V perpendicular to the direction.

【００６６】この撮像素子２において、画像光に対する
水平方向Ｈのサンプリング周波数ｆＨは、水平方向Ｈの
配列周期ＰＨの逆数であり、同様に垂直方向Ｖのサンプ
リング周波数ｆＶは、垂直方向Ｖの配列周期ＰＶの逆数
である。サンプリング周波数ｆＨは（３）式で、サンプ
リング周波数ｆＶは（４）式で示される。In the image pickup device 2, the sampling frequency fH in the horizontal direction H with respect to the image light is the reciprocal of the arrangement period PH in the horizontal direction H, and similarly, the sampling frequency fV in the vertical direction V is the arrangement period in the vertical direction V. It is the reciprocal of PV. The sampling frequency fH is expressed by equation (3), and the sampling frequency fV is expressed by equation (4).

【００６７】[0067]

【数２】 (Equation 2)

【００６８】なお、これ以後、水平方向Ｈに沿って直線
上に並べられる１群の構成要素を「行」と称し、垂直方
向Ｖに沿って直線上に並べられる１群の構成要素を
「列」と称する。Hereinafter, a group of components arranged on a straight line along the horizontal direction H is referred to as a “row”, and a group of components arranged on a straight line along the vertical direction V is referred to as a “column”. ".

【００６９】また、上記撮像素子２は、予め定める露光
時間だけ、各受光領域ＰＤに画像光の色彩光を受光させ
ることによって、画像光を撮像する。露光時間が経過す
ると、予め定める時間毎に、各受光領域ＰＤからの受光
データを第１または第２原画像信号として、後述する前
処理回路３に導出する。The image pickup element 2 picks up image light by causing each light receiving area PD to receive the color light of the image light for a predetermined exposure time. When the exposure time elapses, the light receiving data from each light receiving area PD is derived to the later-described preprocessing circuit 3 as a first or second original image signal at predetermined time intervals.

【００７０】上記第１および第２原画像信号は、それぞ
れ画像光が、前述した第１結像位置と第２結像位置とに
結像されたときに、画像光を撮像して得られる画像信号
である。各画像信号は、各受光領域ＰＤでの色彩光の受
光量に対応する受光データからそれぞれ構成され、撮像
素子２から出力された段階では、各受光データは受光量
に対応するレベルのアナログ信号である。The first and second original image signals are obtained by imaging the image light when the image light is formed on the first image forming position and the second image forming position, respectively. Signal. Each image signal is composed of light receiving data corresponding to the amount of color light received in each light receiving area PD. At the stage when the light is output from the image sensor 2, each light receiving data is an analog signal of a level corresponding to the amount of received light. is there.

【００７１】図４に、２つの撮像位置である第１結像位
置と第２結像位置との関係を示す。第１結像位置Ｑａを
基準にすると、第２結像位置Ｑｂは第１結像位置Ｑａか
ら水平方向Ｈにシフト長さＰＨだけ移動した位置とな
る。つまり、光学系１のイメージシフト機構は、撮像素
子２の空間サンプリング位置を、水平方向Ｈに画素ピッ
チの長さＰＨだけ変位させるようになっている。FIG. 4 shows the relationship between the two imaging positions, the first imaging position and the second imaging position. With reference to the first imaging position Qa, the second imaging position Qb is a position shifted by the shift length PH in the horizontal direction H from the first imaging position Qa. That is, the image shift mechanism of the optical system 1 shifts the spatial sampling position of the image sensor 2 in the horizontal direction H by the length PH of the pixel pitch.

【００７２】色フィルタ１５は、撮像素子２の光入射側
に配置され、例えば撮像素子２と一体的に形成される。
色フィルタ１５は、図５に示すように、撮像素子２の各
受光領域ＰＤに個別に対応して予め定める色彩光だけを
通過させる透光領域Ｌを受光領域と同数だけ有してい
る。透光領域Ｌは、受光領域ＰＤの配列と等しい配列
で、２次元平面上に並べられている。つまり、色フィル
タ１５を通過することで、撮像素子２の各受光領域ＰＤ
には、予め定める色彩光だけが入射することになる。The color filter 15 is arranged on the light incident side of the image sensor 2 and is formed integrally with the image sensor 2, for example.
As shown in FIG. 5, the color filters 15 have the same number of light-transmitting regions L as light-receiving regions that allow only predetermined color light to pass through corresponding to each light-receiving region PD of the image sensor 2. The translucent regions L are arranged on a two-dimensional plane in the same arrangement as the arrangement of the light receiving regions PD. That is, by passing through the color filter 15, each light receiving area PD of the image sensor 2
, Only predetermined color light is incident.

【００７３】ここで予め定める色彩光は「赤」「緑」
「青」の３色で、図５において透光領域ＬにおけるＲが
赤色光透過フィルタ（以下、Ｒフィルタ）、Ｇが緑色光
透過フィルタ（以下、Ｇフィルタ）、Ｂが青色光透過フ
ィルタ（以下、Ｂフィルタ）である。また、Ｒフィルタ
と同じ行のＧフィルタをＧ１フィルタ、Ｂフィルタと同
じ行上のＧフィルタをＧ２として、区別して称するもの
とする。各色彩光の透光領域Ｌの色配列は、２点鎖線で
囲む２行２列の４つの透光領域Ｌの配列を基本配列パタ
ーンとする周期的な配列である。一般に、このような色
フィルタ１５の配列は、ベイヤー配列と呼ばれている。The predetermined color light is "red" or "green".
In FIG. 5, R is a red light transmission filter (hereinafter, R filter), G is a green light transmission filter (hereinafter, G filter), and B is a blue light transmission filter (hereinafter, blue). , B filter). Further, the G filters on the same row as the R filter are referred to as G1 filters, and the G filters on the same row as the B filters are referred to as G2. The color arrangement of the light-transmitting regions L of the respective colored lights is a periodic array in which an array of four light-transmitting regions L in two rows and two columns surrounded by a two-dot chain line is used as a basic array pattern. Generally, such an array of color filters 15 is called a Bayer array.

【００７４】再び図２に戻り、図２に示す前処理回路３
は、撮像素子２から出力された各原画像信号を増幅した
後、該信号に例えばホワイトバランス補正およびガンマ
補正等の予め定める処理を施す。前処理回路３において
処理された原画像信号は、Ａ／Ｄ変換回路４でデジタル
信号に変換された後、信号処理回路６、合成処理回路１
２、スイッチ１３にそれぞれ導出される。Returning to FIG. 2, the preprocessing circuit 3 shown in FIG.
After amplifying each original image signal output from the imaging element 2, the signal is subjected to predetermined processing such as white balance correction and gamma correction. The original image signal processed by the pre-processing circuit 3 is converted into a digital signal by an A / D conversion circuit 4, and then converted into a digital signal.
2. It is derived to the switch 13 respectively.

【００７５】信号処理回路６は、通常モードにおいて動
作し、単一の原画像信号から、通常出力画像の通常出力
画像信号を生成する。合成処理回路１２は、高解像度モ
ードにおいて動作し、高解像度出力画像の高解像度出力
画像信号を生成する。これら信号処理回路６および合成
処理回路１２の処理の詳細はそれぞれ後述する。The signal processing circuit 6 operates in the normal mode, and generates a normal output image signal of a normal output image from a single original image signal. The composition processing circuit 12 operates in the high resolution mode, and generates a high resolution output image signal of the high resolution output image. Details of the processing of the signal processing circuit 6 and the synthesis processing circuit 12 will be described later.

【００７６】スイッチ１３は、３入力１出力の選択スイ
ッチであり、後述するように、同期信号発生回路９から
の同期信号により、３入力のうちの何れかを選択して出
力する。The switch 13 is a three-input one-output selection switch. As will be described later, the switch 13 selects and outputs one of the three inputs according to a synchronization signal from the synchronization signal generation circuit 9.

【００７７】前述した通常モードおよび高解像度モード
は、例えば装置本体に備えられる操作ボタンをカラー撮
像装置の使用者が操作することによって選択される。モ
ード切り替え回路１１は、使用者の選択に応じて、選択
されたモードに対応する出力を、同期信号発生回路９に
与えるものである。The above-described normal mode and high-resolution mode are selected by, for example, operating the operation buttons provided on the apparatus main body by the user of the color imaging apparatus. The mode switching circuit 11 supplies an output corresponding to the selected mode to the synchronization signal generating circuit 9 in accordance with a user's selection.

【００７８】同期信号発生回路９は、通常モードが選択
されたとき、単一の原画像信号の撮像動作に対応する同
期信号を発生させる一方、高解像度モードが選択された
とき、２つの原画像信号の撮像動作に対応する同期信号
を発生させる。そして、発生された同期信号は、駆動回
路８、メモリ制御回路１０、ならびに前述のスイッチ１
３に与えられる。When the normal mode is selected, the synchronization signal generation circuit 9 generates a synchronization signal corresponding to the imaging operation of a single original image signal. On the other hand, when the high resolution mode is selected, the two original images are generated. A synchronization signal corresponding to a signal imaging operation is generated. The generated synchronization signal is transmitted to the drive circuit 8, the memory control circuit 10, and the switch 1 described above.
3 given.

【００７９】同期信号発生回路９より、単一の原画像信
号の撮像動作に対応する同期信号が発生すると、スイッ
チ１３は、信号処理回路６からの出力を選択する。ま
た、駆動回路８は、まず、光学系１のイメージシフト機
構を前述の第１結像位置に固定し、次いで、同期信号に
応答し、撮像素子２の各受光領域ＰＤから受光データを
前処理回路３に出力させる。同時に、メモリ制御回路１
０は、同期信号に応答し、前処理回路３、Ａ／Ｄ変換回
路４、信号処理回路６、スイッチ１３を介した受光デー
タを単一の通常出力画像信号毎に、画像メモリ５にスト
アさせる。When a synchronizing signal corresponding to the imaging operation of a single original image signal is generated by the synchronizing signal generating circuit 9, the switch 13 selects an output from the signal processing circuit 6. Further, the drive circuit 8 first fixes the image shift mechanism of the optical system 1 at the above-mentioned first image forming position, and then pre-processes the received light data from each light receiving area PD of the image sensor 2 in response to the synchronization signal. Output to the circuit 3. At the same time, the memory control circuit 1
0 responds to the synchronization signal and causes the image memory 5 to store the received light data via the preprocessing circuit 3, the A / D conversion circuit 4, the signal processing circuit 6, and the switch 13 for each single normal output image signal. .

【００８０】一方、同期信号発生回路９より、２つの原
画像信号の撮像動作に対応する同期信号が発生すると、
駆動回路８は、光学系１内のイメージシフト機構を用い
てイメージシフト動作を行う。これによって、撮像素子
２では、各受光領域が受光する色彩光が、被写体の像の
中で移動前の色彩光とずれる。On the other hand, when the synchronization signal generation circuit 9 generates a synchronization signal corresponding to the imaging operation of the two original image signals,
The drive circuit 8 performs an image shift operation using an image shift mechanism in the optical system 1. As a result, in the image sensor 2, the color light received by each light receiving area is shifted from the color light before movement in the image of the subject.

【００８１】高解像度モードによる撮像動作は、まず、
光学系１のイメージシフト機構を第１結像位置に固定す
る。次いで、第１同期信号に応答し、撮像素子２の各受
光領域ＰＤから受光データを前処理回路３に出力させ
る。スイッチ１３は、同期信号に応じて、Ａ／Ｄ変換回
路４からの信号を選択する。受光データは、前処理回路
３により、ホワイトバランス処理、ガンマ補正などの処
理を施された後、Ａ／Ｄ変換回路４およびスイッチ１３
を介して、画像メモリ５に導出される。画像メモリ５
は、受光データを第１原画像信号としてストアする。The imaging operation in the high-resolution mode is as follows.
The image shift mechanism of the optical system 1 is fixed at the first imaging position. Next, in response to the first synchronization signal, the light receiving data is output to the preprocessing circuit 3 from each light receiving area PD of the image sensor 2. The switch 13 selects a signal from the A / D conversion circuit 4 according to the synchronization signal. The received light data is subjected to processing such as white balance processing and gamma correction by the preprocessing circuit 3, and then the A / D conversion circuit 4 and the switch 13
Via the image memory 5. Image memory 5
Stores the received light data as a first original image signal.

【００８２】次いで、同期信号発生回路９からの第２同
期信号に応じて、駆動回路８は、光学系１内のイメージ
シフト機構を駆動して、イメージシフト機構を予め定め
る第２結像位置に固定する。また、スイッチ１３は、合
成処理回路１２からの信号を選択する。また、画像メモ
リ５は、先程ストアした第１原画像信号を出力する。こ
の第１原画像信号は、合成処理回路１２に導出される。
同期信号に応じて、撮像素子２の各受光領域ＰＤから受
光データは、前処理回路３、Ａ／Ｄ変換回路４に導出さ
れる。この受光データは、第２原画像信号として合成処
理回路（画像合成手段）１２に導出される。Next, in response to the second synchronizing signal from the synchronizing signal generating circuit 9, the drive circuit 8 drives the image shift mechanism in the optical system 1 to move the image shift mechanism to a predetermined second imaging position. Fix it. The switch 13 selects a signal from the synthesis processing circuit 12. The image memory 5 outputs the first original image signal stored earlier. This first original image signal is derived to the synthesis processing circuit 12.
Light receiving data from each light receiving area PD of the image sensor 2 is derived to the pre-processing circuit 3 and the A / D conversion circuit 4 according to the synchronization signal. The received light data is derived as a second original image signal by the synthesis processing circuit (image synthesis means) 12.

【００８３】合成処理回路１２は、画像メモリ５から第
１原画像信号を入力し、Ａ／Ｄ変換回路４から第２原画
像信号を入力する。これら２枚の原画像信号を合成処理
し、高解像度である高解像度出力画像を生成し、画像メ
モリ５へ再びストアする。The synthesizing circuit 12 receives the first original image signal from the image memory 5 and the second original image signal from the A / D conversion circuit 4. By combining these two original image signals, a high-resolution output image having a high resolution is generated and stored in the image memory 5 again.

【００８４】ここで、画像メモリ５は、ストアされた第
１原画像信号を出力しながら、高解像度出力画像を入力
している。すなわち、出力されていく第１原画像信号の
領域から、順次高解像度出力画像を上書きしていく。し
たがって、第１原画像信号をすべて出力し終える時点
で、画像メモリ５には、高解像度出力画像のストアが完
了することになる。このような画像メモリ５のストア方
法により、画像メモリ５の容量は、原画像信号もしくは
高解像度出力画像の１枚分だけでよく、２枚分の容量を
必要としない。Here, the image memory 5 inputs a high-resolution output image while outputting the stored first original image signal. That is, the high-resolution output image is sequentially overwritten from the area of the first original image signal to be output. Therefore, when the output of all the first original image signals is completed, the storing of the high-resolution output image in the image memory 5 is completed. Due to such a storing method of the image memory 5, the capacity of the image memory 5 is only one for the original image signal or the high-resolution output image, and the capacity for the two images is not required.

【００８５】画像メモリ５にストアされた通常出力画像
信号、高解像度出力画像信号は何れも、最終的に、記録
媒体７にストアされる。Both the normal output image signal and the high resolution output image signal stored in the image memory 5 are finally stored in the recording medium 7.

【００８６】なお、本発明の移動手段は、後述するイメ
ージシフト機構と駆動回路８にて構成され、移動判定手
段は、上記したモード切り替え回路１１、メモリ制御回
路１０、同期信号発生回路９、駆動回路８にて構成され
る。また、本発明の画像合成処理回路は、合成処理回路
１２と、スイッチ１３、メモリ制御回路１０から構成さ
れる。また、図２では特には図示していないが、各部を
制御する制御手段としてのＣＰＵ等からなる制御系が備
えられている。The moving means of the present invention comprises an image shift mechanism and a driving circuit 8 described later. The moving judging means comprises the mode switching circuit 11, the memory control circuit 10, the synchronizing signal generating circuit 9, It is composed of a circuit 8. The image composition processing circuit of the present invention includes a composition processing circuit 12, a switch 13, and a memory control circuit 10. Although not particularly shown in FIG. 2, a control system including a CPU or the like as control means for controlling each unit is provided.

【００８７】次に、図６ないし図１３を用いて、光学系
１に含まれる前述したイメージシフト機構、および固定
光学フィルタについて詳細に説明する。Next, the image shift mechanism and the fixed optical filter included in the optical system 1 will be described in detail with reference to FIGS.

【００８８】図６に、光学系１におけるレンズ群２１、
イメージシフト機構２２の屈折板２３、および撮像素子
２の位置関係を示す。レンズ群２１は、複数枚のレンズ
により構成され、各収差を補正しつつ、光学系１に入射
される画像光を撮像素子２の結像面上において結像させ
る。イメージシフト機構２２は、屈折板２３を有し、レ
ンズ群２１と撮像素子２との間に介在される。レンズ群
２１を通過後の画像光の光軸１４は、屈折板２３を通
り、色フィルタ１５を通過して、撮像素子２の結像面に
至る。以降、この画像光の光軸１４と平行な方向をＺと
称する。空間フィルタは、これらの構成要素であるレン
ズ群２１と撮像素子２の間の任意の位置に設置される。FIG. 6 shows a lens group 21 in the optical system 1.
4 shows a positional relationship between the refraction plate 23 of the image shift mechanism 22 and the image sensor 2. The lens group 21 is configured by a plurality of lenses, and forms image light incident on the optical system 1 on the image forming surface of the image sensor 2 while correcting each aberration. The image shift mechanism 22 has a refraction plate 23 and is interposed between the lens group 21 and the image sensor 2. The optical axis 14 of the image light after passing through the lens group 21 passes through the refraction plate 23, passes through the color filter 15, and reaches the image plane of the image sensor 2. Hereinafter, the direction parallel to the optical axis 14 of the image light is referred to as Z. The spatial filter is installed at an arbitrary position between the lens group 21 and the image sensor 2 which are these components.

【００８９】図７に、イメージシフト機構２２の具体的
構成を示す。イメージシフト機構２２に含まれる屈折板
２３は、透光性を有する矩形の板状部材であり、透光性
を有するガラス部材等で形成される。例えばＢＫ７のよ
うな光学ガラスを材料として用いる。屈折板２３は、イ
ナーシャを小さくするために、できるだけ軽量とするこ
とが望ましい。FIG. 7 shows a specific configuration of the image shift mechanism 22. The refraction plate 23 included in the image shift mechanism 22 is a translucent rectangular plate-like member, and is formed of a translucent glass member or the like. For example, an optical glass such as BK7 is used as a material. It is desirable that the refraction plate 23 be as light as possible in order to reduce inertia.

【００９０】屈折板２３の水平方向Ｈの両側方には、一
対の圧電素子３１，３２が配置される。これら圧電素子
３１，３２は、いわゆるバイモルフ型の圧電素子であ
り、短冊状の３枚の電極の間に圧電セラミックが介在さ
れる構造を有する。この圧電素子３１，３２の長手方向
は、イメージシフト動作のシフト方向と平行な水平方向
Ｈに平行である。A pair of piezoelectric elements 31 and 32 are arranged on both sides of the refraction plate 23 in the horizontal direction H. Each of the piezoelectric elements 31 and 32 is a so-called bimorph type piezoelectric element, and has a structure in which piezoelectric ceramic is interposed between three strip-shaped electrodes. The longitudinal direction of the piezoelectric elements 31 and 32 is parallel to a horizontal direction H parallel to the shift direction of the image shift operation.

【００９１】各圧電素子３１，３２は片持梁構造であ
り、長手方向の両端部のうち、図面を記す紙面で手前側
の一方端を固定端、奥側の他方端を自由端とする。圧電
素子３１，３２の各電極からは、圧電素子３１，３２の
固定端側から導線３８，３９がそれぞれ引き出される。
この導線３８，３９は、駆動回路８に接続される。Each of the piezoelectric elements 31 and 32 has a cantilever structure, and, of the two ends in the longitudinal direction, one end on the near side as a fixed end and the other end on the back side as a free end in the drawing paper are shown. From the electrodes of the piezoelectric elements 31 and 32, conducting wires 38 and 39 are drawn out from the fixed ends of the piezoelectric elements 31 and 32, respectively.
The conductors 38 and 39 are connected to the drive circuit 8.

【００９２】圧電素子３１，３２の自由端側の部分は、
上保持板３３および下保持板３４に挟持される。上保持
板３３および下保持板３４は、例えば合成樹脂である軽
量な材料によって形成される。上および下保持板３３，
３４は、概略的に短冊状の部材であって、長手方向の両
側に肉厚部分が形成され、水平方向Ｈから見て概略的に
「コ」の字状の形状を有する。The free ends of the piezoelectric elements 31 and 32 are:
It is sandwiched between the upper holding plate 33 and the lower holding plate 34. The upper holding plate 33 and the lower holding plate 34 are formed of a lightweight material, for example, a synthetic resin. Upper and lower holding plates 33,
Reference numeral 34 denotes a generally strip-shaped member having thick portions formed on both sides in the longitudinal direction, and having a substantially U-shape when viewed from the horizontal direction H.

【００９３】上および下保持板３３，３４は、その長手
方向が垂直方向Ｖと平行となるように設置され、かつそ
の肉厚部同士を対向させて一対の圧電素子３１，３２を
挟持し、同時にその中間部で屈折板２３を挟持して、サ
ンドイッチ接合構造を形成する。各構成要素間の接合に
は、エポキシ系樹脂のフィルム状接着剤などが用いられ
る。これによって、屈折板２３は、圧電素子３１，３２
の自由端側の部分に、上および下保持板３３，３４は、
屈折板２３の中心を含む仮想的なＨＶ平面を対象面とす
る上下対称の構造を有する。圧電素子３１，３２が片持
梁として動作するとき、その自由端側部分は、他の構成
部材に動きを拘束されることなく自由に変位することが
できる。The upper and lower holding plates 33, 34 are installed so that their longitudinal directions are parallel to the vertical direction V, and sandwich the pair of piezoelectric elements 31, 32 with their thick portions facing each other. At the same time, the refraction plate 23 is sandwiched between the intermediate portions to form a sandwich bonding structure. An epoxy resin film adhesive or the like is used for joining the components. Thereby, the refraction plate 23 is connected to the piezoelectric elements 31 and 32.
The upper and lower holding plates 33, 34 are located at the free end side of
It has a vertically symmetric structure with a virtual HV plane including the center of the refraction plate 23 as an object plane. When the piezoelectric elements 31 and 32 operate as cantilevers, their free end portions can be freely displaced without being restricted by other components.

【００９４】また、各圧電素子３１，３２の固定端側の
部分は、ステージ３５に接合されて固定される。ステー
ジ３５は、図示しないカラー撮像装置の筐体の所定位置
に固定される。この圧電素子３１，３２の固定方法は、
これに限らず、例えば固定端側の部分をステージ３５お
よびステージ３５とほぼ同形状の別部材によって挟持
し、これら部材をビスで固定することで固定してもよ
い。この筐体内部には、被写体からの画像光の全光束が
屈折板２３を通過するように、前述の光学系１が配置さ
れる。The fixed ends of the piezoelectric elements 31 and 32 are joined to the stage 35 and fixed. The stage 35 is fixed to a predetermined position of a casing of a color imaging device (not shown). The method of fixing the piezoelectric elements 31 and 32 is as follows.
However, the present invention is not limited to this. For example, the portion on the fixed end side may be sandwiched by the stage 35 and another member having substantially the same shape as the stage 35, and these members may be fixed by screws. The above-described optical system 1 is arranged inside the housing such that the entire luminous flux of image light from the subject passes through the refraction plate 23.

【００９５】さらに、この筐体内部には、圧電素子３
１，３２の光軸方向の位置を検出するための位置センサ
３６，３７が配置される。位置センサ３６，３７は、例
えば反射型のフォトインタラプタで実現される。位置セ
ンサ３６，３７は、鏡面加工が施された下保持板３４か
らの反射光を受光して下保持板の変位を検出し、その変
位量から圧電素子３６，３７の変位を推測する。位置セ
ンサ３６，３７の検出結果は、駆動回路８に与えられ
る。Further, inside the housing, a piezoelectric element 3 is provided.
Position sensors 36 and 37 for detecting the positions of the optical axes 1 and 32 in the optical axis direction are arranged. The position sensors 36 and 37 are realized by, for example, a reflection type photo interrupter. The position sensors 36 and 37 receive the reflected light from the mirror-finished lower holding plate 34 to detect the displacement of the lower holding plate, and estimate the displacement of the piezoelectric elements 36 and 37 from the amount of the displacement. The detection results of the position sensors 36 and 37 are given to the drive circuit 8.

【００９６】このような構造を有するイメージシフト機
構２２は、屈折板２３の中心を通り、垂直方向Ｖに平行
に伸びる仮想基準軸線を備える構造の機構と同等に動
く。このイメージシフト機構２２は、従来のイメージシ
フト機構と比較して、装置全体の大きさが小さい。The image shift mechanism 22 having such a structure moves similarly to a mechanism having a virtual reference axis extending through the center of the refraction plate 23 and extending in parallel with the vertical direction V. The image shift mechanism 22 has a smaller overall size than the conventional image shift mechanism.

【００９７】このイメージシフト機構２２でイメージシ
フト動作を行うとき、該機構２２は、画像光を結像させ
るべき結像位置に応じて仮想基準軸線を中心として屈折
板２３を角変位させることによって、屈折板２３と入射
側の画像光の光軸１４ａとの成す角度を変化させる。第
１および第２結像位置を結像させるときのイメージシフ
ト機構２２が取るべき状態を、それぞれ第１および第２
状態とする。第１および第２状態は、駆動回路８からの
信号の有無によって切り替えられる。When the image shift mechanism 22 performs an image shift operation, the mechanism 22 angularly displaces the refraction plate 23 about the virtual reference axis in accordance with the image forming position where the image light is to be formed. The angle formed between the refraction plate 23 and the optical axis 14a of the image light on the incident side is changed. The states to be taken by the image shift mechanism 22 when forming the first and second image forming positions are first and second states, respectively.
State. The first and second states are switched according to the presence or absence of a signal from the drive circuit 8.

【００９８】第１状態では、駆動回路８は、圧電素子３
１，３２に信号を与えない。このとき圧電素子３１，３
２はＨＶ平面に対して平行な状態を保つので、屈折板２
３の入射面と入射側の光軸１４ａとが直交する。第１結
像位置は、この状態の屈折板２３を通過した後の画像光
の光軸１４ｂと、撮像素子２の結像面との交点である。In the first state, the driving circuit 8
No signal is given to 1,32. At this time, the piezoelectric elements 31 and 3
2 keeps the state parallel to the HV plane.
3 and the optical axis 14a on the incident side are orthogonal to each other. The first imaging position is the intersection of the optical axis 14b of the image light after passing through the refraction plate 23 in this state and the imaging plane of the image sensor 2.

【００９９】第２状態では、駆動回路８は、導線３８，
３９を介して、圧電素子３１，３２の圧電セラミックを
挟持する各電極に、あらかじめ定める信号を与える。こ
れによって、２対の電極間に予め定める電圧が印加され
るので、固定端の部分を支点として、支点から自由端ま
でが連続的に歪み、自由端の端部を光学軸方向Ｚに変位
させる。屈折板２３は、この自由端の変位に応じて、仮
想基準軸線を回転中心として角変位する。これによっ
て、屈折板２３の入射面は、入射側の光軸１４ａに対し
て予め定める傾斜角度だけ傾く。In the second state, the drive circuit 8 connects the conductor 38,
A predetermined signal is applied to each electrode of the piezoelectric elements 31 and 32 sandwiching the piezoelectric ceramics via 39. As a result, a predetermined voltage is applied between the two pairs of electrodes, so that the fulcrum from the fulcrum to the free end is continuously distorted with the fixed end as a fulcrum, and the free end is displaced in the optical axis direction Z. . The refraction plate 23 is angularly displaced about the virtual reference axis in accordance with the displacement of the free end. Thereby, the incident surface of the refraction plate 23 is inclined by a predetermined inclination angle with respect to the optical axis 14a on the incident side.

【０１００】このとき、位置センサ３６，３７は下保持
板の変位から圧電素子３１，３２の変位を検出して、駆
動回路８に与える。駆動回路８は、位置センサ３６，３
７の検出結果と予め定める目標値とを比較して、その誤
差量を検出する。駆動回路８は、この誤差量がゼロに成
るように、圧電素子３１，３２の電極に与える信号の電
圧を微調整して、屈折板２３の傾斜角度を微調整する。At this time, the position sensors 36 and 37 detect the displacement of the piezoelectric elements 31 and 32 from the displacement of the lower holding plate, and give the displacement to the drive circuit 8. The drive circuit 8 includes the position sensors 36 and 3
7 is compared with a predetermined target value to detect the error amount. The drive circuit 8 finely adjusts the voltage of the signal applied to the electrodes of the piezoelectric elements 31 and 32 and finely adjusts the inclination angle of the refraction plate 23 so that the error amount becomes zero.

【０１０１】屈折板２３通過後の画像光の光軸は、入射
側の光軸１４ａの延長線から、屈折板２３の傾斜角度に
対応したシフト長さだけ、仮想基準軸線に直交する方向
に平行移動する。これによって、イメージシフト機構２
２が第２状態にあるとき、屈折板２３通過後の画像光の
光軸は、水平方向Ｈに沿って予め定めるシフト長さだけ
平行移動する。第２結像位置は、この平行移動後の光軸
と撮像素子２の結像面の交点である。したがって、第２
結像位置は、第１結像位置から見て、光軸のシフト方向
と同じシフト長さだけずれる。このような動作によっ
て、画像光の結像位置がシフト移動する。The optical axis of the image light after passing through the refraction plate 23 is parallel to the direction perpendicular to the virtual reference axis by a shift length corresponding to the inclination angle of the refraction plate 23 from the extension of the optical axis 14a on the incident side. Moving. Thereby, the image shift mechanism 2
When 2 is in the second state, the optical axis of the image light after passing through the refraction plate 23 translates in the horizontal direction H by a predetermined shift length. The second imaging position is the intersection of the optical axis after the translation and the imaging plane of the image sensor 2. Therefore, the second
The image forming position is shifted from the first image forming position by the same shift length as the optical axis shift direction. Such an operation shifts the image formation position of the image light.

【０１０２】なお、図７に示したイメージシフト機構２
２は、圧電素子により屈折板２３を駆動した構成である
が、駆動素子はこれに限られるものではなく、ソレノイ
ド、ボイスコイルモータ、あるいはプランジャなどの駆
動素子を用いて、屈折板２３を駆動してもよい。また、
イメージシフト機構２２に代わって、可変頂角プリズム
によってイメージシフト動作を行ってもよい。この可変
頂角プリズムは、例えば『ＩＴＥＪ Ｔｅｃｈｎｉｃａ
ｌ Ｒｅｐｏｒｔ Ｖｏｌ．１７，Ｎｏ．５，ｐｐ．１
５〜２０，ＣＥ’９３−３（Ｊａｎ，１９９３）』に開
示されている。The image shift mechanism 2 shown in FIG.
Reference numeral 2 denotes a configuration in which the refraction plate 23 is driven by a piezoelectric element, but the drive element is not limited to this, and the refraction plate 23 is driven using a drive element such as a solenoid, a voice coil motor, or a plunger. You may. Also,
The image shift operation may be performed by a variable apex angle prism instead of the image shift mechanism 22. This variable apex angle prism is described, for example, in "ITEJ Technica".
l Report Vol. 17, No. 5, pp. 1
5-20, CE '93 -3 (Jan, 1993) ".

【０１０３】また、イメージシフト機構２２に代わっ
て、光学系１内のいずれか１つまたは複数のレンズを移
動することによって、イメージシフト動作を行ってもよ
い。この際に、移動量を検出しながら圧電素子などの構
成部材を用いて変位させる。また、イメージシフト機構
２２に代わって、撮像素子２または撮像素子２と光学系
１とを含むブロックを、画像光の光軸を固定した状態で
の撮像素子２または該ブロックの移動によって、イメー
ジシフト動作を行ってもよい。この際に、移動量を検出
しながら圧電素子などの構成部材を用いて変位させる。The image shift operation may be performed by moving one or more lenses in the optical system 1 instead of the image shift mechanism 22. At this time, the displacement is performed using a component such as a piezoelectric element while detecting the movement amount. Further, instead of the image shift mechanism 22, the image sensor 2 or a block including the image sensor 2 and the optical system 1 is shifted by moving the image sensor 2 or the block while the optical axis of the image light is fixed. Operation may be performed. At this time, the displacement is performed using a component such as a piezoelectric element while detecting the movement amount.

【０１０４】このように、イメージシフト動作のための
機構は、上述の第１および第２結像位置に結像位置を移
動できるものであれば、上述の機構に限らずどのような
構造の機構を用いてもよい。As described above, the mechanism for the image shift operation is not limited to the above-described mechanism, but may be any mechanism that can move the image forming position to the above-described first and second image forming positions. May be used.

【０１０５】図８に、空間フィルタの具体的構成を説明
する。図８に示す空間フィルタ４０は、複屈折板４１、
１／４波長板４２、複屈折板４３が、画像光の光軸１４
上に、入射側からこの順で配列されて形成されている。
複屈折板４１、１／４波長板４２、複屈折板４３は、入
射側の画像光の光軸１４と直交する入射面および射出面
をそれぞれ有する。FIG. 8 illustrates a specific configuration of the spatial filter. The spatial filter 40 shown in FIG.
The 波長 wavelength plate 42 and the birefringent plate 43 serve as the optical axis 14 of the image light.
On the upper side, they are arranged in this order from the incident side.
The birefringent plate 41, the quarter-wave plate 42, and the birefringent plate 43 have an entrance surface and an exit surface, respectively, which are orthogonal to the optical axis 14 of the incident image light.

【０１０６】以後、水平方向Ｈ、垂直方向Ｖ、および光
軸方向Ｚの各単位ベクトルを、ベクトルｉ，ｊ，ｋと表
す。また、ベクトルｉ，ｊに平行でかつベクトルｋと直
交する平面を、ＨＶ平面とする。このＨＶ平面は、複屈
折板４１、１／４波長板４２、複屈折板４３の入射面お
よび射出面と平行である。Hereinafter, each unit vector in the horizontal direction H, the vertical direction V, and the optical axis direction Z is represented as a vector i, j, k. A plane parallel to the vectors i and j and orthogonal to the vector k is defined as an HV plane. The HV plane is parallel to the entrance surface and the exit surface of the birefringent plate 41, the quarter-wave plate 42, and the birefringent plate 43.

【０１０７】上記の複屈折板４１，４３は、例えば水晶
板で実現される。図９（ａ)(ｂ）は、空間フィルタ４０
の複屈折板４１，４３の各分離ベクトルＶ４１，Ｖ４３
をＨＶ平面に投影した状態を示す図である。また、複屈
折板４１，４３の各分離ベクトルＶ４１，Ｖ４３の大き
さ、すなわち分離長さは、複屈折板４１，４３の光軸方
向Ｚの厚さに比例して定められる。ゆえに、複屈折板４
１，４３の厚さは、それぞれ後述する分離長さが生じる
ように設定される。分離ベクトルＶ４１，Ｖ４３は、前
述した単位ベクトルｉ，ｊ，ｋによって、（５）式
（６）式でそれぞれ規定される。The birefringent plates 41 and 43 are realized by, for example, quartz plates. FIGS. 9A and 9B show the spatial filter 40.
Separation vectors V41, V43 of the birefringent plates 41, 43
FIG. 4 is a diagram showing a state where is projected on an HV plane. The size of each of the separation vectors V41 and V43 of the birefringent plates 41 and 43, that is, the separation length is determined in proportion to the thickness of the birefringent plates 41 and 43 in the optical axis direction Z. Therefore, the birefringent plate 4
The thicknesses of the reference numerals 1 and 43 are set such that a separation length described later is generated. The separation vectors V41 and V43 are respectively defined by the above-described unit vectors i, j, and k by the expressions (5) and (6).

【０１０８】[0108]

【数３】 (Equation 3)

【０１０９】上式から、複屈折板４１，４３の各分離ベ
クトルＶ４１，Ｖ４３の向きは、それぞれ反時計まわり
に見て、水平方向Ｈと成す向き角θ41，θ43はそれぞ
れ、（７）式（８）式の通りである。From the above equation, the directions of the respective separation vectors V41 and V43 of the birefringent plates 41 and 43 are, when viewed in the counterclockwise direction, the direction angles θ 41 and θ 43 formed with the horizontal direction H respectively (7) Equation (8) is as follows.

【０１１０】[0110]

【数４】 (Equation 4)

【０１１１】また、複屈折板４１，４３の分離長さは、
どちらも以下の通りである。The separation length of the birefringent plates 41 and 43 is
Both are as follows.

【０１１２】[0112]

【数５】 (Equation 5)

【０１１３】また、θ41＝−θ43＝π／４ｒａｄ（ラジ
アン）の時、つまりＰＨ＝ＰＶの時に、空間フィルタ
は、図１０に示す構成としてもよい。図１０に示す空間
フィルタ６０は、３枚の複屈折板６１〜６３が、画像光
の光軸１４上に、入射側からこの順で配列されて形成さ
せる。複屈折板６１〜６３は、入射側の画像光の光軸１
４と直交する入射面および射出面をそれぞれ有する。複
屈折板６１〜６３は、例えば水晶板で実現される。When θ 41 = −θ 43 = π / 4 rad (radian), that is, when PH = PV, the spatial filter may have the configuration shown in FIG. The spatial filter 60 shown in FIG. 10 is formed by arranging three birefringent plates 61 to 63 on the optical axis 14 of image light in this order from the incident side. The birefringent plates 61 to 63 are connected to the optical axis 1 of the image light on the incident side.
4 has an entrance surface and an exit surface orthogonal to each other. The birefringent plates 61 to 63 are realized by a quartz plate, for example.

【０１１４】図１１（ａ）〜（ｃ）は、空間フィルタ６
０の複屈折板６１〜６３の各分離ベクトルＶ６１〜Ｖ６
３をＨＶ平面に投影した状態を示す図である。また、複
屈折板６１〜６３の各分離ベクトルＶ６１〜Ｖ６３の大
きさ、すなわち分離長さは、複屈折板６１〜６３各々の
光軸方向Ｚの厚さに比例して定められる。ゆえに、各複
屈折板６１〜６３の厚さは、それぞれ後述する分離長さ
が生じるように設定される。各分離ベクトルＶ６１〜Ｖ
６３は、前述した単位ベクトルｉ，ｊ，ｋによって、
（９）式（１０）式（１１）式で規定される。FIGS. 11A to 11C show the spatial filter 6.
Separation vectors V61 to V6 of birefringent plates 61 to 63 of 0
FIG. 3 is a diagram showing a state where 3 is projected on an HV plane. The size of each of the separation vectors V61 to V63 of the birefringent plates 61 to 63, that is, the separation length is determined in proportion to the thickness of each of the birefringent plates 61 to 63 in the optical axis direction Z. Therefore, the thickness of each of the birefringent plates 61 to 63 is set such that a separation length described later occurs. Each separation vector V61 to V
63 is given by the unit vectors i, j, k described above.
Equation (9) is defined by Equation (10) and Equation (11).

【０１１５】[0115]

【数６】 (Equation 6)

【０１１６】ここで、Ｐ＝ＰＨ＝ＰＶである。上式か
ら、複屈折板６１〜６３の各分離ベクトルＶ６１〜Ｖ６
３の向きは、それぞれ反時計まわりに見て、水平方向Ｈ
と１８０度、９０度、３１５度を成す向きであることが
分かる。また、複屈折板６１〜６３の分離長さは、順に
以下の通りである。Here, P = PH = PV. From the above equation, the separation vectors V61 to V6 of the birefringent plates 61 to 63 are obtained.
3 are viewed in the counterclockwise direction and the horizontal direction H
It can be seen that the directions are 180 degrees, 90 degrees, and 315 degrees. The separation lengths of the birefringent plates 61 to 63 are as follows in order.

【０１１７】[0117]

【数７】 (Equation 7)

【０１１８】図８の空間フィルタ４０を通過した画像光
も、ＰＨ＝ＰＶの場合に適用できる図１０の空間フィル
タ６０を通過した画像光も、図１２に示すように、４本
の光線に分離する。The image light passing through the spatial filter 40 shown in FIG. 8 and the image light passing through the spatial filter 60 shown in FIG. 10 which can be applied when PH = PV are separated into four light beams as shown in FIG. I do.

【０１１９】ここで図１３に、空間フィルタ４０の空間
周波数特性を示す。なお、以下に示す総ての空間周波数
平面は、第１象限および第２象限だけを示すものとす
る。これは、第３象限および第４象限は、第１象限およ
び第２象限と共役関係にあるため、空間周波数特性を示
すのはこの２つの象限だけで十分であるからである。FIG. 13 shows the spatial frequency characteristics of the spatial filter 40. All the spatial frequency planes shown below show only the first quadrant and the second quadrant. This is because the third and fourth quadrants have a conjugate relationship with the first and second quadrants, so that only these two quadrants are sufficient to exhibit spatial frequency characteristics.

【０１２０】空間フィルタ４０は、図１３の破線、すな
わち（ｆＨ，０）と（０，ｆＶ）を結ぶ破線、および
（−ｆＨ，０）と（０，ｆＶ）を結ぶ破線上の空間周波
数成分をトラップする。また、空間フィルタ６０は、空
間フィルタ４０において、θ41＝−θ43＝π／４ｒａｄ
とした場合と等しい空間周波数特性を持つ。The spatial filter 40 has a spatial frequency component on the broken line in FIG. 13, that is, the broken line connecting (fH, 0) and (0, fV) and the broken line connecting (−fH, 0) and (0, fV). Trap. In addition, the spatial filter 60 is configured such that, in the spatial filter 40, θ 41 = −θ 43 = π / 4 rad.
And has the same spatial frequency characteristic as

【０１２１】本カラー撮像装置においては、空間フィル
タ４０（或いは空間フィルタ６０）は、可変機構をもた
ず固定されており、通常モードにおいても、高解像度モ
ードにおいても、同じ空間周波数特性を画像光に施すも
のとなっている。In the present color image pickup apparatus, the spatial filter 40 (or the spatial filter 60) is fixed without a variable mechanism, and has the same spatial frequency characteristics in the image light in both the normal mode and the high resolution mode. It is to be applied to.

【０１２２】次に、図１４ないし図１９を用いて、信号
処理回路６の通常モード時の処理について説明する。信
号処理回路６は、前述したように、単一の原画像信号か
ら輝度信号および色差信号を求めるものである。Next, the processing in the normal mode of the signal processing circuit 6 will be described with reference to FIGS. As described above, the signal processing circuit 6 obtains a luminance signal and a color difference signal from a single original image signal.

【０１２３】図１４の空間周波数平面図に、輝度信号お
よび色差信号のモアレのキャリア周波数を示す。輝度の
基底帯域１２１を、図１４では斜線を付して示す。輝度
の基底帯域１２１の範囲は、（ｆＨ／２，ｆＶ／２）、
（−ｆＨ／２，ｆＶ／２）、（ｆＨ／２，０）、（−ｆ
Ｈ／２，０）の４点を頂点とする矩形領域である。FIG. 14 is a plan view of the spatial frequency, showing the carrier frequency of the moire of the luminance signal and the color difference signal. The base band 121 of the luminance is shown by hatching in FIG. The range of the luminance base band 121 is (fH / 2, fV / 2),
(-FH / 2, fV / 2), (fH / 2, 0), (-f
H / 2,0) is a rectangular area having vertices at four points.

【０１２４】上述の基底帯域１２１内において、色差信
号のモアレのキャリア周波数の存在する位置は、（ｆＨ
／２，ｆＶ／２）、（−ｆＨ／２，ｆＶ／２）、（ｆＨ
／２，０）、（−ｆＨ／２，０）、（０，ｆＶ／２）の
５箇所である。図１４では、これらの位置に○印を付し
て示す。In the above-mentioned base band 121, the position where the carrier frequency of the moiré of the color difference signal exists is (fH
/ 2, fV / 2), (-fH / 2, fV / 2), (fH
/ 2, 0), (-fH / 2, 0), and (0, fV / 2). In FIG. 14, these positions are indicated by circles.

【０１２５】上述した空間フィルタ４０（或いは空間フ
ィルタ６０）によりトラップされる空間周波数成分を破
線で示す。上述の５箇所の色差信号のモアレのうち、先
の２箇所、つまり、（ｆＨ／２，ｆＶ／２）、（−ｆＨ
／２，ｆＶ／２）は、空間フィルタ４０（或いは空間フ
ィルタ６０）によって減衰されるので、視覚的に目立た
なくなる。The spatial frequency components trapped by the spatial filter 40 (or the spatial filter 60) are indicated by broken lines. Of the moiré of the five color difference signals described above, the previous two moieties, ie, (fH / 2, fV / 2), (−fH
/ 2, fV / 2) are attenuated by the spatial filter 40 (or the spatial filter 60), and are therefore visually inconspicuous.

【０１２６】これに対し、後の３箇所は、水平方向また
は垂直方向の空間周波数軸上にあり、視覚的に目立つモ
アレである。上記の信号処理回路６は、この３箇所のモ
アレを信号処理にて抑圧するものである。On the other hand, the last three locations are moire which is on the spatial frequency axis in the horizontal or vertical direction and is visually noticeable. The signal processing circuit 6 suppresses these three moire patterns by signal processing.

【０１２７】図１５のブロック図に、信号処理回路６の
構成を示す。信号処理回路６においいて、Ａ／Ｄ変換回
路４（図２参照）から出力された原画像信号は、端子１
４５から入力され、該原画像信号を基に、輝度信号Ｙお
よび２種類の色差信号Ｒ−Ｙ，Ｂ−Ｙを生成し、端子１
４６，１４７，１４８からそれぞれ出力する。通常出力
画像信号は、輝度信号Ｙと、２種類の色差信号Ｒ−Ｙ，
Ｂ−Ｙから構成され、この輝度信号Ｙおよび２種類の色
差信号Ｒ−Ｙ，Ｂ−Ｙが、通常出力画像信号として、画
像メモリ５（図２参照）にストアされる。The configuration of the signal processing circuit 6 is shown in the block diagram of FIG. In the signal processing circuit 6, the original image signal output from the A / D conversion circuit 4 (see FIG. 2)
45, a luminance signal Y and two types of color difference signals RY and BY are generated based on the original image signal.
46, 147 and 148 respectively. The normal output image signal includes a luminance signal Y and two types of color difference signals RY,
The luminance signal Y and the two types of color difference signals RY and BY are stored in the image memory 5 (see FIG. 2) as normal output image signals.

【０１２８】輝度信号Ｙは、高域輝度信号ＹＨおよび低
域輝度信号ＹＬを加算器１４４により加算することによ
り得られる。輝度信号Ｙの生成についての詳細は、後述
するが、高域輝度信号ＹＨは、端子１４５から入力され
た原画像信号をバンドパスフィルタ（図中では、ＢＰＦ
と略称する）１３１に通過させることにより取り出され
る。The luminance signal Y is obtained by adding the high-frequency luminance signal YH and the low-frequency luminance signal YL by the adder 144. Although details of the generation of the luminance signal Y will be described later, the high-band luminance signal YH is obtained by converting the original image signal input from the terminal 145 into a band-pass filter (BPF in the drawing).
(Abbreviated as).

【０１２９】スイッチ１３３は、端子１４５から入力さ
れた原画像信号を、Ｒフィルタ、Ｇフィルタ、Ｂフィル
タごとに分離し、さらに、ＧフィルタをＧ１フィルタと
Ｇ２フィルタとに分離する。つまり、スイッチ１３３
は、原画像信号を、Ｒ，Ｇ１，Ｇ２，Ｂフィルタごとに
分離して、Ｒフィルタを通過したＲフィルタ信号、Ｇ１
フィルタを通過したＧ１フィルタ信号、Ｇ２フィルタを
通過したＧ２フィルタ信号、Ｂフィルタを通過したＢフ
ィルタ信号をそれぞれ出力し、補間フィルタ１３４，１
３５，１３６，１３７に導出する。The switch 133 separates the original image signal input from the terminal 145 into each of the R filter, the G filter, and the B filter, and further separates the G filter into a G1 filter and a G2 filter. That is, the switch 133
Is an R filter signal obtained by separating the original image signal into R, G1, G2, and B filters, and passing through the R filter.
A G1 filter signal that has passed through the filter, a G2 filter signal that has passed through the G2 filter, and a B filter signal that has passed through the B filter are output.
35, 136, 137.

【０１３０】補間フィルタ１３４〜１３７は、Ｒ，Ｇ
１，Ｇ２，Ｂフィルタ信号を補間して同期化する。ここ
では、Ｒフィルタ信号を補間して同期化する補間フィル
タ１３４について説明する。The interpolation filters 134 to 137 are R, G
The 1, G2, and B filter signals are interpolated and synchronized. Here, the interpolation filter 134 that interpolates and synchronizes the R filter signal will be described.

【０１３１】図１６に、色フィルタ１５の透光領域Ｌの
配列のうち、６行４列で構成される一部分を示す。Ｒフ
ィルタは、画素（１，２），（１，４），（３，２），
（３，４），（５，２），（５，４）の６箇所には、Ｒ
（１，２），（１，４），（３，２），（３，４），
（５，２），（５，４）の受光データが得られている。
ここでＲ（ｎ，ｍ）は、第ｎ行第ｍ列の画素（ｎ，ｍ）
に対応するＲフィルタの受光データを表す。上記６箇所
以外の画素には、Ｒフィルタの受光データは欠けてい
る。FIG. 16 shows a part of the arrangement of the light-transmitting regions L of the color filter 15 which is composed of 6 rows and 4 columns. The R filter includes pixels (1, 2), (1, 4), (3, 2),
(3,4), (5,2), (5,4)
(1,2), (1,4), (3,2), (3,4),
The light receiving data of (5, 2) and (5, 4) are obtained.
Here, R (n, m) is a pixel (n, m) in the n-th row and m-th column.
Represents the light reception data of the R filter corresponding to. The light receiving data of the R filter is missing in the pixels other than the above-mentioned six places.

【０１３２】補間フィルタ１３４は、欠けている画素に
おけるＲフィルタの受光データを、隣接するＲフィルタ
の受光データから補間して求める。例えば、画素（２，
３）のＲフィルタの補間データＲ（２，３）は、（１
２）式に基づいて求められる。The interpolation filter 134 obtains the light receiving data of the R filter in the missing pixel by interpolating from the light receiving data of the adjacent R filter. For example, pixel (2,
The interpolation data R (2,3) of the R filter of 3) is (1)
2) It is obtained based on the equation.

【０１３３】[0133]

【数８】 (Equation 8)

【０１３４】これは、画素（２，３）に隣接する周囲４
個の画素（１，２），（１，４），（３，２），（３，
４）の受光データＲ（１，２），（１，４），（３，
２），（３，４）を用いて補間する方法であり、線形補
間法である。この他、例えば、周囲１６個の画素の受光
データを用いて補間する方法であるキュービックコンボ
リューション補間法等、どのような方法を用いてもよ
い。This corresponds to the surrounding 4 adjacent to the pixel (2, 3).
Pixels (1, 2), (1, 4), (3, 2), (3,
4) received light data R (1, 2), (1, 4), (3,
2), a method of interpolating using (3, 4), and a linear interpolation method. In addition, for example, any method such as a cubic convolution interpolation method, which is a method of interpolating using light reception data of 16 surrounding pixels, may be used.

【０１３５】線形補間法により処理される場合の補間フ
ィルタ１３４は、（１３）式で定義されるローパスフィ
ルタｆ１を用いて表すことができる。The interpolation filter 134 when processed by the linear interpolation method can be represented by using a low-pass filter f1 defined by the equation (13).

【０１３６】[0136]

【数９】 (Equation 9)

【０１３７】このローパスフィルタｆ１は、３行３列の
行列として表される２次元ローパスフィルタである。第
ｐ行第ｑ列の要素をｆ１（ｐ，ｑ）として表すと、この
２次元ローパスフィルタｆ１により、補間は、（１４）
式で計算できる。The low-pass filter f1 is a two-dimensional low-pass filter represented as a matrix with three rows and three columns. If the element in the p-th row and the q-th column is represented as f1 (p, q), the interpolation by the two-dimensional low-pass filter f1 is represented by (14)
It can be calculated by the formula.

【０１３８】[0138]

【数１０】 (Equation 10)

【０１３９】ここで、Ｒ（ｎ，ｍ）は、補間前のＲフィ
ルタ信号の第ｎ行第ｍ列の受光データを表す。また、
Ｒ'(ｎ，ｍ）は、補間後のＲフィルタ信号の第ｎ行第ｍ
列の受光データを表す。Here, R (n, m) represents the light receiving data of the n-th row and m-th column of the R filter signal before interpolation. Also,
R ′ (n, m) is the n-th row and m-th row of the interpolated R filter signal.
Shows the light receiving data of the column.

【０１４０】図１６に示したように、６箇所以外の画素
には、Ｒフィルタの受光データが無い。式（１４）に基
づく計算の際には、この受光データの無い画素には、ゼ
ロを与えておく。実際は、スイッチ１３３（図１５参
照）が、このゼロを出力している。つまり、スイッチ１
３３は、端子１４５から入力された受光データを、その
受光データが属している色フィルタの種類に対応する補
間フィルタへ出力し、同時にそれ以外の３種類の色フィ
ルタの種類に対応する補間フィルタにはゼロを出力して
いる。この切り替えは、１画素ごとに行われている。As shown in FIG. 16, the pixels other than the six pixels do not have the light receiving data of the R filter. At the time of the calculation based on the equation (14), zero is given to the pixel having no light reception data. In practice, the switch 133 (see FIG. 15) outputs this zero. That is, switch 1
33 outputs the received light data input from the terminal 145 to the interpolation filter corresponding to the type of color filter to which the received light data belongs, and simultaneously outputs the received light data to the interpolation filters corresponding to the other three types of color filters. Outputs zero. This switching is performed for each pixel.

【０１４１】このようにして補間して同期化された
Ｒ’，Ｇ１’，Ｇ２’，Ｂ' フィルタ信号は、図１５に
示す低域輝度信号生成回路１３２に導出される。低域輝
度信号生成回路１３２は、（１５）式の計算を行い、低
域輝度信号ＹＬを生成する。The R ', G1', G2 ', B' filter signals thus interpolated and synchronized are derived to the low-frequency luminance signal generating circuit 132 shown in FIG. The low-frequency luminance signal generation circuit 132 calculates the expression (15) and generates a low-frequency luminance signal YL.

【０１４２】[0142]

【数１１】 [Equation 11]

【０１４３】但し、（１５）式において、α＋β＝１で
ある。つまり、低域輝度信号ＹＬは、（１６）式で示す
理想的な混合比率によって生成している。However, in the equation (15), α + β = 1. That is, the low-frequency luminance signal YL is generated at an ideal mixing ratio represented by the equation (16).

【０１４４】[0144]

【数１２】 (Equation 12)

【０１４５】生成された低域輝度信号ＹＬは、加算器１
４４に導出される。The generated low-frequency luminance signal YL is added to the adder 1
44.

【０１４６】一方、同期化されたＲ’，Ｇ１’，Ｇ
２’，Ｂ' フィルタ信号は、加算器１３８，１３９，１
４０，１４１へ導出される。加算器１３８は、Ｒ’フィ
ルタ信号およびＧ１’フィルタ信号を入力し、その差を
求める計算をすることによって、Ｒ’−Ｇ１’信号を生
成する。同様に、加算器１３９は、Ｇ２’フィルタ信号
およびＢ’フィルタ信号からＢ’−Ｇ２’信号を、加算
器１４０は、Ｒ’フィルタ信号およびＧ２’フィルタ信
号からＲ’−Ｇ２’信号を、加算器１４１は、Ｇ１’フ
ィルタ信号およびＢ’フィルタ信号からＢ’−Ｇ１’信
号を、それぞれ計算する。On the other hand, the synchronized R ', G1', G
The 2 ′, B ′ filter signals are added to adders 138, 139, 1
40, 141. The adder 138 receives the R ′ filter signal and the G1 ′ filter signal, and performs a calculation for obtaining a difference therebetween, thereby generating an R′−G1 ′ signal. Similarly, the adder 139 adds the B′-G2 ′ signal from the G2 ′ filter signal and the B ′ filter signal, and the adder 140 adds the R′-G2 ′ signal from the R ′ filter signal and the G2 ′ filter signal. The unit 141 calculates a B′-G1 ′ signal from the G1 ′ filter signal and the B ′ filter signal, respectively.

【０１４７】生成されたＲ’−Ｇ１’，Ｒ’−Ｇ２’，
Ｂ’−Ｇ１’，Ｂ’−Ｇ２’信号は、色モアレ抑圧処理
回路１４２に導出される。The generated R'-G1 ', R'-G2',
The B'-G1 'and B'-G2' signals are guided to the color moiré suppression processing circuit 142.

【０１４８】色モアレ抑圧処理回路１４２は、Ｒ’−Ｇ
１’信号とＲ’−Ｇ２’信号とから色差信号Ｒ−Ｇを計
算し、また、Ｂ’−Ｇ１’信号とＢ’−Ｇ２’信号とか
ら色差信号Ｂ−Ｇを計算する。すなわち、（１７）式
（１８）式に基づいて計算する。The color moiré suppression processing circuit 142 has an R′-G
A color difference signal RG is calculated from the 1 'signal and the R'-G2' signal, and a color difference signal BG is calculated from the B'-G1 'signal and the B'-G2' signal. That is, the calculation is performed based on the equations (17) and (18).

【０１４９】[0149]

【数１３】 (Equation 13)

【０１５０】ここで、Ｅ1 （ｘ，ｙ）、Ｅ2 （ｘ，ｙ）
は評価関数である。例えば、（１７）式の場合は、評価
関数Ｅ1 とＥ2 の値で定まる比率により、Ｒ’−Ｇ１’
信号とＲ’−Ｇ２’信号とを混合することにより、色差
信号Ｒ−Ｇを計算する。評価関数Ｅ1 が大きければＲ’
−Ｇ１’信号の割合が増えることになり、評価関数Ｅ2
が大きければＲ’−Ｇ２’信号の割合が増えることにな
る。この割合を画素ごとに適用的に変えることにより、
上述の色差信号のモアレを抑圧することができる。Here, E 1 (x, y) and E 2 (x, y)
Is an evaluation function. For example, in the case of equation (17), R′−G1 ′ is determined by a ratio determined by the values of the evaluation functions E 1 and E 2.
The color difference signal R-G is calculated by mixing the signal and the R'-G2 'signal. The larger the evaluation function E 1 R '
The ratio of the -G1 'signal increases, and the evaluation function E 2
Is larger, the ratio of the R'-G2 'signal increases. By adaptively changing this ratio for each pixel,
The above-described moiré of the color difference signal can be suppressed.

【０１５１】上記の評価関数Ｅ1 ，Ｅ2 を具体的に言え
ば、評価関数Ｅ1 は、第１引数ｘの絶対値と、第２引数
ｙの絶対値とを比較して、第１引数ｘの絶対値が相対的
に小さい程、大きな値を返す。また、評価関数Ｅ2 は、
第１引数ｘの絶対値と、第２引数ｙの絶対値とを比較し
て、第２引数ｙの絶対値が相対的に小さい程、大きな値
を返す。[0151] Speaking evaluation function E 1, E 2 of the specifically, the evaluation function E 1 is the absolute value of the first argument x, and compares the absolute value of the second argument y, first argument A larger value is returned as the absolute value of x is relatively smaller. The evaluation function E 2 is
The absolute value of the first argument x is compared with the absolute value of the second argument y, and a larger value is returned as the absolute value of the second argument y is relatively smaller.

【０１５２】すなわち、（１７）式は、Ｒ’−Ｇ１’信
号とＲ’−Ｇ２’信号の絶対値の小さい方の信号を優先
的に選択しながら、他方すなわち絶対値の大きい方の信
号も考慮して、色差信号Ｒ−Ｇを生成している。また、
（１７）式と同様にして（１８）式は色差信号Ｂ−Ｇを
計算している。なお、このような、原理を利用した方法
であれば、色モアレ抑圧処理回路１４２は上述の方法に
限ったものではない。That is, equation (17) shows that the signal having the smaller absolute value of the R'-G1 'signal and the R'-G2' signal is preferentially selected while the other signal, that is, the signal having the larger absolute value, is also selected. In consideration of this, the color difference signals RG are generated. Also,
Expression (18) calculates the color difference signals BG in the same manner as expression (17). Note that the color moiré suppression processing circuit 142 is not limited to the above-described method as long as such a method uses the principle.

【０１５３】このようにして生成された色差信号Ｒ−
Ｇ，Ｂ−Ｇは、色差マトリックス回路１４３へそれぞれ
導出される。色差マトリックス回路１４３では、（１
９）式に基づいて２種類の色差信号Ｒ−Ｙ，Ｂ−Ｙが生
成される。The color difference signal R-
G and BG are derived to the color difference matrix circuit 143, respectively. In the color difference matrix circuit 143, (1
Two types of color difference signals RY and BY are generated based on the expression 9).

【０１５４】[0154]

【数１４】 [Equation 14]

【０１５５】ここで、空間周波数成分（０，ｆＶ／２）
により構成される白黒の被写体が撮像されるとする。こ
の被写体は、周期２ＰＶの横縞であり、このような被写
体に対してはＲ＝Ｇ１、Ｂ＝Ｇ２となるため、Ｒ−Ｇ
１、Ｂ−Ｇ２はいずれもゼロになる。ゆえに、（１７）
式および（１８）式に基づいて計算される色差信号Ｒ−
Ｇ，Ｂ−Ｇはゼロとなり、結局、（１９）式により、色
差信号Ｒ−Ｙ，Ｂ−Ｙもそれぞれゼロとなる。このこと
は、図１４に示した空間周波数（０，ｆＶ／２）の位置
にある色差信号のモアレが消滅することを意味してい
る。Here, the spatial frequency component (0, fV / 2)
Assume that a black-and-white subject constituted by This subject is a horizontal stripe with a period of 2PV, and R = G1 and B = G2 for such a subject.
1 and BG2 are both zero. Therefore, (17)
The color difference signal R− calculated based on the equations (18) and (18)
G and BG become zero, and eventually, the color difference signals RY and BY also become zero according to the equation (19). This means that the moiré of the color difference signal at the position of the spatial frequency (0, fV / 2) shown in FIG. 14 disappears.

【０１５６】また、空間周波数成分（±ｆＨ／２，０）
により構成される白黒の被写体が撮像されるとする。こ
の被写体は、周期２ＰＨの縦縞であり、このような被写
体に対してはＲ＝Ｇ２、Ｂ＝Ｇ１となるため、Ｒ−Ｇ
２、Ｂ−Ｇ１はいずれもゼロになる。ゆえに、（１７）
式および（１８）式に基づいて計算される色差信号Ｒ−
Ｇ，Ｂ−Ｇはゼロとなり、結局、（１９）式により、色
差信号Ｒ−Ｙ，Ｂ−Ｙもそれぞれゼロとなる。このこと
は、図１４に示した空間周波数（±ｆＨ／２，０）の位
置にある色差信号のモアレが消滅することを意味してい
る。The spatial frequency component (± fH / 2,0)
Assume that a black-and-white subject constituted by This subject is a vertical stripe with a period of 2PH, and R = G2 and B = G1 for such a subject.
2. Both B-G1 become zero. Therefore, (17)
The color difference signal R− calculated based on the equations (18) and (18)
G and BG become zero, and eventually, the color difference signals RY and BY also become zero according to the equation (19). This means that the moiré of the color difference signal at the position of the spatial frequency (± fH / 2, 0) shown in FIG. 14 disappears.

【０１５７】このように、水平方向Ｈまたは垂直方向Ｖ
の空間周波数軸上にあり、視覚的に目立つ３箇所モアレ
を信号処理により抑圧することができる。なお、このよ
うな方法ならびに回路構成は既に知られており、例えば
特開平６−３３９１４５号公報に開示されている。As described above, the horizontal direction H or the vertical direction V
The three moirés which are on the spatial frequency axis and are visually conspicuous can be suppressed by signal processing. Such a method and a circuit configuration are already known, and are disclosed, for example, in Japanese Patent Application Laid-Open No. 6-339145.

【０１５８】続いて、輝度信号Ｙを得る原理について詳
しく説明する。輝度信号Ｙは、前述したように、高域輝
度信号ＹＨと低域輝度信号ＹＬとを加算することにより
得る。Next, the principle of obtaining the luminance signal Y will be described in detail. As described above, the luminance signal Y is obtained by adding the high-frequency luminance signal YH and the low-frequency luminance signal YL.

【０１５９】低域輝度信号ＹＬは、前述の（１６）式に
示した理想的な混合比率であるが、補間フィルタ１３
４，１３５，１３６，１３７を施しているため、高周波
数成分のゲインが低く、解像度が低い。そこで、輝度信
号Ｙの低域は理想的な混合比率を持つ低域輝度信号ＹＬ
を用い、輝度信号Ｙの高域は高解像度である高域輝度信
号ＹＨを用いる。なお、高域輝度信号ＹＨは、（１６）
式に示した理想的な混合比率ではない。The low-frequency luminance signal YL has the ideal mixing ratio shown in the above equation (16).
4, 135, 136, and 137, the gain of the high frequency component is low and the resolution is low. Therefore, the low band of the luminance signal Y is a low band luminance signal YL having an ideal mixing ratio.
And a high-frequency luminance signal YH having a high resolution is used for the high frequency of the luminance signal Y. The high-frequency luminance signal YH is expressed by (16)
It is not the ideal mixing ratio shown in the equation.

【０１６０】高域輝度信号ＹＨは以下のように生成す
る。無着色（白黒）被写体を撮像する場合では、異なる
色フィルタの各受光データは何れもほぼ等しくなる。つ
まり、Ｒ＝Ｇ１＝Ｇ２＝Ｂとなる。したがって、図５に
示した色フィルタ１５のように配列されている受光デー
タをそのまま輝度信号Ｙとして用いても良い。さらに、
この受光データは、補間処理されていないため、高解像
度となっている。The high-frequency luminance signal YH is generated as follows. When an uncolored (black and white) object is imaged, the respective light reception data of different color filters are almost equal. That is, R = G1 = G2 = B. Therefore, the light receiving data arranged like the color filter 15 shown in FIG. 5 may be used as it is as the luminance signal Y. further,
This light reception data has a high resolution because the interpolation processing is not performed.

【０１６１】しかしながら、着色（カラー）被写体を撮
像する場合では、異なる色フィルタの受光データ間にレ
ベル差が生じる。例えば緑色の被写体を撮像する場合で
は、ＲおよびＢのレベルは、Ｇ１およびＧ２に比べて低
くなるので、市松模様の輝度信号Ｙとなってしまう。つ
まり、輝度信号に偽信号（輝度モアレ）が発生する。However, when a colored (color) object is imaged, a level difference occurs between the light reception data of different color filters. For example, when a green subject is imaged, the levels of R and B are lower than G1 and G2, resulting in a checkered luminance signal Y. That is, a false signal (luminance moire) is generated in the luminance signal.

【０１６２】ベイヤー配列の色フィルタは、図５に示し
た２点鎖線で囲む２行２列の４つの透光領域の配列を基
本配列パターンとする周期的な配列であるので、水平方
向Ｈに２画素周期、垂直方向Ｖに２画素周期に配列され
ている。したがって、この輝度モアレの空間周波数は、
輝度信号の基底帯域の境界線に位置することになる。The Bayer array color filter is a periodic array having a basic array pattern consisting of an array of four translucent regions in two rows and two columns surrounded by a two-dot chain line shown in FIG. They are arranged in a two-pixel cycle, two-pixel cycle in the vertical direction V. Therefore, the spatial frequency of this luminance moiré is
It will be located at the boundary of the base band of the luminance signal.

【０１６３】したがって、この輝度モアレを除去するた
めに、原画像信号から、輝度信号の基底帯域の境界線の
周波数成分を除去するローパスフィルタを施す必要があ
る。また、輝度信号Ｙにおいて上述の理想的な混合比率
によって生成された低域輝度信号ＹＬを使うため、原画
像信号から、低域輝度信号ＹＬに相当する周波数帯域を
除去するハイパスフィルタを施す必要がある。つまり、
結局は、原画像信号から、低域成分と、基底帯域付近の
高域成分とを除くことになるので、バンドパスフィルタ
１３１を施すことになる。Therefore, in order to remove the luminance moiré, it is necessary to apply a low-pass filter for removing the frequency component of the boundary line of the base band of the luminance signal from the original image signal. Further, since the low-frequency luminance signal YL generated by the above-described ideal mixing ratio is used as the luminance signal Y, it is necessary to apply a high-pass filter for removing a frequency band corresponding to the low-frequency luminance signal YL from the original image signal. is there. That is,
Eventually, the low-frequency component and the high-frequency component near the baseband are removed from the original image signal, so that the bandpass filter 131 is applied.

【０１６４】図１７に、バンドパスフィルタ１３１の空
間周波数特性を示す。図１７において、バンドパスフィ
ルタ１３１は、通過帯域を横縞領域とし、制限帯域を縦
縞領域として表わしている。さらに、破線部分のゲイン
をゼロとしている。FIG. 17 shows the spatial frequency characteristics of the band-pass filter 131. In FIG. 17, the band-pass filter 131 represents a pass band as a horizontal stripe region and a limited band as a vertical stripe region. Further, the gain in the broken line portion is set to zero.

【０１６５】２次元フィルタであるバンドパスフィルタ
１３１において、水平方向のフィルタ特性の模式図は、
図１８の白塗り領域のようになる。このフィルタ特性の
模式図は、図１７において水平軸上の周波数特性を表し
ている。また、２次元フィルタであるバンドパスフィル
タ１３１において、垂直方向のフィルタ特性の模式図
は、図１９の白塗り領域のようになる。このフィルタ特
性の模式図は、図１７において垂直軸上の周波数特性を
表している。In the band-pass filter 131 which is a two-dimensional filter, a schematic diagram of the filter characteristics in the horizontal direction is as follows.
This is like the white area in FIG. This schematic diagram of the filter characteristics shows the frequency characteristics on the horizontal axis in FIG. Further, in the band-pass filter 131 which is a two-dimensional filter, a schematic diagram of the filter characteristics in the vertical direction is as shown by a white area in FIG. This schematic diagram of the filter characteristics shows the frequency characteristics on the vertical axis in FIG.

【０１６６】一方、折り返し周波数付近の高周波数成分
は、補完されることはなく、カラー撮像装置が出力する
画像信号の輝度信号Ｙには、この折り返し周波数付近の
高周波数成分は失われたままである。特に、図１８にお
いては水平方向の空間周波数ｆＨ／２の成分はゼロであ
る。これを画像として目視すると、水平方向に２ＰＨ周
期の縦縞、つまり水平方向に白列と黒列が交互に並んだ
縦縞であり、このカラー撮像装置では再現できないこと
を意味している。実際の自然画像では、縦方向のエッジ
がぼやけることが生じ、画質を損なうという問題点にな
っている。On the other hand, the high frequency components near the aliasing frequency are not complemented, and the high frequency components near the aliasing frequency remain lost in the luminance signal Y of the image signal output from the color imaging device. . In particular, in FIG. 18, the component of the spatial frequency fH / 2 in the horizontal direction is zero. When this is visually observed as an image, it is a vertical stripe of a 2PH cycle in the horizontal direction, that is, a vertical stripe in which white columns and black columns are alternately arranged in the horizontal direction, which means that this color imaging apparatus cannot reproduce the image. In an actual natural image, a vertical edge is blurred, which causes a problem of deteriorating image quality.

【０１６７】また、図１９においては垂直方向の空間周
波数ｆＶ／２の成分はゼロである。これを画像として目
視すると、垂直方向に２ＰＶ周期の横縞、つまり垂直方
向に白行と黒行が交互に並んだ横縞であり、このカラー
撮像装置では再現できないことを意味している。実際の
自然画像では、横方向のエッジがぼやけることが生じ、
画質を損なうという問題点になっている。In FIG. 19, the component of the spatial frequency fV / 2 in the vertical direction is zero. When this is visually observed as an image, it is a horizontal stripe of 2 PV cycles in the vertical direction, that is, a horizontal stripe in which white rows and black rows are alternately arranged in the vertical direction, which means that this color imaging apparatus cannot reproduce the horizontal stripe. In actual natural images, horizontal edges may be blurred,
The problem is that the image quality is impaired.

【０１６８】次に、図１、図２０ないし図２４を用い
て、合成処理回路１２の高解像度モード時の処理につい
て説明する。合成処理回路１２は、前述したように、２
つの原画像信号から輝度信号および色差信号を求めるも
のである。Next, the processing of the synthesis processing circuit 12 in the high resolution mode will be described with reference to FIGS. As described above, the synthesis processing circuit 12
A luminance signal and a color difference signal are obtained from two original image signals.

【０１６９】イメージシフト動作を行い撮像された２枚
の原画像間の空間的位置関係は、水平方向にシフト長さ
ＰＨだけずれている。すなわち、水平方向に１画素だけ
ずれている。例えば、第１原画像においてＲフィルタの
受光データがある画素位置は、第２原画像のＧ１色フィ
ルタの受光データがある画素位置である。また、第１原
画像においてＢフィルタの受光データがある画素位置
は、第２原画像のＧ２色フィルタの受光データがある画
素位置である。このように、２枚の原画像信号を重ね合
わせた画像を考えると、各画素位置には異なる２種類の
受光データが得られていることになる。The spatial positional relationship between the two original images captured by performing the image shift operation is shifted by the shift length PH in the horizontal direction. That is, it is shifted by one pixel in the horizontal direction. For example, the pixel position where the light reception data of the R filter is located in the first original image is the pixel position where the light reception data of the G1 color filter is located in the second original image. Further, the pixel position where the light reception data of the B filter is present in the first original image is the pixel position where the light reception data of the G2 color filter of the second original image is present. Thus, considering an image in which two original image signals are superimposed, two different types of light receiving data are obtained at each pixel position.

【０１７０】図２０は、２枚の原画像信号を重ね合わせ
た画像の等価的な色フィルタ配列パターンを示す図であ
る。図２０では、ＧとＲとの対応画素には符号「Ｆａ」
を記し、ＧとＢとの対応画素には符号「Ｆｂ」を記す。FIG. 20 is a diagram showing an equivalent color filter array pattern of an image obtained by superimposing two original image signals. In FIG. 20, the symbol “Fa” is assigned to the pixel corresponding to G and R.
And the symbol “Fb” is written to the pixel corresponding to G and B.

【０１７１】このことから、この重ね合わせた画像の画
素数および配列は、原画像の画素数および配列と等し
く、その水平方向Ｈおよび垂直方向Ｖの配列周期は、そ
れぞれ周期ＰＨ，ＰＶである。From this, the number of pixels and the arrangement of the superimposed image are equal to the number of pixels and the arrangement of the original image, and the arrangement periods in the horizontal direction H and the vertical direction V are periods PH and PV, respectively.

【０１７２】また、全画素がＧの対応画素である。Ｇの
対応画素だけの各配列の水平方向Ｈおよび垂直方向Ｖの
配列周期は、図２０からそれぞれ周期ＰＨ，ＰＶとわか
る。ＲおよびＢの対応画素だけの各配列の水平方向Ｈお
よび垂直方向Ｖの配列周期は、図２０からそれぞれ周期
ＰＨ，２ＰＶとわかる。In addition, all pixels are G corresponding pixels. It can be seen from FIG. 20 that the arrangement periods in the horizontal direction H and the vertical direction V of each arrangement of only the corresponding pixels of G are periods PH and PV, respectively. It can be seen from FIG. 20 that the arrangement periods in the horizontal direction H and the vertical direction V of each arrangement of only the corresponding pixels of R and B are periods PH and 2PV, respectively.

【０１７３】このことから、水平方向Ｈ、垂直方向Ｖの
サンプリング周波数は、Ｇに関して空間周波数ｆＨ，ｆ
Ｖであり、ＲおよびＢに関して空間周波数ｆＨ，ｆＶ／
２とみなされる。From this, the sampling frequency in the horizontal direction H and the vertical direction V is the spatial frequency fH, f with respect to G.
V and the spatial frequencies fH, fV /
Considered as 2.

【０１７４】図２１の空間周波数平面図に、図２０に示
した２枚の原画像信号を重ね合わせた画像の等価的な色
フィルタ配列の輝度信号および色差信号のモアレのキャ
リア周波数を示す。輝度の基底帯域１９１を、図２１で
は斜線を付して示す。輝度の基底帯域１９１の範囲は、
（ｆＨ／２，ｆＶ／２）、（−ｆＨ／２，ｆＶ／２）、
（ｆＨ／２，０）、（−ｆＨ／２，０）を頂点とする矩
形領域である。The spatial frequency plane view of FIG. 21 shows the moire carrier frequency of the luminance signal and the color difference signal of the equivalent color filter array of the image obtained by superimposing the two original image signals shown in FIG. The base band 191 of the luminance is shown by hatching in FIG. The range of the luminance base band 191 is
(FH / 2, fV / 2), (-fH / 2, fV / 2),
It is a rectangular area having vertices of (fH / 2, 0) and (−fH / 2, 0).

【０１７５】上述の基底帯域１９１内において、色差信
号のモアレのキャリア周波数の存在する位置は（０，ｆ
Ｖ／２）の１箇所である。図２１では、この位置を○印
で表す。また、上述した空間フィルタ４０によりトラッ
プされる空間周波数成分を破線で示す。In the above-described base band 191, the position where the carrier frequency of the moiré of the color difference signal exists is (0, f
V / 2). In FIG. 21, this position is indicated by a circle. The broken line indicates the spatial frequency component trapped by the spatial filter 40 described above.

【０１７６】このような高解像度モードにおける高解像
度出力画像信号の輝度の基底帯域１９１の範囲は、通常
出力画像の基底帯域１２１の範囲と等しい。また、色差
信号のモアレのキャリア周波数は、（０，ｆＶ／２）の
位置だけに現れ、通常出力画像に関して存在していた
（ｆＨ／２，ｆＶ／２）、（−ｆＨ／２，ｆＶ／２）、
（ｆＨ／２，０）、（−ｆＨ／２，０）の４箇所が消滅
している。ゆえに、高解像度出力画像は、通常出力画像
と比較して、水平方向Ｈの解像度を向上させることがで
きる。The range of the base band 191 of the luminance of the high resolution output image signal in such a high resolution mode is equal to the range of the base band 121 of the normal output image. Further, the carrier frequency of the moiré of the color difference signal appears only at the position of (0, fV / 2) and exists for the normal output image (fH / 2, fV / 2), (−fH / 2, fV / 2),
Four places of (fH / 2,0) and (−fH / 2,0) have disappeared. Therefore, the high-resolution output image can improve the resolution in the horizontal direction H as compared with the normal output image.

【０１７７】図２２のブロック図に、合成処理回路１２
の構成を示す。合成処理回路１２には、Ａ／Ｄ変換回路
４（図２参照）から出力された第２原画像信号が端子２
００から入力され、端子２０１から画像メモリ５（図２
参照）から出力された第１原画像信号が入力される。In the block diagram of FIG.
Is shown. The second original image signal output from the A / D conversion circuit 4 (see FIG.
00, and from the terminal 201 to the image memory 5 (FIG. 2).
1) is input.

【０１７８】合成処理回路１２は、入力された第１およ
び第２原画像信号から、輝度信号Ｙおよび２種類の色差
信号Ｒ−Ｙ，Ｂ−Ｙを生成し、端子２０２，２０３，２
０４からそれぞれ出力する。高解像度出力画像信号は、
輝度信号Ｙおよび２種類の色差信号Ｒ−Ｙ，Ｂ−Ｙから
構成され、この輝度信号Ｙおよび２種類の色差信号Ｒ−
Ｙ，Ｂ−Ｙは、高解像度出力画像信号として画像メモリ
５にストアされる。The synthesis processing circuit 12 generates a luminance signal Y and two types of color difference signals RY and BY from the input first and second original image signals, and
04 respectively. The high resolution output image signal is
A luminance signal Y and two types of color difference signals RY and BY are provided.
Y and BY are stored in the image memory 5 as high-resolution output image signals.

【０１７９】スイッチ２０５は、入力された第１および
第２原画像信号から、Ｒフィルタ、Ｇフィルタ、Ｂフィ
ルタごとの信号に分離し、Ｒ，Ｂ，Ｇフィルタ信号とし
て出力する。ここで、Ｇフィルタ信号は、全画素に対応
する受光データが存在する。これに対し、Ｒ，Ｂフィル
タ信号は、１行置きごとに対応する受光データが存在
し、かつ、受光データの存在する行と存在しない行が互
いにずれている。The switch 205 separates the input first and second original image signals into signals for each of an R filter, a G filter, and a B filter, and outputs the signals as R, B, and G filter signals. Here, the G filter signal has light reception data corresponding to all pixels. On the other hand, in the R and B filter signals, the corresponding light receiving data exists every other row, and the row where the light receiving data exists and the row where the light receiving data does not exist are shifted from each other.

【０１８０】したがって、Ｒ，Ｂフィルタ信号は、１行
置きごとにしか対応する受光データが存在しないため
に、図２１に示した色差信号のモアレのキャリア周波数
が（０，ｆＶ／２）に発生している。Therefore, since the R and B filter signals have light reception data corresponding only every other row, the carrier frequency of the moire of the color difference signal shown in FIG. 21 is generated at (0, fV / 2). doing.

【０１８１】Ｒ，Ｇ，Ｂフィルタ信号は、垂直色モアレ
抑圧処理回路２０６に入力される。垂直色モアレ抑圧処
理回路２０６は、Ｇフィルタ信号を参照してＲ，Ｂフィ
ルタ信号を補間することにより、全画素に対応する画素
データが存在するＲ”，Ｂ”フィルタ信号を出力する。
詳細には後述するが、ここで垂直色モアレ抑圧処理回路
２０６は、Ｇフィルタ信号と、Ｒフィルタ信号またはＢ
フィルタ信号との間に、局所的な領域で相関があること
を利用している。The R, G, and B filter signals are input to a vertical color moiré suppression processing circuit 206. The vertical color moiré suppression circuit 206 interpolates the R and B filter signals with reference to the G filter signal to output R "and B" filter signals in which pixel data corresponding to all pixels exist.
As will be described in detail later, the vertical color moiré suppression processing circuit 206 here includes a G filter signal and an R filter signal or a B filter signal.
The fact that there is a correlation in a local area with the filter signal is used.

【０１８２】このようにして生成された全画素に対応す
る画素データが存在するＲ”，Ｇ，Ｂ”フィルタ信号
は、輝度信号生成回路２０７と色差信号生成回路２０８
とにそれぞれ入力される。輝度信号生成回路２０７は、
（２０）式の計算を行い、輝度信号Ｙを生成する。The R ″, G, B ″ filter signals having the pixel data corresponding to all the pixels generated in this way are supplied to the luminance signal generation circuit 207 and the chrominance signal generation circuit 208.
Respectively. The luminance signal generation circuit 207 includes:
The luminance signal Y is generated by calculating the expression (20).

【０１８３】[0183]

【数１５】 (Equation 15)

【０１８４】輝度信号Ｙは、（２１）式で示す理想的な
混合比率によって生成している。The luminance signal Y is generated at an ideal mixing ratio represented by the equation (21).

【０１８５】[0185]

【数１６】 (Equation 16)

【０１８６】生成された輝度信号Ｙは、端子２０２に接
続されている。この輝度信号生成回路２０７は、図１５
に示した信号処理回路６における低域輝度信号生成回路
１３２と構成や作用が同じであり、同時に動作すること
はないので、回路を共通化して、１つにすることもでき
る。The generated luminance signal Y is connected to a terminal 202. This luminance signal generation circuit 207 has the configuration shown in FIG.
Since the configuration and operation are the same as those of the low-frequency luminance signal generation circuit 132 in the signal processing circuit 6 shown in (1) and they do not operate at the same time, the circuit can be shared and reduced to one.

【０１８７】一方、色差信号生成回路２０８は、入力さ
れたＲ”，Ｇ，Ｂ”フィルタ信号から、２種類の色差信
号Ｒ−Ｇ，Ｂ−Ｇを生成して、色差マトリックス回路２
０９へ導出する。色差信号Ｒ−ＧはＲ”フィルタ信号と
Ｇフィルタ信号との差分であり、色差信号Ｂ−ＧはＢ”
フィルタ信号とＧフィルタ信号との差分である。On the other hand, the color difference signal generation circuit 208 generates two types of color difference signals RG and BG from the input R ", G and B" filter signals, and
09. The color difference signal RG is a difference between the R "filter signal and the G filter signal, and the color difference signal BG is B".
This is the difference between the filter signal and the G filter signal.

【０１８８】色差マトリックス回路２０９は、前述の
（１９）式に基づいて、色差信号Ｒ−Ｙ，Ｂ−Ｙを計算
する。色差マトリックス回路２０９は、図１５に示した
信号処理回路６における色差マトリックス回路１４３と
構成や作用が同じであり、同時に動作することはないの
で、回路を共通化して、１つにすることもできる。The color difference matrix circuit 209 calculates the color difference signals RY and BY based on the above equation (19). The color difference matrix circuit 209 has the same configuration and operation as the color difference matrix circuit 143 in the signal processing circuit 6 shown in FIG. 15, and does not operate at the same time. .

【０１８９】ここで、上記の垂直色モアレ抑圧処理回路
２０６に実施される処理の原理について、詳細に説明す
る。垂直色モアレ抑圧処理回路２０６は、図２１に示し
た色差信号のモアレのキャリア周波数（０，ｆＶ／２）
を消滅させるためのものである。Here, the principle of the processing performed by the vertical color moiré suppression processing circuit 206 will be described in detail. The vertical color moiré suppression processing circuit 206 performs the moiré carrier frequency (0, fV / 2) of the color difference signal shown in FIG.
Is to extinguish.

【０１９０】図２３（ａ）〜（ｃ）は、空間周波数成分
（０，ｆＶ／２）をもつ画像を撮像した際に発生する色
差信号のモアレを消去できることを示す模式図である。FIGS. 23A to 23C are schematic diagrams showing that moire of a color difference signal generated when an image having a spatial frequency component (0, fV / 2) is captured can be eliminated.

【０１９１】図２３（ａ）の右側には、空間周波数成分
（０，ｆＶ／２）をもつ画像、つまり周期ＰＶの白黒の
横縞を表わしており、図２３（ａ）の左側には、各透光
領域Ｌ上に受光された受光データを示している。受光デ
ータを縦軸に、垂直方向Ｖの画素位置を横軸に示してい
る。On the right side of FIG. 23A, an image having a spatial frequency component (0, fV / 2), that is, a black and white horizontal stripe with a period PV is shown. On the left side of FIG. The light reception data received on the light transmitting region L is shown. The light reception data is shown on the vertical axis, and the pixel position in the vertical direction V is shown on the horizontal axis.

【０１９２】イメージシフト動作により２枚の原画像信
号を重ね合わせた画像を考えると、各画素位置には異な
る２種類の受光データが得られていることになる。すべ
ての受光データが得られた時のＲ，Ｇ，Ｂフィルタ信号
から生成した高解像度出力画像を仮に考えると、色差信
号のモアレのキャリア周波数（０，ｆＶ／２）はもちろ
ん消滅する。したがって、このようなＲ，Ｇ，Ｂ色フィ
ルタ信号を、各画素位置に異なる２種類の受光データが
存在する２枚の原画像信号を重ね合わせた画像から、計
算することができればよいことになる。Considering an image in which two original image signals are superimposed by an image shift operation, two different types of light receiving data are obtained at each pixel position. Assuming a high-resolution output image generated from the R, G, and B filter signals when all the received light data is obtained, the carrier frequency (0, fV / 2) of the moiré of the color difference signal disappears. Therefore, it is only necessary that such R, G, B color filter signals can be calculated from an image obtained by superimposing two original image signals in which two different types of light receiving data exist at each pixel position. .

【０１９３】ここでもし、受光データの無い画素位置の
Ｒフィルタ信号またはＢフィルタ信号を直線補間により
計算した場合は、図２３（ｂ）のように、白黒の横縞で
あった画像は、右側に示す青シアンの横縞となり、着色
してしまう。つまり、色差信号に空間周波数（０，ｆＶ
／２）の色モアレが発生したことなる。（２２）式（２
３）式に、直線補間の式を示す。Here, if the R filter signal or the B filter signal at the pixel position where there is no light reception data is calculated by linear interpolation, as shown in FIG. The resulting blue-cyan horizontal stripes are colored. That is, the spatial frequency (0, fV
/ 2) color moire occurred. Equation (22)
Equation 3) shows the equation for linear interpolation.

【０１９４】[0194]

【数１７】 [Equation 17]

【０１９５】ここで、Ｒ（ｎ）またはＢ（ｎ）は、求め
るべき受光データの存在しない画素位置である第ｎ行の
Ｒフィルタ信号または第ｎ行のＢフィルタ信号を表す。Here, R (n) or B (n) represents an R-filter signal in the n-th row or a B-filter signal in the n-th row which is a pixel position where no light reception data to be obtained exists.

【０１９６】これに対し、本カラー撮像装置の垂直色モ
アレ抑圧処理回路２０６は、（２４）式（２５）式に基
づいて、受光データの無い画素位置の色フィルタ信号Ｒ
または色フィルタ信号Ｂを計算しているため、図２３
（ｃ）のように、補間後の画像も白黒の横縞で、色差信
号に空間周波数（０，ｆＶ／２）の色モアレは発生して
いない。On the other hand, the vertical color moiré suppression processing circuit 206 of the present color image pickup apparatus calculates the color filter signal R at the pixel position where there is no light reception data based on the equations (24) and (25).
Alternatively, since the color filter signal B is calculated, FIG.
As shown in (c), the image after interpolation is also a horizontal stripe of black and white, and no color moiré of the spatial frequency (0, fV / 2) is generated in the color difference signal.

【０１９７】[0197]

【数１８】 (Equation 18)

【０１９８】ここでも、Ｒ（ｎ）またはＢ（ｎ）は、求
めるべき受光データの存在しない画素位置である第ｎ行
のＲフィルタ信号または第ｎ行のＢフィルタ信号を表
す。したがって、Ｒ（ｎ−１），Ｒ（ｎ），Ｒ（ｎ＋
１）は、垂直方向Ｖにこの順で隣接する３画素である。
同様に、Ｂ（ｎ−１），Ｂ（ｎ），Ｂ（ｎ＋１）は、垂
直方向Ｖにこの順で隣接する３画素である。また、ＬＰ
Ｆ（Ｒ）は、Ｒフィルタ信号にローパスフィルタを施す
ことを表し、ＬＰＦ（Ｂ）は、Ｂフィルタ信号にローパ
スフィルタを施すことを表し、ＬＰＦ（Ｇ）は、Ｇフィ
ルタ信号にローパスフィルタを施すことを表す。Here, R (n) or B (n) represents the n-th row R filter signal or the n-th row B filter signal which is a pixel position where no light receiving data to be obtained exists. Therefore, R (n-1), R (n), R (n +
1) are three pixels adjacent in this order in the vertical direction V.
Similarly, B (n-1), B (n), and B (n + 1) are three pixels adjacent in this order in the vertical direction V. Also, LP
F (R) represents applying a low-pass filter to the R filter signal, LPF (B) represents applying a low-pass filter to the B filter signal, and LPF (G) applying a low-pass filter to the G filter signal. It represents that.

【０１９９】例えば、（２４）式に関して、ＬＰＦ
（Ｒ）−ＬＰＦ（Ｇ）は、第ｎ行付近の局所的な領域に
おいてＲフィルタ信号とＧフィルタ信号のオフセット分
を計算している。このオフセット分をＧフィルタ信号Ｇ
（ｎ）と加算することにより、Ｒフィルタ信号Ｒ（ｎ）
を計算している。このＬＰＦを２画素の平均とする場合
は、（２６）式（２７）式となる。For example, regarding equation (24), LPF
(R) -LPF (G) calculates an offset between the R filter signal and the G filter signal in a local region near the n-th row. This offset is used as the G filter signal G
(N), the R filter signal R (n)
Is calculated. When this LPF is an average of two pixels, Expression (26) is given by Expression (27).

【０２００】[0200]

【数１９】 [Equation 19]

【０２０１】図１は、（２６）式に基づくＲフィルタ信
号の垂直色モアレ抑圧処理を示した模式図である。図１
中、□はＧフィルタ信号、○はＲフィルタ信号を表す。
また、◎は求めるべき受光データの存在しない画素位置
のＲフィルタ信号を表す。また、■はＧフィルタ信号を
ローパスフィルタ処理した値、●はＲフィルタ信号をロ
ーパスフィルタ処理した値である。そして、図中Ｄにて
示す量が、Ｒフィルタ信号とＧフィルタ信号のオフセッ
ト分であり、Ｒ（ｎ）と同じ画素位置にあるＧ（ｎ）に
加算される値である。FIG. 1 is a schematic diagram showing vertical color moiré suppression processing of an R filter signal based on equation (26). FIG.
In the graph, □ indicates a G filter signal, and ○ indicates an R filter signal.
◎ indicates an R filter signal at a pixel position where no light receiving data to be obtained exists. ■ indicates a value obtained by performing low-pass filtering on the G filter signal, and ● indicates a value obtained by performing low-pass filtering on the R filter signal. The amount indicated by D in the figure is the offset between the R filter signal and the G filter signal, and is a value added to G (n) at the same pixel position as R (n).

【０２０２】これは、Ｒフィルタ信号の受光データとＧ
フィルタ信号の受光データとの間には、局所的な領域で
相関があることを利用して、□のＧフィルタ信号の波形
を、○のＲフィルタ信号の波形に近似して、◎のＲ
（ｎ）を計算している。This is because the received light data of the R filter signal and the G
Utilizing the fact that there is a correlation in the local region between the filter signal and the received light data, the waveform of the G filter signal of □ is approximated to the waveform of the R filter signal of
(N) is calculated.

【０２０３】即ち、上記の（２４）式は、Ｇフィルタ信
号の変化が、Ｒフィルタ信号の変化とに相関があること
を利用していると考えることができ、同様に、上記の
（２５）式は、Ｇフィルタ信号の変化が、Ｂフィルタ信
号の変化とに相関があることを利用していると考えるこ
とができる。That is, the above equation (24) can be considered to utilize the fact that a change in the G filter signal is correlated with a change in the R filter signal, and similarly, the above equation (25) The equation can be considered to take advantage of the fact that changes in the G filter signal are correlated with changes in the B filter signal.

【０２０４】特に、無着色領域つまり、Ｇフィルタ信号
のレベルと、Ｒフィルタ信号のレベルとが等しい領域で
は、Ｇフィルタ信号の変化と、Ｒフィルタ信号の変化は
局所的には等しいと考えられるので、完全に正確なＲフ
ィルタ信号を補間することができる。すなわち、無着色
領域では、色差信号のモアレのキャリア周波数（０，ｆ
Ｖ／２）を完全に消滅することができる。In particular, in a non-colored area, that is, in an area where the level of the G filter signal is equal to the level of the R filter signal, the change of the G filter signal and the change of the R filter signal are considered to be locally equal. , A completely accurate R filter signal can be interpolated. That is, in the uncolored area, the carrier frequency (0, f) of the moiré of the color difference signal
V / 2) can be completely eliminated.

【０２０５】一方、着色領域つまり、Ｇフィルタ信号の
レベルと、Ｒフィルタ信号のレベルが異なる領域では、
Ｇフィルタ信号の変化と、Ｒフィルタ信号の変化は異な
ると考えられるので、完全に正確なＲフィルタ信号を補
間することができない。例えば、赤色に着色しているよ
うな領域では、Ｒフィルタ信号の変化に対して、Ｇフィ
ルタ信号の変化は小さい。つまり、（２４）式における
Ｇ（ｎ）−ＬＰＦ（Ｇ）は小さい。したがって、この変
化分をＬＰＦ（Ｒ）に加算しても、Ｒフィルタ信号の変
化分を完全に補正することができず、補正不足になり、
着色領域では、色差信号のモアレのキャリア周波数
（０，ｆＶ／２）を小さくすることはできるが、完全に
消滅することができない。On the other hand, in a colored area, that is, an area where the level of the G filter signal and the level of the R filter signal are different,
Since the change in the G filter signal and the change in the R filter signal are considered to be different, it is not possible to interpolate the R filter signal completely accurately. For example, in a region colored red, the change in the G filter signal is smaller than the change in the R filter signal. That is, G (n) -LPF (G) in Expression (24) is small. Therefore, even if this change is added to the LPF (R), the change in the R filter signal cannot be completely corrected, resulting in insufficient correction.
In the colored region, the carrier frequency (0, fV / 2) of the moiré of the color difference signal can be reduced, but cannot be completely eliminated.

【０２０６】しかしながら、無着色領域に色モアレによ
る偽色が発生している場合は、視覚的に目立つが、着色
領域に色モアレが発生している場合は視覚的に比較的目
立たないため、無着色領域に色モアレ抑圧処理効果の高
い本方式でも、十分な画質改善効果がある。このこと
は、Ｂフィルタ信号の補間においても同様である。However, when a false color due to color moiré occurs in an uncolored area, it is visually noticeable. However, when color moiré occurs in a colored area, it is relatively inconspicuous. Even with this method having a high color moiré suppression effect in the colored area, there is a sufficient image quality improvement effect. The same applies to the interpolation of the B filter signal.

【０２０７】また、（２４）式または（２５）式におけ
るＬＰＦは、（２６）式または（２７）式で示した２画
素の平均による計算に限定されるものでなく、どのよう
なローパスフィルタ処理でもよい。例えば、ＬＰＦを隣
接４画素から計算する場合は、（２８）式（２９）式と
なる。Further, the LPF in the expression (24) or (25) is not limited to the calculation based on the average of two pixels shown in the expression (26) or (27), and what kind of low-pass filter processing is performed May be. For example, when the LPF is calculated from four adjacent pixels, the equations (28) and (29) are used.

【０２０８】[0208]

【数２０】 (Equation 20)

【０２０９】但し、２画素の平均を用いた場合も、４画
素から計算する場合も補間処理の正確性には殆ど差異が
ないので、２画素の平均による計算を作用することで、
必要とするデータ数が少なくてすみ、処理速度が速く、
回路規模が小さいといった利点がある。However, there is almost no difference in the accuracy of the interpolation processing between the case where the average of two pixels is used and the case where calculation is performed from four pixels.
Requires less data, faster processing speed,
There is an advantage that the circuit scale is small.

【０２１０】ところで、このような色モアレを抑圧する
処理としては、既に提案されている方法がある。例えば
『ＣＣＭ方式補間処理による単板カラーカメラの色モア
レ抑圧処理、１９９０年テレビジョン学会年次大会（Ｉ
ＴＥＣ’９０）、２−１０、ｐｐ．３３−３４』に示さ
れている方法がある。As a process for suppressing such color moiré, there is a method that has already been proposed. For example, "Color moiré suppression processing of a single-chip color camera by CCM interpolation processing, 1990 Television Society Annual Meeting (I
TEC '90), 2-10, pp. 33-34 ".

【０２１１】この文献による方法は、例えば（２４）式
に対応する処理は、（３０）式のようになる。In the method according to this document, for example, the processing corresponding to equation (24) is as shown in equation (30).

【０２１２】[0212]

【数２１】 (Equation 21)

【０２１３】このＬＰＦを２画素の平均とする場合は、
（３１）式のようになる。When this LPF is an average of two pixels,
Equation (31) is obtained.

【０２１４】[0214]

【数２２】 (Equation 22)

【０２１５】この従来の方法でも、色差信号のモアレの
キャリア周波数（０，ｆＶ／２）を消滅することができ
る。In this conventional method, the carrier frequency (0, fV / 2) of the moiré of the color difference signal can be eliminated.

【０２１６】しかしながら、この従来の方法では、（３
０）式の分母ＬＰＦ（Ｇ）の値が小さくなるような画像
領域では、ＬＰＦ（Ｒ）／ＬＰＦ（Ｇ）の比が局所的な
領域内でも大きく変動する。また、（３０）式の分母Ｌ
ＰＦ（Ｇ）の値が小さい領域では、撮像素子やＡ／Ｄ変
換回路により発生するノイズの影響により、同様にＬＰ
Ｆ（Ｒ）／ＬＰＦ（Ｇ）の比が大きく変動する。特にＬ
ＰＦ（Ｇ）がゼロ近くになれば（３０）式は発散してし
まう。However, in this conventional method, (3
In an image area where the value of the denominator LPF (G) in the equation (0) becomes small, the ratio of LPF (R) / LPF (G) greatly varies even in a local area. Also, the denominator L of the equation (30)
In a region where the value of PF (G) is small, LP is also similarly affected by noise generated by the image sensor and the A / D conversion circuit.
The ratio of F (R) / LPF (G) fluctuates greatly. Especially L
If PF (G) approaches zero, equation (30) diverges.

【０２１７】例えば、ＬＰＦ（Ｇ）が２でありＧ（ｎ）
が１であるような場合には、Ｒ（ｎ）は、ＬＰＦ（Ｒ）
の半分の値になる。Ｇフィルタ信号はわずか２−１＝１
だけのわずかな変化しかないにもかかわらず、Ｒフィル
タ信号は、第ｎ行の値が周囲の平均の半分となり、急激
な変化が画像に現れてしまい、周囲の画素に比べてその
画素は特異な色になる。この現象は、ＬＰＦ（Ｇ）が小
さい領域、つまりＧフィルタ信号の小さい領域で現われ
る。For example, if LPF (G) is 2 and G (n)
Is 1, R (n) is LPF (R)
Is half the value of The G filter signal is only 2-1 = 1
Despite only a slight change, the R-filter signal has a value in the n-th row that is half the average of the surroundings, and a sharp change appears in the image. Color. This phenomenon appears in a region where the LPF (G) is small, that is, in a region where the G filter signal is small.

【０２１８】つまり、この現象は、画像が赤色、青色、
またはマゼンタ色の近似色で顕著であり、実際に一般的
な画像でも多く存在する。したがって、従来技術による
方法では、撮像画像内に鑑賞に耐え難い異常色が発生し
てしまい、実用に耐え難いと言える。In other words, this phenomenon occurs when the image is red, blue,
Alternatively, the color is remarkable in an approximate color of magenta, and actually exists in many general images. Therefore, according to the method according to the related art, an abnormal color that is difficult to appreciate occurs in the captured image, and it can be said that the method is not practical.

【０２１９】これに対し、本実施例で示した色モアレ抑
圧処理は、Ｇフィルタ信号の値が小さい領域でも、適切
に計算することができる。On the other hand, the color moiré suppression processing shown in this embodiment can be appropriately calculated even in a region where the value of the G filter signal is small.

【０２２０】また、この色モアレ抑圧処理は、色フィル
タ１５のようなベイヤー配列の合成処理に限定されるも
のではなく、どのような種類のカラーフィルタ配列を用
いたカラー撮像装置、２板式のカラー撮像装置などにも
適応することができる。The color moiré suppression processing is not limited to the Bayer array synthesis processing such as the color filter 15, but a color image pickup apparatus using any kind of color filter array and a two-plate type color image pickup apparatus. It can also be applied to an imaging device and the like.

【０２２１】つまり、図１のように、隣接する３画素に
おいて、３画素とも受光データの存在する同一種類の画
素データ（ここではＧフィルタ信号）と、中間の位置に
は受光データが存在せず両端の画素位置には受光データ
が存在する別種類の画素データ（ここではＲフィルタ信
号）があるデータ系列では、中間の位置の受光データ
を、モアレの発生を抑圧して求めることができる。That is, as shown in FIG. 1, among the three adjacent pixels, the same type of pixel data (here, a G filter signal) in which light reception data exists in all three pixels, and no light reception data exists in an intermediate position. In a data series having pixel data of another type (here, an R filter signal) in which light reception data exists at pixel positions at both ends, light reception data at an intermediate position can be obtained by suppressing the occurrence of moire.

【０２２２】ここで、図２４のブロック図を用いて、合
成処理回路１２のさらに詳しい構成を説明する。図２４
の合成処理回路１２では、垂直色モアレ抑圧処理を（２
６）式および（２７）式に基づいて処理している。な
お、輝度信号生成回路２０７および色差マトリックス回
路２０９は、図２２と同じであるので、説明を省略す
る。Here, a more detailed configuration of the synthesis processing circuit 12 will be described with reference to the block diagram of FIG. FIG.
Of the vertical color moiré suppression processing (2)
Processing is performed based on equations 6) and (27). Note that the luminance signal generation circuit 207 and the color difference matrix circuit 209 are the same as those in FIG.

【０２２３】端子２００からＡ／Ｄ変換回路４から出力
された第２原画像信号が入力され、端子２０１から画像
メモリから出力された第１原画像信号が入力される。合
成処理回路１２は、入力された第１および第２原画像信
号から、輝度信号Ｙおよび２種類の色差信号Ｒ−Ｙ，Ｂ
−Ｙを生成し、端子２０２，２０３，２０４からそれぞ
れ出力する。高解像度出力画像信号は、輝度信号および
２種類の色差信号から構成され、この輝度信号Ｙおよび
２種類の色差信号Ｒ−Ｙ，Ｂ−Ｙは、高解像度出力画像
信号として画像メモリ５（図２参照）にストアされる。A second original image signal output from the A / D conversion circuit 4 is input from a terminal 200, and a first original image signal output from an image memory is input from a terminal 201. The synthesis processing circuit 12 outputs a luminance signal Y and two kinds of color difference signals RY, B from the input first and second original image signals.
-Y is generated and output from terminals 202, 203, and 204, respectively. The high-resolution output image signal is composed of a luminance signal and two types of color difference signals. The luminance signal Y and the two types of color difference signals RY and BY are used as a high-resolution output image signal in the image memory 5 (FIG. 2). Reference).

【０２２４】端子２００から入力された第２原画像信号
は、水平ディレイライン２３１，２３２を順に通過する
ことにより、垂直方向Ｖに隣接する３行を同期化して、
信号Ｓ２(+) ，Ｓ２，Ｓ２(-) を出力する。同様に、端
子２０１から入力された第１原画像信号は、水平ディレ
イライン２３３，２３４を順に通過することにより、垂
直方向Ｖに隣接する３行を同期化して、信号Ｓ１(+) ，
Ｓ１，Ｓ１(-) を出力する。これらの信号Ｓ２(-) ，Ｓ
２，Ｓ２(+) ，Ｓ１(-) ，Ｓ１，Ｓ１(+) はスイッチ２
３５に入力される。The second original image signal input from the terminal 200 sequentially passes through the horizontal delay lines 231 and 232 to synchronize three rows adjacent in the vertical direction V.
The signals S2 (+), S2, and S2 (-) are output. Similarly, the first original image signal input from the terminal 201 sequentially passes through the horizontal delay lines 233 and 234, thereby synchronizing three rows adjacent in the vertical direction V, and synchronizing the signals S1 (+),
S1 and S1 (-) are output. These signals S2 (-), S
2, S2 (+), S1 (-), S1, S1 (+) are switches 2
35 is input.

【０２２５】スイッチ２３５は、入力された６信号を１
画素ごとに切り替えてＲ，Ｇ，Ｂフィルタ信号ごとに分
離する。Ｇは現在処理中の画素位置のＧフィルタ信号、
Ｇ(-) は現在処理中の画素位置より１行前のＧフィルタ
信号、Ｇ(+) は現在処理中の画素位置より１行後のＧフ
ィルタ信号、Ｑは、現在処理中の行中に存在するＲまた
はＢフィルタ信号のどちらか一方である。The switch 235 changes the input six signals to one.
Switching is performed for each pixel, and separation is performed for each of the R, G, and B filter signals. G is the G filter signal of the pixel position currently being processed,
G (-) is the G filter signal one line before the pixel position currently being processed, G (+) is the G filter signal one line after the pixel position currently being processed, and Q is the G filter signal in the line currently being processed. Either the R or B filter signal present.

【０２２６】もし、現在処理中の行が図２０に関して奇
数行つまりＦａの存在する行であるならば、ＱはＲフィ
ルタ信号となる。また、現在処理中の行がＦｂの存在す
る行であるならば、ＱはＢフィルタ信号となる。Ｐ(-)
は現在処理中の画素位置より１行前のＲまたはＢフィル
タ信号のどちらか他方のフィルタ信号、Ｐ(+) は現在処
理中の画素位置より１行後のＲまたはＢフィルタ信号の
どちらか他方のフィルタ信号である。つまり、ＱがＲフ
ィルタ信号であるならば、Ｐ(+) およびＰ(-)はＢフィ
ルタ信号である。また、ＱがＢフィルタ信号であるなら
ば、Ｐ(+) およびＰ(-) はＲフィルタ信号である。If the row currently being processed is an odd row with respect to FIG. 20, that is, a row where Fa exists, Q is an R filter signal. If the row currently being processed is a row where Fb exists, Q is a B filter signal. P (-)
Is the other filter signal of the R or B filter signal one line before the pixel position currently being processed, and P (+) is the other of the R or B filter signal one line after the pixel position currently being processed. This is the filter signal of. That is, if Q is an R filter signal, P (+) and P (-) are B filter signals. Also, if Q is a B filter signal, P (+) and P (-) are R filter signals.

【０２２７】Ｇ(-) およびＧ(+) は、加算器２３６にて
加算された後、１／２除算器２３８により１／２にされ
る。なお、１／２除算器２３８は、ビットシフト回路に
より簡単に実現できる。加算器２４０にてＧからこの１
／２にされた信号を減算した後に、加算器２４１に入力
される。After G (-) and G (+) are added by the adder 236, they are halved by the 1/2 divider 238. Note that the 1/2 divider 238 can be easily realized by a bit shift circuit. Adder 240 calculates this 1 from G
After subtracting the signal of / 2, the signal is input to the adder 241.

【０２２８】一方、Ｐ(-) およびＰ(+) は加算器２３７
にて加算された後、１／２除算器２３９により１／２に
される。１／２にされた信号は加算器２４１に入力され
る。この加算器２４１の出力は、垂直色モアレ抑圧処理
された現在処理中の画素位置に対応して補間されたＰで
ある。このＰおよびＱは、スイッチ２４２に入力され
る。On the other hand, P (-) and P (+) are
, And is halved by a 除 divider 239. The halved signal is input to the adder 241. The output of the adder 241 is P interpolated corresponding to the pixel position currently being processed after the vertical color moiré suppression processing. The P and Q are input to the switch 242.

【０２２９】ＰおよびＱは、１行置きにＲ”およびＢ”
フィルタ信号が切り替わっている。そこで、スイッチ２
４２は、１行置きにスイッチを切り替えている。スイッ
チ２４２から出力されたＲ”，Ｂ”フィルタ信号、およ
びスイッチ２３５から出力されたＧフィルタ信号は、輝
度信号生成回路２０７に導出される。P and Q are R ″ and B ″ every other line.
The filter signal is switching. So switch 2
Reference numeral 42 indicates that the switch is switched every other line. The R ″ and B ″ filter signals output from the switch 242 and the G filter signal output from the switch 235 are derived to the luminance signal generation circuit 207.

【０２３０】また、加算器２４３，２４４によって、
Ｒ”フィルタ信号とＧフィルタ信号の差分Ｒ”−Ｇを計
算して色差信号Ｒ−Ｇを生成し、Ｂ”フィルタ信号とＧ
フィルタ信号の差分Ｂ”−Ｇを計算して色差信号Ｂ−Ｇ
を生成している。生成された色差信号Ｒ−Ｇ，Ｂ−Ｇ信
号は、色差マトリックス回路２０９へ導出される。The adders 243 and 244 provide
A difference R ″ -G between the R ″ filter signal and the G filter signal is calculated to generate a color difference signal RG, and the B ″ filter signal and the G
The color difference signal B-G is calculated by calculating the difference B "-G of the filter signal.
Has been generated. The generated color difference signals RG and BG signals are derived to a color difference matrix circuit 209.

【０２３１】また、一般に色差信号の高周波数成分が無
くとも視覚的に目立たないので、色差マトリックス回路
２０９の入力前の色差信号Ｒ−Ｇ，Ｂ−Ｇに、ローパス
フィルタを施して、色差信号Ｒ−Ｇ，Ｂ−Ｇを間引いて
もよい。あるいは、色差マトリックス回路２０９の出力
後の色差信号Ｒ−Ｙ，Ｂ−Ｙに、ローパスフィルタを施
して、色差信号Ｒ−Ｙ，Ｂ−Ｙを間引いてもよい。間引
くことで、高解像度出力画像のデータ量を削減すること
ができる。In general, even if there is no high frequency component of the color difference signal, the color difference signal RG and BG before input to the color difference matrix circuit 209 are subjected to a low-pass filter so that the color difference signal R -G and BG may be thinned out. Alternatively, the color difference signals RY and BY output from the color difference matrix circuit 209 may be subjected to a low-pass filter to thin out the color difference signals RY and BY. By thinning out, the data amount of the high-resolution output image can be reduced.

【０２３２】このようにして構成される合成処理回路１
２の場合、輝度信号Ｙまたは色差信号Ｒ−Ｙ，Ｂ−Ｙに
は、ローパスフィルタなどのフィルタリング処理が無い
ため、信号処理回路６のように、図１７における破線部
分のゲインがゼロにならない。したがって、このような
合成処理回路１２を備えた本カラー撮像装置では、高解
像度出力画像信号が、折り返し周波数付近の高周波数成
分を失わないので、通常出力画像では再現できなかった
水平方向Ｈに２ＰＨ周期の縦縞、つまり水平方向Ｈに白
列と黒列が交互に並んだ縦縞も、劣化なしに再現するこ
とができる。また、通常出力画像では再現できなかった
垂直方向Ｖに２ＰＶ周期の横縞、つまり垂直方向に白行
と黒行が交互に並んだ横縞も再現することができる。The composition processing circuit 1 thus configured
In the case of 2, since the luminance signal Y or the color difference signals RY and BY do not have a filtering process such as a low-pass filter, the gain of the broken line portion in FIG. Therefore, in the present color imaging apparatus including such a synthesis processing circuit 12, since the high-resolution output image signal does not lose the high-frequency component near the aliasing frequency, 2PH in the horizontal direction H which cannot be reproduced in the normal output image. Periodic vertical stripes, that is, vertical stripes in which white columns and black columns are alternately arranged in the horizontal direction H, can also be reproduced without deterioration. Further, horizontal stripes having a period of 2 PV in the vertical direction V, that is, horizontal stripes in which white rows and black rows are alternately arranged in the vertical direction, which cannot be reproduced in the normal output image, can be reproduced.

【０２３３】また、配設されている空間フィルタ４０
（或いは空間フィルタ６０）によるｆＶ／２近傍の空間
周波数成分の減衰も無いため、垂直解像度が高い。実際
の自然画像では、エッジがぼやけることなくシャープさ
を保ち、高解像度画像を撮像することができる。The spatial filter 40 provided
Since the spatial frequency component near fV / 2 is not attenuated by the spatial filter 60 (or the spatial filter 60), the vertical resolution is high. In an actual natural image, sharpness can be maintained without blurring edges, and a high-resolution image can be captured.

【０２３４】また、通常モードにおいては、輝度信号の
高域成分である高域輝度信号ＹＨを、原画像信号をバン
ドパスフィルタ１３１（図１５参照）に通過させること
により得ているが、このバンドパスフィルタ１３１によ
り得られる高域輝度信号ＹＨは、ある着色領域から別の
着色領域（無着色を含む）へ変化する境界線部分では、
バンドパスフィルタ１３１のステップ応答が現れてしま
う。In the normal mode, the high-frequency luminance signal YH, which is a high-frequency component of the luminance signal, is obtained by passing the original image signal through the band-pass filter 131 (see FIG. 15). The high-frequency luminance signal YH obtained by the pass filter 131 has a boundary portion where a color region changes from another color region to another color region (including non-color region).
A step response of the band pass filter 131 appears.

【０２３５】例えば、白色の領域と黄色の領域が接する
直線エッジは、直線であるはずがギザギザしたエッジと
なる。これは、輝度信号Ｙのエッジに、乱れが生じて、
ギザギザした成分が含まれてしまうためである。このギ
ザギザした成分は、図１７中の破線付近の周波数成分で
ある。この画質劣化となるギザギザした成分を取り除く
には、バンドパスフィルタ１３１の高域のカットオフ周
波数（破線）を低域に下げるか、あるいは高域のカット
オフ特性を緩やかにして破線付近の周波数成分のゲイン
を下げる必要がある。For example, a straight line edge where a white area and a yellow area are in contact is a jagged edge which should be a straight line. This is because the edge of the luminance signal Y is disturbed,
This is because jagged components are included. This jagged component is a frequency component near the broken line in FIG. In order to remove the jagged components that cause the image quality degradation, the cutoff frequency (broken line) in the high band of the band-pass filter 131 is reduced to a low band, or the cutoff characteristic in the high band is moderated to reduce the frequency component near the broken line. Needs to be reduced.

【０２３６】しかしながら、どちらの対処方法も、通常
出力画像の輝度信号Ｙの高域成分のゲインを下げること
なるので、エッジがぼやけて、シャープさが無くなり、
解像度が劣化するというトレードオフの関係にある。し
たがって、現実的には、エッジ部に現れるギザギザした
成分を取り除くことと、解像度の劣化を防止するという
ことを適正に考慮してバンドパスフィルタ１３１の周波
数特性を考えなければならない。また、撮像した通常出
力画像を、使用者が二次利用のために編集する際にシャ
ープフィルタやエッジ強調などの高域強調処理を行う
と、ギザギザしたエッジが目立つようになってしまい、
撮像された画像の利用にも障害が現れ、画像の利用価値
は低下してしまう。However, in either case, the gain of the high frequency component of the luminance signal Y of the normal output image is reduced, so that the edge is blurred and the sharpness is lost.
There is a trade-off relationship that the resolution deteriorates. Therefore, in reality, it is necessary to consider the frequency characteristics of the band-pass filter 131 in consideration of appropriately removing jagged components appearing at the edge portion and preventing resolution degradation. In addition, when the user edits the captured normal output image for secondary use and performs high-frequency emphasis processing such as a sharp filter or edge emphasis, jagged edges become noticeable,
Obstacles also appear in the use of the captured image, and the use value of the image decreases.

【０２３７】これに対し、高解像度モードにおいては、
通常モードにおいて見られるギザギザしたエッジは現れ
ない。したがって、カラー撮像装置内にシャープフィル
タやエッジ強調などの高域強調処理を施して出力して
も、ギザギザしたエッジは現れない。On the other hand, in the high resolution mode,
The jagged edges seen in normal mode do not appear. Therefore, even if a high-frequency emphasis process such as a sharp filter or an edge emphasis process is performed in the color image pickup apparatus and output, jagged edges do not appear.

【０２３８】また、撮像した高解像度出力画像を、使用
者が二次利用のために編集する際にシャープフィルタや
エッジ強調などの高域強調処理を行っても、ギザギザし
たエッジが現れないので、撮像された画像の利用にも障
害が無く、画像の利用価値は高い。Further, even when the user edits the captured high-resolution output image for secondary use, even if high-frequency emphasis processing such as a sharp filter or edge emphasis is performed, jagged edges do not appear. There is no obstacle to the use of the captured image, and the use value of the image is high.

【０２３９】ところで、上記の第１実施形態のカラー撮
像装置においては、空間フィルタ４０（或いは空間フィ
ルタ６０）は固定のものであったが、高解像度モードで
は、図２１に示したように通常モード時に存在した色差
信号のモアレのキャリア周波数（ｆＨ／２，ｆＶ／
２）、（−ｆＨ／２，ｆＶ／２）は、消滅している。従
って、空間フィルタ４０（或いは空間フィルタ６０）に
よって作用された図２１の破線に示す空間周波数成分の
トラップは特に必要ではない。In the color image pickup apparatus of the first embodiment, the spatial filter 40 (or the spatial filter 60) is fixed. However, in the high resolution mode, as shown in FIG. Moiré carrier frequency (fH / 2, fV /
2), (−fH / 2, fV / 2) have disappeared. Therefore, the trapping of the spatial frequency component shown by the broken line in FIG.

【０２４０】そこで、本発明の第２実施形態のカラー撮
像装置では、通常モードでは空間フィルタ４０（或いは
空間フィルタ６０）を作用させ、高解像度モードでは空
間フィルタ４０（或いは空間フィルタ６０）を作用させ
ない構成となっている。Therefore, in the color imaging apparatus according to the second embodiment of the present invention, the spatial filter 40 (or the spatial filter 60) is operated in the normal mode, and the spatial filter 40 (or the spatial filter 60) is not operated in the high resolution mode. It has a configuration.

【０２４１】空間フィルタ４０（或いは空間フィルタ６
０）を作用させない構成として、ここでは、光学系１内
に設置される空間フィルタ４０（或いは空間フィルタ６
０）全体を、光路から機械的に移動させる、つまり着脱
させる構成を採用している。The spatial filter 40 (or the spatial filter 6)
0) does not act here, here, the spatial filter 40 (or the spatial filter 6
0) The whole is mechanically moved from the optical path, that is, it is configured to be attached and detached.

【０２４２】ここでは、撮影モードを切り換えるレバー
に連動して、空間フィルタ４０（或いは空間フィルタ６
０）を光路内に移動もしくは着脱させるようになってお
り、使用者がレバーを切り換えるごとに、撮影モードに
応じて空間フィルタ４０（或いは空間フィルタ６０）
が、作用もしくは非作用になる。Here, the spatial filter 40 (or the spatial filter 6) is linked to the lever for switching the photographing mode.
0) is moved or detached in the optical path, and every time the user switches the lever, the spatial filter 40 (or the spatial filter 60) is switched according to the photographing mode.
Become active or inactive.

【０２４３】このような構成によるカラー撮像装置は、
この空間フィルタ４０（或いは空間フィルタ６０）によ
って、（ｆＨ／２，ｆＶ／２）、（−ｆＨ／２，ｆＶ／
２）付近の空間周波数成分が低下しないので、高解像度
モードによる撮像にて生成される高解像度出力画像は、
高周波数成分のゲインが大きくなる。つまり、高解像度
出力画像はより高画質になる。The color imaging device having such a configuration is
By the spatial filter 40 (or the spatial filter 60), (fH / 2, fV / 2), (-fH / 2, fV /
2) Since a nearby spatial frequency component does not decrease, a high-resolution output image generated by imaging in the high-resolution mode is
The gain of the high frequency component increases. That is, the high-resolution output image has higher image quality.

【０２４４】具体的には、斜め方向に、（３２）式で定
義される周期Ｔの斜め縞、つまり斜め方向に白線と黒線
とが交互に並んだ斜め線（見方によっては白黒の市松模
様にも見える）を、第２実施形態のカラー撮像装置では
再現できるが、第１実施形態のカラー撮像装置では、再
現できず、実際の自然画像では、斜め方向のエッジがぼ
やけることが生じ、画質がそこなわれてしまう。Specifically, in the oblique direction, oblique stripes having a period T defined by the equation (32), that is, oblique lines in which white lines and black lines are alternately arranged in an oblique direction (a black and white checkerboard pattern depending on the viewpoint) Can be reproduced by the color image pickup device of the second embodiment, but cannot be reproduced by the color image pickup device of the first embodiment. Is lost.

【０２４５】[0245]

【数２３】 (Equation 23)

【０２４６】また、上記の第１および第２実施形態１の
カラー撮像装置は、高解像度モードでは、２枚の原画像
を撮像することが行われるが、この２枚の原画像間に光
量差があると、高解像度出力画像に市松模様が発生する
ことが知られている。これに対処する光量差補正処理
を、既に発明者らは特願平８−３４９１５９号にて提案
している。In the color imaging apparatus according to the first and second embodiments, two original images are taken in the high resolution mode. It is known that a checkered pattern occurs in a high-resolution output image when there is an image. The present inventors have already proposed in Japanese Patent Application No. 8-349159 a light amount difference correction process to cope with this.

【０２４７】図２２に示した合成処理回路１２に、この
光量差補正処理を組み込む場合は、スイッチ２０５から
出力されたＲ，Ｇ，Ｂフィルタ信号に、それぞれローパ
スフィルタを施す。このような構成にすることにより、
１枚の画像メモリだけしか持たない上記の第１および第
２実施形態１のカラー撮像装置でも、光量差補正を行う
ことができる。When this light amount difference correction processing is incorporated in the synthesis processing circuit 12 shown in FIG. 22, a low-pass filter is applied to each of the R, G, and B filter signals output from the switch 205. With such a configuration,
Even in the color imaging apparatuses of the first and second embodiments having only one image memory, the light amount difference correction can be performed.

【０２４８】このローパスフィルタは、Ｒ，Ｇ，Ｂフィ
ルタ信号それぞれの基底帯域を通過帯域とし、その境界
線上においてゲインがゼロであることが望ましい。した
がって、このローパスフィルタは、２次元フィルタとな
る。また、ローパスフィルタは直線位相特性であること
が望ましい。また、Ｒ，Ｇ，Ｂフィルタ信号の場合は、
ｆＨ／２にカットオフ周波数をもつ水平方向の１次元ロ
ーパスフィルタでもよい。この場合は、垂直方向の解像
度を劣化させないという利点がある。また、Ｇフィルタ
信号の場合は、ｆＶ／２にカットオフ周波数をもつ垂直
方向の１次元ローパスフィルタでもよい。In this low-pass filter, it is desirable that the base band of each of the R, G, and B filter signals be a pass band, and the gain be zero on the boundary line. Therefore, this low-pass filter is a two-dimensional filter. It is desirable that the low-pass filter has a linear phase characteristic. In the case of R, G, B filter signals,
A horizontal one-dimensional low-pass filter having a cutoff frequency of fH / 2 may be used. In this case, there is an advantage that the resolution in the vertical direction is not deteriorated. In the case of a G filter signal, a vertical one-dimensional low-pass filter having a cutoff frequency of fV / 2 may be used.

【０２４９】Ｒ，Ｇ，Ｂフィルタ信号それぞれに、ｆＨ
／２にカットオフ周波数をもつ水平方向の１次元ローパ
スフィルタを施す場合の光量差補正処理の一例は、（３
３）式で定義されるｆ２を用いて表すことができる。FH is applied to each of the R, G, and B filter signals.
An example of the light amount difference correction processing in the case of applying a horizontal one-dimensional low-pass filter having a cutoff frequency of / 2 is (3
3) It can be expressed using f2 defined by the equation.

【０２５０】[0250]

【数２４】 (Equation 24)

【０２５１】このローパスフィルタｆ２は、１行４列の
行列として表される１次元ローパスフィルタである。第
ｐ列の要素をｆ２（ｐ）として表すと、この１次元ロー
パスフィルタｆ２により、光量差補正処理は、（３４）
式で計算できる。The low-pass filter f2 is a one-dimensional low-pass filter represented as a matrix of one row and four columns. If the element in the p-th column is represented as f2 (p), the one-dimensional low-pass filter f2 performs the light amount difference correction processing as (34)
It can be calculated by the formula.

【０２５２】[0252]

【数２５】 (Equation 25)

【０２５３】ここで、Ｘ（ｎ，ｍ）は、補間前のＸフィ
ルタ信号の第ｎ行第ｍ列の受光データを表す。また、
Ｘ’（ｎ，ｍ）は、補間後のＸフィルタ信号の第ｎ行第
ｍ列の受光データを表す。Here, X (n, m) represents the light receiving data of the n-th row and the m-th column of the X filter signal before interpolation. Also,
X '(n, m) represents the light reception data of the n-th row and m-th column of the interpolated X filter signal.

【０２５４】このようなローパスフィルタを施すことに
より、画像のどの部分においても、また、部分ごとに光
量差が異なる場合でも、光量差を補正することができ
る。By applying such a low-pass filter, it is possible to correct the light quantity difference in any part of the image and even when the light quantity difference is different for each part.

【０２５５】なお、光量差補正処理を追加することによ
り、図１７における破線部分のゲインがゼロになる。例
えば（３３）式と（３４）式により定義される１次元ロ
ーパスフィルタによる光量差補正処理では、破線のうち
で水平方向Ｈの空間周波数がｆＨ／２である空間周波数
成分のゲインがゼロになる。したがって、光量差補正処
理によって、垂直解像度の低下は無いが、水平解像度の
低下が発生してしまう。しかし、通常モードで発生した
ようなギザギザしたエッジが発生しないため、（３３）
式で定義されるような１次元ローパスフィルタよりもも
っとカットオフ特性の急峻で、破線付近の周波数成分の
ゲインの高いフィルタも適応することができ、水平解像
度の低下を小さくすることもできる。By adding the light amount difference correction processing, the gain indicated by the broken line in FIG. 17 becomes zero. For example, in the light amount difference correction processing using the one-dimensional low-pass filter defined by the equations (33) and (34), the gain of the spatial frequency component of which the spatial frequency in the horizontal direction H is fH / 2 is zero. . Therefore, although the vertical resolution is not reduced by the light amount difference correction processing, the horizontal resolution is reduced. However, since jagged edges as in the normal mode do not occur, (33)
A filter having a steeper cutoff characteristic than the one-dimensional low-pass filter defined by the equation and having a high gain of the frequency component near the broken line can be applied, and a decrease in the horizontal resolution can be reduced.

【０２５６】[0256]

【発明の効果】本発明の請求項１記載のデータ補間処理
方法は、以上のように、それぞれ複数のデータ群からな
り、局所的な領域にて相関のある第１および第２のデー
タ系列において、第１のデータ系列の欠落したデータを
求める際、該欠落データと同じ位置にある第２のデータ
系列のデータに、第１のデータ系列のデータ群をローパ
スフィルタ処理した値を加算し、さらに第２のデータ系
列のデータ群をローパスフィルタ処理した値を引くこと
により求める構成である。As described above, the data interpolation processing method according to the first aspect of the present invention comprises a plurality of data groups each having a correlation in a local area. When obtaining the missing data of the first data series, a value obtained by subjecting the data group of the first data series to low-pass filtering is added to the data of the second data series at the same position as the missing data, In this configuration, the data group of the second data series is obtained by subtracting a value obtained by performing a low-pass filter process.

【０２５７】本発明の請求項２記載のデータ補間処理方
法は、請求項１記載の構成において、上記のローパスフ
ィルタ処理が、第１のデータ系列の場合は求めるべきデ
ータの位置に隣接する２つのデータの平均をとり、第２
のデータ系列の場合は求めるべきデータと同じ位置に隣
接する２つのデータの平均をとる構成である。According to a second aspect of the present invention, in the data interpolation processing method according to the first aspect, in the case where the low-pass filter processing is the first data series, two low-pass filter processing steps are performed adjacent to the position of the data to be obtained. Take the average of the data and
In this case, the average of two data adjacent to the same position as the data to be obtained is calculated.

【０２５８】本発明の請求項３記載のデータ補間処理方
法は、請求項１又は２記載の構成において、上記の第１
および第２のデータ系列が、カラー撮像装置において異
なる色フィルタ配列により受光された２種類の受光デー
タ群である構成である。According to a third aspect of the present invention, there is provided a data interpolation processing method according to the first or second aspect, wherein
And the second data series are two types of light reception data groups received by different color filter arrays in the color imaging device.

【０２５９】本発明の請求項４記載のデータ補間処理方
法は、請求項３記載の構成において、上記の第１および
第２のデータ系列が、異なる結像位置において撮像され
た２枚の画像を重ね合わせて得た、第１の色フィルタの
受光データ群と、第２の色フィルタの受光データ群とで
ある構成である。According to a fourth aspect of the present invention, in the data interpolation processing method according to the third aspect, the first and second data series are obtained by converting two images captured at different image forming positions. This is a configuration in which a light reception data group of the first color filter and a light reception data group of the second color filter are obtained by superimposition.

【０２６０】また、本発明の請求項５記載のデータ補間
処理回路は、以上のように、複数のデータ群からなるデ
ータ系列の欠落したデータを補間するデータ補間処理回
路において、欠落データを有する第１のデータ系列のデ
ータ群をローパスフィルタ処理する第１のローパスフィ
ルタ処理手段と、上記の第１のデータ系列と局所的な領
域において相関のある第２のデータ系列のデータ群をロ
ーパスフィルタ処理する第２のローパスフィルタ処理手
段と、第１のデータ系列における欠落したデータと同じ
位置にある第２のデータ系列のデータに、第１のデータ
系列のデータ群のローパスフィルタ処理した値を加算す
る加算手段と、該加算手段の計算値から、第２のデータ
系列のデータ群をローパスフィルタ処理した値を減算す
る減算手段とを備えた構成である。According to a fifth aspect of the present invention, there is provided a data interpolation processing circuit for interpolating missing data of a data series consisting of a plurality of data groups, the second data interpolation processing circuit having missing data. First low-pass filter processing means for low-pass filtering the data group of one data series, and low-pass filter processing of the data group of the second data series correlated with the first data series in a local region A second low-pass filter processing means for adding a low-pass filtered value of the data group of the first data series to the data of the second data series at the same position as the missing data in the first data series Means, and subtraction means for subtracting, from the calculated value of the addition means, a value obtained by subjecting the data group of the second data series to low-pass filtering. And is a configuration.

【０２６１】本発明の請求項６記載のデータ補間処理回
路は、請求項４記載の構成において、上記の第１ローパ
スフィルタ処理手段は、求めるべきデータの位置に隣接
する２つのデータの平均をとることでローパスフィルタ
処理を実施し、上記の第２ローパスフィルタ処理手段
は、求めるべきデータと同じ位置に隣接する２つのデー
タの平均をとることでローパスフィルタ処理を実施する
構成である。According to a sixth aspect of the present invention, in the data interpolation processing circuit according to the fourth aspect, the first low-pass filter processing means averages two data adjacent to the position of the data to be obtained. Thus, the low-pass filter processing is performed, and the second low-pass filter processing unit is configured to perform the low-pass filter processing by averaging two adjacent data at the same position as the data to be obtained.

【０２６２】本発明の請求項７記載のデータ補間処理回
路は、請求項５又は６記載の構成において、上記の第１
および第２のデータ系列が、カラー撮像装置において異
なる色フィルタ配列により受光された２種類の受光デー
タ群である構成である。The data interpolation processing circuit according to claim 7 of the present invention is the data interpolation processing circuit according to claim 5 or 6, wherein
And the second data series are two types of light reception data groups received by different color filter arrays in the color imaging device.

【０２６３】本発明の請求項８記載のデータ補間処理回
路は、請求項７記載の構成において、上記の第１および
第２のデータ系列が、異なる結像位置において撮像され
た２枚の画像を重ね合わせて得た、第１の色フィルタの
受光データ群と、第２の色フィルタの受光データ群とで
ある構成である。The data interpolation processing circuit according to claim 8 of the present invention is the data interpolation processing circuit according to claim 7, wherein the first and second data sequences are obtained by converting two images picked up at different imaging positions. This is a configuration in which a light reception data group of the first color filter and a light reception data group of the second color filter are obtained by superimposition.

【０２６４】本発明の請求項９記載のカラー撮像装置
は、撮像素子の結像面における結像位置を移動させるイ
メージシフト動作を実施して、結像位置が１画素だけ異
なる２枚の撮像画像を得て、画像合成処理回路にて、こ
れら２枚の撮像画像を結像位置の離反量だけ位置の移動
方向とは逆方向にずらして重ね合わせて合成画像を生成
するカラー撮像装置において、上記画像合成処理回路
に、上記請求項８に記載のデータ補間処理回路が備えら
れている構成である。The color image pickup apparatus according to the ninth aspect of the present invention carries out an image shift operation for moving an image forming position on an image forming surface of an image pickup device, and two picked-up images having different image forming positions by one pixel. In a color imaging apparatus that generates a composite image by shifting the two captured images in the direction opposite to the moving direction of the position by the amount of separation of the imaging position and superimposing the two captured images in an image synthesis processing circuit, The image synthesis processing circuit is provided with the data interpolation processing circuit according to claim 8.

【０２６５】本発明の請求項１０記載の画像合成処理方
法は、イメージシフト動作により得られた複数枚の撮像
画像を合成して１枚の合成画像とする画像合成処理方法
において、まずは１枚目に撮像された画像を上書き可能
な画像メモリに蓄積し、その後の２枚目以降は、画像を
撮像するたびに、画像メモリに蓄積された画像と、撮像
された画像とを合成処理し、該合成処理した画像を再び
画像メモリに上書きして蓄積する工程を繰り返す構成で
ある。In the image synthesizing method according to the tenth aspect of the present invention, in the image synthesizing method for synthesizing a plurality of captured images obtained by the image shift operation into one synthetic image, the first The captured image is stored in an overwritable image memory, and after that, every time an image is captured, the image stored in the image memory and the captured image are combined, and This is a configuration in which the process of overwriting and storing the combined image again in the image memory is repeated.

【０２６６】本発明の請求項１１記載の画像合成処理回
路は、イメージシフト動作により得られた複数枚の撮像
画像を合成して１枚の合成画像とする画像合成処理回路
において、１枚目に撮像された画像を上書き可能な画像
メモリに蓄積する手段と、２枚目以降の撮像が行われる
たびに、上記画像メモリに蓄積された画像を読み出して
撮像された画像とを合成処理し、該合成処理した画像を
再び上記画像メモリに上書きする手段とを備えている構
成である。An image synthesizing circuit according to claim 11 of the present invention is an image synthesizing circuit for synthesizing a plurality of picked-up images obtained by an image shift operation into one synthesized image. Means for storing the captured image in an overwritable image memory, and reading out the image stored in the image memory and synthesizing the captured image each time the second and subsequent images are captured, Means for overwriting the synthesized image on the image memory again.

【０２６７】本発明の請求項１２記載のカラー撮像装置
は、撮像素子の結像面における結像位置を移動させるイ
メージシフト動作を実施して、結像位置が異なる複数の
撮像画像を得て、画像合成処理回路にて、これら複数の
撮像画像を結像位置の離反量だけ位置の移動方向とは逆
方向にずらして重ね合わせて合成画像を生成するカラー
撮像装置において、上記画像合成処理回路が、１枚目に
撮像された画像を上書き可能な画像メモリに蓄積する手
段と、２枚目以降の撮像が行われるたびに、上記画像メ
モリに蓄積された画像を読み出して撮像された画像とを
合成処理し、該合成処理した画像を再び上記画像メモリ
に上書きする手段とを備えている構成である。The color image pickup device according to the twelfth aspect of the present invention performs an image shift operation of moving an image forming position on an image forming surface of an image pickup device to obtain a plurality of picked-up images having different image forming positions. In a color imaging apparatus that generates a composite image by shifting the plurality of captured images in the direction opposite to the moving direction of the position by the amount of separation of the imaging position in the image synthesis processing circuit, the image synthesis processing circuit Means for storing the first captured image in an overwritable image memory, and reading out the image stored in the image memory and capturing the captured image every time the second and subsequent images are captured. Means for performing a combining process and overwriting the combined image on the image memory again.

【０２６８】本発明の請求項１３記載のカラー撮像装置
は、複数の色彩光にそれぞれ対応し、入射される被写体
からの画像光のうちの対応する色彩光だけを個別的に通
過させる複数の透光領域を有し、該透光領域が２次元平
面上に配列された色フィルタであって、透光領域は、第
１〜第３の色彩光を通過させる第１〜第３透光領域に区
分され、第１および第２透光領域が一方方向に沿って第
１周期で直線状に配列された第１群と、第１および第３
透光領域が一方方向に沿って第１周期で直線上に配列さ
れた第２群とが、一方方向と直交する他方方向に沿って
第２周期で交互に、かつ、第１群の第１透光領域に第３
透光領域が他方方向の両側に隣接するように配列された
色フィルタと、上記色フィルタの透光領域に個別的に対
応した受光領域が、透光領域の配列と同等の配列で２次
元平面上に配列され、各受光領域では対応した透光領域
を通過した色彩光だけを受光し、各受光領域の受光量を
示す画素データから構成される画像信号を出力する撮像
素子と、上記撮像素子に入射される画像光の結像位置
を、基準位置である第１移動位置と、第１移動位置から
一方方向に第１周期の長さだけ相互にずれた第２移動位
置に相対的に移動させる移動手段と、上記撮像素子から
出力された２つの画像信号を撮像時の結像位置の離反量
だけ位置の移動方向とは逆方向にずらして重ね合わせ
て、撮像素子からは得られなかった第２または第３色彩
光に対応する画素データを求めて合成画像信号を生成す
る画像合成手段と、撮影が開始されると、移動手段によ
って画像光の結像位置を第１および第２移動位置のいず
れか一方位置に移動させ、該移動位置において撮像素子
に画像光を撮像させて画像信号を画像合成手段に与え、
次いで移動手段によって結像位置をいずれか他方位置に
移動させ、該移動位置において撮像素子に画像光を撮像
させて画像信号を画像合成手段に与える制御手段とを備
え、かつ、上記画像合成手段が、撮像素子からは得られ
なかった第２または第３の色彩光に対応する画素データ
を、該画素データと同じ位置にある第１色彩光に対応す
る画素データに、該画素データと同じ位置を通る一方方
向に沿って配列された第２または第３色彩光に対応する
画素データ群をローパスフィルタ処理した値を加算し、
さらに該画素データと同じ位置を通る一方方向に沿って
配列された第１色彩光に対応する画素データ群をローパ
スフィルタ処理した値を引くことにより求める構成であ
る。A color imaging apparatus according to a thirteenth aspect of the present invention includes a plurality of color imaging devices each corresponding to a plurality of color lights and individually passing only the corresponding color light of the incident image light from the subject. A color filter having a light region, wherein the light-transmitting regions are arranged on a two-dimensional plane, wherein the light-transmitting regions are first to third light-transmitting regions that allow the first to third color lights to pass therethrough. A first group in which the first and second light-transmitting regions are linearly arranged at a first period along one direction;
The second group in which the light-transmitting regions are arranged on a straight line in the first cycle along one direction is alternately arranged in the second cycle along the other direction orthogonal to the one direction, and the first group of the first group. Third in light-transmitting area
A color filter in which light-transmitting regions are arranged on both sides in the other direction and light-receiving regions individually corresponding to the light-transmitting regions of the color filter are two-dimensionally arranged in the same arrangement as the light-transmitting region. An imaging element arranged above, and each of the light receiving areas receives only the color light that has passed through the corresponding light transmitting area, and outputs an image signal composed of pixel data indicating the amount of light received in each light receiving area; Relative to the first movement position, which is the reference position, and the second movement position, which is shifted from the first movement position in one direction by the length of the first period. The moving means to be moved and the two image signals output from the image pickup device are superimposed by being shifted in the direction opposite to the moving direction of the position by the amount of separation of the imaging position at the time of image pickup, and were not obtained from the image pickup device. Pixel data corresponding to the second or third color light And an image synthesizing means for generating a synthesized image signal by calculating the image position, and when the photographing is started, the moving means moves the image forming position of the image light to one of the first and second moving positions. In, the image signal is given to the image synthesizing means by causing the image sensor to capture the image light,
Then, the image forming position is moved to one of the other positions by the moving means, and control means for causing the image pickup device to capture image light at the moving position and providing an image signal to the image synthesizing means is provided. The pixel data corresponding to the second or third color light not obtained from the image sensor is replaced with the pixel data corresponding to the first color light at the same position as the pixel data, Adding a value obtained by subjecting a pixel data group corresponding to the second or third color light arrayed along one direction passing through to low-pass filtering,
Further, the pixel data group corresponding to the first color light arranged along one direction passing through the same position as the pixel data is obtained by subtracting a value obtained by performing a low-pass filter process.

【０２６９】本発明の請求項１４記載のカラー撮像装置
は、請求項１３の構成において、第１回目に撮像された
画像信号を蓄積し、第２回目の撮像に同期して蓄積した
画像信号を出力し、出力した領域に画像合成手段から出
力された合成画像信号を上書きして蓄積する画像メモリ
をさらに備えた構成である。According to a fourteenth aspect of the present invention, in the color imaging apparatus according to the thirteenth aspect, the first image signal is accumulated, and the accumulated image signal is synchronized with the second image signal. The image processing apparatus further includes an image memory that outputs the output image and overwrites the output image with the synthesized image signal output from the image synthesis unit.

【０２７０】本発明の請求項１５記載のカラー撮像装置
は、請求項１３または１４の構成において、上記画像合
成手段が、第１色彩光に対応する画素データ群をローパ
スフィルタ処理する際は、求めるべき画素データの位置
に隣接する２つの画素データの平均をとることで処理を
実施し、第２および第３色彩光に対応する画素データ群
のローパスフィルタ処理する際は、求めるべき画素デー
タと同じ位置に隣接する２つの画素データの平均をとる
ことで処理を実施する構成である。According to a fifteenth aspect of the present invention, in the color imaging apparatus according to the thirteenth or fourteenth aspect, when the image synthesizing means performs a low-pass filter process on the pixel data group corresponding to the first color light, The processing is performed by averaging two pixel data adjacent to the position of the pixel data to be processed, and when performing low-pass filtering of the pixel data groups corresponding to the second and third color lights, the same as the pixel data to be obtained is used. In this configuration, the processing is performed by averaging two pixel data adjacent to the position.

【０２７１】上記請求項１〜９、１３に記載した構成に
より、隣接する３画素において、３画素とも受光データ
の存在する同一種類の画素データと、中間の位置には受
光データが存在せず両端の画素位置には受光データが存
在する別種類の画素データがあるデータ系列では、中間
の位置の受光データを、モアレの発生を抑圧して求める
ことができる。According to the structure described in any one of claims 1 to 9 and 13, among the three adjacent pixels, the same type of pixel data in which light reception data exists in all three pixels, and no light reception data exists in an intermediate position and both ends. In a data series in which there is another type of pixel data in which light reception data exists at the pixel position of, the light reception data at an intermediate position can be obtained by suppressing the occurrence of moire.

【０２７２】したがって、例えば、前述の従来技術の項
で述べた、本願出願人が先に提案しているカラー撮像装
置における、高解像度モード時の画像を合成する処理に
供することで、モアレを消滅させることが可能となる。
これにより、基底帯域内に存在するキャリア周波数
（０，ｆＶ／２）の色差信号のモアレを消滅させること
が可能となる。Therefore, for example, moiré disappears by being subjected to the processing of synthesizing an image in the high resolution mode in the color image pickup apparatus previously proposed by the present applicant as described in the section of the prior art. It is possible to do.
This makes it possible to eliminate the moire of the color difference signal of the carrier frequency (0, fV / 2) existing in the base band.

【０２７３】したがって、合成画像信号の基底帯域の水
平方向の実質の幅が拡大すると共に、垂直方向の実質の
幅が拡大し、その結果、このような単板式のカラー撮像
装置においては、水平解像度だけでなく垂直解像度の向
上を得ることができるという効果を奏する。Therefore, the substantial width in the horizontal direction of the base band of the composite image signal is increased, and the substantial width in the vertical direction is increased. As a result, in such a single-panel type color image pickup device, the horizontal resolution is increased. In addition to this, there is an effect that the vertical resolution can be improved.

【０２７４】しかも、モアレの抑制を、例えば加算器と
ビットシフトだけの簡単な回路構成で実現できるため、
消費電力が低く安価で小型のカラー撮像装置を実現でき
る。In addition, since moiré can be suppressed with a simple circuit configuration using only an adder and a bit shift, for example,
An inexpensive and compact color imaging device with low power consumption can be realized.

【０２７５】特に、上記請求項２、６に記載した構成で
は、求めるべきデータの位置、或いは該データと同じ位
置に隣接する２つのデータの平均をとってローパスフィ
ルタ処理を行うようになっている。上記ローパスフィル
タ処理としては、隣接する４つのデータから計算する方
法もあるが、このような方法に比べ、２つのデータの平
均をとる方法の場合、計算に用いるデータ数が少ないの
で、処理速度が速く、回路規模が小さいといった利点が
ある。In particular, in the configuration described in the second and sixth aspects, the low-pass filter processing is performed by taking the position of the data to be obtained or the average of two data adjacent to the same position as the data. . As the above low-pass filter processing, there is a method of calculating from four adjacent data. However, in the case of the method of averaging two data, the number of data used for calculation is small, so that the processing speed is low. There are advantages such as high speed and small circuit scale.

【０２７６】請求項１０〜１２の構成により、画像メモ
リの容量は、原画像もしくは高解像度出力画像の１枚分
だけでよく、２枚分以上の容量を必要としない。その結
果、このような画像合成処理回路を備えたカラー撮像装
置では、画像メモリの容量が少なくて済み、コスト削減
が図れるという効果を奏する。According to the tenth to twelfth aspects, the capacity of the image memory is only one for the original image or the high-resolution output image, and the capacity for two or more images is not required. As a result, in the color image pickup apparatus provided with such an image synthesis processing circuit, there is an effect that the capacity of the image memory can be reduced and the cost can be reduced.

【０２７７】請求項１７記載のカラー撮像装置は、請求
項１３又は１４記載の構成において、上記移動手段にお
ける結像位置の移動を許容または禁止する移動判定手段
と、撮像素子に入射される画像光の空間周波数成分を減
衰させる固定空間フィルタをさらに含む構成である。A color imaging apparatus according to claim 17 is the arrangement according to claim 13 or 14, wherein the movement determining means for allowing or prohibiting the movement of the image forming position by the moving means, and the image light incident on the image pickup device. Is a configuration further including a fixed spatial filter that attenuates the spatial frequency component of.

【０２７８】この構成により、原画像信号から生成され
た通常出力画像信号を出力する一方モードと、２枚の原
画像信号から合成画像信号を生成して出力する他方モー
ドとの２つの解像度のモードが実現する。この場合、合
成画像信号を生成するモードでは、モアレが発生しない
ので、このモアレを目立たなくするための光学的ローパ
スフィルタである空間フィルタを設ける必要がない。With this configuration, there are two resolution modes, one mode for outputting a normal output image signal generated from an original image signal and the other mode for generating and outputting a composite image signal from two original image signals. Is realized. In this case, moire does not occur in the mode in which the composite image signal is generated, so that there is no need to provide a spatial filter that is an optical low-pass filter for making the moire less noticeable.

【０２７９】したがって、空間フィルタは、原画像信号
をそのまま出力するモードでのモアレを目立たなくする
ものだけでよく、また、一方モードに適合させた空間フ
ィルタでよく、他方モードではその空間フィルタをその
まま適用することができ、可変機構を必要としない固定
のものでよい。そのため、切り替えるのに時間を要せ
ず、すばやく切り替えることができる。また、切り替え
るごとに可変機構を動作させることがないために、耐久
性がある。その結果、安価で小型のカラー撮像装置を実
現できる。Therefore, the spatial filter need only be one that makes the moiré in the mode for outputting the original image signal as it is inconspicuous, and it may be a spatial filter adapted to one mode, and the spatial filter may be the same in the other mode. A fixed type that can be applied and does not require a variable mechanism may be used. Therefore, switching can be performed quickly without requiring time. Further, since the variable mechanism is not operated every time switching is performed, there is durability. As a result, an inexpensive and compact color imaging device can be realized.

【０２８０】請求項１８記載のカラー撮像装置は、請求
項１３又は１４記載の構成において、上記移動手段にお
ける結像位置の移動を許容または禁止する移動判定手段
と、撮像素子に入射される画像光の空間周波数成分を減
衰させる可変空間フィルタであって、撮像位置の移動が
禁止されるときに空間周波数成分を第１の減衰量だけ減
衰させ、許容されるときは画像光の光路から除去される
可変空間フィルタをさらに含む構成である。[0280] According to the eighteenth aspect of the present invention, in the color imaging apparatus according to the thirteenth or fourteenth aspect, the movement determining means for allowing or prohibiting the movement of the imaging position by the moving means, and the image light incident on the image sensor. Is a variable spatial filter that attenuates the spatial frequency component of the image light, wherein the spatial frequency component is attenuated by a first attenuation amount when the movement of the imaging position is prohibited, and is removed from the optical path of the image light when it is allowed. The configuration further includes a variable spatial filter.

【０２８１】これにより、空間フィルタが光路から抜脱
される可変空間フィルタの構成としているため、可変空
間フィルタの問題は解決することはできないが、合成画
像信号を出力するモードでの画像が請求項１７の構成よ
りも画質が良いといった効果を奏する。As a result, since the spatial filter has a configuration of a variable spatial filter that escapes from the optical path, the problem of the variable spatial filter cannot be solved, but an image in a mode for outputting a composite image signal is not claimed. There is an effect that the image quality is better than the seventeenth configuration.

【０２８２】本発明の請求項１６記載のカラー撮像装置
は、請求項１４の構成において、上記画像合成手段が、
画像メモリから出力された画像信号と撮像素子から出力
された画像信号とを重ね合わせた後に、３種類の色彩光
に対応するそれぞれの画素データごとに、２回の撮像間
の光量差に基づいて発生する空間周波数成分を取り除
く、ローパスフィルタからなる光量差補正手段を有する
構成である。[0282] According to a sixteenth aspect of the present invention, in the color imaging apparatus according to the fourteenth aspect, the image synthesizing means comprises:
After superimposing the image signal output from the image memory and the image signal output from the image sensor, each pixel data corresponding to three types of color light is determined based on a light amount difference between two image capturing operations. This configuration has a light amount difference correction unit including a low-pass filter that removes a generated spatial frequency component.

【０２８３】これにより、２枚の原画像間に光量差が生
じる場合でも、１枚の画像メモリしかないカラー撮像装
置においても、ローパスフィルタを施すことにより光量
差を補正することができる。Thus, even when a light amount difference occurs between two original images, even in a color image pickup apparatus having only one image memory, the light amount difference can be corrected by applying a low-pass filter.

【図面の簡単な説明】[Brief description of the drawings]

【図１】本発明の第１実施形態であるカラー撮像装置に
おける、合成処理回路の垂直色モアレ抑圧処理を示す模
式図である。FIG. 1 is a schematic diagram illustrating vertical color moiré suppression processing of a synthesis processing circuit in a color imaging device according to a first embodiment of the present invention.

【図２】上記のカラー撮像装置の構成を示すブロック図
である。FIG. 2 is a block diagram illustrating a configuration of the color imaging device.

【図３】撮像素子の結像面の様子を示す説明図である。FIG. 3 is an explanatory diagram illustrating a state of an image forming surface of an image sensor.

【図４】高解像度モードでの撮像素子の結像面における
画像光の第１および第２結像位置の位置関係を示す説明
図である。FIG. 4 is an explanatory diagram showing a positional relationship between first and second image forming positions of image light on an image forming surface of an image sensor in a high resolution mode.

【図５】色フィルタの透光領域の配列を示す説明図であ
る。FIG. 5 is an explanatory diagram showing an array of light-transmitting regions of a color filter.

【図６】レンズ群、イメージシフト機構の屈折板、およ
び撮像素子の位置関係を示す説明図である。FIG. 6 is an explanatory diagram showing a positional relationship among a lens group, a refraction plate of an image shift mechanism, and an image sensor.

【図７】イメージシフト機構の具体的構成を示す斜視図
である。FIG. 7 is a perspective view showing a specific configuration of an image shift mechanism.

【図８】空間フィルタの具体的構成を示す斜視図であ
る。FIG. 8 is a perspective view showing a specific configuration of a spatial filter.

【図９】（ａ)(ｂ）はそれぞれ、図８の空間フィルタを
構成する２枚の複屈折板の分離ベクトルをＨＶ平面に投
影した状態を示す説明図である。FIGS. 9A and 9B are explanatory diagrams respectively showing states in which the separation vectors of two birefringent plates constituting the spatial filter of FIG. 8 are projected on the HV plane.

【図１０】別の具体的構成である空間フィルタを示す斜
視図である。FIG. 10 is a perspective view showing a spatial filter as another specific configuration.

【図１１】（ａ)(ｂ)(ｃ）はそれぞれ、図１０の空間フ
ィルタを構成する３枚の複屈折板の分離ベクトルをＨＶ
平面に投影した状態を示す説明図である。11 (a), (b) and (c) show the separation vectors of the three birefringent plates constituting the spatial filter of FIG.
It is explanatory drawing which shows the state projected on the plane.

【図１２】図８の空間フィルタを通過して４本に分離し
た光線の位置関係を示す説明図である。FIG. 12 is an explanatory diagram showing a positional relationship between light beams that have passed through the spatial filter of FIG. 8 and have been separated into four light beams.

【図１３】図８の空間フィルタおよび図１０の空間フィ
ルタの空間周波数特性を示す説明図である。FIG. 13 is an explanatory diagram showing spatial frequency characteristics of the spatial filter of FIG. 8 and the spatial filter of FIG.

【図１４】通常出力画像信号の輝度信号および色差信号
のモアレのキャリア周波数を示す空間周波数平面図であ
る。FIG. 14 is a spatial frequency plan view showing a carrier frequency of a moire of a luminance signal and a color difference signal of a normal output image signal.

【図１５】上記カラー撮像装置における信号処理回路の
構成を示すブロック図である。FIG. 15 is a block diagram illustrating a configuration of a signal processing circuit in the color imaging device.

【図１６】色フィルタの透光領域の配列のうち６行４列
で構成される一部分を示す説明図である。FIG. 16 is an explanatory diagram showing a part of the arrangement of the light-transmitting regions of the color filter, which is constituted by six rows and four columns.

【図１７】図１５の信号処理回路に備えられたバンドパ
スフィルタの空間周波数特性を示す空間周波数平面図で
ある。17 is a spatial frequency plan view showing a spatial frequency characteristic of a band-pass filter provided in the signal processing circuit of FIG.

【図１８】図１７のバンドパスフィルタの水平方向のフ
ィルタ特性を示す模式図である。FIG. 18 is a schematic diagram illustrating horizontal filter characteristics of the bandpass filter of FIG. 17;

【図１９】図１７のバンドパスフィルタの垂直方向のフ
ィルタ特性を示す模式図である。19 is a schematic diagram illustrating filter characteristics in the vertical direction of the bandpass filter of FIG. 17;

【図２０】２枚の原画像信号を重ね合わせた画像の等価
的な色フィルタ配列パターンを示す図である。FIG. 20 is a diagram showing an equivalent color filter array pattern of an image obtained by superimposing two original image signals.

【図２１】２枚の原画像信号を重ね合わせた画像の等価
的な色フィルタ配列の輝度信号および色差信号のモアレ
のキャリア周波数を示す空間周波数平面図である。FIG. 21 is a spatial frequency plan view showing a carrier frequency of a moire of a luminance signal and a color difference signal of an equivalent color filter array of an image obtained by superimposing two original image signals.

【図２２】上記カラー撮像装置における合成処理回路の
構成を示すブロック図である。FIG. 22 is a block diagram illustrating a configuration of a synthesis processing circuit in the color imaging device.

【図２３】（ａ）〜（ｃ）は、空間周波数成分（０，ｆ
Ｖ／２）をもつ画像を撮像した際に発生する色差信号の
モアレを消去できることを示す模式図である。FIGS. 23A to 23C show spatial frequency components (0, f);
FIG. 4 is a schematic diagram showing that moiré of a color difference signal generated when an image having (V / 2) is captured can be eliminated.

【図２４】図２２の合成処理回路のさらに詳しい構成を
示すブロック図である。FIG. 24 is a block diagram showing a more detailed configuration of the synthesis processing circuit of FIG. 22;

【図２５】先願の色フィルタの透光領域の配列を示す説
明図である。FIG. 25 is an explanatory diagram showing the arrangement of the light-transmitting regions of the color filter of the prior application.

【図２６】先願のカラー撮像装置における高解像度モー
ドでの撮像素子の結像面における画像光の第１および第
２結像位置の位置関係を示す説明図である。FIG. 26 is an explanatory diagram showing a positional relationship between first and second image forming positions of image light on an image forming surface of an image sensor in a high resolution mode in the color imaging apparatus of the prior application.

【図２７】先願のカラー撮像装置における通常出力画像
信号の輝度信号および色差信号のモアレのキャリア周波
数を示す空間周波数平面図である。FIG. 27 is a spatial frequency plan view showing a carrier frequency of a moire of a luminance signal and a color difference signal of a normal output image signal in the color imaging apparatus of the prior application.

【図２８】先願のカラー撮像装置における高解像度出力
画像信号の輝度信号および色差信号のモアレのキャリア
周波数を示す空間周波数平面図である。FIG. 28 is a spatial frequency plan view showing a carrier frequency of a moire of a luminance signal and a color difference signal of a high-resolution output image signal in the color imaging apparatus of the prior application.

【符号の説明】[Explanation of symbols]

１ 光学系 ２ 撮像素子 ５ 画像メモリ ６ 信号処理回路 ８ 駆動回路 １２ 合成処理回路（画像合成手段） １５ 色フィルタ ２２ イメージシフト機構 ２０６ 垂直色モアレ抑圧処理回路（データ補間処理回
路）DESCRIPTION OF SYMBOLS 1 Optical system 2 Image sensor 5 Image memory 6 Signal processing circuit 8 Drive circuit 12 Synthesis processing circuit (image synthesis means) 15 Color filter 22 Image shift mechanism 206 Vertical color moiré suppression processing circuit (Data interpolation processing circuit)

Claims (20)

【特許請求の範囲】[Claims] 【請求項１】それぞれ複数のデータ群からなり、局所的
な領域にて相関のある第１および第２のデータ系列にお
いて、第１のデータ系列の欠落したデータを求める際、
該欠落データと同じ位置にある第２のデータ系列のデー
タに、第１のデータ系列のデータ群をローパスフィルタ
処理した値を加算し、さらに第２のデータ系列のデータ
群をローパスフィルタ処理した値を引くことにより求め
ることを特徴とするデータ補間処理方法。When obtaining missing data of a first data series in first and second data series each comprising a plurality of data groups and correlated in a local area,
A value obtained by adding a low-pass filtered value of the first data series data group to the second data series data at the same position as the missing data, and further a low-pass filtered value of the second data series data group A data interpolation processing method characterized in that it is obtained by subtracting 【請求項２】上記のローパスフィルタ処理が、第１のデ
ータ系列の場合は求めるべきデータの位置に隣接する２
つのデータの平均をとり、第２のデータ系列の場合は求
めるべきデータと同じ位置に隣接する２つのデータの平
均をとることを特徴とする請求項１に記載のデータ補間
処理方法。2. The method according to claim 1, wherein the low-pass filter processing is performed in the case of the first data series.
2. The data interpolation processing method according to claim 1, wherein two data are averaged, and in the case of the second data series, an average of two data adjacent to the same position as the data to be obtained is averaged. 【請求項３】上記の第１および第２のデータ系列が、カ
ラー撮像装置において異なる色フィルタ配列により受光
された２種類の受光データ群であることを特徴とする請
求項１又は２に記載のデータ補間処理方法。3. The color image pickup apparatus according to claim 1, wherein the first and second data series are two types of light reception data groups received by different color filter arrangements in the color image pickup apparatus. Data interpolation processing method. 【請求項４】上記の第１および第２のデータ系列が、異
なる結像位置において撮像された２枚の画像を重ね合わ
せて得た、第１の色フィルタの受光データ群と、第２の
色フィルタの受光データ群とであることを特徴とする請
求項３に記載のデータ補間処理方法。4. A light receiving data group of a first color filter, wherein the first and second data series are obtained by superimposing two images picked up at different image forming positions, 4. The data interpolation processing method according to claim 3, wherein the data interpolation group is a light reception data group of a color filter. 【請求項５】複数のデータ群からなるデータ系列の欠落
したデータを補間するデータ補間処理回路において、 欠落データを有する第１のデータ系列のデータ群をロー
パスフィルタ処理する第１のローパスフィルタ処理手段
と、 上記の第１のデータ系列と局所的な領域において相関の
ある第２のデータ系列のデータ群をローパスフィルタ処
理する第２のローパスフィルタ処理手段と、 第１のデータ系列における欠落したデータと同じ位置に
ある第２のデータ系列のデータに、第１のデータ系列の
データ群のローパスフィルタ処理した値を加算する加算
手段と、 該加算手段の計算値から、第２のデータ系列のデータ群
をローパスフィルタ処理した値を減算する減算手段とを
備えたことを特徴とするデータ補間処理回路。5. A data interpolation processing circuit for interpolating missing data of a data series comprising a plurality of data groups, wherein a first low-pass filter processing means for low-pass filtering a first data series data group having missing data. Second low-pass filter processing means for performing low-pass filter processing on a data group of a second data sequence that is correlated with the first data sequence in a local region; and missing data in the first data sequence. Adding means for adding a low-pass filtered value of the data group of the first data series to data of the second data series at the same position; and calculating the data group of the second data series from the calculated value of the adding means. And a subtraction means for subtracting a value obtained by subjecting the data to low-pass filtering. 【請求項６】上記の第１ローパスフィルタ処理手段は、
求めるべきデータの位置に隣接する２つのデータの平均
をとることでローパスフィルタ処理を実施し、 上記の第２ローパスフィルタ処理手段は、求めるべきデ
ータと同じ位置に隣接する２つのデータの平均をとるこ
とでローパスフィルタ処理を実施することを特徴とする
請求項５に記載のデータ補間処理回路。6. The first low-pass filter processing means,
The low-pass filter processing is performed by averaging two data adjacent to the position of the data to be obtained, and the second low-pass filter processing means averages two data adjacent to the same position as the data to be obtained. 6. The data interpolation processing circuit according to claim 5, wherein the low-pass filter processing is performed. 【請求項７】上記の第１および第２のデータ系列が、カ
ラー撮像装置において異なる色フィルタ配列により受光
された２種類の受光データ群であることを特徴とする請
求項５又は６に記載のデータ補間処理回路。7. The light receiving device according to claim 5, wherein said first and second data series are two kinds of light receiving data groups received by different color filter arrangements in a color image pickup apparatus. Data interpolation processing circuit. 【請求項８】上記の第１および第２のデータ系列が、異
なる結像位置において撮像された２枚の画像を重ね合わ
せて得た、第１の色フィルタの受光データ群と、第２の
色フィルタの受光データ群とであることを特徴とする請
求項７に記載のデータ補間処理回路。8. A light receiving data group of a first color filter, wherein the first and second data series are obtained by superimposing two images picked up at different image forming positions, 8. The data interpolation processing circuit according to claim 7, wherein the data interpolation circuit is a light reception data group of a color filter. 【請求項９】撮像素子の結像面における結像位置を移動
させるイメージシフト動作を実施して、結像位置が１画
素だけ異なる２枚の撮像画像を得て、画像合成処理回路
にて、これら２枚の撮像画像を結像位置の離反量だけ位
置の移動方向とは逆方向にずらして重ね合わせて合成画
像を生成するカラー撮像装置において、 上記画像合成処理回路に、上記請求項８に記載のデータ
補間処理回路が備えられていることを特徴とするカラー
撮像装置。9. An image shift operation for moving an image forming position on an image forming surface of an image pickup device to obtain two picked-up images having different image forming positions by one pixel. 9. A color image pickup apparatus for generating a composite image by superimposing these two captured images in a direction opposite to the moving direction of the position by the amount of separation of the image formation position to generate a composite image. A color imaging device comprising the data interpolation processing circuit described above. 【請求項１０】イメージシフト動作により得られた複数
枚の撮像画像を合成して１枚の合成画像とする画像合成
処理方法において、 まずは１枚目に撮像された画像を上書き可能な画像メモ
リに蓄積し、その後の２枚目以降は、画像を撮像するた
びに、画像メモリに蓄積された画像と、撮像された画像
とを合成処理し、該合成処理した画像を再び画像メモリ
に上書きして蓄積する工程を繰り返すことを特徴とする
画像合成処理方法。10. An image synthesizing method for synthesizing a plurality of captured images obtained by an image shift operation into a single synthesized image, wherein the first image is first stored in an image memory capable of overwriting. After the second and subsequent images are captured, each time an image is captured, the image stored in the image memory is combined with the captured image, and the combined image is overwritten again in the image memory. An image synthesis processing method characterized by repeating a step of storing. 【請求項１１】イメージシフト動作により得られた複数
枚の撮像画像を合成して１枚の合成画像とする画像合成
処理回路において、 １枚目に撮像された画像を上書き可能な画像メモリに蓄
積する手段と、 ２枚目以降の撮像が行われるたびに、上記画像メモリに
蓄積された画像を読み出して撮像された画像とを合成処
理し、該合成処理した画像を再び上記画像メモリに上書
きする手段とを備えていることを特徴とする画像合成処
理回路。11. An image synthesis processing circuit for synthesizing a plurality of captured images obtained by an image shift operation to form a single composite image, and stores the first captured image in an overwritable image memory. Means for reading out the image stored in the image memory and synthesizing the picked-up image each time the second and subsequent images are picked up, and overwriting the synthesized image with the image memory again And an image synthesis processing circuit. 【請求項１２】撮像素子の結像面における結像位置を移
動させるイメージシフト動作を実施して、結像位置が異
なる複数の撮像画像を得て、画像合成処理回路にて、こ
れら複数の撮像画像を結像位置の離反量だけ位置の移動
方向とは逆方向にずらして重ね合わせて合成画像を生成
するカラー撮像装置において、 上記画像合成処理回路が、１枚目に撮像された画像を上
書き可能な画像メモリに蓄積する手段と、 ２枚目以降の撮像が行われるたびに、上記画像メモリに
蓄積された画像を読み出して撮像された画像とを合成処
理し、該合成処理した画像を再び上記画像メモリに上書
きする手段とを備えていることを特徴とするカラー撮像
装置。12. An image shift operation for moving an image forming position on an image forming surface of an image pickup device to obtain a plurality of picked-up images having different image forming positions. In a color imaging device that generates a composite image by shifting images in the direction opposite to the direction of movement of the position by the amount of separation of the imaging position and generating a composite image, the image synthesis processing circuit overwrites the first captured image Means for storing the image in a possible image memory, and each time the second and subsequent images are captured, the image stored in the image memory is read out, and the captured image is combined, and the combined image is again processed. Means for overwriting the image memory. 【請求項１３】複数の色彩光にそれぞれ対応し、入射さ
れる被写体からの画像光のうちの対応する色彩光だけを
個別的に通過させる複数の透光領域を有し、該透光領域
が２次元平面上に配列された色フィルタであって、 透光領域は、第１〜第３の色彩光を通過させる第１〜第
３透光領域に区分され、第１および第２透光領域が一方
方向に沿って第１周期で直線状に配列された第１群と、
第１および第３透光領域が一方方向に沿って第１周期で
直線上に配列された第２群とが、一方方向と直交する他
方方向に沿って第２周期で交互に、かつ、第１群の第１
透光領域に第３透光領域が他方方向の両側に隣接するよ
うに配列された色フィルタと、 上記色フィルタの透光領域に個別的に対応した受光領域
が、透光領域の配列と同等の配列で２次元平面上に配列
され、各受光領域では対応した透光領域を通過した色彩
光だけを受光し、各受光領域の受光量を示す画素データ
から構成される画像信号を出力する撮像素子と、 上記撮像素子に入射される画像光の結像位置を、基準位
置である第１移動位置と、第１移動位置から一方方向に
第１周期の長さだけ相互にずれた第２移動位置に相対的
に移動させる移動手段と、 上記撮像素子から出力された２つの画像信号を撮像時の
結像位置の離反量だけ位置の移動方向とは逆方向にずら
して重ね合わせて、撮像素子からは得られなかった第２
または第３色彩光に対応する画素データを求めて合成画
像信号を生成する画像合成手段と、 撮影が開始されると、移動手段によって画像光の結像位
置を第１および第２移動位置のいずれか一方位置に移動
させ、該移動位置において撮像素子に画像光を撮像させ
て画像信号を画像合成手段に与え、次いで移動手段によ
って結像位置をいずれか他方位置に移動させ、該移動位
置において撮像素子に画像光を撮像させて画像信号を画
像合成手段に与える制御手段とを備え、 かつ、上記画像合成手段が、撮像素子からは得られなか
った第２または第３の色彩光に対応する画素データを、
該画素データと同じ位置にある第１色彩光に対応する画
素データに、該画素データと同じ位置を通る一方方向に
沿って配列された第２または第３色彩光に対応する画素
データ群をローパスフィルタ処理した値を加算し、さら
に該画素データと同じ位置を通る一方方向に沿って配列
された第１色彩光に対応する画素データ群をローパスフ
ィルタ処理した値を引くことにより求めることを特徴と
するカラー撮像装置。13. A plurality of light-transmitting regions respectively corresponding to a plurality of color lights and individually passing only the corresponding color light out of the image light from the subject to be incident, wherein the light-transmitting regions are provided. A color filter arranged on a two-dimensional plane, wherein the light-transmitting region is divided into first to third light-transmitting regions that pass first to third color lights, and the first and second light-transmitting regions Are linearly arranged in a first cycle along one direction, and
A second group in which the first and third light-transmitting regions are arranged in a straight line at a first cycle along one direction alternately at a second cycle along the other direction orthogonal to the one direction, and First of a group
A color filter in which the third light-transmitting region is arranged adjacent to both sides in the other direction in the light-transmitting region, and a light-receiving region individually corresponding to the light-transmitting region of the color filter is equivalent to the arrangement of the light-transmitting regions. An imaging system that is arranged on a two-dimensional plane in an array of light receiving regions, each receiving region receives only the color light that has passed through the corresponding light transmitting region, and outputs an image signal composed of pixel data indicating the amount of light received in each light receiving region. A second movement in which the image forming position of the image light incident on the imaging device is shifted from the first movement position, which is a reference position, by a first period in one direction from the first movement position. A moving means for relatively moving the image pickup device, and two image signals output from the image pickup device being overlapped by being displaced in a direction opposite to the direction of movement of the position by the amount of separation of the imaging position at the time of image pickup. Second not obtained from
An image synthesizing unit that obtains pixel data corresponding to the third color light to generate a synthesized image signal; and, when photographing is started, the moving unit sets the image forming position of the image light to one of the first and second moving positions. At one of the positions, causing the image sensor to pick up image light at the moved position, apply an image signal to the image synthesizing unit, and then move the imaging position to one of the other positions by the moving unit, and perform imaging at the moved position. Control means for causing the element to capture image light to provide an image signal to the image combining means, and wherein the image combining means corresponds to a second or third color light not obtained from the imaging element. Data
The pixel data corresponding to the first color light located at the same position as the pixel data is low-passed with the pixel data group corresponding to the second or third color light arranged along one direction passing through the same position as the pixel data. The values obtained by adding the filtered values are obtained by subtracting the low-pass filtered values of the pixel data group corresponding to the first color light arranged along one direction passing through the same position as the pixel data. Color imaging device. 【請求項１４】第１回目に撮像された画像信号を蓄積
し、第２回目の撮像に同期して蓄積した画像信号を出力
し、出力した領域に画像合成手段から出力された合成画
像信号を上書きして蓄積する画像メモリをさらに備えた
ことを特徴とする請求項１３記載のカラー撮像装置。14. An image signal which has been captured for the first time is accumulated, an image signal which has been accumulated in synchronization with the second imaging is output, and the synthesized image signal output from the image synthesizing means is output to the output area. 14. The color image pickup apparatus according to claim 13, further comprising an image memory for storing data by overwriting. 【請求項１５】上記画像合成手段が、第１色彩光に対応
する画素データ群をローパスフィルタ処理する際は、求
めるべき画素データの位置に隣接する２つの画素データ
の平均をとることで処理を実施し、 第２および第３色彩光に対応する画素データ群のローパ
スフィルタ処理する際は、求めるべき画素データと同じ
位置に隣接する２つの画素データの平均をとることで処
理を実施することを特徴とする請求項１３又は１４に記
載のカラー撮像装置。15. When the image synthesizing means performs low-pass filtering on a pixel data group corresponding to the first color light, the processing is performed by averaging two pixel data adjacent to the position of the pixel data to be obtained. When performing the low-pass filter processing of the pixel data groups corresponding to the second and third color lights, it is preferable to perform the processing by averaging two pixel data adjacent to the same position as the pixel data to be obtained. The color imaging device according to claim 13, wherein 【請求項１６】上記画像合成手段が、画像メモリから出
力された画像信号と撮像素子から出力された画像信号と
を重ね合わせた後に、３種類の色彩光に対応するそれぞ
れの画素データごとに、２回の撮像間の光量差に基づい
て発生する空間周波数成分を取り除く、ローパスフィル
タからなる光量差補正手段を有することを特徴とする請
求項１４に記載のカラー撮像装置。16. The image synthesizing means superimposes an image signal output from an image memory and an image signal output from an image sensor, and then, for each pixel data corresponding to three types of color light, 15. The color imaging apparatus according to claim 14, further comprising a light amount difference correction unit including a low-pass filter for removing a spatial frequency component generated based on a light amount difference between two imagings. 【請求項１７】上記移動手段における結像位置の移動を
許容または禁止する移動判定手段と、 撮像素子に入射される画像光の空間周波数成分を減衰さ
せる固定空間フィルタをさらに含むことを特徴とする請
求項１３又は１４記載のカラー撮像装置。17. The image forming apparatus further comprising: movement determining means for permitting or prohibiting movement of an image forming position in the moving means; and a fixed spatial filter for attenuating a spatial frequency component of image light incident on an image pickup device. The color imaging device according to claim 13. 【請求項１８】上記移動手段における結像位置の移動を
許容または禁止する移動判定手段と、 撮像素子に入射される画像光の空間周波数成分を減衰さ
せる可変空間フィルタであって、撮像位置の移動が禁止
されるときに空間周波数成分を第１の減衰量だけ減衰さ
せ、許容されるときは画像光の光路から除去される可変
空間フィルタをさらに含むことを特徴とする請求項１３
又は１４記載のカラー撮像装置。18. A moving determining means for permitting or prohibiting a movement of an image forming position in said moving means, and a variable spatial filter for attenuating a spatial frequency component of image light incident on an image pickup device, wherein 14. The apparatus according to claim 13, further comprising a variable spatial filter that attenuates the spatial frequency component by a first amount of attenuation when is prohibited, and removes the spatial frequency component from the optical path of the image light when allowed.
Or the color imaging device according to 14. 【請求項１９】それぞれ複数のデータ群からなり、局所
的な領域にて相関のある第１および第２のデータ系列に
おいて、第１のデータ系列の欠落したデータを求める
際、該欠落データと同じ位置にある第２のデータ系列の
データに、第１のデータ系列のデータ群をローパスフィ
ルタ処理した値を加算し、さらに第２のデータ系列のデ
ータ群をローパスフィルタ処理した値を引くことにより
求めるコンピュータプログラムを記録した記録媒体。19. When obtaining missing data of a first data series in first and second data series, each of which comprises a plurality of data groups and having a correlation in a local area, the same data as the missing data is used. The value obtained by adding the value obtained by subjecting the data group of the first data series to low-pass filtering to the data of the second data series at the position, and further subtracting the value obtained by subjecting the data group of the second data series to low-pass filtering. A recording medium that records a computer program. 【請求項２０】イメージシフト動作により得られた複数
枚の撮像画像を合成して１枚の合成画像とする際に、ま
ずは１枚目に撮像された画像を上書き可能な画像メモリ
に蓄積し、その後の２枚目以降は、画像を撮像するたび
に、画像メモリに蓄積された画像と、撮像された画像と
を合成処理し、該合成処理した画像を再び画像メモリに
上書きして蓄積する工程を繰り返すことで合成画像を作
成するコンピュータプログラムを記録した記録媒体。20. When combining a plurality of captured images obtained by the image shift operation into one composite image, first, the first captured image is stored in an overwritable image memory, After the second and subsequent images, each time an image is captured, a process of combining the image stored in the image memory and the captured image is performed, and the combined image is overwritten and stored again in the image memory. A recording medium recording a computer program for creating a composite image by repeating the above.
JP33617697A 1997-12-05 1997-12-05 Image synthesis processing method, image synthesis processing circuit, and color imaging device Expired - Fee Related JP3497363B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP33617697A JP3497363B2 (en) 1997-12-05 1997-12-05 Image synthesis processing method, image synthesis processing circuit, and color imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP33617697A JP3497363B2 (en) 1997-12-05 1997-12-05 Image synthesis processing method, image synthesis processing circuit, and color imaging device

Publications (2)

Publication Number Publication Date
JPH11168744A true JPH11168744A (en) 1999-06-22
JP3497363B2 JP3497363B2 (en) 2004-02-16

Family

ID=18296456

Family Applications (1)

Application Number Title Priority Date Filing Date
JP33617697A Expired - Fee Related JP3497363B2 (en) 1997-12-05 1997-12-05 Image synthesis processing method, image synthesis processing circuit, and color imaging device

Country Status (1)

Country Link
JP (1) JP3497363B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006048962A1 (en) * 2004-11-04 2006-05-11 Mitsubishi Denki Kabushiki Kaisha Pixel signal processor and pixel signal processing method
WO2006059409A1 (en) * 2004-12-02 2006-06-08 Mitsubishi Denki Kabushiki Kaisha Pixel signal processing device and method
JP2014160926A (en) * 2013-02-19 2014-09-04 Nippon Hoso Kyokai <Nhk> Imaging apparatus and signal interpolation method
KR20200054410A (en) * 2018-11-09 2020-05-20 경북대학교 산학협력단 Light field imaging system

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006048962A1 (en) * 2004-11-04 2006-05-11 Mitsubishi Denki Kabushiki Kaisha Pixel signal processor and pixel signal processing method
KR100755601B1 (en) * 2004-11-04 2007-09-06 미쓰비시덴키 가부시키가이샤 Pixel signal processor and pixel signal processing method
US7554583B2 (en) 2004-11-04 2009-06-30 Mitsubishi Denki Kabushiki Kaisha Pixel signal processor and pixel signal processing method
WO2006059409A1 (en) * 2004-12-02 2006-06-08 Mitsubishi Denki Kabushiki Kaisha Pixel signal processing device and method
KR100768619B1 (en) * 2004-12-02 2007-10-18 미쓰비시덴키 가부시키가이샤 Pixel signal processing device and method
US7643074B2 (en) 2004-12-02 2010-01-05 Mitsubishi Denki Kabushiki Kaisha Pixel signal processing apparatus and pixel signal processing method
JP2014160926A (en) * 2013-02-19 2014-09-04 Nippon Hoso Kyokai <Nhk> Imaging apparatus and signal interpolation method
KR20200054410A (en) * 2018-11-09 2020-05-20 경북대학교 산학협력단 Light field imaging system
US10911669B2 (en) 2018-11-09 2021-02-02 Kyungpook National University Industry-Academic Cooperation Foundation Light field imaging system

Also Published As

Publication number Publication date
JP3497363B2 (en) 2004-02-16

Similar Documents

Publication Publication Date Title
JP4536170B2 (en) Imaging device
JP4826152B2 (en) Image composition method and imaging apparatus
US7148925B2 (en) Solid-state honeycomb type image pickup apparatus using a complementary color filter and signal processing method therefor
JP3704238B2 (en) Imaging device
JPH09261535A (en) Image pickup device
JP2001016597A (en) Solid-state image pickup device and signal processing method
JPH10126797A (en) Image pickup device
JP2001285885A (en) Solid-state image pickup element and signal processing method
JP3497363B2 (en) Image synthesis processing method, image synthesis processing circuit, and color imaging device
US8711257B2 (en) Color imaging device
JP4566974B2 (en) Light intensity difference correction method
JP4391431B2 (en) Imaging device
JP3648638B2 (en) Color imaging device
JP3585710B2 (en) Color imaging device and recording medium
JP4027079B2 (en) Imaging device
JP3495842B2 (en) Imaging device
JPH06269010A (en) Color separation optical system, image pickup method and image pickup device
JPH10243409A (en) Two-board type image pickup device
JPH10248069A (en) Image pickup device
JP2000023172A (en) Image pickup device
JP3515585B2 (en) Two-chip imaging device
JP3406674B2 (en) Two-chip imaging device
JPS60263592A (en) Solid-state image pickup device
JP3259525B2 (en) Image signal processing device
JPH0955885A (en) Image pickup device

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081128

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091128

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091128

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101128

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111128

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees