JPH11168744A - Data interpolation processing method and color image-pickup device using the same - Google Patents
Data interpolation processing method and color image-pickup device using the sameInfo
- Publication number
- JPH11168744A JPH11168744A JP9336176A JP33617697A JPH11168744A JP H11168744 A JPH11168744 A JP H11168744A JP 9336176 A JP9336176 A JP 9336176A JP 33617697 A JP33617697 A JP 33617697A JP H11168744 A JPH11168744 A JP H11168744A
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- light
- color
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Complex Calculations (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、単一の撮像素子を
用いて、カラー画像を得ることができるカラー撮像装置
に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a color image pickup apparatus capable of obtaining a color image using a single image pickup device.
【0002】[0002]
【従来の技術】単一の撮像素子を用いてカラー画像を撮
像する単板式のカラー撮像装置が、動画像および静止画
像の撮像に用いられているが、このような単板式のカラ
ー撮像装置では、撮像素子の受光領域の数が少ないと、
画像の解像度が低下するといった問題がある。2. Description of the Related Art A single-chip type color image pickup device for picking up a color image using a single image pickup element is used for picking up moving images and still images. If the number of light receiving areas of the image sensor is small,
There is a problem that the resolution of an image is reduced.
【0003】そこで従来より、画像の解像度を向上させ
るための技術が種々開発されており、本願出願人も、先
に、特願平8−271169号において、以下に記載す
るようなカラー撮像装置を提案している。In view of the above, various techniques for improving the resolution of an image have been conventionally developed. The applicant of the present application has previously disclosed in Japanese Patent Application No. 8-271169 a color imaging apparatus as described below. is suggesting.
【0004】該カラー撮像装置では、撮像素子の受光領
域の入射側に予め定める3色の色光だけを通過させる色
フィルタが設置されている。この色フィルタでは、3色
のうちの何れか1つの色光を通過させる透光領域だけが
市松状に配列されている。In the color image pickup apparatus, a color filter that allows only predetermined three color lights to pass is provided on an incident side of a light receiving area of the image pickup device. In this color filter, only light-transmitting regions that allow any one of the three colors to pass therethrough are arranged in a checkered pattern.
【0005】図25に、撮像素子の光入射側に配される
色フィルタの透光領域Lの配列を示す。色フィルタは、
撮像素子の受光領域と同数の透光領域を有する。透光領
域の配列は受光領域の配列と等価であり、水平方向Hお
よび垂直方向Vに沿って、それぞれ周期PH,PVで、
行列状に配列されている。図において、実線で囲まれた
矩形領域が各透光領域Lを示す。また矩形領域内に描か
れる記号「R」,「G」,「B」は、その透光領域を通
過可能な色彩光の色が、赤、緑、青であることをそれぞ
れ示す。各色彩光の透光領域Lの色配列は、2点鎖線で
囲む2行2列の4つの透光領域Lの配列を基本配列パタ
ーンとする周期的な配列である。FIG. 25 shows an arrangement of the light-transmitting regions L of the color filters arranged on the light incident side of the image sensor. The color filter is
It has the same number of light transmitting regions as the light receiving regions of the image sensor. The arrangement of the light-transmitting regions is equivalent to the arrangement of the light-receiving regions, and is arranged along the horizontal direction H and the vertical direction V at periods PH and PV, respectively.
They are arranged in a matrix. In the figure, a rectangular area surrounded by a solid line indicates each light transmitting area L. The symbols “R”, “G”, and “B” drawn in the rectangular area indicate that the colors of the chromatic light that can pass through the translucent area are red, green, and blue, respectively. The color arrangement of the light-transmitting regions L of the respective colored lights is a periodic array in which an array of four light-transmitting regions L in two rows and two columns surrounded by a two-dot chain line is used as a basic array pattern.
【0006】この撮像素子において、画像光に対する水
平方向Hのサンプリング周波数fHは、水平方向Hの配
列周期PHの逆数であり、同様に、垂直方向Vのサンプ
リング周波数fVは、垂直方向Vの配列周期PVの逆数
である。サンプリング周波数fHは(1)式で、サンプ
リング周波数fVは(2)式で示される。In this imaging device, the sampling frequency fH in the horizontal direction H for the image light is the reciprocal of the arrangement period PH in the horizontal direction H. Similarly, the sampling frequency fV in the vertical direction V is It is the reciprocal of PV. The sampling frequency fH is given by equation (1), and the sampling frequency fV is given by equation (2).
【0007】[0007]
【数1】 (Equation 1)
【0008】このカラー撮像装置は、通常モードと高解
像度モードとの2つの撮影モードを有する。通常モード
では、1枚の原画像信号から生成される通常出力画像を
得る。高解像度モードでは、イメージシフト動作を行
い、2回分の撮像で得られた原画像を合成して、高解像
度出力画像を得る。This color image pickup apparatus has two photographing modes, a normal mode and a high-resolution mode. In the normal mode, a normal output image generated from one original image signal is obtained. In the high-resolution mode, an image shift operation is performed, and original images obtained by two imaging operations are combined to obtain a high-resolution output image.
【0009】高解像度モードにて実施されるイメージシ
フト動作では、撮像素子の空間サンプリング位置を、水
平方向Hに画素ピッチの長さPHだけ変位させる。撮像
素子に画像光が結像する結像位置は、変位する前の第1
結像位置と変位した後の第2結像位置がある。In the image shift operation performed in the high resolution mode, the spatial sampling position of the image pickup device is displaced in the horizontal direction H by the pixel pitch length PH. The imaging position where the image light is imaged on the image sensor is the first position before the displacement.
There is an imaging position and a second imaging position after the displacement.
【0010】図26に、第1および第2結像位置の位置
関係を示す。第1結像位置Q1 を基準にすると、第2結
像位置Q2 は第1結像位置Q1 から水平方向Hにシフト
長さPHだけ移動した位置である。FIG. 26 shows the positional relationship between the first and second image forming positions. When the first reference imaging position Q 1, the second image forming position Q 2 is a position shifted by the shift length PH in a horizontal direction H from the first image forming position Q 1.
【0011】カラー撮像装置は、この第1結像位置Q1
および第2結像位置Q2 のそれぞれにおいて、撮像素子
に結像した第1原画像および第2原画像を撮像する。撮
像された2枚の原画像信号は、それぞれ画像メモリにス
トアされる。次いでこの2回分の撮像で得られた原画像
を合成して、高解像度出力画像を生成する。[0011] The color image pickup apparatus operates at the first image forming position Q 1.
And the second respective imaging position Q 2, imaging the first original image and the second original image formed on the imaging device. Each of the two captured original image signals is stored in the image memory. Next, a high-resolution output image is generated by combining the original images obtained by the two imaging operations.
【0012】この合成画像信号は、原画像信号と比較し
て、基底帯域の大きさは変化しないが、赤および青色フ
ィルタに対応する画素配列のイメージシフト方向に対応
する配列周期が半分になる。これによって、原画像信号
でイメージシフト方向に対応する空間周波数軸上に現わ
れるモアレが合成画像信号ではすべて消滅する。したが
って、光学的ローパスフィルタで画像光の周波数成分を
制限する必要がなく、基底帯域の実質の幅が拡大する。Although the size of the base band does not change in the composite image signal as compared with the original image signal, the arrangement period corresponding to the image shift direction of the pixel arrangement corresponding to the red and blue filters is halved. As a result, moiré appearing on the spatial frequency axis corresponding to the image shift direction in the original image signal disappears in the composite image signal. Therefore, it is not necessary to limit the frequency component of the image light with the optical low-pass filter, and the substantial width of the base band is increased.
【0013】図27の空間周波数平面図に、通常モード
の、原画像信号の輝度の基底帯域および色差信号のモア
レのキャリア周波数を示す。輝度の基底帯域を、図27
では斜線を付して示す。また、輝度の基底帯域内におい
て、色差信号のモアレのキャリア周波数の存在する位置
を○印で表す。FIG. 27 is a spatial frequency plan view showing the base band of the luminance of the original image signal and the carrier frequency of the moiré of the color difference signal in the normal mode. The base band of luminance is shown in FIG.
Here, it is shown with diagonal lines. In addition, the position where the carrier frequency of the moiré of the color difference signal exists in the base band of the luminance is indicated by a circle.
【0014】また、図28の空間周波数平面図に、高解
像度モードの、高解像度出力画像の基底帯域および色差
信号のモアレのキャリア周波数を示す。2回分の撮像で
得られた原画像を合成することによって、色差信号のモ
アレのキャリア周波数のうち、水平空間周波数がfH/
2または−fH/2であるモアレ、つまり、(fH/
2,0)、(fH/2,fV/2)、(−fH/2,
0)、(−fH/2,fV/2)の4箇所が消滅する。
したがって、輝度の基底帯域内に存在する色差信号のモ
アレのキャリア周波数は、(0,fV/2)の1箇所の
みとなる(図中、○印付記)。FIG. 28 is a plan view of the spatial frequency in the high resolution mode, showing the base band of the high resolution output image and the carrier frequency of the moiré of the color difference signal. By combining the original images obtained by the two imagings, the horizontal spatial frequency of the moire carrier frequency of the color difference signal is fH /
2 or -fH / 2, that is, (fH /
2,0), (fH / 2, fV / 2), (-fH / 2,
0) and (−fH / 2, fV / 2) disappear.
Therefore, the carrier frequency of the moiré of the color difference signal existing in the base band of the luminance is only one position of (0, fV / 2) (marked with a circle in the figure).
【0015】また、上記のカラー撮像装置においては、
撮影モードの切り替えに同期して、カラー撮像装置内に
設けられた可変空間フィルタも切り替えられる。この可
変空間フィルタは、複屈折板などによって構成されてい
る。Further, in the above color imaging apparatus,
In synchronization with the switching of the photographing mode, the variable spatial filter provided in the color imaging device is also switched. This variable spatial filter is constituted by a birefringent plate or the like.
【0016】可変空間フィルタは、通常モードにおいて
は、第1状態に切り替えられ、図27に示した基底帯域
の境界線近傍の空間周波数成分を減衰させるように定め
られる。また、高解像度モードにおいては、第2状態に
切り替えられ、空間周波数fV/2近傍の空間周波数成
分を減衰させるように定められる。図28にて示せば、
水平方向の空間周波数軸(水平軸)に平行で、(0,f
V/2)を通る直線近傍の空間周波数成分を減衰させ
る。In the normal mode, the variable spatial filter is switched to the first state, and is set so as to attenuate the spatial frequency components near the boundary of the base band shown in FIG. In the high-resolution mode, the mode is switched to the second state, and it is determined that the spatial frequency component near the spatial frequency fV / 2 is attenuated. As shown in FIG.
Parallel to the horizontal spatial frequency axis (horizontal axis), (0, f
V / 2) is attenuated.
【0017】このように、可変空間フィルタによって、
画像に生じるモアレによる画質の劣化するのを防ぐこと
ができる。As described above, by the variable spatial filter,
It is possible to prevent the image quality from deteriorating due to moire generated in the image.
【0018】通常モードと高解像度モードの各出力画像
信号を比較すると、基底帯域の形状や大きさは変化しな
い。しかしながら、高解像度モード時の高解像度出力画
像は、水平空間周波数がfH/2または−fH/2(上
述の4箇所)のモアレが消滅し、また可変空間フィルタ
による±fH/2近傍の空間周波数成分の減衰も無いた
め、基底帯域の水平方向の実質の幅が拡大し、水平解像
度が向上する。When the output image signals in the normal mode and the high resolution mode are compared, the shape and size of the base band do not change. However, in the high-resolution output image in the high-resolution mode, the moire with a horizontal spatial frequency of fH / 2 or -fH / 2 (the above four locations) disappears, and the spatial frequency near ± fH / 2 by the variable spatial filter is used. Since there is no attenuation of the component, the substantial width of the base band in the horizontal direction is enlarged, and the horizontal resolution is improved.
【0019】一方、垂直方向の空間周波数軸上のモアレ
は、通常モードと高解像度モードともに存在し、可変空
間フィルタによるfV/2近傍の空間周波数成分の減衰
もあるため、基底帯域の垂直方向の実質の幅は変わら
ず、垂直解像度もほとんど変わらない。On the other hand, the moire on the vertical spatial frequency axis exists in both the normal mode and the high-resolution mode, and the spatial frequency component near fV / 2 is attenuated by the variable spatial filter. The actual width does not change, and the vertical resolution hardly changes.
【0020】つまり、上記のカラー撮像装置では、イメ
ージシフト動作を行うことにより、水平解像度の向上を
実現できる。That is, in the above color image pickup apparatus, the horizontal resolution can be improved by performing the image shift operation.
【0021】[0021]
【発明が解決しようとする課題】上述したように、本願
出願人が先に提案しているカラー撮像装置では、水平解
像度の向上を図ることができたが、垂直解像度を向上さ
せることはできない。また、可変空間フィルタを実現す
るための可変機構が設ける必要がある。この可変機構を
設けるためには、部品点数が多いので、製造コストが増
大し、小型化を阻害する。As described above, in the color imaging apparatus proposed by the present applicant, the horizontal resolution can be improved, but the vertical resolution cannot be improved. Further, it is necessary to provide a variable mechanism for realizing a variable spatial filter. In order to provide this variable mechanism, since the number of parts is large, the manufacturing cost increases, and miniaturization is hindered.
【0022】また、通常モードと高解像度モードとを切
り替え時には、可変機構を動作させて可変空間フィルタ
を切り替える必要があるため、切り替えるのに時間を要
し、すばやく切り替えることができない。また、切り替
えるごとに可変機構を動作させるため、耐久性にも問題
がある。Further, when switching between the normal mode and the high resolution mode, it is necessary to operate the variable mechanism to switch the variable spatial filter, so that it takes time to switch and it is not possible to switch quickly. In addition, since the variable mechanism is operated every time switching is performed, there is a problem in durability.
【0023】また、通常モード時には1枚分の画像メモ
リの容量が必要であるのに対して高解像度モード時にお
いては、画像メモリに2枚の原画像信号をストアするだ
けの容量が必要であり、製造コストをさらに増大させ
る。Also, in the normal mode, the capacity of one image memory is required, whereas in the high resolution mode, the capacity for storing two original image signals in the image memory is required. , Further increasing manufacturing costs.
【0024】本発明の第1の目的は、今までにないデー
タ補間処理方法を採用することで、単板式のカラー撮像
装置において、水平解像度だけでなく垂直解像度の向上
を得ることができ、また、通常モードと高解像度モード
との2つの撮像モードを有する構成とした場合でも、可
変空間フィルタを必要としないカラー撮像装置を提供す
ることである。A first object of the present invention is to improve not only the horizontal resolution but also the vertical resolution in a single-chip type color image pickup apparatus by employing an unprecedented data interpolation processing method. Another object of the present invention is to provide a color image pickup apparatus that does not require a variable spatial filter even in a configuration having two image pickup modes: a normal mode and a high-resolution mode.
【0025】また、第2の目的は、今までにないデータ
補間方法を採用することで、単板式のカラー撮像装置に
おいて、水平解像度だけでなく垂直解像度の向上を得る
ことができ、かつ、通常モードと高解像度モードとの2
つの撮像モードを有する構成とした場合、可変空間フィ
ルタは必要であるものの、高解像度モードの画質が各段
に向上したカラー撮像装置を提供することである。A second object is to improve the vertical resolution as well as the horizontal resolution in a single-chip color image pickup apparatus by employing an unprecedented data interpolation method. Mode and high resolution mode
In the case of a configuration having two imaging modes, a variable spatial filter is required, but an object of the present invention is to provide a color imaging apparatus in which the image quality of the high resolution mode is improved in each stage.
【0026】そして、第3の目的は、イメージシフト動
作を行うにもかかわらず、画像メモリも1枚の原画像信
号分だけで良い構成として、安価で小型のカラー撮像装
置を提供することである。A third object is to provide an inexpensive and small-sized color image pickup device in which the image memory only needs to store one original image signal despite performing the image shift operation. .
【0027】[0027]
【課題を解決するための手段】本発明の請求項1記載の
データ補間処理方法は、上記の課題を解決するために、
それぞれ複数のデータ群からなり、局所的な領域にて相
関のある第1および第2のデータ系列において、第1の
データ系列の欠落したデータを求める際、該欠落データ
と同じ位置にある第2のデータ系列のデータに、第1の
データ系列のデータ群をローパスフィルタ処理した値を
加算し、さらに第2のデータ系列のデータ群をローパス
フィルタ処理した値を引くことにより求めることを特徴
としている。According to a first aspect of the present invention, there is provided a data interpolation processing method for solving the above problems.
When obtaining missing data of the first data series in the first and second data series each including a plurality of data groups and having a correlation in a local area, the second data set at the same position as the missing data is obtained. Is obtained by adding a value obtained by subjecting the data group of the first data series to low-pass filtering to the data of the data series No. 2, and further subtracting a value obtained by subjecting the data group of the second data series to low-pass filtering. .
【0028】また、本発明の請求項5記載のデータ補間
処理回路は、上記の課題を解決するために、複数のデー
タ群からなるデータ系列の欠落したデータを補間するデ
ータ補間処理回路において、欠落データを有する第1の
データ系列のデータ群をローパスフィルタ処理する第1
のローパスフィルタ処理手段と、上記の第1のデータ系
列と局所的な領域において相関のある第2のデータ系列
のデータ群をローパスフィルタ処理する第2のローパス
フィルタ処理手段と、第1のデータ系列における欠落し
たデータと同じ位置にある第2のデータ系列のデータ
に、第1のデータ系列のデータ群のローパスフィルタ処
理した値を加算する加算手段と、該加算手段の計算値か
ら、第2のデータ系列のデータ群をローパスフィルタ処
理した値を減算する減算手段とを備えたことを特徴とし
ている。According to a fifth aspect of the present invention, there is provided a data interpolation processing circuit for interpolating missing data of a data series consisting of a plurality of data groups. A first method for performing low-pass filtering on a data group of a first data series having data
Low-pass filter processing means, low-pass filter processing means for performing low-pass filter processing on a data group of a second data series correlated with the first data series in a local region, and first data series Adding means for adding the low-pass filtered value of the data group of the first data series to the data of the second data series at the same position as the missing data in the above, and calculating the second value from the calculated value of the adding means. And a subtracting means for subtracting a value obtained by subjecting the data group of the data series to low-pass filtering.
【0029】上記請求項1、5に記載した構成の欠落し
たデータの補間処理を、例えば、前述の従来技術の項で
述べた、本願出願人が先に提案しているカラー撮像装置
における、高解像度モード時の画像を合成する処理に供
することで、図28の空間周波数平面図に○印を付し
た、基底帯域内に存在するキャリア周波数(0,fV/
2)の色差信号のモアレを消滅させることが可能とな
る。詳細については、以降の各請求項の説明と共に述べ
る。The interpolation processing of the missing data having the structure described in the first and fifth aspects is performed, for example, in the color imaging apparatus proposed by the applicant of the present invention as described in the above-mentioned prior art. By providing a process for synthesizing an image in the resolution mode, the carrier frequency (0, fV /
2) It is possible to eliminate the moiré of the color difference signal. The details will be described together with the description of each claim below.
【0030】本発明の請求項2記載のデータ補間処理方
法は、請求項1記載の構成において、上記のローパスフ
ィルタ処理が、第1のデータ系列の場合は求めるべきデ
ータの位置に隣接する2つのデータの平均をとり、第2
のデータ系列の場合は求めるべきデータと同じ位置に隣
接する2つのデータの平均をとることを特徴としてい
る。According to a second aspect of the present invention, in the data interpolation processing method according to the first aspect, in the case where the low-pass filter processing is a first data series, two low-pass filter processing steps are performed adjacent to the position of data to be obtained. Take the average of the data and
Is characterized by taking the average of two data adjacent to the same position as the data to be obtained.
【0031】本発明の請求項6記載のデータ補間処理回
路は、請求項5記載の構成において、上記の第1ローパ
スフィルタ処理手段は、求めるべきデータの位置に隣接
する2つのデータの平均をとることでローパスフィルタ
処理を実施し、上記の第2ローパスフィルタ処理手段
は、求めるべきデータと同じ位置に隣接する2つのデー
タの平均をとることでローパスフィルタ処理を実施する
ことを特徴としている。According to a sixth aspect of the present invention, in the data interpolation processing circuit according to the fifth aspect, the first low-pass filter processing means averages two data adjacent to the position of the data to be obtained. Thus, the low-pass filter processing is performed, and the second low-pass filter processing means performs low-pass filter processing by averaging two adjacent data at the same position as the data to be obtained.
【0032】上記請求項2、6に記載した構成では、求
めるべきデータの位置、或いは該データと同じ位置に隣
接する2つのデータの平均をとってローパスフィルタ処
理を行うようになっている。上記ローパスフィルタ処理
としては、隣接する4つのデータから計算する方法もあ
るが、このような方法に比べ、2つのデータの平均をと
る方法の場合、計算に用いるデータ数が少ないので、処
理速度が速く、回路規模が小さいといった利点がある。In the configuration according to the second and sixth aspects, the low-pass filter processing is performed by taking the position of the data to be obtained or the average of two data adjacent to the same position as the data. As the above low-pass filter processing, there is a method of calculating from four adjacent data. However, in the case of the method of averaging two data, the number of data used for calculation is small, so that the processing speed is low. There are advantages such as high speed and small circuit scale.
【0033】本発明の請求項3記載のデータ補間処理方
法は、請求項1又は2記載の構成において、上記の第1
および第2のデータ系列が、カラー撮像装置において異
なる色フィルタ配列により受光された2種類の受光デー
タ群であることを特徴としている。According to a third aspect of the present invention, there is provided a data interpolation processing method according to the first or second aspect, wherein
The second data series is characterized by two types of light reception data groups received by different color filter arrangements in the color imaging device.
【0034】本発明の請求項7記載のデータ補間処理回
路は、請求項5又は6記載の構成において、上記の第1
および第2のデータ系列が、カラー撮像装置において異
なる色フィルタ配列により受光された2種類の受光デー
タ群であることを特徴としている。According to a seventh aspect of the present invention, there is provided a data interpolation processing circuit according to the fifth or sixth aspect, wherein
The second data series is characterized by two types of light reception data groups received by different color filter arrangements in the color imaging device.
【0035】上記請求項3、7に記載した構成によれ
ば、請求項1、5におけるデータ補間処理方法、データ
補間処理回路を、カラー撮像装置における異なる色フィ
ルタ配列により受光された2種類の受光データ群を対象
としたデータ補間に適用している。したがって、例えば
2板式のカラー撮像装置に適用することで、隣接する3
画素において、3画素とも受光データの存在する同一種
類の画素データと、中間の位置には受光データが存在せ
ず両端の画素位置には受光データが存在する別種類の画
素データがあるデータ系列では、中間の位置の受光デー
タを、色モアレの発生を抑圧して求めることができる。According to the third and seventh aspects of the present invention, the data interpolation processing method and the data interpolation processing circuit according to the first and fifth aspects are adapted to perform the two types of light reception using different color filter arrangements in the color image pickup apparatus. It is applied to data interpolation for data groups. Therefore, for example, by applying the present invention to a two-plate type color imaging device,
In a pixel, there is a data series in which all three pixels have the same type of pixel data in which light reception data exists, and a data series in which there is another type of pixel data in which light reception data does not exist at an intermediate position and light reception data exists at both end pixel positions. , Light receiving data at an intermediate position can be obtained while suppressing the occurrence of color moiré.
【0036】本発明の請求項4記載のデータ補間処理方
法は、請求項3記載の構成において、上記の第1および
第2のデータ系列が、異なる結像位置において撮像され
た2枚の画像を重ね合わせて得た、第1の色フィルタの
受光データ群と、第2の色フィルタの受光データ群とで
あることを特徴としている。According to a fourth aspect of the present invention, there is provided a data interpolation processing method according to the third aspect, wherein the first and second data sequences are obtained by converting two images picked up at different image forming positions. It is characterized by a light reception data group of the first color filter and a light reception data group of the second color filter obtained by superimposition.
【0037】本発明の請求項8記載のデータ補間処理回
路は、請求項7記載の構成において、上記の第1および
第2のデータ系列が、異なる結像位置において撮像され
た2枚の画像を重ね合わせて得た、第1の色フィルタの
受光データ群と、第2の色フィルタの受光データ群とで
あることを特徴としている。The data interpolation processing circuit according to claim 8 of the present invention is the data interpolation processing circuit according to claim 7, wherein the first and second data series are obtained by converting two images picked up at different imaging positions. It is characterized by a light reception data group of the first color filter and a light reception data group of the second color filter obtained by superimposition.
【0038】上記請求項4、8に記載した構成によれ
ば、請求項3、7におけるデータ補間処理方法、データ
補間処理回路を、異なる結像位置において撮像された2
枚の画像を重ね合わせて得た、第1の色フィルタの受光
データ群と、第2の色フィルタの受光データ群とを対象
としたデータ補間に適用している。したがって、例えば
請求項9に記載のように、単板式のカラー撮像装置に適
用することで、イメージシフト動作により得られた画像
を重ね合わせて合成画像とする際に、色モアレのない高
解像度画像を生成することが可能となる。According to the configuration described in the fourth and eighth aspects, the data interpolation processing method and the data interpolation processing circuit according to the third and seventh aspects are adapted to execute the data interpolation processing at different imaging positions.
The present invention is applied to data interpolation for a light reception data group of a first color filter and a light reception data group of a second color filter obtained by superimposing two images. Therefore, by applying the present invention to a single-panel color image pickup apparatus as described in claim 9, a high-resolution image without color moiré can be obtained when an image obtained by an image shift operation is superimposed to form a composite image. Can be generated.
【0039】本発明の請求項9記載のカラー撮像装置
は、撮像素子の結像面における結像位置を移動させるイ
メージシフト動作を実施して、結像位置が1画素だけ異
なる2枚の撮像画像を得て、画像合成処理回路にて、こ
れら2枚の撮像画像を結像位置の離反量だけ位置の移動
方向とは逆方向にずらして重ね合わせて合成画像を生成
するカラー撮像装置において、上記画像合成処理回路
に、上記請求項8に記載のデータ補間処理回路が備えら
れている構成である。The color image pickup apparatus according to the ninth aspect of the present invention performs an image shift operation of moving an image forming position on an image forming surface of an image pickup device, and two image pickup images having different image forming positions by one pixel. In a color imaging apparatus that generates a composite image by shifting the two captured images in the direction opposite to the moving direction of the position by the amount of separation of the imaging position and superimposing the two captured images in an image synthesis processing circuit, The image synthesis processing circuit is provided with the data interpolation processing circuit according to claim 8.
【0040】本発明の請求項10記載の画像合成処理方
法は、イメージシフト動作により得られた複数枚の撮像
画像を合成して1枚の合成画像とする画像合成処理方法
において、まずは1枚目に撮像された画像を上書き可能
な画像メモリに蓄積し、その後の2枚目以降は、画像を
撮像するたびに、画像メモリに蓄積された画像と、撮像
された画像とを合成処理し、該合成処理した画像を再び
画像メモリに上書きして蓄積する工程を繰り返すことを
特徴としている。According to a tenth aspect of the present invention, there is provided an image synthesizing processing method for synthesizing a plurality of picked-up images obtained by an image shifting operation into one synthesized image. The captured image is stored in an overwritable image memory, and after that, every time an image is captured, the image stored in the image memory and the captured image are combined, and It is characterized in that the process of overwriting and storing the combined image again in the image memory is repeated.
【0041】本発明の請求項11記載の画像合成処理回
路は、イメージシフト動作により得られた複数枚の撮像
画像を合成して1枚の合成画像とする画像合成処理回路
において、1枚目に撮像された画像を上書き可能な画像
メモリに蓄積する手段と、2枚目以降の撮像が行われる
たびに、上記画像メモリに蓄積された画像を読み出して
撮像された画像とを合成処理し、該合成処理した画像を
再び上記画像メモリに上書きする手段とを備えているこ
とを特徴としている。According to an eleventh aspect of the present invention, there is provided an image synthesizing circuit for synthesizing a plurality of picked-up images obtained by an image shift operation into one synthesized image. Means for storing the captured image in an overwritable image memory, and reading out the image stored in the image memory and synthesizing the captured image each time the second and subsequent images are captured, Means for overwriting the combined image in the image memory again.
【0042】上記請求項10、11に記載した構成によ
れば、画像を合成する際、画像メモリに蓄積された合成
するべき1つの画像(以下、合成画像と区別して原画像
と称する)を出力しながら、合成後の高解像度出力画像
を上書きしていく。すなわち、出力されていく原画像の
書き込み領域から、順次高解像度出力画像を上書きして
いく。したがって、原画像をすべて出力し終える時点
で、画像メモリには、高解像度出力画像の蓄積が完了す
ることになるので、画像メモリの容量は、原画像もしく
は高解像度出力画像の1枚分だけでよく、2枚分の容量
を必要としない。According to the above configuration, when composing images, one image to be composed stored in the image memory (hereinafter referred to as an original image to be distinguished from the composite image) is output. While overwriting the synthesized high-resolution output image. That is, the high-resolution output image is sequentially overwritten from the writing area of the output original image. Therefore, when the output of all the original images is completed, the storage of the high-resolution output image is completed in the image memory, so that the capacity of the image memory is limited to only one of the original image or the high-resolution output image. Often, the capacity for two sheets is not required.
【0043】したがって、例えば請求項12の構成のよ
うに、このような画像合成処理回路を備えたカラー撮像
装置では、画像メモリの容量が少なくて済み、コスト削
減が図れる。Therefore, in a color image pickup apparatus having such an image synthesizing processing circuit, for example, the capacity of the image memory can be reduced and the cost can be reduced.
【0044】本発明の請求項12記載のカラー撮像装置
は、撮像素子の結像面における結像位置を移動させるイ
メージシフト動作を実施して、結像位置が異なる複数の
撮像画像を得て、画像合成処理回路にて、これら複数の
撮像画像を結像位置の離反量だけ位置の移動方向とは逆
方向にずらして重ね合わせて合成画像を生成するカラー
撮像装置において、上記画像合成処理回路が、1枚目に
撮像された画像を上書き可能な画像メモリに蓄積する手
段と、2枚目以降の撮像が行われるたびに、上記画像メ
モリに蓄積された画像を読み出して撮像された画像とを
合成処理し、該合成処理した画像を再び上記画像メモリ
に上書きする手段とを備えている構成である。The color image pickup apparatus according to the twelfth aspect of the present invention performs an image shift operation of moving an image forming position on an image forming surface of an image pickup device to obtain a plurality of picked-up images having different image forming positions. In a color imaging apparatus that generates a composite image by shifting the plurality of captured images in the direction opposite to the moving direction of the position by the amount of separation of the imaging position in the image synthesis processing circuit, the image synthesis processing circuit Means for storing the first captured image in an overwritable image memory, and reading out the image stored in the image memory and capturing the captured image every time the second and subsequent images are captured. Means for performing a combining process and overwriting the combined image on the image memory again.
【0045】本発明の請求項13記載のカラー撮像装置
は、複数の色彩光にそれぞれ対応し、入射される被写体
からの画像光のうちの対応する色彩光だけを個別的に通
過させる複数の透光領域を有し、該透光領域が2次元平
面上に配列された色フィルタであって、透光領域は、第
1〜第3の色彩光を通過させる第1〜第3透光領域に区
分され、第1および第2透光領域が一方方向に沿って第
1周期で直線状に配列された第1群と、第1および第3
透光領域が一方方向に沿って第1周期で直線上に配列さ
れた第2群とが、一方方向と直交する他方方向に沿って
第2周期で交互に、かつ、第1群の第1透光領域に第3
透光領域が他方方向の両側に隣接するように配列された
色フィルタと、上記色フィルタの透光領域に個別的に対
応した受光領域が、透光領域の配列と同等の配列で2次
元平面上に配列され、各受光領域では対応した透光領域
を通過した色彩光だけを受光し、各受光領域の受光量を
示す画素データから構成される画像信号を出力する撮像
素子と、上記撮像素子に入射される画像光の結像位置
を、基準位置である第1移動位置と、第1移動位置から
一方方向に第1周期の長さだけ相互にずれた第2移動位
置に相対的に移動させる移動手段と、上記撮像素子から
出力された2つの画像信号を撮像時の結像位置の離反量
だけ位置の移動方向とは逆方向にずらして重ね合わせ
て、撮像素子からは得られなかった第2または第3色彩
光に対応する画素データを求めて合成画像信号を生成す
る画像合成手段と、撮影が開始されると、移動手段によ
って画像光の結像位置を第1および第2移動位置のいず
れか一方位置に移動させ、該移動位置において撮像素子
に画像光を撮像させて画像信号を画像合成手段に与え、
次いで移動手段によって結像位置をいずれか他方位置に
移動させ、該移動位置において撮像素子に画像光を撮像
させて画像信号を画像合成手段に与える制御手段とを備
え、かつ、上記画像合成手段が、撮像素子からは得られ
なかった第2または第3の色彩光に対応する画素データ
を、該画素データと同じ位置にある第1色彩光に対応す
る画素データに、該画素データと同じ位置を通る一方方
向に沿って配列された第2または第3色彩光に対応する
画素データ群をローパスフィルタ処理した値を加算し、
さらに該画素データと同じ位置を通る一方方向に沿って
配列された第1色彩光に対応する画素データ群をローパ
スフィルタ処理した値を引くことにより求めることを特
徴としている。According to a thirteenth aspect of the present invention, there is provided a color image pickup apparatus, wherein each of the plurality of color light sources corresponds to a plurality of color lights, and only a corresponding one of the incident image light from the subject passes therethrough. A color filter having a light region, wherein the light-transmitting regions are arranged on a two-dimensional plane, wherein the light-transmitting regions are first to third light-transmitting regions that allow the first to third color lights to pass therethrough. A first group in which the first and second light-transmitting regions are linearly arranged at a first period along one direction;
The second group in which the light-transmitting regions are arranged on a straight line in the first cycle along one direction is alternately arranged in the second cycle along the other direction orthogonal to the one direction, and the first group of the first group. Third in light-transmitting area
A color filter in which light-transmitting regions are arranged on both sides in the other direction and light-receiving regions individually corresponding to the light-transmitting regions of the color filter are two-dimensionally arranged in the same arrangement as the light-transmitting region. An imaging element arranged above, and each of the light receiving areas receives only the color light that has passed through the corresponding light transmitting area, and outputs an image signal composed of pixel data indicating the amount of light received in each light receiving area; Relative to the first movement position, which is the reference position, and the second movement position, which is shifted from the first movement position in one direction by the length of the first period. The moving means to be moved and the two image signals output from the image pickup device are superimposed by being shifted in the direction opposite to the moving direction of the position by the amount of separation of the imaging position at the time of image pickup, and were not obtained from the image pickup device. Pixel data corresponding to the second or third color light And an image synthesizing means for generating a synthesized image signal by calculating the image position, and when the photographing is started, the moving means moves the image forming position of the image light to one of the first and second moving positions. In, the image signal is given to the image synthesizing means by causing the image sensor to capture the image light,
Then, the image forming position is moved to one of the other positions by the moving means, and control means for causing the image pickup device to capture image light at the moving position and providing an image signal to the image synthesizing means is provided. The pixel data corresponding to the second or third color light not obtained from the image sensor is replaced with the pixel data corresponding to the first color light at the same position as the pixel data, Adding a value obtained by subjecting a pixel data group corresponding to the second or third color light arrayed along one direction passing through to low-pass filtering,
Further, it is characterized in that the pixel data group corresponding to the first color light arranged along one direction passing through the same position as the pixel data is obtained by subtracting a value subjected to the low-pass filter processing.
【0046】本発明の請求項14記載のカラー撮像装置
は、請求項13の構成において、第1回目に撮像された
画像信号を蓄積し、第2回目の撮像に同期して蓄積した
画像信号を出力し、出力した領域に画像合成手段から出
力された合成画像信号を上書きして蓄積する画像メモリ
をさらに備えたことを特徴としている。According to a fourteenth aspect of the present invention, in the color imaging apparatus according to the thirteenth aspect, the first image signal is stored, and the stored image signal is synchronized with the second image signal. The image processing apparatus further comprises an image memory for outputting the output image and overwriting the output image with the synthesized image signal output from the image synthesis means.
【0047】本発明の請求項15記載のカラー撮像装置
は、請求項13または14の構成において、上記画像合
成手段が、第1色彩光に対応する画素データ群をローパ
スフィルタ処理する際は、求めるべき画素データの位置
に隣接する2つの画素データの平均をとることで処理を
実施し、第2および第3色彩光に対応する画素データ群
のローパスフィルタ処理する際は、求めるべき画素デー
タと同じ位置に隣接する2つの画素データの平均をとる
ことで処理を実施することを特徴としている。According to a fifteenth aspect of the present invention, in the color imaging apparatus according to the thirteenth or fourteenth aspect, the image synthesizing means obtains the image data when the pixel data group corresponding to the first color light is subjected to the low-pass filter processing. The processing is performed by averaging two pixel data adjacent to the position of the pixel data to be processed, and when performing low-pass filtering of the pixel data groups corresponding to the second and third color lights, the same as the pixel data to be obtained is used. Processing is performed by averaging two pixel data adjacent to the position.
【0048】請求項13は、本発明の請求項1に記載し
たデータ補間処理方法を、画像合成手段の信号処理に適
用したカラー撮像装置であり、該カラー撮像装置は、単
板式のカラー撮像装置である。また、請求項14は、請
求項2、5を、請求項15は請求項3、6を適用したカ
ラー撮像装置である。According to a thirteenth aspect of the present invention, there is provided a color imaging apparatus in which the data interpolation processing method according to the first aspect of the present invention is applied to signal processing of an image synthesizing unit. It is. A fourteenth aspect is a color imaging apparatus to which the second and fifth aspects are applied, and a fifteenth aspect is a color imaging apparatus to which the third and sixth aspects are applied.
【0049】該カラー撮像装置に入射された被写体から
の画像光は、上述の色フィルタを通過した後に撮像素子
に入射される。ここで画像光は、色フィルタを通過する
ことで、第1〜第3色彩光に色分離される。色フィルタ
の第1〜第3透光領域の配列は、いわゆるベイヤー配列
と称される配列パターンである。The image light from the subject incident on the color image pickup device is incident on the image pickup device after passing through the above-mentioned color filter. Here, the image light is color-separated into first to third color lights by passing through a color filter. The arrangement of the first to third light-transmitting regions of the color filter is an arrangement pattern called a so-called Bayer arrangement.
【0050】この色フィルタを通過した画像光は、撮像
素子の結像面に結像される。上述した画像光は、透光領
域の配列方向である一方および他方方向に平行な空間軸
上で連続的に輝度変化する。撮像素子は、空間軸に平行
に配列される複数の受光領域でこの画像光の各色彩光成
分を受光する。故に、画像光は連続的な画像光を受光領
域単位で平滑化した画像となる。これは、輝度が連続し
て変化する画像光を受光領域単位でサンプリングしたこ
とと等価である。前述の色フィルタと撮像素子とは一体
的に形成されることが望ましい。The image light that has passed through the color filter forms an image on the image plane of the image sensor. The above-described image light continuously changes in luminance on a spatial axis parallel to one and the other directions, which are the arrangement directions of the translucent regions. The image sensor receives each color light component of the image light in a plurality of light receiving regions arranged in parallel with the spatial axis. Therefore, the image light is an image obtained by smoothing the continuous image light for each light receiving area. This is equivalent to sampling image light of which luminance continuously changes in units of light receiving areas. It is desirable that the above-described color filter and the image sensor be formed integrally.
【0051】移動手段は、入射された画像光の結像面で
受光位置を予め定める第1及び第2の位置に移動させる
イメージシフト動作を実施するものである。撮像素子
は、移動手段によって結像位置が移動される毎に、画像
光を撮像して原画像信号を出力する。これによって、撮
像素子は、結像位置の異なる2つの原画像信号を出力す
ることとなる。The moving means carries out an image shift operation for moving the light receiving position to first and second predetermined positions on the image forming plane of the incident image light. The imaging device captures image light and outputs an original image signal each time the imaging position is moved by the moving unit. As a result, the image sensor outputs two original image signals having different imaging positions.
【0052】画像合成手段は、これら2つの原画像信号
から、合成画像を表す合成画像信号を生成する。ここ
で、画像合成手段は、撮像素子からは得られなかった第
2または第3の色彩光に対応する画素データを、該画素
データと同じ位置にある第1色彩光に対応する画素デー
タに、該画素データと同じ位置を通る一方方向に沿って
配列された第2または第3色彩光に対応する画素データ
群をローパスフィルタ処理した値を加算し、さらに該画
素データと同じ位置を通る一方方向に沿って配列された
第1色彩光に対応する画素データ群をローパスフィルタ
処理した値を引くことにより求める。これにより、基底
帯域内に存在するキャリア周波数(0,fV/2)の色
差信号のモアレを消滅させることが可能となる。したが
って、合成画像信号の基底帯域の水平方向の実質の幅が
拡大すると共に、垂直方向の実質の幅が拡大する。The image combining means generates a combined image signal representing a combined image from these two original image signals. Here, the image synthesizing unit converts the pixel data corresponding to the second or third color light not obtained from the image sensor into pixel data corresponding to the first color light at the same position as the pixel data. A value obtained by subjecting a pixel data group corresponding to the second or third color light arranged along one direction passing through the same position as the pixel data to a value obtained by low-pass filtering is added, and further, a direction passing through the same position as the pixel data is added. Is obtained by subtracting a value obtained by subjecting the pixel data group corresponding to the first color light arranged along the line to low-pass filtering. This makes it possible to eliminate the moire of the color difference signal of the carrier frequency (0, fV / 2) existing in the base band. Therefore, the substantial width in the horizontal direction of the base band of the composite image signal is increased, and the substantial width in the vertical direction is increased.
【0053】したがって、このような単板式のカラー撮
像装置においては、水平解像度だけでなく垂直解像度の
向上を得ることができる。Therefore, in such a single-plate type color image pickup device, not only the horizontal resolution but also the vertical resolution can be improved.
【0054】請求項17記載のカラー撮像装置は、請求
項13又は14記載の構成において、上記移動手段にお
ける結像位置の移動を許容または禁止する移動判定手段
と、撮像素子に入射される画像光の空間周波数成分を減
衰させる固定空間フィルタをさらに含む構成である。According to a seventeenth aspect of the present invention, in the color imaging apparatus according to the thirteenth or fourteenth aspect, a movement determining means for permitting or prohibiting the movement of the imaging position by the moving means, and an image light incident on the image sensor. Is a configuration further including a fixed spatial filter that attenuates the spatial frequency component of.
【0055】この構成によれば、2つのモードを有し、
一方モードでは1枚の原画像信号から生成された通常出
力画像信号を出力し、他方モードでは2枚の原画像信号
から合成画像信号を生成して出力する構成である。合成
画像信号を生成する他方モードでは、モアレが発生しな
いので、このモアレを目立たなくするための光学的ロー
パスフィルタである空間フィルタを設ける必要がない。According to this configuration, there are two modes,
In one mode, a normal output image signal generated from one original image signal is output, and in the other mode, a composite image signal is generated and output from two original image signals. In the other mode in which the combined image signal is generated, moire does not occur, so that there is no need to provide a spatial filter which is an optical low-pass filter for making the moire less noticeable.
【0056】したがって、空間フィルタは、原画像信号
をそのまま出力する一方モードでのモアレを目立たなく
するものだけでよく、また、一方モードに適合させた空
間フィルタでよく、他方モードではその空間フィルタを
そのまま適用することができ、可変機構を必要としない
固定のものでよい。その結果、安価で小型のカラー撮像
装置を実現できる。Therefore, the spatial filter only needs to be one that makes the moiré in one mode in which the original image signal is output as it is inconspicuous, and it can be a spatial filter adapted to one mode, and the spatial filter can be used in the other mode. It can be applied as it is, and may be a fixed one that does not require a variable mechanism. As a result, an inexpensive and compact color imaging device can be realized.
【0057】請求項18記載のカラー撮像装置は、請求
項13又は14記載の構成において、上記移動手段にお
ける結像位置の移動を許容または禁止する移動判定手段
と、撮像素子に入射される画像光の空間周波数成分を減
衰させる可変空間フィルタであって、撮像位置の移動が
禁止されるときに空間周波数成分を第1の減衰量だけ減
衰させ、許容されるときは画像光の光路から除去される
可変空間フィルタをさらに含む構成である。In the color image pickup apparatus according to the present invention, in the constitution according to the present invention, the movement judging means for permitting or prohibiting the movement of the image forming position by the moving means, and the image light incident on the image pickup device. Is a variable spatial filter that attenuates the spatial frequency component of the image light, wherein the spatial frequency component is attenuated by a first attenuation amount when the movement of the imaging position is prohibited, and is removed from the optical path of the image light when it is allowed. The configuration further includes a variable spatial filter.
【0058】請求項17に記載した構成のように、可変
機構を必要としない固定空間フィルタの場合、安価で小
型のカラー撮像装置を実現できるといった利点を有す
る。しかしながら、固定空間フィルタが配設されたまま
であると、合成画像信号を出力するモードで、固定空間
フィルタによる空間周波数成分が低下するため、合成画
像信号の高周波数成分のゲインが小さくなるといった不
具合を生じる。そこで、合成画像信号を出力するモード
では、空間フィルタが光路から抜脱される可変空間フィ
ルタの構成としている。これにより、合成画像信号を出
力するモードでの画像がより高画質になる。In the case of a fixed spatial filter which does not require a variable mechanism as in the configuration of the seventeenth aspect, there is an advantage that an inexpensive and small color image pickup device can be realized. However, if the fixed spatial filter is still provided, the spatial frequency component due to the fixed spatial filter is reduced in the mode in which the composite image signal is output, so that the gain of the high frequency component of the composite image signal decreases. Occurs. Therefore, in the mode in which the combined image signal is output, the variable spatial filter has a configuration in which the spatial filter is removed from the optical path. As a result, an image in the mode for outputting the composite image signal has higher image quality.
【0059】本発明の請求項16記載のカラー撮像装置
は、請求項14の構成において、上記画像合成手段が、
画像メモリから出力された画像信号と撮像素子から出力
された画像信号とを重ね合わせた後に、3種類の色彩光
に対応するそれぞれの画素データごとに、2回の撮像間
の光量差に基づいて発生する空間周波数成分を取り除
く、ローパスフィルタからなる光量差補正手段を有する
ことを特徴としている。According to a sixteenth aspect of the present invention, in the color imaging apparatus according to the fourteenth aspect, the image synthesizing means includes:
After superimposing the image signal output from the image memory and the image signal output from the image sensor, for each pixel data corresponding to three types of color light, based on a light amount difference between two image capturing operations. It is characterized by having a light amount difference correcting means comprising a low-pass filter for removing a generated spatial frequency component.
【0060】これによれば、光量差補正手段が、画像メ
モリから出力された画像信号と撮像素子から出力された
画像信号とを重ね合わせた後に、3種類の色彩光に対応
するそれぞれの画素データごとに、2回の撮像間の光量
差に基づいて発生する空間周波数成分を取り除くように
なっている。したがって、2枚の原画像間に光量差が生
じる場合でも、1枚の画像メモリしかないカラー撮像装
置においても、ローパスフィルタを施すことにより光量
差を補正することができる。According to this, after the light amount difference correcting means superimposes the image signal output from the image memory and the image signal output from the image pickup device, the respective pixel data corresponding to the three types of color light are obtained. Each time, a spatial frequency component generated based on a light amount difference between two imagings is removed. Therefore, even when a light amount difference occurs between two original images, even in a color imaging apparatus having only one image memory, the light amount difference can be corrected by applying a low-pass filter.
【0061】[0061]
【発明の実施の形態】本発明に係る実施の形態を、図1
〜図24に基づいて説明すれば、以下の通りである。DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment according to the present invention is shown in FIG.
24 will be described below.
【0062】第1実施形態のカラー撮像装置は、いわゆ
る単板式のカラー撮像装置である。本カラー撮像装置
は、通常モードと高解像度モードとの2つの撮影モード
を有している。通常モードでは、後述する撮像素子の受
光領域の数と同数の画素から成る通常出力画像を得る。
高解像度モードでは、後述するイメージシフト動作を行
い、撮像素子の受光領域と同数の画素から成る高解像度
出力画像を得る。高解像度出力画像信号は、撮像素子で
撮像される2つの原画像信号を合成して得られる。The color imaging device of the first embodiment is a so-called single-plate type color imaging device. The present color imaging apparatus has two shooting modes: a normal mode and a high-resolution mode. In the normal mode, a normal output image including the same number of pixels as the number of light receiving regions of the image sensor described later is obtained.
In the high-resolution mode, an image shift operation described later is performed to obtain a high-resolution output image including the same number of pixels as the light-receiving region of the image sensor. The high-resolution output image signal is obtained by combining two original image signals captured by the image sensor.
【0063】まず、図2を基にして、本カラー撮像装置
の構成を簡単に説明する。図2は、本カラー撮像装置の
構成を示すブロック図である。被写体からの画像光(図
2では光軸14を記載)は、光学系1に含まれる複数枚
のレンズからなるレンズ群にて結像された後、色フィル
タ15を通過して、撮像素子2の結像面上に結像され
る。この撮像素子2の結像面には、複数の受光領域が後
述する予め定める配列で並べられている。First, the configuration of the present color imaging apparatus will be briefly described with reference to FIG. FIG. 2 is a block diagram illustrating a configuration of the color imaging apparatus. The image light from the subject (the optical axis 14 is shown in FIG. 2) is imaged by a lens group including a plurality of lenses included in the optical system 1, passes through a color filter 15, and passes through the image sensor 2. Are imaged on the imaging plane of. A plurality of light receiving regions are arranged in a predetermined arrangement described later on the image forming surface of the image sensor 2.
【0064】上記光学系1には、上述のレンズ群の他に
イメージシフト機構、および空間フィルタも含まれてい
る。イメージシフト機構(移動手段)は、詳細には後述
するが、屈折板を有しており、通常モード選択時、撮像
素子2の結像面上の画像光の結像位置を第1結像位置に
固定させる。一方、イメージシフト機構は、高解像度モ
ード選択時、予め定める時間毎に、結像面上の画像光の
結像位置を第1および第2結像位置にそれぞれシフト移
動させる。以後、このシフト移動させる動作をイメージ
シフト動作と称する。空間フィルタは、いわゆる光学的
ローパスフィルタであり、画像光の空間周波数成分を制
限するためのものである。空間フィルタの詳細な説明も
後述する。The optical system 1 includes an image shift mechanism and a spatial filter in addition to the above-described lens group. The image shift mechanism (moving means) has a refraction plate, which will be described later in detail, and when the normal mode is selected, the image forming position of the image light on the image forming surface of the image sensor 2 is changed to the first image forming position. To be fixed. On the other hand, the image shift mechanism shifts the image forming position of the image light on the image forming plane to the first and second image forming positions at predetermined time intervals when the high resolution mode is selected. Hereinafter, this shift movement operation is referred to as an image shift operation. The spatial filter is a so-called optical low-pass filter for limiting a spatial frequency component of image light. A detailed description of the spatial filter will also be described later.
【0065】上記撮像素子2は、いわゆる全画素読み出
し型の撮像素子であり、その結像面には、図3に示すよ
うに、複数の受光領域PDが、水平方向Hおよび該水平
方向Hと直交する垂直方向Vに沿って、予め定める配列
周期PH,PVの間隔で2次元行列的に並べられてい
る。The image pickup device 2 is a so-called all-pixel readout type image pickup device. On its image forming surface, a plurality of light receiving areas PD are arranged in the horizontal direction H and in the horizontal direction H as shown in FIG. They are arranged in a two-dimensional matrix at intervals of a predetermined arrangement period PH, PV along a vertical direction V perpendicular to the direction.
【0066】この撮像素子2において、画像光に対する
水平方向Hのサンプリング周波数fHは、水平方向Hの
配列周期PHの逆数であり、同様に垂直方向Vのサンプ
リング周波数fVは、垂直方向Vの配列周期PVの逆数
である。サンプリング周波数fHは(3)式で、サンプ
リング周波数fVは(4)式で示される。In the image pickup device 2, the sampling frequency fH in the horizontal direction H with respect to the image light is the reciprocal of the arrangement period PH in the horizontal direction H, and similarly, the sampling frequency fV in the vertical direction V is the arrangement period in the vertical direction V. It is the reciprocal of PV. The sampling frequency fH is expressed by equation (3), and the sampling frequency fV is expressed by equation (4).
【0067】[0067]
【数2】 (Equation 2)
【0068】なお、これ以後、水平方向Hに沿って直線
上に並べられる1群の構成要素を「行」と称し、垂直方
向Vに沿って直線上に並べられる1群の構成要素を
「列」と称する。Hereinafter, a group of components arranged on a straight line along the horizontal direction H is referred to as a “row”, and a group of components arranged on a straight line along the vertical direction V is referred to as a “column”. ".
【0069】また、上記撮像素子2は、予め定める露光
時間だけ、各受光領域PDに画像光の色彩光を受光させ
ることによって、画像光を撮像する。露光時間が経過す
ると、予め定める時間毎に、各受光領域PDからの受光
データを第1または第2原画像信号として、後述する前
処理回路3に導出する。The image pickup element 2 picks up image light by causing each light receiving area PD to receive the color light of the image light for a predetermined exposure time. When the exposure time elapses, the light receiving data from each light receiving area PD is derived to the later-described preprocessing circuit 3 as a first or second original image signal at predetermined time intervals.
【0070】上記第1および第2原画像信号は、それぞ
れ画像光が、前述した第1結像位置と第2結像位置とに
結像されたときに、画像光を撮像して得られる画像信号
である。各画像信号は、各受光領域PDでの色彩光の受
光量に対応する受光データからそれぞれ構成され、撮像
素子2から出力された段階では、各受光データは受光量
に対応するレベルのアナログ信号である。The first and second original image signals are obtained by imaging the image light when the image light is formed on the first image forming position and the second image forming position, respectively. Signal. Each image signal is composed of light receiving data corresponding to the amount of color light received in each light receiving area PD. At the stage when the light is output from the image sensor 2, each light receiving data is an analog signal of a level corresponding to the amount of received light. is there.
【0071】図4に、2つの撮像位置である第1結像位
置と第2結像位置との関係を示す。第1結像位置Qaを
基準にすると、第2結像位置Qbは第1結像位置Qaか
ら水平方向Hにシフト長さPHだけ移動した位置とな
る。つまり、光学系1のイメージシフト機構は、撮像素
子2の空間サンプリング位置を、水平方向Hに画素ピッ
チの長さPHだけ変位させるようになっている。FIG. 4 shows the relationship between the two imaging positions, the first imaging position and the second imaging position. With reference to the first imaging position Qa, the second imaging position Qb is a position shifted by the shift length PH in the horizontal direction H from the first imaging position Qa. That is, the image shift mechanism of the optical system 1 shifts the spatial sampling position of the image sensor 2 in the horizontal direction H by the length PH of the pixel pitch.
【0072】色フィルタ15は、撮像素子2の光入射側
に配置され、例えば撮像素子2と一体的に形成される。
色フィルタ15は、図5に示すように、撮像素子2の各
受光領域PDに個別に対応して予め定める色彩光だけを
通過させる透光領域Lを受光領域と同数だけ有してい
る。透光領域Lは、受光領域PDの配列と等しい配列
で、2次元平面上に並べられている。つまり、色フィル
タ15を通過することで、撮像素子2の各受光領域PD
には、予め定める色彩光だけが入射することになる。The color filter 15 is arranged on the light incident side of the image sensor 2 and is formed integrally with the image sensor 2, for example.
As shown in FIG. 5, the color filters 15 have the same number of light-transmitting regions L as light-receiving regions that allow only predetermined color light to pass through corresponding to each light-receiving region PD of the image sensor 2. The translucent regions L are arranged on a two-dimensional plane in the same arrangement as the arrangement of the light receiving regions PD. That is, by passing through the color filter 15, each light receiving area PD of the image sensor 2
, Only predetermined color light is incident.
【0073】ここで予め定める色彩光は「赤」「緑」
「青」の3色で、図5において透光領域LにおけるRが
赤色光透過フィルタ(以下、Rフィルタ)、Gが緑色光
透過フィルタ(以下、Gフィルタ)、Bが青色光透過フ
ィルタ(以下、Bフィルタ)である。また、Rフィルタ
と同じ行のGフィルタをG1フィルタ、Bフィルタと同
じ行上のGフィルタをG2として、区別して称するもの
とする。各色彩光の透光領域Lの色配列は、2点鎖線で
囲む2行2列の4つの透光領域Lの配列を基本配列パタ
ーンとする周期的な配列である。一般に、このような色
フィルタ15の配列は、ベイヤー配列と呼ばれている。The predetermined color light is "red" or "green".
In FIG. 5, R is a red light transmission filter (hereinafter, R filter), G is a green light transmission filter (hereinafter, G filter), and B is a blue light transmission filter (hereinafter, blue). , B filter). Further, the G filters on the same row as the R filter are referred to as G1 filters, and the G filters on the same row as the B filters are referred to as G2. The color arrangement of the light-transmitting regions L of the respective colored lights is a periodic array in which an array of four light-transmitting regions L in two rows and two columns surrounded by a two-dot chain line is used as a basic array pattern. Generally, such an array of color filters 15 is called a Bayer array.
【0074】再び図2に戻り、図2に示す前処理回路3
は、撮像素子2から出力された各原画像信号を増幅した
後、該信号に例えばホワイトバランス補正およびガンマ
補正等の予め定める処理を施す。前処理回路3において
処理された原画像信号は、A/D変換回路4でデジタル
信号に変換された後、信号処理回路6、合成処理回路1
2、スイッチ13にそれぞれ導出される。Returning to FIG. 2, the preprocessing circuit 3 shown in FIG.
After amplifying each original image signal output from the imaging element 2, the signal is subjected to predetermined processing such as white balance correction and gamma correction. The original image signal processed by the pre-processing circuit 3 is converted into a digital signal by an A / D conversion circuit 4, and then converted into a digital signal.
2. It is derived to the switch 13 respectively.
【0075】信号処理回路6は、通常モードにおいて動
作し、単一の原画像信号から、通常出力画像の通常出力
画像信号を生成する。合成処理回路12は、高解像度モ
ードにおいて動作し、高解像度出力画像の高解像度出力
画像信号を生成する。これら信号処理回路6および合成
処理回路12の処理の詳細はそれぞれ後述する。The signal processing circuit 6 operates in the normal mode, and generates a normal output image signal of a normal output image from a single original image signal. The composition processing circuit 12 operates in the high resolution mode, and generates a high resolution output image signal of the high resolution output image. Details of the processing of the signal processing circuit 6 and the synthesis processing circuit 12 will be described later.
【0076】スイッチ13は、3入力1出力の選択スイ
ッチであり、後述するように、同期信号発生回路9から
の同期信号により、3入力のうちの何れかを選択して出
力する。The switch 13 is a three-input one-output selection switch. As will be described later, the switch 13 selects and outputs one of the three inputs according to a synchronization signal from the synchronization signal generation circuit 9.
【0077】前述した通常モードおよび高解像度モード
は、例えば装置本体に備えられる操作ボタンをカラー撮
像装置の使用者が操作することによって選択される。モ
ード切り替え回路11は、使用者の選択に応じて、選択
されたモードに対応する出力を、同期信号発生回路9に
与えるものである。The above-described normal mode and high-resolution mode are selected by, for example, operating the operation buttons provided on the apparatus main body by the user of the color imaging apparatus. The mode switching circuit 11 supplies an output corresponding to the selected mode to the synchronization signal generating circuit 9 in accordance with a user's selection.
【0078】同期信号発生回路9は、通常モードが選択
されたとき、単一の原画像信号の撮像動作に対応する同
期信号を発生させる一方、高解像度モードが選択された
とき、2つの原画像信号の撮像動作に対応する同期信号
を発生させる。そして、発生された同期信号は、駆動回
路8、メモリ制御回路10、ならびに前述のスイッチ1
3に与えられる。When the normal mode is selected, the synchronization signal generation circuit 9 generates a synchronization signal corresponding to the imaging operation of a single original image signal. On the other hand, when the high resolution mode is selected, the two original images are generated. A synchronization signal corresponding to a signal imaging operation is generated. The generated synchronization signal is transmitted to the drive circuit 8, the memory control circuit 10, and the switch 1 described above.
3 given.
【0079】同期信号発生回路9より、単一の原画像信
号の撮像動作に対応する同期信号が発生すると、スイッ
チ13は、信号処理回路6からの出力を選択する。ま
た、駆動回路8は、まず、光学系1のイメージシフト機
構を前述の第1結像位置に固定し、次いで、同期信号に
応答し、撮像素子2の各受光領域PDから受光データを
前処理回路3に出力させる。同時に、メモリ制御回路1
0は、同期信号に応答し、前処理回路3、A/D変換回
路4、信号処理回路6、スイッチ13を介した受光デー
タを単一の通常出力画像信号毎に、画像メモリ5にスト
アさせる。When a synchronizing signal corresponding to the imaging operation of a single original image signal is generated by the synchronizing signal generating circuit 9, the switch 13 selects an output from the signal processing circuit 6. Further, the drive circuit 8 first fixes the image shift mechanism of the optical system 1 at the above-mentioned first image forming position, and then pre-processes the received light data from each light receiving area PD of the image sensor 2 in response to the synchronization signal. Output to the circuit 3. At the same time, the memory control circuit 1
0 responds to the synchronization signal and causes the image memory 5 to store the received light data via the preprocessing circuit 3, the A / D conversion circuit 4, the signal processing circuit 6, and the switch 13 for each single normal output image signal. .
【0080】一方、同期信号発生回路9より、2つの原
画像信号の撮像動作に対応する同期信号が発生すると、
駆動回路8は、光学系1内のイメージシフト機構を用い
てイメージシフト動作を行う。これによって、撮像素子
2では、各受光領域が受光する色彩光が、被写体の像の
中で移動前の色彩光とずれる。On the other hand, when the synchronization signal generation circuit 9 generates a synchronization signal corresponding to the imaging operation of the two original image signals,
The drive circuit 8 performs an image shift operation using an image shift mechanism in the optical system 1. As a result, in the image sensor 2, the color light received by each light receiving area is shifted from the color light before movement in the image of the subject.
【0081】高解像度モードによる撮像動作は、まず、
光学系1のイメージシフト機構を第1結像位置に固定す
る。次いで、第1同期信号に応答し、撮像素子2の各受
光領域PDから受光データを前処理回路3に出力させ
る。スイッチ13は、同期信号に応じて、A/D変換回
路4からの信号を選択する。受光データは、前処理回路
3により、ホワイトバランス処理、ガンマ補正などの処
理を施された後、A/D変換回路4およびスイッチ13
を介して、画像メモリ5に導出される。画像メモリ5
は、受光データを第1原画像信号としてストアする。The imaging operation in the high-resolution mode is as follows.
The image shift mechanism of the optical system 1 is fixed at the first imaging position. Next, in response to the first synchronization signal, the light receiving data is output to the preprocessing circuit 3 from each light receiving area PD of the image sensor 2. The switch 13 selects a signal from the A / D conversion circuit 4 according to the synchronization signal. The received light data is subjected to processing such as white balance processing and gamma correction by the preprocessing circuit 3, and then the A / D conversion circuit 4 and the switch 13
Via the image memory 5. Image memory 5
Stores the received light data as a first original image signal.
【0082】次いで、同期信号発生回路9からの第2同
期信号に応じて、駆動回路8は、光学系1内のイメージ
シフト機構を駆動して、イメージシフト機構を予め定め
る第2結像位置に固定する。また、スイッチ13は、合
成処理回路12からの信号を選択する。また、画像メモ
リ5は、先程ストアした第1原画像信号を出力する。こ
の第1原画像信号は、合成処理回路12に導出される。
同期信号に応じて、撮像素子2の各受光領域PDから受
光データは、前処理回路3、A/D変換回路4に導出さ
れる。この受光データは、第2原画像信号として合成処
理回路(画像合成手段)12に導出される。Next, in response to the second synchronizing signal from the synchronizing signal generating circuit 9, the drive circuit 8 drives the image shift mechanism in the optical system 1 to move the image shift mechanism to a predetermined second imaging position. Fix it. The switch 13 selects a signal from the synthesis processing circuit 12. The image memory 5 outputs the first original image signal stored earlier. This first original image signal is derived to the synthesis processing circuit 12.
Light receiving data from each light receiving area PD of the image sensor 2 is derived to the pre-processing circuit 3 and the A / D conversion circuit 4 according to the synchronization signal. The received light data is derived as a second original image signal by the synthesis processing circuit (image synthesis means) 12.
【0083】合成処理回路12は、画像メモリ5から第
1原画像信号を入力し、A/D変換回路4から第2原画
像信号を入力する。これら2枚の原画像信号を合成処理
し、高解像度である高解像度出力画像を生成し、画像メ
モリ5へ再びストアする。The synthesizing circuit 12 receives the first original image signal from the image memory 5 and the second original image signal from the A / D conversion circuit 4. By combining these two original image signals, a high-resolution output image having a high resolution is generated and stored in the image memory 5 again.
【0084】ここで、画像メモリ5は、ストアされた第
1原画像信号を出力しながら、高解像度出力画像を入力
している。すなわち、出力されていく第1原画像信号の
領域から、順次高解像度出力画像を上書きしていく。し
たがって、第1原画像信号をすべて出力し終える時点
で、画像メモリ5には、高解像度出力画像のストアが完
了することになる。このような画像メモリ5のストア方
法により、画像メモリ5の容量は、原画像信号もしくは
高解像度出力画像の1枚分だけでよく、2枚分の容量を
必要としない。Here, the image memory 5 inputs a high-resolution output image while outputting the stored first original image signal. That is, the high-resolution output image is sequentially overwritten from the area of the first original image signal to be output. Therefore, when the output of all the first original image signals is completed, the storing of the high-resolution output image in the image memory 5 is completed. Due to such a storing method of the image memory 5, the capacity of the image memory 5 is only one for the original image signal or the high-resolution output image, and the capacity for the two images is not required.
【0085】画像メモリ5にストアされた通常出力画像
信号、高解像度出力画像信号は何れも、最終的に、記録
媒体7にストアされる。Both the normal output image signal and the high resolution output image signal stored in the image memory 5 are finally stored in the recording medium 7.
【0086】なお、本発明の移動手段は、後述するイメ
ージシフト機構と駆動回路8にて構成され、移動判定手
段は、上記したモード切り替え回路11、メモリ制御回
路10、同期信号発生回路9、駆動回路8にて構成され
る。また、本発明の画像合成処理回路は、合成処理回路
12と、スイッチ13、メモリ制御回路10から構成さ
れる。また、図2では特には図示していないが、各部を
制御する制御手段としてのCPU等からなる制御系が備
えられている。The moving means of the present invention comprises an image shift mechanism and a driving circuit 8 described later. The moving judging means comprises the mode switching circuit 11, the memory control circuit 10, the synchronizing signal generating circuit 9, It is composed of a circuit 8. The image composition processing circuit of the present invention includes a composition processing circuit 12, a switch 13, and a memory control circuit 10. Although not particularly shown in FIG. 2, a control system including a CPU or the like as control means for controlling each unit is provided.
【0087】次に、図6ないし図13を用いて、光学系
1に含まれる前述したイメージシフト機構、および固定
光学フィルタについて詳細に説明する。Next, the image shift mechanism and the fixed optical filter included in the optical system 1 will be described in detail with reference to FIGS.
【0088】図6に、光学系1におけるレンズ群21、
イメージシフト機構22の屈折板23、および撮像素子
2の位置関係を示す。レンズ群21は、複数枚のレンズ
により構成され、各収差を補正しつつ、光学系1に入射
される画像光を撮像素子2の結像面上において結像させ
る。イメージシフト機構22は、屈折板23を有し、レ
ンズ群21と撮像素子2との間に介在される。レンズ群
21を通過後の画像光の光軸14は、屈折板23を通
り、色フィルタ15を通過して、撮像素子2の結像面に
至る。以降、この画像光の光軸14と平行な方向をZと
称する。空間フィルタは、これらの構成要素であるレン
ズ群21と撮像素子2の間の任意の位置に設置される。FIG. 6 shows a lens group 21 in the optical system 1.
4 shows a positional relationship between the refraction plate 23 of the image shift mechanism 22 and the image sensor 2. The lens group 21 is configured by a plurality of lenses, and forms image light incident on the optical system 1 on the image forming surface of the image sensor 2 while correcting each aberration. The image shift mechanism 22 has a refraction plate 23 and is interposed between the lens group 21 and the image sensor 2. The optical axis 14 of the image light after passing through the lens group 21 passes through the refraction plate 23, passes through the color filter 15, and reaches the image plane of the image sensor 2. Hereinafter, the direction parallel to the optical axis 14 of the image light is referred to as Z. The spatial filter is installed at an arbitrary position between the lens group 21 and the image sensor 2 which are these components.
【0089】図7に、イメージシフト機構22の具体的
構成を示す。イメージシフト機構22に含まれる屈折板
23は、透光性を有する矩形の板状部材であり、透光性
を有するガラス部材等で形成される。例えばBK7のよ
うな光学ガラスを材料として用いる。屈折板23は、イ
ナーシャを小さくするために、できるだけ軽量とするこ
とが望ましい。FIG. 7 shows a specific configuration of the image shift mechanism 22. The refraction plate 23 included in the image shift mechanism 22 is a translucent rectangular plate-like member, and is formed of a translucent glass member or the like. For example, an optical glass such as BK7 is used as a material. It is desirable that the refraction plate 23 be as light as possible in order to reduce inertia.
【0090】屈折板23の水平方向Hの両側方には、一
対の圧電素子31,32が配置される。これら圧電素子
31,32は、いわゆるバイモルフ型の圧電素子であ
り、短冊状の3枚の電極の間に圧電セラミックが介在さ
れる構造を有する。この圧電素子31,32の長手方向
は、イメージシフト動作のシフト方向と平行な水平方向
Hに平行である。A pair of piezoelectric elements 31 and 32 are arranged on both sides of the refraction plate 23 in the horizontal direction H. Each of the piezoelectric elements 31 and 32 is a so-called bimorph type piezoelectric element, and has a structure in which piezoelectric ceramic is interposed between three strip-shaped electrodes. The longitudinal direction of the piezoelectric elements 31 and 32 is parallel to a horizontal direction H parallel to the shift direction of the image shift operation.
【0091】各圧電素子31,32は片持梁構造であ
り、長手方向の両端部のうち、図面を記す紙面で手前側
の一方端を固定端、奥側の他方端を自由端とする。圧電
素子31,32の各電極からは、圧電素子31,32の
固定端側から導線38,39がそれぞれ引き出される。
この導線38,39は、駆動回路8に接続される。Each of the piezoelectric elements 31 and 32 has a cantilever structure, and, of the two ends in the longitudinal direction, one end on the near side as a fixed end and the other end on the back side as a free end in the drawing paper are shown. From the electrodes of the piezoelectric elements 31 and 32, conducting wires 38 and 39 are drawn out from the fixed ends of the piezoelectric elements 31 and 32, respectively.
The conductors 38 and 39 are connected to the drive circuit 8.
【0092】圧電素子31,32の自由端側の部分は、
上保持板33および下保持板34に挟持される。上保持
板33および下保持板34は、例えば合成樹脂である軽
量な材料によって形成される。上および下保持板33,
34は、概略的に短冊状の部材であって、長手方向の両
側に肉厚部分が形成され、水平方向Hから見て概略的に
「コ」の字状の形状を有する。The free ends of the piezoelectric elements 31 and 32 are:
It is sandwiched between the upper holding plate 33 and the lower holding plate 34. The upper holding plate 33 and the lower holding plate 34 are formed of a lightweight material, for example, a synthetic resin. Upper and lower holding plates 33,
Reference numeral 34 denotes a generally strip-shaped member having thick portions formed on both sides in the longitudinal direction, and having a substantially U-shape when viewed from the horizontal direction H.
【0093】上および下保持板33,34は、その長手
方向が垂直方向Vと平行となるように設置され、かつそ
の肉厚部同士を対向させて一対の圧電素子31,32を
挟持し、同時にその中間部で屈折板23を挟持して、サ
ンドイッチ接合構造を形成する。各構成要素間の接合に
は、エポキシ系樹脂のフィルム状接着剤などが用いられ
る。これによって、屈折板23は、圧電素子31,32
の自由端側の部分に、上および下保持板33,34は、
屈折板23の中心を含む仮想的なHV平面を対象面とす
る上下対称の構造を有する。圧電素子31,32が片持
梁として動作するとき、その自由端側部分は、他の構成
部材に動きを拘束されることなく自由に変位することが
できる。The upper and lower holding plates 33, 34 are installed so that their longitudinal directions are parallel to the vertical direction V, and sandwich the pair of piezoelectric elements 31, 32 with their thick portions facing each other. At the same time, the refraction plate 23 is sandwiched between the intermediate portions to form a sandwich bonding structure. An epoxy resin film adhesive or the like is used for joining the components. Thereby, the refraction plate 23 is connected to the piezoelectric elements 31 and 32.
The upper and lower holding plates 33, 34 are located at the free end side of
It has a vertically symmetric structure with a virtual HV plane including the center of the refraction plate 23 as an object plane. When the piezoelectric elements 31 and 32 operate as cantilevers, their free end portions can be freely displaced without being restricted by other components.
【0094】また、各圧電素子31,32の固定端側の
部分は、ステージ35に接合されて固定される。ステー
ジ35は、図示しないカラー撮像装置の筐体の所定位置
に固定される。この圧電素子31,32の固定方法は、
これに限らず、例えば固定端側の部分をステージ35お
よびステージ35とほぼ同形状の別部材によって挟持
し、これら部材をビスで固定することで固定してもよ
い。この筐体内部には、被写体からの画像光の全光束が
屈折板23を通過するように、前述の光学系1が配置さ
れる。The fixed ends of the piezoelectric elements 31 and 32 are joined to the stage 35 and fixed. The stage 35 is fixed to a predetermined position of a casing of a color imaging device (not shown). The method of fixing the piezoelectric elements 31 and 32 is as follows.
However, the present invention is not limited to this. For example, the portion on the fixed end side may be sandwiched by the stage 35 and another member having substantially the same shape as the stage 35, and these members may be fixed by screws. The above-described optical system 1 is arranged inside the housing such that the entire luminous flux of image light from the subject passes through the refraction plate 23.
【0095】さらに、この筐体内部には、圧電素子3
1,32の光軸方向の位置を検出するための位置センサ
36,37が配置される。位置センサ36,37は、例
えば反射型のフォトインタラプタで実現される。位置セ
ンサ36,37は、鏡面加工が施された下保持板34か
らの反射光を受光して下保持板の変位を検出し、その変
位量から圧電素子36,37の変位を推測する。位置セ
ンサ36,37の検出結果は、駆動回路8に与えられ
る。Further, inside the housing, a piezoelectric element 3 is provided.
Position sensors 36 and 37 for detecting the positions of the optical axes 1 and 32 in the optical axis direction are arranged. The position sensors 36 and 37 are realized by, for example, a reflection type photo interrupter. The position sensors 36 and 37 receive the reflected light from the mirror-finished lower holding plate 34 to detect the displacement of the lower holding plate, and estimate the displacement of the piezoelectric elements 36 and 37 from the amount of the displacement. The detection results of the position sensors 36 and 37 are given to the drive circuit 8.
【0096】このような構造を有するイメージシフト機
構22は、屈折板23の中心を通り、垂直方向Vに平行
に伸びる仮想基準軸線を備える構造の機構と同等に動
く。このイメージシフト機構22は、従来のイメージシ
フト機構と比較して、装置全体の大きさが小さい。The image shift mechanism 22 having such a structure moves similarly to a mechanism having a virtual reference axis extending through the center of the refraction plate 23 and extending in parallel with the vertical direction V. The image shift mechanism 22 has a smaller overall size than the conventional image shift mechanism.
【0097】このイメージシフト機構22でイメージシ
フト動作を行うとき、該機構22は、画像光を結像させ
るべき結像位置に応じて仮想基準軸線を中心として屈折
板23を角変位させることによって、屈折板23と入射
側の画像光の光軸14aとの成す角度を変化させる。第
1および第2結像位置を結像させるときのイメージシフ
ト機構22が取るべき状態を、それぞれ第1および第2
状態とする。第1および第2状態は、駆動回路8からの
信号の有無によって切り替えられる。When the image shift mechanism 22 performs an image shift operation, the mechanism 22 angularly displaces the refraction plate 23 about the virtual reference axis in accordance with the image forming position where the image light is to be formed. The angle formed between the refraction plate 23 and the optical axis 14a of the image light on the incident side is changed. The states to be taken by the image shift mechanism 22 when forming the first and second image forming positions are first and second states, respectively.
State. The first and second states are switched according to the presence or absence of a signal from the drive circuit 8.
【0098】第1状態では、駆動回路8は、圧電素子3
1,32に信号を与えない。このとき圧電素子31,3
2はHV平面に対して平行な状態を保つので、屈折板2
3の入射面と入射側の光軸14aとが直交する。第1結
像位置は、この状態の屈折板23を通過した後の画像光
の光軸14bと、撮像素子2の結像面との交点である。In the first state, the driving circuit 8
No signal is given to 1,32. At this time, the piezoelectric elements 31 and 3
2 keeps the state parallel to the HV plane.
3 and the optical axis 14a on the incident side are orthogonal to each other. The first imaging position is the intersection of the optical axis 14b of the image light after passing through the refraction plate 23 in this state and the imaging plane of the image sensor 2.
【0099】第2状態では、駆動回路8は、導線38,
39を介して、圧電素子31,32の圧電セラミックを
挟持する各電極に、あらかじめ定める信号を与える。こ
れによって、2対の電極間に予め定める電圧が印加され
るので、固定端の部分を支点として、支点から自由端ま
でが連続的に歪み、自由端の端部を光学軸方向Zに変位
させる。屈折板23は、この自由端の変位に応じて、仮
想基準軸線を回転中心として角変位する。これによっ
て、屈折板23の入射面は、入射側の光軸14aに対し
て予め定める傾斜角度だけ傾く。In the second state, the drive circuit 8 connects the conductor 38,
A predetermined signal is applied to each electrode of the piezoelectric elements 31 and 32 sandwiching the piezoelectric ceramics via 39. As a result, a predetermined voltage is applied between the two pairs of electrodes, so that the fulcrum from the fulcrum to the free end is continuously distorted with the fixed end as a fulcrum, and the free end is displaced in the optical axis direction Z. . The refraction plate 23 is angularly displaced about the virtual reference axis in accordance with the displacement of the free end. Thereby, the incident surface of the refraction plate 23 is inclined by a predetermined inclination angle with respect to the optical axis 14a on the incident side.
【0100】このとき、位置センサ36,37は下保持
板の変位から圧電素子31,32の変位を検出して、駆
動回路8に与える。駆動回路8は、位置センサ36,3
7の検出結果と予め定める目標値とを比較して、その誤
差量を検出する。駆動回路8は、この誤差量がゼロに成
るように、圧電素子31,32の電極に与える信号の電
圧を微調整して、屈折板23の傾斜角度を微調整する。At this time, the position sensors 36 and 37 detect the displacement of the piezoelectric elements 31 and 32 from the displacement of the lower holding plate, and give the displacement to the drive circuit 8. The drive circuit 8 includes the position sensors 36 and 3
7 is compared with a predetermined target value to detect the error amount. The drive circuit 8 finely adjusts the voltage of the signal applied to the electrodes of the piezoelectric elements 31 and 32 and finely adjusts the inclination angle of the refraction plate 23 so that the error amount becomes zero.
【0101】屈折板23通過後の画像光の光軸は、入射
側の光軸14aの延長線から、屈折板23の傾斜角度に
対応したシフト長さだけ、仮想基準軸線に直交する方向
に平行移動する。これによって、イメージシフト機構2
2が第2状態にあるとき、屈折板23通過後の画像光の
光軸は、水平方向Hに沿って予め定めるシフト長さだけ
平行移動する。第2結像位置は、この平行移動後の光軸
と撮像素子2の結像面の交点である。したがって、第2
結像位置は、第1結像位置から見て、光軸のシフト方向
と同じシフト長さだけずれる。このような動作によっ
て、画像光の結像位置がシフト移動する。The optical axis of the image light after passing through the refraction plate 23 is parallel to the direction perpendicular to the virtual reference axis by a shift length corresponding to the inclination angle of the refraction plate 23 from the extension of the optical axis 14a on the incident side. Moving. Thereby, the image shift mechanism 2
When 2 is in the second state, the optical axis of the image light after passing through the refraction plate 23 translates in the horizontal direction H by a predetermined shift length. The second imaging position is the intersection of the optical axis after the translation and the imaging plane of the image sensor 2. Therefore, the second
The image forming position is shifted from the first image forming position by the same shift length as the optical axis shift direction. Such an operation shifts the image formation position of the image light.
【0102】なお、図7に示したイメージシフト機構2
2は、圧電素子により屈折板23を駆動した構成である
が、駆動素子はこれに限られるものではなく、ソレノイ
ド、ボイスコイルモータ、あるいはプランジャなどの駆
動素子を用いて、屈折板23を駆動してもよい。また、
イメージシフト機構22に代わって、可変頂角プリズム
によってイメージシフト動作を行ってもよい。この可変
頂角プリズムは、例えば『ITEJ Technica
l Report Vol.17,No.5,pp.1
5〜20,CE’93−3(Jan,1993)』に開
示されている。The image shift mechanism 2 shown in FIG.
Reference numeral 2 denotes a configuration in which the refraction plate 23 is driven by a piezoelectric element, but the drive element is not limited to this, and the refraction plate 23 is driven using a drive element such as a solenoid, a voice coil motor, or a plunger. You may. Also,
The image shift operation may be performed by a variable apex angle prism instead of the image shift mechanism 22. This variable apex angle prism is described, for example, in "ITEJ Technica".
l Report Vol. 17, No. 5, pp. 1
5-20, CE '93 -3 (Jan, 1993) ".
【0103】また、イメージシフト機構22に代わっ
て、光学系1内のいずれか1つまたは複数のレンズを移
動することによって、イメージシフト動作を行ってもよ
い。この際に、移動量を検出しながら圧電素子などの構
成部材を用いて変位させる。また、イメージシフト機構
22に代わって、撮像素子2または撮像素子2と光学系
1とを含むブロックを、画像光の光軸を固定した状態で
の撮像素子2または該ブロックの移動によって、イメー
ジシフト動作を行ってもよい。この際に、移動量を検出
しながら圧電素子などの構成部材を用いて変位させる。The image shift operation may be performed by moving one or more lenses in the optical system 1 instead of the image shift mechanism 22. At this time, the displacement is performed using a component such as a piezoelectric element while detecting the movement amount. Further, instead of the image shift mechanism 22, the image sensor 2 or a block including the image sensor 2 and the optical system 1 is shifted by moving the image sensor 2 or the block while the optical axis of the image light is fixed. Operation may be performed. At this time, the displacement is performed using a component such as a piezoelectric element while detecting the movement amount.
【0104】このように、イメージシフト動作のための
機構は、上述の第1および第2結像位置に結像位置を移
動できるものであれば、上述の機構に限らずどのような
構造の機構を用いてもよい。As described above, the mechanism for the image shift operation is not limited to the above-described mechanism, but may be any mechanism that can move the image forming position to the above-described first and second image forming positions. May be used.
【0105】図8に、空間フィルタの具体的構成を説明
する。図8に示す空間フィルタ40は、複屈折板41、
1/4波長板42、複屈折板43が、画像光の光軸14
上に、入射側からこの順で配列されて形成されている。
複屈折板41、1/4波長板42、複屈折板43は、入
射側の画像光の光軸14と直交する入射面および射出面
をそれぞれ有する。FIG. 8 illustrates a specific configuration of the spatial filter. The spatial filter 40 shown in FIG.
The 波長 wavelength plate 42 and the birefringent plate 43 serve as the optical axis 14 of the image light.
On the upper side, they are arranged in this order from the incident side.
The birefringent plate 41, the quarter-wave plate 42, and the birefringent plate 43 have an entrance surface and an exit surface, respectively, which are orthogonal to the optical axis 14 of the incident image light.
【0106】以後、水平方向H、垂直方向V、および光
軸方向Zの各単位ベクトルを、ベクトルi,j,kと表
す。また、ベクトルi,jに平行でかつベクトルkと直
交する平面を、HV平面とする。このHV平面は、複屈
折板41、1/4波長板42、複屈折板43の入射面お
よび射出面と平行である。Hereinafter, each unit vector in the horizontal direction H, the vertical direction V, and the optical axis direction Z is represented as a vector i, j, k. A plane parallel to the vectors i and j and orthogonal to the vector k is defined as an HV plane. The HV plane is parallel to the entrance surface and the exit surface of the birefringent plate 41, the quarter-wave plate 42, and the birefringent plate 43.
【0107】上記の複屈折板41,43は、例えば水晶
板で実現される。図9(a)(b)は、空間フィルタ40
の複屈折板41,43の各分離ベクトルV41,V43
をHV平面に投影した状態を示す図である。また、複屈
折板41,43の各分離ベクトルV41,V43の大き
さ、すなわち分離長さは、複屈折板41,43の光軸方
向Zの厚さに比例して定められる。ゆえに、複屈折板4
1,43の厚さは、それぞれ後述する分離長さが生じる
ように設定される。分離ベクトルV41,V43は、前
述した単位ベクトルi,j,kによって、(5)式
(6)式でそれぞれ規定される。The birefringent plates 41 and 43 are realized by, for example, quartz plates. FIGS. 9A and 9B show the spatial filter 40.
Separation vectors V41, V43 of the birefringent plates 41, 43
FIG. 4 is a diagram showing a state where is projected on an HV plane. The size of each of the separation vectors V41 and V43 of the birefringent plates 41 and 43, that is, the separation length is determined in proportion to the thickness of the birefringent plates 41 and 43 in the optical axis direction Z. Therefore, the birefringent plate 4
The thicknesses of the reference numerals 1 and 43 are set such that a separation length described later is generated. The separation vectors V41 and V43 are respectively defined by the above-described unit vectors i, j, and k by the expressions (5) and (6).
【0108】[0108]
【数3】 (Equation 3)
【0109】上式から、複屈折板41,43の各分離ベ
クトルV41,V43の向きは、それぞれ反時計まわり
に見て、水平方向Hと成す向き角θ41,θ43はそれぞ
れ、(7)式(8)式の通りである。From the above equation, the directions of the respective separation vectors V41 and V43 of the birefringent plates 41 and 43 are, when viewed in the counterclockwise direction, the direction angles θ 41 and θ 43 formed with the horizontal direction H respectively (7) Equation (8) is as follows.
【0110】[0110]
【数4】 (Equation 4)
【0111】また、複屈折板41,43の分離長さは、
どちらも以下の通りである。The separation length of the birefringent plates 41 and 43 is
Both are as follows.
【0112】[0112]
【数5】 (Equation 5)
【0113】また、θ41=−θ43=π/4rad(ラジ
アン)の時、つまりPH=PVの時に、空間フィルタ
は、図10に示す構成としてもよい。図10に示す空間
フィルタ60は、3枚の複屈折板61〜63が、画像光
の光軸14上に、入射側からこの順で配列されて形成さ
せる。複屈折板61〜63は、入射側の画像光の光軸1
4と直交する入射面および射出面をそれぞれ有する。複
屈折板61〜63は、例えば水晶板で実現される。When θ 41 = −θ 43 = π / 4 rad (radian), that is, when PH = PV, the spatial filter may have the configuration shown in FIG. The spatial filter 60 shown in FIG. 10 is formed by arranging three birefringent plates 61 to 63 on the optical axis 14 of image light in this order from the incident side. The birefringent plates 61 to 63 are connected to the optical axis 1 of the image light on the incident side.
4 has an entrance surface and an exit surface orthogonal to each other. The birefringent plates 61 to 63 are realized by a quartz plate, for example.
【0114】図11(a)〜(c)は、空間フィルタ6
0の複屈折板61〜63の各分離ベクトルV61〜V6
3をHV平面に投影した状態を示す図である。また、複
屈折板61〜63の各分離ベクトルV61〜V63の大
きさ、すなわち分離長さは、複屈折板61〜63各々の
光軸方向Zの厚さに比例して定められる。ゆえに、各複
屈折板61〜63の厚さは、それぞれ後述する分離長さ
が生じるように設定される。各分離ベクトルV61〜V
63は、前述した単位ベクトルi,j,kによって、
(9)式(10)式(11)式で規定される。FIGS. 11A to 11C show the spatial filter 6.
Separation vectors V61 to V6 of birefringent plates 61 to 63 of 0
FIG. 3 is a diagram showing a state where 3 is projected on an HV plane. The size of each of the separation vectors V61 to V63 of the birefringent plates 61 to 63, that is, the separation length is determined in proportion to the thickness of each of the birefringent plates 61 to 63 in the optical axis direction Z. Therefore, the thickness of each of the birefringent plates 61 to 63 is set such that a separation length described later occurs. Each separation vector V61 to V
63 is given by the unit vectors i, j, k described above.
Equation (9) is defined by Equation (10) and Equation (11).
【0115】[0115]
【数6】 (Equation 6)
【0116】ここで、P=PH=PVである。上式か
ら、複屈折板61〜63の各分離ベクトルV61〜V6
3の向きは、それぞれ反時計まわりに見て、水平方向H
と180度、90度、315度を成す向きであることが
分かる。また、複屈折板61〜63の分離長さは、順に
以下の通りである。Here, P = PH = PV. From the above equation, the separation vectors V61 to V6 of the birefringent plates 61 to 63 are obtained.
3 are viewed in the counterclockwise direction and the horizontal direction H
It can be seen that the directions are 180 degrees, 90 degrees, and 315 degrees. The separation lengths of the birefringent plates 61 to 63 are as follows in order.
【0117】[0117]
【数7】 (Equation 7)
【0118】図8の空間フィルタ40を通過した画像光
も、PH=PVの場合に適用できる図10の空間フィル
タ60を通過した画像光も、図12に示すように、4本
の光線に分離する。The image light passing through the spatial filter 40 shown in FIG. 8 and the image light passing through the spatial filter 60 shown in FIG. 10 which can be applied when PH = PV are separated into four light beams as shown in FIG. I do.
【0119】ここで図13に、空間フィルタ40の空間
周波数特性を示す。なお、以下に示す総ての空間周波数
平面は、第1象限および第2象限だけを示すものとす
る。これは、第3象限および第4象限は、第1象限およ
び第2象限と共役関係にあるため、空間周波数特性を示
すのはこの2つの象限だけで十分であるからである。FIG. 13 shows the spatial frequency characteristics of the spatial filter 40. All the spatial frequency planes shown below show only the first quadrant and the second quadrant. This is because the third and fourth quadrants have a conjugate relationship with the first and second quadrants, so that only these two quadrants are sufficient to exhibit spatial frequency characteristics.
【0120】空間フィルタ40は、図13の破線、すな
わち(fH,0)と(0,fV)を結ぶ破線、および
(−fH,0)と(0,fV)を結ぶ破線上の空間周波
数成分をトラップする。また、空間フィルタ60は、空
間フィルタ40において、θ41=−θ43=π/4rad
とした場合と等しい空間周波数特性を持つ。The spatial filter 40 has a spatial frequency component on the broken line in FIG. 13, that is, the broken line connecting (fH, 0) and (0, fV) and the broken line connecting (−fH, 0) and (0, fV). Trap. In addition, the spatial filter 60 is configured such that, in the spatial filter 40, θ 41 = −θ 43 = π / 4 rad.
And has the same spatial frequency characteristic as
【0121】本カラー撮像装置においては、空間フィル
タ40(或いは空間フィルタ60)は、可変機構をもた
ず固定されており、通常モードにおいても、高解像度モ
ードにおいても、同じ空間周波数特性を画像光に施すも
のとなっている。In the present color image pickup apparatus, the spatial filter 40 (or the spatial filter 60) is fixed without a variable mechanism, and has the same spatial frequency characteristics in the image light in both the normal mode and the high resolution mode. It is to be applied to.
【0122】次に、図14ないし図19を用いて、信号
処理回路6の通常モード時の処理について説明する。信
号処理回路6は、前述したように、単一の原画像信号か
ら輝度信号および色差信号を求めるものである。Next, the processing in the normal mode of the signal processing circuit 6 will be described with reference to FIGS. As described above, the signal processing circuit 6 obtains a luminance signal and a color difference signal from a single original image signal.
【0123】図14の空間周波数平面図に、輝度信号お
よび色差信号のモアレのキャリア周波数を示す。輝度の
基底帯域121を、図14では斜線を付して示す。輝度
の基底帯域121の範囲は、(fH/2,fV/2)、
(−fH/2,fV/2)、(fH/2,0)、(−f
H/2,0)の4点を頂点とする矩形領域である。FIG. 14 is a plan view of the spatial frequency, showing the carrier frequency of the moire of the luminance signal and the color difference signal. The base band 121 of the luminance is shown by hatching in FIG. The range of the luminance base band 121 is (fH / 2, fV / 2),
(-FH / 2, fV / 2), (fH / 2, 0), (-f
H / 2,0) is a rectangular area having vertices at four points.
【0124】上述の基底帯域121内において、色差信
号のモアレのキャリア周波数の存在する位置は、(fH
/2,fV/2)、(−fH/2,fV/2)、(fH
/2,0)、(−fH/2,0)、(0,fV/2)の
5箇所である。図14では、これらの位置に○印を付し
て示す。In the above-mentioned base band 121, the position where the carrier frequency of the moiré of the color difference signal exists is (fH
/ 2, fV / 2), (-fH / 2, fV / 2), (fH
/ 2, 0), (-fH / 2, 0), and (0, fV / 2). In FIG. 14, these positions are indicated by circles.
【0125】上述した空間フィルタ40(或いは空間フ
ィルタ60)によりトラップされる空間周波数成分を破
線で示す。上述の5箇所の色差信号のモアレのうち、先
の2箇所、つまり、(fH/2,fV/2)、(−fH
/2,fV/2)は、空間フィルタ40(或いは空間フ
ィルタ60)によって減衰されるので、視覚的に目立た
なくなる。The spatial frequency components trapped by the spatial filter 40 (or the spatial filter 60) are indicated by broken lines. Of the moiré of the five color difference signals described above, the previous two moieties, ie, (fH / 2, fV / 2), (−fH
/ 2, fV / 2) are attenuated by the spatial filter 40 (or the spatial filter 60), and are therefore visually inconspicuous.
【0126】これに対し、後の3箇所は、水平方向また
は垂直方向の空間周波数軸上にあり、視覚的に目立つモ
アレである。上記の信号処理回路6は、この3箇所のモ
アレを信号処理にて抑圧するものである。On the other hand, the last three locations are moire which is on the spatial frequency axis in the horizontal or vertical direction and is visually noticeable. The signal processing circuit 6 suppresses these three moire patterns by signal processing.
【0127】図15のブロック図に、信号処理回路6の
構成を示す。信号処理回路6においいて、A/D変換回
路4(図2参照)から出力された原画像信号は、端子1
45から入力され、該原画像信号を基に、輝度信号Yお
よび2種類の色差信号R−Y,B−Yを生成し、端子1
46,147,148からそれぞれ出力する。通常出力
画像信号は、輝度信号Yと、2種類の色差信号R−Y,
B−Yから構成され、この輝度信号Yおよび2種類の色
差信号R−Y,B−Yが、通常出力画像信号として、画
像メモリ5(図2参照)にストアされる。The configuration of the signal processing circuit 6 is shown in the block diagram of FIG. In the signal processing circuit 6, the original image signal output from the A / D conversion circuit 4 (see FIG. 2)
45, a luminance signal Y and two types of color difference signals RY and BY are generated based on the original image signal.
46, 147 and 148 respectively. The normal output image signal includes a luminance signal Y and two types of color difference signals RY,
The luminance signal Y and the two types of color difference signals RY and BY are stored in the image memory 5 (see FIG. 2) as normal output image signals.
【0128】輝度信号Yは、高域輝度信号YHおよび低
域輝度信号YLを加算器144により加算することによ
り得られる。輝度信号Yの生成についての詳細は、後述
するが、高域輝度信号YHは、端子145から入力され
た原画像信号をバンドパスフィルタ(図中では、BPF
と略称する)131に通過させることにより取り出され
る。The luminance signal Y is obtained by adding the high-frequency luminance signal YH and the low-frequency luminance signal YL by the adder 144. Although details of the generation of the luminance signal Y will be described later, the high-band luminance signal YH is obtained by converting the original image signal input from the terminal 145 into a band-pass filter (BPF in the drawing).
(Abbreviated as).
【0129】スイッチ133は、端子145から入力さ
れた原画像信号を、Rフィルタ、Gフィルタ、Bフィル
タごとに分離し、さらに、GフィルタをG1フィルタと
G2フィルタとに分離する。つまり、スイッチ133
は、原画像信号を、R,G1,G2,Bフィルタごとに
分離して、Rフィルタを通過したRフィルタ信号、G1
フィルタを通過したG1フィルタ信号、G2フィルタを
通過したG2フィルタ信号、Bフィルタを通過したBフ
ィルタ信号をそれぞれ出力し、補間フィルタ134,1
35,136,137に導出する。The switch 133 separates the original image signal input from the terminal 145 into each of the R filter, the G filter, and the B filter, and further separates the G filter into a G1 filter and a G2 filter. That is, the switch 133
Is an R filter signal obtained by separating the original image signal into R, G1, G2, and B filters, and passing through the R filter.
A G1 filter signal that has passed through the filter, a G2 filter signal that has passed through the G2 filter, and a B filter signal that has passed through the B filter are output.
35, 136, 137.
【0130】補間フィルタ134〜137は、R,G
1,G2,Bフィルタ信号を補間して同期化する。ここ
では、Rフィルタ信号を補間して同期化する補間フィル
タ134について説明する。The interpolation filters 134 to 137 are R, G
The 1, G2, and B filter signals are interpolated and synchronized. Here, the interpolation filter 134 that interpolates and synchronizes the R filter signal will be described.
【0131】図16に、色フィルタ15の透光領域Lの
配列のうち、6行4列で構成される一部分を示す。Rフ
ィルタは、画素(1,2),(1,4),(3,2),
(3,4),(5,2),(5,4)の6箇所には、R
(1,2),(1,4),(3,2),(3,4),
(5,2),(5,4)の受光データが得られている。
ここでR(n,m)は、第n行第m列の画素(n,m)
に対応するRフィルタの受光データを表す。上記6箇所
以外の画素には、Rフィルタの受光データは欠けてい
る。FIG. 16 shows a part of the arrangement of the light-transmitting regions L of the color filter 15 which is composed of 6 rows and 4 columns. The R filter includes pixels (1, 2), (1, 4), (3, 2),
(3,4), (5,2), (5,4)
(1,2), (1,4), (3,2), (3,4),
The light receiving data of (5, 2) and (5, 4) are obtained.
Here, R (n, m) is a pixel (n, m) in the n-th row and m-th column.
Represents the light reception data of the R filter corresponding to. The light receiving data of the R filter is missing in the pixels other than the above-mentioned six places.
【0132】補間フィルタ134は、欠けている画素に
おけるRフィルタの受光データを、隣接するRフィルタ
の受光データから補間して求める。例えば、画素(2,
3)のRフィルタの補間データR(2,3)は、(1
2)式に基づいて求められる。The interpolation filter 134 obtains the light receiving data of the R filter in the missing pixel by interpolating from the light receiving data of the adjacent R filter. For example, pixel (2,
The interpolation data R (2,3) of the R filter of 3) is (1)
2) It is obtained based on the equation.
【0133】[0133]
【数8】 (Equation 8)
【0134】これは、画素(2,3)に隣接する周囲4
個の画素(1,2),(1,4),(3,2),(3,
4)の受光データR(1,2),(1,4),(3,
2),(3,4)を用いて補間する方法であり、線形補
間法である。この他、例えば、周囲16個の画素の受光
データを用いて補間する方法であるキュービックコンボ
リューション補間法等、どのような方法を用いてもよ
い。This corresponds to the surrounding 4 adjacent to the pixel (2, 3).
Pixels (1, 2), (1, 4), (3, 2), (3,
4) received light data R (1, 2), (1, 4), (3,
2), a method of interpolating using (3, 4), and a linear interpolation method. In addition, for example, any method such as a cubic convolution interpolation method, which is a method of interpolating using light reception data of 16 surrounding pixels, may be used.
【0135】線形補間法により処理される場合の補間フ
ィルタ134は、(13)式で定義されるローパスフィ
ルタf1を用いて表すことができる。The interpolation filter 134 when processed by the linear interpolation method can be represented by using a low-pass filter f1 defined by the equation (13).
【0136】[0136]
【数9】 (Equation 9)
【0137】このローパスフィルタf1は、3行3列の
行列として表される2次元ローパスフィルタである。第
p行第q列の要素をf1(p,q)として表すと、この
2次元ローパスフィルタf1により、補間は、(14)
式で計算できる。The low-pass filter f1 is a two-dimensional low-pass filter represented as a matrix with three rows and three columns. If the element in the p-th row and the q-th column is represented as f1 (p, q), the interpolation by the two-dimensional low-pass filter f1 is represented by (14)
It can be calculated by the formula.
【0138】[0138]
【数10】 (Equation 10)
【0139】ここで、R(n,m)は、補間前のRフィ
ルタ信号の第n行第m列の受光データを表す。また、
R'(n,m)は、補間後のRフィルタ信号の第n行第m
列の受光データを表す。Here, R (n, m) represents the light receiving data of the n-th row and m-th column of the R filter signal before interpolation. Also,
R ′ (n, m) is the n-th row and m-th row of the interpolated R filter signal.
Shows the light receiving data of the column.
【0140】図16に示したように、6箇所以外の画素
には、Rフィルタの受光データが無い。式(14)に基
づく計算の際には、この受光データの無い画素には、ゼ
ロを与えておく。実際は、スイッチ133(図15参
照)が、このゼロを出力している。つまり、スイッチ1
33は、端子145から入力された受光データを、その
受光データが属している色フィルタの種類に対応する補
間フィルタへ出力し、同時にそれ以外の3種類の色フィ
ルタの種類に対応する補間フィルタにはゼロを出力して
いる。この切り替えは、1画素ごとに行われている。As shown in FIG. 16, the pixels other than the six pixels do not have the light receiving data of the R filter. At the time of the calculation based on the equation (14), zero is given to the pixel having no light reception data. In practice, the switch 133 (see FIG. 15) outputs this zero. That is, switch 1
33 outputs the received light data input from the terminal 145 to the interpolation filter corresponding to the type of color filter to which the received light data belongs, and simultaneously outputs the received light data to the interpolation filters corresponding to the other three types of color filters. Outputs zero. This switching is performed for each pixel.
【0141】このようにして補間して同期化された
R’,G1’,G2’,B' フィルタ信号は、図15に
示す低域輝度信号生成回路132に導出される。低域輝
度信号生成回路132は、(15)式の計算を行い、低
域輝度信号YLを生成する。The R ', G1', G2 ', B' filter signals thus interpolated and synchronized are derived to the low-frequency luminance signal generating circuit 132 shown in FIG. The low-frequency luminance signal generation circuit 132 calculates the expression (15) and generates a low-frequency luminance signal YL.
【0142】[0142]
【数11】 [Equation 11]
【0143】但し、(15)式において、α+β=1で
ある。つまり、低域輝度信号YLは、(16)式で示す
理想的な混合比率によって生成している。However, in the equation (15), α + β = 1. That is, the low-frequency luminance signal YL is generated at an ideal mixing ratio represented by the equation (16).
【0144】[0144]
【数12】 (Equation 12)
【0145】生成された低域輝度信号YLは、加算器1
44に導出される。The generated low-frequency luminance signal YL is added to the adder 1
44.
【0146】一方、同期化されたR’,G1’,G
2’,B' フィルタ信号は、加算器138,139,1
40,141へ導出される。加算器138は、R’フィ
ルタ信号およびG1’フィルタ信号を入力し、その差を
求める計算をすることによって、R’−G1’信号を生
成する。同様に、加算器139は、G2’フィルタ信号
およびB’フィルタ信号からB’−G2’信号を、加算
器140は、R’フィルタ信号およびG2’フィルタ信
号からR’−G2’信号を、加算器141は、G1’フ
ィルタ信号およびB’フィルタ信号からB’−G1’信
号を、それぞれ計算する。On the other hand, the synchronized R ', G1', G
The 2 ′, B ′ filter signals are added to adders 138, 139, 1
40, 141. The adder 138 receives the R ′ filter signal and the G1 ′ filter signal, and performs a calculation for obtaining a difference therebetween, thereby generating an R′−G1 ′ signal. Similarly, the adder 139 adds the B′-G2 ′ signal from the G2 ′ filter signal and the B ′ filter signal, and the adder 140 adds the R′-G2 ′ signal from the R ′ filter signal and the G2 ′ filter signal. The unit 141 calculates a B′-G1 ′ signal from the G1 ′ filter signal and the B ′ filter signal, respectively.
【0147】生成されたR’−G1’,R’−G2’,
B’−G1’,B’−G2’信号は、色モアレ抑圧処理
回路142に導出される。The generated R'-G1 ', R'-G2',
The B'-G1 'and B'-G2' signals are guided to the color moiré suppression processing circuit 142.
【0148】色モアレ抑圧処理回路142は、R’−G
1’信号とR’−G2’信号とから色差信号R−Gを計
算し、また、B’−G1’信号とB’−G2’信号とか
ら色差信号B−Gを計算する。すなわち、(17)式
(18)式に基づいて計算する。The color moiré suppression processing circuit 142 has an R′-G
A color difference signal RG is calculated from the 1 'signal and the R'-G2' signal, and a color difference signal BG is calculated from the B'-G1 'signal and the B'-G2' signal. That is, the calculation is performed based on the equations (17) and (18).
【0149】[0149]
【数13】 (Equation 13)
【0150】ここで、E1 (x,y)、E2 (x,y)
は評価関数である。例えば、(17)式の場合は、評価
関数E1 とE2 の値で定まる比率により、R’−G1’
信号とR’−G2’信号とを混合することにより、色差
信号R−Gを計算する。評価関数E1 が大きければR’
−G1’信号の割合が増えることになり、評価関数E2
が大きければR’−G2’信号の割合が増えることにな
る。この割合を画素ごとに適用的に変えることにより、
上述の色差信号のモアレを抑圧することができる。Here, E 1 (x, y) and E 2 (x, y)
Is an evaluation function. For example, in the case of equation (17), R′−G1 ′ is determined by a ratio determined by the values of the evaluation functions E 1 and E 2.
The color difference signal R-G is calculated by mixing the signal and the R'-G2 'signal. The larger the evaluation function E 1 R '
The ratio of the -G1 'signal increases, and the evaluation function E 2
Is larger, the ratio of the R'-G2 'signal increases. By adaptively changing this ratio for each pixel,
The above-described moiré of the color difference signal can be suppressed.
【0151】上記の評価関数E1 ,E2 を具体的に言え
ば、評価関数E1 は、第1引数xの絶対値と、第2引数
yの絶対値とを比較して、第1引数xの絶対値が相対的
に小さい程、大きな値を返す。また、評価関数E2 は、
第1引数xの絶対値と、第2引数yの絶対値とを比較し
て、第2引数yの絶対値が相対的に小さい程、大きな値
を返す。[0151] Speaking evaluation function E 1, E 2 of the specifically, the evaluation function E 1 is the absolute value of the first argument x, and compares the absolute value of the second argument y, first argument A larger value is returned as the absolute value of x is relatively smaller. The evaluation function E 2 is
The absolute value of the first argument x is compared with the absolute value of the second argument y, and a larger value is returned as the absolute value of the second argument y is relatively smaller.
【0152】すなわち、(17)式は、R’−G1’信
号とR’−G2’信号の絶対値の小さい方の信号を優先
的に選択しながら、他方すなわち絶対値の大きい方の信
号も考慮して、色差信号R−Gを生成している。また、
(17)式と同様にして(18)式は色差信号B−Gを
計算している。なお、このような、原理を利用した方法
であれば、色モアレ抑圧処理回路142は上述の方法に
限ったものではない。That is, equation (17) shows that the signal having the smaller absolute value of the R'-G1 'signal and the R'-G2' signal is preferentially selected while the other signal, that is, the signal having the larger absolute value, is also selected. In consideration of this, the color difference signals RG are generated. Also,
Expression (18) calculates the color difference signals BG in the same manner as expression (17). Note that the color moiré suppression processing circuit 142 is not limited to the above-described method as long as such a method uses the principle.
【0153】このようにして生成された色差信号R−
G,B−Gは、色差マトリックス回路143へそれぞれ
導出される。色差マトリックス回路143では、(1
9)式に基づいて2種類の色差信号R−Y,B−Yが生
成される。The color difference signal R-
G and BG are derived to the color difference matrix circuit 143, respectively. In the color difference matrix circuit 143, (1
Two types of color difference signals RY and BY are generated based on the expression 9).
【0154】[0154]
【数14】 [Equation 14]
【0155】ここで、空間周波数成分(0,fV/2)
により構成される白黒の被写体が撮像されるとする。こ
の被写体は、周期2PVの横縞であり、このような被写
体に対してはR=G1、B=G2となるため、R−G
1、B−G2はいずれもゼロになる。ゆえに、(17)
式および(18)式に基づいて計算される色差信号R−
G,B−Gはゼロとなり、結局、(19)式により、色
差信号R−Y,B−Yもそれぞれゼロとなる。このこと
は、図14に示した空間周波数(0,fV/2)の位置
にある色差信号のモアレが消滅することを意味してい
る。Here, the spatial frequency component (0, fV / 2)
Assume that a black-and-white subject constituted by This subject is a horizontal stripe with a period of 2PV, and R = G1 and B = G2 for such a subject.
1 and BG2 are both zero. Therefore, (17)
The color difference signal R− calculated based on the equations (18) and (18)
G and BG become zero, and eventually, the color difference signals RY and BY also become zero according to the equation (19). This means that the moiré of the color difference signal at the position of the spatial frequency (0, fV / 2) shown in FIG. 14 disappears.
【0156】また、空間周波数成分(±fH/2,0)
により構成される白黒の被写体が撮像されるとする。こ
の被写体は、周期2PHの縦縞であり、このような被写
体に対してはR=G2、B=G1となるため、R−G
2、B−G1はいずれもゼロになる。ゆえに、(17)
式および(18)式に基づいて計算される色差信号R−
G,B−Gはゼロとなり、結局、(19)式により、色
差信号R−Y,B−Yもそれぞれゼロとなる。このこと
は、図14に示した空間周波数(±fH/2,0)の位
置にある色差信号のモアレが消滅することを意味してい
る。The spatial frequency component (± fH / 2,0)
Assume that a black-and-white subject constituted by This subject is a vertical stripe with a period of 2PH, and R = G2 and B = G1 for such a subject.
2. Both B-G1 become zero. Therefore, (17)
The color difference signal R− calculated based on the equations (18) and (18)
G and BG become zero, and eventually, the color difference signals RY and BY also become zero according to the equation (19). This means that the moiré of the color difference signal at the position of the spatial frequency (± fH / 2, 0) shown in FIG. 14 disappears.
【0157】このように、水平方向Hまたは垂直方向V
の空間周波数軸上にあり、視覚的に目立つ3箇所モアレ
を信号処理により抑圧することができる。なお、このよ
うな方法ならびに回路構成は既に知られており、例えば
特開平6−339145号公報に開示されている。As described above, the horizontal direction H or the vertical direction V
The three moirés which are on the spatial frequency axis and are visually conspicuous can be suppressed by signal processing. Such a method and a circuit configuration are already known, and are disclosed, for example, in Japanese Patent Application Laid-Open No. 6-339145.
【0158】続いて、輝度信号Yを得る原理について詳
しく説明する。輝度信号Yは、前述したように、高域輝
度信号YHと低域輝度信号YLとを加算することにより
得る。Next, the principle of obtaining the luminance signal Y will be described in detail. As described above, the luminance signal Y is obtained by adding the high-frequency luminance signal YH and the low-frequency luminance signal YL.
【0159】低域輝度信号YLは、前述の(16)式に
示した理想的な混合比率であるが、補間フィルタ13
4,135,136,137を施しているため、高周波
数成分のゲインが低く、解像度が低い。そこで、輝度信
号Yの低域は理想的な混合比率を持つ低域輝度信号YL
を用い、輝度信号Yの高域は高解像度である高域輝度信
号YHを用いる。なお、高域輝度信号YHは、(16)
式に示した理想的な混合比率ではない。The low-frequency luminance signal YL has the ideal mixing ratio shown in the above equation (16).
4, 135, 136, and 137, the gain of the high frequency component is low and the resolution is low. Therefore, the low band of the luminance signal Y is a low band luminance signal YL having an ideal mixing ratio.
And a high-frequency luminance signal YH having a high resolution is used for the high frequency of the luminance signal Y. The high-frequency luminance signal YH is expressed by (16)
It is not the ideal mixing ratio shown in the equation.
【0160】高域輝度信号YHは以下のように生成す
る。無着色(白黒)被写体を撮像する場合では、異なる
色フィルタの各受光データは何れもほぼ等しくなる。つ
まり、R=G1=G2=Bとなる。したがって、図5に
示した色フィルタ15のように配列されている受光デー
タをそのまま輝度信号Yとして用いても良い。さらに、
この受光データは、補間処理されていないため、高解像
度となっている。The high-frequency luminance signal YH is generated as follows. When an uncolored (black and white) object is imaged, the respective light reception data of different color filters are almost equal. That is, R = G1 = G2 = B. Therefore, the light receiving data arranged like the color filter 15 shown in FIG. 5 may be used as it is as the luminance signal Y. further,
This light reception data has a high resolution because the interpolation processing is not performed.
【0161】しかしながら、着色(カラー)被写体を撮
像する場合では、異なる色フィルタの受光データ間にレ
ベル差が生じる。例えば緑色の被写体を撮像する場合で
は、RおよびBのレベルは、G1およびG2に比べて低
くなるので、市松模様の輝度信号Yとなってしまう。つ
まり、輝度信号に偽信号(輝度モアレ)が発生する。However, when a colored (color) object is imaged, a level difference occurs between the light reception data of different color filters. For example, when a green subject is imaged, the levels of R and B are lower than G1 and G2, resulting in a checkered luminance signal Y. That is, a false signal (luminance moire) is generated in the luminance signal.
【0162】ベイヤー配列の色フィルタは、図5に示し
た2点鎖線で囲む2行2列の4つの透光領域の配列を基
本配列パターンとする周期的な配列であるので、水平方
向Hに2画素周期、垂直方向Vに2画素周期に配列され
ている。したがって、この輝度モアレの空間周波数は、
輝度信号の基底帯域の境界線に位置することになる。The Bayer array color filter is a periodic array having a basic array pattern consisting of an array of four translucent regions in two rows and two columns surrounded by a two-dot chain line shown in FIG. They are arranged in a two-pixel cycle, two-pixel cycle in the vertical direction V. Therefore, the spatial frequency of this luminance moiré is
It will be located at the boundary of the base band of the luminance signal.
【0163】したがって、この輝度モアレを除去するた
めに、原画像信号から、輝度信号の基底帯域の境界線の
周波数成分を除去するローパスフィルタを施す必要があ
る。また、輝度信号Yにおいて上述の理想的な混合比率
によって生成された低域輝度信号YLを使うため、原画
像信号から、低域輝度信号YLに相当する周波数帯域を
除去するハイパスフィルタを施す必要がある。つまり、
結局は、原画像信号から、低域成分と、基底帯域付近の
高域成分とを除くことになるので、バンドパスフィルタ
131を施すことになる。Therefore, in order to remove the luminance moiré, it is necessary to apply a low-pass filter for removing the frequency component of the boundary line of the base band of the luminance signal from the original image signal. Further, since the low-frequency luminance signal YL generated by the above-described ideal mixing ratio is used as the luminance signal Y, it is necessary to apply a high-pass filter for removing a frequency band corresponding to the low-frequency luminance signal YL from the original image signal. is there. That is,
Eventually, the low-frequency component and the high-frequency component near the baseband are removed from the original image signal, so that the bandpass filter 131 is applied.
【0164】図17に、バンドパスフィルタ131の空
間周波数特性を示す。図17において、バンドパスフィ
ルタ131は、通過帯域を横縞領域とし、制限帯域を縦
縞領域として表わしている。さらに、破線部分のゲイン
をゼロとしている。FIG. 17 shows the spatial frequency characteristics of the band-pass filter 131. In FIG. 17, the band-pass filter 131 represents a pass band as a horizontal stripe region and a limited band as a vertical stripe region. Further, the gain in the broken line portion is set to zero.
【0165】2次元フィルタであるバンドパスフィルタ
131において、水平方向のフィルタ特性の模式図は、
図18の白塗り領域のようになる。このフィルタ特性の
模式図は、図17において水平軸上の周波数特性を表し
ている。また、2次元フィルタであるバンドパスフィル
タ131において、垂直方向のフィルタ特性の模式図
は、図19の白塗り領域のようになる。このフィルタ特
性の模式図は、図17において垂直軸上の周波数特性を
表している。In the band-pass filter 131 which is a two-dimensional filter, a schematic diagram of the filter characteristics in the horizontal direction is as follows.
This is like the white area in FIG. This schematic diagram of the filter characteristics shows the frequency characteristics on the horizontal axis in FIG. Further, in the band-pass filter 131 which is a two-dimensional filter, a schematic diagram of the filter characteristics in the vertical direction is as shown by a white area in FIG. This schematic diagram of the filter characteristics shows the frequency characteristics on the vertical axis in FIG.
【0166】一方、折り返し周波数付近の高周波数成分
は、補完されることはなく、カラー撮像装置が出力する
画像信号の輝度信号Yには、この折り返し周波数付近の
高周波数成分は失われたままである。特に、図18にお
いては水平方向の空間周波数fH/2の成分はゼロであ
る。これを画像として目視すると、水平方向に2PH周
期の縦縞、つまり水平方向に白列と黒列が交互に並んだ
縦縞であり、このカラー撮像装置では再現できないこと
を意味している。実際の自然画像では、縦方向のエッジ
がぼやけることが生じ、画質を損なうという問題点にな
っている。On the other hand, the high frequency components near the aliasing frequency are not complemented, and the high frequency components near the aliasing frequency remain lost in the luminance signal Y of the image signal output from the color imaging device. . In particular, in FIG. 18, the component of the spatial frequency fH / 2 in the horizontal direction is zero. When this is visually observed as an image, it is a vertical stripe of a 2PH cycle in the horizontal direction, that is, a vertical stripe in which white columns and black columns are alternately arranged in the horizontal direction, which means that this color imaging apparatus cannot reproduce the image. In an actual natural image, a vertical edge is blurred, which causes a problem of deteriorating image quality.
【0167】また、図19においては垂直方向の空間周
波数fV/2の成分はゼロである。これを画像として目
視すると、垂直方向に2PV周期の横縞、つまり垂直方
向に白行と黒行が交互に並んだ横縞であり、このカラー
撮像装置では再現できないことを意味している。実際の
自然画像では、横方向のエッジがぼやけることが生じ、
画質を損なうという問題点になっている。In FIG. 19, the component of the spatial frequency fV / 2 in the vertical direction is zero. When this is visually observed as an image, it is a horizontal stripe of 2 PV cycles in the vertical direction, that is, a horizontal stripe in which white rows and black rows are alternately arranged in the vertical direction, which means that this color imaging apparatus cannot reproduce the horizontal stripe. In actual natural images, horizontal edges may be blurred,
The problem is that the image quality is impaired.
【0168】次に、図1、図20ないし図24を用い
て、合成処理回路12の高解像度モード時の処理につい
て説明する。合成処理回路12は、前述したように、2
つの原画像信号から輝度信号および色差信号を求めるも
のである。Next, the processing of the synthesis processing circuit 12 in the high resolution mode will be described with reference to FIGS. As described above, the synthesis processing circuit 12
A luminance signal and a color difference signal are obtained from two original image signals.
【0169】イメージシフト動作を行い撮像された2枚
の原画像間の空間的位置関係は、水平方向にシフト長さ
PHだけずれている。すなわち、水平方向に1画素だけ
ずれている。例えば、第1原画像においてRフィルタの
受光データがある画素位置は、第2原画像のG1色フィ
ルタの受光データがある画素位置である。また、第1原
画像においてBフィルタの受光データがある画素位置
は、第2原画像のG2色フィルタの受光データがある画
素位置である。このように、2枚の原画像信号を重ね合
わせた画像を考えると、各画素位置には異なる2種類の
受光データが得られていることになる。The spatial positional relationship between the two original images captured by performing the image shift operation is shifted by the shift length PH in the horizontal direction. That is, it is shifted by one pixel in the horizontal direction. For example, the pixel position where the light reception data of the R filter is located in the first original image is the pixel position where the light reception data of the G1 color filter is located in the second original image. Further, the pixel position where the light reception data of the B filter is present in the first original image is the pixel position where the light reception data of the G2 color filter of the second original image is present. Thus, considering an image in which two original image signals are superimposed, two different types of light receiving data are obtained at each pixel position.
【0170】図20は、2枚の原画像信号を重ね合わせ
た画像の等価的な色フィルタ配列パターンを示す図であ
る。図20では、GとRとの対応画素には符号「Fa」
を記し、GとBとの対応画素には符号「Fb」を記す。FIG. 20 is a diagram showing an equivalent color filter array pattern of an image obtained by superimposing two original image signals. In FIG. 20, the symbol “Fa” is assigned to the pixel corresponding to G and R.
And the symbol “Fb” is written to the pixel corresponding to G and B.
【0171】このことから、この重ね合わせた画像の画
素数および配列は、原画像の画素数および配列と等し
く、その水平方向Hおよび垂直方向Vの配列周期は、そ
れぞれ周期PH,PVである。From this, the number of pixels and the arrangement of the superimposed image are equal to the number of pixels and the arrangement of the original image, and the arrangement periods in the horizontal direction H and the vertical direction V are periods PH and PV, respectively.
【0172】また、全画素がGの対応画素である。Gの
対応画素だけの各配列の水平方向Hおよび垂直方向Vの
配列周期は、図20からそれぞれ周期PH,PVとわか
る。RおよびBの対応画素だけの各配列の水平方向Hお
よび垂直方向Vの配列周期は、図20からそれぞれ周期
PH,2PVとわかる。In addition, all pixels are G corresponding pixels. It can be seen from FIG. 20 that the arrangement periods in the horizontal direction H and the vertical direction V of each arrangement of only the corresponding pixels of G are periods PH and PV, respectively. It can be seen from FIG. 20 that the arrangement periods in the horizontal direction H and the vertical direction V of each arrangement of only the corresponding pixels of R and B are periods PH and 2PV, respectively.
【0173】このことから、水平方向H、垂直方向Vの
サンプリング周波数は、Gに関して空間周波数fH,f
Vであり、RおよびBに関して空間周波数fH,fV/
2とみなされる。From this, the sampling frequency in the horizontal direction H and the vertical direction V is the spatial frequency fH, f with respect to G.
V and the spatial frequencies fH, fV /
Considered as 2.
【0174】図21の空間周波数平面図に、図20に示
した2枚の原画像信号を重ね合わせた画像の等価的な色
フィルタ配列の輝度信号および色差信号のモアレのキャ
リア周波数を示す。輝度の基底帯域191を、図21で
は斜線を付して示す。輝度の基底帯域191の範囲は、
(fH/2,fV/2)、(−fH/2,fV/2)、
(fH/2,0)、(−fH/2,0)を頂点とする矩
形領域である。The spatial frequency plane view of FIG. 21 shows the moire carrier frequency of the luminance signal and the color difference signal of the equivalent color filter array of the image obtained by superimposing the two original image signals shown in FIG. The base band 191 of the luminance is shown by hatching in FIG. The range of the luminance base band 191 is
(FH / 2, fV / 2), (-fH / 2, fV / 2),
It is a rectangular area having vertices of (fH / 2, 0) and (−fH / 2, 0).
【0175】上述の基底帯域191内において、色差信
号のモアレのキャリア周波数の存在する位置は(0,f
V/2)の1箇所である。図21では、この位置を○印
で表す。また、上述した空間フィルタ40によりトラッ
プされる空間周波数成分を破線で示す。In the above-described base band 191, the position where the carrier frequency of the moiré of the color difference signal exists is (0, f
V / 2). In FIG. 21, this position is indicated by a circle. The broken line indicates the spatial frequency component trapped by the spatial filter 40 described above.
【0176】このような高解像度モードにおける高解像
度出力画像信号の輝度の基底帯域191の範囲は、通常
出力画像の基底帯域121の範囲と等しい。また、色差
信号のモアレのキャリア周波数は、(0,fV/2)の
位置だけに現れ、通常出力画像に関して存在していた
(fH/2,fV/2)、(−fH/2,fV/2)、
(fH/2,0)、(−fH/2,0)の4箇所が消滅
している。ゆえに、高解像度出力画像は、通常出力画像
と比較して、水平方向Hの解像度を向上させることがで
きる。The range of the base band 191 of the luminance of the high resolution output image signal in such a high resolution mode is equal to the range of the base band 121 of the normal output image. Further, the carrier frequency of the moiré of the color difference signal appears only at the position of (0, fV / 2) and exists for the normal output image (fH / 2, fV / 2), (−fH / 2, fV / 2),
Four places of (fH / 2,0) and (−fH / 2,0) have disappeared. Therefore, the high-resolution output image can improve the resolution in the horizontal direction H as compared with the normal output image.
【0177】図22のブロック図に、合成処理回路12
の構成を示す。合成処理回路12には、A/D変換回路
4(図2参照)から出力された第2原画像信号が端子2
00から入力され、端子201から画像メモリ5(図2
参照)から出力された第1原画像信号が入力される。In the block diagram of FIG.
Is shown. The second original image signal output from the A / D conversion circuit 4 (see FIG.
00, and from the terminal 201 to the image memory 5 (FIG. 2).
1) is input.
【0178】合成処理回路12は、入力された第1およ
び第2原画像信号から、輝度信号Yおよび2種類の色差
信号R−Y,B−Yを生成し、端子202,203,2
04からそれぞれ出力する。高解像度出力画像信号は、
輝度信号Yおよび2種類の色差信号R−Y,B−Yから
構成され、この輝度信号Yおよび2種類の色差信号R−
Y,B−Yは、高解像度出力画像信号として画像メモリ
5にストアされる。The synthesis processing circuit 12 generates a luminance signal Y and two types of color difference signals RY and BY from the input first and second original image signals, and
04 respectively. The high resolution output image signal is
A luminance signal Y and two types of color difference signals RY and BY are provided.
Y and BY are stored in the image memory 5 as high-resolution output image signals.
【0179】スイッチ205は、入力された第1および
第2原画像信号から、Rフィルタ、Gフィルタ、Bフィ
ルタごとの信号に分離し、R,B,Gフィルタ信号とし
て出力する。ここで、Gフィルタ信号は、全画素に対応
する受光データが存在する。これに対し、R,Bフィル
タ信号は、1行置きごとに対応する受光データが存在
し、かつ、受光データの存在する行と存在しない行が互
いにずれている。The switch 205 separates the input first and second original image signals into signals for each of an R filter, a G filter, and a B filter, and outputs the signals as R, B, and G filter signals. Here, the G filter signal has light reception data corresponding to all pixels. On the other hand, in the R and B filter signals, the corresponding light receiving data exists every other row, and the row where the light receiving data exists and the row where the light receiving data does not exist are shifted from each other.
【0180】したがって、R,Bフィルタ信号は、1行
置きごとにしか対応する受光データが存在しないため
に、図21に示した色差信号のモアレのキャリア周波数
が(0,fV/2)に発生している。Therefore, since the R and B filter signals have light reception data corresponding only every other row, the carrier frequency of the moire of the color difference signal shown in FIG. 21 is generated at (0, fV / 2). doing.
【0181】R,G,Bフィルタ信号は、垂直色モアレ
抑圧処理回路206に入力される。垂直色モアレ抑圧処
理回路206は、Gフィルタ信号を参照してR,Bフィ
ルタ信号を補間することにより、全画素に対応する画素
データが存在するR”,B”フィルタ信号を出力する。
詳細には後述するが、ここで垂直色モアレ抑圧処理回路
206は、Gフィルタ信号と、Rフィルタ信号またはB
フィルタ信号との間に、局所的な領域で相関があること
を利用している。The R, G, and B filter signals are input to a vertical color moiré suppression processing circuit 206. The vertical color moiré suppression circuit 206 interpolates the R and B filter signals with reference to the G filter signal to output R "and B" filter signals in which pixel data corresponding to all pixels exist.
As will be described in detail later, the vertical color moiré suppression processing circuit 206 here includes a G filter signal and an R filter signal or a B filter signal.
The fact that there is a correlation in a local area with the filter signal is used.
【0182】このようにして生成された全画素に対応す
る画素データが存在するR”,G,B”フィルタ信号
は、輝度信号生成回路207と色差信号生成回路208
とにそれぞれ入力される。輝度信号生成回路207は、
(20)式の計算を行い、輝度信号Yを生成する。The R ″, G, B ″ filter signals having the pixel data corresponding to all the pixels generated in this way are supplied to the luminance signal generation circuit 207 and the chrominance signal generation circuit 208.
Respectively. The luminance signal generation circuit 207 includes:
The luminance signal Y is generated by calculating the expression (20).
【0183】[0183]
【数15】 (Equation 15)
【0184】輝度信号Yは、(21)式で示す理想的な
混合比率によって生成している。The luminance signal Y is generated at an ideal mixing ratio represented by the equation (21).
【0185】[0185]
【数16】 (Equation 16)
【0186】生成された輝度信号Yは、端子202に接
続されている。この輝度信号生成回路207は、図15
に示した信号処理回路6における低域輝度信号生成回路
132と構成や作用が同じであり、同時に動作すること
はないので、回路を共通化して、1つにすることもでき
る。The generated luminance signal Y is connected to a terminal 202. This luminance signal generation circuit 207 has the configuration shown in FIG.
Since the configuration and operation are the same as those of the low-frequency luminance signal generation circuit 132 in the signal processing circuit 6 shown in (1) and they do not operate at the same time, the circuit can be shared and reduced to one.
【0187】一方、色差信号生成回路208は、入力さ
れたR”,G,B”フィルタ信号から、2種類の色差信
号R−G,B−Gを生成して、色差マトリックス回路2
09へ導出する。色差信号R−GはR”フィルタ信号と
Gフィルタ信号との差分であり、色差信号B−GはB”
フィルタ信号とGフィルタ信号との差分である。On the other hand, the color difference signal generation circuit 208 generates two types of color difference signals RG and BG from the input R ", G and B" filter signals, and
09. The color difference signal RG is a difference between the R "filter signal and the G filter signal, and the color difference signal BG is B".
This is the difference between the filter signal and the G filter signal.
【0188】色差マトリックス回路209は、前述の
(19)式に基づいて、色差信号R−Y,B−Yを計算
する。色差マトリックス回路209は、図15に示した
信号処理回路6における色差マトリックス回路143と
構成や作用が同じであり、同時に動作することはないの
で、回路を共通化して、1つにすることもできる。The color difference matrix circuit 209 calculates the color difference signals RY and BY based on the above equation (19). The color difference matrix circuit 209 has the same configuration and operation as the color difference matrix circuit 143 in the signal processing circuit 6 shown in FIG. 15, and does not operate at the same time. .
【0189】ここで、上記の垂直色モアレ抑圧処理回路
206に実施される処理の原理について、詳細に説明す
る。垂直色モアレ抑圧処理回路206は、図21に示し
た色差信号のモアレのキャリア周波数(0,fV/2)
を消滅させるためのものである。Here, the principle of the processing performed by the vertical color moiré suppression processing circuit 206 will be described in detail. The vertical color moiré suppression processing circuit 206 performs the moiré carrier frequency (0, fV / 2) of the color difference signal shown in FIG.
Is to extinguish.
【0190】図23(a)〜(c)は、空間周波数成分
(0,fV/2)をもつ画像を撮像した際に発生する色
差信号のモアレを消去できることを示す模式図である。FIGS. 23A to 23C are schematic diagrams showing that moire of a color difference signal generated when an image having a spatial frequency component (0, fV / 2) is captured can be eliminated.
【0191】図23(a)の右側には、空間周波数成分
(0,fV/2)をもつ画像、つまり周期PVの白黒の
横縞を表わしており、図23(a)の左側には、各透光
領域L上に受光された受光データを示している。受光デ
ータを縦軸に、垂直方向Vの画素位置を横軸に示してい
る。On the right side of FIG. 23A, an image having a spatial frequency component (0, fV / 2), that is, a black and white horizontal stripe with a period PV is shown. On the left side of FIG. The light reception data received on the light transmitting region L is shown. The light reception data is shown on the vertical axis, and the pixel position in the vertical direction V is shown on the horizontal axis.
【0192】イメージシフト動作により2枚の原画像信
号を重ね合わせた画像を考えると、各画素位置には異な
る2種類の受光データが得られていることになる。すべ
ての受光データが得られた時のR,G,Bフィルタ信号
から生成した高解像度出力画像を仮に考えると、色差信
号のモアレのキャリア周波数(0,fV/2)はもちろ
ん消滅する。したがって、このようなR,G,B色フィ
ルタ信号を、各画素位置に異なる2種類の受光データが
存在する2枚の原画像信号を重ね合わせた画像から、計
算することができればよいことになる。Considering an image in which two original image signals are superimposed by an image shift operation, two different types of light receiving data are obtained at each pixel position. Assuming a high-resolution output image generated from the R, G, and B filter signals when all the received light data is obtained, the carrier frequency (0, fV / 2) of the moiré of the color difference signal disappears. Therefore, it is only necessary that such R, G, B color filter signals can be calculated from an image obtained by superimposing two original image signals in which two different types of light receiving data exist at each pixel position. .
【0193】ここでもし、受光データの無い画素位置の
Rフィルタ信号またはBフィルタ信号を直線補間により
計算した場合は、図23(b)のように、白黒の横縞で
あった画像は、右側に示す青シアンの横縞となり、着色
してしまう。つまり、色差信号に空間周波数(0,fV
/2)の色モアレが発生したことなる。(22)式(2
3)式に、直線補間の式を示す。Here, if the R filter signal or the B filter signal at the pixel position where there is no light reception data is calculated by linear interpolation, as shown in FIG. The resulting blue-cyan horizontal stripes are colored. That is, the spatial frequency (0, fV
/ 2) color moire occurred. Equation (22)
Equation 3) shows the equation for linear interpolation.
【0194】[0194]
【数17】 [Equation 17]
【0195】ここで、R(n)またはB(n)は、求め
るべき受光データの存在しない画素位置である第n行の
Rフィルタ信号または第n行のBフィルタ信号を表す。Here, R (n) or B (n) represents an R-filter signal in the n-th row or a B-filter signal in the n-th row which is a pixel position where no light reception data to be obtained exists.
【0196】これに対し、本カラー撮像装置の垂直色モ
アレ抑圧処理回路206は、(24)式(25)式に基
づいて、受光データの無い画素位置の色フィルタ信号R
または色フィルタ信号Bを計算しているため、図23
(c)のように、補間後の画像も白黒の横縞で、色差信
号に空間周波数(0,fV/2)の色モアレは発生して
いない。On the other hand, the vertical color moiré suppression processing circuit 206 of the present color image pickup apparatus calculates the color filter signal R at the pixel position where there is no light reception data based on the equations (24) and (25).
Alternatively, since the color filter signal B is calculated, FIG.
As shown in (c), the image after interpolation is also a horizontal stripe of black and white, and no color moiré of the spatial frequency (0, fV / 2) is generated in the color difference signal.
【0197】[0197]
【数18】 (Equation 18)
【0198】ここでも、R(n)またはB(n)は、求
めるべき受光データの存在しない画素位置である第n行
のRフィルタ信号または第n行のBフィルタ信号を表
す。したがって、R(n−1),R(n),R(n+
1)は、垂直方向Vにこの順で隣接する3画素である。
同様に、B(n−1),B(n),B(n+1)は、垂
直方向Vにこの順で隣接する3画素である。また、LP
F(R)は、Rフィルタ信号にローパスフィルタを施す
ことを表し、LPF(B)は、Bフィルタ信号にローパ
スフィルタを施すことを表し、LPF(G)は、Gフィ
ルタ信号にローパスフィルタを施すことを表す。Here, R (n) or B (n) represents the n-th row R filter signal or the n-th row B filter signal which is a pixel position where no light receiving data to be obtained exists. Therefore, R (n-1), R (n), R (n +
1) are three pixels adjacent in this order in the vertical direction V.
Similarly, B (n-1), B (n), and B (n + 1) are three pixels adjacent in this order in the vertical direction V. Also, LP
F (R) represents applying a low-pass filter to the R filter signal, LPF (B) represents applying a low-pass filter to the B filter signal, and LPF (G) applying a low-pass filter to the G filter signal. It represents that.
【0199】例えば、(24)式に関して、LPF
(R)−LPF(G)は、第n行付近の局所的な領域に
おいてRフィルタ信号とGフィルタ信号のオフセット分
を計算している。このオフセット分をGフィルタ信号G
(n)と加算することにより、Rフィルタ信号R(n)
を計算している。このLPFを2画素の平均とする場合
は、(26)式(27)式となる。For example, regarding equation (24), LPF
(R) -LPF (G) calculates an offset between the R filter signal and the G filter signal in a local region near the n-th row. This offset is used as the G filter signal G
(N), the R filter signal R (n)
Is calculated. When this LPF is an average of two pixels, Expression (26) is given by Expression (27).
【0200】[0200]
【数19】 [Equation 19]
【0201】図1は、(26)式に基づくRフィルタ信
号の垂直色モアレ抑圧処理を示した模式図である。図1
中、□はGフィルタ信号、○はRフィルタ信号を表す。
また、◎は求めるべき受光データの存在しない画素位置
のRフィルタ信号を表す。また、■はGフィルタ信号を
ローパスフィルタ処理した値、●はRフィルタ信号をロ
ーパスフィルタ処理した値である。そして、図中Dにて
示す量が、Rフィルタ信号とGフィルタ信号のオフセッ
ト分であり、R(n)と同じ画素位置にあるG(n)に
加算される値である。FIG. 1 is a schematic diagram showing vertical color moiré suppression processing of an R filter signal based on equation (26). FIG.
In the graph, □ indicates a G filter signal, and ○ indicates an R filter signal.
◎ indicates an R filter signal at a pixel position where no light receiving data to be obtained exists. ■ indicates a value obtained by performing low-pass filtering on the G filter signal, and ● indicates a value obtained by performing low-pass filtering on the R filter signal. The amount indicated by D in the figure is the offset between the R filter signal and the G filter signal, and is a value added to G (n) at the same pixel position as R (n).
【0202】これは、Rフィルタ信号の受光データとG
フィルタ信号の受光データとの間には、局所的な領域で
相関があることを利用して、□のGフィルタ信号の波形
を、○のRフィルタ信号の波形に近似して、◎のR
(n)を計算している。This is because the received light data of the R filter signal and the G
Utilizing the fact that there is a correlation in the local region between the filter signal and the received light data, the waveform of the G filter signal of □ is approximated to the waveform of the R filter signal of
(N) is calculated.
【0203】即ち、上記の(24)式は、Gフィルタ信
号の変化が、Rフィルタ信号の変化とに相関があること
を利用していると考えることができ、同様に、上記の
(25)式は、Gフィルタ信号の変化が、Bフィルタ信
号の変化とに相関があることを利用していると考えるこ
とができる。That is, the above equation (24) can be considered to utilize the fact that a change in the G filter signal is correlated with a change in the R filter signal, and similarly, the above equation (25) The equation can be considered to take advantage of the fact that changes in the G filter signal are correlated with changes in the B filter signal.
【0204】特に、無着色領域つまり、Gフィルタ信号
のレベルと、Rフィルタ信号のレベルとが等しい領域で
は、Gフィルタ信号の変化と、Rフィルタ信号の変化は
局所的には等しいと考えられるので、完全に正確なRフ
ィルタ信号を補間することができる。すなわち、無着色
領域では、色差信号のモアレのキャリア周波数(0,f
V/2)を完全に消滅することができる。In particular, in a non-colored area, that is, in an area where the level of the G filter signal is equal to the level of the R filter signal, the change of the G filter signal and the change of the R filter signal are considered to be locally equal. , A completely accurate R filter signal can be interpolated. That is, in the uncolored area, the carrier frequency (0, f) of the moiré of the color difference signal
V / 2) can be completely eliminated.
【0205】一方、着色領域つまり、Gフィルタ信号の
レベルと、Rフィルタ信号のレベルが異なる領域では、
Gフィルタ信号の変化と、Rフィルタ信号の変化は異な
ると考えられるので、完全に正確なRフィルタ信号を補
間することができない。例えば、赤色に着色しているよ
うな領域では、Rフィルタ信号の変化に対して、Gフィ
ルタ信号の変化は小さい。つまり、(24)式における
G(n)−LPF(G)は小さい。したがって、この変
化分をLPF(R)に加算しても、Rフィルタ信号の変
化分を完全に補正することができず、補正不足になり、
着色領域では、色差信号のモアレのキャリア周波数
(0,fV/2)を小さくすることはできるが、完全に
消滅することができない。On the other hand, in a colored area, that is, an area where the level of the G filter signal and the level of the R filter signal are different,
Since the change in the G filter signal and the change in the R filter signal are considered to be different, it is not possible to interpolate the R filter signal completely accurately. For example, in a region colored red, the change in the G filter signal is smaller than the change in the R filter signal. That is, G (n) -LPF (G) in Expression (24) is small. Therefore, even if this change is added to the LPF (R), the change in the R filter signal cannot be completely corrected, resulting in insufficient correction.
In the colored region, the carrier frequency (0, fV / 2) of the moiré of the color difference signal can be reduced, but cannot be completely eliminated.
【0206】しかしながら、無着色領域に色モアレによ
る偽色が発生している場合は、視覚的に目立つが、着色
領域に色モアレが発生している場合は視覚的に比較的目
立たないため、無着色領域に色モアレ抑圧処理効果の高
い本方式でも、十分な画質改善効果がある。このこと
は、Bフィルタ信号の補間においても同様である。However, when a false color due to color moiré occurs in an uncolored area, it is visually noticeable. However, when color moiré occurs in a colored area, it is relatively inconspicuous. Even with this method having a high color moiré suppression effect in the colored area, there is a sufficient image quality improvement effect. The same applies to the interpolation of the B filter signal.
【0207】また、(24)式または(25)式におけ
るLPFは、(26)式または(27)式で示した2画
素の平均による計算に限定されるものでなく、どのよう
なローパスフィルタ処理でもよい。例えば、LPFを隣
接4画素から計算する場合は、(28)式(29)式と
なる。Further, the LPF in the expression (24) or (25) is not limited to the calculation based on the average of two pixels shown in the expression (26) or (27), and what kind of low-pass filter processing is performed May be. For example, when the LPF is calculated from four adjacent pixels, the equations (28) and (29) are used.
【0208】[0208]
【数20】 (Equation 20)
【0209】但し、2画素の平均を用いた場合も、4画
素から計算する場合も補間処理の正確性には殆ど差異が
ないので、2画素の平均による計算を作用することで、
必要とするデータ数が少なくてすみ、処理速度が速く、
回路規模が小さいといった利点がある。However, there is almost no difference in the accuracy of the interpolation processing between the case where the average of two pixels is used and the case where calculation is performed from four pixels.
Requires less data, faster processing speed,
There is an advantage that the circuit scale is small.
【0210】ところで、このような色モアレを抑圧する
処理としては、既に提案されている方法がある。例えば
『CCM方式補間処理による単板カラーカメラの色モア
レ抑圧処理、1990年テレビジョン学会年次大会(I
TEC’90)、2−10、pp.33−34』に示さ
れている方法がある。As a process for suppressing such color moiré, there is a method that has already been proposed. For example, "Color moiré suppression processing of a single-chip color camera by CCM interpolation processing, 1990 Television Society Annual Meeting (I
TEC '90), 2-10, pp. 33-34 ".
【0211】この文献による方法は、例えば(24)式
に対応する処理は、(30)式のようになる。In the method according to this document, for example, the processing corresponding to equation (24) is as shown in equation (30).
【0212】[0212]
【数21】 (Equation 21)
【0213】このLPFを2画素の平均とする場合は、
(31)式のようになる。When this LPF is an average of two pixels,
Equation (31) is obtained.
【0214】[0214]
【数22】 (Equation 22)
【0215】この従来の方法でも、色差信号のモアレの
キャリア周波数(0,fV/2)を消滅することができ
る。In this conventional method, the carrier frequency (0, fV / 2) of the moiré of the color difference signal can be eliminated.
【0216】しかしながら、この従来の方法では、(3
0)式の分母LPF(G)の値が小さくなるような画像
領域では、LPF(R)/LPF(G)の比が局所的な
領域内でも大きく変動する。また、(30)式の分母L
PF(G)の値が小さい領域では、撮像素子やA/D変
換回路により発生するノイズの影響により、同様にLP
F(R)/LPF(G)の比が大きく変動する。特にL
PF(G)がゼロ近くになれば(30)式は発散してし
まう。However, in this conventional method, (3
In an image area where the value of the denominator LPF (G) in the equation (0) becomes small, the ratio of LPF (R) / LPF (G) greatly varies even in a local area. Also, the denominator L of the equation (30)
In a region where the value of PF (G) is small, LP is also similarly affected by noise generated by the image sensor and the A / D conversion circuit.
The ratio of F (R) / LPF (G) fluctuates greatly. Especially L
If PF (G) approaches zero, equation (30) diverges.
【0217】例えば、LPF(G)が2でありG(n)
が1であるような場合には、R(n)は、LPF(R)
の半分の値になる。Gフィルタ信号はわずか2−1=1
だけのわずかな変化しかないにもかかわらず、Rフィル
タ信号は、第n行の値が周囲の平均の半分となり、急激
な変化が画像に現れてしまい、周囲の画素に比べてその
画素は特異な色になる。この現象は、LPF(G)が小
さい領域、つまりGフィルタ信号の小さい領域で現われ
る。For example, if LPF (G) is 2 and G (n)
Is 1, R (n) is LPF (R)
Is half the value of The G filter signal is only 2-1 = 1
Despite only a slight change, the R-filter signal has a value in the n-th row that is half the average of the surroundings, and a sharp change appears in the image. Color. This phenomenon appears in a region where the LPF (G) is small, that is, in a region where the G filter signal is small.
【0218】つまり、この現象は、画像が赤色、青色、
またはマゼンタ色の近似色で顕著であり、実際に一般的
な画像でも多く存在する。したがって、従来技術による
方法では、撮像画像内に鑑賞に耐え難い異常色が発生し
てしまい、実用に耐え難いと言える。In other words, this phenomenon occurs when the image is red, blue,
Alternatively, the color is remarkable in an approximate color of magenta, and actually exists in many general images. Therefore, according to the method according to the related art, an abnormal color that is difficult to appreciate occurs in the captured image, and it can be said that the method is not practical.
【0219】これに対し、本実施例で示した色モアレ抑
圧処理は、Gフィルタ信号の値が小さい領域でも、適切
に計算することができる。On the other hand, the color moiré suppression processing shown in this embodiment can be appropriately calculated even in a region where the value of the G filter signal is small.
【0220】また、この色モアレ抑圧処理は、色フィル
タ15のようなベイヤー配列の合成処理に限定されるも
のではなく、どのような種類のカラーフィルタ配列を用
いたカラー撮像装置、2板式のカラー撮像装置などにも
適応することができる。The color moiré suppression processing is not limited to the Bayer array synthesis processing such as the color filter 15, but a color image pickup apparatus using any kind of color filter array and a two-plate type color image pickup apparatus. It can also be applied to an imaging device and the like.
【0221】つまり、図1のように、隣接する3画素に
おいて、3画素とも受光データの存在する同一種類の画
素データ(ここではGフィルタ信号)と、中間の位置に
は受光データが存在せず両端の画素位置には受光データ
が存在する別種類の画素データ(ここではRフィルタ信
号)があるデータ系列では、中間の位置の受光データ
を、モアレの発生を抑圧して求めることができる。That is, as shown in FIG. 1, among the three adjacent pixels, the same type of pixel data (here, a G filter signal) in which light reception data exists in all three pixels, and no light reception data exists in an intermediate position. In a data series having pixel data of another type (here, an R filter signal) in which light reception data exists at pixel positions at both ends, light reception data at an intermediate position can be obtained by suppressing the occurrence of moire.
【0222】ここで、図24のブロック図を用いて、合
成処理回路12のさらに詳しい構成を説明する。図24
の合成処理回路12では、垂直色モアレ抑圧処理を(2
6)式および(27)式に基づいて処理している。な
お、輝度信号生成回路207および色差マトリックス回
路209は、図22と同じであるので、説明を省略す
る。Here, a more detailed configuration of the synthesis processing circuit 12 will be described with reference to the block diagram of FIG. FIG.
Of the vertical color moiré suppression processing (2)
Processing is performed based on equations 6) and (27). Note that the luminance signal generation circuit 207 and the color difference matrix circuit 209 are the same as those in FIG.
【0223】端子200からA/D変換回路4から出力
された第2原画像信号が入力され、端子201から画像
メモリから出力された第1原画像信号が入力される。合
成処理回路12は、入力された第1および第2原画像信
号から、輝度信号Yおよび2種類の色差信号R−Y,B
−Yを生成し、端子202,203,204からそれぞ
れ出力する。高解像度出力画像信号は、輝度信号および
2種類の色差信号から構成され、この輝度信号Yおよび
2種類の色差信号R−Y,B−Yは、高解像度出力画像
信号として画像メモリ5(図2参照)にストアされる。A second original image signal output from the A / D conversion circuit 4 is input from a terminal 200, and a first original image signal output from an image memory is input from a terminal 201. The synthesis processing circuit 12 outputs a luminance signal Y and two kinds of color difference signals RY, B from the input first and second original image signals.
-Y is generated and output from terminals 202, 203, and 204, respectively. The high-resolution output image signal is composed of a luminance signal and two types of color difference signals. The luminance signal Y and the two types of color difference signals RY and BY are used as a high-resolution output image signal in the image memory 5 (FIG. 2). Reference).
【0224】端子200から入力された第2原画像信号
は、水平ディレイライン231,232を順に通過する
ことにより、垂直方向Vに隣接する3行を同期化して、
信号S2(+) ,S2,S2(-) を出力する。同様に、端
子201から入力された第1原画像信号は、水平ディレ
イライン233,234を順に通過することにより、垂
直方向Vに隣接する3行を同期化して、信号S1(+) ,
S1,S1(-) を出力する。これらの信号S2(-) ,S
2,S2(+) ,S1(-) ,S1,S1(+) はスイッチ2
35に入力される。The second original image signal input from the terminal 200 sequentially passes through the horizontal delay lines 231 and 232 to synchronize three rows adjacent in the vertical direction V.
The signals S2 (+), S2, and S2 (-) are output. Similarly, the first original image signal input from the terminal 201 sequentially passes through the horizontal delay lines 233 and 234, thereby synchronizing three rows adjacent in the vertical direction V, and synchronizing the signals S1 (+),
S1 and S1 (-) are output. These signals S2 (-), S
2, S2 (+), S1 (-), S1, S1 (+) are switches 2
35 is input.
【0225】スイッチ235は、入力された6信号を1
画素ごとに切り替えてR,G,Bフィルタ信号ごとに分
離する。Gは現在処理中の画素位置のGフィルタ信号、
G(-) は現在処理中の画素位置より1行前のGフィルタ
信号、G(+) は現在処理中の画素位置より1行後のGフ
ィルタ信号、Qは、現在処理中の行中に存在するRまた
はBフィルタ信号のどちらか一方である。The switch 235 changes the input six signals to one.
Switching is performed for each pixel, and separation is performed for each of the R, G, and B filter signals. G is the G filter signal of the pixel position currently being processed,
G (-) is the G filter signal one line before the pixel position currently being processed, G (+) is the G filter signal one line after the pixel position currently being processed, and Q is the G filter signal in the line currently being processed. Either the R or B filter signal present.
【0226】もし、現在処理中の行が図20に関して奇
数行つまりFaの存在する行であるならば、QはRフィ
ルタ信号となる。また、現在処理中の行がFbの存在す
る行であるならば、QはBフィルタ信号となる。P(-)
は現在処理中の画素位置より1行前のRまたはBフィル
タ信号のどちらか他方のフィルタ信号、P(+) は現在処
理中の画素位置より1行後のRまたはBフィルタ信号の
どちらか他方のフィルタ信号である。つまり、QがRフ
ィルタ信号であるならば、P(+) およびP(-)はBフィ
ルタ信号である。また、QがBフィルタ信号であるなら
ば、P(+) およびP(-) はRフィルタ信号である。If the row currently being processed is an odd row with respect to FIG. 20, that is, a row where Fa exists, Q is an R filter signal. If the row currently being processed is a row where Fb exists, Q is a B filter signal. P (-)
Is the other filter signal of the R or B filter signal one line before the pixel position currently being processed, and P (+) is the other of the R or B filter signal one line after the pixel position currently being processed. This is the filter signal of. That is, if Q is an R filter signal, P (+) and P (-) are B filter signals. Also, if Q is a B filter signal, P (+) and P (-) are R filter signals.
【0227】G(-) およびG(+) は、加算器236にて
加算された後、1/2除算器238により1/2にされ
る。なお、1/2除算器238は、ビットシフト回路に
より簡単に実現できる。加算器240にてGからこの1
/2にされた信号を減算した後に、加算器241に入力
される。After G (-) and G (+) are added by the adder 236, they are halved by the 1/2 divider 238. Note that the 1/2 divider 238 can be easily realized by a bit shift circuit. Adder 240 calculates this 1 from G
After subtracting the signal of / 2, the signal is input to the adder 241.
【0228】一方、P(-) およびP(+) は加算器237
にて加算された後、1/2除算器239により1/2に
される。1/2にされた信号は加算器241に入力され
る。この加算器241の出力は、垂直色モアレ抑圧処理
された現在処理中の画素位置に対応して補間されたPで
ある。このPおよびQは、スイッチ242に入力され
る。On the other hand, P (-) and P (+) are
, And is halved by a 除 divider 239. The halved signal is input to the adder 241. The output of the adder 241 is P interpolated corresponding to the pixel position currently being processed after the vertical color moiré suppression processing. The P and Q are input to the switch 242.
【0229】PおよびQは、1行置きにR”およびB”
フィルタ信号が切り替わっている。そこで、スイッチ2
42は、1行置きにスイッチを切り替えている。スイッ
チ242から出力されたR”,B”フィルタ信号、およ
びスイッチ235から出力されたGフィルタ信号は、輝
度信号生成回路207に導出される。P and Q are R ″ and B ″ every other line.
The filter signal is switching. So switch 2
Reference numeral 42 indicates that the switch is switched every other line. The R ″ and B ″ filter signals output from the switch 242 and the G filter signal output from the switch 235 are derived to the luminance signal generation circuit 207.
【0230】また、加算器243,244によって、
R”フィルタ信号とGフィルタ信号の差分R”−Gを計
算して色差信号R−Gを生成し、B”フィルタ信号とG
フィルタ信号の差分B”−Gを計算して色差信号B−G
を生成している。生成された色差信号R−G,B−G信
号は、色差マトリックス回路209へ導出される。The adders 243 and 244 provide
A difference R ″ -G between the R ″ filter signal and the G filter signal is calculated to generate a color difference signal RG, and the B ″ filter signal and the G
The color difference signal B-G is calculated by calculating the difference B "-G of the filter signal.
Has been generated. The generated color difference signals RG and BG signals are derived to a color difference matrix circuit 209.
【0231】また、一般に色差信号の高周波数成分が無
くとも視覚的に目立たないので、色差マトリックス回路
209の入力前の色差信号R−G,B−Gに、ローパス
フィルタを施して、色差信号R−G,B−Gを間引いて
もよい。あるいは、色差マトリックス回路209の出力
後の色差信号R−Y,B−Yに、ローパスフィルタを施
して、色差信号R−Y,B−Yを間引いてもよい。間引
くことで、高解像度出力画像のデータ量を削減すること
ができる。In general, even if there is no high frequency component of the color difference signal, the color difference signal RG and BG before input to the color difference matrix circuit 209 are subjected to a low-pass filter so that the color difference signal R -G and BG may be thinned out. Alternatively, the color difference signals RY and BY output from the color difference matrix circuit 209 may be subjected to a low-pass filter to thin out the color difference signals RY and BY. By thinning out, the data amount of the high-resolution output image can be reduced.
【0232】このようにして構成される合成処理回路1
2の場合、輝度信号Yまたは色差信号R−Y,B−Yに
は、ローパスフィルタなどのフィルタリング処理が無い
ため、信号処理回路6のように、図17における破線部
分のゲインがゼロにならない。したがって、このような
合成処理回路12を備えた本カラー撮像装置では、高解
像度出力画像信号が、折り返し周波数付近の高周波数成
分を失わないので、通常出力画像では再現できなかった
水平方向Hに2PH周期の縦縞、つまり水平方向Hに白
列と黒列が交互に並んだ縦縞も、劣化なしに再現するこ
とができる。また、通常出力画像では再現できなかった
垂直方向Vに2PV周期の横縞、つまり垂直方向に白行
と黒行が交互に並んだ横縞も再現することができる。The composition processing circuit 1 thus configured
In the case of 2, since the luminance signal Y or the color difference signals RY and BY do not have a filtering process such as a low-pass filter, the gain of the broken line portion in FIG. Therefore, in the present color imaging apparatus including such a synthesis processing circuit 12, since the high-resolution output image signal does not lose the high-frequency component near the aliasing frequency, 2PH in the horizontal direction H which cannot be reproduced in the normal output image. Periodic vertical stripes, that is, vertical stripes in which white columns and black columns are alternately arranged in the horizontal direction H, can also be reproduced without deterioration. Further, horizontal stripes having a period of 2 PV in the vertical direction V, that is, horizontal stripes in which white rows and black rows are alternately arranged in the vertical direction, which cannot be reproduced in the normal output image, can be reproduced.
【0233】また、配設されている空間フィルタ40
(或いは空間フィルタ60)によるfV/2近傍の空間
周波数成分の減衰も無いため、垂直解像度が高い。実際
の自然画像では、エッジがぼやけることなくシャープさ
を保ち、高解像度画像を撮像することができる。The spatial filter 40 provided
Since the spatial frequency component near fV / 2 is not attenuated by the spatial filter 60 (or the spatial filter 60), the vertical resolution is high. In an actual natural image, sharpness can be maintained without blurring edges, and a high-resolution image can be captured.
【0234】また、通常モードにおいては、輝度信号の
高域成分である高域輝度信号YHを、原画像信号をバン
ドパスフィルタ131(図15参照)に通過させること
により得ているが、このバンドパスフィルタ131によ
り得られる高域輝度信号YHは、ある着色領域から別の
着色領域(無着色を含む)へ変化する境界線部分では、
バンドパスフィルタ131のステップ応答が現れてしま
う。In the normal mode, the high-frequency luminance signal YH, which is a high-frequency component of the luminance signal, is obtained by passing the original image signal through the band-pass filter 131 (see FIG. 15). The high-frequency luminance signal YH obtained by the pass filter 131 has a boundary portion where a color region changes from another color region to another color region (including non-color region).
A step response of the band pass filter 131 appears.
【0235】例えば、白色の領域と黄色の領域が接する
直線エッジは、直線であるはずがギザギザしたエッジと
なる。これは、輝度信号Yのエッジに、乱れが生じて、
ギザギザした成分が含まれてしまうためである。このギ
ザギザした成分は、図17中の破線付近の周波数成分で
ある。この画質劣化となるギザギザした成分を取り除く
には、バンドパスフィルタ131の高域のカットオフ周
波数(破線)を低域に下げるか、あるいは高域のカット
オフ特性を緩やかにして破線付近の周波数成分のゲイン
を下げる必要がある。For example, a straight line edge where a white area and a yellow area are in contact is a jagged edge which should be a straight line. This is because the edge of the luminance signal Y is disturbed,
This is because jagged components are included. This jagged component is a frequency component near the broken line in FIG. In order to remove the jagged components that cause the image quality degradation, the cutoff frequency (broken line) in the high band of the band-pass filter 131 is reduced to a low band, or the cutoff characteristic in the high band is moderated to reduce the frequency component near the broken line. Needs to be reduced.
【0236】しかしながら、どちらの対処方法も、通常
出力画像の輝度信号Yの高域成分のゲインを下げること
なるので、エッジがぼやけて、シャープさが無くなり、
解像度が劣化するというトレードオフの関係にある。し
たがって、現実的には、エッジ部に現れるギザギザした
成分を取り除くことと、解像度の劣化を防止するという
ことを適正に考慮してバンドパスフィルタ131の周波
数特性を考えなければならない。また、撮像した通常出
力画像を、使用者が二次利用のために編集する際にシャ
ープフィルタやエッジ強調などの高域強調処理を行う
と、ギザギザしたエッジが目立つようになってしまい、
撮像された画像の利用にも障害が現れ、画像の利用価値
は低下してしまう。However, in either case, the gain of the high frequency component of the luminance signal Y of the normal output image is reduced, so that the edge is blurred and the sharpness is lost.
There is a trade-off relationship that the resolution deteriorates. Therefore, in reality, it is necessary to consider the frequency characteristics of the band-pass filter 131 in consideration of appropriately removing jagged components appearing at the edge portion and preventing resolution degradation. In addition, when the user edits the captured normal output image for secondary use and performs high-frequency emphasis processing such as a sharp filter or edge emphasis, jagged edges become noticeable,
Obstacles also appear in the use of the captured image, and the use value of the image decreases.
【0237】これに対し、高解像度モードにおいては、
通常モードにおいて見られるギザギザしたエッジは現れ
ない。したがって、カラー撮像装置内にシャープフィル
タやエッジ強調などの高域強調処理を施して出力して
も、ギザギザしたエッジは現れない。On the other hand, in the high resolution mode,
The jagged edges seen in normal mode do not appear. Therefore, even if a high-frequency emphasis process such as a sharp filter or an edge emphasis process is performed in the color image pickup apparatus and output, jagged edges do not appear.
【0238】また、撮像した高解像度出力画像を、使用
者が二次利用のために編集する際にシャープフィルタや
エッジ強調などの高域強調処理を行っても、ギザギザし
たエッジが現れないので、撮像された画像の利用にも障
害が無く、画像の利用価値は高い。Further, even when the user edits the captured high-resolution output image for secondary use, even if high-frequency emphasis processing such as a sharp filter or edge emphasis is performed, jagged edges do not appear. There is no obstacle to the use of the captured image, and the use value of the image is high.
【0239】ところで、上記の第1実施形態のカラー撮
像装置においては、空間フィルタ40(或いは空間フィ
ルタ60)は固定のものであったが、高解像度モードで
は、図21に示したように通常モード時に存在した色差
信号のモアレのキャリア周波数(fH/2,fV/
2)、(−fH/2,fV/2)は、消滅している。従
って、空間フィルタ40(或いは空間フィルタ60)に
よって作用された図21の破線に示す空間周波数成分の
トラップは特に必要ではない。In the color image pickup apparatus of the first embodiment, the spatial filter 40 (or the spatial filter 60) is fixed. However, in the high resolution mode, as shown in FIG. Moiré carrier frequency (fH / 2, fV /
2), (−fH / 2, fV / 2) have disappeared. Therefore, the trapping of the spatial frequency component shown by the broken line in FIG.
【0240】そこで、本発明の第2実施形態のカラー撮
像装置では、通常モードでは空間フィルタ40(或いは
空間フィルタ60)を作用させ、高解像度モードでは空
間フィルタ40(或いは空間フィルタ60)を作用させ
ない構成となっている。Therefore, in the color imaging apparatus according to the second embodiment of the present invention, the spatial filter 40 (or the spatial filter 60) is operated in the normal mode, and the spatial filter 40 (or the spatial filter 60) is not operated in the high resolution mode. It has a configuration.
【0241】空間フィルタ40(或いは空間フィルタ6
0)を作用させない構成として、ここでは、光学系1内
に設置される空間フィルタ40(或いは空間フィルタ6
0)全体を、光路から機械的に移動させる、つまり着脱
させる構成を採用している。The spatial filter 40 (or the spatial filter 6)
0) does not act here, here, the spatial filter 40 (or the spatial filter 6
0) The whole is mechanically moved from the optical path, that is, it is configured to be attached and detached.
【0242】ここでは、撮影モードを切り換えるレバー
に連動して、空間フィルタ40(或いは空間フィルタ6
0)を光路内に移動もしくは着脱させるようになってお
り、使用者がレバーを切り換えるごとに、撮影モードに
応じて空間フィルタ40(或いは空間フィルタ60)
が、作用もしくは非作用になる。Here, the spatial filter 40 (or the spatial filter 6) is linked to the lever for switching the photographing mode.
0) is moved or detached in the optical path, and every time the user switches the lever, the spatial filter 40 (or the spatial filter 60) is switched according to the photographing mode.
Become active or inactive.
【0243】このような構成によるカラー撮像装置は、
この空間フィルタ40(或いは空間フィルタ60)によ
って、(fH/2,fV/2)、(−fH/2,fV/
2)付近の空間周波数成分が低下しないので、高解像度
モードによる撮像にて生成される高解像度出力画像は、
高周波数成分のゲインが大きくなる。つまり、高解像度
出力画像はより高画質になる。The color imaging device having such a configuration is
By the spatial filter 40 (or the spatial filter 60), (fH / 2, fV / 2), (-fH / 2, fV /
2) Since a nearby spatial frequency component does not decrease, a high-resolution output image generated by imaging in the high-resolution mode is
The gain of the high frequency component increases. That is, the high-resolution output image has higher image quality.
【0244】具体的には、斜め方向に、(32)式で定
義される周期Tの斜め縞、つまり斜め方向に白線と黒線
とが交互に並んだ斜め線(見方によっては白黒の市松模
様にも見える)を、第2実施形態のカラー撮像装置では
再現できるが、第1実施形態のカラー撮像装置では、再
現できず、実際の自然画像では、斜め方向のエッジがぼ
やけることが生じ、画質がそこなわれてしまう。Specifically, in the oblique direction, oblique stripes having a period T defined by the equation (32), that is, oblique lines in which white lines and black lines are alternately arranged in an oblique direction (a black and white checkerboard pattern depending on the viewpoint) Can be reproduced by the color image pickup device of the second embodiment, but cannot be reproduced by the color image pickup device of the first embodiment. Is lost.
【0245】[0245]
【数23】 (Equation 23)
【0246】また、上記の第1および第2実施形態1の
カラー撮像装置は、高解像度モードでは、2枚の原画像
を撮像することが行われるが、この2枚の原画像間に光
量差があると、高解像度出力画像に市松模様が発生する
ことが知られている。これに対処する光量差補正処理
を、既に発明者らは特願平8−349159号にて提案
している。In the color imaging apparatus according to the first and second embodiments, two original images are taken in the high resolution mode. It is known that a checkered pattern occurs in a high-resolution output image when there is an image. The present inventors have already proposed in Japanese Patent Application No. 8-349159 a light amount difference correction process to cope with this.
【0247】図22に示した合成処理回路12に、この
光量差補正処理を組み込む場合は、スイッチ205から
出力されたR,G,Bフィルタ信号に、それぞれローパ
スフィルタを施す。このような構成にすることにより、
1枚の画像メモリだけしか持たない上記の第1および第
2実施形態1のカラー撮像装置でも、光量差補正を行う
ことができる。When this light amount difference correction processing is incorporated in the synthesis processing circuit 12 shown in FIG. 22, a low-pass filter is applied to each of the R, G, and B filter signals output from the switch 205. With such a configuration,
Even in the color imaging apparatuses of the first and second embodiments having only one image memory, the light amount difference correction can be performed.
【0248】このローパスフィルタは、R,G,Bフィ
ルタ信号それぞれの基底帯域を通過帯域とし、その境界
線上においてゲインがゼロであることが望ましい。した
がって、このローパスフィルタは、2次元フィルタとな
る。また、ローパスフィルタは直線位相特性であること
が望ましい。また、R,G,Bフィルタ信号の場合は、
fH/2にカットオフ周波数をもつ水平方向の1次元ロ
ーパスフィルタでもよい。この場合は、垂直方向の解像
度を劣化させないという利点がある。また、Gフィルタ
信号の場合は、fV/2にカットオフ周波数をもつ垂直
方向の1次元ローパスフィルタでもよい。In this low-pass filter, it is desirable that the base band of each of the R, G, and B filter signals be a pass band, and the gain be zero on the boundary line. Therefore, this low-pass filter is a two-dimensional filter. It is desirable that the low-pass filter has a linear phase characteristic. In the case of R, G, B filter signals,
A horizontal one-dimensional low-pass filter having a cutoff frequency of fH / 2 may be used. In this case, there is an advantage that the resolution in the vertical direction is not deteriorated. In the case of a G filter signal, a vertical one-dimensional low-pass filter having a cutoff frequency of fV / 2 may be used.
【0249】R,G,Bフィルタ信号それぞれに、fH
/2にカットオフ周波数をもつ水平方向の1次元ローパ
スフィルタを施す場合の光量差補正処理の一例は、(3
3)式で定義されるf2を用いて表すことができる。FH is applied to each of the R, G, and B filter signals.
An example of the light amount difference correction processing in the case of applying a horizontal one-dimensional low-pass filter having a cutoff frequency of / 2 is (3
3) It can be expressed using f2 defined by the equation.
【0250】[0250]
【数24】 (Equation 24)
【0251】このローパスフィルタf2は、1行4列の
行列として表される1次元ローパスフィルタである。第
p列の要素をf2(p)として表すと、この1次元ロー
パスフィルタf2により、光量差補正処理は、(34)
式で計算できる。The low-pass filter f2 is a one-dimensional low-pass filter represented as a matrix of one row and four columns. If the element in the p-th column is represented as f2 (p), the one-dimensional low-pass filter f2 performs the light amount difference correction processing as (34)
It can be calculated by the formula.
【0252】[0252]
【数25】 (Equation 25)
【0253】ここで、X(n,m)は、補間前のXフィ
ルタ信号の第n行第m列の受光データを表す。また、
X’(n,m)は、補間後のXフィルタ信号の第n行第
m列の受光データを表す。Here, X (n, m) represents the light receiving data of the n-th row and the m-th column of the X filter signal before interpolation. Also,
X '(n, m) represents the light reception data of the n-th row and m-th column of the interpolated X filter signal.
【0254】このようなローパスフィルタを施すことに
より、画像のどの部分においても、また、部分ごとに光
量差が異なる場合でも、光量差を補正することができ
る。By applying such a low-pass filter, it is possible to correct the light quantity difference in any part of the image and even when the light quantity difference is different for each part.
【0255】なお、光量差補正処理を追加することによ
り、図17における破線部分のゲインがゼロになる。例
えば(33)式と(34)式により定義される1次元ロ
ーパスフィルタによる光量差補正処理では、破線のうち
で水平方向Hの空間周波数がfH/2である空間周波数
成分のゲインがゼロになる。したがって、光量差補正処
理によって、垂直解像度の低下は無いが、水平解像度の
低下が発生してしまう。しかし、通常モードで発生した
ようなギザギザしたエッジが発生しないため、(33)
式で定義されるような1次元ローパスフィルタよりもも
っとカットオフ特性の急峻で、破線付近の周波数成分の
ゲインの高いフィルタも適応することができ、水平解像
度の低下を小さくすることもできる。By adding the light amount difference correction processing, the gain indicated by the broken line in FIG. 17 becomes zero. For example, in the light amount difference correction processing using the one-dimensional low-pass filter defined by the equations (33) and (34), the gain of the spatial frequency component of which the spatial frequency in the horizontal direction H is fH / 2 is zero. . Therefore, although the vertical resolution is not reduced by the light amount difference correction processing, the horizontal resolution is reduced. However, since jagged edges as in the normal mode do not occur, (33)
A filter having a steeper cutoff characteristic than the one-dimensional low-pass filter defined by the equation and having a high gain of the frequency component near the broken line can be applied, and a decrease in the horizontal resolution can be reduced.
【0256】[0256]
【発明の効果】本発明の請求項1記載のデータ補間処理
方法は、以上のように、それぞれ複数のデータ群からな
り、局所的な領域にて相関のある第1および第2のデー
タ系列において、第1のデータ系列の欠落したデータを
求める際、該欠落データと同じ位置にある第2のデータ
系列のデータに、第1のデータ系列のデータ群をローパ
スフィルタ処理した値を加算し、さらに第2のデータ系
列のデータ群をローパスフィルタ処理した値を引くこと
により求める構成である。As described above, the data interpolation processing method according to the first aspect of the present invention comprises a plurality of data groups each having a correlation in a local area. When obtaining the missing data of the first data series, a value obtained by subjecting the data group of the first data series to low-pass filtering is added to the data of the second data series at the same position as the missing data, In this configuration, the data group of the second data series is obtained by subtracting a value obtained by performing a low-pass filter process.
【0257】本発明の請求項2記載のデータ補間処理方
法は、請求項1記載の構成において、上記のローパスフ
ィルタ処理が、第1のデータ系列の場合は求めるべきデ
ータの位置に隣接する2つのデータの平均をとり、第2
のデータ系列の場合は求めるべきデータと同じ位置に隣
接する2つのデータの平均をとる構成である。According to a second aspect of the present invention, in the data interpolation processing method according to the first aspect, in the case where the low-pass filter processing is the first data series, two low-pass filter processing steps are performed adjacent to the position of the data to be obtained. Take the average of the data and
In this case, the average of two data adjacent to the same position as the data to be obtained is calculated.
【0258】本発明の請求項3記載のデータ補間処理方
法は、請求項1又は2記載の構成において、上記の第1
および第2のデータ系列が、カラー撮像装置において異
なる色フィルタ配列により受光された2種類の受光デー
タ群である構成である。According to a third aspect of the present invention, there is provided a data interpolation processing method according to the first or second aspect, wherein
And the second data series are two types of light reception data groups received by different color filter arrays in the color imaging device.
【0259】本発明の請求項4記載のデータ補間処理方
法は、請求項3記載の構成において、上記の第1および
第2のデータ系列が、異なる結像位置において撮像され
た2枚の画像を重ね合わせて得た、第1の色フィルタの
受光データ群と、第2の色フィルタの受光データ群とで
ある構成である。According to a fourth aspect of the present invention, in the data interpolation processing method according to the third aspect, the first and second data series are obtained by converting two images captured at different image forming positions. This is a configuration in which a light reception data group of the first color filter and a light reception data group of the second color filter are obtained by superimposition.
【0260】また、本発明の請求項5記載のデータ補間
処理回路は、以上のように、複数のデータ群からなるデ
ータ系列の欠落したデータを補間するデータ補間処理回
路において、欠落データを有する第1のデータ系列のデ
ータ群をローパスフィルタ処理する第1のローパスフィ
ルタ処理手段と、上記の第1のデータ系列と局所的な領
域において相関のある第2のデータ系列のデータ群をロ
ーパスフィルタ処理する第2のローパスフィルタ処理手
段と、第1のデータ系列における欠落したデータと同じ
位置にある第2のデータ系列のデータに、第1のデータ
系列のデータ群のローパスフィルタ処理した値を加算す
る加算手段と、該加算手段の計算値から、第2のデータ
系列のデータ群をローパスフィルタ処理した値を減算す
る減算手段とを備えた構成である。According to a fifth aspect of the present invention, there is provided a data interpolation processing circuit for interpolating missing data of a data series consisting of a plurality of data groups, the second data interpolation processing circuit having missing data. First low-pass filter processing means for low-pass filtering the data group of one data series, and low-pass filter processing of the data group of the second data series correlated with the first data series in a local region A second low-pass filter processing means for adding a low-pass filtered value of the data group of the first data series to the data of the second data series at the same position as the missing data in the first data series Means, and subtraction means for subtracting, from the calculated value of the addition means, a value obtained by subjecting the data group of the second data series to low-pass filtering. And is a configuration.
【0261】本発明の請求項6記載のデータ補間処理回
路は、請求項4記載の構成において、上記の第1ローパ
スフィルタ処理手段は、求めるべきデータの位置に隣接
する2つのデータの平均をとることでローパスフィルタ
処理を実施し、上記の第2ローパスフィルタ処理手段
は、求めるべきデータと同じ位置に隣接する2つのデー
タの平均をとることでローパスフィルタ処理を実施する
構成である。According to a sixth aspect of the present invention, in the data interpolation processing circuit according to the fourth aspect, the first low-pass filter processing means averages two data adjacent to the position of the data to be obtained. Thus, the low-pass filter processing is performed, and the second low-pass filter processing unit is configured to perform the low-pass filter processing by averaging two adjacent data at the same position as the data to be obtained.
【0262】本発明の請求項7記載のデータ補間処理回
路は、請求項5又は6記載の構成において、上記の第1
および第2のデータ系列が、カラー撮像装置において異
なる色フィルタ配列により受光された2種類の受光デー
タ群である構成である。The data interpolation processing circuit according to claim 7 of the present invention is the data interpolation processing circuit according to claim 5 or 6, wherein
And the second data series are two types of light reception data groups received by different color filter arrays in the color imaging device.
【0263】本発明の請求項8記載のデータ補間処理回
路は、請求項7記載の構成において、上記の第1および
第2のデータ系列が、異なる結像位置において撮像され
た2枚の画像を重ね合わせて得た、第1の色フィルタの
受光データ群と、第2の色フィルタの受光データ群とで
ある構成である。The data interpolation processing circuit according to claim 8 of the present invention is the data interpolation processing circuit according to claim 7, wherein the first and second data sequences are obtained by converting two images picked up at different imaging positions. This is a configuration in which a light reception data group of the first color filter and a light reception data group of the second color filter are obtained by superimposition.
【0264】本発明の請求項9記載のカラー撮像装置
は、撮像素子の結像面における結像位置を移動させるイ
メージシフト動作を実施して、結像位置が1画素だけ異
なる2枚の撮像画像を得て、画像合成処理回路にて、こ
れら2枚の撮像画像を結像位置の離反量だけ位置の移動
方向とは逆方向にずらして重ね合わせて合成画像を生成
するカラー撮像装置において、上記画像合成処理回路
に、上記請求項8に記載のデータ補間処理回路が備えら
れている構成である。The color image pickup apparatus according to the ninth aspect of the present invention carries out an image shift operation for moving an image forming position on an image forming surface of an image pickup device, and two picked-up images having different image forming positions by one pixel. In a color imaging apparatus that generates a composite image by shifting the two captured images in the direction opposite to the moving direction of the position by the amount of separation of the imaging position and superimposing the two captured images in an image synthesis processing circuit, The image synthesis processing circuit is provided with the data interpolation processing circuit according to claim 8.
【0265】本発明の請求項10記載の画像合成処理方
法は、イメージシフト動作により得られた複数枚の撮像
画像を合成して1枚の合成画像とする画像合成処理方法
において、まずは1枚目に撮像された画像を上書き可能
な画像メモリに蓄積し、その後の2枚目以降は、画像を
撮像するたびに、画像メモリに蓄積された画像と、撮像
された画像とを合成処理し、該合成処理した画像を再び
画像メモリに上書きして蓄積する工程を繰り返す構成で
ある。In the image synthesizing method according to the tenth aspect of the present invention, in the image synthesizing method for synthesizing a plurality of captured images obtained by the image shift operation into one synthetic image, the first The captured image is stored in an overwritable image memory, and after that, every time an image is captured, the image stored in the image memory and the captured image are combined, and This is a configuration in which the process of overwriting and storing the combined image again in the image memory is repeated.
【0266】本発明の請求項11記載の画像合成処理回
路は、イメージシフト動作により得られた複数枚の撮像
画像を合成して1枚の合成画像とする画像合成処理回路
において、1枚目に撮像された画像を上書き可能な画像
メモリに蓄積する手段と、2枚目以降の撮像が行われる
たびに、上記画像メモリに蓄積された画像を読み出して
撮像された画像とを合成処理し、該合成処理した画像を
再び上記画像メモリに上書きする手段とを備えている構
成である。An image synthesizing circuit according to claim 11 of the present invention is an image synthesizing circuit for synthesizing a plurality of picked-up images obtained by an image shift operation into one synthesized image. Means for storing the captured image in an overwritable image memory, and reading out the image stored in the image memory and synthesizing the captured image each time the second and subsequent images are captured, Means for overwriting the synthesized image on the image memory again.
【0267】本発明の請求項12記載のカラー撮像装置
は、撮像素子の結像面における結像位置を移動させるイ
メージシフト動作を実施して、結像位置が異なる複数の
撮像画像を得て、画像合成処理回路にて、これら複数の
撮像画像を結像位置の離反量だけ位置の移動方向とは逆
方向にずらして重ね合わせて合成画像を生成するカラー
撮像装置において、上記画像合成処理回路が、1枚目に
撮像された画像を上書き可能な画像メモリに蓄積する手
段と、2枚目以降の撮像が行われるたびに、上記画像メ
モリに蓄積された画像を読み出して撮像された画像とを
合成処理し、該合成処理した画像を再び上記画像メモリ
に上書きする手段とを備えている構成である。The color image pickup device according to the twelfth aspect of the present invention performs an image shift operation of moving an image forming position on an image forming surface of an image pickup device to obtain a plurality of picked-up images having different image forming positions. In a color imaging apparatus that generates a composite image by shifting the plurality of captured images in the direction opposite to the moving direction of the position by the amount of separation of the imaging position in the image synthesis processing circuit, the image synthesis processing circuit Means for storing the first captured image in an overwritable image memory, and reading out the image stored in the image memory and capturing the captured image every time the second and subsequent images are captured. Means for performing a combining process and overwriting the combined image on the image memory again.
【0268】本発明の請求項13記載のカラー撮像装置
は、複数の色彩光にそれぞれ対応し、入射される被写体
からの画像光のうちの対応する色彩光だけを個別的に通
過させる複数の透光領域を有し、該透光領域が2次元平
面上に配列された色フィルタであって、透光領域は、第
1〜第3の色彩光を通過させる第1〜第3透光領域に区
分され、第1および第2透光領域が一方方向に沿って第
1周期で直線状に配列された第1群と、第1および第3
透光領域が一方方向に沿って第1周期で直線上に配列さ
れた第2群とが、一方方向と直交する他方方向に沿って
第2周期で交互に、かつ、第1群の第1透光領域に第3
透光領域が他方方向の両側に隣接するように配列された
色フィルタと、上記色フィルタの透光領域に個別的に対
応した受光領域が、透光領域の配列と同等の配列で2次
元平面上に配列され、各受光領域では対応した透光領域
を通過した色彩光だけを受光し、各受光領域の受光量を
示す画素データから構成される画像信号を出力する撮像
素子と、上記撮像素子に入射される画像光の結像位置
を、基準位置である第1移動位置と、第1移動位置から
一方方向に第1周期の長さだけ相互にずれた第2移動位
置に相対的に移動させる移動手段と、上記撮像素子から
出力された2つの画像信号を撮像時の結像位置の離反量
だけ位置の移動方向とは逆方向にずらして重ね合わせ
て、撮像素子からは得られなかった第2または第3色彩
光に対応する画素データを求めて合成画像信号を生成す
る画像合成手段と、撮影が開始されると、移動手段によ
って画像光の結像位置を第1および第2移動位置のいず
れか一方位置に移動させ、該移動位置において撮像素子
に画像光を撮像させて画像信号を画像合成手段に与え、
次いで移動手段によって結像位置をいずれか他方位置に
移動させ、該移動位置において撮像素子に画像光を撮像
させて画像信号を画像合成手段に与える制御手段とを備
え、かつ、上記画像合成手段が、撮像素子からは得られ
なかった第2または第3の色彩光に対応する画素データ
を、該画素データと同じ位置にある第1色彩光に対応す
る画素データに、該画素データと同じ位置を通る一方方
向に沿って配列された第2または第3色彩光に対応する
画素データ群をローパスフィルタ処理した値を加算し、
さらに該画素データと同じ位置を通る一方方向に沿って
配列された第1色彩光に対応する画素データ群をローパ
スフィルタ処理した値を引くことにより求める構成であ
る。A color imaging apparatus according to a thirteenth aspect of the present invention includes a plurality of color imaging devices each corresponding to a plurality of color lights and individually passing only the corresponding color light of the incident image light from the subject. A color filter having a light region, wherein the light-transmitting regions are arranged on a two-dimensional plane, wherein the light-transmitting regions are first to third light-transmitting regions that allow the first to third color lights to pass therethrough. A first group in which the first and second light-transmitting regions are linearly arranged at a first period along one direction;
The second group in which the light-transmitting regions are arranged on a straight line in the first cycle along one direction is alternately arranged in the second cycle along the other direction orthogonal to the one direction, and the first group of the first group. Third in light-transmitting area
A color filter in which light-transmitting regions are arranged on both sides in the other direction and light-receiving regions individually corresponding to the light-transmitting regions of the color filter are two-dimensionally arranged in the same arrangement as the light-transmitting region. An imaging element arranged above, and each of the light receiving areas receives only the color light that has passed through the corresponding light transmitting area, and outputs an image signal composed of pixel data indicating the amount of light received in each light receiving area; Relative to the first movement position, which is the reference position, and the second movement position, which is shifted from the first movement position in one direction by the length of the first period. The moving means to be moved and the two image signals output from the image pickup device are superimposed by being shifted in the direction opposite to the moving direction of the position by the amount of separation of the imaging position at the time of image pickup, and were not obtained from the image pickup device. Pixel data corresponding to the second or third color light And an image synthesizing means for generating a synthesized image signal by calculating the image position, and when the photographing is started, the moving means moves the image forming position of the image light to one of the first and second moving positions. In, the image signal is given to the image synthesizing means by causing the image sensor to capture the image light,
Then, the image forming position is moved to one of the other positions by the moving means, and control means for causing the image pickup device to capture image light at the moving position and providing an image signal to the image synthesizing means is provided. The pixel data corresponding to the second or third color light not obtained from the image sensor is replaced with the pixel data corresponding to the first color light at the same position as the pixel data, Adding a value obtained by subjecting a pixel data group corresponding to the second or third color light arrayed along one direction passing through to low-pass filtering,
Further, the pixel data group corresponding to the first color light arranged along one direction passing through the same position as the pixel data is obtained by subtracting a value obtained by performing a low-pass filter process.
【0269】本発明の請求項14記載のカラー撮像装置
は、請求項13の構成において、第1回目に撮像された
画像信号を蓄積し、第2回目の撮像に同期して蓄積した
画像信号を出力し、出力した領域に画像合成手段から出
力された合成画像信号を上書きして蓄積する画像メモリ
をさらに備えた構成である。According to a fourteenth aspect of the present invention, in the color imaging apparatus according to the thirteenth aspect, the first image signal is accumulated, and the accumulated image signal is synchronized with the second image signal. The image processing apparatus further includes an image memory that outputs the output image and overwrites the output image with the synthesized image signal output from the image synthesis unit.
【0270】本発明の請求項15記載のカラー撮像装置
は、請求項13または14の構成において、上記画像合
成手段が、第1色彩光に対応する画素データ群をローパ
スフィルタ処理する際は、求めるべき画素データの位置
に隣接する2つの画素データの平均をとることで処理を
実施し、第2および第3色彩光に対応する画素データ群
のローパスフィルタ処理する際は、求めるべき画素デー
タと同じ位置に隣接する2つの画素データの平均をとる
ことで処理を実施する構成である。According to a fifteenth aspect of the present invention, in the color imaging apparatus according to the thirteenth or fourteenth aspect, when the image synthesizing means performs a low-pass filter process on the pixel data group corresponding to the first color light, The processing is performed by averaging two pixel data adjacent to the position of the pixel data to be processed, and when performing low-pass filtering of the pixel data groups corresponding to the second and third color lights, the same as the pixel data to be obtained is used. In this configuration, the processing is performed by averaging two pixel data adjacent to the position.
【0271】上記請求項1〜9、13に記載した構成に
より、隣接する3画素において、3画素とも受光データ
の存在する同一種類の画素データと、中間の位置には受
光データが存在せず両端の画素位置には受光データが存
在する別種類の画素データがあるデータ系列では、中間
の位置の受光データを、モアレの発生を抑圧して求める
ことができる。According to the structure described in any one of claims 1 to 9 and 13, among the three adjacent pixels, the same type of pixel data in which light reception data exists in all three pixels, and no light reception data exists in an intermediate position and both ends. In a data series in which there is another type of pixel data in which light reception data exists at the pixel position of, the light reception data at an intermediate position can be obtained by suppressing the occurrence of moire.
【0272】したがって、例えば、前述の従来技術の項
で述べた、本願出願人が先に提案しているカラー撮像装
置における、高解像度モード時の画像を合成する処理に
供することで、モアレを消滅させることが可能となる。
これにより、基底帯域内に存在するキャリア周波数
(0,fV/2)の色差信号のモアレを消滅させること
が可能となる。Therefore, for example, moiré disappears by being subjected to the processing of synthesizing an image in the high resolution mode in the color image pickup apparatus previously proposed by the present applicant as described in the section of the prior art. It is possible to do.
This makes it possible to eliminate the moire of the color difference signal of the carrier frequency (0, fV / 2) existing in the base band.
【0273】したがって、合成画像信号の基底帯域の水
平方向の実質の幅が拡大すると共に、垂直方向の実質の
幅が拡大し、その結果、このような単板式のカラー撮像
装置においては、水平解像度だけでなく垂直解像度の向
上を得ることができるという効果を奏する。Therefore, the substantial width in the horizontal direction of the base band of the composite image signal is increased, and the substantial width in the vertical direction is increased. As a result, in such a single-panel type color image pickup device, the horizontal resolution is increased. In addition to this, there is an effect that the vertical resolution can be improved.
【0274】しかも、モアレの抑制を、例えば加算器と
ビットシフトだけの簡単な回路構成で実現できるため、
消費電力が低く安価で小型のカラー撮像装置を実現でき
る。In addition, since moiré can be suppressed with a simple circuit configuration using only an adder and a bit shift, for example,
An inexpensive and compact color imaging device with low power consumption can be realized.
【0275】特に、上記請求項2、6に記載した構成で
は、求めるべきデータの位置、或いは該データと同じ位
置に隣接する2つのデータの平均をとってローパスフィ
ルタ処理を行うようになっている。上記ローパスフィル
タ処理としては、隣接する4つのデータから計算する方
法もあるが、このような方法に比べ、2つのデータの平
均をとる方法の場合、計算に用いるデータ数が少ないの
で、処理速度が速く、回路規模が小さいといった利点が
ある。In particular, in the configuration described in the second and sixth aspects, the low-pass filter processing is performed by taking the position of the data to be obtained or the average of two data adjacent to the same position as the data. . As the above low-pass filter processing, there is a method of calculating from four adjacent data. However, in the case of the method of averaging two data, the number of data used for calculation is small, so that the processing speed is low. There are advantages such as high speed and small circuit scale.
【0276】請求項10〜12の構成により、画像メモ
リの容量は、原画像もしくは高解像度出力画像の1枚分
だけでよく、2枚分以上の容量を必要としない。その結
果、このような画像合成処理回路を備えたカラー撮像装
置では、画像メモリの容量が少なくて済み、コスト削減
が図れるという効果を奏する。According to the tenth to twelfth aspects, the capacity of the image memory is only one for the original image or the high-resolution output image, and the capacity for two or more images is not required. As a result, in the color image pickup apparatus provided with such an image synthesis processing circuit, there is an effect that the capacity of the image memory can be reduced and the cost can be reduced.
【0277】請求項17記載のカラー撮像装置は、請求
項13又は14記載の構成において、上記移動手段にお
ける結像位置の移動を許容または禁止する移動判定手段
と、撮像素子に入射される画像光の空間周波数成分を減
衰させる固定空間フィルタをさらに含む構成である。A color imaging apparatus according to claim 17 is the arrangement according to claim 13 or 14, wherein the movement determining means for allowing or prohibiting the movement of the image forming position by the moving means, and the image light incident on the image pickup device. Is a configuration further including a fixed spatial filter that attenuates the spatial frequency component of.
【0278】この構成により、原画像信号から生成され
た通常出力画像信号を出力する一方モードと、2枚の原
画像信号から合成画像信号を生成して出力する他方モー
ドとの2つの解像度のモードが実現する。この場合、合
成画像信号を生成するモードでは、モアレが発生しない
ので、このモアレを目立たなくするための光学的ローパ
スフィルタである空間フィルタを設ける必要がない。With this configuration, there are two resolution modes, one mode for outputting a normal output image signal generated from an original image signal and the other mode for generating and outputting a composite image signal from two original image signals. Is realized. In this case, moire does not occur in the mode in which the composite image signal is generated, so that there is no need to provide a spatial filter that is an optical low-pass filter for making the moire less noticeable.
【0279】したがって、空間フィルタは、原画像信号
をそのまま出力するモードでのモアレを目立たなくする
ものだけでよく、また、一方モードに適合させた空間フ
ィルタでよく、他方モードではその空間フィルタをその
まま適用することができ、可変機構を必要としない固定
のものでよい。そのため、切り替えるのに時間を要せ
ず、すばやく切り替えることができる。また、切り替え
るごとに可変機構を動作させることがないために、耐久
性がある。その結果、安価で小型のカラー撮像装置を実
現できる。Therefore, the spatial filter need only be one that makes the moiré in the mode for outputting the original image signal as it is inconspicuous, and it may be a spatial filter adapted to one mode, and the spatial filter may be the same in the other mode. A fixed type that can be applied and does not require a variable mechanism may be used. Therefore, switching can be performed quickly without requiring time. Further, since the variable mechanism is not operated every time switching is performed, there is durability. As a result, an inexpensive and compact color imaging device can be realized.
【0280】請求項18記載のカラー撮像装置は、請求
項13又は14記載の構成において、上記移動手段にお
ける結像位置の移動を許容または禁止する移動判定手段
と、撮像素子に入射される画像光の空間周波数成分を減
衰させる可変空間フィルタであって、撮像位置の移動が
禁止されるときに空間周波数成分を第1の減衰量だけ減
衰させ、許容されるときは画像光の光路から除去される
可変空間フィルタをさらに含む構成である。[0280] According to the eighteenth aspect of the present invention, in the color imaging apparatus according to the thirteenth or fourteenth aspect, the movement determining means for allowing or prohibiting the movement of the imaging position by the moving means, and the image light incident on the image sensor. Is a variable spatial filter that attenuates the spatial frequency component of the image light, wherein the spatial frequency component is attenuated by a first attenuation amount when the movement of the imaging position is prohibited, and is removed from the optical path of the image light when it is allowed. The configuration further includes a variable spatial filter.
【0281】これにより、空間フィルタが光路から抜脱
される可変空間フィルタの構成としているため、可変空
間フィルタの問題は解決することはできないが、合成画
像信号を出力するモードでの画像が請求項17の構成よ
りも画質が良いといった効果を奏する。As a result, since the spatial filter has a configuration of a variable spatial filter that escapes from the optical path, the problem of the variable spatial filter cannot be solved, but an image in a mode for outputting a composite image signal is not claimed. There is an effect that the image quality is better than the seventeenth configuration.
【0282】本発明の請求項16記載のカラー撮像装置
は、請求項14の構成において、上記画像合成手段が、
画像メモリから出力された画像信号と撮像素子から出力
された画像信号とを重ね合わせた後に、3種類の色彩光
に対応するそれぞれの画素データごとに、2回の撮像間
の光量差に基づいて発生する空間周波数成分を取り除
く、ローパスフィルタからなる光量差補正手段を有する
構成である。[0282] According to a sixteenth aspect of the present invention, in the color imaging apparatus according to the fourteenth aspect, the image synthesizing means comprises:
After superimposing the image signal output from the image memory and the image signal output from the image sensor, each pixel data corresponding to three types of color light is determined based on a light amount difference between two image capturing operations. This configuration has a light amount difference correction unit including a low-pass filter that removes a generated spatial frequency component.
【0283】これにより、2枚の原画像間に光量差が生
じる場合でも、1枚の画像メモリしかないカラー撮像装
置においても、ローパスフィルタを施すことにより光量
差を補正することができる。Thus, even when a light amount difference occurs between two original images, even in a color image pickup apparatus having only one image memory, the light amount difference can be corrected by applying a low-pass filter.
【図1】本発明の第1実施形態であるカラー撮像装置に
おける、合成処理回路の垂直色モアレ抑圧処理を示す模
式図である。FIG. 1 is a schematic diagram illustrating vertical color moiré suppression processing of a synthesis processing circuit in a color imaging device according to a first embodiment of the present invention.
【図2】上記のカラー撮像装置の構成を示すブロック図
である。FIG. 2 is a block diagram illustrating a configuration of the color imaging device.
【図3】撮像素子の結像面の様子を示す説明図である。FIG. 3 is an explanatory diagram illustrating a state of an image forming surface of an image sensor.
【図4】高解像度モードでの撮像素子の結像面における
画像光の第1および第2結像位置の位置関係を示す説明
図である。FIG. 4 is an explanatory diagram showing a positional relationship between first and second image forming positions of image light on an image forming surface of an image sensor in a high resolution mode.
【図5】色フィルタの透光領域の配列を示す説明図であ
る。FIG. 5 is an explanatory diagram showing an array of light-transmitting regions of a color filter.
【図6】レンズ群、イメージシフト機構の屈折板、およ
び撮像素子の位置関係を示す説明図である。FIG. 6 is an explanatory diagram showing a positional relationship among a lens group, a refraction plate of an image shift mechanism, and an image sensor.
【図7】イメージシフト機構の具体的構成を示す斜視図
である。FIG. 7 is a perspective view showing a specific configuration of an image shift mechanism.
【図8】空間フィルタの具体的構成を示す斜視図であ
る。FIG. 8 is a perspective view showing a specific configuration of a spatial filter.
【図9】(a)(b)はそれぞれ、図8の空間フィルタを
構成する2枚の複屈折板の分離ベクトルをHV平面に投
影した状態を示す説明図である。FIGS. 9A and 9B are explanatory diagrams respectively showing states in which the separation vectors of two birefringent plates constituting the spatial filter of FIG. 8 are projected on the HV plane.
【図10】別の具体的構成である空間フィルタを示す斜
視図である。FIG. 10 is a perspective view showing a spatial filter as another specific configuration.
【図11】(a)(b)(c)はそれぞれ、図10の空間フ
ィルタを構成する3枚の複屈折板の分離ベクトルをHV
平面に投影した状態を示す説明図である。11 (a), (b) and (c) show the separation vectors of the three birefringent plates constituting the spatial filter of FIG.
It is explanatory drawing which shows the state projected on the plane.
【図12】図8の空間フィルタを通過して4本に分離し
た光線の位置関係を示す説明図である。FIG. 12 is an explanatory diagram showing a positional relationship between light beams that have passed through the spatial filter of FIG. 8 and have been separated into four light beams.
【図13】図8の空間フィルタおよび図10の空間フィ
ルタの空間周波数特性を示す説明図である。FIG. 13 is an explanatory diagram showing spatial frequency characteristics of the spatial filter of FIG. 8 and the spatial filter of FIG.
【図14】通常出力画像信号の輝度信号および色差信号
のモアレのキャリア周波数を示す空間周波数平面図であ
る。FIG. 14 is a spatial frequency plan view showing a carrier frequency of a moire of a luminance signal and a color difference signal of a normal output image signal.
【図15】上記カラー撮像装置における信号処理回路の
構成を示すブロック図である。FIG. 15 is a block diagram illustrating a configuration of a signal processing circuit in the color imaging device.
【図16】色フィルタの透光領域の配列のうち6行4列
で構成される一部分を示す説明図である。FIG. 16 is an explanatory diagram showing a part of the arrangement of the light-transmitting regions of the color filter, which is constituted by six rows and four columns.
【図17】図15の信号処理回路に備えられたバンドパ
スフィルタの空間周波数特性を示す空間周波数平面図で
ある。17 is a spatial frequency plan view showing a spatial frequency characteristic of a band-pass filter provided in the signal processing circuit of FIG.
【図18】図17のバンドパスフィルタの水平方向のフ
ィルタ特性を示す模式図である。FIG. 18 is a schematic diagram illustrating horizontal filter characteristics of the bandpass filter of FIG. 17;
【図19】図17のバンドパスフィルタの垂直方向のフ
ィルタ特性を示す模式図である。19 is a schematic diagram illustrating filter characteristics in the vertical direction of the bandpass filter of FIG. 17;
【図20】2枚の原画像信号を重ね合わせた画像の等価
的な色フィルタ配列パターンを示す図である。FIG. 20 is a diagram showing an equivalent color filter array pattern of an image obtained by superimposing two original image signals.
【図21】2枚の原画像信号を重ね合わせた画像の等価
的な色フィルタ配列の輝度信号および色差信号のモアレ
のキャリア周波数を示す空間周波数平面図である。FIG. 21 is a spatial frequency plan view showing a carrier frequency of a moire of a luminance signal and a color difference signal of an equivalent color filter array of an image obtained by superimposing two original image signals.
【図22】上記カラー撮像装置における合成処理回路の
構成を示すブロック図である。FIG. 22 is a block diagram illustrating a configuration of a synthesis processing circuit in the color imaging device.
【図23】(a)〜(c)は、空間周波数成分(0,f
V/2)をもつ画像を撮像した際に発生する色差信号の
モアレを消去できることを示す模式図である。FIGS. 23A to 23C show spatial frequency components (0, f);
FIG. 4 is a schematic diagram showing that moiré of a color difference signal generated when an image having (V / 2) is captured can be eliminated.
【図24】図22の合成処理回路のさらに詳しい構成を
示すブロック図である。FIG. 24 is a block diagram showing a more detailed configuration of the synthesis processing circuit of FIG. 22;
【図25】先願の色フィルタの透光領域の配列を示す説
明図である。FIG. 25 is an explanatory diagram showing the arrangement of the light-transmitting regions of the color filter of the prior application.
【図26】先願のカラー撮像装置における高解像度モー
ドでの撮像素子の結像面における画像光の第1および第
2結像位置の位置関係を示す説明図である。FIG. 26 is an explanatory diagram showing a positional relationship between first and second image forming positions of image light on an image forming surface of an image sensor in a high resolution mode in the color imaging apparatus of the prior application.
【図27】先願のカラー撮像装置における通常出力画像
信号の輝度信号および色差信号のモアレのキャリア周波
数を示す空間周波数平面図である。FIG. 27 is a spatial frequency plan view showing a carrier frequency of a moire of a luminance signal and a color difference signal of a normal output image signal in the color imaging apparatus of the prior application.
【図28】先願のカラー撮像装置における高解像度出力
画像信号の輝度信号および色差信号のモアレのキャリア
周波数を示す空間周波数平面図である。FIG. 28 is a spatial frequency plan view showing a carrier frequency of a moire of a luminance signal and a color difference signal of a high-resolution output image signal in the color imaging apparatus of the prior application.
1 光学系 2 撮像素子 5 画像メモリ 6 信号処理回路 8 駆動回路 12 合成処理回路(画像合成手段) 15 色フィルタ 22 イメージシフト機構 206 垂直色モアレ抑圧処理回路(データ補間処理回
路)DESCRIPTION OF SYMBOLS 1 Optical system 2 Image sensor 5 Image memory 6 Signal processing circuit 8 Drive circuit 12 Synthesis processing circuit (image synthesis means) 15 Color filter 22 Image shift mechanism 206 Vertical color moiré suppression processing circuit (Data interpolation processing circuit)
Claims (20)
な領域にて相関のある第1および第2のデータ系列にお
いて、第1のデータ系列の欠落したデータを求める際、
該欠落データと同じ位置にある第2のデータ系列のデー
タに、第1のデータ系列のデータ群をローパスフィルタ
処理した値を加算し、さらに第2のデータ系列のデータ
群をローパスフィルタ処理した値を引くことにより求め
ることを特徴とするデータ補間処理方法。When obtaining missing data of a first data series in first and second data series each comprising a plurality of data groups and correlated in a local area,
A value obtained by adding a low-pass filtered value of the first data series data group to the second data series data at the same position as the missing data, and further a low-pass filtered value of the second data series data group A data interpolation processing method characterized in that it is obtained by subtracting
ータ系列の場合は求めるべきデータの位置に隣接する2
つのデータの平均をとり、第2のデータ系列の場合は求
めるべきデータと同じ位置に隣接する2つのデータの平
均をとることを特徴とする請求項1に記載のデータ補間
処理方法。2. The method according to claim 1, wherein the low-pass filter processing is performed in the case of the first data series.
2. The data interpolation processing method according to claim 1, wherein two data are averaged, and in the case of the second data series, an average of two data adjacent to the same position as the data to be obtained is averaged.
ラー撮像装置において異なる色フィルタ配列により受光
された2種類の受光データ群であることを特徴とする請
求項1又は2に記載のデータ補間処理方法。3. The color image pickup apparatus according to claim 1, wherein the first and second data series are two types of light reception data groups received by different color filter arrangements in the color image pickup apparatus. Data interpolation processing method.
なる結像位置において撮像された2枚の画像を重ね合わ
せて得た、第1の色フィルタの受光データ群と、第2の
色フィルタの受光データ群とであることを特徴とする請
求項3に記載のデータ補間処理方法。4. A light receiving data group of a first color filter, wherein the first and second data series are obtained by superimposing two images picked up at different image forming positions, 4. The data interpolation processing method according to claim 3, wherein the data interpolation group is a light reception data group of a color filter.
したデータを補間するデータ補間処理回路において、 欠落データを有する第1のデータ系列のデータ群をロー
パスフィルタ処理する第1のローパスフィルタ処理手段
と、 上記の第1のデータ系列と局所的な領域において相関の
ある第2のデータ系列のデータ群をローパスフィルタ処
理する第2のローパスフィルタ処理手段と、 第1のデータ系列における欠落したデータと同じ位置に
ある第2のデータ系列のデータに、第1のデータ系列の
データ群のローパスフィルタ処理した値を加算する加算
手段と、 該加算手段の計算値から、第2のデータ系列のデータ群
をローパスフィルタ処理した値を減算する減算手段とを
備えたことを特徴とするデータ補間処理回路。5. A data interpolation processing circuit for interpolating missing data of a data series comprising a plurality of data groups, wherein a first low-pass filter processing means for low-pass filtering a first data series data group having missing data. Second low-pass filter processing means for performing low-pass filter processing on a data group of a second data sequence that is correlated with the first data sequence in a local region; and missing data in the first data sequence. Adding means for adding a low-pass filtered value of the data group of the first data series to data of the second data series at the same position; and calculating the data group of the second data series from the calculated value of the adding means. And a subtraction means for subtracting a value obtained by subjecting the data to low-pass filtering.
求めるべきデータの位置に隣接する2つのデータの平均
をとることでローパスフィルタ処理を実施し、 上記の第2ローパスフィルタ処理手段は、求めるべきデ
ータと同じ位置に隣接する2つのデータの平均をとるこ
とでローパスフィルタ処理を実施することを特徴とする
請求項5に記載のデータ補間処理回路。6. The first low-pass filter processing means,
The low-pass filter processing is performed by averaging two data adjacent to the position of the data to be obtained, and the second low-pass filter processing means averages two data adjacent to the same position as the data to be obtained. 6. The data interpolation processing circuit according to claim 5, wherein the low-pass filter processing is performed.
ラー撮像装置において異なる色フィルタ配列により受光
された2種類の受光データ群であることを特徴とする請
求項5又は6に記載のデータ補間処理回路。7. The light receiving device according to claim 5, wherein said first and second data series are two kinds of light receiving data groups received by different color filter arrangements in a color image pickup apparatus. Data interpolation processing circuit.
なる結像位置において撮像された2枚の画像を重ね合わ
せて得た、第1の色フィルタの受光データ群と、第2の
色フィルタの受光データ群とであることを特徴とする請
求項7に記載のデータ補間処理回路。8. A light receiving data group of a first color filter, wherein the first and second data series are obtained by superimposing two images picked up at different image forming positions, 8. The data interpolation processing circuit according to claim 7, wherein the data interpolation circuit is a light reception data group of a color filter.
させるイメージシフト動作を実施して、結像位置が1画
素だけ異なる2枚の撮像画像を得て、画像合成処理回路
にて、これら2枚の撮像画像を結像位置の離反量だけ位
置の移動方向とは逆方向にずらして重ね合わせて合成画
像を生成するカラー撮像装置において、 上記画像合成処理回路に、上記請求項8に記載のデータ
補間処理回路が備えられていることを特徴とするカラー
撮像装置。9. An image shift operation for moving an image forming position on an image forming surface of an image pickup device to obtain two picked-up images having different image forming positions by one pixel. 9. A color image pickup apparatus for generating a composite image by superimposing these two captured images in a direction opposite to the moving direction of the position by the amount of separation of the image formation position to generate a composite image. A color imaging device comprising the data interpolation processing circuit described above.
枚の撮像画像を合成して1枚の合成画像とする画像合成
処理方法において、 まずは1枚目に撮像された画像を上書き可能な画像メモ
リに蓄積し、その後の2枚目以降は、画像を撮像するた
びに、画像メモリに蓄積された画像と、撮像された画像
とを合成処理し、該合成処理した画像を再び画像メモリ
に上書きして蓄積する工程を繰り返すことを特徴とする
画像合成処理方法。10. An image synthesizing method for synthesizing a plurality of captured images obtained by an image shift operation into a single synthesized image, wherein the first image is first stored in an image memory capable of overwriting. After the second and subsequent images are captured, each time an image is captured, the image stored in the image memory is combined with the captured image, and the combined image is overwritten again in the image memory. An image synthesis processing method characterized by repeating a step of storing.
枚の撮像画像を合成して1枚の合成画像とする画像合成
処理回路において、 1枚目に撮像された画像を上書き可能な画像メモリに蓄
積する手段と、 2枚目以降の撮像が行われるたびに、上記画像メモリに
蓄積された画像を読み出して撮像された画像とを合成処
理し、該合成処理した画像を再び上記画像メモリに上書
きする手段とを備えていることを特徴とする画像合成処
理回路。11. An image synthesis processing circuit for synthesizing a plurality of captured images obtained by an image shift operation to form a single composite image, and stores the first captured image in an overwritable image memory. Means for reading out the image stored in the image memory and synthesizing the picked-up image each time the second and subsequent images are picked up, and overwriting the synthesized image with the image memory again And an image synthesis processing circuit.
動させるイメージシフト動作を実施して、結像位置が異
なる複数の撮像画像を得て、画像合成処理回路にて、こ
れら複数の撮像画像を結像位置の離反量だけ位置の移動
方向とは逆方向にずらして重ね合わせて合成画像を生成
するカラー撮像装置において、 上記画像合成処理回路が、1枚目に撮像された画像を上
書き可能な画像メモリに蓄積する手段と、 2枚目以降の撮像が行われるたびに、上記画像メモリに
蓄積された画像を読み出して撮像された画像とを合成処
理し、該合成処理した画像を再び上記画像メモリに上書
きする手段とを備えていることを特徴とするカラー撮像
装置。12. An image shift operation for moving an image forming position on an image forming surface of an image pickup device to obtain a plurality of picked-up images having different image forming positions. In a color imaging device that generates a composite image by shifting images in the direction opposite to the direction of movement of the position by the amount of separation of the imaging position and generating a composite image, the image synthesis processing circuit overwrites the first captured image Means for storing the image in a possible image memory, and each time the second and subsequent images are captured, the image stored in the image memory is read out, and the captured image is combined, and the combined image is again processed. Means for overwriting the image memory.
れる被写体からの画像光のうちの対応する色彩光だけを
個別的に通過させる複数の透光領域を有し、該透光領域
が2次元平面上に配列された色フィルタであって、 透光領域は、第1〜第3の色彩光を通過させる第1〜第
3透光領域に区分され、第1および第2透光領域が一方
方向に沿って第1周期で直線状に配列された第1群と、
第1および第3透光領域が一方方向に沿って第1周期で
直線上に配列された第2群とが、一方方向と直交する他
方方向に沿って第2周期で交互に、かつ、第1群の第1
透光領域に第3透光領域が他方方向の両側に隣接するよ
うに配列された色フィルタと、 上記色フィルタの透光領域に個別的に対応した受光領域
が、透光領域の配列と同等の配列で2次元平面上に配列
され、各受光領域では対応した透光領域を通過した色彩
光だけを受光し、各受光領域の受光量を示す画素データ
から構成される画像信号を出力する撮像素子と、 上記撮像素子に入射される画像光の結像位置を、基準位
置である第1移動位置と、第1移動位置から一方方向に
第1周期の長さだけ相互にずれた第2移動位置に相対的
に移動させる移動手段と、 上記撮像素子から出力された2つの画像信号を撮像時の
結像位置の離反量だけ位置の移動方向とは逆方向にずら
して重ね合わせて、撮像素子からは得られなかった第2
または第3色彩光に対応する画素データを求めて合成画
像信号を生成する画像合成手段と、 撮影が開始されると、移動手段によって画像光の結像位
置を第1および第2移動位置のいずれか一方位置に移動
させ、該移動位置において撮像素子に画像光を撮像させ
て画像信号を画像合成手段に与え、次いで移動手段によ
って結像位置をいずれか他方位置に移動させ、該移動位
置において撮像素子に画像光を撮像させて画像信号を画
像合成手段に与える制御手段とを備え、 かつ、上記画像合成手段が、撮像素子からは得られなか
った第2または第3の色彩光に対応する画素データを、
該画素データと同じ位置にある第1色彩光に対応する画
素データに、該画素データと同じ位置を通る一方方向に
沿って配列された第2または第3色彩光に対応する画素
データ群をローパスフィルタ処理した値を加算し、さら
に該画素データと同じ位置を通る一方方向に沿って配列
された第1色彩光に対応する画素データ群をローパスフ
ィルタ処理した値を引くことにより求めることを特徴と
するカラー撮像装置。13. A plurality of light-transmitting regions respectively corresponding to a plurality of color lights and individually passing only the corresponding color light out of the image light from the subject to be incident, wherein the light-transmitting regions are provided. A color filter arranged on a two-dimensional plane, wherein the light-transmitting region is divided into first to third light-transmitting regions that pass first to third color lights, and the first and second light-transmitting regions Are linearly arranged in a first cycle along one direction, and
A second group in which the first and third light-transmitting regions are arranged in a straight line at a first cycle along one direction alternately at a second cycle along the other direction orthogonal to the one direction, and First of a group
A color filter in which the third light-transmitting region is arranged adjacent to both sides in the other direction in the light-transmitting region, and a light-receiving region individually corresponding to the light-transmitting region of the color filter is equivalent to the arrangement of the light-transmitting regions. An imaging system that is arranged on a two-dimensional plane in an array of light receiving regions, each receiving region receives only the color light that has passed through the corresponding light transmitting region, and outputs an image signal composed of pixel data indicating the amount of light received in each light receiving region. A second movement in which the image forming position of the image light incident on the imaging device is shifted from the first movement position, which is a reference position, by a first period in one direction from the first movement position. A moving means for relatively moving the image pickup device, and two image signals output from the image pickup device being overlapped by being displaced in a direction opposite to the direction of movement of the position by the amount of separation of the imaging position at the time of image pickup. Second not obtained from
An image synthesizing unit that obtains pixel data corresponding to the third color light to generate a synthesized image signal; and, when photographing is started, the moving unit sets the image forming position of the image light to one of the first and second moving positions. At one of the positions, causing the image sensor to pick up image light at the moved position, apply an image signal to the image synthesizing unit, and then move the imaging position to one of the other positions by the moving unit, and perform imaging at the moved position. Control means for causing the element to capture image light to provide an image signal to the image combining means, and wherein the image combining means corresponds to a second or third color light not obtained from the imaging element. Data
The pixel data corresponding to the first color light located at the same position as the pixel data is low-passed with the pixel data group corresponding to the second or third color light arranged along one direction passing through the same position as the pixel data. The values obtained by adding the filtered values are obtained by subtracting the low-pass filtered values of the pixel data group corresponding to the first color light arranged along one direction passing through the same position as the pixel data. Color imaging device.
し、第2回目の撮像に同期して蓄積した画像信号を出力
し、出力した領域に画像合成手段から出力された合成画
像信号を上書きして蓄積する画像メモリをさらに備えた
ことを特徴とする請求項13記載のカラー撮像装置。14. An image signal which has been captured for the first time is accumulated, an image signal which has been accumulated in synchronization with the second imaging is output, and the synthesized image signal output from the image synthesizing means is output to the output area. 14. The color image pickup apparatus according to claim 13, further comprising an image memory for storing data by overwriting.
する画素データ群をローパスフィルタ処理する際は、求
めるべき画素データの位置に隣接する2つの画素データ
の平均をとることで処理を実施し、 第2および第3色彩光に対応する画素データ群のローパ
スフィルタ処理する際は、求めるべき画素データと同じ
位置に隣接する2つの画素データの平均をとることで処
理を実施することを特徴とする請求項13又は14に記
載のカラー撮像装置。15. When the image synthesizing means performs low-pass filtering on a pixel data group corresponding to the first color light, the processing is performed by averaging two pixel data adjacent to the position of the pixel data to be obtained. When performing the low-pass filter processing of the pixel data groups corresponding to the second and third color lights, it is preferable to perform the processing by averaging two pixel data adjacent to the same position as the pixel data to be obtained. The color imaging device according to claim 13, wherein
力された画像信号と撮像素子から出力された画像信号と
を重ね合わせた後に、3種類の色彩光に対応するそれぞ
れの画素データごとに、2回の撮像間の光量差に基づい
て発生する空間周波数成分を取り除く、ローパスフィル
タからなる光量差補正手段を有することを特徴とする請
求項14に記載のカラー撮像装置。16. The image synthesizing means superimposes an image signal output from an image memory and an image signal output from an image sensor, and then, for each pixel data corresponding to three types of color light, 15. The color imaging apparatus according to claim 14, further comprising a light amount difference correction unit including a low-pass filter for removing a spatial frequency component generated based on a light amount difference between two imagings.
許容または禁止する移動判定手段と、 撮像素子に入射される画像光の空間周波数成分を減衰さ
せる固定空間フィルタをさらに含むことを特徴とする請
求項13又は14記載のカラー撮像装置。17. The image forming apparatus further comprising: movement determining means for permitting or prohibiting movement of an image forming position in the moving means; and a fixed spatial filter for attenuating a spatial frequency component of image light incident on an image pickup device. The color imaging device according to claim 13.
許容または禁止する移動判定手段と、 撮像素子に入射される画像光の空間周波数成分を減衰さ
せる可変空間フィルタであって、撮像位置の移動が禁止
されるときに空間周波数成分を第1の減衰量だけ減衰さ
せ、許容されるときは画像光の光路から除去される可変
空間フィルタをさらに含むことを特徴とする請求項13
又は14記載のカラー撮像装置。18. A moving determining means for permitting or prohibiting a movement of an image forming position in said moving means, and a variable spatial filter for attenuating a spatial frequency component of image light incident on an image pickup device, wherein 14. The apparatus according to claim 13, further comprising a variable spatial filter that attenuates the spatial frequency component by a first amount of attenuation when is prohibited, and removes the spatial frequency component from the optical path of the image light when allowed.
Or the color imaging device according to 14.
的な領域にて相関のある第1および第2のデータ系列に
おいて、第1のデータ系列の欠落したデータを求める
際、該欠落データと同じ位置にある第2のデータ系列の
データに、第1のデータ系列のデータ群をローパスフィ
ルタ処理した値を加算し、さらに第2のデータ系列のデ
ータ群をローパスフィルタ処理した値を引くことにより
求めるコンピュータプログラムを記録した記録媒体。19. When obtaining missing data of a first data series in first and second data series, each of which comprises a plurality of data groups and having a correlation in a local area, the same data as the missing data is used. The value obtained by adding the value obtained by subjecting the data group of the first data series to low-pass filtering to the data of the second data series at the position, and further subtracting the value obtained by subjecting the data group of the second data series to low-pass filtering. A recording medium that records a computer program.
枚の撮像画像を合成して1枚の合成画像とする際に、ま
ずは1枚目に撮像された画像を上書き可能な画像メモリ
に蓄積し、その後の2枚目以降は、画像を撮像するたび
に、画像メモリに蓄積された画像と、撮像された画像と
を合成処理し、該合成処理した画像を再び画像メモリに
上書きして蓄積する工程を繰り返すことで合成画像を作
成するコンピュータプログラムを記録した記録媒体。20. When combining a plurality of captured images obtained by the image shift operation into one composite image, first, the first captured image is stored in an overwritable image memory, After the second and subsequent images, each time an image is captured, a process of combining the image stored in the image memory and the captured image is performed, and the combined image is overwritten and stored again in the image memory. A recording medium recording a computer program for creating a composite image by repeating the above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33617697A JP3497363B2 (en) | 1997-12-05 | 1997-12-05 | Image synthesis processing method, image synthesis processing circuit, and color imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33617697A JP3497363B2 (en) | 1997-12-05 | 1997-12-05 | Image synthesis processing method, image synthesis processing circuit, and color imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11168744A true JPH11168744A (en) | 1999-06-22 |
JP3497363B2 JP3497363B2 (en) | 2004-02-16 |
Family
ID=18296456
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP33617697A Expired - Fee Related JP3497363B2 (en) | 1997-12-05 | 1997-12-05 | Image synthesis processing method, image synthesis processing circuit, and color imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3497363B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006048962A1 (en) * | 2004-11-04 | 2006-05-11 | Mitsubishi Denki Kabushiki Kaisha | Pixel signal processor and pixel signal processing method |
WO2006059409A1 (en) * | 2004-12-02 | 2006-06-08 | Mitsubishi Denki Kabushiki Kaisha | Pixel signal processing device and method |
JP2014160926A (en) * | 2013-02-19 | 2014-09-04 | Nippon Hoso Kyokai <Nhk> | Imaging apparatus and signal interpolation method |
KR20200054410A (en) * | 2018-11-09 | 2020-05-20 | 경북대학교 산학협력단 | Light field imaging system |
-
1997
- 1997-12-05 JP JP33617697A patent/JP3497363B2/en not_active Expired - Fee Related
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006048962A1 (en) * | 2004-11-04 | 2006-05-11 | Mitsubishi Denki Kabushiki Kaisha | Pixel signal processor and pixel signal processing method |
KR100755601B1 (en) * | 2004-11-04 | 2007-09-06 | 미쓰비시덴키 가부시키가이샤 | Pixel signal processor and pixel signal processing method |
US7554583B2 (en) | 2004-11-04 | 2009-06-30 | Mitsubishi Denki Kabushiki Kaisha | Pixel signal processor and pixel signal processing method |
WO2006059409A1 (en) * | 2004-12-02 | 2006-06-08 | Mitsubishi Denki Kabushiki Kaisha | Pixel signal processing device and method |
KR100768619B1 (en) * | 2004-12-02 | 2007-10-18 | 미쓰비시덴키 가부시키가이샤 | Pixel signal processing device and method |
US7643074B2 (en) | 2004-12-02 | 2010-01-05 | Mitsubishi Denki Kabushiki Kaisha | Pixel signal processing apparatus and pixel signal processing method |
JP2014160926A (en) * | 2013-02-19 | 2014-09-04 | Nippon Hoso Kyokai <Nhk> | Imaging apparatus and signal interpolation method |
KR20200054410A (en) * | 2018-11-09 | 2020-05-20 | 경북대학교 산학협력단 | Light field imaging system |
US10911669B2 (en) | 2018-11-09 | 2021-02-02 | Kyungpook National University Industry-Academic Cooperation Foundation | Light field imaging system |
Also Published As
Publication number | Publication date |
---|---|
JP3497363B2 (en) | 2004-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4536170B2 (en) | Imaging device | |
JP4826152B2 (en) | Image composition method and imaging apparatus | |
US7148925B2 (en) | Solid-state honeycomb type image pickup apparatus using a complementary color filter and signal processing method therefor | |
JP3704238B2 (en) | Imaging device | |
JPH09261535A (en) | Image pickup device | |
JP2001016597A (en) | Solid-state image pickup device and signal processing method | |
JPH10126797A (en) | Image pickup device | |
JP2001285885A (en) | Solid-state image pickup element and signal processing method | |
JP3497363B2 (en) | Image synthesis processing method, image synthesis processing circuit, and color imaging device | |
US8711257B2 (en) | Color imaging device | |
JP4566974B2 (en) | Light intensity difference correction method | |
JP4391431B2 (en) | Imaging device | |
JP3648638B2 (en) | Color imaging device | |
JP3585710B2 (en) | Color imaging device and recording medium | |
JP4027079B2 (en) | Imaging device | |
JP3495842B2 (en) | Imaging device | |
JPH06269010A (en) | Color separation optical system, image pickup method and image pickup device | |
JPH10243409A (en) | Two-board type image pickup device | |
JPH10248069A (en) | Image pickup device | |
JP2000023172A (en) | Image pickup device | |
JP3515585B2 (en) | Two-chip imaging device | |
JP3406674B2 (en) | Two-chip imaging device | |
JPS60263592A (en) | Solid-state image pickup device | |
JP3259525B2 (en) | Image signal processing device | |
JPH0955885A (en) | Image pickup device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081128 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091128 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091128 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101128 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111128 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |