JPH10243409A - Two-board type image pickup device - Google Patents

Two-board type image pickup device

Info

Publication number
JPH10243409A
JPH10243409A JP4763597A JP4763597A JPH10243409A JP H10243409 A JPH10243409 A JP H10243409A JP 4763597 A JP4763597 A JP 4763597A JP 4763597 A JP4763597 A JP 4763597A JP H10243409 A JPH10243409 A JP H10243409A
Authority
JP
Japan
Prior art keywords
component
optical
image
light
hue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP4763597A
Other languages
Japanese (ja)
Inventor
Setsukou Chin
浙宏 陳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP4763597A priority Critical patent/JPH10243409A/en
Publication of JPH10243409A publication Critical patent/JPH10243409A/en
Pending legal-status Critical Current

Links

Landscapes

  • Optical Elements Other Than Lenses (AREA)
  • Optical Filters (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

PROBLEM TO BE SOLVED: To obtain accurately the luminance, the hue and the saturation by deviating positions of 2nd and 3rd optical components constituting the same pixel of an optical image by means of an optical means, transmitting them through micro filters placed in the unit of pixels and allowing light receiving cells of a 2nd image pickup means to independently pick up the image of the components. SOLUTION: An optical means 2 separates an optical image formed by an image pickup optical system 1 based on a prescribed color separation or light separation rule into an optical image consisting of a 1st optical component and an optical image consisting of other optical components. A 1st image pickup means 3 picks up the 1st optical component and converts it into 1st image information, and a 2nd image pickup means 5 uses an optical filter means 4 that spacially separates an optical image consisting of the other optical components than the 1st optical component into 2nd and 3rd optical components and picks up each optical image from the filter means 4. The optical means 2 emits the 2nd and 3rd optical components to the optical filter means 4 while deviating the 2nd and 3rd optical components by a prescribed interval along the arrangement direction of the pixels so as to allow the 1st to 3rd optical components to be picked up immediately.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、ＣＣＤイメージセ
ンサなどの撮像素子２板を用いて被写体のカラー撮像を
行う２板式撮像装置に関し、特に、偽色の発生を抑制す
る２板式撮像装置に関する。[0001] 1. Field of the Invention [0002] The present invention relates to a two-chip type image pickup apparatus for picking up a color image of a subject using two image pickup elements such as a CCD image sensor, and more particularly to a two-plate type image pickup apparatus for suppressing generation of false colors.

【０００２】[0002]

【従来の技術】一般に、ＲＧＢ表色系や補色表色系など
に基づいて光像を分解し、カラー撮像を行うカラー撮像
装置が知られている。このようなカラー撮像装置の一種
として、２板式撮像装置が従来から知られている。2. Description of the Related Art In general, there is known a color image pickup apparatus for decomposing an optical image based on an RGB color system or a complementary color system to perform color image pickup. As one type of such a color imaging device, a two-plate imaging device has been conventionally known.

【０００３】図１１は、この種の２板式撮像装置を説明
する図である。図１１において、撮影光学系（図示せ
ず）の光路上に、ダイクロイックプリズム７１が配置さ
れる。ダイクロイックプリズム７１内部には、貼り合わ
せ面が斜めに設けられ、この貼り合わせ面には、Ｇ（緑
色）成分を選択的に反射するＧ反射膜７２が膜形成され
る。FIG. 11 is a diagram illustrating this type of two-panel imaging apparatus. In FIG. 11, a dichroic prism 71 is arranged on an optical path of a photographing optical system (not shown). A bonding surface is provided obliquely inside the dichroic prism 71, and a G reflection film 72 that selectively reflects a G (green) component is formed on the bonding surface.

【０００４】このＧ反射膜７２の反射方向には、撮像素
子７３が配置される。一方、Ｇ反射膜７２の透過方向に
は、色フィルタアレイ７４を介して撮像素子７５が配置
される。この色フィルタアレイ７４には、Ｒ（赤色）成
分を透過する微小フィルタと、Ｂ（青色）成分を透過す
る微小フィルタとが、市松模様状に配列される。An image sensor 73 is disposed in the direction of reflection of the G reflection film 72. On the other hand, in the transmission direction of the G reflection film 72, an image sensor 75 is arranged via a color filter array 74. In the color filter array 74, micro filters transmitting the R (red) component and micro filters transmitting the B (blue) component are arranged in a checkered pattern.

【０００５】このような構成の２板式撮像装置では、撮
影光学系から入射した被写体光が、Ｇ反射膜７２を介し
て、Ｇ成分とＲＢ成分（マゼンタ）とに色分解される。
撮像素子７３は、Ｇ成分からなる被写体像を撮像し、図
１１（ａ）に示すようなＧ成分の画像情報を出力する。
一方、撮像素子７５は、ＲＢ成分からなる被写体像を、
色フィルタアレイ７４を介して撮像し、図１１（ｂ）に
示すようなＲ成分およびＢ成分からなる画像情報を出力
する。[0005] In the two-panel imaging apparatus having such a configuration, the subject light incident from the photographing optical system is color-separated into a G component and an RB component (magenta) via the G reflection film 72.
The image sensor 73 captures a subject image composed of a G component and outputs G component image information as shown in FIG.
On the other hand, the image sensor 75 converts a subject image composed of RB components into
An image is taken through the color filter array 74, and image information including the R component and the B component as shown in FIG. 11B is output.

【０００６】これらの画像情報は、対応する画素位置ご
とに重ね合わされ、図１１（ｃ）に示すような出力画像
が生成される。[0006] These pieces of image information are superimposed on each corresponding pixel position to generate an output image as shown in FIG.

【０００７】[0007]

【発明が解決しようとする課題】ところで、従来の２板
式撮像装置では、色フィルタアレイを介して２色の色情
報を１画素おきに撮像する。そのため、画素ごとに３色
情報は揃わず、一つの色情報が必ず欠落する。By the way, in the conventional two-chip type image pickup device, color information of two colors is picked up every other pixel via a color filter array. Therefore, three-color information is not prepared for each pixel, and one color information is always missing.

【０００８】例えば、上述の２板式撮像装置では、撮像
素子７５が、色フィルタアレイ７４を介してＲ成分とＢ
成分とを１画素おきに撮像する。そのため、図１１
（ｃ）に示すように、出力画像の各画素において３色情
報は揃わず、Ｒ成分もしくはＢ成分のどちらか一方が必
ず欠落する。このように画素単位に３色情報が揃わない
ため、各画素ごとの輝度，色相や彩度を正確に求めるこ
とができないという問題点があった。For example, in the above-described two-chip type image pickup apparatus, the image pickup element 75 outputs the R component and the B component through the color filter array 74.
The component is imaged every other pixel. Therefore, FIG.
As shown in (c), the three-color information is not aligned in each pixel of the output image, and one of the R component and the B component is always missing. As described above, since the three-color information is not prepared for each pixel, there is a problem that the luminance, hue, and saturation of each pixel cannot be accurately obtained.

【０００９】また、欠損した色情報を求めるために、周
辺画素の色情報を補間するなどの処理がなされる。しか
しながら、このような補間処理により求めた色情報は、
その画素位置の実際の色情報と異なる場合が往々にして
あり、偽色を発生しやすいという問題点があった。そこ
で、請求項１，２に記載の発明では、少なくとも一部の
画素について、３色情報を直に撮像することができる２
板式撮像装置を提供することを目的とする。In order to obtain missing color information, processing such as interpolation of color information of peripheral pixels is performed. However, the color information obtained by such interpolation processing is
In many cases, the color information differs from the actual color information at the pixel position, and there is a problem that false colors are easily generated. Therefore, according to the first and second aspects of the present invention, it is possible to directly capture three-color information for at least some pixels.
It is an object to provide a plate-type imaging device.

【００１０】請求項３に記載の発明では、請求項１の目
的と併せて、光学手段（後述）を簡易な構造で実現した
２板式撮像装置を提供することを目的とする。請求項４
に記載の発明では、請求項１の目的と併せて、カラー画
像情報を適正に生成することができる２板式撮像装置を
提供することを目的とする。A third object of the present invention is to provide, in addition to the object of the first embodiment, a two-chip type image pickup apparatus which realizes optical means (described later) with a simple structure. Claim 4
Another object of the present invention is to provide a two-panel imaging apparatus capable of appropriately generating color image information, in addition to the object of the first aspect.

【００１１】請求項５に記載の発明では、請求項４の目
的と併せて、全画素のカラー画像情報を適正に生成する
ことができる２板式撮像装置を提供することを目的とす
る。請求項６に記載の発明では、請求項５の目的と併せ
て、より良質なカラー画像を生成することができる２板
式撮像装置を提供することを目的とする。請求項７に記
載の発明では、請求項５の目的と併せて、より自然なカ
ラー画像を生成することができる２板式撮像装置を提供
することを目的とする。A fifth object of the present invention is to provide, in addition to the object of the fourth embodiment, a two-chip type image pickup apparatus capable of appropriately generating color image information of all pixels. According to a sixth aspect of the present invention, in addition to the object of the fifth aspect, it is an object of the present invention to provide a two-panel imaging apparatus capable of generating a better quality color image. An object of the present invention is to provide a two-panel imaging apparatus capable of generating a more natural color image, in addition to the object of the fifth aspect.

【００１２】[0012]

【課題を解決するための手段】図１は、請求項１，２に
記載の発明を説明する図である。請求項１に記載の発明
は、撮影光学系１により形成される光像を所定の色分解
ルールもしくは光分解ルールに基づいて分解し、第１の
光成分からなる光像と、それ以外の光成分からなる光像
とに区分する光学手段２と、第１の光成分からなる光像
を撮像し、第１の光成分に対応した第１の画像情報に変
換する第１の撮像手段３と、画素単位に混在配置された
微小フィルタを用いて、それ以外の光成分からなる光像
を、第２の光成分と第３の光成分とに空間分割する光学
フィルタ手段４と、光学フィルタ手段４を介して光像を
撮像し、第２の光成分に対応した第２の画像情報と、第
３の光成分に対応した第３の画像情報とに変換する第２
の撮像手段５とを備えてなる２板式撮像装置において、
光学手段２は、光学フィルタ手段４に向けて、第２の光
成分と第３の光成分とを画素の並び方向に沿って一定間
隔だけずらして出射することを特徴とする。FIG. 1 is a diagram for explaining the invention according to the first and second aspects. According to the first aspect of the present invention, a light image formed by the photographing optical system 1 is decomposed based on a predetermined color separation rule or light separation rule, and a light image composed of a first light component and other light images are separated. An optical unit 2 for dividing the optical image into a light image composed of components, a first imaging unit 3 for capturing an optical image composed of the first light component, and converting the optical image into first image information corresponding to the first light component; An optical filter means 4 for spatially dividing an optical image composed of other light components into a second light component and a third light component by using a fine filter mixedly arranged in pixel units; A second image information that is captured via the optical imager 4 and converted into second image information corresponding to the second light component and third image information corresponding to the third light component.
In a two-chip imaging device including the imaging means 5 of
The optical means 2 is characterized in that the second light component and the third light component are emitted toward the optical filter means 4 while being shifted by a predetermined interval along the direction in which the pixels are arranged.

【００１３】請求項２に記載の発明は、請求項１に記載
の２板式撮像装置において、光学手段２が、光学フィル
タ手段４に向けて、第２の光成分と第３の光成分とを微
小フィルタの配置間隔だけずらして出射することを特徴
とする。図２は、請求項３に記載の発明を説明する図で
ある。請求項３に記載の発明は、請求項１または請求項
２に記載の２板式撮像装置において、光学手段２は、入
射側の屈折面Ｒ１と出射側の屈折面Ｒ２とが平行し、か
つ該屈折面Ｒ１，Ｒ２を撮影光学系１の光軸に対し斜め
に配置してなる光学部材から構成され、光学部材の反射
作用により第１の光成分（λ１）を選択的に反射し、光
学部材の屈折分散作用により第２および第３の光成分
（λ２，λ３）を相互にずらして出射することを特徴と
する。According to a second aspect of the present invention, in the two-panel imaging apparatus according to the first aspect, the optical means 2 converts the second light component and the third light component toward the optical filter means 4. It is characterized in that the light is emitted shifted by the arrangement interval of the minute filters. FIG. 2 is a view for explaining the invention described in claim 3. According to a third aspect of the present invention, in the two-panel imaging apparatus according to the first or second aspect, the optical means 2 is configured such that the incident side refraction surface R1 and the exit side refraction surface R2 are parallel to each other. The optical member is constituted by an optical member in which the refraction surfaces R1 and R2 are arranged obliquely with respect to the optical axis of the photographing optical system 1, and selectively reflects the first light component (λ1) by the reflection action of the optical member. And the second and third light components (λ2, λ3) are emitted while being shifted from each other by the refraction and dispersion action of.

【００１４】図３は、請求項４に記載の発明を説明する
図である。請求項４に記載の発明は、請求項１または請
求項２に記載の２板式撮像装置において、第２の撮像手
段５により変換された第２の画像情報および第３の画像
情報を取り込み、該画像情報の画素位置を第２および第
３の光成分のずれ量に応じて戻して対応画素の位置合わ
せを行う画素位置調整手段６と、画素位置調整手段６に
より画素位置を調整された第２の画像情報および第３の
画像情報を取り込み、第１の撮像手段３により変換され
た第１の画像情報と併せて、カラー画像情報を生成する
カラー生成手段７とを備えたことを特徴とする。FIG. 3 is a diagram for explaining the invention according to claim 4. According to a fourth aspect of the present invention, in the two-panel imaging apparatus according to the first or second aspect, the second image information and the third image information converted by the second imaging means 5 are taken, and A pixel position adjusting unit 6 that returns the pixel position of the image information according to the shift amount of the second and third light components to perform the alignment of the corresponding pixel, and the second pixel position adjusted by the pixel position adjusting unit 6. And a color generating means 7 for taking in the image information and the third image information and generating color image information together with the first image information converted by the first imaging means 3. .

【００１５】図４は、請求項５〜７に記載の発明を説明
する図である。請求項５に記載の発明は、請求項４に記
載の２板式撮像装置において、カラー生成手段７は、第
１〜３の画像情報から輝度成分を抽出し、該輝度成分を
補間処理して全画素の輝度成分を算出する輝度補間手段
８と、第１〜３の画像情報から色相成分を抽出し、色相
成分が得られない画素について、輝度成分の高い側の隣
接画素から色相成分を外延する色相外延手段９と、輝度
補間手段８により得られた全画素の輝度成分と、色相外
延手段９により得られた全画素の色相成分とを併せて、
全画素についてカラー画像情報を生成するカラー補完手
段１０とを備えてなることを特徴とする。FIG. 4 is a diagram for explaining the invention according to the fifth to seventh aspects. According to a fifth aspect of the present invention, in the two-panel imaging apparatus according to the fourth aspect, the color generation means 7 extracts a luminance component from the first to third image information, and performs an interpolation process on the luminance component to obtain a total. A luminance interpolation means 8 for calculating a luminance component of a pixel, and a hue component extracted from the first to third image information, and for a pixel for which no hue component is obtained, a hue component is extended from an adjacent pixel having a higher luminance component. The luminance components of all pixels obtained by the hue extension means 9 and the luminance interpolation means 8 and the hue components of all pixels obtained by the hue extension means 9 are combined,
A color complementing means for generating color image information for all pixels.

【００１６】請求項６に記載の発明は、請求項５に記載
の２板式撮像装置において、色相外延手段９は、第１〜
３の画像情報から色相成分を抽出し、色相成分が得られ
ない画素について、輝度成分の高い側の隣接画素から色
相成分を外延することを特徴とする。請求項７に記載の
発明は、請求項５に記載の２板式撮像装置において、色
相外延手段９は、第１〜３の画像情報から色相成分を抽
出し、色相成分が得られない画素について、輝度差の小
さい側の隣接画素から色相成分を外延することを特徴と
する。According to a sixth aspect of the present invention, in the two-panel type imaging apparatus according to the fifth aspect, the hue extension means 9 includes the first to the first colors.
The method is characterized in that the hue component is extracted from the image information of No. 3 and the hue component is extended from the neighboring pixel on the higher luminance component side for the pixel where the hue component cannot be obtained. According to a seventh aspect of the present invention, in the two-panel imaging apparatus according to the fifth aspect, the hue extension means 9 extracts a hue component from the first to third image information, and for a pixel for which no hue component is obtained, The method is characterized in that the hue component is extended from an adjacent pixel on the side where the luminance difference is small.

【００１７】（作用）請求項１にかかわる２板式撮像装
置では、光学手段２を介して光像を分解し、第１の光成
分と、その他の光成分とに分ける。この第１の光成分か
らなる光像は、第１の撮像手段３において撮像され、第
１の画像情報に変換される。一方、光学手段２は、画素
の並び方向に沿って一定間隔だけずらして、第２の光成
分と第３の光成分とを出射する。(Operation) In the two-plate type image pickup apparatus according to the first aspect, the light image is decomposed via the optical means 2 and divided into a first light component and other light components. The light image composed of the first light component is picked up by the first image pickup means 3 and is converted into first image information. On the other hand, the optical unit 2 emits the second light component and the third light component while being shifted by a certain interval along the arrangement direction of the pixels.

【００１８】したがって、光像の同一画素を本来構成す
る第２の光成分と第３の光成分とは、光学手段２を介し
て位置がずらされ、光学フィルタ手段４上の異なる位置
にそれぞれ到達する。このとき、第２および第３の光成
分が到達位置の微小フィルタをそれぞれ透過する場合、
光像の同一画素を構成する第２の光成分と第３の光成分
とは、光学フィルタ手段４を透過し、第２の撮像手段５
において個別に撮像される。Therefore, the positions of the second light component and the third light component that originally constitute the same pixel of the optical image are shifted through the optical means 2 and reach different positions on the optical filter means 4, respectively. I do. At this time, when the second and third light components are respectively transmitted through the minute filters at the arrival positions,
The second light component and the third light component that constitute the same pixel of the light image pass through the optical filter means 4 and the second image pickup means 5
Are individually imaged.

【００１９】一方、第２および第３の光成分が到達位置
の微小フィルタを透過しない場合には、少なくとも一方
の光成分が、光学フィルタ手段４を透過せずに欠落す
る。このような作用により、光像の少なくとも一部の画
素については、第１〜第３の光成分が直に撮像される。
したがって、これらの一部の画素について、色相や彩度
などを正確に求めることが可能となる。On the other hand, when the second and third light components do not pass through the minute filter at the arrival position, at least one of the light components does not pass through the optical filter means 4 and is lost. With such an operation, the first to third light components are directly imaged for at least some of the pixels of the light image.
Therefore, it is possible to accurately determine the hue, saturation, and the like for some of these pixels.

【００２０】請求項２にかかわる２板式撮像装置では、
光学手段２が、光学フィルタ手段４の微小フィルタの配
置間隔だけずらして、第２の光成分と第３の光成分とを
出射する。したがって、光像の同一画素を本来構成する
第２の光成分と第３の光成分とは、光学手段２を介して
僅かに位置がずらされ、光学フィルタ手段４上の隣接す
る２つの微小フィルタにそれぞれ到達する。In the two-panel type imaging apparatus according to the second aspect,
The optical unit 2 emits the second light component and the third light component by shifting the arrangement distance of the minute filters of the optical filter unit 4. Therefore, the positions of the second light component and the third light component that originally constitute the same pixel of the optical image are slightly shifted through the optical unit 2, and the two adjacent micro filters on the optical filter unit 4 are separated. Reach each.

【００２１】このとき、２つの微小フィルタが光成分を
透過する場合、光像の同一画素を構成する第２の光成分
と第３の光成分とは、光学フィルタ手段４を透過し、第
２の撮像手段５において個別に撮像される。一方、２つ
の微小フィルタが光成分を透過しない場合には、光像の
同一画素を構成する第２の光成分と第３の光成分とは、
光学フィルタ手段４を透過せずに欠落する。At this time, when the two fine filters transmit the light component, the second light component and the third light component constituting the same pixel of the light image pass through the optical filter means 4 and pass through the second filter. Are individually imaged by the imaging means 5. On the other hand, when the two micro filters do not transmit the light component, the second light component and the third light component constituting the same pixel of the light image are:
The light does not pass through the optical filter means 4 and is dropped.

【００２２】このような作用により、光像の少なくとも
一部の画素については、第１〜第３の光成分が直に撮像
される。したがって、これらの一部の画素について、輝
度や色相や彩度などを正確に求めることが可能となる。
請求項３にかかわる２板式撮像装置では、光学手段２
が、平行な屈折面を有する光学部材から構成される。With such an operation, the first to third light components are directly imaged for at least a part of the pixels of the light image. Therefore, it is possible to accurately obtain the luminance, hue, saturation, and the like for some of these pixels.
In the two-chip imaging device according to claim 3, the optical means 2
Are composed of optical members having parallel refraction surfaces.

【００２３】第１の光成分は、光学部材の反射作用によ
り選択的に反射される。このような選択的な反射作用と
しては、例えば次のようなものがある。まず、屈折面は
斜めに配置されるので、特定軸の偏光成分を選択的に反
射することができる。また、光学部材に特定色を反射す
る光学薄膜などを形成することにより、特定色の光成分
を選択的に反射することもできる。その他、光学部材に
ハーフミラーを形成することにより、特定比率の光成分
を選択的に反射することもできる。The first light component is selectively reflected by the reflection action of the optical member. Such selective reflections include, for example, the following. First, since the refracting surface is arranged obliquely, it can selectively reflect a polarized component of a specific axis. Further, by forming an optical thin film or the like that reflects a specific color on the optical member, it is possible to selectively reflect a light component of a specific color. In addition, by forming a half mirror on the optical member, it is possible to selectively reflect a specific ratio of light components.

【００２４】一方、光学部材を透過する光成分について
は、入射側の屈折面Ｒ１および出射側の屈折面Ｒ２にお
いて屈折作用が生じ、出射光が平行変位する。このと
き、光学部材の分散作用により、第２および第３の光成
分の変位量は相互にずれる。ここで、屈折面の間隔や光
学定数を調整することにより、このずれ量を適宜に設定
することができる。On the other hand, with respect to the light component transmitted through the optical member, refraction occurs on the refraction surface R1 on the incident side and the refraction surface R2 on the exit side, and the outgoing light is displaced in parallel. At this time, the displacement amounts of the second and third light components are shifted from each other due to the dispersing action of the optical member. Here, by adjusting the distance between the refraction surfaces and the optical constants, the amount of this deviation can be appropriately set.

【００２５】請求項４にかかわる２板式撮像装置では、
画素位置調整手段６が、第２の画像情報および第３の画
像情報を取り込み、これらの画像情報間で画素位置を第
２および第３の光成分のずれ量に応じて戻すことによ
り、対応画素の位置合わせを行う。カラー生成手段７
は、画素位置を調整された第２の画像情報および第３の
画像情報を取り込み、第１の画像情報と併せて、カラー
画像情報を生成する。In the two-plate type imaging apparatus according to the fourth aspect,
The pixel position adjusting means 6 captures the second image information and the third image information, and returns the pixel position between these pieces of image information according to the shift amounts of the second and third light components, thereby obtaining the corresponding pixel. Perform position adjustment. Color generation means 7
Captures the second image information and the third image information whose pixel positions have been adjusted, and generates color image information together with the first image information.

【００２６】請求項５にかかわる２板式撮像装置では、
輝度補間手段８は、第１〜３の画像情報から輝度成分を
抽出し、該輝度成分を補間処理して全画素の輝度成分を
算出する。色相外延手段９は、第１〜３の画像情報から
色相成分を抽出し、色相成分が得られない画素について
は、輝度成分の高い側の隣接画素から色相成分を外延す
る。[0026] In the two-panel imaging device according to claim 5,
The luminance interpolation means 8 extracts a luminance component from the first to third image information, and performs an interpolation process on the luminance component to calculate a luminance component of all pixels. The hue extension means 9 extracts hue components from the first to third image information, and for pixels for which no hue components can be obtained, extends the hue components from adjacent pixels on the higher luminance component side.

【００２７】カラー補完手段１０は、上記の輝度成分と
色相成分とを併せ、例えば第１の画像情報なども参照し
つつ、全画素についてのカラー画像情報を生成する。こ
のような色相成分の処理では、隣接画素で実際に撮像さ
れた色相成分がそのまま外延されるので、偽色（撮像画
像上に本来存在しない色）の発生が確実に抑制される。The color complementing means 10 generates color image information for all pixels by combining the above-mentioned luminance component and hue component with reference to, for example, the first image information. In the processing of such a hue component, the hue component actually picked up by an adjacent pixel is extended as it is, so that the generation of a false color (a color that does not originally exist on the picked-up image) is reliably suppressed.

【００２８】なお、実際と異なる色相成分が誤って外延
された場合、色が僅かにはみ出すという現象が生じる。
しかし、人間の視覚特性において、色の僅かなはみ出し
は、偽色の発生に比べて格段に目立たない。そのため、
画像全体が破綻するおそれは殆ど生じない。請求項６に
かかわる２板式撮像装置では、輝度成分の高い隣接画素
から色相成分を外延する。このように輝度成分の高い画
素の色相成分はＳ／Ｎが比較的高い。したがって、この
ような色相成分を選択的に外延することにより、画像全
体のＳ／Ｎを損ねるおそれが少なくなる。When a hue component different from the actual one is erroneously extended, a phenomenon occurs in which the color slightly protrudes.
However, in the visual characteristics of human beings, slight protrusion of color is much less noticeable than occurrence of false color. for that reason,
There is almost no possibility that the entire image will break down. In the two-panel imaging apparatus according to the sixth aspect, the hue component is extended from an adjacent pixel having a high luminance component. The hue component of a pixel having a high luminance component has a relatively high S / N. Therefore, by selectively extending such hue components, the possibility of impairing the S / N of the entire image is reduced.

【００２９】請求項７にかかわる２板式撮像装置では、
輝度値の近い隣接画素から色相成分を外延する。このよ
うに輝度値の近い画素同士は、画像自体の相関性が比較
的高い。したがって、このように相関性の高い隣接画素
から色相成分を選択的に外延することにより、色にじみ
などの不具合を効果的に抑えることができる。[0029] In the two-panel imaging device according to the seventh aspect,
A hue component is extended from an adjacent pixel having a close luminance value. Pixels having similar luminance values have relatively high correlation of the image itself. Therefore, by selectively extending hue components from adjacent pixels having a high correlation in this way, it is possible to effectively suppress problems such as color bleeding.

【００３０】[0030]

【発明の実施の形態】以下、図面に基づいて本発明にお
ける実施の形態を説明する。 （実施形態の構成）図５は、実施形態の構成を示す図で
ある。なお、本実施形態は、請求項１〜７に記載の発明
に対応する。Embodiments of the present invention will be described below with reference to the drawings. (Structure of Embodiment) FIG. 5 is a diagram showing the structure of the embodiment. This embodiment corresponds to the first to seventh aspects of the present invention.

【００３１】図６は、平板ガラスの構成を示す斜視図で
ある。以下、図５および図６を用いて、本実施形態の構
成を説明する。撮影光学系１１の像空間側には、平板ガ
ラス１２が斜め向きに配置される。この平板ガラス１２
の入射側の面には、Ｇ成分を選択的に反射する公知のＧ
反射膜１２ａが膜形成される。FIG. 6 is a perspective view showing the structure of the flat glass. Hereinafter, the configuration of the present embodiment will be described with reference to FIGS. On the image space side of the photographing optical system 11, a flat glass 12 is disposed obliquely. This flat glass 12
A known G that selectively reflects a G component
The reflection film 12a is formed.

【００３２】また、平板ガラス１２の反射方向には撮像
素子１３が配置され、平板ガラス１２の透過方向には、
色フィルタアレイ１４で撮像面を覆われた撮像素子１５
が配置される。この色フィルタアレイ１４は、撮像素子
１５の各受光セルに対応して、Ｒ成分を透過する微小フ
ィルタと、Ｂ成分を透過する微小フィルタとが市松模様
状に配置される。An image sensor 13 is arranged in the direction of reflection of the flat glass 12, and in the direction of transmission of the flat glass 12,
Image sensor 15 whose imaging surface is covered by color filter array 14
Is arranged. In the color filter array 14, micro filters transmitting the R component and micro filters transmitting the B component are arranged in a checkered pattern corresponding to each light receiving cell of the image sensor 15.

【００３３】撮像素子１３の画像出力は、Ａ／Ｄ変換部
１６を介してＧメモリ１７に入力され、撮像素子１５の
画像出力は、Ａ／Ｄ変換部１８を介してＲＢメモリ１９
に入力される。Ｇメモリ１７およびＲＢメモリ１９は、
信号処理部２０に接続され、信号処理部２０の出力端子
は、ディスプレイ２１や画像記録部２２などに接続され
る。The image output of the image sensor 13 is input to the G memory 17 via the A / D converter 16, and the image output of the image sensor 15 is input to the RB memory 19 via the A / D converter 18.
Is input to The G memory 17 and the RB memory 19
The output terminal of the signal processing unit 20 is connected to the display 21, the image recording unit 22, and the like.

【００３４】なお、請求項１〜３に記載の発明と本実施
形態との対応関係については、光学手段２は平板ガラス
１２に対応し、第１の撮像手段３は撮像素子１３に対応
し、光学フィルタ手段４は色フィルタアレイ１４に対応
し、第２の撮像手段５は撮像素子１５に対応する。As to the correspondence between the first to third aspects of the present invention and the present embodiment, the optical means 2 corresponds to the flat glass 12, the first imaging means 3 corresponds to the imaging element 13, The optical filter means 4 corresponds to the color filter array 14, and the second image pickup means 5 corresponds to the image pickup device 15.

【００３５】請求項４に記載の発明と本実施形態との対
応関係については、画素位置調整手段６は信号処理部２
０の「ＲＢ画素の位置調整をする機能」に対応し、カラ
ー生成手段７は信号処理部２０の「ＲＧＢの３色情報か
らカラー画像情報を生成する機能」に対応する。請求項
５〜７に記載の発明と本実施形態との対応関係について
は、輝度補間手段８は信号処理部２０の「輝度成分を補
間する機能」に対応し、色相外延手段９は信号処理部２
０の「色相を外延する機能」に対応し、カラー補完手段
１０は信号処理部２０の「全画素についてカラー画像情
報を生成する機能」に対応する。As for the correspondence between the invention described in claim 4 and the present embodiment, the pixel position adjusting means 6 includes the signal processing unit 2.
0 corresponds to “the function of adjusting the position of the RB pixel”, and the color generation unit 7 corresponds to “the function of generating the color image information from the three color information of RGB” of the signal processing unit 20. Regarding the correspondence between the invention described in claims 5 to 7 and the present embodiment, the luminance interpolation means 8 corresponds to the “function of interpolating the luminance component” of the signal processing unit 20, and the hue extension means 9 corresponds to the signal processing unit. 2
The color compensating means 10 corresponds to the “function of generating color image information for all pixels” of the signal processing unit 20.

【００３６】（平板ガラス１２の光学設計）次に、平板
ガラス１２の光学設計について説明する。斜め向きに配
置された平板ガラス１２は、入射光と出射光との間に平
行変位が生じる。このときの変位量ｈ（λ）は、 ｈ（λ）＝ｔ・sinθ・［１−cosθ／｛ｎ（λ）2−sin2θ｝1/2］ ・・・・（１） となる。ここで、θは入射光軸に対する平板ガラス１２
の傾き，λは入射光の波長，ｔは平板ガラス１２の厚
み，ｎ（λ）は波長λにおける屈折率である。(Optical Design of Flat Glass 12) Next, the optical design of the flat glass 12 will be described. In the flat glass 12 arranged obliquely, parallel displacement occurs between the incident light and the outgoing light. The displacement amount h (λ) at this time is as follows: h (λ) = t · sin θ · [1−cos θ / {n (λ) 2 −sin 2 θ｝ 1/2 ] (1) Here, θ is the flat glass 12 with respect to the incident optical axis.
, Λ is the wavelength of the incident light, t is the thickness of the flat glass 12, and n (λ) is the refractive index at the wavelength λ.

【００３７】一例として、一般的な重フリントガラスＳ
Ｆ２の屈折率ｎ（λ）は、次表のようになる。 色成分 波長λ（ｎｍ） 屈折率ｎ Ｒ ６４３．８ １．６４３ Ｇ ５４６．１ １．６５２ Ｂ ４８６．０ １．６６１ ここで、平板ガラス１２の傾きθ＝４５°として、Ｒ成
分とＢ成分のずれ量δを（１）式から算出すると、 δ＝ｈ（４８６．０）−ｈ（６４３．８） ＝４．４７×１０-3・ｔ ・・・（２） となる。As an example, a general heavy flint glass S
The refractive index n (λ) of F2 is as shown in the following table. Color component wavelength λ (nm) Refractive index n R 643.8 1.643 G 546.1 1.652 B 486.0 1.661 Here, assuming that the inclination θ of plate glass 12 is 45 °, R component and B component Δ = h (486.0) −h (643.8) = 4.47 × 10 −3 .t (2)

【００３８】撮像素子１５の受光セルの中心間隔ｐが
６．８μｍの場合、色フィルタアレイ１４の微小フィル
タの配置間隔は、６．８μｍとなる。したがって、平板
ガラス１２の厚みｔを、 ｔ＝６．８×１０-6／４．４７×１０-3＝１．５２ｍｍ に設計すると、同一画素を構成するＲ成分とＢ成分とを
色分散して、隣接する微小フィルタ（受光セル）にそれ
ぞれ到達させることができる。When the center interval p of the light receiving cells of the image sensor 15 is 6.8 μm, the arrangement interval of the minute filters of the color filter array 14 is 6.8 μm. Therefore, when the thickness t of the flat glass 12 is designed to be t = 6.8 × 10 −6 /4.47×10 −3 = 1.52 mm, the R component and the B component constituting the same pixel are color-dispersed. As a result, it is possible to reach the adjacent minute filters (light receiving cells).

【００３９】（実施形態の動作）図７は、実施形態にお
ける撮像画像を示す説明図である。図８は、信号処理部
における画像処理を示す説明図である。以下、図５〜８
を用いて、本実施形態の動作を説明する。なお、説明を
簡単にするため、ここでは画像内の３×３画素部分を中
心に述べる。(Operation of Embodiment) FIG. 7 is an explanatory diagram showing a captured image in the embodiment. FIG. 8 is an explanatory diagram illustrating image processing in the signal processing unit. Hereinafter, FIGS.
The operation of the present embodiment will be described with reference to FIG. For the sake of simplicity, the description will focus on the 3 × 3 pixel portion in the image.

【００４０】まず、撮影光学系１１を介して結像される
被写体像Ａは、各画素がＲＧＢの光成分を含んで構成さ
れる。この被写体像Ａは、平板ガラス１２のＧ反射膜１
２ａにおいて一部反射され、Ｇ成分からなる反射光像Ｂ
を形成する。撮像素子１３は、この反射光像Ｂを撮像
し、Ｇ成分の画像情報Ｇ１１〜３３に変換する。これら
の画像情報Ｇ１１〜３３は、Ａ／Ｄ変換部１６を介して
Ａ／Ｄ変換された後、反射像なので左右を反転してＧメ
モリ１７に格納される。First, the subject image A formed through the photographing optical system 11 is configured such that each pixel includes an RGB light component. The subject image A is formed on the G reflection film 1 of the flat glass 12.
2a, a reflected light image B composed of a G component
To form The imaging element 13 captures the reflected light image B and converts it into G component image information G11 to G33. These pieces of image information G11 to G33 are A / D converted through the A / D conversion unit 16 and then stored in the G memory 17 after being left and right inverted because they are reflection images.

【００４１】一方、平板ガラス１２の透過光像Ｃでは、
上述した平板ガラス１２の屈折分散作用により、微小フ
ィルタの配置間隔だけＲ成分とＢ成分とが水平にずれ
る。その結果、透過光像Ｃは、Ｒ成分の画像情報Ｒ１１
〜３３と、水平方向にずれたＢ成分の画像情報Ｂ１０〜
３２とが重なった像となる。On the other hand, in the transmitted light image C of the flat glass 12,
Due to the refraction and dispersion action of the flat glass 12 described above, the R component and the B component are shifted horizontally by the arrangement interval of the fine filters. As a result, the transmitted light image C becomes the image information R11 of the R component.
To 33 and B-component image information B10 shifted in the horizontal direction.
32 becomes an overlapped image.

【００４２】この透過光像Ｃは、色フィルタアレイ１４
を介して色情報が弁別され、透過光像Ｄとなる。この透
過光像Ｄにおいては、同一画素を本来構成すべき（Ｒ１
１，Ｂ１１），（Ｒ２２，Ｂ２２），（Ｒ３１，Ｂ３
１）などの色情報が、水平方向に隣接して並ぶ。一方、
それ以外の（Ｒ１２，Ｂ１２），（Ｒ２１，Ｂ２１），
（Ｒ３２，Ｂ３２）などの色情報は、色フィルタアレイ
１４を介して欠落する。The transmitted light image C is transmitted to the color filter array 14
, The color information is discriminated through the process, and the transmitted light image D is obtained. In the transmitted light image D, the same pixel should be originally configured (R1
1, B11), (R22, B22), (R31, B3
Color information such as 1) is arranged adjacently in the horizontal direction. on the other hand,
Other (R12, B12), (R21, B21),
Color information such as (R32, B32) is missing via the color filter array 14.

【００４３】撮像素子１５は、この反射光像Ｄを撮像
し、Ｒ成分およびＢ成分の画像情報に変換する。これら
の画像情報は、Ａ／Ｄ変換部１８を介してＡ／Ｄ変換さ
れた後、ＲＢメモリ１９に格納される。このような状態
で、信号処理部２０は、ＲＢメモリ１９からＲ成分およ
びＢ成分の画像情報を取り込み、図８に示すような信号
処理を実行する。The image pickup device 15 picks up the reflected light image D and converts it into image information of R component and B component. These pieces of image information are stored in the RB memory 19 after A / D conversion through the A / D converter 18. In such a state, the signal processing unit 20 fetches the image information of the R component and the B component from the RB memory 19 and executes signal processing as shown in FIG.

【００４４】まず、信号処理部２０は、図８（ｂ）に示
すようにＢ成分の画像情報を水平方向に１画素分だけず
らし、Ｒ成分の画像情報との位置調整を行う。次に、信
号処理部２０は、Ｇメモリ１７からＧ成分の画像情報を
取り込み、位置調整後のＲ成分およびＢ成分の画像情報
と合わせて、図８（ｃ）に示すようなカラー画像情報を
生成する。First, as shown in FIG. 8B, the signal processing unit 20 shifts the B component image information by one pixel in the horizontal direction and adjusts the position with the R component image information. Next, the signal processing unit 20 fetches the image information of the G component from the G memory 17 and combines the image information of the R component and the B component after the position adjustment with the color image information as shown in FIG. Generate.

【００４５】この段階のカラー画像情報は、１画素おき
にＲＧＢの３色情報が全て揃う。また、残りの画素につ
いては、比視感度の高いＧ成分の色情報が効率的に得ら
れる。さらに、信号処理部２０は、１画素おきに得られ
たＲＧＢの３色情報から輝度成分Ｙを、例えば下式を用
いて抽出する。 Ｙ＝0.299Ｒ＋0.587Ｇ＋0.114Ｂ ・・・（３） 一方、３色情報が揃わない画素については、上下左右の
輝度成分を平均して補間する。In the color image information at this stage, all three color information of RGB is prepared for every other pixel. For the remaining pixels, color information of the G component having high relative luminous efficiency can be obtained efficiently. Further, the signal processing unit 20 extracts the luminance component Y from the RGB three-color information obtained for every other pixel using, for example, the following equation. Y = 0.299R + 0.587G + 0.114B (3) On the other hand, for pixels for which the three-color information is not uniform, the upper, lower, left, and right luminance components are averaged and interpolated.

【００４６】このような輝度成分の処理により、全画素
について図８（ｄ）に示すような輝度成分が得られる。
次に、信号処理部２０は、１画素おきに得られたＲＧＢ
の３色情報から、色相成分の一つである色相Ｈを、例え
ば下式を用いて抽出する。 Ｈ＝（Ｒ−Ｙ）／（Ｂ−Ｙ） ・・・（４） 一方、３色情報が揃わない画素については、上下左右の
隣接画素の内で、最も輝度成分の高い画素の色相Ｈを外
延する。なお、輝度差の小さな隣接画素から色相Ｈを外
延してもよい。By processing such a luminance component, a luminance component as shown in FIG. 8D is obtained for all pixels.
Next, the signal processing unit 20 calculates the RGB values obtained every other pixel.
From the three color information, a hue H, which is one of the hue components, is extracted using, for example, the following equation. H = (R−Y) / (B−Y) (4) On the other hand, for a pixel for which three-color information is not aligned, the hue H of the pixel with the highest luminance component among the upper, lower, left, and right neighboring pixels is calculated. Extend. Note that the hue H may be extended from an adjacent pixel having a small difference in luminance.

【００４７】このような色相Ｈの処理により、全画素に
ついて図８（ｆ）に示すような色相Ｈが得られる。上述
のようにして、３つの光成分（輝度成分Ｙ，色相Ｈ，Ｇ
成分）が得られる。信号処理部２０は、これらの値を
（３）式，（４）式に代入して連立方程式を解き、３色
情報が揃わない画素におけるＲ成分およびＢ成分を算出
する。By such processing of the hue H, the hue H as shown in FIG. 8F is obtained for all the pixels. As described above, three light components (luminance component Y, hue H, G
Component) is obtained. The signal processing unit 20 solves the simultaneous equations by substituting these values into the equations (3) and (4), and calculates the R component and the B component in the pixels where the three-color information is not available.

【００４８】以上説明した動作により、本実施形態の２
板式撮像装置では、図８（ｇ）に示すような補完処理後
のカラー画像情報が得られる。（実施形態の効果など）
このように、本実施形態では、光像の同一画素を本来構
成するＲ成分およびＢ成分が、平板ガラス１２を透過す
る際にずらされ、撮像素子１５上の隣接する受光セルに
それぞれ到達する。そのため、撮像素子１５では、同一
画素を構成するＲ成分およびＢ成分を個別に撮像するこ
とができる。According to the operation described above, the second embodiment
In the plate-type imaging device, color image information after the complementing process as shown in FIG. (Effects of the embodiment, etc.)
As described above, in the present embodiment, the R component and the B component that originally constitute the same pixel of the optical image are shifted when passing through the flat glass 12 and reach adjacent light receiving cells on the image sensor 15 respectively. Therefore, the image sensor 15 can individually image the R component and the B component that constitute the same pixel.

【００４９】したがって、撮像素子１３で撮像されたＧ
成分の画像情報と併せることにより、光像の少なくとも
一部については、ＲＧＢの３色情報を直に撮像すること
が可能となる。さらに、本実施形態では、光の色分解用
に平板ガラス１２を使用している。このような平板ガラ
スは、平板状のために加工がたやすいという利点を有す
る。Therefore, the G captured by the image sensor 13
In combination with the image information of the components, it is possible to directly capture RGB three-color information for at least a part of the light image. Further, in the present embodiment, the flat glass 12 is used for color separation of light. Such a flat glass has an advantage that processing is easy because of the flat shape.

【００５０】また、平板ガラス１２の厚みや光学定数
（材質）を調整することにより、Ｒ成分およびＢ成分の
ずれ量を自在に調節することができる。したがって、様
々な撮像素子における受光セル間隔に合わせて、ずれ量
の適正な設計を簡便に行うことができる。さらに、本実
施形態では、カラー画像情報に補完処理を施すことによ
り、全画素についてのカラー画像情報を生成している。
特に、色相については外延処理を施すので、偽色（撮像
画像上に本来存在しない色）の発生を確実に抑制するこ
とができる。Further, by adjusting the thickness and the optical constant (material) of the flat glass 12, the deviation amount of the R component and the B component can be freely adjusted. Therefore, appropriate design of the shift amount can be easily performed in accordance with the light receiving cell intervals in various image sensors. Further, in the present embodiment, the color image information is generated for all the pixels by performing the complementing process on the color image information.
In particular, since the hue is subjected to the extension processing, the generation of a false color (a color that does not originally exist in the captured image) can be reliably suppressed.

【００５１】また、本実施形態では、「輝度値の高い隣
接画素」もしくは「輝度差の小さな隣接画素」から色相
を外延する。このような輝度値の高い画素については、
色相のＳ／Ｎが比較的高いので、色相を外延する際に画
像全体のＳ／Ｎを損ねるおそれが少なくなる。一方、輝
度値の近い画素については、画像の相関性が高いので、
色相の外延により生じる色にじみなどを効果的に抑える
ことができる。In the present embodiment, the hue is extended from “adjacent pixels having a high luminance value” or “adjacent pixels having a small luminance difference”. For a pixel having such a high luminance value,
Since the S / N of the hue is relatively high, there is less possibility of impairing the S / N of the entire image when extending the hue. On the other hand, pixels having similar luminance values have high image correlation,
It is possible to effectively suppress color bleeding caused by extension of hue.

【００５２】なお、上述した実施形態では、輝度成分の
補間処理として、上下左右の隣接画素の輝度成分を平均
化しているが、本発明の補間処理はこの処理に限定され
るものではない。例えば、図９（ａ），（ｂ）に示すよ
うに、左右もしくは上下の隣接画素の輝度成分を平均化
してもよい。また、隣接する輝度成分の内で中間値（メ
ディアン値）を選別して、補間値としてもよい。In the above-described embodiment, as the interpolation processing of the luminance component, the luminance components of the upper, lower, left, and right adjacent pixels are averaged. However, the interpolation processing of the present invention is not limited to this processing. For example, as shown in FIGS. 9A and 9B, the luminance components of the left and right or upper and lower adjacent pixels may be averaged. Alternatively, an intermediate value (median value) may be selected from adjacent luminance components and used as an interpolation value.

【００５３】また、上述した実施形態では、色相成分の
外延処理として、上下左右の隣接画素の色相成分を選択
して外延しているが、本発明の外延処理はこの処理に限
定されるものではない。例えば、図１０（ａ），（ｂ）
に示すように、左右もしくは上下の隣接画素の色相成分
を選択して外延してもよい。さらに、上述した実施形態
では、Ｒ成分とＢ成分とを被写体像の水平方向にずらし
ているが、この構成に限定されるものではない。Ｒ成分
とＢ成分とを被写体像の垂直方向もしくは斜め方向にず
らしても同様の効果を得ることができる。In the above-described embodiment, the hue components of the adjacent pixels on the upper, lower, left and right sides are selected and extended as the hue component extension process. However, the extension process of the present invention is not limited to this process. Absent. For example, FIGS. 10 (a) and 10 (b)
As shown in (1), the hue components of the left and right or upper and lower adjacent pixels may be selected and extended. Further, in the above-described embodiment, the R component and the B component are shifted in the horizontal direction of the subject image. However, the present invention is not limited to this configuration. The same effect can be obtained by shifting the R component and the B component in the vertical direction or the oblique direction of the subject image.

【００５４】また、上述した実施形態では、被写体像を
ＲＧＢ表色系に基づいて信号分解しているが、この構成
に限定されるものではない。一般的には、任意の表色系
に基づいて信号処理することができる。例えば、ＹＩＱ
表色系，ｙｕｖ表色系，ＵＣＳ表色系，ＹＣｒＣｂ表色
系，ＣＭＹ表色系などの表色系に基づいて信号処理をし
てもよい。In the above-described embodiment, the subject image is signal-decomposed based on the RGB color system. However, the present invention is not limited to this configuration. Generally, signal processing can be performed based on an arbitrary color system. For example, YIQ
Signal processing may be performed based on a color system such as a color system, a yuv color system, a UCS color system, a YCrCb color system, or a CMY color system.

【００５５】さらに、上述した実施形態では、Ｇ反射膜
１２ａを配置して被写体像をＧ成分とＲＢ成分とに色分
解しているが、一般的には、Ｇ成分に限らず、所定の色
分解ルールもしくは光分解ルールに基づいて光像を分解
するものであればよい。例えば、Ｇ反射膜１２ａに替え
て、特定波長の光を選択的に反射する膜を設けてもよ
い。また、Ｇ反射膜１２ａに替えてハーフミラーなどを
配置してもよい。このようにハーフミラーを配置した場
合には、撮像素子１３側で被写体像の輝度成分Ｙを直に
撮像することができる。Further, in the above-described embodiment, the subject image is color-separated into the G component and the RB component by disposing the G reflection film 12a. What is necessary is just to decompose a light image based on a decomposition rule or a light decomposition rule. For example, a film that selectively reflects light of a specific wavelength may be provided instead of the G reflection film 12a. Further, a half mirror or the like may be provided instead of the G reflection film 12a. When the half mirror is arranged as described above, the luminance component Y of the subject image can be directly captured on the image sensor 13 side.

【００５６】また、上述した実施形態では、原色タイプ
の色フィルタアレイ１４を使用しているが、この構成に
限定されるものではない。例えば、補色タイプの色フィ
ルタアレイを使用してもよい。この場合も適当な色度変
換を施すことにより、上述と同様のカラー画像情報を生
成することができる。さらに、上述した実施形態では、
市松模様状の色フィルタアレイ１４を使用しているが、
この構成に限定されるものではない。例えば、ストライ
プ状の色フィルタアレイを使用するような場合において
も、ストライプと平行しない方向に第２および第３の光
成分をずらすことにより、同様の効果を得ることができ
る。In the embodiment described above, the color filter array 14 of the primary color type is used, but the present invention is not limited to this configuration. For example, a color filter array of a complementary color type may be used. Also in this case, by performing appropriate chromaticity conversion, the same color image information as described above can be generated. Further, in the above-described embodiment,
Although a checkered color filter array 14 is used,
It is not limited to this configuration. For example, even when a stripe-shaped color filter array is used, the same effect can be obtained by shifting the second and third light components in a direction not parallel to the stripe.

【００５７】また、上述した実施形態では、撮像素子１
３，１５の受光セルの配置位置が光学的に一致している
が、この構成に限定されるものではない。例えば、撮像
素子１３，１５の受光セルの配置位置をずらすことによ
り、空間画素ずらしを行なってもよい。さらに、上述し
た実施形態では、光学手段２として平板ガラスを使用し
ているが、この構成に限定されるものではない。一般的
には、第２および第３の光成分をずらして出射するもの
であれば、光学手段２として使用することができる。例
えば、平板状の空隙を内部に設けたプリズムなどを光学
手段２として使用してもよい。このようなプリズムは、
外側面に撮像素子などをしっかり固定することができる
ので、構造上の強度に優れるなどの利点を有する。In the above-described embodiment, the image pickup device 1
Although the positions of the light receiving cells 3 and 15 are optically coincident with each other, the present invention is not limited to this configuration. For example, the spatial pixels may be shifted by shifting the positions of the light receiving cells of the imaging elements 13 and 15. Further, in the above-described embodiment, a flat glass is used as the optical unit 2, but the present invention is not limited to this configuration. In general, any device that emits the second and third light components shifted can be used as the optical unit 2. For example, a prism or the like having a flat space inside may be used as the optical unit 2. Such a prism
Since the image pickup device and the like can be firmly fixed to the outer side surface, there are advantages such as excellent structural strength.

【００５８】また、上述した実施形態では、光学手段２
を一体の平板ガラス１２から構成しているが、この構成
に限定されるものではない。一般的には、第１の光成分
とその他の光成分とを区分する箇所と、第２および第３
の光成分をずらす箇所とを異なる位置に設けてもよい。
例えば、Ｇ反射膜１２ａを平板ガラス１２と別体に設け
てもよい。In the above embodiment, the optical means 2
Is formed from the integrated flat glass 12, but the present invention is not limited to this configuration. In general, a portion that separates the first light component from the other light components, and the second and third light components.
The position where the light component is shifted may be provided at a different position.
For example, the G reflection film 12a may be provided separately from the flat glass 12.

【００５９】さらに、上述した実施形態では、平板ガラ
ス１２を用いてＲ成分とＢ成分とを微小フィルタの配置
間隔（１画素分の間隔）だけずらして出射しているが、
この構成に限定されるものではない。例えば、複数画素
分の間隔だけずらして出射してもよいし、半画素程度ず
らして出射してもよい。また、上述した実施形態では、
（４）式の色相Ｈを色相成分として使用しているが、色
相成分の算出式は（４）式に限定されるものではない。
一般的には、色相を求めるための周知の算出式を使用す
ることができる。Further, in the above-described embodiment, the R component and the B component are emitted using the flat glass 12 while being shifted by the arrangement interval of the fine filters (interval of one pixel).
It is not limited to this configuration. For example, the light may be emitted shifted by an interval of a plurality of pixels or may be emitted with a shift of about half a pixel. In the embodiment described above,
Although the hue H in the expression (4) is used as the hue component, the expression for calculating the hue component is not limited to the expression (4).
Generally, a well-known calculation formula for calculating hue can be used.

【００６０】[0060]

【発明の効果】以上説明したように、請求項１に記載の
発明では、光像の同一画素を構成する第２および第３の
光成分が、光学手段を介して位置をずらされ、異なる位
置の微小フィルタにそれぞれ到達する。このような第２
および第３の光成分の内で、微小フィルタを透過する光
成分については、第２の撮像手段の２つの受光セルに到
達して、独立に撮像される。As described above, according to the first aspect of the present invention, the positions of the second and third light components constituting the same pixel of the optical image are shifted by the optical means, so that the different positions are different. , Respectively. Such a second
Among the third light component and the third light component, the light component transmitted through the minute filter reaches the two light receiving cells of the second imaging means and is independently imaged.

【００６１】このような作用により、光像の少なくとも
一部の画素については、第１〜第３の光成分が直に撮像
される。したがって、これらの一部の画素について、輝
度や色相や彩度などを直に求めることが可能となり、偽
色などの発生を確実に抑制することができる。By such an operation, the first to third light components are directly imaged for at least a part of the pixels of the light image. Therefore, the luminance, hue, saturation, and the like can be directly obtained for some of these pixels, and the occurrence of false colors and the like can be reliably suppressed.

【００６２】請求項２に記載の発明では、微小フィルタ
の配置間隔だけずらして、第２および第３の光成分を出
射する。そのため、光像の同一画素を構成する第２およ
び第３の光成分を僅かにずらし、隣接する２つの微小フ
ィルタにそれぞれ到達させることができる。請求項３に
記載の発明では、光学手段を、平行した屈折面を有する
光学部材から作製する。このような光学部材は、屈折面
が平行するために加工がたやすいという利点を有する。According to the second aspect of the present invention, the second and third light components are emitted while being shifted by the arrangement interval of the minute filters. Therefore, it is possible to slightly shift the second and third light components constituting the same pixel of the light image to reach the two adjacent micro filters, respectively. According to the third aspect of the present invention, the optical means is made of an optical member having parallel refraction surfaces. Such an optical member has an advantage that processing is easy because the refractive surfaces are parallel.

【００６３】また、屈折面の間隔や光学定数を調整する
ことにより、第２および第３の光成分のずれ量を自在に
調節することができる。したがって、様々な撮像素子に
おける受光セルの間隔などに合わせて、ずれ量の適正な
設計を簡便に行うことができる。請求項４に記載の発明
では、第２および第３の画像情報の位置合わせを行い、
第１の画像情報と併せてカラー画像情報を生成する。Further, by adjusting the distance between the refracting surfaces and the optical constant, the amount of deviation between the second and third light components can be freely adjusted. Therefore, appropriate design of the shift amount can be easily performed according to the interval between the light receiving cells in various image sensors. In the invention according to claim 4, the second and third image information are aligned,
Color image information is generated together with the first image information.

【００６４】この段階では、全画素についてカラー画像
情報を生成することはできないが、３色情報の揃った画
素については、公知技術により色差信号を正確に生成す
ることができる。例えば、このような色差信号に、第１
の撮像手段側などから得た輝度信号を付加することによ
り、例えば、４：２：２もしくは４：１：１の輝度色差
信号などを生成することが容易に可能となる。At this stage, color image information cannot be generated for all pixels, but a color difference signal can be accurately generated for a pixel having three-color information by a known technique. For example, the first color difference signal
For example, by adding a luminance signal obtained from the imaging means side or the like, it is possible to easily generate, for example, a 4: 2: 2 or 4: 1: 1 luminance / color difference signal.

【００６５】この種の輝度色差信号においては、色差信
号が３色情報の揃った画素から生成されているので、偽
色の発生が確実に抑制される。また、色差信号が撮像時
点において適正に間引かれるので、色差信号の間引きな
どの信号処理を特に必要としない。したがって、請求項
４の２板式撮像装置は、この種の輝度色差信号を生成す
る上で、好適な撮像装置となる。In this type of luminance and chrominance signal, since the chrominance signal is generated from pixels having the same three-color information, the generation of false colors is reliably suppressed. Further, since the color difference signals are properly thinned out at the time of imaging, there is no particular need for signal processing such as thinning out the color difference signals. Therefore, the two-chip imaging device according to claim 4 is a suitable imaging device for generating this kind of luminance / color difference signal.

【００６６】請求項５に記載の発明では、「輝度成分の
補間処理」および「色相成分の外延処理」を行うことに
より、全画素についてカラー画像情報を生成する。特
に、色相成分の外延処理においては、隣接画素で実際に
撮像された色相成分を外延する。したがって、偽色（撮
像画像上に本来存在しない色）の発生が確実に抑制され
る。According to the fifth aspect of the present invention, color image information is generated for all pixels by performing "interpolation processing of a luminance component" and "extension processing of a hue component". In particular, in the hue component extension processing, the hue components actually imaged at adjacent pixels are extended. Therefore, the generation of a false color (a color that does not originally exist on the captured image) is reliably suppressed.

【００６７】また、色相成分の外延処理により、色が僅
かにはみ出すという現象が若干生じる。しかしながら、
人間の視覚特性において、色の僅かなはみ出しは、偽色
の発生に比べて格段に目立たないので、画像全体が破綻
する事態は殆ど生じない。請求項６に記載の発明では、
輝度成分の高い隣接画素から色相成分を外延する。この
ように輝度成分の高い画素の色相成分はＳ／Ｎが比較的
高いので、画像全体のＳ／Ｎを損ねるおそれが少なくな
る。したがって、より良質なカラー画像情報を生成する
ことができる。Further, a phenomenon that the color slightly protrudes occurs due to the extension processing of the hue component. However,
In human visual characteristics, a slight protrusion of color is much less conspicuous than the occurrence of a false color, so that the entire image is hardly broken. In the invention according to claim 6,
A hue component is extended from an adjacent pixel having a high luminance component. Since the S / N of the hue component of the pixel having a high luminance component is relatively high, the possibility that the S / N of the entire image is impaired is reduced. Therefore, higher quality color image information can be generated.

【００６８】請求項７に記載の発明では、輝度成分の相
関性が高い隣接画素から色相成分を選択的に外延する。
通常、一般の画像において、輝度成分の相関性が高い隣
接画素では、色相成分の相関性も極めて高い。したがっ
て、このような画素間で色相成分を外延することによ
り、色にじみなどの不具合が効果的に抑えられ、より自
然なカラー画像情報を生成することができる。According to the seventh aspect of the present invention, the hue component is selectively extended from adjacent pixels having a high correlation of the luminance component.
Normally, in a general image, the correlation between the hue components is extremely high at the adjacent pixels having a high correlation between the luminance components. Therefore, by extending the hue components between such pixels, problems such as color blur can be effectively suppressed, and more natural color image information can be generated.

【図面の簡単な説明】[Brief description of the drawings]

【図１】請求項１，２に記載の発明を説明する図であ
る。FIG. 1 is a diagram for explaining the invention according to claims 1 and 2;

【図２】請求項３に記載の発明を説明する図である。FIG. 2 is a diagram for explaining the invention described in claim 3;

【図３】請求項４に記載の発明を説明する図である。FIG. 3 is a diagram for explaining the invention described in claim 4;

【図４】請求項５〜７に記載の発明を説明する図であ
る。FIG. 4 is a diagram for explaining the invention according to claims 5 to 7;

【図５】実施形態の構成を示す図である。FIG. 5 is a diagram showing a configuration of the embodiment.

【図６】平板ガラス１２の構成を示す斜視図である。FIG. 6 is a perspective view showing a configuration of the flat glass 12.

【図７】実施形態における撮像画像を示す説明図であ
る。FIG. 7 is an explanatory diagram illustrating a captured image in the embodiment.

【図８】信号処理部２０における画像処理を示す説明図
である。8 is an explanatory diagram illustrating image processing in the signal processing unit 20. FIG.

【図９】補間処理の演算例を示す図である。FIG. 9 is a diagram illustrating a calculation example of interpolation processing.

【図１０】外延処理の演算例を示す図である。FIG. 10 is a diagram illustrating a calculation example of extension processing.

【図１１】従来の２板式撮像装置を説明する図である。FIG. 11 is a diagram illustrating a conventional two-chip imaging device.

【符号の説明】[Explanation of symbols]

１ 撮影光学系 ２ 光学手段 ３ 第１の撮像手段 ４ 光学フィルタ手段 ５ 第２の撮像手段 ６ 画素位置調整手段 ７ カラー生成手段 ８ 輝度補間手段 ９ 色相外延手段 １０ カラー補完手段 １１ 撮影光学系 １２ 平板ガラス １２ａ Ｇ反射膜 １３ 撮像素子 １４ 色フィルタアレイ １５ 撮像素子 １６ Ａ／Ｄ変換部 １７ Ｇメモリ １８ Ａ／Ｄ変換部 １９ ＲＢメモリ ２０ 信号処理部 ２１ ディスプレイ ２２ 画像記録部 ７１ ダイクロイックプリズム ７２ Ｇ反射膜 ７３ 撮像素子 ７４ 色フィルタアレイ ７５ 撮像素子 DESCRIPTION OF SYMBOLS 1 Imaging optical system 2 Optical means 3 First imaging means 4 Optical filter means 5 Second imaging means 6 Pixel position adjustment means 7 Color generation means 8 Luminance interpolation means 9 Hue extension means 10 Color complement means 11 Imaging optical system 12 Flat plate Glass 12a G reflection film 13 Image sensor 14 Color filter array 15 Image sensor 16 A / D converter 17 G memory 18 A / D converter 19 RB memory 20 Signal processing unit 21 Display 22 Image recording unit 71 Dichroic prism 72 G reflection film 73 image sensor 74 color filter array 75 image sensor

Claims (7)

【特許請求の範囲】[Claims] 【請求項１】 撮影光学系により形成される光像を所定
の色分解ルールもしくは光分解ルールに基づいて分解
し、第１の光成分からなる光像と、それ以外の光成分か
らなる光像とに区分する光学手段と、 前記第１の光成分からなる光像を撮像し、前記第１の光
成分に対応した第１の画像情報に変換する第１の撮像手
段と、 画素単位に混在配置された微小フィルタを用いて、前記
それ以外の光成分からなる光像を、第２の光成分と第３
の光成分とに空間分割する光学フィルタ手段と、 前記光学フィルタ手段を介して光像を撮像し、前記第２
の光成分に対応した第２の画像情報と、前記第３の光成
分に対応した第３の画像情報とに変換する第２の撮像手
段とを備えてなる２板式撮像装置において、 前記光学手段は、 前記光学フィルタ手段に向けて、前記第２の光成分と第
３の光成分とを画素の並び方向に一定間隔だけずらして
出射することを特徴とする２板式撮像装置。An optical image formed by a photographing optical system is separated based on a predetermined color separation rule or a light separation rule, and a light image composed of a first light component and a light image composed of other light components. Optical means for classifying the first light component, and first image pickup means for taking an optical image composed of the first light component and converting it into first image information corresponding to the first light component; An optical image composed of the other light components is divided into a second light component and a third light component by using the arranged fine filter.
An optical filter means for spatially dividing the light component into light components, and an optical image taken through the optical filter means;
A two-chip type imaging apparatus comprising: second image information corresponding to the third light component; and second imaging means for converting the second image information to the third image information corresponding to the third light component. Is a two-chip imaging device, wherein the second light component and the third light component are emitted toward the optical filter means while being shifted by a predetermined interval in a pixel arrangement direction. 【請求項２】 請求項１に記載の２板式撮像装置におい
て、 前記光学手段は、 前記光学フィルタ手段に向けて、前記第２の光成分と第
３の光成分とを前記微小フィルタの配置間隔だけずらし
て出射することを特徴とする２板式撮像装置。2. The two-panel imaging device according to claim 1, wherein the optical unit is configured to dispose the second light component and the third light component toward the optical filter unit at an interval between the minute filters. A two-chip imaging device, which emits light with only a shift. 【請求項３】 請求項１または請求項２に記載の２板式
撮像装置において、 前記光学手段は、 入射側の屈折面と出射側の屈折面とが平行し、かつ該屈
折面を前記撮影光学系の光軸に対し斜めに配置してなる
光学部材から構成され、 前記光学部材の反射作用により前記第１の光成分を選択
的に反射し、 前記光学部材の屈折分散作用により前記第２および第３
の光成分を相互にずらして出射することを特徴とする２
板式撮像装置。3. The two-plate image pickup device according to claim 1, wherein the optical means has a refracting surface on an incident side and a refracting surface on an outgoing side which are parallel to each other, and the refracting surface is photographed by the photographing optical system. An optical member disposed obliquely with respect to the optical axis of the optical system, selectively reflecting the first light component by a reflection action of the optical member, and a second and a third light components by a refraction dispersion action of the optical member. Third
Characterized in that the light components are emitted while being shifted from each other.
Plate type imaging device. 【請求項４】 請求項１または請求項２に記載の２板式
撮像装置において、 前記第２の撮像手段により変換された第２の画像情報お
よび第３の画像情報を取り込み、該画像情報の画素位置
を第２および第３の光成分のずれ量に応じて戻し対応画
素の位置合わせを行う画素位置調整手段と、 前記画素位置調整手段により画素位置を調整された第２
の画像情報および第３の画像情報を取り込み、前記第１
の撮像手段により変換された第１の画像情報と併せて、
カラー画像情報を生成するカラー生成手段とを備えたこ
とを特徴とする２板式撮像装置。4. The two-panel imaging device according to claim 1, wherein the second image information and the third image information converted by the second imaging means are taken in, and a pixel of the image information is taken. A pixel position adjusting means for returning the position in accordance with the shift amount of the second and third light components and adjusting the position of the corresponding pixel; and a second pixel position adjusted by the pixel position adjusting means.
Of the first and third image information,
Together with the first image information converted by the imaging means of
A two-chip imaging device comprising: a color generation unit configured to generate color image information. 【請求項５】 請求項４に記載の２板式撮像装置におい
て、 前記カラー生成手段は、 前記第１〜３の画像情報から輝度成分を抽出し、該輝度
成分を補間処理して全画素の輝度成分を算出する輝度補
間手段と、 前記第１〜３の画像情報から色相成分を抽出し、色相成
分が得られない画素について、隣接画素から色相成分を
外延する色相外延手段と、 前記輝度補間手段により得られた全画素の輝度成分と、
前記色相外延手段により得られた全画素の色相成分とを
併せて、全画素についてカラー画像情報を生成するカラ
ー補完手段とを備えてなることを特徴とする２板式撮像
装置。5. The two-panel imaging apparatus according to claim 4, wherein the color generation unit extracts a luminance component from the first to third image information, and performs an interpolation process on the luminance component to calculate luminance of all pixels. A luminance interpolation means for calculating a component; a hue extension means for extracting a hue component from the first to third image information and extending a hue component from an adjacent pixel for a pixel for which no hue component is obtained; And the luminance components of all pixels obtained by
A two-chip imaging device comprising: a color complementing unit that generates color image information for all pixels by combining the hue components of all pixels obtained by the hue extension unit. 【請求項６】 請求項５に記載の２板式撮像装置におい
て、 前記色相外延手段は、 前記第１〜３の画像情報から色相成分を抽出し、色相成
分が得られない画素について、前記輝度成分の高い側の
隣接画素から色相成分を外延することを特徴とする２板
式撮像装置。6. The two-panel imaging apparatus according to claim 5, wherein the hue extension unit extracts a hue component from the first to third image information, and generates a hue component for a pixel for which no hue component is obtained. A two-chip imaging device, wherein hue components are extended from adjacent pixels on the higher side. 【請求項７】 請求項５に記載の２板式撮像装置におい
て、 前記色相外延手段は、 前記第１〜３の画像情報から色相成分を抽出し、色相成
分が得られない画素について、輝度差の小さい側の隣接
画素から色相成分を外延することを特徴とする２板式撮
像装置。7. The two-chip imaging device according to claim 5, wherein the hue extension unit extracts a hue component from the first to third image information, and calculates a luminance difference of a pixel for which no hue component is obtained. A two-chip imaging device, wherein a hue component is extended from an adjacent pixel on a smaller side.
JP4763597A 1997-03-03 1997-03-03 Two-board type image pickup device Pending JPH10243409A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP4763597A JPH10243409A (en) 1997-03-03 1997-03-03 Two-board type image pickup device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4763597A JPH10243409A (en) 1997-03-03 1997-03-03 Two-board type image pickup device

Publications (1)

Publication Number Publication Date
JPH10243409A true JPH10243409A (en) 1998-09-11

Family

ID=12780701

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4763597A Pending JPH10243409A (en) 1997-03-03 1997-03-03 Two-board type image pickup device

Country Status (1)

Country Link
JP (1) JPH10243409A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003070010A (en) * 2001-08-24 2003-03-07 Nikon Corp Two-plate image capture device
US6958772B1 (en) 1999-01-20 2005-10-25 Canon Kabushiki Kaisha Image sensing apparatus and image processing method therefor
JP2006339936A (en) * 2005-06-01 2006-12-14 Hitachi Ltd Imaging apparatus
EP1506679B1 (en) * 2002-05-13 2006-12-27 Micron Technology, Inc. Color filter imaging array and method of formation

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6958772B1 (en) 1999-01-20 2005-10-25 Canon Kabushiki Kaisha Image sensing apparatus and image processing method therefor
US7542076B2 (en) 1999-01-20 2009-06-02 Canon Kabushiki Kaisha Image sensing apparatus having a color interpolation unit and image processing method therefor
US7929026B2 (en) 1999-01-20 2011-04-19 Canon Kabushiki Kaisha Image sensing apparatus and image processing method thereof using color conversion and pseudo color removing
JP2003070010A (en) * 2001-08-24 2003-03-07 Nikon Corp Two-plate image capture device
EP1506679B1 (en) * 2002-05-13 2006-12-27 Micron Technology, Inc. Color filter imaging array and method of formation
JP2006339936A (en) * 2005-06-01 2006-12-14 Hitachi Ltd Imaging apparatus

Similar Documents

Publication Publication Date Title
US7057654B2 (en) Four color image sensing apparatus
US9494768B2 (en) Image capturing module and image capturing apparatus
JP4118916B2 (en) Multispectral imaging device
JP5227368B2 (en) 3D imaging device
US20060221218A1 (en) Image sensor with improved color filter
KR20100103504A (en) Method and apparatus for achieving panchromatic response from a color-mosaic imager
JP6136669B2 (en) Imaging device
US20150109495A1 (en) Color imaging element and imaging device
WO2014007280A1 (en) Colour imaging element and imaging device
JP4465958B2 (en) Color imaging device
JP4253943B2 (en) Solid-state imaging device
JP6692749B2 (en) Multispectral camera
US7046277B2 (en) Image interpolating device, including interpolation and modification processors
JP5108013B2 (en) Color imaging device, imaging device using the same, and filter
US5168350A (en) Solid-state color imaging apparatus
JPH10243409A (en) Two-board type image pickup device
EP1395062A1 (en) Color image pickup device
KR20060006089A (en) Photoelectric element and terminal equipment including a photoelectric element
US6900833B2 (en) Image interpolating device
JPH0378388A (en) Color solid state image pickup element
JPH11215514A (en) Color image-pickup device
JPS60254977A (en) Color solid-state image pickup device
JPH11168744A (en) Data interpolation processing method and color image-pickup device using the same
JP2011254265A (en) Multi-eye camera device and electronic information apparatus
JP6019611B2 (en) Imaging device