JP2007306156A - Color image imaging method and imaging device - Google Patents

Color image imaging method and imaging device Download PDF

Info

Publication number
JP2007306156A
JP2007306156A JP2006130780A JP2006130780A JP2007306156A JP 2007306156 A JP2007306156 A JP 2007306156A JP 2006130780 A JP2006130780 A JP 2006130780A JP 2006130780 A JP2006130780 A JP 2006130780A JP 2007306156 A JP2007306156 A JP 2007306156A
Authority
JP
Japan
Prior art keywords
color
image
light
color image
complementary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006130780A
Other languages
Japanese (ja)
Inventor
Yoshihito Higashitsutsumi
良仁 東堤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2006130780A priority Critical patent/JP2007306156A/en
Publication of JP2007306156A publication Critical patent/JP2007306156A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To generate a color image of high resolution by an imaging device using one solid-state imaging element. <P>SOLUTION: On a photodetection surface of the imaging element 2, a color separating filters 4 having a checkerboard pattern array of cyan (Cy) and yellow (Ye) is arranged. For example, a monochromatic filter 6 of green (G) is arranged in front of a lens 10. The monochromatic filter 6 is switched by a filter driving mechanism between a mounted state wherein the monochromatic filter 6 is disposed on an optical axis of incidence on the imaging element 2 and a standby state wherein the monochromatic filter is put off the optical path. In color imaging operation, an image of one frame is picked up in each of the mounted state and standby state. In the mounted state, a single primary color image wherein each pixel represents only G component information is obtained. In the standby state, a complementary color image wherein Cy and Ye are arrayed is obtained. Luminance data are generated based upon a single primary color image of high resolution and color difference data are found through operation using the single primary color image and complementary color image. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、高解像度のカラー撮像を取得する撮像方法及び撮像装置に関する。   The present invention relates to an imaging method and an imaging apparatus that acquire high-resolution color imaging.

ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の固体撮像素子を用いてカラー画像を撮影可能な撮像装置として、単板式の構成と３板式の構成とが知られている。   As an image pickup apparatus capable of photographing a color image using a solid-state image pickup device such as a CCD image sensor or a CMOS image sensor, a single plate type configuration and a three plate type configuration are known.

単板式のカラー撮像装置は、１つの固体撮像素子を用いるもので、その固体撮像素子の受光面に色分離のためのカラーフィルタ（色分離フィルタ）が配置される。色分離フィルタは、光の三原色またはそれらの補色を有する複数のセグメントが所定の規則に従って配列され、固体撮像素子に行列配置された各受光画素を特定の色成分に対応付ける。近年では通常、この色分離フィルタは、固体撮像素子のチップ上に着色層を積層する、いわゆる、オンチップフィルタとして構成される。   The single-plate color image pickup apparatus uses one solid-state image pickup device, and a color filter (color separation filter) for color separation is disposed on the light receiving surface of the solid-state image pickup device. In the color separation filter, a plurality of segments having three primary colors of light or their complementary colors are arranged according to a predetermined rule, and each light receiving pixel arranged in a matrix on the solid-state imaging device is associated with a specific color component. In recent years, this color separation filter is usually configured as a so-called on-chip filter in which a colored layer is stacked on a chip of a solid-state imaging device.

色分離フィルタが配置された固体撮像素子の受光面には、被写体からの光がレンズ等の光学系を介して結像される。各受光画素には、その上に配置された色分離フィルタのセグメントの透過特性に応じた色成分の光が入射し、その受光量に応じた情報電荷が蓄積する。駆動回路は、固体撮像素子の動作を制御し、露光期間において各受光画素に情報電荷を蓄積させ、露光期間が終了すると、各受光画素に蓄積された情報電荷を画像信号として読み出す動作を行う。   Light from the subject is imaged through an optical system such as a lens on the light receiving surface of the solid-state imaging device on which the color separation filter is arranged. Each light receiving pixel receives light of a color component corresponding to the transmission characteristics of the segment of the color separation filter disposed thereon, and information charges corresponding to the amount of received light are accumulated. The drive circuit controls the operation of the solid-state imaging device, accumulates information charges in each light receiving pixel during the exposure period, and reads out the information charges accumulated in each light reception pixel as an image signal when the exposure period ends.

固体撮像素子から出力された画像信号は、アナログ処理回路において、サンプルホールド、レベル補正等の処理を施された後、Ａ／Ｄ（Analog-to-Digital）変換回路により１画素毎にデジタル変換され、画像データに変換される。   The image signal output from the solid-state imaging device is subjected to processing such as sample hold and level correction in an analog processing circuit, and then digitally converted for each pixel by an A / D (Analog-to-Digital) conversion circuit. Converted into image data.

デジタル処理回路は、Ａ／Ｄ変換回路から入力される画像データに対して色分離、マトリクス演算等の処理を施し、輝度情報を表す輝度データＹ及び色差情報を表す２種類の色差データＵ、Ｖを生成する。例えば、色分離によって生成される光の三原色、すなわち赤（レッド：Ｒ）、緑（グリーン：Ｇ）、青（ブルー：Ｂ）を０．３Ｒ＋０．６Ｇ＋０．１Ｂとして合成することで輝度データＹが生成され、この輝度データＹから赤色成分Ｒ及び青色成分Ｂをそれぞれ差し引くことによって色差データＵ、Ｖが生成される。   The digital processing circuit performs processing such as color separation and matrix calculation on the image data input from the A / D conversion circuit, and two types of color difference data U and V representing luminance information Y and luminance difference information. Is generated. For example, the luminance data Y is obtained by combining three primary colors of light generated by color separation, that is, red (red: R), green (green: G), and blue (blue: B) as 0.3R + 0.6G + 0.1B. The color difference data U and V are generated by subtracting the red component R and the blue component B from the luminance data Y, respectively.

３板式のカラー撮像装置は、３つの固体撮像素子を用いる。被写体からの光は、プリズムによりＲＧＢ各成分光に分けられ、それぞれ１つの固体撮像素子の受光面に導かれる。これにより、３つの固体撮像素子それぞれからＲＧＢ各成分毎の３つの画像信号が得られる。これら固体撮像素子から出力された画像信号は、上述した単板式のカラー撮像装置と同様に画像データに変換される。デジタル処理回路は、ＲＧＢ各画像データに基づいて、輝度データＹ、色差データＵ，Ｖを生成する。
特許第３４７５０８４号公報 The three-plate type color imaging device uses three solid-state imaging devices. Light from the subject is divided into RGB component light by a prism, and is guided to the light receiving surface of one solid-state imaging device. Thereby, three image signals for each RGB component are obtained from each of the three solid-state imaging devices. The image signals output from these solid-state image sensors are converted into image data in the same manner as the single-plate color image pickup apparatus described above. The digital processing circuit generates luminance data Y and color difference data U and V based on the RGB image data.
Japanese Patent No. 3475084

３板式のカラー撮像装置は、単板式カラー撮像装置より高解像度を実現することが可能である反面、コストが高くなる、また、装置の小型化が制限されるといった問題がある。これに対し、単板式のカラー撮像装置は、比較的コストが低く、また、装置の小型化が容易であるが、色分離フィルタの効果によって解像度が比較的低くなることが問題となり得る。例えば、色分離フィルタを搭載した単板式カラー撮像素子の解像度は、同じ画素数で色分離フィルタを搭載しないモノクロ撮像素子より低くなる。その低下の程度は、色分離フィルタの配列に依存することが知られており、例えば、当該配列が原色縦ストライプ方式の場合の解像度は、モノクロ撮像素子の５３〜５７％、補色市松色差線順次方式の場合は、８０〜８５％になると言われている。   The three-plate type color imaging device can realize higher resolution than the single-plate type color imaging device, but has a problem that the cost is increased and the size of the device is limited. On the other hand, the single-plate color imaging device is relatively low in cost and can be easily reduced in size, but may have a problem that the resolution is relatively low due to the effect of the color separation filter. For example, the resolution of a single-plate color image pickup device equipped with a color separation filter is lower than that of a monochrome image pickup device having the same number of pixels and no color separation filter. The degree of the reduction is known to depend on the arrangement of the color separation filters. For example, when the arrangement is the primary color vertical stripe method, the resolution is 53 to 57% of the monochrome image pickup device, and the complementary color checkered color difference line sequential. In the case of the method, it is said to be 80 to 85%.

近年では、固体撮像素子の画素数の増加により、デジタルカメラなどでは広く単板式の構成が採用され、満足し得る解像度が得られている。その一方、撮像装置の中には、従来の単板式カラー撮像素子の解像度では不十分であると共に、上述の問題から３板式の構成を採用することが難しいという用途のものが存在する。例えば、書画カメラやイメージスキャナの用途の中には、Ａ４サイズ等の比較的大きな画像を高精細に、かつカラーで読み込むことが要求される場合があり、このような場合に従来の単板式カラー撮像素子を用いた撮像装置では十分な解像度を提供できないという問題があった。   In recent years, due to the increase in the number of pixels of the solid-state imaging device, a single-plate configuration has been widely adopted in digital cameras and the like, and a satisfactory resolution has been obtained. On the other hand, some image pickup apparatuses have applications in which the resolution of a conventional single-plate color image sensor is insufficient and it is difficult to adopt a three-plate configuration due to the above-described problems. For example, there are cases where a relatively large image such as an A4 size is required to be read with high definition and color in some applications of a document camera or an image scanner. In such a case, a conventional single-plate color is required. There is a problem that an image pickup apparatus using an image pickup device cannot provide a sufficient resolution.

本発明は上記問題点を解決するためになされたものであり、単板の固体撮像素子を用いて低コストで、かつ高解像度のカラー画像が得られるカラー画像撮像方法及び撮像装置を提供することを目的とする。   The present invention has been made to solve the above-described problems, and provides a color image imaging method and an imaging apparatus capable of obtaining a low-resolution and high-resolution color image using a single-plate solid-state imaging device. With the goal.

本発明に係るカラー画像撮像方法は、光の三原色に対する補色である第１乃至第３の補色のうち、それぞれ前記第１の補色と前記第２の補色との一方に対応した感度を有する２種類の受光画素が行列配置された固体撮像素子を用いる方法であって、被写体からの撮像目的光をそのままの色成分で前記固体撮像素子の前記各受光画素に照射して、当該固体撮像素子で撮像し補色画像を取得するステップと、前記撮像目的光を構成する前記光の三原色の各成分のうち前記第３の補色に対応する原色成分光を選択的に抽出して前記固体撮像素子の前記各受光画素に照射して、当該固体撮像素子で撮像し単原色画像を取得するステップと、前記補色画像及び前記単原色画像に対して所定の信号処理を施し、前記カラー画像を生成するステップと、を有する。   The color image capturing method according to the present invention includes two types having sensitivity corresponding to one of the first complementary color and the second complementary color among the first to third complementary colors which are complementary colors to the three primary colors of light. A solid-state imaging device in which a plurality of light-receiving pixels are arranged in a matrix, and the imaging target light from a subject is irradiated to each light-receiving pixel of the solid-state imaging device as it is with a color component, and imaged by the solid-state imaging device A complementary color image; selectively extracting primary color component light corresponding to the third complementary color from the three primary color components of the light constituting the imaging target light; Irradiating light receiving pixels, capturing with the solid-state imaging device to acquire a single primary color image, performing predetermined signal processing on the complementary color image and the single primary color image, and generating the color image; Have That.

本発明に係る撮像装置は、光の三原色に対する補色である第１乃至第３の補色のうち、それぞれ前記第１の補色と前記第２の補色とに対応した感度を有する２種類の受光画素が行列配置された固体撮像素子と、前記光の三原色のうち前記第３の補色に対応する特定原色の光成分を選択的に透過する特定原色フィルタと、前記特定原色フィルタを、前記固体撮像素子の前記各受光画素に照射される光の光路上に配置した状態と配置しない状態とを切り替え可能なフィルタ駆動機構と、前記固体撮像素子及び前記フィルタ駆動機構の駆動を制御して、カラー画像の撮像時に、前記光路上に前記特定原色フィルタを配置せずに前記固体撮像素子で撮像し補色画像を取得する動作と、前記光路上に前記特定原色フィルタを配置して前記固体撮像素子で撮像し単原色画像を取得する動作とを行う駆動部と、前記補色画像及び前記単原色画像に対して所定の信号処理を施し、前記カラー画像を生成する信号処理部と、を有するものである。   The image pickup apparatus according to the present invention includes two types of light receiving pixels each having a sensitivity corresponding to the first complementary color and the second complementary color among the first to third complementary colors which are complementary colors to the three primary colors of light. A solid-state imaging device arranged in a matrix, a specific primary color filter that selectively transmits a light component of a specific primary color corresponding to the third complementary color among the three primary colors of light, and the specific primary color filter. Color image capturing by controlling the driving of the solid-state imaging device and the filter driving mechanism, which can be switched between a state in which the light receiving pixels are irradiated and a state in which the light receiving pixels are not disposed. Sometimes, the solid-state imaging device does not arrange the specific primary color filter on the optical path and acquires a complementary color image, and the specific primary color filter is arranged on the optical path by the solid-state imaging element. A driving unit that performs an operation of imaging and acquiring a single primary color image, and a signal processing unit that performs predetermined signal processing on the complementary color image and the single primary color image to generate the color image. .

他の本発明に係る撮像装置は、光の三原色に対する補色である第１乃至第３の補色のうち、それぞれ前記第１の補色と前記第２の補色とに対応した感度を有する２種類の受光画素が行列配置された固体撮像素子と、被写体に白色の照明光及び、前記光の三原色のうち前記第３の補色に対応する特定原色の照明光を切り替えて照射可能な光源と、前記固体撮像素子及び前記光源の駆動を制御して、カラー画像の撮像時に、前記被写体に前記白色の照明光を照射して前記固体撮像素子で撮像し補色画像を取得する動作と、前記被写体に前記特定原色の照明光を照射して前記固体撮像素子で撮像し単原色画像を取得する動作とを行う駆動部と、前記補色画像及び前記単原色画像に対して所定の信号処理を施し、前記カラー画像を生成する信号処理部と、を有するものである。   In another imaging apparatus according to the present invention, two types of light receiving devices each having sensitivity corresponding to the first complementary color and the second complementary color among first to third complementary colors which are complementary colors to the three primary colors of light. A solid-state imaging device in which pixels are arranged in a matrix; a light source capable of irradiating a subject with white illumination light; and a specific primary color illumination light corresponding to the third complementary color among the three primary colors of the light; and the solid-state imaging An operation of controlling the driving of the element and the light source to irradiate the subject with the white illumination light and capturing an image with the solid-state image sensor to acquire a complementary color image when capturing a color image; A driving unit that performs an operation of irradiating the illumination light and capturing an image with the solid-state imaging device to acquire a single primary color image, and performing predetermined signal processing on the complementary color image and the single primary color image, Generated signal processor , And it has a.

本発明に係るカラー画像撮像方法や撮像装置によれば、第３の補色に対応する原色（特定原色）の光は、固体撮像素子の第１の補色に感度を有する受光画素と第２の補色に感度を有する受光画素とのいずれにおいても検知される。この固体撮像素子に特定原色の光成分を選択的に入射することにより、全ての受光画素に同一の色成分に対応する情報電荷が蓄積される。従って、この場合はモノクロ撮像素子を用いて撮像した場合と同様となり、得られる単原色画像は解像度が高い画像となる。一方、特定原色フィルタを配置しない等により、固体撮像素子に入射する光の分光特性に制限を課さない状態では、第１の補色に感度を有する受光画素には、入射光のうち第１の補色成分に対応する情報電荷が蓄積され、第２の補色に感度を有する受光画素には、入射光のうち第２の補色成分に対応する情報電荷が蓄積される。つまり、補色画像は、第１の補色及び第２の補色についての画像情報を与える。この補色画像から得られる画像情報と上述の単原色画像から得られる特定原色についての画像情報とを組み合わせることで、例えば、画像上の各点での各色成分や色差データといった色情報を得ることができる。補色画像及び単原色画像を順次撮影し、それぞれの画像情報を組み合わせることで、１フレームのカラー画像信号を生成する。   According to the color image imaging method and the imaging apparatus according to the present invention, the light of the primary color (specific primary color) corresponding to the third complementary color is received by the light receiving pixel having sensitivity to the first complementary color of the solid-state imaging device and the second complementary color. It is detected in any of the light receiving pixels having high sensitivity. By selectively making a light component of a specific primary color incident on this solid-state image sensor, information charges corresponding to the same color component are accumulated in all light receiving pixels. Therefore, in this case, the image is the same as that obtained using a monochrome image pickup device, and the obtained single primary color image is an image having a high resolution. On the other hand, in a state where no restriction is imposed on the spectral characteristics of the light incident on the solid-state image sensor due to the absence of the specific primary color filter, the light receiving pixel having sensitivity to the first complementary color has the first complementary color of the incident light. The information charge corresponding to the component is accumulated, and the information charge corresponding to the second complementary color component of the incident light is accumulated in the light receiving pixel having sensitivity to the second complementary color. That is, the complementary color image gives image information about the first complementary color and the second complementary color. By combining the image information obtained from the complementary color image and the image information about the specific primary color obtained from the single primary color image described above, for example, color information such as each color component and color difference data at each point on the image can be obtained. it can. A complementary color image and a single primary color image are photographed sequentially, and each frame information is combined to generate a color image signal of one frame.

本発明に係る上記撮像装置において、前記信号処理部は、前記単原色画像に基づいて前記カラー画像の輝度信号を生成し、前記補色画像及び前記単原色画像に基づいて前記カラー画像の色信号を生成することができる。   In the imaging apparatus according to the present invention, the signal processing unit generates a luminance signal of the color image based on the single primary color image, and generates a color signal of the color image based on the complementary color image and the single primary color image. Can be generated.

また本発明に係る上記撮像装置は、前記駆動部が、モノクロ画像の撮像時に、前記単原色画像を取得する動作を行い、前記信号処理部が、前記単原色画像に基づいて前記モノクロ画像の輝度信号を生成するように構成することができる。   Further, in the imaging apparatus according to the present invention, the driving unit performs an operation of acquiring the single primary color image when capturing a monochrome image, and the signal processing unit performs luminance of the monochrome image based on the single primary color image. It can be configured to generate a signal.

本発明に係る上記撮像装置の好適な態様は、前記第１の補色及び前記第２の補色を、シアン及びイエローとし、前記特定原色を、グリーンとしたものである。   In a preferred aspect of the imaging apparatus according to the present invention, the first complementary color and the second complementary color are cyan and yellow, and the specific primary color is green.

本発明によれば、補色画像及び単原色画像から得られる色情報と、単原色画像から得られる高解像度の画像情報とを組み合わせることで、１つの固体撮像素子で、高解像度のカラー画像の撮像が可能となる。   According to the present invention, by combining color information obtained from a complementary color image and a single primary color image and high resolution image information obtained from a single primary color image, a single solid-state imaging device can capture a high resolution color image. Is possible.

以下、本発明の実施の形態（以下実施形態という）について、図面に基づいて説明する。   Hereinafter, embodiments of the present invention (hereinafter referred to as embodiments) will be described with reference to the drawings.

本実施形態に係る撮像装置は、カラー画像及びモノクロ画像を読み込み可能な書画カメラシステムであり、図１は、本撮像装置の概略の構成を示すブロック図である。本撮像装置は、撮像素子２、色分離フィルタ４、単色フィルタ６、光源８、レンズ１０、駆動回路１２、フィルタ駆動機構１４、アナログ処理回路１６、Ａ／Ｄ変換回路１８、デジタル処理回路２０、タイミング制御回路２２を含んで構成される。   The imaging apparatus according to the present embodiment is a document camera system capable of reading a color image and a monochrome image, and FIG. 1 is a block diagram illustrating a schematic configuration of the imaging apparatus. The image pickup device includes an image pickup device 2, a color separation filter 4, a single color filter 6, a light source 8, a lens 10, a drive circuit 12, a filter drive mechanism 14, an analog processing circuit 16, an A / D conversion circuit 18, a digital processing circuit 20, A timing control circuit 22 is included.

図２は、撮像素子２の概略の構成を示すブロック図である。この撮像素子２は、フレーム転送方式のＣＣＤイメージセンサであり、半導体基板表面に形成された撮像部２ｉ、蓄積部２ｓ、水平転送部２ｈ及び出力部２ｄを備える。撮像部２ｉ及び蓄積部２ｓは互いに列方向に互いの電荷転送チャネルが連続した垂直シフトレジスタからなり、撮像部２ｉ及び蓄積部２ｓにはそれら垂直シフトレジスタが行方向（画像上の水平方向）に複数配列される。撮像部２ｉの垂直シフトレジスタの各ビットは、入射光に応じて情報電荷を発生し蓄積する受光画素を構成し、撮像部２ｉにはこの受光画素が行列配置される。蓄積部２ｓは遮光膜で覆われ、光の入射による電荷発生を防止されるので、撮像部２ｉからフレーム転送された情報電荷を基本的にそのまま保持することができる。水平転送部２ｈは水平シフトレジスタからなり、その各ビットは蓄積部２ｓの各電荷転送チャネルの出力端に接続され、ライン転送動作により蓄積部２ｓから出力される１行分の情報電荷を、出力部２ｄへ向けて水平方向に転送する。出力部２ｄは、水平転送部２ｈから出力される情報電荷を１ビット単位で電圧値に変換し、時系列の画像信号Ａ０(t)として出力する。 FIG. 2 is a block diagram showing a schematic configuration of the image sensor 2. The imaging device 2 is a frame transfer type CCD image sensor, and includes an imaging unit 2i, a storage unit 2s, a horizontal transfer unit 2h, and an output unit 2d formed on the surface of a semiconductor substrate. The imaging unit 2i and the storage unit 2s are each composed of a vertical shift register in which the respective charge transfer channels are continuous in the column direction. Multiple arrays. Each bit of the vertical shift register of the imaging unit 2i constitutes a light receiving pixel that generates and accumulates information charges according to incident light, and the light receiving pixels are arranged in a matrix in the imaging unit 2i. The storage unit 2s is covered with a light-shielding film and prevents generation of charges due to the incidence of light, so that the information charges transferred from the imaging unit 2i in a frame can be basically held as they are. The horizontal transfer unit 2h is composed of a horizontal shift register, each bit of which is connected to the output terminal of each charge transfer channel of the storage unit 2s, and outputs one row of information charges output from the storage unit 2s by the line transfer operation. Transfer in the horizontal direction toward the unit 2d. The output unit 2d converts the information charge output from the horizontal transfer unit 2h into a voltage value in units of 1 bit, and outputs it as a time-series image signal A 0 (t).

色分離フィルタ４は、光の透過特性が異なる２種類のセグメントが所定の規則に従って配列されたものであり、撮像素子２の受光面に装着され、各セグメントはそれぞれ受光画素に対応して配置される。この色分離フィルタ４は、半導体基板に構成された撮像素子２のチップ上に着色層を積層する、いわゆる、オンチップフィルタとして構成することが可能である。   The color separation filter 4 is formed by arranging two types of segments having different light transmission characteristics according to a predetermined rule, and is mounted on the light receiving surface of the image sensor 2, and each segment is arranged corresponding to each light receiving pixel. The The color separation filter 4 can be configured as a so-called on-chip filter in which a colored layer is stacked on a chip of the image sensor 2 formed on a semiconductor substrate.

色分離フィルタ４を構成する２種類のセグメントは、特定の色成分を共通に透過するような色の組み合わせに設定される。例えば、２種類のセグメントは、光の三原色に対する３つの補色のうちの２つに対応した透過特性を有する。図２の撮像部２ｉには、本撮像装置で用いる色分離フィルタ４のセグメントの配列を示している。本撮像装置の色分離フィルタ４は、シアン（Ｃy）の色成分を透過するセグメントと、イエロー（Ｙe）の色成分を透過するセグメントとが市松模様に配列された構成を有する。Ｃyのセグメントを配置された受光画素は入射光のうちＣy成分に感度を有する画素を構成し、またＹeのセグメントを配置された受光画素は入射光のうちＹe成分に感度を有する画素を構成する。   The two types of segments constituting the color separation filter 4 are set to a combination of colors that transmits a specific color component in common. For example, the two types of segments have transmission characteristics corresponding to two of the three complementary colors for the three primary colors of light. The imaging unit 2i in FIG. 2 shows an array of segments of the color separation filter 4 used in the imaging apparatus. The color separation filter 4 of the present imaging device has a configuration in which segments that transmit cyan (Cy) color components and segments that transmit yellow (Ye) color components are arranged in a checkered pattern. The light receiving pixel in which the Cy segment is arranged constitutes a pixel having sensitivity to the Cy component of incident light, and the light receiving pixel in which the Ye segment is arranged constitutes a pixel having sensitivity to the Ye component in incident light. .

レンズ１０は、色分離フィルタ４と被写体との間に配置され、被写体からの光を色分離フィルタ４を介して撮像素子２の受光面へ導く。   The lens 10 is disposed between the color separation filter 4 and the subject, and guides light from the subject to the light receiving surface of the image sensor 2 through the color separation filter 4.

単色フィルタ６は、撮像素子２の各受光画素に照射される光の光路上に配置されるか否かを切り替え可能に構成される。例えば、単色フィルタ６は、スライド移動が可能なように構成され、レンズ１０の前面の位置に挿入された状態（装着状態）と当該位置から退避した状態（退避状態）とを切り替えられる。   The monochromatic filter 6 is configured to be switchable whether or not it is disposed on the optical path of the light irradiated to each light receiving pixel of the image sensor 2. For example, the monochromatic filter 6 is configured to be slidable, and can be switched between a state inserted in the front surface of the lens 10 (attached state) and a state retracted from the position (retracted state).

単色フィルタ６は、装着状態においては、色分離フィルタ４を介して撮像素子２の受光面へ入射される光を特定の色成分に制限する。その特定の色成分は、色分離フィルタ４の２種類のセグメントが共通に透過する色成分に設定される。例えば、色分離フィルタ４を２つの補色セグメントで構成する場合には、単色フィルタ６の色は、当該色分離フィルタ４に用いられていない残り１つの補色に対応する原色（特定原色）に設定される。本撮像装置で用いる色分離フィルタ４は上述のようにＣy、Ｙeのセグメントで構成され、この場合、単色フィルタ６はＧの色成分を透過するように構成される。   In the mounted state, the monochromatic filter 6 limits light incident on the light receiving surface of the image sensor 2 via the color separation filter 4 to a specific color component. The specific color component is set to a color component through which two types of segments of the color separation filter 4 are transmitted in common. For example, when the color separation filter 4 is composed of two complementary color segments, the color of the single color filter 6 is set to a primary color (specific primary color) corresponding to the remaining one complementary color not used in the color separation filter 4. The As described above, the color separation filter 4 used in the imaging apparatus is configured by the segments of Cy and Ye. In this case, the single color filter 6 is configured to transmit the G color component.

なお、装着状態では、撮像素子２の受光面全体に単色フィルタ６の透過光が照射される。一方、退避状態では、単色フィルタ６は、それを通過する光が撮像素子２のいずれの受光画素にも入射しない位置にあり、色分離フィルタ４には被写体からの光がそのままの色成分で照射される。   In the mounted state, the entire light receiving surface of the image sensor 2 is irradiated with the transmitted light of the monochromatic filter 6. On the other hand, in the retracted state, the monochromatic filter 6 is in a position where light passing therethrough does not enter any light receiving pixel of the image sensor 2, and the color separation filter 4 is irradiated with light from the subject as it is with color components. Is done.

フィルタ駆動機構１４は、後述するタイミング制御回路２２からの指示に応答して、単色フィルタ６を移動させ、装着状態と退避状態とを相互に切り換える。例えば、フィルタ駆動機構１４は、電磁モータ及びモータ制御回路を含んで構成される。単色フィルタ６は電磁モータの回転軸に取り付けられる。モータ制御回路はタイミング制御回路２２からのクロック信号に応じて、電磁モータを正逆両方向に回転可能であり、単色フィルタ６は電磁モータの駆動力により回転軸を中心として回転し、装着状態と退避状態との相互間を移動する。例えば、単色フィルタ６に鉄などの強磁性金属からなる枠を取り付け、装着状態及び退避状態それぞれにて単色フィルタ６の回転を停止させるストッパを永久磁石で構成することにより、電磁モータが駆動力を発生していない期間において、単色フィルタ６をストッパに当接された状態に静止させることができる。   The filter drive mechanism 14 moves the monochrome filter 6 in response to an instruction from the timing control circuit 22 described later, and switches between the mounted state and the retracted state. For example, the filter drive mechanism 14 includes an electromagnetic motor and a motor control circuit. The monochromatic filter 6 is attached to the rotating shaft of the electromagnetic motor. The motor control circuit can rotate the electromagnetic motor in both forward and reverse directions according to the clock signal from the timing control circuit 22, and the monochromatic filter 6 rotates around the rotation axis by the driving force of the electromagnetic motor, and is attached and retracted. Move between states. For example, a frame made of a ferromagnetic metal such as iron is attached to the monochromatic filter 6, and a stopper that stops the rotation of the monochromatic filter 6 in each of the mounted state and the retracted state is constituted by a permanent magnet, so that the electromagnetic motor has a driving force. In the period when it does not occur, the monochromatic filter 6 can be kept stationary in contact with the stopper.

光源８は、読み込み台にセットされた書類等の被写体に光を照射する。光源８はタイミング制御回路２２からの指示に応じて、画像読み込みに連動して点灯し、例えば白色光を照射する。   The light source 8 irradiates a subject such as a document set on a reading table with light. In response to an instruction from the timing control circuit 22, the light source 8 is turned on in conjunction with image reading, and emits white light, for example.

駆動回路１２は、後述するタイミング制御回路２２からの指示に応答して、垂直転送クロックφＶ、水平転送クロックφＨ、及び排出クロックφＤ等の各種駆動信号を生成し、駆動信号によって撮像素子２を駆動する。 Drive circuit 12, in response to an instruction from the timing control circuit 22 to be described later, the vertical transfer clock phi V, generates various driving signals such as the horizontal transfer clock phi H, and discharged clock phi D, the imaging device by the drive signals 2 is driven.

アナログ処理回路１６は、撮像素子２に接続され、撮像素子２から入力される画像信号Ａ０(t)に対してサンプルホールド、レベル補正等の処理を施し、所定のフォーマットに従う画像信号Ａ１(t)を生成する。Ａ／Ｄ変換回路１８は、アナログ処理回路１６に接続され、アナログ処理回路１６から入力される画像信号Ａ１(t)を１画素毎にデジタル変換することで、画像データＤ１(t)を生成する。 The analog processing circuit 16 is connected to the image pickup device 2, performs processing such as sample hold and level correction on the image signal A 0 (t) input from the image pickup device 2, and outputs the image signal A 1 ( t). The A / D conversion circuit 18 is connected to the analog processing circuit 16 and digitally converts the image signal A 1 (t) input from the analog processing circuit 16 for each pixel, thereby converting the image data D 1 (t). Generate.

そして、デジタル処理回路２０は、Ａ／Ｄ変換回路１８に接続され、Ａ／Ｄ変換回路１８から入力される画像データＤ１(t)に対して所定の信号処理を行う。デジタル処理回路２０は、カラー画像を読み込むカラー撮像時とモノクロ画像を読み込むモノクロ撮像時とで信号処理の内容を切り換える。カラー撮像時には、Ａ／Ｄ変換回路１８から入力される画像データＤ１(t)に対して色分離、マトリクス演算等の処理を施し、輝度情報を表す輝度データＹ及び色差情報を表す２種類の色差データＵ、Ｖを生成する。一方、モノクロ撮像時には、色分離を行わず、全てのデータに対してガンマ補正や輪郭補正等の処理を施し、輝度データＹを生成する。このモノクロ撮像時には、色差データＵ、Ｖは、全てが固定値「０」として出力される。このデジタル処理回路２０の処理についてはさらに後述する。 The digital processing circuit 20 is connected to the A / D conversion circuit 18 and performs predetermined signal processing on the image data D 1 (t) input from the A / D conversion circuit 18. The digital processing circuit 20 switches the content of signal processing between color imaging for reading a color image and monochrome imaging for reading a monochrome image. At the time of color imaging, the image data D 1 (t) input from the A / D conversion circuit 18 is subjected to processing such as color separation and matrix calculation, and two types of data representing luminance data Y representing luminance information and color difference information. Color difference data U and V are generated. On the other hand, when monochrome imaging is performed, color separation is not performed, and processing such as gamma correction and contour correction is performed on all data to generate luminance data Y. During monochrome imaging, the color difference data U and V are all output as a fixed value “0”. The processing of the digital processing circuit 20 will be further described later.

タイミング制御回路２２は、基準クロックＣＫに基づいて各部の動作を制御する。例えば、駆動回路１２に対しては、撮像素子２の露光状態に応じて情報電荷の蓄積時間Ｌを設定し、画像信号Ｙ０(t)を適正なレベルで得られるようにしている。また、アナログ処理回路１６やデジタル処理回路２０に対しては、撮像素子２の動作に各処理のタイミングを同期させると共に、各処理の条件の設定を行う。フィルタ駆動機構１４に対しては、例えば、単色フィルタ６を退避状態から装着状態にする際と、装着状態から退避状態にする際とにクロックパルスを供給する。 The timing control circuit 22 controls the operation of each unit based on the reference clock CK. For example, for the drive circuit 12, the information charge accumulation time L is set according to the exposure state of the image sensor 2, so that the image signal Y 0 (t) can be obtained at an appropriate level. For the analog processing circuit 16 and the digital processing circuit 20, the timing of each process is synchronized with the operation of the image sensor 2, and the conditions for each process are set. For example, a clock pulse is supplied to the filter driving mechanism 14 when the monochrome filter 6 is changed from the retracted state to the mounted state and when the single color filter 6 is changed from the mounted state to the retracted state.

図３は、本撮像装置のカラー撮像の動作を説明する模式的なタイミング図である。本撮像装置は、単色フィルタ６を退避状態にして１フレームの画像を撮像し、さらに単色フィルタ６を装着状態にして１フレームの画像を撮像し、デジタル処理回路２０がこれら２フレームの画像から１フレームのカラー画像を生成する。   FIG. 3 is a schematic timing chart for explaining the color imaging operation of the imaging apparatus. The imaging apparatus captures one frame image with the monochromatic filter 6 in the retracted state, and further captures one frame image with the monochromatic filter 6 attached, and the digital processing circuit 20 selects one image from these two frame images. Generate a color image of the frame.

図３において、Ｍopen信号及びＭclose信号はそれぞれタイミング制御回路２２からフィルタ駆動機構１４のモータ制御回路に供給されるクロック信号である。モータ制御回路はＭopen信号がＨレベル（オン状態）のとき、電磁モータを動作させて、単色フィルタ６を装着状態から退避状態へ向けて移動させる駆動力を発生させる。一方、モータ制御回路はＭclose信号がＨレベル（オン状態）のとき、電磁モータを動作させて、単色フィルタ６を退避状態から装着状態へ向けて移動させる駆動力を発生させる。   In FIG. 3, Mopen signal and Mclose signal are clock signals supplied from the timing control circuit 22 to the motor control circuit of the filter driving mechanism 14. When the Mopen signal is at the H level (ON state), the motor control circuit operates the electromagnetic motor to generate a driving force that moves the monochrome filter 6 from the mounted state to the retracted state. On the other hand, when the Mclose signal is at the H level (on state), the motor control circuit operates the electromagnetic motor to generate a driving force that moves the monochrome filter 6 from the retracted state to the mounted state.

例えば、本実施形態では、まず、タイミング制御回路２２は、時刻ｔ１にてＭopenにパルス４０を発生させてオン状態とし、単色フィルタ６を退避状態とする。その後、時刻ｔ２にて、排出クロックφＤにパルス４２を発生させて電子シャッタ動作を行い、一旦、受光画素の情報電荷を全て排出する。なお、光源８は排出クロックφＤのパルス４２に先行して点灯され、露光期間が終了すると消灯することができる。時刻ｔ２からの期間Ｌが露光期間であり、当該期間の経過後、撮像部２ｉ及び蓄積部２ｓに対する垂直転送クロックφＶｉ，φＶｓにクロックパルス群４４を発生させて、撮像部２ｉの受光画素に期間Ｌにて蓄積される情報電荷を、蓄積部２ｓへフレーム転送する。蓄積部２ｓへ転送された情報電荷は、φＶｓのクロックパルス４６により、水平転送部２ｈへ向けて１行ずつライン転送される。タイミング制御回路２２は、水平転送クロックφＨに発生させるクロックパルス群４８により水平転送部２ｈを動作させ、蓄積部２ｓから読み出された１行分の情報電荷を出力部２ｄへ転送する。この水平転送部２ｈの転送動作に連動して、出力部２ｄからの出力信号Ａ０(t)として１行分の画像信号５０が得られる。 For example, in the present embodiment, first, the timing control circuit 22 generates a pulse 40 at Mopen at time t 1 to turn it on, and puts the monochromatic filter 6 into a retracted state. Then, at time t 2, the generates pulses 42 to the discharge clock phi D performs an electronic shutter operation, once discharged all the information charges of the light receiving pixels. The light source 8 is turned on prior to the pulse 42 of the exhaust clock phi D, the exposure period may be turned off to end. A period L is the exposure period from time t 2, the following lapse of the period, by generating a clock pulse group 44 to the vertical transfer clock phi Vi, phi Vs to the imaging unit 2i and the storage section 2s, receiving the imaging section 2i Information charges accumulated in the pixel in the period L are transferred to the accumulation unit 2s in a frame. Transferred information charges to the storage section 2s is the clock pulse 46 of the phi Vs, is the line transferred row by row toward the horizontal transfer section 2h. The timing control circuit 22 operates the horizontal transfer portion 2h by the clock pulse group 48 to generate the horizontal transfer clock phi H, transfer one row of information charge read from the storage section 2s to the output unit 2d. In conjunction with the transfer operation of the horizontal transfer unit 2h, the image signal 50 for one row is obtained as the output signal A 0 (t) from the output unit 2d.

蓄積部２ｓにて順次、ライン転送を行い、これに同期して水平転送部２ｈにて水平転送動作を繰り返すことにより、単色フィルタ６を退避状態として撮像した１フレームの画像信号Ａ０(t)の読み出しが行われる。この画像読み出しが完了すると、次に、タイミング制御回路２２は、時刻ｔ３にてＭcloseにパルス６０を発生させてオン状態とし、単色フィルタ６を装着状態とする。以降、退避状態について上述した動作と同様にして撮像及び情報電荷の読み出しを行って、単色フィルタ６を装着状態として撮像した１フレームの画像信号Ａ０(t)が生成される。 The line transfer is sequentially performed in the storage unit 2s, and the horizontal transfer operation is repeated in the horizontal transfer unit 2h in synchronism with this, whereby the image signal A 0 (t) of one frame captured with the monochrome filter 6 in the retracted state. Is read out. When the image reading is completed, then, the timing control circuit 22, and the ON state in Mclose generates pulses 60 at time t 3, the single-color filter 6 and the mounting state. Thereafter, imaging and reading of information charges are performed in the same manner as the operation described above in the retracted state, and one frame of the image signal A 0 (t) is generated with the monochrome filter 6 mounted.

退避状態及び装着状態それぞれでの撮像にて得られた画像信号Ａ０(t)は、アナログ処理回路１６及びＡ／Ｄ変換回路１８を経て、デジタル処理回路２０に順次入力される。デジタル処理回路２０は、時系列で得られる両状態での画像信号を、一旦、フレームメモリに格納し、そのフレームメモリに格納された両画像信号を用いて、１フレームのカラー画像を生成する信号処理を行う。 Retracted state and wearing state image signal A 0 obtained by the imaging at each (t) passes through an analog processing circuit 16 and the A / D converter circuit 18 are sequentially input to the digital processing circuit 20. The digital processing circuit 20 temporarily stores image signals in both states obtained in time series in a frame memory, and generates a one-frame color image using both image signals stored in the frame memory. Process.

単色フィルタ６を退避状態として得た画像信号は、被写体からの撮像目的とする光のうち、色分離フィルタ４の透過特性に応じた色成分の情報を表す。すなわち、当該画像信号は、各受光画素に対応してＣy成分又はＹe成分の情報を表すものであり、これら２つの補色成分Ｃy，Ｙeの情報を表す当該画像をここでは補色画像と呼ぶ。   The image signal obtained with the single color filter 6 in the retracted state represents information on the color component in accordance with the transmission characteristics of the color separation filter 4 in the light intended for imaging from the subject. That is, the image signal represents information of the Cy component or Ye component corresponding to each light receiving pixel, and the image representing the information of these two complementary color components Cy and Ye is referred to as a complementary color image here.

一方、単色フィルタ６を装着状態として得た画像信号は、被写体からの撮像目的とする光のうち、単色フィルタ６と色分離フィルタ４との透過特性の積に応じた色成分の情報を表す。上述のように、単色フィルタ６は、色分離フィルタ４を構成する２種類のセグメントの色Ｃy及びＹeの共通成分である色Ｇを有する。よって、当該画像信号は、全ての受光画素にてＧ成分の情報を表すものであり、この１つの原色成分Ｇの情報を表す当該画像をここでは単原色画像と呼ぶ。   On the other hand, the image signal obtained with the monochromatic filter 6 in the mounted state represents information on color components in accordance with the product of the transmission characteristics of the monochromatic filter 6 and the color separation filter 4 in the light intended for imaging from the subject. As described above, the single color filter 6 has the color G that is a common component of the colors Cy and Ye of the two types of segments constituting the color separation filter 4. Therefore, the image signal represents G component information in all the light receiving pixels, and the image representing the information of one primary color component G is referred to as a single primary color image here.

デジタル処理回路２０は、上述のようにＡ／Ｄ変換回路１８から画素単位の画像データＤ１(t)を入力される。単原色画像の画像データＤ１(t)は各行の全画素について得られる。すなわち、単原色画像を構成するＧ成分は、色分離フィルタを搭載しないモノクロ撮像素子と同様の高解像度の画像信号を構成する。これに対して、補色画像を構成するＣy成分、Ｙe成分の画像データＤ１(t)はそれぞれ各行において１画素置きに交互に得られる。すなわち、Ａ／Ｄ変換回路１８から得られた単原色画像及び補色画像の各画像データＤ１(t)は、同一のサンプリング点にてＧ，Ｃy，Ｙe全成分を与えるようにはなっていない。そこで、デジタル処理回路２０は水平及び垂直方向の補間処理を行って、画面内の共通のサンプリング点群にて、それぞれＧ，Ｃy，Ｙe各成分の画像データＤ(G)，Ｄ(Cy)，Ｄ(Ye)を定義する。これらＤ(G)，Ｄ(Cy)，Ｄ(Ye)から演算により各サンプリング点での三原色の成分又はその補色の成分を求めることが可能である。例えば、Ｒ，Ｂ各成分の画像データＤ(R)，Ｄ(B)は次式により求めることができる。
Ｄ(R)＝Ｄ(Ye)−Ｄ(G)
Ｄ(B)＝Ｄ(Cy)−Ｄ(G) As described above, the digital processing circuit 20 receives the image data D 1 (t) in units of pixels from the A / D conversion circuit 18. Image data D 1 (t) of a single primary color image is obtained for all pixels in each row. That is, the G component that constitutes the single primary color image constitutes a high-resolution image signal similar to that of a monochrome image sensor that does not include a color separation filter. In contrast, Cy components constituting the complementary color image, the image data D 1 (t) of the Ye components are respectively obtained alternately every other pixel in each row. That is, the image data D 1 (t) of the single primary color image and the complementary color image obtained from the A / D conversion circuit 18 do not give all components G, Cy, Ye at the same sampling point. . Therefore, the digital processing circuit 20 performs horizontal and vertical interpolation processing, and image data D (G), D (Cy), and G image data of G, Cy, and Ye components, respectively, at a common sampling point group in the screen. Define D (Ye). From these D (G), D (Cy), and D (Ye), it is possible to obtain the three primary color components or their complementary color components at each sampling point. For example, the image data D (R) and D (B) of the R and B components can be obtained by the following equations.
D (R) = D (Ye) -D (G)
D (B) = D (Cy) -D (G)

また、デジタル処理回路２０は例えば、このようにして得られたＤ(R)，Ｄ(G)，Ｄ(B)を用いて、輝度データＹ，色差データＵ，Ｖを求めることができる。例えば、輝度データＹは、一般にはＤ(R)，Ｄ(G)，Ｄ(B)各データに、単色フィルタ６や色分離フィルタ４の透過特性や人間の視覚の分光感度特性等を考慮した係数を乗じて、互いに加算した値で定義される。例えば、デジタル処理回路２０は、次のような式により、輝度データＹを求めることができる。
Ｙ＝０．３Ｄ(R)＋０．６Ｄ(G)＋０．１Ｄ(B) Further, the digital processing circuit 20 can obtain the luminance data Y and the color difference data U and V using, for example, D (R), D (G), and D (B) thus obtained. For example, the luminance data Y generally takes into account the transmission characteristics of the monochromatic filter 6 and the color separation filter 4, the spectral sensitivity characteristics of human vision, etc. in each of the D (R), D (G), and D (B) data. It is defined as a value that is multiplied by a coefficient and added together. For example, the digital processing circuit 20 can obtain the luminance data Y by the following equation.
Y = 0.3D (R) + 0.6D (G) + 0.1D (B)

このように、通常、三原色のうちＧ成分が輝度データＹにおいて大きな比率を占める。画像信号の解像度は基本的にはＹの解像度に応じて定まるため、Ｙの大きな成分となるＤ(G)が高解像度である本撮像装置では、高解像度のカラー画像の撮像が可能となる。   Thus, the G component of the three primary colors usually occupies a large proportion in the luminance data Y. Since the resolution of the image signal is basically determined according to the resolution of Y, this imaging apparatus in which D (G), which is a large component of Y, has a high resolution can capture a high-resolution color image.

また、本来の輝度において大きな比率を占めるＤ(G)そのものを近似的にＹとして出力する構成とすることもできる。この場合、Ｄ(G)の解像度が好適にＹに反映され、一層、高解像度のカラー画像信号が生成される。   Also, D (G) itself, which occupies a large proportion of the original luminance, can be configured to output approximately Y. In this case, the resolution of D (G) is preferably reflected in Y, and a higher-resolution color image signal is generated.

以上説明した撮像装置では、単色フィルタ６の色がＧであり、色分離フィルタ４をＣy及びＹeからなる配列とする構成であったが、他の色の組み合わせも可能である。例えば、単色フィルタ６をＲ、色分離フィルタ４をＹe及びマゼンタ（Ｍg）からなる配列とする構成や、単色フィルタ６をＢ、色分離フィルタ４をＣy及びＭgからなる配列とする構成が可能である。例えば、被写体である書類が赤色を基調としたものであり、Ｇ成分やＢ成分が少ない場合には、Ｄ(G)がＹにおいて大きな影響を有し得る。このような場合には、単色フィルタ６をＲとして、Ｄ(R)を高解像度に得ることで、カラー画像の高解像度化を図ることができる。   In the imaging apparatus described above, the color of the monochromatic filter 6 is G and the color separation filter 4 is arranged in an array composed of Cy and Ye. However, other color combinations are possible. For example, a configuration in which the single color filter 6 is an array of R, the color separation filter 4 is an array of Ye and magenta (Mg), and a configuration of the single color filter 6 is an array of B and the color separation filter 4 is an array of Cy and Mg is possible. is there. For example, if the document that is the subject is based on red, and there are few G and B components, D (G) can have a large effect on Y. In such a case, it is possible to increase the resolution of the color image by obtaining D (R) with a high resolution by setting the monochromatic filter 6 to R.

本撮像装置は、上述のように１フレームのカラー画像を生成する際に、単原色画像の撮像と補色画像の撮像とを行う。上述の構成では、補色画像を先に撮像する例を示したが、単原色画像を先に撮像してもよい。また、単原色画像は上述のように、各画素が同一の色成分の画像データを与え、その色は、輝度データにおいて大きな比率を占め得るもの、例えば、上述の例ではＧに設定される。よって、単原色画像をモノクロ画像として扱うことが可能である。そこで、本撮像装置のモノクロ撮像動作は、単色フィルタ６を装着状態として単原色画像を取得し、この単原色画像のみに基づいて、モノクロ画像を表す輝度信号を生成するように構成される。すなわち、タイミング制御回路２２は、フィルタ駆動機構１４を制御して単色フィルタ６を装着状態とし、駆動回路１２を制御して単原色画像の撮像を行い、デジタル処理回路２０が単原色画像の画像データＤ１(t)のみに基づいてＹを生成する処理を行うように制御する。なお、この場合、デジタル処理回路２０は上述したように、色差データＵ、Ｖを全て固定値「０」として出力する。 As described above, the image capturing apparatus captures a single primary color image and a complementary color image when generating a color image of one frame. In the above-described configuration, an example in which a complementary color image is captured first is shown, but a single primary color image may be captured first. Further, as described above, the single primary color image gives image data of the same color component to each pixel, and the color is set to G, which can occupy a large ratio in the luminance data, for example, G in the above example. Therefore, it is possible to handle a single primary color image as a monochrome image. Therefore, the monochrome imaging operation of the imaging apparatus is configured to acquire a single primary color image with the single color filter 6 attached and generate a luminance signal representing the monochrome image based only on the single primary color image. That is, the timing control circuit 22 controls the filter driving mechanism 14 to put the single color filter 6 into a mounted state, controls the driving circuit 12 to capture a single primary color image, and the digital processing circuit 20 performs image data of the single primary color image. Control is performed to generate Y based only on D 1 (t). In this case, as described above, the digital processing circuit 20 outputs all the color difference data U and V as fixed values “0”.

上述の実施形態の書画カメラシステムは、単色フィルタ６を用いて単原色画像と補色画像との切り替えを実現する。この構成は、書画カメラシステムに限らず、各種の撮像装置に適用することができる。例えば、自ら被写体に光を照射せずに撮像を行う撮像装置にも適用することができる。そしてこの構成を適用した各種撮像装置によれば、１つの固体撮像素子で高解像度のカラー画像の撮像が可能となる。   The document camera system of the above-described embodiment realizes switching between a single primary color image and a complementary color image using the single color filter 6. This configuration can be applied not only to the document camera system but also to various imaging devices. For example, the present invention can also be applied to an imaging apparatus that performs imaging without irradiating the subject with light. According to various imaging apparatuses to which this configuration is applied, it is possible to capture a high-resolution color image with a single solid-state imaging device.

さらに書画カメラシステム等、被写体に光を照射して撮像を行う撮像装置では、次に述べる構成により、単色フィルタ６を用いずに同様の効果を得ることができる。その構成では、上述の構成における単色フィルタ６及びフィルタ駆動機構１４を有さない代わりに、光源８を、白色光のように各色成分を含んだ全色光と、単色フィルタ６に相当する色の単色光とに切り替え可能に構成する。例えば、書画カメラシステムでは、書類を読み込み台にセットしてカラー読み込み動作を指示すると、全色光を書類に照射して補色画像を撮像し、また単色光を照射して単原色画像を撮像する。デジタル処理回路２０は、このように光源の色の切り替えによって得られた単原色画像及び補色画像に基づいて、上述の実施形態と同様にカラー画像信号を生成する。このような光源の切り替えにより単原色画像及び補色画像を取得できる撮像装置の他の例は、イメージスキャナや、胃カメラのような内視鏡装置である。   Further, in an imaging apparatus such as a document camera system that performs imaging by irradiating a subject with light, a similar effect can be obtained without using the monochromatic filter 6 by the configuration described below. In that configuration, instead of having the single color filter 6 and the filter driving mechanism 14 in the above-described configuration, the light source 8 is a single color of all color light including each color component such as white light and a color corresponding to the single color filter 6. It can be switched to light. For example, in a document camera system, when a document is set on a reading table and a color reading operation is instructed, the document is irradiated with all-color light to capture a complementary color image, and a single color light is irradiated to capture a single primary color image. The digital processing circuit 20 generates a color image signal in the same manner as in the above-described embodiment, based on the single primary color image and the complementary color image obtained by switching the color of the light source. Other examples of the imaging apparatus that can acquire a single primary color image and a complementary color image by switching the light source are an image scanner and an endoscope apparatus such as a stomach camera.

なお、上述の実施形態では、撮像素子２はフレーム転送方式のＣＣＤイメージセンサとしたが、インターライン転送方式等の他の構成のＣＣＤイメージセンサであってもよいし、ＣＭＯＳイメージセンサであってもよい。また、色分離フィルタ４の配列は、市松模様に限定されず、例えば、ストライプ配列のものであってもよい。また、色分離フィルタ４を構成するセグメントとして、２つの補色に加えて、白（Ｗ）のセグメントを混在させても、単色フィルタ６の装着状態にて単原色画像を得ることができ、高解像度のカラー画像信号の生成が可能である。   In the above-described embodiment, the image pickup device 2 is a frame transfer type CCD image sensor, but may be a CCD image sensor having another configuration such as an interline transfer type or a CMOS image sensor. Good. Further, the arrangement of the color separation filters 4 is not limited to a checkered pattern, and may be, for example, a stripe arrangement. Further, even when white (W) segments are mixed in addition to two complementary colors as the segments constituting the color separation filter 4, a single primary color image can be obtained with the single color filter 6 mounted, and high resolution. The color image signal can be generated.

また、撮像素子２は、エリアセンサに限られず、イメージスキャナのように撮像素子２をラインセンサとして機械的な走査により二次元画像を撮像する装置にも本発明を適用することができる。   The imaging device 2 is not limited to an area sensor, and the present invention can also be applied to an apparatus that captures a two-dimensional image by mechanical scanning using the imaging device 2 as a line sensor, such as an image scanner.

本発明の実施形態である撮像装置の概略の構成を示すブロック図である。1 is a block diagram illustrating a schematic configuration of an imaging apparatus according to an embodiment of the present invention. 本発明の実施形態で用いる撮像素子の概略の構成を示すブロック図である。1 is a block diagram illustrating a schematic configuration of an image sensor used in an embodiment of the present invention. 本発明の実施形態である撮像装置におけるカラー撮像の動作を説明する模式的なタイミング図である。FIG. 5 is a schematic timing diagram illustrating color imaging operation in the imaging apparatus according to the embodiment of the present invention.

符号の説明Explanation of symbols

２ 撮像素子、４ 色分離フィルタ、６ 単色フィルタ、８ 光源、１０ レンズ、１２ 駆動回路、１４ フィルタ駆動機構、１６ アナログ処理回路、１８ Ａ／Ｄ変換回路、２０ デジタル処理回路、２２ タイミング制御回路。   2 image sensor, 4 color separation filter, 6 monochromatic filter, 8 light source, 10 lens, 12 drive circuit, 14 filter drive mechanism, 16 analog processing circuit, 18 A / D conversion circuit, 20 digital processing circuit, 22 timing control circuit.

Claims (6)

光の三原色に対する補色である第１乃至第３の補色のうち、それぞれ前記第１の補色と前記第２の補色との一方に対応した感度を有する２種類の受光画素が行列配置された固体撮像素子を用いて、カラー画像を撮像する方法であって、
被写体からの撮像目的光をそのままの色成分で前記固体撮像素子の前記各受光画素に照射して、当該固体撮像素子で撮像し補色画像を取得するステップと、
前記撮像目的光を構成する前記光の三原色の各成分のうち前記第３の補色に対応する原色成分光を選択的に抽出して前記固体撮像素子の前記各受光画素に照射して、当該固体撮像素子で撮像し単原色画像を取得するステップと、
前記補色画像及び前記単原色画像に対して所定の信号処理を施し、前記カラー画像を生成するステップと、
を有することを特徴とするカラー画像撮像方法。 Solid imaging in which two types of light-receiving pixels each having a sensitivity corresponding to one of the first complementary color and the second complementary color among the first to third complementary colors which are complementary colors to the three primary colors of light are arranged in a matrix A method of capturing a color image using an element,
Irradiating each light receiving pixel of the solid-state image sensor with the target imaging light from the subject as it is, capturing an image with the solid-state image sensor, and obtaining a complementary color image;
The primary color component light corresponding to the third complementary color is selectively extracted from the three primary color components of the light constituting the imaging target light, and the light receiving pixels of the solid-state imaging device are irradiated with the primary color component light. Capturing a single primary image by imaging with an image sensor;
Performing predetermined signal processing on the complementary color image and the single primary color image to generate the color image;
A color image imaging method characterized by comprising: 光の三原色に対する補色である第１乃至第３の補色のうち、それぞれ前記第１の補色と前記第２の補色とに対応した感度を有する２種類の受光画素が行列配置された固体撮像素子と、
前記光の三原色のうち前記第３の補色に対応する特定原色の光成分を選択的に透過する特定原色フィルタと、
前記特定原色フィルタを、前記固体撮像素子の前記各受光画素に照射される光の光路上に配置した状態と配置しない状態とを切り替え可能なフィルタ駆動機構と、
前記固体撮像素子及び前記フィルタ駆動機構の駆動を制御して、カラー画像の撮像時に、前記光路上に前記特定原色フィルタを配置せずに前記固体撮像素子で撮像し補色画像を取得する動作と、前記光路上に前記特定原色フィルタを配置して前記固体撮像素子で撮像し単原色画像を取得する動作とを行う駆動部と、
前記補色画像及び前記単原色画像に対して所定の信号処理を施し、前記カラー画像を生成する信号処理部と、
を有することを特徴とする撮像装置。 A solid-state imaging device in which two types of light receiving pixels each having a sensitivity corresponding to the first complementary color and the second complementary color among the first to third complementary colors which are complementary colors to the three primary colors of light are arranged in a matrix; ,
A specific primary color filter that selectively transmits a light component of a specific primary color corresponding to the third complementary color of the three primary colors of light;
A filter driving mechanism capable of switching between a state in which the specific primary color filter is disposed on an optical path of light applied to each light receiving pixel of the solid-state image sensor and a state in which the specific primary color filter is not disposed;
An operation of controlling the driving of the solid-state imaging device and the filter driving mechanism to capture a complementary color image by imaging with the solid-state imaging device without arranging the specific primary color filter on the optical path when imaging a color image; A drive unit that performs the operation of arranging the specific primary color filter on the optical path and capturing an image with the solid-state imaging device to acquire a single primary color image;
A signal processing unit that performs predetermined signal processing on the complementary color image and the single primary color image to generate the color image;
An imaging device comprising: 光の三原色に対する補色である第１乃至第３の補色のうち、それぞれ前記第１の補色と前記第２の補色とに対応した感度を有する２種類の受光画素が行列配置された固体撮像素子と、
被写体に白色の照明光及び、前記光の三原色のうち前記第３の補色に対応する特定原色の照明光を切り替えて照射可能な光源と、
前記固体撮像素子及び前記光源の駆動を制御して、カラー画像の撮像時に、前記被写体に前記白色の照明光を照射して前記固体撮像素子で撮像し補色画像を取得する動作と、前記被写体に前記特定原色の照明光を照射して前記固体撮像素子で撮像し単原色画像を取得する動作とを行う駆動部と、
前記補色画像及び前記単原色画像に対して所定の信号処理を施し、前記カラー画像を生成する信号処理部と、
を有することを特徴とする撮像装置。 A solid-state imaging device in which two types of light receiving pixels each having a sensitivity corresponding to the first complementary color and the second complementary color among the first to third complementary colors which are complementary colors to the three primary colors of light are arranged in a matrix; ,
A light source capable of switching and irradiating a subject with white illumination light and illumination light of a specific primary color corresponding to the third complementary color among the three primary colors of the light;
Controlling the driving of the solid-state image sensor and the light source to irradiate the subject with the white illumination light and capturing the image with the solid-state image sensor when capturing a color image; A drive unit that performs an operation of irradiating illumination light of the specific primary color and capturing an image with the solid-state imaging device to acquire a single primary color image;
A signal processing unit that performs predetermined signal processing on the complementary color image and the single primary color image to generate the color image;
An imaging device comprising: 請求項２又は請求項３に記載の撮像装置において、
前記信号処理部は、
前記単原色画像に基づいて前記カラー画像の輝度信号を生成し、
前記補色画像及び前記単原色画像に基づいて前記カラー画像の色信号を生成すること、
を特徴とする撮像装置。 In the imaging device according to claim 2 or 3,
The signal processing unit
Generating a luminance signal of the color image based on the single primary color image;
Generating a color signal of the color image based on the complementary color image and the single primary color image;
An imaging apparatus characterized by the above. 請求項２から請求項４のいずれか１つに記載の撮像装置において、
前記駆動部は、モノクロ画像の撮像時に、前記単原色画像を取得する動作を行い、
前記信号処理部は、
前記単原色画像に基づいて前記モノクロ画像の輝度信号を生成すること、
を特徴とする撮像装置。 In the imaging device according to any one of claims 2 to 4,
The driving unit performs an operation of acquiring the single primary color image when capturing a monochrome image,
The signal processing unit
Generating a luminance signal of the monochrome image based on the single primary color image;
An imaging apparatus characterized by the above. 請求項２から請求項５のいずれか１つに記載の撮像装置において、
前記第１の補色及び前記第２の補色は、シアン及びイエローであり、
前記特定原色は、グリーンであること、
を特徴とする撮像装置。
In the imaging device according to any one of claims 2 to 5,
The first complementary color and the second complementary color are cyan and yellow,
The specific primary color is green;
An imaging apparatus characterized by the above.
JP2006130780A 2006-05-09 2006-05-09 Color image imaging method and imaging device Pending JP2007306156A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006130780A JP2007306156A (en) 2006-05-09 2006-05-09 Color image imaging method and imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006130780A JP2007306156A (en) 2006-05-09 2006-05-09 Color image imaging method and imaging device

Publications (1)

Publication Number Publication Date
JP2007306156A true JP2007306156A (en) 2007-11-22

Family

ID=38839747

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006130780A Pending JP2007306156A (en) 2006-05-09 2006-05-09 Color image imaging method and imaging device

Country Status (1)

Country Link
JP (1) JP2007306156A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012230401A (en) * 2012-06-26 2012-11-22 Keyence Corp Magnification observation device, magnification observation method and magnification observation program
KR101243285B1 (en) * 2011-08-19 2013-03-13 한경대학교 산학협력단 Apparatus and method for reconstructing color image based on multi-spectrum using Bayer Color Filter Array camera

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101243285B1 (en) * 2011-08-19 2013-03-13 한경대학교 산학협력단 Apparatus and method for reconstructing color image based on multi-spectrum using Bayer Color Filter Array camera
JP2012230401A (en) * 2012-06-26 2012-11-22 Keyence Corp Magnification observation device, magnification observation method and magnification observation program

Similar Documents

Publication Publication Date Title
JP4951440B2 (en) Imaging apparatus and solid-state imaging device driving method
ES2287962T3 (en) DEVICE FOR COLLECTING IMAGES.
JP3970185B2 (en) Solid-state image sensor and digital camera
JP4291793B2 (en) Solid-state imaging device and solid-state imaging device
JP5501448B2 (en) Imaging apparatus and solid-state imaging device driving method
US8111298B2 (en) Imaging circuit and image pickup device
JP2009246465A (en) Image pickup apparatus, image pickup module and image pickup system
WO2012014553A1 (en) Imaging device and imaging method
US11019297B2 (en) Image capturing device
JP2011061684A (en) Solid-state imaging element and method of driving the same, and imaging device
JP2006270364A (en) Solid-state image pickup element and solid-state image pickup device, and driving method thereof
JP5033711B2 (en) Imaging device and driving method of imaging device
JP3902525B2 (en) Image signal processing device
EP3756342B1 (en) Cmos sensor architecture for temporal dithered sampling
JPH08242410A (en) Electronic camera that creates interlaced image from sequential scanning sensor of electronic camera
JP2007306156A (en) Color image imaging method and imaging device
JP4953759B2 (en) Electronic endoscope device
JP5124549B2 (en) Moving image signal readout method and imaging apparatus for solid-state imaging device
JP3475084B2 (en) Imaging device
JP4852490B2 (en) Imaging apparatus and post-view image generation method thereof
JP2008078794A (en) Image sensor driver
JP4408059B2 (en) Imaging device
JP5256084B2 (en) Imaging device and driving method of imaging device
JP2004289444A (en) Signal processing device and digital camera
JP2000261817A (en) Image pickup device