JP2003283907A - Imaging device - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To obtain a compound eye type imaging device in which a high S/N ratio is ensured while enhancing resolution by reducing the pixel size. <P>SOLUTION: An identical object is focused on a plurality of units 11 in an image cell section 10, a unit cell 12 where the substantially identical part of the object is focused is selected for each unit by means of a row select scanner 21 and a column select scanner 23, and then the signals received by light receiving elements included in the selected unit cell 12 are added by means of an adder 25. Even if the unit cell 12 is reduced in size, a high signal level can be attained by adding the signals from a plurality of unit cells 12. <P>COPYRIGHT: (C)2004,JPO

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【発明の属する技術分野】本発明は、撮像対象である物
体（本明細書中では「対象物体」という）を撮像してそ
の画像情報を取得するための撮像装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image pickup apparatus for picking up an image of an object as an image pickup object (referred to as "target object" in this specification) and acquiring image information thereof.

【０００２】[0002]

【従来の技術】近年、一般家庭へのパーソナルコンピュ
ータの普及に伴い、従来の銀塩フィルムを利用したスチ
ルカメラに代わって、小型のデジタルメモリ素子に画像
データを記憶させるいわゆるデジタルカメラが急速に普
及している。こうしたデジタルカメラでは、一般に撮像
素子の画素数によって解像度がほぼ決まっており、撮像
素子自体の画素数の増加が試みられている。2. Description of the Related Art In recent years, with the spread of personal computers in general households, so-called digital cameras, which store image data in a small digital memory device, have rapidly spread in place of conventional still cameras using a silver salt film. is doing. In such a digital camera, the resolution is generally determined by the number of pixels of the image pickup device, and an attempt is made to increase the number of pixels of the image pickup device itself.

【０００３】一方、こうした撮像素子の小型化を図るた
めに、従来より、例えば特開2001-61109号公報などに記
載の、複眼結像光学系を用いた構成が知られている。こ
れは、昆虫の視覚系としてよく知られる複眼に類似の構
造を利用したもので、複数の微小レンズの集合体によっ
て、２次元状の受光面を複数に区分した各ユニットにほ
ぼ同一の画像を結像させ、各ユニットの視差に応じた該
画像の位置ずれを利用した信号処理を行って、複数ユニ
ットの各受光素子による受光信号から対象物体に対する
画像を再構成しようとするものである。On the other hand, in order to reduce the size of such an image pickup device, a configuration using a compound eye image forming optical system as described in, for example, Japanese Patent Laid-Open No. 2001-61109 has been conventionally known. This uses a structure similar to a compound eye, which is well known as the visual system of insects, and an almost identical image is displayed on each unit in which a two-dimensional light receiving surface is divided into a plurality by an assembly of a plurality of microlenses. An image is formed, and signal processing is performed by utilizing the positional deviation of the image according to the parallax of each unit to reconstruct an image of the target object from the light reception signals from the light receiving elements of the plurality of units.

【０００４】[0004]

【発明が解決しようとする課題】しかしながら、従来の
複眼型撮像装置では次のような問題がある。すなわち、
こうした撮像装置で解像度を上げるための方法として
は、主として次の３つが考え得る。 (1)ユニットサイズを固定したまま各画素のサイズを縮
小し、１ユニットに含まれる画素数を増加させる (2)画素のサイズを固定したままユニットサイズを大型
化し、１ユニットに含まれる画素数を増加させる (3)ユニット数を増加させる もちろん、上記(1)〜(3)の方法の組み合わせも考え得
る。However, the conventional compound-eye type image pickup device has the following problems. That is,
The following three methods can be mainly considered as methods for increasing the resolution in such an imaging device. (1) Reduce the size of each pixel while keeping the unit size fixed, and increase the number of pixels included in one unit. (2) Increase the unit size while keeping the pixel size fixed, and increase the number of pixels included in one unit. (3) Increase the number of units. Of course, a combination of the above methods (1) to (3) is also conceivable.

【０００５】しかしながら、いずれの方法にも問題があ
る。すなわち、(1)によると、画素サイズが小さくなる
ことによって受光感度が低下し、Ｓ/Ｎ比を確保するこ
とが難しくなる。また(2)によると、レンズの画角が同
じ場合には、ユニットサイズを大きくすることによって
レンズの焦点距離が長くなってしまうため、装置の小型
化に反する。逆に、レンズの焦点距離を同じ又は短くす
ることにより、画角を広げると、レンズ設計及び製造が
困難になる。更にまた(3)によると、ユニットの数を増
やしても、ユニット毎の受光感度のばらつきや光学系の
アライメント誤差によって、再構成後の実質的な分解能
の向上が達成されないおそれがある。However, both methods have problems. That is, according to (1), the light receiving sensitivity decreases due to the reduction in pixel size, and it becomes difficult to secure the S / N ratio. According to (2), when the angle of view of the lens is the same, the focal length of the lens becomes longer by increasing the unit size, which is against the downsizing of the device. Conversely, if the angle of view is widened by making the focal length of the lens the same or shorter, lens design and manufacturing become difficult. Furthermore, according to (3), even if the number of units is increased, there is a possibility that substantial improvement in resolution after reconstruction may not be achieved due to variations in light receiving sensitivity for each unit and alignment errors in the optical system.

【０００６】また、上記従来技術では、画像の縮退の問
題がある。すなわち、上記従来技術では、ユニット毎に
生じる異なる視差量を利用して、各ユニットで捉えられ
ている画像よりも高い分解能の画像を再構成する方法が
採用されている。しかしながら、特定の物体距離（例え
ば無限遠）では視差が生じず、１ユニットの画像からの
分解能向上が見られなくなる。また、これを回避するた
めに、無限遠の物体に対して予め視差が生じるように設
計しても、その場合には、他の有限距離の物体に対し、
特定の距離で視差量がゼロになるおそれがある。Further, the above-mentioned conventional technique has a problem of image degeneracy. That is, the above-mentioned conventional technique employs a method of reconstructing an image having a higher resolution than the image captured by each unit by using different parallax amounts generated for each unit. However, parallax does not occur at a specific object distance (for example, infinity), and resolution improvement from the image of one unit cannot be seen. In addition, in order to avoid this, even if the object at infinity is designed to have a parallax in advance, in that case, other objects with a finite distance,
The parallax amount may become zero at a specific distance.

【０００７】本発明は上記課題に鑑みて成されたもので
あり、その第１の目的とするところは、ユニットサイズ
やユニット数を増加させることなく、高いＳ/Ｎ比を確
保しつつ解像度を向上させることができる撮像装置を提
供することにある。また、他の目的とするところは、物
体距離に拘わらず常に高い解像度を達成することができ
る撮像装置を提供することにある。The present invention has been made in view of the above problems, and a first object of the present invention is to secure a high S / N ratio and increase the resolution without increasing the unit size or the number of units. An object is to provide an imaging device that can be improved. Another object is to provide an image pickup apparatus which can always achieve high resolution regardless of the object distance.

【０００８】[0008]

【課題を解決するための手段】上記課題を解決するため
に成された本発明に係る撮像装置は、 a)２次元状に配置された多数の微小な受光素子から成る
受光面を１つのユニットとして、Ｐ（Ｐは２以上の整
数）個のユニットを同一の２次元面上に配置した光電変
換手段と、 b)該光電変換手段のＰ個の各ユニット毎に設けられ、そ
れぞれ対象物体を前記受光面に結像するためのＰ個の微
小レンズから成る集光手段と、 c)前記Ｐ個のユニットのうちの少なくとも２個以上のユ
ニットにおいて、前記対象物体の略同一部位が結像して
いる受光素子をそれぞれ選択して、それら複数の受光素
子による受光信号を加算する選択加算手段と、を備える
ことを特徴としている。SUMMARY OF THE INVENTION An image pickup device according to the present invention made to solve the above-mentioned problems is a) a unit having a light-receiving surface composed of a large number of minute light-receiving elements arranged two-dimensionally. , P (P is an integer of 2 or more) units arranged on the same two-dimensional surface, and b) provided for each unit of P units of the photoelectric conversion unit, each of which is a target object. A light condensing means composed of P minute lenses for forming an image on the light receiving surface, and c) at least two or more units out of the P units form substantially the same portion of the target object. Selective addition means for selecting the respective light receiving elements and adding light reception signals from the plurality of light receiving elements.

【０００９】[0009]

【発明の実施の形態、及び効果】本発明に係る撮像装置
では、対象物体を撮像したときに、光源変換手段及び集
光手段により、その対象物体を２次元的に投影した同一
の画像がＰ個の各ユニットに対してそれぞれ結像され
る。このとき、対象物体上の或る１点から出射された光
が集光手段の各微小レンズに入射する角度はそれぞれ異
なるため、各ユニットにおいてその点が結像する位置は
それぞれ異なる。したがって、同一の対象物体に対する
結像であっても、その結像はユニット毎に位置ずれを生
じ、そのずれ量は上記入射角度、つまりは物体との距離
や視差量に依存することになる。一般には、距離が近い
ほど視差量は大きくなるから、位置ずれ量は大きくな
る。選択加算手段は、同一の対象物体が投影されるＰ個
のユニットのうちの少なくとも２個以上のユニットにお
いて、上記結像の位置ずれ量を考慮して対象物体の略同
一部位が結像している受光素子をそれぞれ選択し、それ
ら受光素子による受光信号（電圧、電流又は電荷）を加
算してその部位に対応した領域の画素値とする。BEST MODE FOR CARRYING OUT THE INVENTION In the image pickup apparatus according to the present invention, when a target object is imaged, the same image obtained by projecting the target object two-dimensionally by the light source conversion means and the light focusing means is displayed. An image is formed for each of the individual units. At this time, since the light emitted from a certain point on the target object is incident on the microlenses of the condensing means at different angles, the positions at which the points form images are different at each unit. Therefore, even if images are formed on the same target object, the image formation causes a positional deviation for each unit, and the deviation amount depends on the incident angle, that is, the distance to the object and the parallax amount. In general, the closer the distance is, the larger the parallax amount is, and thus the larger the position shift amount is. The selective addition means forms an image of the substantially same portion of the target object in at least two or more units of the P units onto which the same target object is projected, in consideration of the amount of positional deviation of the image formation. Each of the light receiving elements that are present is selected, and the light receiving signals (voltage, current, or charge) from these light receiving elements are added to obtain the pixel value of the region corresponding to that portion.

【００１０】したがって、１個のユニットの中の１個の
受光素子による受光信号は小さくても、それを複数加算
することにより信号レベルは大きくなる。例えば、光電
変換手段全体のサイズを大きくすることなく画素数を増
加させるために、ユニットサイズを固定したまま各受光
素子のサイズを縮小して１ユニットに含まれる受光素子
数を増加させた場合には、１個の受光素子の受光面積が
減少して同一光強度を有する光に対する信号強度が劣化
する。しかしながら、本発明に係る撮像装置によれば、
複数の信号を加算することにより信号レベルを大きくす
ることができるので、画素数を増やして且つ高画質を達
成することができる。Therefore, even if the light receiving signal by one light receiving element in one unit is small, the signal level becomes high by adding a plurality of light receiving signals. For example, in order to increase the number of pixels without increasing the size of the entire photoelectric conversion means, when the size of each light receiving element is reduced and the number of light receiving elements included in one unit is increased while the unit size is fixed. Reduces the light receiving area of one light receiving element and deteriorates the signal intensity for light having the same light intensity. However, according to the imaging device of the present invention,
Since the signal level can be increased by adding a plurality of signals, it is possible to increase the number of pixels and achieve high image quality.

【００１１】また、本発明に係る撮像装置では、各ユニ
ットにおける結像の位置ずれの有無と分解能とは無関係
であるため、例えば無限遠などの特定の物体距離におい
て各ユニットに視差が生じなくなった場合でも分解能が
劣化することなく、常に高い分解能を維持することがで
きる。Further, in the image pickup apparatus according to the present invention, since the presence or absence of positional deviation of image formation in each unit is irrelevant to the resolution, parallax does not occur in each unit at a specific object distance such as infinity. Even in such a case, the high resolution can always be maintained without deterioration of the resolution.

【００１２】なお、本発明に係る撮像装置では、単純に
対象物体の同一部位に対応する受光信号のみを加算した
場合、最終的な画像の画素数は１個のユニットに属する
受光素子の総数としかならないため、光電変換手段の総
画素数よりも減少する。そこで、異なるユニットにおい
て、前記対象物体の略同一部位が結像している受光素子
とそれに隣接する又は近接する受光素子とによる受光信
号を加算し、該加算結果により、隣接する受光素子の中
間に位置する仮想的な受光素子による受光信号に相当す
る信号を生成する補間処理手段を更に備える構成とする
ことが好ましい。In the image pickup apparatus according to the present invention, when only the light receiving signals corresponding to the same portion of the target object are simply added, the final image pixel number is the total number of light receiving elements belonging to one unit. Therefore, the total number of pixels of the photoelectric conversion means is reduced. Therefore, in different units, the light receiving signals from the light receiving element on which the substantially same portion of the target object is imaged and the light receiving element adjacent to or close to the light receiving element are added, and the result of the addition results in the middle of the adjacent light receiving elements. It is preferable to further include interpolation processing means for generating a signal corresponding to a light reception signal by the virtual light receiving element located.

【００１３】この構成によれば、再構成された画像の画
素数を実質的に１個のユニットに属する画素数よりも増
加させることができ、これに更に輪郭補正フィルタなど
の適宜の処理を加えることにより画像の精細度を向上さ
せることができる。According to this structure, the number of pixels of the reconstructed image can be made substantially larger than the number of pixels belonging to one unit, and an appropriate processing such as a contour correction filter is further added to this. As a result, the definition of the image can be improved.

【００１４】上述したように、複数のユニット間におけ
る同一対象物体の結像の位置のずれ量は、その対象物体
との距離や視差量に依存する。そこで、前記選択加算手
段は、前記Ｐ個のユニットのうちの一部の複数のユニッ
トにおいて、対象物体に対する視差量又は距離の差とし
て、該対象物体の略同一部位が結像している結像位置の
ずれ量を推定し、該推定値に基づいて選択する受光素子
を決める構成とすることができる。As described above, the shift amount of the image forming position of the same target object among a plurality of units depends on the distance to the target object and the amount of parallax. Therefore, the selective addition means forms an image in which a substantially same portion of the target object is imaged as a difference in parallax amount or distance with respect to the target object in some of the plurality of units of the P units. It is possible to adopt a configuration in which the amount of positional deviation is estimated and the light receiving element to be selected is determined based on the estimated value.

【００１５】位置ずれ量を推定するには、撮影した２次
元画像のうちの一部に着目すれば充分であるから、その
一実施態様として、前記選択加算手段は、前記Ｐ個のユ
ニットのうちの一部の複数のユニットにおいて、前記結
像位置のずれ量が変化するように受光素子の選択を変化
させつつ、該受光素子による受光信号を加算してその結
果から部分的な画像を構成し、該画像の品質を評価する
ことにより最適な結像位置のずれ量を求める構成とする
ことができる。In order to estimate the amount of positional deviation, it suffices to pay attention to a part of the photographed two-dimensional image. Therefore, as one embodiment thereof, the selective addition means is one of the P units. In some of the plurality of units, while the selection of the light receiving element is changed so that the shift amount of the image forming position is changed, the light receiving signals from the light receiving element are added to form a partial image from the result. It is possible to obtain the optimum amount of shift of the imaging position by evaluating the quality of the image.

【００１６】すなわち、位置ずれ量を少しずつ変えるよ
うに受光素子の読み出し位置を変える毎に部分的な画像
を再構成したとき、その位置ずれ量が実際の物体との距
離（又は視差）と一致したとき又は最も近くなったとき
に、再構成された部分的画像の精細度は最も高くなるも
のと推定できる。したがって、信号を加算する受光素子
の位置を少しずつ変えながら部分的画像の精細度を評価
し、その評価が最も良好であったときにその状態の位置
ずれが最適であると結論付ける。なお、前記画像の品質
の評価としては各種の方法を採用することができるが、
例えば部分的な画像のコントラスト値を用いることがで
きる。That is, when a partial image is reconstructed every time the reading position of the light receiving element is changed so that the positional deviation amount is changed little by little, the positional deviation amount matches the distance (or parallax) from the actual object. It can be inferred that the fineness of the reconstructed partial image will be the highest at the time of occurrence or at the time of being closest to the time. Therefore, the fineness of the partial image is evaluated while changing the position of the light receiving element for adding the signal little by little, and when the evaluation is the best, it is concluded that the positional deviation in that state is optimum. Although various methods can be adopted as the evaluation of the quality of the image,
For example, the contrast value of a partial image can be used.

【００１７】[0017]

【実施例】本発明に係る撮像装置の一実施例である画像
センサについて、図面を参照しながら説明する。図１は
本実施例の画像センサの内部の概略構成図、図２は横方
向に配列された３個のユニットの光学系を概略的に示す
縦断面図である。DESCRIPTION OF THE PREFERRED EMBODIMENTS An image sensor, which is an embodiment of an image pickup apparatus according to the present invention, will be described with reference to the drawings. FIG. 1 is a schematic configuration diagram of the inside of the image sensor of the present embodiment, and FIG. 2 is a vertical sectional view schematically showing an optical system of three units arranged in the horizontal direction.

【００１８】本画像センサにおいて、平面状のイメージ
セル部１０は、８行×８列の２次元の行列状に配置され
た６４個の単位セル（これが１画素に相当）１２を１個
のユニット１１とし、縦方向及び横方向にそれぞれ４個
ずつ並べて配置された１６個のユニット１１から構成さ
れている。各単位セル１２はそれぞれ受光素子としてホ
トダイオードを備えており、イメージセル部１０に照射
された光は各ホトダイオードにより光電変換され、画素
単位で電気信号を発生する。したがって、ここではＰ＝
１６である。In the present image sensor, the planar image cell unit 10 has one unit of 64 unit cells (which corresponds to one pixel) 12 arranged in a two-dimensional matrix of 8 rows × 8 columns. 11, and is composed of 16 units 11 which are arranged side by side in the vertical direction and four in the horizontal direction. Each unit cell 12 includes a photodiode as a light receiving element, and the light applied to the image cell unit 10 is photoelectrically converted by each photodiode to generate an electric signal in a pixel unit. Therefore, P =
Sixteen.

【００１９】図２に示すように、イメージセル部１０の
前方には、各ユニット１１に対応して１個ずつ微小レン
ズ３１が配置されており、或るユニット１１の前方に配
置された微小レンズ３１に入射した光はそのユニット１
１に属する複数の受光素子の受光面上に集光するように
構成されている。なお、他のユニットへの光の漏れ込み
を防止するために、微小レンズ３１とイメージセル部１
０との間（図２中に点線で示した箇所）に、各ユニット
１１毎を区画する隔壁を設けるようにしてもよい。As shown in FIG. 2, one microlens 31 is arranged in front of the image cell portion 10 corresponding to each unit 11, and a microlens arranged in front of a certain unit 11 is arranged. The light incident on 31 is the unit 1
The light receiving surfaces of the plurality of light receiving elements belonging to No. 1 are focused. In order to prevent light from leaking into other units, the microlens 31 and the image cell unit 1
A partition wall for partitioning each unit 11 may be provided between 0 and 0 (where indicated by the dotted line in FIG. 2).

【００２０】ここで、図２に描いたように、異なるユニ
ットにおける微小レンズ３１から対象物体上の或る１点
Ｓを見たときの方向は相違し、その方向の間にはθ１，
θ２などの角度が生じる（つまり視差がある）。したが
って、点Ｓから出射した光は各ユニットの微小レンズ３
１にそれぞれ入射した後、各ユニットの受光面上の相対
的に異なる位置に集光する。そのため、各ユニットの受
光面にはほぼ同一（画像の周縁部を除けば同一）の画像
が結像されるものの、ユニット間での相対的な結像の位
置はずれたものとなる（但し、図２は極端に描いている
ため集光位置は大きくずれているが、実際にはそのずれ
量は遙かに小さい）。対象物体が微小レンズ３１つまり
本画像センサから離れた位置にあるほどθ１，θ２は小
さくなり、無限遠にあるとするとθ１，θ２はゼロとな
る。このときにはユニット間での画像の位置ずれはなく
なる。したがって、対象物体が画像センサに近づくほ
ど、その対象物体を撮影した画像の上記位置ずれは大き
くなる。Here, as shown in FIG. 2, the directions when a certain point S on the target object is seen from the microlenses 31 in different units are different, and between these directions, θ1,
An angle such as θ2 occurs (that is, there is parallax). Therefore, the light emitted from the point S is the minute lens 3 of each unit.
After being incident on each of 1, the light is focused on a relatively different position on the light receiving surface of each unit. Therefore, although almost the same image is formed on the light-receiving surface of each unit (the same except for the peripheral portion of the image), the relative image formation position between the units is deviated (however, Since 2 is drawn extremely, the focus position is largely deviated, but the amount of deviation is actually much smaller). Θ1 and θ2 become smaller as the target object is located farther from the minute lens 31, that is, the main image sensor, and θ1 and θ2 become zero when the object is at infinity. At this time, the positional deviation of the image between the units disappears. Therefore, the closer the target object is to the image sensor, the larger the positional deviation of the image obtained by capturing the target object.

【００２１】図１に戻り説明すると、イメージセル部１
０の縦方向には、ユニット１１毎に分割された行選択ス
キャナ２１と行リセットスキャナ２２とが接続されてい
る。行選択スキャナ２１及び行リセットスキャナ２２は
各ユニット１１毎にそれぞれ１つの行（水平ライン）を
選択する。行リセットスキャナ２２は、各単位セル１２
の電気信号を読み出す前又は後に、基準電位を定めるべ
くリセットを行う機能を有する。Referring back to FIG. 1, the image cell unit 1 will be described.
In the vertical direction of 0, a row selection scanner 21 and a row reset scanner 22 divided for each unit 11 are connected. The row selection scanner 21 and the row reset scanner 22 select one row (horizontal line) for each unit 11. The row reset scanner 22 uses each unit cell 12
It has a function of resetting to determine the reference potential before or after reading the electric signal of.

【００２２】一方、イメージセル部１０の横方向には、
ユニット１１毎に分割されたサンプル／ホールド回路２
４と、列選択スキャナ２３とが接続されている。イメー
ジセル部１０の縦方向に配列された３２個の単位セル１
２の出力は、それぞれ上記行選択スキャナ２１により選
択制御されるスイッチを介して同一垂直信号線に接続さ
れ、その垂直信号線がサンプル／ホールド回路２４に入
力されている。したがって、複数の単位セル１２からの
電気信号が同一垂直信号線に供給されると、該電気信号
は該信号線上で加算されてサンプル／ホールド回路２４
に与えられる。サンプル／ホールド回路２４は、各列
（垂直ライン）に属する１乃至複数の単位セル１２から
読み出された電気信号又はその加算値をサンプル／ホー
ルドする。列選択スキャナ２３は、各ユニット毎にそれ
ぞれ１つの列に対応する電気信号を選択して読み出す。On the other hand, in the lateral direction of the image cell section 10,
Sample / hold circuit 2 divided for each unit 11
4 and the column selection scanner 23 are connected. 32 unit cells 1 arranged in the vertical direction of the image cell unit 10
The two outputs are connected to the same vertical signal line via the switches selectively controlled by the row selection scanner 21, and the vertical signal line is input to the sample / hold circuit 24. Therefore, when the electric signals from the plurality of unit cells 12 are supplied to the same vertical signal line, the electric signals are added on the signal line and the sample / hold circuit 24 is added.
Given to. The sample / hold circuit 24 samples / holds an electric signal read from one or a plurality of unit cells 12 belonging to each column (vertical line) or an added value thereof. The column selection scanner 23 selects and reads out an electric signal corresponding to one column for each unit.

【００２３】ユニット１１毎に分割された各サンプル／
ホールド回路２４の読み出し出力は加算器２５で加算さ
れており、バッファアンプ２６を介して外部へと取り出
され、画像処理回路３０に入力される。したがって、行
選択スキャナ２１で各ユニット１１毎に最大１つの行を
選択し、列選択スキャナ２３で各ユニット１１毎に最大
１つの列を選択することにより、加算器２５では、１６
個のユニット１１毎にそれぞれ最大１個ずつ選択された
単位セル１２の出力（実際には受光素子による電気信
号）が加算されることになる。Each sample divided for each unit 11 /
The read output of the hold circuit 24 is added by the adder 25, taken out to the outside via the buffer amplifier 26, and input to the image processing circuit 30. Therefore, the row selection scanner 21 selects at most one row for each unit 11, and the column selection scanner 23 selects at most one column for each unit 11.
For each unit 11, a maximum of one unit cell 12 output (actually an electric signal from the light receiving element) is added.

【００２４】タイミング制御部２７は、外部から複数の
クロック信号を受けて、行選択スキャナ２１、行リセッ
トスキャナ２２、列選択スキャナ２３等の動作を制御す
るための制御信号を生成する。このタイミング制御部２
７による制御の下に、行選択スキャナ２１及び列選択ス
キャナ２３により各ユニット１１毎に適宜の単位セル１
２を選択してその加算出力を画像処理回路３０に順次入
力すると、画像処理回路３０では所定のアルゴリズムに
基づいて、得られた画素信号から２次元画像が再構成さ
れる。The timing control section 27 receives a plurality of clock signals from the outside and generates control signals for controlling the operations of the row selection scanner 21, the row reset scanner 22, the column selection scanner 23 and the like. This timing control unit 2
Under the control of the unit 7, a row selection scanner 21 and a column selection scanner 23 are used to select an appropriate unit cell 1 for each unit 11.
When 2 is selected and the added output is sequentially input to the image processing circuit 30, the image processing circuit 30 reconstructs a two-dimensional image from the obtained pixel signals based on a predetermined algorithm.

【００２５】次に、上記構成を有する画像センサの動作
を説明するが、それに先立って、本発明に係る撮像装置
における画像の再構成方法について、従来の方法と比較
しながら説明する。Next, the operation of the image sensor having the above configuration will be described. Prior to that, a method for reconstructing an image in the image pickup apparatus according to the present invention will be described in comparison with a conventional method.

【００２６】図４は本発明に係る撮像装置における画像
の再構成方法の原理説明図、図５は従来の画像の再構成
方法の原理説明図である。FIG. 4 is an explanatory view of the principle of the image reconstruction method in the image pickup apparatus according to the present invention, and FIG. 5 is an explanatory view of the principle of the conventional image reconstruction method.

【００２７】まず、従来方法について述べる。図５で
は、イメージセル部１０は、４行×４列の２次元の行列
状に配置された単位セル（これが１画素に相当）１２を
１個のユニット１１とし、田の字型に配置された４つの
ユニット１１から構成されている。図示しないが、各ユ
ニット１１の前面にそれぞれレンズが設けられている点
は上記実施例の構成と同様である。このレンズにより、
対象物体から到来する光は各ユニットの受光面に並行し
て結像される。このとき対象物体上の或る一点から出射
して各レンズに入射する光の入射角度は相違するから、
これにより各ユニットの受光面に投影される画像は対象
物体の投影像ではあるものの位置ずれが生じる。そのた
め、例えば「Ｔ」という文字画像は各ユニット上で図５
（Ａ）に示すように位置がずれて投影される。First, the conventional method will be described. In FIG. 5, the image cell unit 10 has unit cells 12 arranged in a two-dimensional matrix of 4 rows × 4 columns (which corresponds to one pixel) as one unit 11, and is arranged in a square shape. It is composed of four units 11. Although not shown, the point that lenses are provided on the front surface of each unit 11 is similar to the configuration of the above embodiment. With this lens,
The light coming from the target object is imaged in parallel on the light receiving surface of each unit. At this time, since the incident angle of the light emitted from a certain point on the target object and entering each lens is different,
As a result, although the image projected on the light receiving surface of each unit is a projected image of the target object, a positional deviation occurs. Therefore, for example, the character image "T" is displayed on each unit in FIG.
As shown in (A), the projection is shifted in position.

【００２８】こうして互いに位置ずれを生じている４枚
の画像が入手できるから、これらの画像を構成する画素
信号に対し所定の演算処理を行って、８行×８列の画素
信号から成る画像を再構成すると、図５（Ｂ）に示すよ
うな画像が得られる。しかしながら、光学系のアライメ
ントの誤差、各受光素子の感度のばらつきなどによって
再構成画像の解像度が低下するため、実際には解像度を
高めるのが難しい。In this way, since four images that are misaligned with each other can be obtained, a predetermined arithmetic processing is performed on the pixel signals forming these images to obtain an image composed of pixel signals of 8 rows × 8 columns. When reconstructed, an image as shown in FIG. 5B is obtained. However, it is difficult to actually increase the resolution because the resolution of the reconstructed image is reduced due to an alignment error of the optical system, a variation in sensitivity of each light receiving element, and the like.

【００２９】次に、本発明による画像の再構成の方法に
ついて、図４を参照して述べる。イメージセル部１０に
おいて各ユニット１１のサイズが上記例と同一であると
したとき、各単位セル１２のサイズは１／４になってお
り、１個のユニットは８行×８列の画素で構成される。
画素サイズが小さくなった分だけ分解能は向上するが、
１個の受光素子で受ける信号のＳ／Ｎ比は劣化する。そ
こで、このＳ／Ｎ比の劣化を補うために、対象物体の同
一部位を捉えた、異なるユニット１１の単位セル１２か
ら得られる信号を外部で加算する。Next, a method of image reconstruction according to the present invention will be described with reference to FIG. Assuming that the size of each unit 11 in the image cell unit 10 is the same as the above example, the size of each unit cell 12 is ¼, and one unit is composed of pixels of 8 rows × 8 columns. To be done.
Although the resolution improves as the pixel size decreases,
The S / N ratio of the signal received by one light receiving element deteriorates. Therefore, in order to compensate for this deterioration of the S / N ratio, signals obtained from the unit cells 12 of different units 11 that capture the same portion of the target object are added externally.

【００３０】いま図４（Ａ）において、田の字状の左
上、右上、左下、右下に位置するユニットを第１〜第４
ユニットと名付け、第ｐ（ｐ＝１〜４）ユニットの第ｎ
行ｍ列に位置する単位セルの位置を〔ｐ，ｍ，ｎ〕と表
すこととする。「Ｔ」という文字画像を撮像し、各ユニ
ットの受光面に図４（Ａ）に示すような結像が得られた
とすると、上記文字中の或る同一部位に対する結像が得
られる単位セルの位置は、〔１，７，６〕，〔２，７，
６〕，〔３，８，６〕及び〔４，８，６〕となる。な
お、このような単位セルの選択方法は後述する。そこ
で、各ユニット毎に上記単位セルに属する受光素子によ
る受光信号が読み出され、加算器２５によりアナログ的
に加算される。第１〜第４なる４個のユニットにおける
上記受光素子による受光信号のレベルがほぼ等しけれ
ば、加算によって信号レベルは約４倍になる。これは、
同一物点から到来する光を加算したことと等価である。In FIG. 4 (A), the units located in the upper left, upper right, lower left, and lower right of the rice field are first to fourth.
Named the unit, the nth of the pth (p = 1 to 4) units
The position of the unit cell located in the row m column is represented as [p, m, n]. If a character image "T" is taken and an image as shown in FIG. 4 (A) is obtained on the light receiving surface of each unit, the unit cell of the unit cell that can obtain an image for the same part in the character is obtained. The positions are [1,7,6], [2,7,
6], [3,8,6] and [4,8,6]. A method of selecting such a unit cell will be described later. Therefore, the light receiving signals from the light receiving elements belonging to the unit cell are read out for each unit, and are added in an analog manner by the adder 25. If the levels of the light receiving signals by the light receiving elements in the first to fourth units are almost equal, the signal level is increased by about 4 times by the addition. this is,
It is equivalent to adding lights coming from the same object point.

【００３１】このように撮影画像を構成する全ての画素
に関して、各ユニット毎に対象物体の略同一部位が結像
している単位セル（つまりは受光素子）を選択してその
受光信号を加算することにより、図４（Ｂ）に示すよう
に、２次元画像を再構成するための全画素信号を取得す
ることができる。但し、必ずしも全ユニットから受光信
号を求める必要はない。As described above, with respect to all the pixels forming the photographed image, a unit cell (that is, a light receiving element) in which substantially the same portion of the target object is imaged is selected for each unit, and the light receiving signals thereof are added. Thus, as shown in FIG. 4B, all pixel signals for reconstructing a two-dimensional image can be acquired. However, it is not always necessary to obtain light reception signals from all units.

【００３２】図１に示す本実施例の構成では、各ユニッ
ト毎の単位セル（又は受光素子）の選択は行選択スキャ
ナ２１及び列選択スキャナ２３によるアドレスの指定の
動作により制御することができる。すなわち、画像処理
回路３０に或る１画素分の信号を入力するために、行選
択スキャナ２１及び列選択スキャナ２３で各ユニット毎
に１つの行及び列を選択すると、その行と列との交点に
存在する単位セル１２に含まれる受光素子による受光信
号の加算値が加算器２５の出力に得られる。そして、行
選択スキャナ２１及び列選択スキャナ２３により読み出
すべき単位セル１２を順次選択することにより、２次元
画像を再構成するために必要な全ての画素信号を得るこ
とができる。In the configuration of this embodiment shown in FIG. 1, the selection of the unit cell (or the light receiving element) for each unit can be controlled by the address designation operation by the row selection scanner 21 and the column selection scanner 23. That is, if one row and column are selected for each unit by the row selection scanner 21 and the column selection scanner 23 in order to input a signal for one pixel to the image processing circuit 30, the intersection of the row and the column is selected. In the output of the adder 25, the added value of the light receiving signals by the light receiving elements included in the unit cell 12 existing in the above is obtained. Then, by sequentially selecting the unit cells 12 to be read by the row selection scanner 21 and the column selection scanner 23, all pixel signals necessary for reconstructing a two-dimensional image can be obtained.

【００３３】さて、本実施例の画像センサでは、各ユニ
ットにおいて適切な単位セルを選択して信号を読み出す
ために、各ユニットの受光面に結像された画像の中で対
象物体の略同一部位が結像している位置を的確に把握す
る必要がある。上述したように、この結像位置のずれは
対象物体に対して各ユニットに生じる視差によって発生
し、また物体距離と視差との間にはユニットサイズなど
をパラメータとする一定の関係がある。したがって、複
数のユニット間での画像の位置ずれ量を求めることは、
物体距離を検出すること、又は視差量を検出することと
同じ意味をもつ。Now, in the image sensor of this embodiment, in order to select an appropriate unit cell in each unit and read out a signal, in the image formed on the light receiving surface of each unit, substantially the same portion of the target object is detected. It is necessary to accurately grasp the position where the image is formed. As described above, the shift of the image formation position is caused by the parallax generated in each unit with respect to the target object, and the object distance and the parallax have a certain relationship with the unit size or the like as a parameter. Therefore, to obtain the amount of image misalignment between multiple units,
It has the same meaning as detecting the object distance or detecting the amount of parallax.

【００３４】したがって、次のような方法により視差量
に応じた位置ずれ量を求めることができる。図３は図１
に示す構成に位置ずれ量を検出する回路を加えた構成図
である。すなわち、画像センサの信号出力にはコントラ
スト値演算部４１を接続し、該コントラスト値演算部４
１の出力を判定処理部４２に入力する。判定処理部４２
による判定結果はタイミング制御部２７に入力されてい
る。Therefore, it is possible to obtain the amount of positional deviation according to the amount of parallax by the following method. FIG. 3 shows FIG.
It is a block diagram which added the circuit which detects the amount of position gaps to the structure shown in FIG. That is, the contrast value calculation unit 41 is connected to the signal output of the image sensor, and the contrast value calculation unit 4 is connected.
The output of 1 is input to the determination processing unit 42. Judgment processing unit 42
The result of determination by is input to the timing control unit 27.

【００３５】基本的に、ユニット間における位置ずれ量
を推定するためには、位置ずれ量を少しずつ変えてその
条件の下での画像の再構成を行い、再構成された画像を
評価することにより最も適当な位置ずれ量を見つける。
但し、全てのユニットからの信号を用いる必要はなく、
最低２個のユニットからの信号が得られれば充分であ
る。また、１個のユニットに含まれる全ての単位セルか
らの信号が必要なわけではなく、画像の一部を用いれば
充分である。そこで、本実施例では、図３に示すよう
に、或る１行（水平ライン）に含まれる単位セル１２に
よる信号を用いて位置ずれ量を推定する。Basically, in order to estimate the amount of misregistration between the units, the amount of misregistration is changed little by little and the image is reconstructed under the conditions, and the reconstructed image is evaluated. To find the most suitable position shift amount.
However, it is not necessary to use signals from all units,
It is sufficient if signals from at least two units are available. Further, signals from all the unit cells included in one unit are not required, and it is sufficient to use a part of the image. Therefore, in the present embodiment, as shown in FIG. 3, the positional deviation amount is estimated using the signal from the unit cell 12 included in one certain row (horizontal line).

【００３６】図６はこの推定方法の原理を概略的に説明
した図である。図６に基づき動作を説明する。いま、こ
こでは２個のユニット間の位置ずれのみを考える。或る
ユニットの１行に含まれる８個の単位セルの画素信号列
が図６（Ａ）のＵ１、他のユニットの１行に含まれる８
個の単位セルの画素信号列が図６（Ａ）のＵ２に示すよ
うになっているとする。両ユニット間に画像の位置ずれ
がないとした場合、Ｕ１とＵ２とを加算した結果は図６
（Ａ）のＡＤとなる。FIG. 6 is a diagram schematically explaining the principle of this estimation method. The operation will be described with reference to FIG. Now, consider only the positional deviation between the two units. A pixel signal column of eight unit cells included in one row of a certain unit is U1 in FIG. 6A, and a pixel signal string included in one row of another unit is eight.
It is assumed that the pixel signal string of each unit cell is as shown by U2 in FIG. Assuming that there is no image displacement between both units, the result of adding U1 and U2 is shown in FIG.
It becomes AD of (A).

【００３７】両ユニット間の画像の位置ずれは、一方の
ユニットの信号列を他方に対して信号列の方向に画素シ
フトするのと等価である。したがって、位置ずれ量を少
しずつ変える毎に画像を再構成することは、一方のユニ
ットの信号列を他方に対して少しずつ画素シフトさせ、
その度に画素シフトした状態でのＵ１とＵ２とを加算す
ることを意味する。そこで、図６（Ｂ）、（Ｃ）、
（Ｄ）に示すように、Ｕ２をＵ１に対して左方向に１画
素ずつシフトさせてゆき、その度毎にＵ１とＵ２とを加
算した結果であるＡＤを求める。The positional deviation of the image between both units is equivalent to the pixel shift of the signal train of one unit with respect to the other unit in the direction of the signal train. Therefore, to reconstruct an image each time the position shift amount is changed little by little, the signal train of one unit is slightly pixel-shifted with respect to the other,
This means that U1 and U2 in the pixel shifted state are added each time. Therefore, FIG. 6 (B), (C),
As shown in (D), U2 is shifted one pixel to the left with respect to U1, and AD is obtained as the result of adding U1 and U2 each time.

【００３８】この加算された信号による画像ＡＤの評価
はコントラスト値でもって行う。すなわち、画素をシフ
トして画像ＡＤが得られる毎に、その画像によるコント
ラスト値を算出する。いま、図６（Ｃ）に示すように、
両ユニットの画像のずれがなくなって対象物体の同一部
位に対する微小画像が重なると、信号の加算によりコン
トラストが明瞭になる。したがって、画素のシフト量と
コントラスト値との関係は図７に示すようになる。すな
わち、最大のコントラスト値を与えるような画素シフト
量がそのときの物体距離又は視差量を反映しているもの
とみることができる。そこで、図６の例の場合、位置ず
れ量は２画素分である。The evaluation of the image AD by the added signal is performed by the contrast value. That is, every time the pixel is shifted and the image AD is obtained, the contrast value by the image is calculated. Now, as shown in FIG.
When the images of both units are not displaced and the minute images of the same part of the target object overlap, the contrast becomes clear due to the addition of the signals. Therefore, the relationship between the pixel shift amount and the contrast value is as shown in FIG. That is, it can be considered that the pixel shift amount that gives the maximum contrast value reflects the object distance or the parallax amount at that time. Therefore, in the case of the example in FIG. 6, the positional deviation amount is two pixels.

【００３９】実際には更に複数のユニット間で最大のコ
ントラスト値を与える画素シフト量を求めることによ
り、画像内容の影響を軽減して、位置ずれ量の推定精度
を上げることができる。Actually, by further determining the pixel shift amount that gives the maximum contrast value among a plurality of units, the influence of the image content can be reduced and the estimation accuracy of the positional deviation amount can be increased.

【００４０】図３の構成においては、コントラスト値演
算部４１で画素シフト毎に得られる部分的画像のコント
ラスト値を算出し、判定処理部４２でそのコントラスト
値を比較して最大コントラスト値を探す。そうして求め
た画素シフト量つまりは位置ずれ量をタイミング制御部
２７に与え、実際に画像を再構成する際に読み出す単位
セルの位置を決める。In the configuration of FIG. 3, the contrast value calculation unit 41 calculates the contrast value of the partial image obtained at each pixel shift, and the determination processing unit 42 compares the contrast values to find the maximum contrast value. The pixel shift amount thus obtained, that is, the position shift amount is given to the timing control unit 27 to determine the position of the unit cell to be read when actually reconstructing the image.

【００４１】なお、図３の構成ではサンプル／ホールド
回路２４により、図３に斜線で示した１行分の単位セル
１２による信号を記憶しておくことができ、画素シフト
量は各サンプル／ホールド回路２４から読み出そうとす
る信号の列の選択により決まるから、一旦、１行分の単
位セル１２による信号をサンプル／ホールド回路２４に
一旦格納した後は、列選択スキャナ２３による制御のみ
によって、位置ずれ量を変化させたときの部分的画像の
再構成を実現することができる。したがって、非常に高
速に位置ずれ量を算出することができる。Note that in the configuration of FIG. 3, the sample / hold circuit 24 can store the signal from the unit cell 12 for one row indicated by the hatched lines in FIG. 3, and the pixel shift amount is different for each sample / hold. Since it is determined by the selection of the column of the signal to be read from the circuit 24, once the signal from the unit cell 12 for one row is once stored in the sample / hold circuit 24, only by the control by the column selection scanner 23, It is possible to realize partial image reconstruction when the amount of positional deviation is changed. Therefore, the position shift amount can be calculated at a very high speed.

【００４２】また、上記実施例において上述したような
制御を実行すると、最終的に再構成された画像の画素数
は元の１ユニットに属する画素の数にすぎない。そこ
で、画素数を見かけ上増加させるため、及び画像の精緻
さを向上させるために、次のような補間処理を加えても
よい。Further, when the above-described control is executed in the above embodiment, the number of pixels of the finally reconstructed image is only the number of pixels belonging to one original unit. Therefore, in order to apparently increase the number of pixels and to improve the precision of the image, the following interpolation processing may be added.

【００４３】図８は補間処理の原理を説明する図であ
る。いま、図８（Ａ）に示すように、１個のユニットが
４個の単位セルから成り、全部で４個のユニットが配設
されているとする。各単位セルで得られる信号が図示の
ようにＡ，Ｂ，…と名付けられているとする。ユニット
間の位置ずれを想定せずに、各ユニットの対応する単位
セルの信号をそれぞれ加算して２行×２列の画像を再構
成したとき、各画素信号は図８（Ｂ）に示すようにな
る。FIG. 8 is a diagram for explaining the principle of interpolation processing. Now, as shown in FIG. 8A, it is assumed that one unit is composed of four unit cells, and that a total of four units are arranged. It is assumed that the signals obtained in each unit cell are named A, B, ... As shown in the figure. When the signals of the corresponding unit cells of the respective units are added to reconstruct an image of 2 rows × 2 columns without assuming the positional deviation between the units, each pixel signal is as shown in FIG. 8B. become.

【００４４】これに対し、対象物体の略同一部位に対応
する単位セル同士の信号を加算するのみならず、それに
隣接する単位セルの信号を加算することにより、その両
隣接単位セルの間に位置する仮想的な単位セルによる信
号を新たに生成する。図８の例では、例えば、図８
（Ｂ）の中で、Ａ＋Ｂ＋α＋χとＢ＋Ｄ＋β＋δとの間
にＡ＋Ｄ＋α＋δなる信号を生成して間に補間する。こ
のような補間処理を行うためには、同一単位セルからの
読み出しを複数回に増やせばよい。例えば、１ユニット
当たりＭ行×Ｎ列である場合、同一単位セルからの読み
出しを２回ずつ行えるようにすると、画素数は（２Ｍ−
１）×（２Ｎ−１）に拡張される。なお、好ましくは、
こうした補間処理を行った後、適宜のフィルタ処理（例
えば輪郭補正フィルタ）を施すことにより、より自然な
且つ高精細度な画像を得ることができる。On the other hand, not only the signals of the unit cells corresponding to substantially the same portion of the target object are added, but also the signals of the unit cells adjacent to the unit cells are added, so that the position between the two adjacent unit cells is increased. A new signal is generated by the virtual unit cell. In the example of FIG. 8, for example,
In (B), a signal A + D + α + δ is generated between A + B + α + χ and B + D + β + δ and is interpolated between them. In order to perform such interpolation processing, reading from the same unit cell may be increased a plurality of times. For example, in the case of M rows × N columns per unit, if reading from the same unit cell can be performed twice, the number of pixels is (2M−
1) x (2N-1). In addition, preferably,
After performing such an interpolation process, an appropriate filter process (for example, a contour correction filter) is applied to obtain a more natural and high-definition image.

【００４５】この種の画像センサの構造としていわゆる
ＣＣＤセンサとＣＭＯＳセンサとが知られており、本発
明はいずれにも適用が可能であるが、上述したような多
重読み出しを行う場合には、ランダム読み出し、且つ非
破壊（つまり読み出しにより信号が失われない）読み出
しが可能であるＣＭＯＳセンサのほうが適している。こ
の場合、ＣＭＯＳ画像センサで一般に用いられているＡ
ＰＳにおいて、各画素のソースホロア出力を電流合成す
る方法により本発明に係る画像センサを具現化すること
が可能である。A so-called CCD sensor and a CMOS sensor are known as the structure of this type of image sensor, and the present invention can be applied to both, but in the case of performing the multiple reading as described above, it is random. A CMOS sensor that is capable of reading and non-destructive (that is, no signal is lost by reading) is more suitable. In this case, A commonly used in CMOS image sensors
In the PS, the image sensor according to the present invention can be embodied by a method of current-synthesizing the source follower output of each pixel.

【００４６】また、上記実施例は本発明の一例であり、
本発明の趣旨の範囲で適宜変更や修正を行えることは明
らかである。The above embodiment is an example of the present invention.
It is obvious that appropriate changes and modifications can be made within the scope of the present invention.

【００４７】例えば、各ユニット毎に任意の単位セルを
ランダムアクセスして、その単位セルに含まれる受光素
子による信号を読み出したり、或いは所定の受光素子を
リセットしたりするために、スキャナに代えてデコーダ
を設けてもよい。また、デコーダの直後に、選択画素情
報を記憶するための記憶回路（具体的にはラッチ回路や
フリップフロップ回路など）を備える回路でもよい。ま
た、上記実施例では、１個のユニットをＭ×Ｎ個の行列
状に配列した単位セルから構成していたが、各ユニット
における単位セルの配列構造が同一であれば、必ずしも
縦横が揃って配列されていなくともよい。また、サンプ
ル／ホールド回路に加えて、ＣＤＳ（Correlated Doubl
e Sampling）による固定パターンノイズ除去を行う構成
とすることもあり得る。更にまた、それ以外の回路に関
しても本発明は上記記載の構成に限定されるものではな
い。For example, in order to randomly access an arbitrary unit cell for each unit and read out a signal from a light receiving element included in the unit cell, or to reset a predetermined light receiving element, a scanner is used instead. A decoder may be provided. Further, a circuit including a memory circuit (specifically, a latch circuit, a flip-flop circuit, or the like) for storing the selected pixel information may be provided immediately after the decoder. Further, in the above embodiment, one unit is composed of unit cells arranged in a matrix of M × N, but if the unit cells have the same arrangement structure, the units are not necessarily arranged vertically and horizontally. It does not have to be arranged. In addition to the sample / hold circuit, CDS (Correlated Doubl
There may be a configuration in which fixed pattern noise removal by e Sampling) is performed. Furthermore, the present invention is not limited to the configuration described above with respect to other circuits.

【図面の簡単な説明】[Brief description of drawings]

【図１】 本発明の一実施例による画像センサの内部構
成の概略の構成図。FIG. 1 is a schematic configuration diagram of an internal configuration of an image sensor according to an embodiment of the present invention.

【図２】 図２は横方向に配列された４個のユニットの
光学系を概略的に示す縦断面図。FIG. 2 is a vertical cross-sectional view schematically showing an optical system of four units arranged in the horizontal direction.

【図３】 図１に示す構成に位置ずれ量を検出する回路
を加えた構成図。FIG. 3 is a configuration diagram in which a circuit for detecting a displacement amount is added to the configuration shown in FIG.

【図４】 本発明に係る撮像装置における画像の再構成
方法の原理説明図。FIG. 4 is an explanatory view of the principle of an image reconstruction method in the image pickup apparatus according to the present invention.

【図５】 従来の画像の再構成方法の原理説明図。FIG. 5 is an explanatory view of the principle of a conventional image reconstruction method.

【図６】 ユニット間の位置ずれ量の推定方法の原理を
概略的に説明した図。FIG. 6 is a diagram schematically illustrating the principle of a method of estimating the amount of positional deviation between units.

【図７】 画素のシフト量とコントラスト値との関係の
一例を示す図。FIG. 7 is a diagram showing an example of a relationship between a pixel shift amount and a contrast value.

【図８】 補間処理の原理を説明する図。FIG. 8 is a diagram illustrating the principle of interpolation processing.

【符号の説明】 １０…イメージセル部 １１…ユニット １２…単位セル ２１…行選択スキャナ ２２…行リセットスキャナ ２３…列選択スキャナ ２４…サンプル／ホールド回路 ２５…加算器 ２６…バッファアンプ ２７…タイミング制御部 ３０…画像処理回路 ３１…微小レンズ ４１…コントラスト値演算部 ４２…判定処理部[Explanation of symbols] 10 ... Image cell part 11 ... Unit 12 ... Unit cell 21 ... Row selection scanner 22 ... Line reset scanner 23 ... Column selection scanner 24 ... Sample / hold circuit 25 ... Adder 26 ... Buffer amplifier 27 ... Timing control unit 30 ... Image processing circuit 31 ... Micro lens 41 ... Contrast value calculator 42 ... Judgment processing unit

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C022 AB68 AC42 5C024 CX39 DX04 EX43 GX03 GY01 GY31 HX13 HX28 HX58 5C051 AA01 BA02 DA06 DB01 DB07 DB22 DC03 DC07 DE11 FA00   ─────────────────────────────────────────────────── ─── Continued front page    F-term (reference) 5C022 AB68 AC42                 5C024 CX39 DX04 EX43 GX03 GY01                       GY31 HX13 HX28 HX58                 5C051 AA01 BA02 DA06 DB01 DB07                       DB22 DC03 DC07 DE11 FA00

Claims (5)

【特許請求の範囲】[Claims] 【請求項１】 a)２次元状に配置された多数の微小な受
光素子から成る受光面を１つのユニットとして、Ｐ（Ｐ
は２以上の整数）個のユニットを同一の２次元面上に配
置した光電変換手段と、 b)該光電変換手段のＰ個の各ユニット毎に設けられ、そ
れぞれ対象物体を前記受光面に結像するためのＰ個の微
小レンズから成る集光手段と、 c)前記Ｐ個のユニットのうちの少なくとも２個以上のユ
ニットにおいて、前記対象物体の略同一部位が結像して
いる受光素子をそれぞれ選択して、それら複数の受光素
子による受光信号を加算する選択加算手段と、を備える
ことを特徴とする撮像装置。1. A) A light-receiving surface composed of a large number of minute light-receiving elements arranged two-dimensionally is regarded as one unit, and P (P
Is an integer greater than or equal to 2) photoelectric conversion means in which two or more units are arranged on the same two-dimensional surface, and b) is provided for each of the P units of the photoelectric conversion means, and the target object is connected to the light receiving surface. A condensing means composed of P microlenses for imaging, and c) a light receiving element in which at least two or more units of the P units are imaged at substantially the same portion of the target object. An image pickup apparatus comprising: a selection and addition unit that selects each of them and adds received light signals from the plurality of light receiving elements. 【請求項２】 異なるユニットにおいて、前記対象物体
の略同一部位が結像している受光素子とそれに隣接する
又は近接する受光素子とによる受光信号を加算し、該加
算結果により、隣接する受光素子の中間に位置する仮想
的な受光素子による受光信号に相当する信号を生成する
補間処理手段を更に備えることを特徴とする請求項１に
記載の撮像装置。2. In different units, light-receiving signals from a light-receiving element in which substantially the same portion of the target object is imaged and a light-receiving element adjacent to or adjacent to the light-receiving element are added, and the adjacent light-receiving elements are added according to the addition result. The image pickup apparatus according to claim 1, further comprising an interpolation processing unit that generates a signal corresponding to a light reception signal by a virtual light receiving element located in the middle of. 【請求項３】 前記選択加算手段は、前記Ｐ個のユニッ
トのうちの一部の複数のユニットにおいて、対象物体に
対する視差量又は距離の差として、該対象物体の略同一
部位が結像している結像位置のずれ量を推定し、該推定
値に基づいて選択する受光素子を決めることを特徴とす
る請求項１又は２に記載の撮像装置。3. The selective addition means forms an image of substantially the same part of the target object as a difference in parallax amount or distance with respect to the target object in a plurality of some of the P units. The image pickup apparatus according to claim 1 or 2, wherein a deviation amount of the image forming position is estimated, and the light receiving element to be selected is determined based on the estimated value. 【請求項４】 前記選択加算手段は、前記Ｐ個のユニッ
トのうちの一部の複数のユニットにおいて、前記結像位
置のずれ量が変化するように受光素子の選択を変化させ
つつ、該受光素子による受光信号を加算してその結果か
ら部分的な画像を構成し、該画像の品質を評価すること
により最適な結像位置のずれ量を求めることを特徴とす
る請求項３に記載の撮像装置。4. The selective addition means changes the selection of the light receiving elements in some of the plurality of units of the P units while changing the selection of the light receiving elements so that the shift amount of the image forming position changes. The image pickup device according to claim 3, wherein a partial image is formed from the results obtained by adding the light reception signals from the elements, and the optimum image formation position shift amount is obtained by evaluating the quality of the image. apparatus. 【請求項５】 前記画像の品質の評価として部分的な画
像のコントラスト値を用いることを特徴とする請求項４
に記載の撮像装置。5. The contrast value of a partial image is used as the evaluation of the quality of the image.
The imaging device according to.