JP5832353B2 - Imaging device - Google Patents

Description

本発明は撮像装置に関し、特に符号化開口を用いた撮影が可能な撮像装置に関する。   The present invention relates to an image pickup apparatus, and more particularly to an image pickup apparatus capable of shooting using a coded aperture.

撮像装置の技術分野では、複数のＰＳＦ（Point Spread Function；点像分布関数）で画像を取得し、取得した画像からボケの修復や被写体の距離推定等の処理を行う技術が知られているが、その際復元・推定処理のロバスト性を向上させるべく、符号化された開口（符号化瞳）を用いることが行われている（このように符号化された開口を用いて撮影を行うことを、以下「符号化開口撮影」という）。例えば異なるパターンの符号化開口を組み込んだレンズを交換してＰＳＦを変化させ、１台の撮像装置で複数の画像を取得する技術が知られている。また例えば特許文献１では、ピンホール状の符号化開口を用いると共に撮影レンズに入射した被写体光をプリズムで複数の光束に分離し、それら光束に対する光路長（合焦状態）がそれぞれ異なるように配置した複数の撮像素子を用いて撮像することにより、３種類の符号化開口画像を取得することが記載されている。   In the technical field of imaging devices, a technique is known in which an image is acquired using a plurality of point spread functions (PSFs), and processing such as blur correction and subject distance estimation is performed from the acquired image. In this case, an encoded aperture (encoded pupil) is used in order to improve the robustness of the restoration / estimation process (photographing using such an encoded aperture is performed). Hereafter referred to as “encoded aperture photography”). For example, a technique is known in which a lens incorporating a coded aperture of a different pattern is changed to change the PSF, and a plurality of images are acquired with a single imaging device. For example, in Patent Document 1, a pinhole-shaped coded aperture is used, and subject light incident on a photographing lens is separated into a plurality of light beams by a prism, and the optical path lengths (focused states) for the light beams are arranged differently. It describes that three types of encoded aperture images are acquired by imaging using a plurality of imaging elements.

特開平１１−３３７３１３号公報Japanese Patent Laid-Open No. 11-337313

しかしながらこのような従来の技術は、符号化開口撮影において複数のＰＳＦでの撮影やボケ具合（合焦状態）が異なる複数の画像取得が容易に行えるものではなかった。例えば上述したように異なるパターンの符号化開口を組み込んだレンズを交換して複数回の撮影を行う場合、画像間で撮影タイミングにずれが生じるため静止物体しか撮影することができず、またレンズ交換を行うため撮影が手間と時間を要するものとなっていた。また上記特許文献１のようにプリズムで光路を分離すると、撮像装置が大型で複雑な構成になってしまいコストが上昇するという問題があった。   However, such a conventional technique cannot easily perform imaging with a plurality of PSFs and acquisition of a plurality of images with different degrees of blurring (focused state) in coded aperture imaging. For example, as described above, when a lens incorporating a coded aperture with a different pattern is exchanged and shooting is performed a plurality of times, only a stationary object can be shot because the shooting timing varies between images. Because of this, shooting was time consuming and time consuming. Further, when the optical path is separated by the prism as in Patent Document 1, there is a problem that the imaging apparatus becomes large and complicated, and the cost increases.

本発明はこのような事情に鑑みてなされたもので、符号化開口撮影を迅速かつ容易に行うことができる撮像装置を提供することを目的とする。   The present invention has been made in view of such circumstances, and an object thereof is to provide an imaging apparatus capable of performing coded aperture imaging quickly and easily.

上記目的を達成するために本発明の第１の態様に係る撮像装置は、複数の領域を有する撮影レンズであって、当該複数の領域がそれぞれ独立した特性を有する撮影レンズと、複数の領域のそれぞれに対応して設けられた符号化開口と、複数の領域のそれぞれに対応して設けられた複数の受光センサであって、複数の領域のいずれかと当該いずれかの領域に対応する符号化開口とを通過した光束を瞳分割して選択的に受光する複数の受光センサを有する撮像素子と、複数の受光センサの撮像信号から複数の領域のそれぞれに対応する複数の画像を生成する画像生成手段と、を備え、特性は焦点距離と合焦距離とのうち少なくとも一方である。   In order to achieve the above object, an imaging apparatus according to a first aspect of the present invention is a photographic lens having a plurality of regions, wherein the plurality of regions have independent characteristics, and a plurality of regions. An encoding opening provided corresponding to each of the plurality of light receiving sensors provided corresponding to each of the plurality of areas, the encoding opening corresponding to any of the plurality of areas and the corresponding one of the areas And an image generation means for generating a plurality of images corresponding to each of a plurality of regions from image pickup signals of the plurality of light receiving sensors. And the characteristic is at least one of a focal length and a focusing distance.

第１の態様に係る撮像装置では、複数の領域がそれぞれ独立した特性（焦点距離と合焦距離との内少なくとも一方）を有する撮影レンズと、複数の領域のそれぞれに対応して設けられた符号化開口とから、複数の画像が生成される。即ち撮影レンズの各領域に対応した複数の画像を同時に生成できるので撮影に手間や時間を要さず、静止画・動画のいずれも撮影することができる。また第１の態様では複数の画像の生成を、撮影レンズの複数の領域が独立した特性を有することで実現しているので、上述した従来技術のように開口パターンを変更するためにレンズを交換したり合焦状態の異なる画像を得るためにプリズムで光路を分離したりする必要がなく、構成が簡単で小型化でき、コスト低減が可能となる。   In the imaging device according to the first aspect, a plurality of areas have independent characteristics (at least one of a focal length and a focusing distance), and a code provided corresponding to each of the plurality of areas. A plurality of images are generated from the aperture. That is, since a plurality of images corresponding to each area of the photographic lens can be generated at the same time, it is possible to shoot both still images and moving images without taking time and effort for shooting. In the first aspect, the generation of a plurality of images is realized by the fact that the plurality of areas of the photographing lens have independent characteristics, so that the lenses are exchanged to change the aperture pattern as in the prior art described above. Therefore, it is not necessary to separate the optical path with a prism in order to obtain images with different in-focus states, and the configuration is simple, the size can be reduced, and cost can be reduced.

なお第１の態様において各領域の特性（焦点距離と合焦距離とのうちの少なくとも一方）が「独立した」とは一の領域の特性が他の領域の特性に依存しないことをいい、具体的な焦点距離や合焦距離は等しくてもよいし異なっていてもよい。また第１の態様において撮影レンズは１枚でもよいし、複数枚のレンズを組合せて構成し全体として複数の領域を有するようにしてもよい。また各領域の特性は固定されていてもよいし、変更できるようにしてもよい。さらに、符号化開口のパターンは各領域で同じでもよいし違っていてもよい。符号化開口のパターンが各領域で同じであっても撮影レンズの特性（例えば合焦距離）が異なれば合焦状態が異なる複数の画像が得られるし、符号化開口のパターンが各領域で違えば開口パターンに応じてＰＳＦが異なり、その結果ボケ具合（合焦状態）の異なる複数の画像が得られる。複数の領域のうち一部で開口パターンが違うようにしてもよい。   In the first aspect, the characteristic of each area (at least one of the focal length and the focusing distance) is “independent” means that the characteristic of one area does not depend on the characteristics of other areas. The focal length and the in-focus distance may be the same or different. In the first aspect, the number of photographing lenses may be one, or a plurality of lenses may be combined to have a plurality of regions as a whole. The characteristics of each region may be fixed or may be changed. Furthermore, the pattern of the coded aperture may be the same or different in each region. Even if the coded aperture pattern is the same in each region, a plurality of images with different in-focus states can be obtained if the characteristics of the photographic lens (for example, in-focus distance) are different, and the coded aperture pattern is different in each region. For example, the PSF differs depending on the opening pattern, and as a result, a plurality of images with different blur conditions (focused states) are obtained. The opening pattern may be different in some of the plurality of regions.

第１の態様において「合焦距離」とは、以下の式で表される距離ＦＤ、即ち受光センサの受光面から当該受光センサと合焦関係にある被写体までの距離をいう。   In the first aspect, the “focusing distance” refers to a distance FD represented by the following expression, that is, a distance from the light receiving surface of the light receiving sensor to a subject in focus with the light receiving sensor.

（数１）
ＦＤ＝ａ＋ｂ ・・・（１）
ＦＤ：合焦距離
ａ ：レンズと受光センサの受光面との距離
ｂ ：レンズと合焦位置との距離
焦点距離をｆとすると１／ｆ＝（１／ａ）＋（１／ｂ）であり、焦点距離ｆが同じでも距離ａ，ｂの組み合わせ方により合焦距離ＦＤは異なる。逆に焦点距離ｆが異なっていても、距離ａ，ｂの組み合わせ方で合焦距離ＦＤを同じにすることもできる。 (Equation 1)
FD = a + b (1)
FD: In-focus distance a: Distance between lens and light-receiving surface of light-receiving sensor b: Distance between lens and in-focus position If the focal length is f, 1 / f = (1 / a) + (1 / b) Even if the focal length f is the same, the focusing distance FD differs depending on the combination of the distances a and b. Conversely, even if the focal length f is different, the in-focus distance FD can be made the same by combining the distances a and b.

第１の態様のような、複数の領域がそれぞれ独立した特性を有する撮影レンズを用いる場合、撮影レンズの各領域が受光センサ上に形成する被写体像が異なると、異なる被写体像が重なることで生じる被写体像間の特性のずれが画質の低下として感じられる。被写体像が異なる要因は主として（１）被写体像間のサイズ差、（２）被写体像間のボケ量の差、（３）被写体像間の視差ズレ、であり、各領域の特性（焦点距離，合焦距離）との関係は以下の通りである。   When a photographic lens in which a plurality of areas have independent characteristics as in the first aspect is used, if the subject images formed on the light receiving sensor by the areas of the photographic lens are different, the different subject images are overlapped. A difference in characteristics between subject images is perceived as a reduction in image quality. Factors that cause differences in subject images are mainly (1) size difference between subject images, (2) difference in blur amount between subject images, and (3) parallax shift between subject images. The characteristics of each region (focal length, The relationship with the (focus distance) is as follows.

（ｉ）領域間で焦点距離・合焦距離のいずれもが異なる場合、それら領域に対応する画像間でサイズ差、ボケ量の差、及び視差ズレが生じる。   (I) When both the focal length and the in-focus distance are different between regions, a size difference, a blur amount difference, and a parallax shift occur between images corresponding to the regions.

（ii）領域間で焦点距離は等しいが合焦距離が異なる場合、それら領域に対応する画像間でボケ量の差及び視差ズレが生じる。   (Ii) When the focal lengths are the same in the regions but the in-focus distances are different, a blur amount difference and a parallax shift occur between images corresponding to the regions.

（iii）領域間で焦点距離が異なり合焦距離が等しい場合、それら領域に対応する画像間で被写体像のサイズ差及び視差ズレが生じる。   (Iii) When the focal length is different between the regions and the in-focus distance is the same, a size difference and a parallax shift of the subject image occur between images corresponding to the regions.

（iv）領域間で焦点距離・合焦距離のいずれもが等しい場合、それら領域に対応する画像間で視差ズレが生じる。   (Iv) When both the focal length and the in-focus distance are equal between regions, a parallax shift occurs between images corresponding to those regions.

そして複数の領域がそれぞれ独立した特性を有する撮影レンズを用いる場合、通常のセンサでは上記（ｉ）〜（ｉｖ）のように各領域の特性に応じて生じる被写体像の相違、即ち一の領域に対応する画像における他の領域を通過した光束の影響（領域間のクロストーク）により画質が低下してしまう。   When a photographic lens in which a plurality of areas have independent characteristics is used, the difference between the subject images generated according to the characteristics of each area as described in (i) to (iv) above in a normal sensor, that is, in one area. The image quality deteriorates due to the influence of light beams that have passed through other areas in the corresponding image (crosstalk between areas).

そこで本発明の第１の態様に係る撮像装置では、上述した撮影レンズの複数の領域のいずれかと当該領域に対応する符号化開口とを通過した光束を瞳分割して選択的に受光する受光センサ（瞳指向センサ）を有する撮像素子を用いて領域間のクロストークの影響を除去し、撮影レンズの各領域に対応した複数の画像をそれぞれ独立して取得できるようにしている。なお受光センサによる光束の瞳分割及び選択的な受光は、受光面あるいはその前方に設けた遮光部材、液晶シャッタ、液晶プリズム等の光学要素により実現することができる。   Therefore, in the imaging apparatus according to the first aspect of the present invention, a light receiving sensor that selectively receives light by splitting a light beam that has passed through any of the plurality of regions of the photographing lens described above and the coded aperture corresponding to the region. The influence of crosstalk between regions is removed using an image sensor having a (pupil directivity sensor), and a plurality of images corresponding to each region of the photographing lens can be acquired independently. The pupil division and selective light reception of the light beam by the light receiving sensor can be realized by an optical element such as a light shielding surface, a light shielding member, a liquid crystal shutter, or a liquid crystal prism provided in front of the light receiving surface.

このようにして第１の態様に係る撮像装置では、符号化開口撮影を迅速かつ容易に行い複数の画像を良好な画質で得ることができる。   In this manner, the imaging apparatus according to the first aspect can perform coded aperture shooting quickly and easily and obtain a plurality of images with good image quality.

本発明の第２の態様に係る撮像装置は第１の態様において、複数の領域はそれぞれ異なる符号化開口のパターンを有する。符号化開口撮影を行う場合の開口パターンは静物、人物、風景等被写体の種類や距離等の条件によって異なるため、第２の態様に係る撮像装置では複数の領域がそれぞれ異なる符号化開口のパターンを有するようにすることで被写体に合わせた複数の開口パターンを設定してＰＳＦを変化させることができ、ボケ具合（合焦状態）が異なる複数の画像を迅速かつ容易に取得することができる。   In the imaging device according to the second aspect of the present invention, in the first aspect, each of the plurality of regions has a different coded aperture pattern. Since the aperture pattern when performing coded aperture shooting varies depending on conditions such as the type and distance of the subject such as a still life, a person, and a landscape, the image pickup apparatus according to the second aspect has different coded aperture patterns for each of the plurality of regions. By having it, it is possible to change the PSF by setting a plurality of opening patterns according to the subject, and it is possible to quickly and easily acquire a plurality of images with different blur conditions (focused states).

本発明の第３の態様に係る撮像装置は第１または第２の態様において、符号化開口のパターンを変更する開口パターン変更手段を備える。第３の態様は上述のように符号化開口撮影を行う場合の好ましい開口パターンが被写体によって異なる点を考慮し、所望の開口パターンで画像を取得できるようにしたものである。なお第３の態様において開口パターンの変更は、開口パターンに対応した光学部材を撮影レンズの光路中に挿抜したり、開口パターンを電気的に変更可能な液晶シャッタを用いたりすることで実現できる。   The imaging device according to a third aspect of the present invention includes, in the first or second aspect, an opening pattern changing unit that changes a pattern of the coded opening. In the third aspect, an image can be acquired with a desired aperture pattern in consideration of the fact that the preferred aperture pattern when performing coded aperture imaging as described above varies depending on the subject. In the third mode, the opening pattern can be changed by inserting or removing an optical member corresponding to the opening pattern in the optical path of the photographing lens or using a liquid crystal shutter that can electrically change the opening pattern.

本発明の第４の態様に係る撮像装置は第１から第３の態様のいずれかにおいて、生成した複数の画像に基づいて被写体の距離情報を取得する距離情報取得手段を備える。このようにして取得した距離情報は、被写体の３次元形状の測定等に利用できる。なお第４の態様において、取得した距離情報に基づき距離画像を生成するようにしてもよい。   In any one of the first to third aspects, an imaging apparatus according to a fourth aspect of the present invention includes distance information acquisition means for acquiring subject distance information based on a plurality of generated images. The distance information acquired in this way can be used for measuring the three-dimensional shape of the subject. In the fourth aspect, a distance image may be generated based on the acquired distance information.

本発明の第５の態様に係る撮像装置は第４の態様において、画像生成手段は取得した距離情報と取得した複数の画像とから全焦点画像を生成する。このようにして生成（復元）した全焦点画像は上述した距離情報と同様に、被写体の３次元形状の測定等、測量・計測分野や画像処理の分野で広く利用することができる。   In the image pickup apparatus according to the fifth aspect of the present invention, in the fourth aspect, the image generation means generates an omnifocal image from the acquired distance information and the acquired plurality of images. The omnifocal image generated (restored) in this way can be widely used in the field of surveying / measurement and the field of image processing, such as measurement of the three-dimensional shape of the subject, like the distance information described above.

本発明の第６の態様に係る撮像装置は第１から第５の態様のいずれかにおいて、複数の領域の内少なくとも一つの領域の焦点距離を変更する焦点距離変更手段を備える。第６の態様では焦点距離の変更により被写体に合わせて所望の焦点距離の画像を取得することができる。なお第６の態様において焦点距離の変更は、焦点距離変更用レンズを光軸方向に移動したり撮影レンズの光路中に挿抜したりする等、種々の手法により実現することができる。   In any one of the first to fifth aspects, an imaging apparatus according to a sixth aspect of the present invention includes a focal length changing unit that changes the focal length of at least one of the plurality of areas. In the sixth aspect, an image having a desired focal length can be acquired in accordance with the subject by changing the focal length. In the sixth aspect, the change of the focal length can be realized by various methods such as moving the focal length changing lens in the optical axis direction or inserting / removing it in the optical path of the photographing lens.

本発明の第７の態様に係る撮像装置は第１から第６の態様のいずれかにおいて、複数の領域の内少なくとも一つの領域の合焦距離を変更する合焦距離変更手段を備える。第７の態様では合焦距離の変更により、被写体に合わせて所望の合焦距離の画像を取得することができる。なお第７の態様において合焦距離の変更は、焦点距離変更の場合と同様に合焦距離変更用レンズを光軸方向に移動したり撮影レンズの光路中に挿抜したりする他、撮影レンズ全体を光軸方向に移動する等、種々の手法により実現することができる。   In any one of the first to sixth aspects, an imaging apparatus according to a seventh aspect of the present invention includes a focusing distance changing unit that changes a focusing distance of at least one of the plurality of areas. In the seventh aspect, by changing the focus distance, an image having a desired focus distance can be acquired in accordance with the subject. In addition, in the seventh aspect, the focus distance can be changed by moving the focus distance changing lens in the optical axis direction or inserting / removing the lens in the optical path of the photographic lens as in the case of changing the focal length. Can be realized by various methods such as moving the lens in the direction of the optical axis.

本発明の第８の態様に係る撮像装置は第１から第７の態様のいずれかにおいて、撮影レンズは物理的に分離した２枚以上のレンズからなる撮影レンズであって、当該撮影レンズの複数の領域は、２枚以上のレンズの組合せに対応してそれぞれ独立した特性を有する。上述のように本発明に係る撮像装置において撮影レンズは複数枚のレンズで構成されていてもよく、第８の態様はそのような複数枚のレンズからなる撮影レンズの一態様を示すものである。第８の態様における撮影レンズとしては例えば、複数の領域にそれぞれ対応する複数枚のレンズを光軸方向位置を離間させて配置し、当該複数枚のレンズがそれぞれ独立した焦点距離を有するようなレンズが挙げられる。   An imaging device according to an eighth aspect of the present invention is the imaging device according to any one of the first to seventh aspects, wherein the photographing lens is a photographing lens composed of two or more physically separated lenses, and a plurality of the photographing lenses. These regions have independent characteristics corresponding to combinations of two or more lenses. As described above, in the imaging apparatus according to the present invention, the photographing lens may be composed of a plurality of lenses, and the eighth aspect shows one aspect of the photographing lens composed of such a plurality of lenses. . As the photographing lens in the eighth aspect, for example, a plurality of lenses each corresponding to a plurality of regions are arranged with their optical axis direction positions separated from each other, and each of the plurality of lenses has an independent focal length. Is mentioned.

以上説明したように本発明に係る撮像装置によれば、符号化開口撮影を迅速かつ容易に行うことができる。   As described above, according to the imaging apparatus according to the present invention, coded aperture imaging can be performed quickly and easily.

図１は、撮像装置１０の要部構成を示すブロック図である。FIG. 1 is a block diagram illustrating a main configuration of the imaging apparatus 10. 図２は、符号化開口１１の例を示す図である。FIG. 2 is a diagram illustrating an example of the encoding aperture 11. 図３は、撮影レンズ１２の正面図である。FIG. 3 is a front view of the photographic lens 12. 図４は、撮像素子１６における光束の選択的な受光の様子を示す図である。FIG. 4 is a diagram illustrating a state of selective light reception of a light beam in the image sensor 16. 図５は、撮像素子１６における受光セルの配置の例を示す図である。FIG. 5 is a diagram illustrating an example of the arrangement of the light receiving cells in the image sensor 16. 図６は、ＣＰＵ４０の機能構成を示す図である。FIG. 6 is a diagram illustrating a functional configuration of the CPU 40. 図７は、撮像装置１０における画像取得の様子を示す図である。FIG. 7 is a diagram illustrating a state of image acquisition in the imaging apparatus 10. 図８は、撮像装置１０で取得した画像の例を示す図である。FIG. 8 is a diagram illustrating an example of an image acquired by the imaging apparatus 10. 図９は、撮像装置１０における全焦点画像の例を示す図である。FIG. 9 is a diagram illustrating an example of an omnifocal image in the imaging apparatus 10. 図１０は、撮影レンズが２枚以上のレンズから構成される場合の例を示す図である。FIG. 10 is a diagram illustrating an example in the case where the photographing lens includes two or more lenses.

以下、添付図面に従って本発明に係る撮像装置を実施するための形態について詳細に説明する。   DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for implementing an imaging apparatus according to the present invention will be described in detail with reference to the accompanying drawings.

＜撮像装置の構成＞
図１は撮像装置１０の要部構成を示すブロック図である。撮像装置１０の装置全体の動作は中央処理装置（ＣＰＵ）４０によって統括制御され、ＣＰＵ４０の動作に必要なプログラム（後述する撮像処理や画像生成・合成処理、合焦距離の変更等に用いるプログラムを含む）やパラメータは、ＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）４６に記憶されている。 <Configuration of imaging device>
FIG. 1 is a block diagram showing a main configuration of the imaging apparatus 10. The overall operation of the image pickup apparatus 10 is controlled in an integrated manner by a central processing unit (CPU) 40, and programs necessary for the operation of the CPU 40 (programs used for image pickup processing, image generation / compositing processing, focusing distance change, etc., which will be described later). And parameters are stored in an EEPROM (Electronically Erasable and Programmable Read Only Memory) 46.

撮像装置１０には、レリーズボタンの他モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等を含む操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて、後述するように撮像装置１０の各回路を制御する。   The imaging apparatus 10 is provided with an operation unit 38 including a release button, a mode dial, a playback button, a MENU / OK key, a cross key, a BACK key, and the like. A signal from the operation unit 38 is input to the CPU 40, and the CPU 40 controls each circuit of the imaging device 10 based on the input signal as described later.

レリーズボタンは撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、静止画／動画撮影モード、マニュアル／オート撮影モード、及び撮影シーン等を選択する手段である。   The release button is an operation button for inputting an instruction to start shooting, and is composed of a two-stroke switch having an S1 switch that is turned on when half-pressed and an S2 switch that is turned on when fully pressed. The mode dial is a means for selecting a still image / moving image shooting mode, a manual / auto shooting mode, a shooting scene, and the like.

再生ボタンは、撮影記録した画像の静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うための機能と、選択内容の確定及び実行などを指令する機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、カーソル移動操作手段やズームスイッチ、再生モード時のコマ送りボタン等として機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。これらのボタンやキーは、画像抽出や合成処理の際に必要な操作にも用いることができる。   The playback button is a button for switching to a playback mode in which a still image or a moving image of a photographed and recorded image is displayed on the liquid crystal monitor 30. The MENU / OK key is an operation key that has both a function for instructing to display a menu on the screen of the liquid crystal monitor 30 and a function for instructing confirmation and execution of selection contents. The cross key is an operation unit that inputs instructions in four directions, up, down, left, and right, and functions as a cursor moving operation means, a zoom switch, a frame advance button in the playback mode, and the like. The BACK key is used to delete a desired object such as a selection item, cancel an instruction content, or return to the previous operation state. These buttons and keys can also be used for operations necessary for image extraction and composition processing.

撮影モード時において、被写体を示す画像光は、撮影レンズ１２（撮影レンズ）、符号化開口１１を介して固体撮像素子（撮像素子：以下「ＣＣＤ」という）１６の受光面に結像される。図２は、符号化開口１１の例を示す図である。符号化開口は液晶シャッタ１１−１において光束を透過させる部分と遮光する部分（図２の斜線部分）のパターンとして設定され、本実施形態ではユーザが操作部３８を操作するとＣＰＵ４０の開口パターン変更機能ｆ２（後述）が液晶シャッタ１１−１を制御し、これにより開口パターン（およびこれに応じたＰＳＦ）を変更できるようになっている。符号化開口１１のパターンは被写体の種類や距離等の条件、復元処理の容易さ・正確さ等を考慮して設定／変更してよく、また撮影レンズ１２の領域によらず同じパターンにしてもよいし、領域ごとに異なるパターンにしてもよい。図２は、撮影レンズ１２の領域に対応して符号化開口１１が異なるパターンの符号化開口１１ａ（図２の下半分），１１ｂ（図２の上半分）から構成される場合（従って各領域のＰＳＦが異なる場合）の例である。   In the photographing mode, image light indicating a subject is imaged on a light receiving surface of a solid-state imaging device (imaging device: hereinafter referred to as “CCD”) 16 through a photographing lens 12 (photographing lens) and an encoding aperture 11. FIG. 2 is a diagram illustrating an example of the encoding aperture 11. The encoded aperture is set as a pattern of a portion that transmits the light beam and a portion that shields light (the hatched portion in FIG. 2) in the liquid crystal shutter 11-1. In this embodiment, when the user operates the operation unit 38, the aperture pattern changing function of the CPU 40 is set. f2 (described later) controls the liquid crystal shutter 11-1, thereby changing the opening pattern (and the PSF corresponding thereto). The pattern of the encoding aperture 11 may be set / changed in consideration of conditions such as the type and distance of the subject, the ease and accuracy of the restoration process, and the same pattern regardless of the area of the photographing lens 12. It may be a different pattern for each region. FIG. 2 shows a case where the encoding aperture 11 is composed of different patterns of encoding apertures 11a (lower half of FIG. 2) and 11b (upper half of FIG. 2) corresponding to the area of the taking lens 12 (accordingly, each area). In the case of different PSFs).

なお本実施の形態では液晶シャッタ１１−１により開口パターンを変更するようにしているが、異なるパターンの符号化開口が複数配列された光学部材を適宜移動・回転して撮影レンズ１２の光軸上に配置することでパターンを変更するようにしてもよい。開口パターンの変更を行わない場合は、開口パターン変更機能ｆ２及び液晶シャッタ１１−１に代えて特定の開口パターンを有する光学部材を固定的に設けてもよい。   In the present embodiment, the aperture pattern is changed by the liquid crystal shutter 11-1, but an optical member in which a plurality of encoded apertures having different patterns are arranged is appropriately moved and rotated to be on the optical axis of the photographing lens 12. You may make it change a pattern by arrange | positioning. When the aperture pattern is not changed, an optical member having a specific aperture pattern may be fixedly provided in place of the aperture pattern changing function f2 and the liquid crystal shutter 11-1.

本実施の形態において、符号化開口１１を撮影レンズ１２の前焦点面に配置し、符号化開口１１と撮影レンズ１２とＣＣＤ１６とでテレセントリック光学系を構成するようにしてもよい。ただし本発明において符号化開口１１と撮影レンズ１２とＣＣＤ１６との配置はそのような態様に限られるものでなく、符号化開口１１を前焦点面以外の位置（撮影レンズ１２の後方を含む）に配置してもよい。   In the present embodiment, the encoding aperture 11 may be disposed on the front focal plane of the photographic lens 12, and the encoding aperture 11, the photographic lens 12, and the CCD 16 may constitute a telecentric optical system. However, in the present invention, the arrangement of the encoding aperture 11, the photographic lens 12, and the CCD 16 is not limited to such a mode, and the encoding aperture 11 is located at a position other than the front focal plane (including the rear of the photographic lens 12). You may arrange.

図３は、撮影レンズ１２の外観図である。撮影レンズ１２は、合焦距離が長い領域（以下、遠合焦領域という）１２ａと、遠合焦領域１２ａより短い合焦距離を有する領域（以下、近合焦領域という）１２ｂと、を有し、図３に示すように正面から見て半月型の領域がレンズ中心Ｏ１の上下に設けられており、下部から順に遠合焦領域１２ａ、近合焦領域１２ｂ、となっている。遠合焦領域１２ａ、近合焦領域１２ｂの領域の合焦距離は、他の領域の合焦距離から独立である。このような領域により特性が独立した撮影レンズは、領域ごとに素材や形状を変えることで実現できる。   FIG. 3 is an external view of the photographic lens 12. The photographic lens 12 includes a region 12a having a long focusing distance (hereinafter referred to as a far focusing region) 12a and a region 12b (hereinafter referred to as a near focusing region) having a focusing distance shorter than the far focusing region 12a. As shown in FIG. 3, half-moon shaped regions are provided above and below the lens center O1, as viewed from the front, and form a far focusing region 12a and a near focusing region 12b in this order from the bottom. The focus distances of the far focus area 12a and the near focus area 12b are independent of the focus distances of the other areas. A photographic lens whose characteristics are independent of each other can be realized by changing the material and shape of each region.

なお撮影レンズ１２において各領域の焦点距離は等しいものとするが、本発明の撮像装置において撮影レンズの各領域の特性はこのような条件に限定されるものではなく、各領域間で合焦距離と焦点距離との内少なくとも一方が独立していれば、具体的な値は同じであっても異なっていてもよい。またこれらの領域において、合焦距離や焦点距離の具体的な値は撮影目的等に合わせて設定してよい。   Although the focal lengths of the respective areas in the photographing lens 12 are equal, the characteristics of the respective areas of the photographing lens in the imaging apparatus of the present invention are not limited to such conditions, and the focal distances between the respective areas. And at least one of the focal lengths is independent, the specific values may be the same or different. Further, in these areas, specific values of the focus distance and the focal distance may be set according to the purpose of photographing.

なお図３の例では各領域を半月型に形成しているが、レンズ中心に配置した円形の領域とその周辺の円環状の領域（いずれかが遠合焦領域、他方が近合焦領域）とを形成するようにしてもよい。また図３の例では遠合焦領域１２ａ、近合焦領域１２ｂの面積を等しくしているが、これら領域の面積比は光学系の特性や撮影目的・撮影条件等に応じて上記と異なる比率に設定してもよい。また領域数は２に限らず３以上でもよい。   In the example of FIG. 3, each region is formed in a half-moon shape, but a circular region arranged at the center of the lens and an annular region around it (one is a far focusing region, the other is a near focusing region) And may be formed. In the example of FIG. 3, the areas of the far focus area 12a and the near focus area 12b are made equal, but the area ratio of these areas is different from the above depending on the characteristics of the optical system, the shooting purpose, shooting conditions, etc. May be set. Further, the number of regions is not limited to 2, but may be 3 or more.

撮影レンズ１２の遠合焦領域１２ａ、近合焦領域１２ｂを通過した光束は、ＣＣＤ１６の各フォトセンサに入射する。図４に示すようにＣＣＤ１６は、撮影レンズ１２の遠合焦領域１２ａを通過した光束を受光する遠画像用受光セル１６ａと、近合焦領域１２ｂを通過した光束を受光する近画像用受光セル１６ｂとを有する。受光セル１６ａ，１６ｂは、マイクロレンズＭＬ、及び受光部１７の前面に設けられた遮光膜１８ａ，１８ｂにより遠合焦領域１２ａ、近合焦領域１２ｂを通過した光束をそれぞれ選択的に受光するようになっており、そのため遮光膜１８ａ，１８ｂはそれぞれ異なる形状をしている。なお受光部１７の前面に遮光膜を設ける代わりに、マイクロレンズＭＬの前面に遮光部材や液晶シャッタを設けるようにしてもよい。   The light beam that has passed through the far focusing area 12a and the near focusing area 12b of the photographing lens 12 is incident on each photosensor of the CCD 16. As shown in FIG. 4, the CCD 16 includes a far-image light-receiving cell 16a that receives the light beam that has passed through the far-focus area 12a of the photographing lens 12, and a near-image light-receiving cell that receives the light beam that has passed through the near-focus area 12b. 16b. The light receiving cells 16a and 16b selectively receive light beams that have passed through the far focus region 12a and the near focus region 12b by the microlens ML and the light shielding films 18a and 18b provided on the front surface of the light receiving unit 17, respectively. Therefore, the light shielding films 18a and 18b have different shapes. Instead of providing a light shielding film on the front surface of the light receiving unit 17, a light shielding member or a liquid crystal shutter may be provided on the front surface of the microlens ML.

受光セル１６ａ，１６ｂの数の比は、受光セル１６ａ，１６ｂに対応する合焦領域１２ａ，１２ｂの面積比と略等しくなるようにすることが好ましい。図５は撮像素子１６における受光セルの配置例であり、本実施形態では遠合焦領域１２ａと近合焦領域１２ｂの面積が等しいので、受光セル１６ａ，１６ｂの数も等しくなっている。受光セル１６ａ，１６ｂは生成された画像において特定の領域や方向で画質が劣化しないように配置することが好ましく、複数の領域のそれぞれに対応したセルが混在することによる画素データの欠落を、補間等により適宜補うことが好ましい。   It is preferable that the ratio of the number of the light receiving cells 16a and 16b is substantially equal to the area ratio of the focusing regions 12a and 12b corresponding to the light receiving cells 16a and 16b. FIG. 5 shows an example of the arrangement of the light receiving cells in the image sensor 16. In this embodiment, since the areas of the far focusing area 12a and the near focusing area 12b are equal, the numbers of the light receiving cells 16a and 16b are also equal. The light receiving cells 16a and 16b are preferably arranged so that the image quality does not deteriorate in a specific region or direction in the generated image, and interpolation of pixel data loss due to a mixture of cells corresponding to each of a plurality of regions is performed. It is preferable to appropriately compensate by such as.

ＣＰＵ４０は、図示せぬＣＣＤ制御部を介してＣＣＤ１６での電荷蓄積時間（シャッタスピード）や、ＣＣＤ１６からの画像信号の読み出し制御等を行う。ＣＣＤ１６に蓄積された信号電荷は、ＣＣＤ制御部から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出され、アナログ信号処理部２０に加えられる。 The CPU 40 performs charge accumulation time (shutter speed) in the CCD 16, image signal readout control from the CCD 16, and the like via a CCD control unit (not shown ). The signal charge accumulated in the CCD 16 is read out as a voltage signal corresponding to the signal charge based on the readout signal applied from the CCD control unit and added to the analog signal processing unit 20.

アナログ信号処理部２０は、ＣＣＤ１６から出力された電圧信号に対して相関二重サンプリング処理により各画素ごとのＲ、Ｇ、Ｂ信号をサンプリングホールドし、増幅した後Ａ／Ｄ変換器２１に加える。Ａ／Ｄ変換器２１は、順次入力するアナログのＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。なおＣＣＤ１６に代えてＭＯＳ型撮像素子を用いることができるが、その場合Ａ／Ｄ変換器２１は撮像素子内に内蔵されていることが多く、また上記相関二重サンプリングは必要としない。   The analog signal processing unit 20 samples and holds the R, G, and B signals for each pixel by the correlated double sampling process on the voltage signal output from the CCD 16, amplifies it, and adds the amplified signal to the A / D converter 21. The A / D converter 21 converts analog R, G, and B signals that are sequentially input into digital R, G, and B signals and outputs them to the image input controller 22. A MOS type image pickup device can be used in place of the CCD 16, but in this case, the A / D converter 21 is often built in the image pickup device, and the correlated double sampling is not required.

デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、ガンマ補正処理、ＹＣ処理等の所定の信号処理を行う。   The digital signal processing unit 24 performs predetermined processing such as offset control, gain control processing including white balance correction and sensitivity correction, gamma correction processing, YC processing, etc., on the digital image signal input via the image input controller 22. Perform signal processing.

デジタル信号処理部２４で処理された画像データは、ＶＲＡＭ５０に入力される。ＶＲＡＭ５０には、それぞれが１コマ分の画像を表す画像データを記憶するＡ領域とＢ領域とが含まれており、１コマ分の画像を表す画像データがＡ領域とＢ領域とで交互に書き換えられ、画像データが書き換えられている領域以外の領域から、書き込まれた画像データが読み出される。ＶＲＡＭ５０から読み出された画像データはビデオ・エンコーダ２８においてエンコーディングされて液晶モニタ３０に出力され、これにより被写体像が液晶モニタ３０に表示される。液晶モニタ３０はタッチパネルを採用しており、取得した画像を表示すると共に、画面を介したユーザの操作が可能になっている。   The image data processed by the digital signal processing unit 24 is input to the VRAM 50. The VRAM 50 includes an A area and a B area each storing image data representing an image of one frame, and image data representing an image of one frame is rewritten alternately between the A area and the B area. Thus, the written image data is read from an area other than the area where the image data is rewritten. The image data read from the VRAM 50 is encoded by the video encoder 28 and output to the liquid crystal monitor 30, whereby the subject image is displayed on the liquid crystal monitor 30. The liquid crystal monitor 30 employs a touch panel, displays an acquired image, and allows a user operation via the screen.

また、操作部３８のレリーズボタンの第１段階の押下（半押し）があると、ＣＰＵ４０はＡＥ動作を開始する。また、レリーズボタンの半押し時にＡ／Ｄ変換器２１から出力される画像データは、ＡＥ検出部４４に取り込まれる。   When the first release button (half-press) of the release button of the operation unit 38 is pressed, the CPU 40 starts an AE operation. The image data output from the A / D converter 21 when the release button is half-pressed is taken into the AE detection unit 44.

ＣＰＵ４０は、ＡＥ検出部４４から入力するＧ信号の積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいてＣＣＤ１６の電子シャッタ（シャッタスピード）を決定し、その結果に基づいてＣＣＤ１６での電荷蓄積時間を制御する。   The CPU 40 calculates the brightness of the subject (shooting Ev value) from the integrated value of the G signal input from the AE detection unit 44, determines the electronic shutter (shutter speed) of the CCD 16 based on this shooting Ev value, and the result Based on the above, the charge accumulation time in the CCD 16 is controlled.

ＡＥ動作が終了し、レリーズボタンの第２段階の押下（全押し）があると、その押下に応答して遠合焦領域１２ａ，近合焦領域１２ｂに対応した画像データがＡ／Ｄ変換器２１から出力されて画像入力コントローラ２２からメモリ(SDRAM)４８に入力され、一時的に記憶される。   When the AE operation ends and the release button is pressed in the second stage (full press), the image data corresponding to the far-focus area 12a and the near-focus area 12b is sent to the A / D converter in response to the press. 21 is input from the image input controller 22 to the memory (SDRAM) 48 and temporarily stored.

メモリ４８への一時記憶後、デジタル信号処理部２４におけるＹＣ処理等の信号処理や圧縮伸張処理部２６でのJPEG (joint photographic experts group)形式への圧縮処理等を経て画像ファイルが生成され、それらの画像ファイルは、メディア・コントローラ５２により読み出されてメモリカード５４に記録される。メモリカード５４に記録された画像は、操作部３８の再生ボタンを操作することにより液晶モニタ３０で再生表示することができる。   After temporary storage in the memory 48, image files are generated through signal processing such as YC processing in the digital signal processing unit 24 and compression processing to a JPEG (joint photographic experts group) format in the compression / decompression processing unit 26. Are read out by the media controller 52 and recorded in the memory card 54. The image recorded on the memory card 54 can be reproduced and displayed on the liquid crystal monitor 30 by operating the reproduction button of the operation unit 38.

＜ＣＰＵの機能構成＞
撮像装置１０では後述するように撮影レンズ１２の合焦距離制御や画像の生成・合成を行うが、このような処理は主としてＣＰＵ４０の制御により行われる。図６はそのような処理を行うためのＣＰＵ４０の機能を示す機能ブロック図であり、ＣＰＵ４０は画像生成機能ｆ１（画像生成手段）、開口パターン変更機能ｆ２（開口パターン変更手段）、及び距離情報取得機能ｆ３（距離情報取得手段）を有している。以下、各機能の概略を説明する。 <Functional configuration of CPU>
As will be described later, the imaging apparatus 10 performs focus distance control of the photographing lens 12 and image generation / combination. Such processing is mainly performed by control of the CPU 40. FIG. 6 is a functional block diagram showing functions of the CPU 40 for performing such processing. The CPU 40 has an image generation function f1 (image generation means), an opening pattern change function f2 (opening pattern change means), and distance information acquisition. It has a function f3 (distance information acquisition means). Hereinafter, an outline of each function will be described.

画像生成機能ｆ１は、ＣＣＤ１６から出力される撮像信号を用いて撮影レンズ１２の各領域に対応した画像を生成するとともに、それらの画像から全焦点画像を生成する機能である。画像生成機能ｆ１はまた、距離情報取得機能ｆ３により取得された距離情報から距離画像を生成する。   The image generation function f1 is a function for generating an image corresponding to each region of the photographing lens 12 using an imaging signal output from the CCD 16 and generating an omnifocal image from these images. The image generation function f1 also generates a distance image from the distance information acquired by the distance information acquisition function f3.

開口パターン変更機能ｆ２は上述のように、液晶シャッタ１１−１を制御して符号化開口１１の開口パターンを変更する機能である。   As described above, the opening pattern changing function f2 is a function for changing the opening pattern of the encoded opening 11 by controlling the liquid crystal shutter 11-1.

距離情報取得機能ｆ３は、画像生成機能ｆ１により取得された画像から被写体の距離情報を取得する機能である。   The distance information acquisition function f3 is a function for acquiring distance information of the subject from the image acquired by the image generation function f1.

＜画像取得＞
次に、撮像装置１０での多合焦画像取得について説明する。図７は、撮影レンズ１２の遠合焦領域１２ａ，近合焦領域１２ｂに対応する画像ｉ１，ｉ２（符号化開口画像）の取得の様子を示す図であり、各参照符号の示す内容は以下の通りである。 <Image acquisition>
Next, multifocus image acquisition by the imaging apparatus 10 will be described. FIG. 7 is a diagram showing how images i1 and i2 (encoded aperture images) corresponding to the far focus area 12a and the near focus area 12b of the photographic lens 12 are acquired. It is as follows.

ａ１，ａ２ ：遠合焦領域１２ａ，近合焦領域１２ｂのレンズ−受光面間距離
ｂ１，ｂ２ ：遠合焦領域１２ａ，近合焦領域１２ｂのレンズ−被写体間距離
ＦＤ１，ＦＤ２：遠合焦領域１２ａ，近合焦領域１２ｂの合焦距離
Ｑ１，Ｑ２ ：被写体
従って図７の状況において、距離ｂ１にある被写体Ｑ１は遠合焦領域１２ａで合焦し、距離ｂ２にある被写体Ｑ２は近合焦領域１２ｂで合焦する。図８は図７の状況において各合焦領域で取得した画像ｉ１，ｉ２の例である。図８(ａ)に示す画像ｉ１は遠合焦領域１２ａで取得した画像を示し、距離ｂ１にある被写体Ｑ１が合焦し、距離ｂ１と異なる距離ｂ２にある被写体Ｑ２は距離ｂ１，ｂ２の差に応じてボケている。一方図８(ｂ)に示す画像ｉ２は近合焦領域１２ｂで取得した画像を示し、距離ｂ２にある被写体が合焦し、距離ｂ２と異なる距離ｂ１にある被写体Ｑ１は距離ｂ２，ｂ１の差に応じてボケている。 a1, a2: Distance between the lens and the light receiving surface in the far focus area 12a and the near focus area 12b b1, b2: Distance between the lens and the subject in the far focus area 12a, the near focus area 12b FD1, FD2: Far focus In-focus distance Q1, Q2 of subject 12a and near-focus region 12b: subject Therefore, in the situation of FIG. 7, subject Q1 at distance b1 is in-focus at far-focus region 12a, and subject Q2 at distance b2 is close-in Focusing is performed in the focal region 12b. FIG. 8 is an example of images i1 and i2 acquired in each focus area in the situation of FIG. An image i1 shown in FIG. 8A shows an image acquired in the far focus area 12a. A subject Q1 at a distance b1 is in focus, and a subject Q2 at a distance b2 different from the distance b1 is a difference between the distances b1 and b2. It is blurred according to. On the other hand, an image i2 shown in FIG. 8B shows an image acquired in the near focus area 12b. A subject at a distance b2 is in focus, and a subject Q1 at a distance b1 different from the distance b2 is a difference between the distances b2 and b1. It is blurred according to.

このように本実施の形態に係る撮像装置１０では、符号化開口１１と、撮影レンズ１２と、選択的受光が可能な受光セル１６ａ，１６ｂを備えたＣＣＤ１６とにより複数のＰＳＦで符号化開口撮影を行い、ボケ具合（合焦状態）が異なる複数の画像ｉ１，ｉ２を同時に取得できる。複数の画像を同時に取得できるので撮影に手間や時間を要さず、また画像間で撮影タイミングにずれが生じることもない。また上述のように開口パターン変更機能ｆ２及び液晶シャッタ１１−１により開口パターンを変更することで、被写体の種類や撮影目的に合わせた所望の開口パターン（およびこれに応じたＰＳＦ）で画像を取得できる。なお以上の説明では画像が静止画・動画のいずれであるかは特に限定していないが、静止画・動画のいずれも撮影することができる。動画を撮影する場合でも領域間で撮影タイミングがずれることがなく良好な画質の画像が得られ、その後の画像処理にも有利である。   As described above, in the imaging apparatus 10 according to the present embodiment, the coded aperture photographing with a plurality of PSFs is performed by the coded aperture 11, the photographing lens 12, and the CCD 16 including the light receiving cells 16a and 16b capable of selective light reception. And a plurality of images i1 and i2 having different degrees of blurring (focused state) can be acquired simultaneously. Since a plurality of images can be acquired at the same time, it does not take time and effort to shoot, and there is no deviation in shooting timing between images. Further, by changing the opening pattern by the opening pattern changing function f2 and the liquid crystal shutter 11-1 as described above, an image is acquired with a desired opening pattern (and a PSF corresponding to the subject) and the photographing purpose. it can. In the above description, it is not particularly limited whether the image is a still image or a moving image, but either a still image or a moving image can be taken. Even when a moving image is shot, the shooting timing is not shifted between areas, and an image with good image quality is obtained, which is advantageous for subsequent image processing.

以上説明したように、撮像装置１０では符号化開口撮影を迅速かつ容易に行い複数の画像を良好な画質で取得することができる。   As described above, the imaging apparatus 10 can quickly and easily perform coded aperture shooting and acquire a plurality of images with good image quality.

さらに撮像装置１０ではＣＰＵ４０の距離情報取得機能ｆ３により画像ｉ１，ｉ２から被写体の距離情報を取得し、画像生成機能ｆ１により画像ｉ１，ｉ２と距離情報とから両被写体Ｑ１，Ｑ２が合焦した画像（全焦点画像）や距離画像を得ることができる。図９はそのようにして生成した全焦点画像ｉ３の例である。画像ｉ１〜ｉ３及び距離情報（距離画像）は、被写体の３次元形状測定や他の画像との合成等様々な分野で利用可能である。   Further, in the imaging device 10, the distance information acquisition function f3 of the CPU 40 acquires subject distance information from the images i1 and i2, and the image generation function f1 acquires both the subjects Q1 and Q2 from the images i1 and i2 and the distance information. (Omnifocal image) and distance image can be obtained. FIG. 9 is an example of the omnifocal image i3 generated in this way. The images i1 to i3 and the distance information (distance image) can be used in various fields such as measurement of the three-dimensional shape of the subject and synthesis with other images.

なお撮像装置１０において、被写体の距離情報は種々の方法で算出することができる。特開２０１１−１２４７１２号に記載されているように受光センサの位相差情報を利用して算出するようにしてもよいし、異なるレンズ位置で取得された複数の撮像信号のコントラストを比較することにより算出するようにしてもよく、種々の方式を用いることができる。同様に、全焦点画像も種々の方法で取得することができる。距離情報や全焦点画像の取得方法が記載された文献としては、例えば“Coded Aperture Pairs for Depth from Defocus and Defocus Deblurring (Changyin Zhou, Stephen Lin, and Shree Nayar; International Journal of Computer Vision (IJCV), Volume 93, Number 1, Pages 53-72, 2011)”，”Programmable Aperture Camera Using LCoS (Hajime Nagahara, Changyin Zhou, Takuya Watanabe, Hiroshi Ishiguro, and Shree Nayar; ECCV 2010)”，“Coded Aperture Pairs for Depth from Defocus (Changyin Zhou, Stephen Lin, and Shree Nayar); ICCV 2009”等の論文が挙げられる。   In the imaging apparatus 10, the distance information of the subject can be calculated by various methods. As described in Japanese Patent Application Laid-Open No. 2011-124712, it may be calculated using the phase difference information of the light receiving sensor, or by comparing the contrast of a plurality of imaging signals acquired at different lens positions. The calculation may be performed, and various methods can be used. Similarly, an omnifocal image can also be acquired by various methods. References that describe how to acquire distance information and omnifocal images include, for example, “Coded Aperture Pairs for Depth from Defocus and Defocus Deblurring (Changyin Zhou, Stephen Lin, and Shree Nayar; International Journal of Computer Vision (IJCV), Volume 93, Number 1, Pages 53-72, 2011) ”,“ Programmable Aperture Camera Using LCoS (Hajime Nagahara, Changyin Zhou, Takuya Watanabe, Hiroshi Ishiguro, and Shree Nayar; ECCV 2010) ”,“ Coded Aperture Pairs for Depth from Defocus (Changyin Zhou, Stephen Lin, and Shree Nayar); ICCV 2009 ”.

＜撮像装置の変形例＞
上述した実施形態では撮影レンズが図３に示すようなレンズである場合について説明したが、本発明に係る撮像装置において撮影レンズはこのような態様に限定されるものではない。図１０は撮影レンズの他の態様を示す図である。図１０に示す撮影レンズ１２’は物理的に分離した２枚以上のレンズからなる撮影レンズであって、撮影レンズの複数の領域が、２枚以上のレンズの組合せに対応してそれぞれ独立した特性（合焦距離と焦点距離との内少なくとも一方；以下、合焦距離の場合について説明する）を有するレンズである。図１０中Ｌ１は撮影レンズ１２’の光軸を示す。撮影レンズ１２’では図１０(ａ)に示すように、正面から見て半月型の領域がレンズ中心Ｏ１’の上下に設けられており、下部から順に遠合焦領域１２ａ’、近合焦領域１２ｂ’、となっている。そしてこれら２つの合焦領域が物理的に分離した２枚のレンズとして作用し、全体として撮影レンズ１２’を構成する。これらの領域において、合焦距離の具体的な値は撮影目的等に合わせて設定してよい。なお図１０(ｂ)に示すように、遠合焦領域１２ａ’，近合焦領域１２ｂ’は光軸方向の異なる位置に配置してよい。 <Modification of imaging device>
In the above-described embodiment, the case where the photographing lens is a lens as illustrated in FIG. 3 has been described. However, the photographing lens in the imaging apparatus according to the present invention is not limited to such a mode. FIG. 10 is a diagram showing another aspect of the photographing lens. The photographic lens 12 ′ shown in FIG. 10 is a photographic lens composed of two or more physically separated lenses, and a plurality of areas of the photographic lens have independent characteristics corresponding to combinations of two or more lenses. (At least one of the focal distance and the focal distance ; hereinafter, the case of the focal distance will be described ). In FIG. 10, L1 indicates the optical axis of the photographing lens 12 ′. In the photographing lens 12 ′, as shown in FIG. 10A, half-moon shaped regions are provided above and below the lens center O1 ′ when viewed from the front, and the far focusing region 12a ′ and the near focusing region are sequentially arranged from the bottom. 12b ′. These two in- focus areas function as two lenses that are physically separated, and constitute a photographic lens 12 'as a whole. In these areas, a specific value of the in- focus distance may be set according to the purpose of photographing. As shown in FIG. 10B, the far focusing area 12a ′ and the near focusing area 12b ′ may be arranged at different positions in the optical axis direction.

また本発明に係る撮像装置において、撮影レンズの特性（合焦距離と焦点距離との内少なくとも一方）を変更できるようにしてもよい。特性の変更は例えば、撮影レンズ全体の移動や、複数のレンズで構成した撮影レンズの内一部のレンズを移動する等、種々の手法で実現できる。また図１０に示すような２枚以上のレンズからなる撮影レンズの内いずれかのレンズを回転・移動させるようにしてもよい。このようなレンズの移動や回転は撮影者によるレンズ鏡筒の回転に応じて行われるようにしてもよいし、ＣＰＵ４０がモータやＰＺＴ（ピエゾ素子）を制御して行われるようにしてもよい。このように撮影レンズの特性を変更することで、所望の特性及びその組み合わせで、複数の画像を同時に取得することができる。なおこのように撮影レンズ（またはその一部）を移動・回転させて合焦距離や焦点距離を変更する場合は、ＣＰＵ４０が焦点距離／合焦距離変更機能ｆ４を有し、また撮像装置がモータ・ドライバ等により構成されるレンズ駆動部を備えるようにする。   In the imaging apparatus according to the present invention, the characteristics of the photographing lens (at least one of the in-focus distance and the focal distance) may be changed. The change of the characteristics can be realized by various methods such as moving the entire photographing lens or moving a part of the photographing lens composed of a plurality of lenses. Further, any one of the photographing lenses including two or more lenses as shown in FIG. 10 may be rotated and moved. Such movement and rotation of the lens may be performed in accordance with the rotation of the lens barrel by the photographer, or may be performed by the CPU 40 controlling the motor and PZT (piezo element). In this way, by changing the characteristics of the photographing lens, a plurality of images can be acquired simultaneously with desired characteristics and combinations thereof. When the photographing lens (or a part thereof) is moved and rotated in this way to change the focal distance or focal distance, the CPU 40 has a focal distance / focus distance changing function f4, and the imaging apparatus is a motor. -Provide a lens driving unit composed of a driver or the like.

以上本発明の一の実施形態により説明したが、本発明の実施の態様は上記実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。   Although one embodiment of the present invention has been described above, the embodiment of the present invention is not limited to the above embodiment, and various modifications can be made without departing from the spirit of the present invention.

１０…撮像装置、１１…符号化開口、１１−１…液晶シャッタ、１２，１２’ …撮影レンズ、１２ａ，１２ａ’ …遠合焦領域、１２ｂ，１２ｂ’ …近合焦領域、１６…固体撮像素子（ＣＣＤ）、１６ａ…遠画像用受光セル、１６ｂ…近画像用受光セル、１８ａ，１８ｂ…遮光膜、３０…液晶モニタ、３８…操作部、４０…ＣＰＵ、４６…ＥＥＰＲＯＭ、４８…メモリ、５４…メモリカード、ａ１，ａ２…レンズ−受光面間距離、ｂ１，ｂ２…レンズ−被写体間距離、ＦＤ１，ＦＤ２…合焦距離、Ｑ１，Ｑ２…被写体、ｉ１〜ｉ３…画像   DESCRIPTION OF SYMBOLS 10 ... Imaging device, 11 ... Encoding aperture, 11-1 ... Liquid crystal shutter, 12, 12 '... Shooting lens, 12a, 12a' ... Far focus area | region, 12b, 12b '... Near focus area | region, 16 ... Solid imaging Element (CCD), 16a ... far light receiving cell, 16b ... near light receiving cell, 18a, 18b ... light shielding film, 30 ... liquid crystal monitor, 38 ... operation unit, 40 ... CPU, 46 ... EEPROM, 48 ... memory, 54 ... Memory card, a1, a2 ... Lens-light receiving surface distance, b1, b2 ... Lens-subject distance, FD1, FD2 ... In-focus distance, Q1, Q2 ... Subject, i1-i3 ... Image

Claims (7)

複数の領域を有する撮影レンズを備える単一の光学系であって、前記複数の領域がそれぞれ独立した特性を有する光学系と、
前記複数の領域のそれぞれに対応して設けられた符号化開口であって、前記複数の領域のそれぞれに対応して異なるパターンを有する符号化開口と、
前記複数の領域のそれぞれに対応して設けられた複数の受光センサであって、前記複数の領域のいずれかと当該いずれかの領域に対応する符号化開口とを通過した光束を瞳分割して選択的に受光する複数の受光センサを有する撮像素子と、
前記複数の受光センサの撮像信号から前記複数の領域のそれぞれに対応する複数の画像を生成する画像生成手段と、
を備え、
前記特性は焦点距離と合焦距離とのうち少なくとも一方であり、
前記複数の受光センサのそれぞれは、受光面上に設けられた遮光膜であって前記複数の領域のいずれかの形状に対応した形状の遮光膜を備え、前記撮像素子は前記遮光膜が前記複数の領域のいずれかを通過した光束を受光し他の領域を通過した光束を遮光することで前記選択的な受光を行う、
撮像装置。 A single optical system including an imaging lens having a plurality of regions, and an optical system having a characteristic of said plurality of regions are each independently
A coded opening provided corresponding to each of the plurality of regions, the coded opening having a different pattern corresponding to each of the plurality of regions ;
A plurality of light receiving sensors provided corresponding to each of the plurality of regions, wherein a light beam that has passed through any one of the plurality of regions and a coded aperture corresponding to any one of the regions is selected by pupil division. An image sensor having a plurality of light receiving sensors for receiving light automatically,
Image generating means for generating a plurality of images corresponding to each of the plurality of regions from imaging signals of the plurality of light receiving sensors;
With
Said properties Ri least one der of the focal length and focus distance,
Each of the plurality of light receiving sensors includes a light shielding film provided on a light receiving surface and having a shape corresponding to any shape of the plurality of regions, and the imaging element includes the plurality of light shielding films. The selective light reception is performed by receiving a light beam that has passed through one of the regions and shielding a light beam that has passed through another region,
Imaging device. 前記符号化開口のパターンを変更する開口パターン変更手段を備える、請求項１に記載の撮像装置。The imaging apparatus according to claim 1, further comprising an opening pattern changing unit that changes a pattern of the encoded opening. 前記生成した複数の画像に基づいて被写体の距離情報を取得する距離情報取得手段を備える、請求項１または２に記載の撮像装置。The imaging apparatus according to claim 1, further comprising a distance information acquisition unit that acquires distance information of a subject based on the plurality of generated images. 前記画像生成手段は前記取得した距離情報と前記生成した複数の画像とから全焦点画像を生成する、請求項３に記載の撮像装置。The imaging apparatus according to claim 3, wherein the image generation unit generates an omnifocal image from the acquired distance information and the generated plurality of images. 前記複数の領域の内少なくとも一つの領域の焦点距離を変更する焦点距離変更手段を備える、請求項１から４のいずれか１項に記載の撮像装置。The imaging apparatus according to claim 1, further comprising a focal length changing unit that changes a focal length of at least one of the plurality of areas. 前記複数の領域の内少なくとも一つの領域の合焦距離を変更する合焦距離変更手段を備える、請求項１から５のいずれか１項に記載の撮像装置。The imaging apparatus according to claim 1, further comprising a focus distance changing unit that changes a focus distance of at least one of the plurality of areas. 前記撮影レンズは物理的に分離した２枚以上のレンズからなる撮影レンズであって、当該撮影レンズの複数の領域は、前記２枚以上のレンズの組合せに対応してそれぞれ独立した特性を有する、請求項１から６のいずれか１項に記載の撮像装置。The photographing lens is a photographing lens composed of two or more physically separated lenses, and a plurality of regions of the photographing lens have independent characteristics corresponding to the combination of the two or more lenses, The imaging device according to any one of claims 1 to 6.

Images