JP2010245870A - Lens adapter device for multi-spectral photographing, multi-spectral camera and image processor - Google Patents
Lens adapter device for multi-spectral photographing, multi-spectral camera and image processor Download PDFInfo
- Publication number
- JP2010245870A JP2010245870A JP2009092898A JP2009092898A JP2010245870A JP 2010245870 A JP2010245870 A JP 2010245870A JP 2009092898 A JP2009092898 A JP 2009092898A JP 2009092898 A JP2009092898 A JP 2009092898A JP 2010245870 A JP2010245870 A JP 2010245870A
- Authority
- JP
- Japan
- Prior art keywords
- light
- subject
- reflecting mirror
- image
- photographing lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
Description
本発明は、４以上のバンド数で色分解してマルチスペクトル画像を生成するために用いて好適なマルチスペクトル撮影用レンズアダプタ装置、マルチスペクトル撮影装置、および画像処理装置に関する。 The present invention relates to a lens adapter device for multispectral imaging, a multispectral imaging device, and an image processing device suitable for use in generating a multispectral image by color separation with a band number of 4 or more.
従来の３原色にとらわれない多原色の映像表現を用い、より忠実で自然な色再現を可能とするための一方法として、３バンドよりも多いバンド数の帯域フィルタを用いて撮像する技術が開発されている。本明細書中では、３よりも多いバンド数を「マルチバンド」、３よりも多い原色数からなる画像を「多原色の画像」、そして３よりも多いスペクトルからなる画像を「マルチスペクトルの画像」などと称する。 Developed a technique to capture images using a band filter with more than 3 bands as a method to enable more faithful and natural color reproduction using multi-primary video representations that are not confined to the conventional 3 primary colors. Has been. In the present specification, a band number greater than 3 is referred to as “multi-band”, an image composed of more than 3 primary colors as “multi-primary image”, and an image composed of more than 3 spectra as “multi-spectral image”. Or the like.
マルチスペクトルの画像を得るための技術として、特許文献１に開示されるものがある。この技術では、結像光学系（撮影レンズ）と撮像素子との間に分岐光学系が設けられる。分岐光学系は、結像光学系の一次結像面に形成された被写体像を分割して二つの異なる経路上に導く。これら二つの経路のうち、一の経路上には第１の分光透過特性を有するフィルタが配置され、他の経路上には第２の分光透過特性を有するフィルタが配置される。
As a technique for obtaining a multispectral image, there is one disclosed in
これら第１、第２の分光等価特性を有するフィルタを透過した被写体光は結像レンズによって撮像素子の受光面上に再結像される。撮像素子は、その受光面上にＢＧＲのカラーフィルタアレイが形成される単板式のものである。第１の分光透過特性を有するフィルタと上記ＢＧＲのカラーフィルタアレイとの組み合わせによって３バンドの画像データを得ることができる。また、第２の分光透過特性を有するフィルタと上記ＢＧＲのカラーフィルタアレイとの組み合わせによって別の３バンドの画像データを得ることができる。このようにして、合計６バンドの画像データを得ることが可能となる。 The subject light that has passed through the filters having the first and second spectral equivalent characteristics is re-imaged on the light receiving surface of the image sensor by the imaging lens. The image sensor is a single plate type in which a BGR color filter array is formed on the light receiving surface. Three-band image data can be obtained by a combination of the filter having the first spectral transmission characteristic and the BGR color filter array. Further, another three-band image data can be obtained by combining the filter having the second spectral transmission characteristic and the BGR color filter array. In this way, a total of 6 bands of image data can be obtained.
上記技術においては、分岐光学系が必要となる。この分岐光学系は、撮影レンズの一次結像面上の被写体像を撮像素子上に再結像するための再結像光学系を含む。撮影レンズによって形成される被写体像の画質を維持するためには、再結像光学系は複雑な構成を必要とする。また、撮影レンズの一次結像面の後方に分岐光学系が配置されるため、撮影装置が大型化するのを免れない。本発明は、上記の点に鑑みてなされたもので、比較的単純な構成でありながら従来のＲＧＢ撮像系を用いてマルチスペクトル画像データを得ることを可能とする技術を提供することを課題とする。 In the above technique, a branching optical system is required. This branching optical system includes a re-imaging optical system for re-imaging the subject image on the primary imaging surface of the photographing lens on the image sensor. In order to maintain the image quality of the subject image formed by the taking lens, the re-imaging optical system requires a complicated configuration. In addition, since the branching optical system is disposed behind the primary imaging plane of the photographing lens, it is inevitable that the photographing apparatus is increased in size. The present invention has been made in view of the above points, and it is an object of the present invention to provide a technique capable of obtaining multispectral image data using a conventional RGB imaging system with a relatively simple configuration. To do.
本発明の第１の態様は、被写体と撮影レンズとの間に配置される、マルチスペクトル撮影用レンズアダプタ装置に適用される。そしてこのマルチスペクトル撮影用レンズアダプタ装置が、
前記被写体からの被写体光を、複数の経路を経て前記撮影レンズの入射面へ導くことにより前記撮影レンズの結像面上に複数の被写体像を形成可能とする導光光学系と、
前記複数の経路を経て進む前記被写体光のうち、いずれかの経路を経て前記撮影レンズの入射面に導かれる被写体光の相対分光分布が他の経路を経て前記撮影レンズの入射面に導かれる被写体光の相対分光分布と異なるように変化させる分光特性変更光学系と
を有することにより上述した課題を解決する。
The first aspect of the present invention is applied to a lens adapter device for multispectral imaging that is disposed between a subject and a taking lens. And this multi-spectral imaging lens adapter device
A light guide optical system capable of forming a plurality of subject images on an imaging surface of the photographing lens by guiding subject light from the subject to an incident surface of the photographing lens through a plurality of paths;
Of the subject light traveling through the plurality of paths, a subject whose relative spectral distribution of the subject light guided to the incident surface of the photographing lens via any one of the paths is guided to the incident surface of the photographing lens via another path The problem described above is solved by having a spectral characteristic changing optical system that changes the relative spectral distribution of light differently.
本発明の第２の態様は、４以上のバンド数のマルチスペクトル画像データを生成可能なマルチスペクトル撮影装置に適用される。そしてこのマルチスペクトル撮像装置が、
１または複数の撮像素子と、
被写体からの被写体光を前記撮像素子に導く撮影レンズと、
前記撮影レンズによって導かれて前記１または複数の撮像素子に入射する被写体光を複数の色に分解する色分解要素と、
前記撮影レンズの入射側に配置される被写体光分割装置とを有し、
前記被写体光分割装置が、
前記被写体からの被写体光を、複数の異なる経路を経て前記撮影レンズの入射面へ導くことにより前記撮影レンズの結像面上に複数の被写体像を形成可能とする導光光学系と、
前記複数の経路を経て進む前記被写体光のうち、いずれかの経路を経て前記撮影レンズの入射面に導かれる被写体光の相対分光分布が他の経路を経て前記撮影レンズの入射面に導かれる被写体光の相対分光分布と異なるように変化させる分光特性変更光光学系と
を有する。
The second aspect of the present invention is applied to a multispectral imaging apparatus capable of generating multispectral image data having four or more bands. And this multispectral imaging device
One or more image sensors;
A photographic lens for guiding subject light from the subject to the image sensor;
A color separation element that separates subject light that is guided by the photographing lens and enters the one or more imaging elements into a plurality of colors;
An object light splitting device disposed on the incident side of the photographing lens;
The subject light splitting device comprises:
A light guide optical system capable of forming a plurality of subject images on an imaging plane of the photographing lens by guiding subject light from the subject to an incident surface of the photographing lens through a plurality of different paths;
Of the subject light traveling through the plurality of paths, a subject whose relative spectral distribution of the subject light guided to the incident surface of the photographing lens via any one of the paths is guided to the incident surface of the photographing lens via another path A spectral characteristic changing optical optical system that changes the relative spectral distribution of light differently.
被写体からの被写体光は、導光光学系によって複数の経路を経て撮影レンズの入射面へ導かれる。これら複数の経路を経て進む被写体光のうち、いずれかの経路を経て撮影レンズの入射面に導かれる被写体光の相対分光分布が他の経路を経て撮影レンズの入射面に導かれる被写体光の相対分光分布と異なるように変化させられる。これにより、上記複数の経路のそれぞれを経て撮影レンズに入射した被写体光によって形成される複数の画像のそれぞれからは、互いに異なる色情報を得ることができ、これらの色情報に基づいてマルチスペクトル画像データを生成することが可能となる。 Subject light from the subject is guided to the incident surface of the photographing lens through a plurality of paths by the light guide optical system. Of the subject light that travels through these multiple paths, the relative spectral distribution of the subject light that is guided to the entrance surface of the photographic lens via one of the paths is relative to the subject light that is guided to the entrance surface of the photographic lens via another path. It is changed to be different from the spectral distribution. Accordingly, different color information can be obtained from each of the plurality of images formed by the subject light incident on the photographing lens through each of the plurality of paths, and the multispectral image can be obtained based on the color information. Data can be generated.
図１は、本発明の実施の形態に係る、マルチスペクトル撮影用レンズアダプタ装置１００（以下、単に「レンズアダプタ」と称する）が撮影レンズ２００に装着される様子を説明する斜視図である。図１において、撮影レンズ２００は撮影装置３００に対して着脱自在に装着されるものとして説明する。
FIG. 1 is a perspective view for explaining a state in which a multi-spectral imaging lens adapter device 100 (hereinafter simply referred to as a “lens adapter”) according to an embodiment of the present invention is attached to an
本実施の形態において、撮影装置３００は撮影レンズ２００を取り外して別の撮影レンズに交換可能なデジタル一眼レフレックスカメラであるものとして説明する。しかし、撮影装置３００はレフレックスミラーを有しない形式のものであってもよく、撮影レンズ固定式のものであってもよい。撮影装置３００はまた、スチルカメラであってもムービーカメラであってもよい。また、撮影装置３００が撮影レンズ固定式のものである場合、レンズアダプタ１００はその撮影レンズに対して着脱可能に構成されていても取り外し不能に構成されていてもよい。
In the present embodiment, the
レンズアダプタ１００は、本体部１０２を有する。本体部１０２には互いに離隔して設けられる２つの開口部１０４、１０６を有する。これらの開口部１０４、１０６の奥に第１ミラー１０８および第２ミラー１１０が保持される。二つの開口部１０４、１０６のうち、一方の開口部１０４には、分光特性変更光学系としてのフィルタ１１２が配置される。図１においては、フィルタ１１２が開口部１０４に取り付けようとするところが描かれている。フィルタ１１２の特性については後で詳述する。
The
レンズアダプタ１００は、本体部１０２の後方、すなわち撮影レンズ２００と対向する側にねじ式またはバヨネット式等の締結要素が設けられている。この締結要素がねじ式のものである場合、本体部１０２の後方に雄ねじが形成され、撮影レンズ２００の先端部分、すなわち被写体光が入射する側の先端部分に切られている雌ねじ（フィルタねじ）と螺合される。これによりレンズアダプタ１００と撮影レンズ２００とが締結される。締結要素がバヨネット式のものである場合、撮影レンズ２００の外周の先端部分近傍にバヨネット締結用の突起または凹部が設けられる。そして本体部１０２の後方には、撮影レンズ２００に設けられた上記突起または凹部と係合するバヨネット機構が設けられる。
The
図２は、レンズアダプタ１００の内部構成を、撮影レンズ２００、撮影装置３００とともに示す図であり、これらのレンズアダプタ１００、撮影レンズ２００、撮影装置３００を上側から見た様子を示す図である。
FIG. 2 is a diagram illustrating the internal configuration of the
撮影装置３００は、いわゆる単板式のものであっても多板式のものであってもよい。撮影装置３００が単板式のものである場合、受光面上に青、緑、赤等のオンチップカラーフィルタがタイル状に配列された撮像素子を用いることが可能である。これらのオンチップカラーフィルタにより、撮像素子に入射する被写体光は複数の色に色分解される。
The photographing
撮影装置３００が多板式のものである場合、撮影レンズ２００の射出側にダイクロイックプリズム等の色分解光学要素が設けられる。このダイクロイックプリズムは、白色光を例えば青、緑、赤の成分の光に色分解する。ダイクロイックプリズムには各色成分の光に対応して射出面が設けられており、上記のように色分解された各色の光は、対応する色の射出面に導かれる。各色成分用の射出面に対向するように撮像素子が配置される。
When the photographing
本明細書中では、撮影装置３００は単板式の構成を有するものとし、撮像素子３１０はベイヤ配列を有する青、緑、赤のオンチップカラーフィルタが受光面上に形成されたものとして説明をする。
In this specification, it is assumed that the photographing
レンズアダプタ１００は、第１ミラー１０８と、第２ミラー１１０と、第３ミラー１１４と、第４ミラー１１６と、フィルタ１１２とを有する。被写体Ｏｂｊからの被写体光の一部は、フィルタ１１２を透過して第１ミラー１０８に入射する。この被写体光は第１ミラー１０８で反射されて第３ミラー１１４に導かれる。第３ミラー１１４に導かれた被写体光は、第３ミラー１１４で反射されて撮影レンズ２００に入射し、この撮影レンズ２００によって結像されて撮像素子３１０の受光面上（撮影レンズ２００の結像面上）に被写体像Ｉｍ１を形成する。
The
被写体Ｏｂｊからの被写体光の他の一部は第２ミラー１１０に入射する。この被写体光は第２ミラー１１０で反射されて第４ミラー１１６に導かれる。第４ミラー１１６に導かれた被写体光は、第４ミラー１１６で反射されて撮影レンズ２００に入射し、この撮影レンズ２００によって結像されて撮像素子３１０の受光面上に被写体像Ｉｍ２を形成する。
Another part of the subject light from the subject Obj enters the
このようにして、被写体Ｏｂｊからの被写体光はレンズアダプタ１００によって二つの経路、すなわち経路Ｐａｔｈ１、経路Ｐａｔｈ２に沿って導かれて撮影レンズ２００の入射面に入射する。互いに異なる経路Ｐａｔｈ１、Ｐａｔｈ２を経て撮影レンズ２００に入射した被写体光は、撮影レンズ２００によって撮像素子３１０の受光面上に結像され、二つの被写体像Ｉｍ１、Ｉｍ２が形成される。
In this way, the subject light from the subject Obj is guided by the
経路Ｐａｔｈ１は、第１ミラー１０８と第３ミラー１１４とによって画定され、経路Ｐａｔｈ２は、第２ミラー１１０と第４ミラー１１６とによって画定される。図２においては、経路Ｐａｔｈ１上にフィルタ１１２が配置される。フィルタ１１２は、このフィルタ１１２を透過する前の被写体光の相対分光分布に対してフィルタ１１２を透過した被写体光の相対分光分布が変化するようにその分光透過特性が定められる。
The path Path1 is defined by the
フィルタ１１２としては、所望の分光透過特性を有する吸収フィルタや干渉フィルタ等、様々な形式のフィルタを用いることができる。また、フィルタ１１２に代えて、ダイクロイックミラー、ダイクロイックプリズム等を経路Ｐａｔｈ１上に配置し、不要の波長成分の被写体光を反射または吸収して撮影レンズ２００に入射しないようにし、必要な波長成分の被写体光のみが撮影レンズ２００に導かれるようにしてもよい。
As the
図２では経路Ｐａｔｈ１にフィルタ１１２が配置される例を示しているが、経路Ｐａｔｈ２に配置してもよいし、互いに分光特性の異なるフィルタ、ミラー、あるいはプリズム等を経路Ｐａｔｈ１上、経路Ｐａｔｈ２上の双方に配置してもよい。上述のようにして、経路Ｐａｔｈ１を経て撮影レンズ２００の入射面に導かれる被写体光の相対分光分布が、経路Ｐａｔｈ２を経て撮影レンズ２００の入射面に導かれる被写体光の相対分光分布に対して異なるように構成されている。
Although FIG. 2 shows an example in which the
図２においてフィルタ１１２は第１ミラー１０８の入射側に配置されている例が示されているが、他の位置に配置することも可能である。例えば、第１ミラー１０８と第３ミラー１１４との間、あるいは第３ミラー１１４と撮影レンズ２００との間等に配置されていてもよい。また、フィルタ１１２を経路Ｐａｔｈ１上に設けるのに代えて、第１ミラー１０８、第２ミラー１１０、第３ミラー１１４、第４ミラー１１６のうち少なくともいずれかの分光反射特性を他のミラーの分光反射特性に対して異なるものとしてもよい。また、第１ミラー１０８および第３ミラー１１４の組み合わせで決まる分光反射特性と、第２ミラー１１０および第４ミラー１１６の組み合わせで決まる分光反射特性とが異なるようにすることも可能である。
FIG. 2 shows an example in which the
図３は、フィルタ１１２の分光透過特性を、撮像素子３１０内における青、緑、赤のオンチップカラーフィルタを有する画素の分光感度特性とともに概念的に例示するグラフである。図３に示されるグラフにおいて、横軸に波長が、縦軸に透過率および感度が取られている。以下では、青、緑、赤のオンチップカラーフィルタを有する画素をそれぞれＢ画素、Ｇ画素、Ｒ画素と称する。
FIG. 3 is a graph conceptually illustrating the spectral transmission characteristics of the
フィルタ１１２は一例として、図３（ａ）から図３（ｃ）に示される分光透過特性Ａ、分光透過特性Ｂ、分光透過特性Ｗのいずれかの分光透過特性を有するものとすることが可能である。図３に例示されるような、波長変化に伴う分光透過率の変化が比較的急峻なものは、干渉フィルタなどを用いることによって実現可能である。
As an example, the
図３（ａ）に例示される分光透過特性Ａ、図３（ｂ）に例示される分光透過特性Ｂは、上述したように波長変化に伴う分光透過率の変化が比較的急峻な、くし歯型の（矩形波状の）特性を有する。そして、分光透過特性の急変部（立ち上がり部、立ち下がり部）が、Ｂ画素、Ｇ画素、Ｒ画素の分光感度プロファイルをそれらのピーク波長付近で短波長側、長波長側に分断するようにこれら分光透過特性Ａ、分光透過特性Ｂが定められていることが望ましい。 As described above, the spectral transmission characteristic A illustrated in FIG. 3A and the spectral transmission characteristic B illustrated in FIG. 3B are comb teeth in which the change in spectral transmittance with a change in wavelength is relatively steep. It has the characteristics of a mold (rectangular wave). The sudden change parts (rising part, falling part) of the spectral transmission characteristics are divided so that the spectral sensitivity profiles of the B pixel, G pixel, and R pixel are divided into the short wavelength side and the long wavelength side near their peak wavelengths. It is desirable that the spectral transmission characteristic A and the spectral transmission characteristic B are determined.
フィルタ１１２が図３（ａ）に示されるような分光透過特性Ａを有する場合、フィルタ１１２の分光透過特性とＢ画素、Ｇ画素、Ｒ画素それぞれの分光感度特性とによって、以下に説明するような総合分光感度特性を得ることができる。すなわち、Ｂ画素は、このＢ画素が元来有している分光感度帯域中、Ｂ画素の分光感度特性のピーク波長よりも短波長寄りの被写体光に対してのみ感度を有するようになる。Ｇ画素は、このＧ画素が元来有している分光感度帯域中、Ｇ画素の分光感度特性のピーク波長よりも長波長寄りの被写体光に対してのみ感度を有するようになる。Ｒ画素は、このＲ画素が元来有している分光感度帯域中、Ｒ画素の分光感度特性のピーク波長よりも短波長寄りの被写体光に対してのみ感度を有するようになる。
When the
フィルタ１１２が図３（ｂ）に示されるような分光透過特性Ｂを有する場合、フィルタ１１２の分光透過特性とＢ画素、Ｇ画素、Ｒ画素それぞれの分光感度特性とによって、以下に説明するような総合分光感度特性を得ることができる。すなわち、Ｂ画素は、このＢ画素が元来有している分光感度帯域中、Ｂ画素の分光感度特性のピーク波長よりも長波長寄りの被写体光に対してのみ感度を有するようになる。Ｇ画素は、このＧ画素が元来有している分光感度帯域中、Ｇ画素の分光感度特性のピーク波長よりも短波長寄りの被写体光に対してのみ感度を有するようになる。Ｒ画素は、このＲ画素が元来有している分光感度帯域中、Ｒ画素の分光感度特性のピーク波長よりも長波長寄りの被写体光に対してのみ感度を有するようになる。
When the
図３（ｃ）に示される分光透過特性Ｗについて説明すると、可視光帯域中の比較的長い波長（図３（ｃ）の例では６８０ｎｍ近くの波長）にカットオフ波長が設定されていて、そのカットオフ波長よりも短い波長域ではほぼ均一の分光透過特性を有する。この分光透過特性Ｗを有するフィルタを併用する場合、Ｒ画素の分光感度プロファイルは、図３（ｃ）に例示されるように、赤外域にも（あるいは赤外域近くまで）感度を有することが望ましい。 The spectral transmission characteristic W shown in FIG. 3C will be described. A cutoff wavelength is set at a relatively long wavelength in the visible light band (a wavelength near 680 nm in the example of FIG. 3C). In the wavelength range shorter than the cut-off wavelength, it has a substantially uniform spectral transmission characteristic. When the filter having the spectral transmission characteristic W is used in combination, it is desirable that the spectral sensitivity profile of the R pixel has sensitivity in the infrared region (or close to the infrared region) as illustrated in FIG. .
図３（ｃ）に例示される分光透過特性Ｗを有するフィルタ１１２が用いられた場合、フィルタ１１２の分光透過特性とＢ画素、Ｇ画素、Ｒ画素それぞれの分光感度特性とによって、以下に説明するような総合分光感度特性を得ることができる。すなわち、Ｂ画素、Ｇ画素に対しては分光感度の変化を殆どもたらさない。Ｒ画素については、フィルタ１１２の分光透過特性ＷとＲ画素の分光感度特性とによって、Ｒ画素が元来有している分光感度帯域中、フィルタ１１２のカットオフ波長よりも短い波長域の被写体光に対してのみ感度を有するようになる。
When the
フィルタ１１２として上記の分光透過特性Ｗを有するものが経路Ｐａｔｈ１上または経路Ｐａｔｈ２上に配置される場合、他方の経路上には上述した分光透過特性Ｂを有するフィルタを配置することが望ましい。このようなフィルタの組み合わせによっても６バンドの画像データを得ることが可能となる。フィルタ１１２がこのような分光透過特性を有すると、赤外域に近い波長域での色情報を得ることが可能となるので、皮膚組織の病変部等を識別するような用途で効果を発揮する。
When the
以上ではフィルタ１１２として干渉フィルタを用いる例について説明したが、先にも説明したように、フィルタ１１２としては吸収フィルタやダイクロイックミラー、ダイクロイックプリズム等を用いることも可能である。フィルタ１１２はさらに、以下で図４を参照して説明するような、分光透過特性を切り替え可能なものを用いてもよい。
Although an example using an interference filter as the
図４は、分光透過特性を電気的に切り替え可能なフィルタ４００（以下、特性可変フィルタ４００と称する）を説明する図であり、図４（ａ）には特性可変フィルタ４００の概略的構成を分解斜視図によって示し、図４（ｂ）には特性可変フィルタ４００で得られる分光透過特性の例を示す。
FIG. 4 is a diagram for explaining a filter 400 (hereinafter referred to as a variable characteristic filter 400) that can electrically switch spectral transmission characteristics. FIG. 4A shows a schematic configuration of the variable
図４（ａ）において特性可変フィルタ４００は、被写体光が透過する順番に、偏光板４０２と、波長選択性を有する偏光ローテータ４０４と、偏光変調素子４０６と、偏光板４１４とを有する。図４においてこれらの要素は経路Ｐａｔｈ１またはＰａｔｈ２に沿って離間して配置されているかのように描かれているが、実際には互いに近接するように配置されている。本明細書中では、波長選択性を有する偏光ローテータを「波長選択性偏光ローテータ」と称する。
4A, the variable
偏光板４０２は、入射する非直線偏光光を直線偏光光にして出射する、偏光子としての作用を有する。図４（ａ）において、偏光板４０２を透過した偏光光は図の上下方向に沿う振動方向を有する。本明細書中ではこれを「縦の振動方向」と称する。また、経路Ｐａｔｈ１またはＰａｔｈ２に直交する面内で上記縦の振動方向に対して直交する向きの振動方向を「横の振動方向」と称する。
The
波長選択性偏光ローテータ４０４は、入射する偏光光の振動方向を、特定の波長帯域の光のみ９０°回転させる（Ｐ／Ｓ変換またはＳ／Ｐ変換する）機能を有するものである。図４（ａ）においては、入射する光のうち、緑色（以下では緑色をＧ色、青色をＢ色、赤色をＲ色と表記する）の帯域の光に対してのみ旋光作用が働き、入射するＧ色の偏光光の振動方向に対して直交する方向に振動方向が変換されて出射される。つまり、偏光子としての偏光板４０２を透過した、縦の振動方向を有するＢ、Ｇ、Ｒ各色の直線偏光光のうち、Ｇ色の光のみが波長選択性偏光ローテータ４０４で旋光されて横の振動方向を有する直線偏光光に変換される。
The wavelength
偏光変調素子４０６は、互いに対向しあう面上に透明電極が形成された２枚の透明基板４０８、４１０の間に液晶が封入されて構成される素子である。この偏光変調素子４０２にフレキシブルプリント基板４１２を介してドライブ電圧が印加されるのに伴い、この偏光変調素子４０６を透過する光に対する旋光作用を切り替えることが可能に構成される。図４に示す例ではＢ、Ｇ、Ｒ各色の直線偏光光の振動方向が９０度変えられている。その結果、Ｂ色、Ｒ色の直線偏光光が横の振動方向を有し、Ｇ色の直線偏光光が縦の振動方向を有するように旋光されている。
The
偏光板４１４は、図４（ａ）においては横の振動方向を有する光のみ透過可能とする、検光子としての作用を有する。図４（ａ）においては、横方向の振動方向を有するＲ光、Ｂ光のみが偏光板４１４を透過するものとして示されている。以上に説明した構成により、特性可変フィルタ４００に入射する白色光のうち、Ｂ色の光、Ｒ色の光のみが透過する、図４（ｂ）中で分光透過特性１として示されるような特性に切り替えられる。
The
一方、偏光変調素子に印加するドライブ電圧を切り替えることにより、この偏光変調素子４０６を透過する光の振動方向を変えないようにすることも可能である。その場合、検光子としての偏光板４１４に入射する光のうち、Ｂ光、Ｒ光は縦の振動方向を有するものとなり、Ｇ光は横の振動方向を有するものとなる。したがって、Ｇ光のみが偏光板４１４を透過可能となり、図４（ｂ）中で分光透過特性２として示されるような特性に切り替えられる。
On the other hand, by switching the drive voltage applied to the polarization modulation element, it is possible to prevent the vibration direction of the light transmitted through the
なお、上述したいずれの場合においても、特性可変フィルタ４００を出射する光は直線偏光光となっている。撮影装置３００が一眼レフタイプの自動焦点調節が可能なカメラ（ＡＦカメラ）では、ファインダ光学系に導かれる被写体光の一部を焦点検出光学系に導くためのハーフミラー等を有する。その場合、特性可変フィルタ４００を透過する光が直線偏光光であると、十分な光量の光が焦点検出光学系に導かれない可能性がある。そのようなことが懸念される場合には、特性可変フィルタ４００の出射側に、四分の一波長板等の位相板を配設することが望ましい。
In any case described above, the light emitted from the variable
レンズアダプタ１００がフィルタ１１２として上記の特性可変フィルタ４００を備える場合、被写体の特性や撮影目的に応じて分光透過特性１および分光透過特性２のいずれかに切り替えることが可能である。この場合、選択された分光透過特性に関連する情報を撮影装置３００に出力可能に構成されることが望ましい。
When the
以上のように、経路Ｐａｔｈ１、撮影レンズ２００を経て撮像素子３１０に入射する被写体光の相対分光分布と、経路Ｐａｔｈ２、撮影レンズ２００を経て撮像素子３１０に入射する被写体光の相対分光分布とは、互いに異なるものとなっている。つまり、図２に示される例においては、経路Ｐａｔｈ１を経てフィルタ１１２を透過し、撮影レンズ２００を経て被写体像Ｉｍ１として結像する被写体光に対しては、上述したようにフィルタ１１２の分光透過特性（分光透過特性Ａまたは分光透過特性Ｂ）とＢ画素、Ｇ画素、Ｒ画素それぞれの分光感度特性とによってそれぞれ決まる総合分光感度特性で撮像が行われる。
As described above, the relative spectral distribution of the subject light incident on the
フィルタ１１２として、分光透過特性Ａ、分光透過特性Ｂ、分光透過特性Ｗのうち、いずれの分光透過特性のフィルタを用いるか、あるいは複数の分光透過特性のフィルタを組み合わせて用いるかは、被写体の特性や撮影の用途等によって適宜選択することが可能である。また、フィルタ１１２として図４を参照して説明したものを用いる場合、電気的に分光透過特性を切り替えることができるので、撮影目的に応じてフィルタを取り替える手間を省くことが可能となる。
Which filter of spectral transmission characteristics A, spectral transmission characteristics B, and spectral transmission characteristics W is used as the
なお、撮影レンズ２００の分光透過特性も被写体像Ｉｍ１、Ｉｍ２の分光特性に影響を及ぼすので、上記の総合分光感度特性、そしてＢ画素、Ｇ画素、Ｒ画素それぞれの分光感度特性に撮影レンズ２００の分光透過特性を加味する必要がある。しかし、本明細書においては発明の理解を容易にすることを目的として撮影レンズ２００の分光透過特性は理想的なものであるものとする。ここで、理想的な分光透過特性とは、撮影レンズ２００に入射する光の分光分布と撮影レンズ２００から出射する分光分布とが一致することを意味する。
Note that the spectral transmission characteristics of the photographing
このようにして、一回の撮影操作に応じて二つの被写体像Ｉｍ１、Ｉｍ２に基づく画像が得られる。以下の説明において、被写体像Ｉｍ１に基づく画像を第１画像、被写体像Ｉｍ２に基づく画像を第２画像と称する。また、第１画像を構成する画像データを第１画像データ、第２画像を構成する画像データを第２画像データと称する。撮像素子３１０から出力される画像信号を従来の方法で処理した場合、１つの画像データ中に第１画像データおよび第２画像データが含まれる。１つの画像から第１画像および第２画像を切り出して第１画像データおよび第２画像データを抽出する。これらの第１画像データおよび第２画像データに対して、後述するテンプレートマッチング等の画像処理技術を用いた位置合わせの処理をする。
In this way, an image based on the two subject images Im1 and Im2 is obtained in accordance with one shooting operation. In the following description, an image based on the subject image Im1 is referred to as a first image, and an image based on the subject image Im2 is referred to as a second image. In addition, image data constituting the first image is referred to as first image data, and image data constituting the second image is referred to as second image data. When the image signal output from the
ここで、位置合わせの処理とは、第１画像中の特定の画素に対応する第２画像中の画素を関連づけることを可能とする処理である。つまり、第１画像データ中のある１画素は３つの色情報を有している。その１画素に対応する第２画像データ中の画素を特定し、その画素から３つの色情報を得ることができる。こうして、１つの画素に対応して６つの色情報を得ることが可能となる。 Here, the alignment process is a process that makes it possible to associate a pixel in the second image corresponding to a specific pixel in the first image. That is, a certain pixel in the first image data has three pieces of color information. A pixel in the second image data corresponding to the one pixel can be specified, and three color information can be obtained from the pixel. In this way, it becomes possible to obtain six color information corresponding to one pixel.
ところで、二つの異なる経路Ｐａｔｈ１、Ｐａｔｈ２を経て被写体光が撮影レンズ２００に入射することにより、視差を生じる。この視差により、第１画像、第２画像を単純に重ね合わせただけでは、画像間でズレを生じる部分が出てくる。
By the way, subject light enters the photographing
ここで、経路Ｐａｔｈ１およびＰａｔｈ２のうち、被写体光が第１ミラー１０８、第２ミラー１１０に入射する前の部分の経路同士でなす角度（輻輳角）は０°であるものとする。被写体が遠くに位置する山である等、無限遠にあるとみなしてよいものである場合には、視差の影響は実質的に無いと云って差し支えない。しかし、撮影距離が短くなるにつれて、視差によって二つの画像間に生じるずれは大きくなる。
Here, of the paths Path1 and Path2, it is assumed that the angle (convergence angle) formed between the paths before the subject light enters the
この視差を利用したものがステレオ写真である。つまり、第１画像、第２画像を表示あるいはプリントし、それを裸眼またはビューワを介して観視することにより、脳内で合成された画像によって観視者は立体感を感じることができる。 A stereo photograph uses this parallax. That is, by displaying or printing the first image and the second image and viewing them through the naked eye or the viewer, the viewer can feel a three-dimensional effect by the image synthesized in the brain.
これに対して、先に説明した位置合わせの処理は、いわば上述した視差の影響を減じる処理である。視差の影響は、先にも説明したように撮影距離が短くなるにつれて大きくなる。逆に言えば、被写体としてほぼ無限遠に位置するものだけを撮影する場合には上述した位置合わせの処理は不要となる。したがって、本発明の実施の形態において、被写体が遠景のものに限られる場合には、位置合わせの処理は必ずしも行われる必要はない。 On the other hand, the alignment process described above is a process for reducing the above-described parallax effect. As described above, the influence of parallax increases as the shooting distance decreases. In other words, the above-described alignment process is not necessary when only an object located at almost infinity is photographed. Therefore, in the embodiment of the present invention, when the subject is limited to a distant view, the alignment process is not necessarily performed.
図２に例示されるような、近景に人物が、中景に立木が、そして遠景に山が写っているような状況で第１画像および第２画像を重ねた場合、画像中の山の部分はズレを殆ど生じない。立木の部分では僅かにズレを生じ、人物の部分ではズレが増加する。つまり、これらの画像を単純に重ねたのでは、山の部分ではズレを生じないものの、立木の部分、人物の部分でズレを生じる。仮に人物部分でずれを生じないように二つの画像を重ね合わせると、他の部分でズレを生じる。 When the first image and the second image are overlapped in a situation where a person is in the foreground, a standing tree is in the foreground, and a mountain is in the distance, as illustrated in FIG. Produces almost no deviation. There is a slight shift in the portion of the standing tree, and the shift increases in the portion of the person. That is, if these images are simply overlapped, there will be no shift in the mountains, but there will be shifts in the standing trees and people. If two images are superimposed so that no shift occurs in the person portion, a shift occurs in the other portion.
１つの画像中に含まれる複数の被写体Ｏｂｊと撮影装置３００との距離が、被写体ごとに異なることと、二つの被写体像Ｉｍ１、Ｉｍ２が視差を有していることとによって、画像内には上述したような不均一なズレを生じる。この不均一なズレを減少させる処理が位置合わせの処理である。つまり、位置合わせの処理とは、複数の画像間（本実施の形態においては第１画像と第２画像との間）で、複数の画像それぞれを構成する各画素の対応位置関係を求める処理をすることを意味する。
The distance between the plurality of subjects Obj included in one image and the photographing
ここで図５を参照して位置合わせの処理の具体例について説明する。図５（ａ）は位置合わせの基準となる画像（基準画像）を、図５（ｂ）は位置合わせの処理を行う対象の画像（位置合わせ画像）を概念的に示したものである。 A specific example of the alignment process will be described with reference to FIG. FIG. 5A conceptually shows an image serving as a reference for alignment (reference image), and FIG. 5B conceptually shows an image to be subjected to alignment processing (alignment image).
先ず、基準画像上に複数のテンプレート領域が設定される。次に、位置合わせ画像内において、テンプレートマッチング処理および移動ベクトル導出処理が行われる。テンプレートマッチング処理は、基準画像内に設定されたテンプレート領域内の画像要素をテンプレートとして、位置合わせ画像内でこれらのテンプレートと一致度の高い領域（対応領域）を探索する処理である。 First, a plurality of template areas are set on the reference image. Next, template matching processing and movement vector derivation processing are performed in the alignment image. The template matching process is a process of searching for an area (corresponding area) having a high degree of coincidence with these templates in the alignment image using an image element in the template area set in the reference image as a template.
移動ベクトル導出処理は、位置合わせ画像内において対応領域をどの方向にどれくらいの距離（画素数）だけ移動させると基準画像および位置合わせ画像を重ね合わせたときにテンプレート領域と対応領域とが重なり合うかを求める処理である。図５（ｂ）に示される例では、対応領域の中心を結んでできる６つの矩形が、図５（ａ）の基準画像中においてテンプレート領域の中心を結んでできる６つの矩形に比して歪んでいる。移動ベクトル導出処理で導出された移動ベクトルに基づいて各対応領域を移動させると、この歪みは矯正される。図５（ｂ）に示される、矢印の付いた５つの線によって移動ベクトルを概念的に示している。 In the movement vector deriving process, when the corresponding region is moved in which direction (how many pixels) in the alignment image, the template region and the corresponding region overlap when the reference image and the alignment image are overlapped. This is the processing to be sought. In the example shown in FIG. 5B, the six rectangles formed by connecting the centers of the corresponding regions are distorted as compared to the six rectangles formed by connecting the centers of the template regions in the reference image of FIG. It is out. When each corresponding region is moved based on the movement vector derived by the movement vector deriving process, this distortion is corrected. The movement vector is conceptually shown by five lines with arrows shown in FIG.
ところで、上記のように導出された移動ベクトルは、１つの対応領域に対して１つ与えられるものであり、いわば代表値である。そこで、これらの移動ベクトルは、対応領域の中心に位置する画素（以下、中心画素と称する）に対応するものと定める。次に、これらの代表値をもとに、位置合わせ画像内の全画素に対応する移動ベクトルを求める。それら画素ごとの移動ベクトルは、上記中心画素に対応する移動ベクトルをもとに補間処理、あるいは外挿処理を用いて導出することができる。つまり、移動ベクトル導出対象の画素とその画素の近隣に存在する複数の中心画素との位置関係と、これらの近隣に存在する各中心画素の移動ベクトルとから、補間または外挿の処理によって画素ごとの移動ベクトルを導出する。 By the way, one movement vector derived as described above is given to one corresponding region, which is a representative value. Therefore, these movement vectors are determined to correspond to a pixel located at the center of the corresponding region (hereinafter referred to as a central pixel). Next, based on these representative values, movement vectors corresponding to all the pixels in the alignment image are obtained. The movement vector for each pixel can be derived using interpolation processing or extrapolation processing based on the movement vector corresponding to the center pixel. In other words, each pixel is subjected to interpolation or extrapolation processing based on the positional relationship between the pixel from which the movement vector is derived and a plurality of central pixels existing in the vicinity of the pixel, and the movement vector of each central pixel existing in the vicinity. The movement vector of is derived.
以上で求められた画素ごとの移動ベクトルを位置合わせ画像内の各画素に適用し、位置合わせ画像を変形する処理が行われる。その結果、上述した視差による被写体像Ｉｍ１、Ｉｍ２間の位置ズレが解消されて基準画像と位置合わせ画像とが一致する。このようにして、基準画像中の任意の画素に対応する位置合わせ画像中の画素を特定することが可能となる。 The movement vector for each pixel obtained as described above is applied to each pixel in the alignment image, and processing for deforming the alignment image is performed. As a result, the positional deviation between the subject images Im1 and Im2 due to the parallax described above is eliminated, and the reference image and the alignment image match. In this way, it is possible to specify a pixel in the alignment image corresponding to an arbitrary pixel in the reference image.
図２の例では、第１画像および第２画像のうち、いずれか一方の画像を基準画像とすることができ、他方の画像位置合わせ画像とすることができる。このようにして、第１画像中のある画素から得られる３つの色情報と、この画素に対応する、第２画像中の画素から得られる３つの色情報とを統合し、１つの画素に対応する６つの色情報を得ることが可能となる。 In the example of FIG. 2, one of the first image and the second image can be used as the reference image, and the other image alignment image can be used. In this way, the three color information obtained from a certain pixel in the first image and the three color information obtained from the pixel in the second image corresponding to this pixel are integrated to correspond to one pixel. It is possible to obtain six color information.
図６は撮影装置３００の内部構成を概略的に説明するブロック図である。撮影装置３００は、シャッタドライバ３２２と、シャッタ３２０と、撮像素子３１０と、画像処理部３２８と、ＲＡＭ３２４と、ＲＯＭ３２６と、ＣＰＵ３３０と、表示制御部３３２と、モニタ部３３４と、画像データ記憶部３３６とを有する。ＣＰＵ３３０、表示制御部３３２、画像データ記憶部３３６、シャッタドライバ３２２、画像処理部３２８、ＲＡＭ３２４、そしてＲＯＭ３２６は、システムバス３３８を介して相互に電気的に接続されている。
FIG. 6 is a block diagram schematically illustrating the internal configuration of the photographing
ＣＰＵ３３０は、撮影装置３００の動作を統括的に制御する。例えば、撮影装置３００が記録モードに設定されている場合、ＣＰＵ３３０は、焦点調節、測光、露光量調節等の制御を行う。また、撮影装置３００が再生モードに設定されている場合、ＣＰＵ３３０は、モニタ部３３４に表示される画像の切り替え、縮小／拡大表示切り替え等のユーザ操作を受け付ける処理を行う。
The
シャッタ３２０は、撮像素子３１０の受光面上に入射する被写体光の量を調節するためのものであり、例えばフォーカルプレンシャッタで構成される。シャッタ３２０は先幕と後幕とを有し、電磁石等を用いた機構によってこれら先幕、後幕は走行しないように係止されている。ＣＰＵ３３０がシャッタドライバ３２２を介して先幕用電磁石に通電し、そして所定の露光時間が経過した後に後幕用電磁石に通電することにより、先幕、後幕の走行開始タイミングを制御して撮像素子３１０に対して与える露光時間を制御することが可能に構成される。
The
撮像素子３１０は、先にも説明したように、青、緑、赤３色のオンチップカラーフィルタを有するものとすることができる。撮像素子３１０は、ＣＣＤやＣ−ＭＯＳイメージセンサで構成される。本実施の形態において撮像素子３１０は、二次元配置された光電変換素子のアレーと、これらの光電変換素子のアレーから出力されるアナログ信号にＣＤＳ（相関二重サンプリング）、ＡＧＣ（自動ゲインコントロール）、Ａ／Ｄ変換等の処理を行ってデジタルの画像信号を出力するための回路ブロックとを内部に有し、撮像素子３１０からデジタルの画像信号を出力可能に構成されるものとして説明をする。
As described above, the
撮像素子３１０から出力されるデジタルの画像信号は、システムバス３３８を介してＲＡＭ３２４に転送され、処理前画像データとして一時的に記憶される。ＲＡＭ３２４は、メモリアクセス速度に優れるＳＤＲＡＭ等で構成することが望ましい。
A digital image signal output from the
画像処理部３２８は、ＡＳＩＣ（特定用途向け集積回路）等で構成され、ＲＡＭ３２４に一時的に記憶された処理前画像データにデモザイク処理、階調補正処理、カラーバランス調整、アンシャープマスク処理等を行い、画像データを生成する。画像処理部３２８は、画像切り出し処理部３２８Ａと、テンプレートマッチング処理部３２８Ｂと、移動ベクトル導出処理部３２８Ｃと、位置合わせ画像変形処理部３２８Ｄと、マルチスペクトル画像データ生成部３２８Ｅとを有しており、マルチスペクトル画像データを生成する処理も行う。
The
ＲＯＭ３２６は、マスクＲＯＭまたはＥＥＰＲＯＭ等で構成され、ＣＰＵ３３０で実行されるプログラムや撮影装置３００内で扱われる各種の制御パラメータや各種の情報等が記憶される。なお、ＲＯＭ３２６がＥＥＰＲＯＭで構成される場合には、ＲＯＭ３２６内に記録されるプログラムは一度ＲＡＭ３２４上に読み出され、ＲＡＭ３２４上のプログラムをＣＰＵ３３０が逐次読み出して実行することがＣＰＵ３３０による処理の速度を増す上で望ましい。
The
モニタ部３３４は、ＴＦＴカラー液晶表示素子や有機ＥＬ表示素子などを有して構成され、撮影装置３００の背面等に設けられる。そして、撮影して得られた画像の表示や各種設定メニューの表示等を行うことが可能に構成される。
The
以上に説明したレンズアダプタ１００を撮影レンズ２００に装着した後、ユーザ（撮影者）は撮影装置３００を操作して撮影を行う。なお、レンズアダプタ１００が有するフィルタ１１２の分光透過特性に関する情報が事前に撮影装置３００に入力されることが望ましい。例えば、ＲＯＭ３２６にはフィルタ１１２の種類を特定可能な情報と、その情報に対応する分光透過特性の情報とが事前に記憶されていてもよい。その場合、ユーザが撮影装置３００を操作してフィルタ１１２の種類を特定可能な情報を入力すればよい。あるいは、レンズアダプタ１００がＣＰＵやＲＯＭ等を有していて、レンズアダプタ１００と撮影装置３００とが電気的に接続可能に構成されていてもよい。その場合、撮影装置３００の電源を投入した際に、ＣＰＵ３３０がレンズアダプタ１００からフィルタ１１２の種類を特定可能な情報、あるいはフィルタ１１２の分光透過特性に関する情報を読み出し可能に構成されていてもよい。
After the
ＣＰＵ３３０は、ユーザがレリーズ操作をするのに応じて撮影レンズ２００の絞りの開度やシャッタ３２０のシャッタ速度を制御して露光動作を行う。なお、ＣＰＵ３３０は、撮影をする際に、フィルタ１１２の分光透過特性に対応する露出倍数に応じて撮像素子３１０にゲイン制御信号を発し、以下のようにゲイン制御をしてもよい。すなわち、ＣＰＵ３３０は、被写体像Ｉｍ２が形成される領域の画素から出力されるアナログ画像信号を増幅する際のゲインと、被写体像Ｉｍ１が形成される領域の画素から出力されるアナログ信号を増幅する際のゲインとを、上記露出倍数に応じて互いに独立して制御してもよい。つまり、フィルタ１１２によって撮像素子３１０に入射する光の量が減じられる場合、その減衰比に応じて上記ゲインを制御してもよい。
The
画像切り出し処理部３２８Ａは、撮影装置３００で撮影をして得られた１つの画像中から第１画像および第２画像を切り出す処理を行う。テンプレートマッチング処理部３２８Ｂは、例えば第１画像を基準画像、第２画像を位置合わせ画像として、基準画像中に複数のテンプレート領域を設定する。テンプレートマッチング処理部３２８Ｂは続いて、基準画像中にテンプレートとして定めた画像要素と一致度の高い領域（対応領域）を位置合わせ画像内で探索する。
The image
移動ベクトル導出処理部３２８Ｃは、テンプレートマッチング処理部３２８Ｂにおける上記処理結果をもとに、先に説明した方法によって位置合わせ画像の画素ごとの移動ベクトルを導出する処理を行う。
The movement vector
位置合わせ画像変形処理部３２８Ｄは、移動ベクトル導出処理部３２８Ｃで導出された画素ごとの移動ベクトルを位置合わせ画像内の各画素に適用し、位置合わせ画像を変形する処理を行う。
The alignment image
マルチスペクトル画像データ生成部３２８Ｅは、基準画像（第１画像）および変形処理後の位置合わせ画像（第２画像）のそれぞれから得られる３バンドの画像データをもとに６バンドのマルチスペクトル画像データを生成する処理を行う。
The multispectral image
図７は、画像処理部３２８で実行されるマルチスペクトル画像データ生成処理の処理手順を概略的に説明するフローチャートである。この処理は、撮影装置３００で１回の撮影が行われるたびに画像処理部３２８で実行される。あるいは、撮影時にはいわゆるロー（ＲＡＷ）データで記録され、後でユーザが撮影装置３００を操作して、ローデータからマルチスペクトル画像データを生成する処理をするコマンドが選択されたときに実行されるものであってもよい。
FIG. 7 is a flowchart schematically illustrating a processing procedure of multispectral image data generation processing executed by the
画像処理部３２８は、Ｓ７００において１つの画像から第１画像および第２画像を切り出し、続くＳ７０２で基準画像中にテンプレート領域を設定する処理を行う。Ｓ７０４において画像処理部３２８は、テンプレートマッチング処理を行う。Ｓ７０４でのテンプレートマッチング処理結果に基づき、画像処理部３２８はＳ７０６において動きベクトル導出処理を行う。この処理の結果、位置合わせ画像中に含まれる画素のそれぞれに対応する動きベクトルが導出される。
The
Ｓ７０６で導出された画素ごとの動きベクトルに基づき、画像処理部３２８はＳ７０８において、位置合わせ画像変形の処理を行う。Ｓ７１０において画像処理部３２８は、以下に説明するマルチスペクトル画像データ生成処理を行う。すなわち、画像処理部３２８は、基準画像中の或る１画素のＲＧＢ画像データと、この１画素に対応する位置合わせ画像中の画素のＲＧＢ画像データとから、６バンドの画像データを生成する処理を行う。画像処理部３２８は、１つの画像中の全画素に対してＳ７１０の処理を行い、１画面分のマルチスペクトル画像データを生成する。
Based on the pixel-by-pixel motion vector derived in S706, the
ところで、上記視差によって、第１画像には写っているけれども第２画像には写っていない部分、あるいはその逆の部分が存在しうる。例えば、手前の人物等によって視界が遮られる背景部分の近傍にそのような部分が存在しうる。このような部分では６バンドの画像データを得ることができない。そのような部分に対しては、その部分の周辺部の色情報に基づいて補間処理をすることもできる。 By the way, due to the parallax, there may be a portion that is reflected in the first image but not in the second image, or vice versa. For example, such a portion may exist in the vicinity of a background portion whose view is blocked by a person in front. In such a portion, 6-band image data cannot be obtained. For such a portion, interpolation processing can be performed based on the color information of the peripheral portion of the portion.
画像処理部３２８はＳ７１２において、表示制御部３３２や画像データ記憶部３３６などに出力する処理を行い、一連のマルチスペクトル画像データ生成処理を完了する。
In step S712, the
以上に説明したように、本発明の実施の形態に係るレンズアダプタ１００を用いることにより、撮影装置３００内に再結像光学系等を含む複雑な光学系を組み込むことなく、１回の露光動作でマルチスペクトル画像データを生成することが可能となる。つまり、レンズアダプタ１００中の異なる経路を経て撮影レンズ２００に入射する被写体光の相対分光分布が互いに異なるように構成されることにより、撮影装置３００が有する色分解要素、すなわちオンチップカラーフィルタやダイクロイックプリズム等で得られる色数よりも多くの色情報を得ることが可能となる。
As described above, by using the
以上では被写体像Ｉｍ１に基づく第１画像および被写体像Ｉｍ２に基づく第２画像から１つのマルチスペクトル画像を生成する例について説明したが、以下のようにしてマルチスペクトルのステレオ画像を生成することも可能である。 Although an example in which one multispectral image is generated from the first image based on the subject image Im1 and the second image based on the subject image Im2 has been described above, a multispectral stereo image can also be generated as follows. It is.
以上では、第１画像を基準画像、第２画像を位置合わせ画像としてマルチスペクトル画像を生成する手順について説明した。ここでは、このマルチスペクトル画像を第１マルチスペクトル画像と称する。マルチスペクトルのステレオ画像を生成する場合、この第１マルチスペクトル画像に加えて以下で説明する第２マルチスペクトル画像を生成する。すなわち、第２マルチスペクトル画像は、第２画像を基準画像、第１画像を位置合わせ画像として、先に説明した第１マルチスペクトル画像を生成するのと同様の手順を経て生成する。 The procedure for generating a multispectral image using the first image as the reference image and the second image as the alignment image has been described above. Here, this multispectral image is referred to as a first multispectral image. When generating a multispectral stereo image, a second multispectral image described below is generated in addition to the first multispectral image. That is, the second multispectral image is generated through the same procedure as that for generating the first multispectral image described above, using the second image as the reference image and the first image as the alignment image.
このようにして得られる第１マルチスペクトル画像および第２マルチスペクトル画像をプリントまたは表示して、裸眼またはビューワ等を用いて観視すると、マルチスペクトルのステレオ画像を鑑賞することが可能となる。 When the first multispectral image and the second multispectral image obtained in this way are printed or displayed and viewed using the naked eye or a viewer, a multispectral stereo image can be viewed.
以上では、撮影装置３００内でマルチスペクトル画像データが生成される例について説明をしたが、撮影装置３００とは別の情報処理装置、例えばコンピュータ等で上記画像処理が行われてマルチスペクトル画像データが生成されるものであってもよい。
In the above, an example in which multispectral image data is generated in the
図２に内部構成が示されるレンズアダプタ１００の別例について図８、図９、図１０を参照して説明する。これらの図８、図９、図１０において、図２中に示される構成要素と同様の構成要素には同じ符号を付してその説明を省略する。また、図２中に示される構成要素と同様の機能を有するものには図２中で付されているのと同じ符号に適宜アルファベットを付して詳細な説明は省略する。
Another example of the
図８に示されるレンズアダプタ１００Ａは、フィルタ１１２と、第１ミラー１０８Ａと、第２ミラー１１４Ａとを有する。被写体Ｏｂｊからの被写体光の一部は、フィルタ１１２を透過して第１ミラー１０８Ａに入射する。この被写体光は第１ミラー１０８Ａで反射されて第２ミラー１１４Ａに導かれる。第２ミラー１１４Ａに導かれた被写体光は、第２ミラー１１４Ａで反射されて撮影レンズ２００に入射し、この撮影レンズ２００によって結像されて撮像素子３１０の受光面上に被写体像Ｉｍ１を形成する。
A
撮影レンズ２００の入射面に入射する被写体光（の光束）のうち、略半分は上記第１ミラー１０８Ａと第２ミラー１１４Ａとによって画定される経路Ｐａｔｈ１に沿って導かれ、撮影レンズ２００の入射面に入射する。上記被写体光のうち、残りの略半分は、上記第１ミラー１０８Ａも第２ミラー１１４Ａも経ることなく、撮影レンズ２００の入射面に直接入射する経路Ｐａｔｈ２を経る。そして、撮影レンズ２００によって結像されて撮像素子３１０の受光面上に被写体像Ｉｍ２を形成する。
Approximately half of the subject light (the light beam) incident on the incident surface of the photographing
図８に示す例においても輻輳角は０度とすることが望ましい。なお、図８に示される例では、経路Ｐａｔｈ１中、被写体Ｏｂｊからの被写体光が第１ミラー１０８Ａに入射するまでの部分と、経路Ｐａｔｈ２とが撮影レンズ２００の光軸に対して傾斜している。この傾斜を無くすには、第１ミラー１０８Ａ、第２ミラー１１４Ａの配置や角度を変えるとともに、経路Ｐａｔｈ２中に楔状のプリズムを配置してもよい。そのようにして、経路Ｐａｔｈ１中、被写体Ｏｂｊからの被写体光が第１ミラー１０８Ａに入射するまでの部分および経路Ｐａｔｈ２の双方が撮影レンズ２００の光軸に対して平行となるようにすることができる。
In the example shown in FIG. 8, it is desirable that the convergence angle is 0 degree. In the example shown in FIG. 8, a portion of the path Path1 until the subject light from the subject Obj enters the
図９に示されるレンズアダプタ１００Ｂは、フィルタ１１２Ａ、１１２Ｂ、１１２Ｃと、第１ミラー１０８Ｂと、第２ミラー１１０Ｂとを有する。なお、フィルタ１１２Ａ、１１２Ｂ、１１２Ｃについては、必ずしも全てを有する必要はなく、これらのフィルタのうち、少なくとも１枚を有するものであってもよい。また、これらのフィルタに代えて、第１ミラー１０８Ｂおよび第２ミラー１１０Ｂのうち、少なくともいずれかの反射面にフィルタ作用を有する層を形成してもよい。
A
被写体Ｏｂｊからの被写体光の一部は、第１ミラー１０８Ｂに入射する。この被写体光は第１ミラー１０８Ｂで反射されて撮影レンズ２００に入射し、この撮影レンズ２００によって結像されて撮像素子３１０の受光面上に被写体像Ｉｍ１を形成する。
Part of the subject light from the subject Obj enters the
被写体Ｏｂｊからの被写体光の別の一部は、第２ミラー１１０Ｂに入射する。この被写体光は第２ミラー１１０Ｂで反射されて撮影レンズ２００に入射し、この撮影レンズ２００によって結像されて撮像素子３１０の受光面上に被写体像Ｉｍ２を形成する。
Another part of the subject light from the subject Obj enters the
被写体Ｏｂｊからの被写体光のうち、第１ミラー１０８Ｂにも第２ミラー１１０Ｂにも入射しないで撮影レンズ２００に直接入射する光は、この撮影レンズ２００によって結像されて撮像素子３１０の受光面上に被写体像Ｉｍ３を形成する。
Of the subject light from the subject Obj, the light that directly enters the photographing
撮影レンズ２００の入射面に入射する被写体光のうち、略１／３は上記第１ミラー１０８Ｂによって画定される経路Ｐａｔｈ１に沿って導かれる。上記被写体光のうち、別の略１／３は上記第２ミラー１１０Ｂによって画定される経路Ｐａｔｈ２に沿って導かれる。そして、上記被写体光のうち、残りの略１／３は、上記第１ミラー１０８Ｂにも第２ミラー１１１０Ｂにも反射されることなく、撮影レンズ２００の入射面に直接入射する経路Ｐａｔｈ３を経る。そして、撮影レンズ２００によって結像されて撮像素子３１０の受光面上に被写体像Ｉｍ３を形成する。
Of the subject light incident on the incident surface of the
これらの被写体像Ｉｍ１、Ｉｍ２、Ｉｍ３のうち、被写体像Ｉｍ１およびＩｍ２は、被写体像Ｉｍ３に対して左右が逆の反転像となっている。したがって、これらの被写体像Ｉｍ１、Ｉｍ２、Ｉｍ３に基づく画像を切り出す処理をした後、被写体像Ｉｍ１、Ｉｍ２に基づく画像については左右反転処理をする。 Of these subject images Im1, Im2, and Im3, the subject images Im1 and Im2 are reversed images that are opposite to the subject image Im3. Therefore, after performing processing for cutting out images based on these subject images Im1, Im2, and Im3, the images based on the subject images Im1 and Im2 are subjected to left-right reversal processing.
経路Ｐａｔｈ１、Ｐａｔｈ２、Ｐａｔｈ３のそれぞれを経て撮影レンズ２００の入射面に導かれる被写体光の相対分光分布が互いに異なるように構成される場合、撮像素子３１０から出力される画像信号を処理して９バンドのマルチスペクトル画像データを生成することが可能となる。
When the relative spectral distributions of the subject light guided to the incident surface of the photographing
図９に示されるレンズアダプタ１００Ｂを用いてマルチスペクトルのステレオ画像データを生成する場合、以下のようにすることが可能である。ここで被写体像Ｉｍ１に基づく画像を第１画像、被写体像Ｉｍ２に基づく画像を第２画像、被写体像Ｉｍ３に基づく画像を第３画像と称する。左右反転処理後の第１画像を基準画像とし、第３画像を位置合わせ画像として、先に説明した画像処理を行い、第１のマルチスペクトル画像を得る。次に、左右反転処理後の第２画像を基準画像とし、第３画像を位置合わせ画像として、同じく先に説明した画像処理を行い、第２のマルチスペクトル画像を得る。これら第１、第２のマルチスペクトル画像のマルチスペクトル画像データをもとにプリントまたは表示して、裸眼またはビューワ等を用いて観視することによりマルチスペクトルのステレオ画像を鑑賞することが可能となる。
When generating multispectral stereo image data using the
図１０に示されるレンズアダプタ１００Ｃは、図２に示されるレンズアダプタ１００が有する構成要素に加えてビームスプリッタ１０００と第５ミラー１００２とを有するものである。
A lens adapter 100C illustrated in FIG. 10 includes a
分岐光学要素としてのビームスプリッタ１０００は、被写体Ｏｂｊからの被写体光の一部分を反射して第５ミラー１００２に導く一方、上記被写体光の残りの部分を透過して第２ミラー１１０に導く。第５ミラー１００２に導かれた被写体光は、この第５ミラー１００２で反射され、フィルタ１１２に導かれる。つまり、ビームスプリッタ１０００、第５ミラー１００２、第１ミラー１０８、および第３ミラー１１４によって経路Ｐａｔｈ１が画定され、ビームスプリッタ１０００、第２ミラー１１０、および第４ミラー１１６によって経路Ｐａｔｈ２が画定される。
The
フィルタ１１２の配設位置については、経路Ｐａｔｈ１またはＰａｔｈ２中の任意の位置に配置することが可能である。
The
なお、経路Ｐａｔｈ１を画定するミラーに関しては、ビームスプリッタ１０００および第３ミラー１１４の角度を変更することにより、第５ミラー１００２および第１ミラー１０８のうち、いずれかを省略することも可能である。その場合、経路Ｐａｔｈ１上に存在する反射面の数が奇数となるので被写体像Ｉｍ１は被写体像Ｉｍ２に対して左右が逆の反転像となる。したがって、これらの被写体像Ｉｍ１、Ｉｍ２に基づく画像を切り出す処理をした後、被写体像Ｉｍ１に基づく画像については左右反転処理をする必要がある。
Regarding the mirror that defines the path Path1, any of the
図１０に示されるレンズアダプタ１００Ｃは、図２に示されるレンズアダプタ１００にビームスプリッタ１０００と第５ミラー１００２と加えたものである。レンズアダプタ１００Ｃが、これらのビームスプリッタ１０００と第５ミラー１００２とを有することにより、先に説明した視差を生じることが無い。従って、マルチスペクトル画像データを得る際の画像処理に際して動きベクトル導出処理、位置合わせ画像変形処理等を省略することが可能となる。
A lens adapter 100C shown in FIG. 10 is obtained by adding a
本発明は、電子式のスチルカメラ、ムービーカメラの撮影レンズに装着するレンズアダプタに適用可能であり、これらのスチルカメラ、ムービーカメラの撮影レンズは固定式であっても交換式であってもよい。本発明はまた、電子式のスチルカメラ、ムービーカメラなどにも適用可能である。 The present invention can be applied to a lens adapter that is attached to a photographing lens of an electronic still camera or movie camera. The photographing lens of these still camera or movie camera may be fixed or replaceable. . The present invention is also applicable to electronic still cameras, movie cameras, and the like.
１００、１００Ａ、１００Ｂ、１００Ｃ … レンズアダプタ
１０８、１０８Ａ、１０８Ｂ … 第１ミラー
１１０、１１０Ｂ、１１４Ａ … 第２ミラー
１１２、１１２Ａ、１１２Ｂ、１１２Ｃ … フィルタ
１１４ … 第３ミラー
１１６ … 第４ミラー
２００ … 撮影レンズ
３００ … 撮影装置
３２８ … 画像処理部
３２８Ａ … 画像切り出し処理部
３２８Ｂ … テンプレートマッチング処理部
３２８Ｃ … 移動ベクトル導出処理部
３２８Ｄ … 位置合わせ画像変形処理部
３２８Ｅ … マルチスペクトル画像データ生成部
３３４ … モニタ部
３３６ … 画像データ記憶部
３１０ … 撮像素子
４００ … 特性可変フィルタ
４０２、４１４ … 偏光板
４０４ … 波長選択性偏光ローテータ
４０６ … 変更変調素子
１０００ … ビームスプリッタ
１００２ … 第５ミラー
100, 100A, 100B, 100C ...
Claims (11)
前記被写体からの被写体光を、複数の経路を経て前記撮影レンズの入射面へ導くことにより前記撮影レンズの結像面上に複数の被写体像を形成可能とする導光光学系と、
前記複数の経路を経て進む前記被写体光のうち、いずれかの経路を経て前記撮影レンズの入射面に導かれる被写体光の相対分光分布が他の経路を経て前記撮影レンズの入射面に導かれる被写体光の相対分光分布と異なるように変化させる分光特性変更光学系と
を有することを特徴とするマルチスペクトル撮影用レンズアダプタ装置。 A lens adapter device for multispectral imaging, which is disposed between a subject and a photographic lens,
A light guide optical system capable of forming a plurality of subject images on an imaging surface of the photographing lens by guiding subject light from the subject to an incident surface of the photographing lens through a plurality of paths;
Of the subject light traveling through the plurality of paths, a subject whose relative spectral distribution of the subject light guided to the incident surface of the photographing lens via any one of the paths is guided to the incident surface of the photographing lens via another path A lens adapter device for multispectral imaging, comprising: a spectral characteristic changing optical system that changes the relative spectral distribution of light differently.
前記第１の反射鏡で反射された被写体光をさらに反射して前記撮影レンズの入射面に向かうように導く第３の反射鏡と、
前記第２の反射鏡で反射された被写体光をさらに反射して前記撮影レンズの入射面に向かうように導く第４の反射鏡とを有し、
前記分光特性変更光学系は、前記第１の反射鏡と前記第３の反射鏡とを含む光学要素によって画定される第１の経路、および前記第２の反射鏡と前記第４の反射鏡とを含む光学要素によって画定される第２の経路のうち、少なくともいずれかの経路に配設されることを特徴とする請求項１に記載のマルチスペクトル撮影用レンズアダプタ装置。 The light guiding optical system includes first and second reflecting mirrors that reflect the subject light at positions separated from each other;
A third reflecting mirror that further reflects the subject light reflected by the first reflecting mirror and guides it toward the incident surface of the photographing lens;
A fourth reflecting mirror that further reflects the subject light reflected by the second reflecting mirror and guides it toward the incident surface of the photographing lens;
The spectral characteristic changing optical system includes a first path defined by an optical element including the first reflecting mirror and the third reflecting mirror, and the second reflecting mirror and the fourth reflecting mirror. The lens adapter device for multispectral imaging according to claim 1, wherein the lens adapter device is disposed in at least one of the second paths defined by the optical element including
前記撮影レンズの入射面に入射する前記被写体光の内、略半分を反射する第１の反射鏡と、
前記第１の反射鏡で反射された被写体光をさらに反射して前記撮影レンズの入射面に向かうように導く第２の反射鏡とを有し、
前記分光特性変更光学系は、前記第１の反射鏡および前記第２の反射鏡を含む光学要素によって画定される第１の経路、および前記第１の反射鏡も前記第２の反射鏡も経ることなく、前記撮影レンズの入射面に前記被写体光が直接入射する第２の経路のうち、少なくともいずれかの経路に配設されることを特徴とする請求項１に記載のマルチスペクトル撮影用レンズアダプタ装置。 The light guide optical system is:
A first reflecting mirror that reflects approximately half of the subject light incident on the incident surface of the photographing lens;
A second reflecting mirror that further reflects the subject light reflected by the first reflecting mirror and guides it toward the incident surface of the photographing lens;
The spectral characteristic changing optical system passes through a first path defined by an optical element including the first reflecting mirror and the second reflecting mirror, and both the first reflecting mirror and the second reflecting mirror pass through. The multispectral imaging lens according to claim 1, wherein the multispectral imaging lens is disposed on at least one of the second paths in which the subject light directly enters the incident surface of the photographing lens. Adapter device.
互いに離隔した位置において前記被写体光を反射して前記撮影レンズの入射面に導く第１および第２の反射鏡であって、前記撮影レンズの入射面に入射する前記被写体光の内、それぞれが略１／３を反射する、第１および第２の反射鏡を有し、
前記分光特性変更光学系は、前記第１の反射鏡を含む光学要素によって画定される第１の経路、前記第２の反射鏡を含む光学要素によって画定される第２の経路、および前記第１の反射鏡も前記第２の反射鏡も経ることなく、前記撮影レンズの入射面に前記被写体光が直接入射する第３の経路のうち、少なくともいずれかの経路に配設されることを特徴とする請求項１に記載のマルチスペクトル撮影用レンズアダプタ装置。 The light guide optical system is:
First and second reflecting mirrors that reflect the subject light at positions separated from each other and guide the subject light to the incident surface of the photographing lens, and each of the subject light incident on the incident surface of the photographing lens is approximately Having first and second reflectors that reflect 1/3;
The spectral characteristic changing optical system includes a first path defined by an optical element including the first reflecting mirror, a second path defined by an optical element including the second reflecting mirror, and the first And at least one of the third paths in which the subject light is directly incident on the incident surface of the photographing lens without passing through the reflecting mirror and the second reflecting mirror. The lens adapter device for multispectral imaging according to claim 1.
前記被写体光を透過光と反射光とに分割する分岐光学要素と、
前記透過光を前記撮影レンズの入射面に導くために設けられる第１の導光ユニットであって、複数の反射鏡を含む、第１の導光ユニットと、
前記反射光を前記撮影レンズの入射面に導くために設けられる第２の導光ユニットであって、複数の反射鏡を含む、第２の導光ユニットとを有し、
前記分光特性変更光学系は、前記分岐光学要素と前記第１の導光ユニットとによって画定される第１の経路、および前記分岐光学要素と前記第２の導光ユニットとによって画定される第２の経路のうち、少なくともいずれかの経路に配設されることを特徴とする請求項１に記載のマルチスペクトル撮影用レンズアダプタ装置。 The light guide optical system is:
A branching optical element that divides the subject light into transmitted light and reflected light;
A first light guide unit provided to guide the transmitted light to the incident surface of the photographing lens, the first light guide unit including a plurality of reflecting mirrors;
A second light guide unit provided to guide the reflected light to the incident surface of the photographing lens, the second light guide unit including a plurality of reflecting mirrors;
The spectral characteristic changing optical system includes a first path defined by the branch optical element and the first light guide unit, and a second path defined by the branch optical element and the second light guide unit. The lens adapter device for multispectral imaging according to claim 1, wherein the lens adapter device is disposed on at least one of the paths.
１または複数の撮像素子と、
被写体からの被写体光を前記撮像素子に導く撮影レンズと、
前記撮影レンズによって導かれて前記１または複数の撮像素子に入射する被写体光を複数の色に分解する色分解要素と、
前記撮影レンズの入射側に配置される被写体光分割装置とを有し、
前記被写体光分割装置が、
前記被写体からの被写体光を、複数の異なる経路を経て前記撮影レンズの入射面へ導くことにより前記撮影レンズの結像面上に複数の被写体像を形成可能とする導光光学系と、
前記複数の経路を経て進む前記被写体光のうち、いずれかの経路を経て前記撮影レンズの入射面に導かれる被写体光の相対分光分布が他の経路を経て前記撮影レンズの入射面に導かれる被写体光の相対分光分布と異なるように変化させる分光特性変更光光学系と
を有することを特徴とするマルチスペクトル撮影装置。 A multispectral imaging apparatus capable of generating multispectral image data having four or more bands,
One or more image sensors;
A photographic lens for guiding subject light from the subject to the image sensor;
A color separation element that separates subject light that is guided by the photographing lens and enters the one or more imaging elements into a plurality of colors;
An object light splitting device disposed on the incident side of the photographing lens;
The subject light splitting device comprises:
A light guide optical system capable of forming a plurality of subject images on an imaging plane of the photographing lens by guiding subject light from the subject to an incident surface of the photographing lens through a plurality of different paths;
Of the subject light traveling through the plurality of paths, a subject whose relative spectral distribution of the subject light guided to the incident surface of the photographing lens via any one of the paths is guided to the incident surface of the photographing lens via another path A multispectral imaging apparatus, comprising: a spectral characteristic changing optical optical system that changes the light so as to be different from a relative spectral distribution of light.
前記第１の反射鏡で反射された被写体光をさらに反射して前記撮影レンズの入射面に向かうように導く第３の反射鏡と、
前記第２の反射鏡で反射された被写体光をさらに反射して前記撮影レンズの入射面に向かうように導く第４の反射鏡とを有し、
前記分光特性変更光学系は、前記第１の反射鏡と前記第３の反射鏡とを含む光学要素によって画定される第１の経路、および前記第２の反射鏡と前記第４の反射鏡とを含む光学要素によって画定される第２の経路のうち、少なくともいずれかの経路に配設されることを特徴とする請求項６に記載のマルチスペクトル撮影装置。 The light guiding optical system includes first and second reflecting mirrors that reflect the subject light at positions separated from each other;
A third reflecting mirror that further reflects the subject light reflected by the first reflecting mirror and guides it toward the incident surface of the photographing lens;
A fourth reflecting mirror that further reflects the subject light reflected by the second reflecting mirror and guides it toward the incident surface of the photographing lens;
The spectral characteristic changing optical system includes a first path defined by an optical element including the first reflecting mirror and the third reflecting mirror, and the second reflecting mirror and the fourth reflecting mirror. The multispectral imaging apparatus according to claim 6, wherein the multispectral imaging apparatus is disposed in at least one of the second paths defined by the optical element including
前記撮影レンズの入射面に入射する前記被写体光の内、略半分を反射する第１の反射鏡と、
前記第１の反射鏡で反射された被写体光をさらに反射して前記撮影レンズの入射面に向かうように導く第２の反射鏡とを有し、
前記分光特性変更光学系は、前記第１の反射鏡および前記第２の反射鏡を含む光学要素によって画定される第１の経路、および前記第１の反射鏡も前記第２の反射鏡も経ることなく、前記撮影レンズの入射面に前記被写体光が直接入射する第２の経路のうち、少なくともいずれかの経路に配設されることを特徴とする請求項６に記載のマルチスペクトル撮影装置。 The light guide optical system is:
A first reflecting mirror that reflects approximately half of the subject light incident on the incident surface of the photographing lens;
A second reflecting mirror that further reflects the subject light reflected by the first reflecting mirror and guides it toward the incident surface of the photographing lens;
The spectral characteristic changing optical system passes through a first path defined by an optical element including the first reflecting mirror and the second reflecting mirror, and both the first reflecting mirror and the second reflecting mirror pass through. The multispectral imaging apparatus according to claim 6, wherein the multispectral imaging apparatus is arranged on at least one of the second paths in which the subject light is directly incident on the incident surface of the photographing lens.
互いに離隔した位置において前記被写体光を反射して前記撮影レンズの入射面に導く第１および第２の反射鏡であって、前記撮影レンズの入射面に入射する前記被写体光の内、それぞれが略１／３を反射する、第１および第２の反射鏡を有し、
前記分光特性変更光学系は、前記第１の反射鏡を含む光学要素によって画定される第１の経路、前記第２の反射鏡を含む光学要素によって画定される第２の経路、および前記第１の反射鏡も前記第２の反射鏡も経ることなく、前記撮影レンズの入射面に前記被写体光が直接入射する第３の経路のうち、少なくともいずれかの経路に配設されることを特徴とする請求項６に記載のマルチスペクトル撮影装置。 The light guide optical system is:
First and second reflecting mirrors that reflect the subject light at positions separated from each other and guide the subject light to the incident surface of the photographing lens, and each of the subject light incident on the incident surface of the photographing lens is approximately Having first and second reflectors that reflect 1/3;
The spectral characteristic changing optical system includes a first path defined by an optical element including the first reflecting mirror, a second path defined by an optical element including the second reflecting mirror, and the first And at least one of the third paths in which the subject light is directly incident on the incident surface of the photographing lens without passing through the reflecting mirror and the second reflecting mirror. The multispectral imaging apparatus according to claim 6.
前記被写体光を透過光と反射光とに分割する分岐光学要素と、
前記透過光を前記撮影レンズの入射面に導くために設けられる第１の導光ユニットであって、複数の反射鏡を含む、第１の導光ユニットと、
前記反射光を前記撮影レンズの入射面に導くために設けられる第２の導光ユニットであって、複数の反射鏡を含む、第２の導光ユニットとを有し、
前記分光特性変更光学系は、前記分岐光学部材と前記第１の導光ユニットとによって画定される第１の経路、および前記分岐光学部材と前記第２の導光ユニットとによって画定される第２の経路のうち、少なくともいずれかの経路に配設されることを特徴とする請求項６に記載のマルチスペクトル撮影装置。 The light guide optical system is:
A branching optical element that divides the subject light into transmitted light and reflected light;
A first light guide unit provided to guide the transmitted light to the incident surface of the photographing lens, the first light guide unit including a plurality of reflecting mirrors;
A second light guide unit provided to guide the reflected light to the incident surface of the photographing lens, the second light guide unit including a plurality of reflecting mirrors;
The spectral characteristic changing optical system includes a first path defined by the branch optical member and the first light guide unit, and a second path defined by the branch optical member and the second light guide unit. The multispectral imaging apparatus according to claim 6, wherein the multispectral imaging apparatus is disposed on at least one of the paths.
前記撮像レンズの結像面上に形成される前記複数被写体像に基づく複数の画像を切り出す処理をする画像切り出し処理部と、
前記複数の画像間で、当該の複数の画像それぞれを構成する各画素の対応位置関係を求める処理をする位置合わせ処理部と、
ひとつ一つの画素に対する色情報を前記複数の画像から抽出して統合し、前記４以上のバンド数のマルチスペクトル画像データを生成するマルチスペクトル画像生成処理部と
を有することを特徴とする画像処理装置。 An image processing apparatus that captures an image using the multispectral imaging apparatus according to any one of claims 6 to 10 and processes the obtained image data to generate the multispectral image data.
An image cutout processing unit that performs a process of cutting out a plurality of images based on the plurality of subject images formed on the imaging surface of the imaging lens;
An alignment processing unit that performs a process of obtaining a corresponding positional relationship of each pixel constituting each of the plurality of images between the plurality of images;
An image processing apparatus comprising: a multispectral image generation processing unit that extracts and integrates color information for each pixel from the plurality of images and generates multispectral image data having the number of bands of 4 or more. .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009092898A JP2010245870A (en) | 2009-04-07 | 2009-04-07 | Lens adapter device for multi-spectral photographing, multi-spectral camera and image processor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009092898A JP2010245870A (en) | 2009-04-07 | 2009-04-07 | Lens adapter device for multi-spectral photographing, multi-spectral camera and image processor |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010245870A true JP2010245870A (en) | 2010-10-28 |
Family
ID=43098401
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009092898A Withdrawn JP2010245870A (en) | 2009-04-07 | 2009-04-07 | Lens adapter device for multi-spectral photographing, multi-spectral camera and image processor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010245870A (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013012999A (en) * | 2011-06-30 | 2013-01-17 | Canon Inc | Image processing apparatus, imaging apparatus, control method, and program |
| JP2013072771A (en) * | 2011-09-28 | 2013-04-22 | Topcon Corp | Spectrum image acquisition device |
| WO2014020791A1 (en) * | 2012-08-02 | 2014-02-06 | パナソニック株式会社 | Polarized color imaging device |
| JP2014035430A (en) * | 2012-08-08 | 2014-02-24 | Olympus Corp | Imaging apparatus and focus direction determination method of the same |
| JP2016171474A (en) * | 2015-03-13 | 2016-09-23 | 日本電産コパル株式会社 | Comparison image photographing apparatus |
| JP2018526664A (en) * | 2015-06-15 | 2018-09-13 | アグローウィング エルティーディー | Multispectral imaging device |
| WO2018180808A1 (en) * | 2017-03-30 | 2018-10-04 | 国立大学法人奈良先端科学技術大学院大学 | Image capture device and image processing device |
| WO2021010103A1 (en) * | 2019-07-17 | 2021-01-21 | 富士フイルム株式会社 | Filter and imaging device |
-
2009
- 2009-04-07 JP JP2009092898A patent/JP2010245870A/en not_active Withdrawn
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013012999A (en) * | 2011-06-30 | 2013-01-17 | Canon Inc | Image processing apparatus, imaging apparatus, control method, and program |
| JP2013072771A (en) * | 2011-09-28 | 2013-04-22 | Topcon Corp | Spectrum image acquisition device |
| JPWO2014020791A1 (en) * | 2012-08-02 | 2016-07-21 | パナソニックＩｐマネジメント株式会社 | Polarized color imaging device |
| WO2014020791A1 (en) * | 2012-08-02 | 2014-02-06 | パナソニック株式会社 | Polarized color imaging device |
| CN103703770A (en) * | 2012-08-02 | 2014-04-02 | 松下电器产业株式会社 | Polarized color imaging device |
| US9118796B2 (en) | 2012-08-02 | 2015-08-25 | Panasonic Intellectual Property Management Co., Ltd. | Polarization color image capture device |
| JP2014035430A (en) * | 2012-08-08 | 2014-02-24 | Olympus Corp | Imaging apparatus and focus direction determination method of the same |
| JP2016171474A (en) * | 2015-03-13 | 2016-09-23 | 日本電産コパル株式会社 | Comparison image photographing apparatus |
| JP2018526664A (en) * | 2015-06-15 | 2018-09-13 | アグローウィング エルティーディー | Multispectral imaging device |
| WO2018180808A1 (en) * | 2017-03-30 | 2018-10-04 | 国立大学法人奈良先端科学技術大学院大学 | Image capture device and image processing device |
| JPWO2018180808A1 (en) * | 2017-03-30 | 2020-02-06 | 国立大学法人 奈良先端科学技術大学院大学 | Imaging device and image processing device |
| JP7058881B2 (en) | 2017-03-30 | 2022-04-25 | 国立大学法人 奈良先端科学技術大学院大学 | Image pickup device and image processing device |
| WO2021010103A1 (en) * | 2019-07-17 | 2021-01-21 | 富士フイルム株式会社 | Filter and imaging device |
| JPWO2021010103A1 (en) * | 2019-07-17 | 2021-01-21 | ||
| JP7416798B2 (en) | 2019-07-17 | 2024-01-17 | 富士フイルム株式会社 | Filters and imaging devices |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2010245870A (en) | Lens adapter device for multi-spectral photographing, multi-spectral camera and image processor | |
| JP6983663B2 (en) | Multispectral imager and multispectral camera | |
| US7515818B2 (en) | Image capturing apparatus | |
| JP4717363B2 (en) | Multispectral imaging device and adapter lens | |
| JP5066420B2 (en) | Color separation optical system and imaging apparatus | |
| US20170264811A1 (en) | Phase detection autofocus using opposing filter masks | |
| US9264612B2 (en) | Imaging apparatus and photographing support method | |
| US9229238B2 (en) | Three-chip camera apparatus | |
| JP2008211631A (en) | Focal point detection element, focal point detector, and imaging apparatus | |
| US20190058837A1 (en) | System for capturing scene and nir relighting effects in movie postproduction transmission | |
| KR20140065335A (en) | Focus detection apparatus, focus detection method, and image capturing apparatus | |
| US20180067327A1 (en) | Multi-wavelength beam splitting systems for simultaneous imaging of a distant object in two or more spectral channels using a single camera | |
| JP2007187942A (en) | Prism optical system and imaging apparatus | |
| JP2008177903A (en) | Imaging device | |
| US20060054794A1 (en) | Light receiving unit and image taking apparatus | |
| JP2009153074A (en) | Image photographing apparatus | |
| JP2010102281A (en) | Lens adapter for visible light/infrared light photography | |
| JP2004109863A (en) | Focus detector, image pickup device provided with the same, and photographing lens | |
| JP2004354714A (en) | Lens system for visible light/infrared light photography | |
| US9857663B1 (en) | Phase detection autofocus system and method | |
| JP6983531B2 (en) | Distance measuring device, distance measuring system, and distance measuring method | |
| JP2010062742A (en) | Camera | |
| WO2023123095A1 (en) | Camera system including multiple lenses and multiple image sensors, method for controlling the same, and electronic deivice | |
| WO2018235709A1 (en) | Distance measuring camera and distance measurement method | |
| JP2018182470A (en) | Stereoscopic image pickup apparatus adopting wavelength selective polarization separation method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20120703 |