JP7058881B2 - Image pickup device and image processing device - Google Patents
Image pickup device and image processing device Download PDFInfo
- Publication number
- JP7058881B2 JP7058881B2 JP2019509614A JP2019509614A JP7058881B2 JP 7058881 B2 JP7058881 B2 JP 7058881B2 JP 2019509614 A JP2019509614 A JP 2019509614A JP 2019509614 A JP2019509614 A JP 2019509614A JP 7058881 B2 JP7058881 B2 JP 7058881B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- image
- image pickup
- mirror
- mirrors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 claims description 113
- 238000003384 imaging method Methods 0.000 claims description 36
- 230000003595 spectral effect Effects 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000010586 diagram Methods 0.000 description 16
- 238000001228 spectrum Methods 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 8
- 238000000034 method Methods 0.000 description 8
- 238000005457 optimization Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 3
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 239000012788 optical film Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 229910052709 silver Inorganic materials 0.000 description 2
- 239000004332 silver Substances 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000010408 film Substances 0.000 description 1
- 235000012055 fruits and vegetables Nutrition 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 238000000411 transmission spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/08—Mirrors
- G02B5/09—Multifaceted or polygonal mirrors, e.g. polygonal scanning mirrors; Fresnel mirrors
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/20—Filters
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B11/00—Filters or other obturators specially adapted for photographic purposes
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/02—Bodies
- G03B17/17—Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Optical Elements Other Than Lenses (AREA)
- Structure And Mechanism Of Cameras (AREA)
- Color Television Image Signal Generators (AREA)
- Blocking Light For Cameras (AREA)
- Image Input (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Description
本発明は、一度に複数の被写体像を撮像する撮像装置と、当該撮像装置が作成した原画像データを処理する画像処理装置とに関する。 The present invention relates to an image pickup device that captures a plurality of subject images at one time, and an image processing device that processes original image data created by the image pickup device.
近年、青果に含まれる糖の含有量の分布を測定するなどの目的で、ハイパースペクトルカメラが用いられることがある。一般的なハイパースペクトルカメラは、分光器を用いてスリットを通過した被写体の一次元の位置の光を、当該光と垂直な方向に波長分解することで二次元の光学像に変換し、当該光学像を二次元イメージセンサで撮像するものである。このハイパースペクトルカメラは、分光器やスリットなどの光学系を駆動することで撮像する位置を切り替えながら(走査しながら)繰り返し撮像することで、複数の波長帯域毎の二次元画像を得る。また、分光器の代わりに、被写体に対して光を照射する光源と、当該光源に適用する切り替え可能な複数色のカラーフィルタと、を備え、当該カラーフィルタを切り替えながら二次元画像を繰り返し撮像することで、複数の波長帯域毎の二次元画像を得るハイパースペクトルカメラもある。 In recent years, hyperspectral cameras may be used for the purpose of measuring the distribution of sugar content in fruits and vegetables. A general hyperspectral camera uses a spectroscope to convert light at a one-dimensional position of a subject that has passed through a slit into a two-dimensional optical image by wavelength-resolving the light in a direction perpendicular to the light, and the optics. The image is captured by a two-dimensional image sensor. This hyperspectral camera obtains a two-dimensional image for each of a plurality of wavelength bands by repeatedly taking images while switching (scanning) the image pickup position by driving an optical system such as a spectroscope or a slit. Further, instead of the spectroscope, a light source that irradiates the subject with light and a switchable multi-color color filter applied to the light source are provided, and a two-dimensional image is repeatedly imaged while switching the color filter. Therefore, there is also a hyperspectral camera that obtains a two-dimensional image for each of a plurality of wavelength bands.
これらのような従来のハイパースペクトルカメラでは、画像が二次元であって波長が一次元である合計三次元の情報を、二次元イメージセンサで撮像して取得するという関係上、全ての情報を取得するためには複数回の撮像が必須になる。そのため、撮像時間が長くなってしまうという問題がある。また、このような従来のハイパースペクトルカメラでは、光学系の駆動やカラーフィルタを切り替える機構が必要であるため、装置の構成が複雑かつ大型になってしまうという問題もある。 With conventional hyperspectral cameras such as these, all information is acquired because the image is two-dimensional and the wavelength is one-dimensional, and a total of three-dimensional information is captured and acquired by a two-dimensional image sensor. In order to do so, multiple imaging is essential. Therefore, there is a problem that the imaging time becomes long. Further, such a conventional hyperspectral camera requires a mechanism for driving an optical system and switching a color filter, so that there is a problem that the configuration of the device becomes complicated and large.
そこで、特許文献1では、鏡と光学フィルタを用いて、光学フィルタを通過する被写体光と光学フィルタを通過しない被写体光のそれぞれを、撮像素子上の異なる位置に結像することで、1回の撮像によって波長特性が異なる2つの被写体像を撮像可能にした撮像装置が提案されている。具体的に、この撮像装置は、レンズの直前に、当該レンズに向かって左右の間隔が狭くなるように(テーパをつけて)配置された2枚の鏡を備える。これにより、光軸の左側からレンズに入射する被写体光と、光軸の右側からレンズに入射する被写体光とのそれぞれが、撮像素子上の異なる位置に結像される。
Therefore, in
しかしながら、特許文献1で提案されている撮像装置では、1回の撮像で最大でも2つの被写体像しか撮像することができないという問題があった。
However, the image pickup apparatus proposed in
なお、特許文献1の図9では、光軸の左右の鏡で反射された被写体光が結像されて成る2つの被写体像の他に、光軸に沿って直進しており鏡で反射されていない被写体光が結像されて成る1つの被写体像も撮像可能であるかのように図示されている。しかし、この撮像装置では、テーパがつけられた鏡を用いる必要があるため、光軸の左右の鏡で反射された被写体光が結像されて成る2つの被写体像が、光軸に沿って直進しており鏡で反射されていない被写体光が結像されて成る1つの被写体像に対して、大きく歪んでしまう。そのため、これらの被写体像は、対比することが不可能(または著しく困難)であるから、一方の被写体像は撮像しても無意味になってしまう。したがって、この撮像装置では、1回の撮像で最大でも2つの被写体像しか撮像することができない。
In FIG. 9 of
そこで、本発明は、一度の撮像で3つ以上の対比可能な被写体像を撮像することができる撮像装置と、当該撮像装置が作成した原画像データに基づいて特定の波長帯域の光の強度を表した画像のデータである分光画像データを生成する画像処理装置とを提供する。 Therefore, the present invention has an image pickup device capable of capturing three or more contrastable subject images by one image pickup, and the intensity of light in a specific wavelength band based on the original image data created by the image pickup device. Provided is an image processing apparatus that generates spectroscopic image data, which is the data of the represented image.
上記目的を達成するため、本発明は、被写体から到来する被写体光を結像する結像素子と、前記結像素子が結像した被写体像を撮像して原画像データを作成する撮像素子と、を有する撮像部と、前記被写体光を反射させて前記撮像部に入射させる鏡を複数有する反射部と、を備え、前記反射部が有する前記鏡のそれぞれは、反射面で反射する光の波長特性を変化させる光学フィルタが当該反射面上に設けられているとともに、前記結像素子の光軸に対して前記反射面が平行になるように配置されていることを特徴とする撮像装置を提供する。 In order to achieve the above object, the present invention comprises an imaging element that forms an image of subject light coming from a subject, an imaging element that images a subject image formed by the imaging element, and creates original image data. Each of the mirrors having the image pickup unit and the reflection unit having a plurality of mirrors for reflecting the subject light and incident on the image pickup unit has wavelength characteristics of light reflected by the reflection surface. Provided is an image pickup apparatus characterized in that an optical filter for changing the light is provided on the reflection surface and the reflection surface is arranged so as to be parallel to the optical axis of the image pickup element. ..
この撮像装置によれば、鏡で反射していない被写体光が結像されて成る被写体像と、反射面が光軸に対して平行である複数の鏡で反射した被写体光が結像されて成るために当該被写体像に対する歪みがない(または小さい)2つ以上の被写体像と、を一度に撮像することができる。 According to this image pickup apparatus, a subject image formed by forming a subject light not reflected by a mirror and a subject light reflected by a plurality of mirrors whose reflecting surface is parallel to the optical axis are formed. Therefore, it is possible to capture two or more subject images without (or small) distortion with respect to the subject image at one time.
また、上記特徴の撮像装置において、前記反射部が、前記反射面を内側に向けるとともに隣接して配置されるX枚(Xは3以上の整数)の前記鏡を有し、当該鏡の前記光軸に対して垂直な断面が、当該鏡のそれぞれの前記反射面を一辺とする正X角形であるようにしてもよい。 Further, in the image pickup apparatus having the above-mentioned characteristics, the reflecting portion has X mirrors (X is an integer of 3 or more) arranged adjacently with the reflecting surface facing inward, and the light of the mirror. The cross section perpendicular to the axis may be a regular X-sided mirror having each of the reflecting surfaces of the mirror as one side.
この撮像装置によれば、少なくとも、鏡で反射していない被写体光が結像されて成る1つの正X角形の被写体像と、鏡で1回反射した被写体光が結像されて成るX個(3つ以上)の被写体像と、を一度に撮像することができる。したがって、X+1個以上(4つ以上)の被写体像を一度に撮像することができる。 According to this image pickup apparatus, at least one positive X-square subject image formed by forming a subject light not reflected by a mirror and X pieces formed by forming an image of a subject light reflected once by a mirror ( It is possible to capture three or more subject images at once. Therefore, X + 1 or more (4 or more) subject images can be captured at one time.
また、上記特徴の撮像装置において、前記反射部が有する前記鏡の枚数が6枚以下であるようにしてもよい。 Further, in the image pickup apparatus having the above-mentioned characteristics, the number of the mirrors included in the reflecting unit may be 6 or less.
この撮像装置によれば、少なくとも、鏡で反射していない被写体光が結像されて成る1つの正X角形の被写体像と、鏡で1回反射した被写体光が結像されて成るX個の欠けがない正X角形の被写体像と、を撮像することができる。 According to this image pickup apparatus, at least one positive X-square subject image formed by forming an image of subject light not reflected by a mirror and X pieces formed by forming an image of subject light reflected once by a mirror. It is possible to take an image of a positive X-sided subject without any chipping.
また、上記特徴の撮像装置において、前記反射部が有する前記鏡の枚数が偶数であり、前記反射面が平行かつ対向するように配置されている2枚の前記鏡のそれぞれは、少なくとも当該鏡の前記反射面のそれぞれで1回ずつ反射した前記被写体光が結像されて成る少なくとも1つの前記被写体像が前記撮像部に撮像されるように配置されているようにしてもよい。 Further, in the image pickup apparatus having the above-mentioned characteristics, the number of the mirrors possessed by the reflecting unit is an even number, and each of the two mirrors arranged so that the reflecting surfaces are parallel and facing each other is at least the mirror. At least one image of the subject formed by forming the image of the subject light reflected once on each of the reflecting surfaces may be arranged so as to be imaged by the image pickup unit.
この撮像装置によれば、鏡で反射していない被写体光が結像されて成る1つの正X角形の被写体像と、反射面が平行かつ対向する2枚の鏡の一方で1回反射した被写体光が結像されて成る2つの被写体像と、当該鏡のそれぞれで1回ずつ反射(多重反射)した被写体光が結像されて成る少なくとも1つの被写体像と、を一度に撮像することができる。さらに、この場合、これらの被写体像が一列に整列するため、被写体像の位置を特定し易い原画像データを得ることができる。 According to this image pickup device, one positive X-sided subject image formed by forming a subject light not reflected by a mirror and a subject reflected once by one of two mirrors whose reflecting surfaces are parallel and facing each other. Two subject images formed by forming light and at least one subject image formed by forming subject light reflected once by each of the mirrors (multiple reflections) can be imaged at one time. .. Further, in this case, since these subject images are aligned in a row, it is possible to obtain original image data in which the position of the subject image can be easily specified.
また、上記特徴の撮像装置において、前記反射部が、前記反射面が平行かつ対向するように配置された2枚の前記鏡を有し、当該鏡のそれぞれは、少なくとも当該鏡の前記反射面のそれぞれで1回ずつ反射した前記被写体光が結像されて成る少なくとも1つの前記被写体像が前記撮像部に撮像されるように配置されているようにしてもよい。 Further, in the image pickup apparatus having the above-mentioned characteristics, the reflecting portion has two mirrors arranged so that the reflecting surfaces are parallel to each other and face each other, and each of the mirrors has at least the reflecting surface of the mirror. At least one image of the subject, which is formed by forming the image of the subject light reflected once for each, may be arranged so as to be imaged by the image pickup unit.
この撮像装置によれば、少なくとも、鏡で反射していない被写体光が結像されて成る1つの被写体像と、反射面が平行かつ対向する2枚の鏡の一方で1回反射した被写体光が結像されて成る2つの被写体像と、当該鏡のそれぞれで1回ずつ反射(多重反射)した被写体光が結像されて成る少なくとも1つの被写体像と、を一度に撮像することができる。したがって、4つ以上の被写体像を一度に撮像することができる。さらに、この場合、これらの被写体像が一列に整列するため、被写体像の位置を特定し易い原画像データを得ることができる。 According to this image pickup device, at least one subject image formed by forming a subject light not reflected by a mirror and the subject light reflected once by one of two mirrors having parallel and facing reflecting surfaces. Two subject images formed by forming an image and at least one subject image formed by forming a subject light reflected once by each of the mirrors (multiple reflections) can be imaged at one time. Therefore, four or more subject images can be captured at one time. Further, in this case, since these subject images are aligned in a row, it is possible to obtain original image data in which the position of the subject image can be easily specified.
また、上記特徴の撮像装置において、前記反射面が平行かつ対向するように配置された少なくとも1組の前記鏡の前記反射面上に設けられている前記光学フィルタのそれぞれは、フィルタ特性が同一であるようにしてもよい。 Further, in the image pickup apparatus having the above-mentioned characteristics, the optical filters provided on the reflecting surfaces of at least one set of mirrors arranged so that the reflecting surfaces are parallel and facing each other have the same filter characteristics. It may be.
この撮像装置によれば、少なくとも、あるフィルタ特性の光学フィルタが1回適用された被写体光が結像されて成る被写体像と、当該光学フィルタが2回適用された被写体光が結像されて成る被写体像と、を撮像することができる。したがって、光学フィルタの適用回数が異なる被写体光が結像されて成る被写体像のそれぞれを撮像することができる。 According to this image pickup apparatus, at least a subject image formed by applying an optical filter having a certain filter characteristic once and a subject light to which the optical filter is applied twice are formed. It is possible to take an image of a subject image. Therefore, it is possible to capture each of the subject images formed by forming subject lights having different application times of the optical filter.
また、上記特徴の撮像装置において、前記反射面が平行かつ対向するように配置された少なくとも1組の前記鏡の前記反射面上に設けられている前記光学フィルタのそれぞれは、フィルタ特性が異なるようにしてもよい。 Further, in the image pickup apparatus having the above-mentioned characteristics, the optical filters provided on the reflecting surfaces of at least one set of mirrors arranged so that the reflecting surfaces are parallel and facing each other have different filter characteristics. You may do it.
この撮像装置によれば、少なくとも、あるフィルタ特性の光学フィルタが1回適用された被写体光が結像されて成る被写体像と、当該光学フィルタとは異なるフィルタ特性の光学フィルタが1回適用された被写体光が結像されて成る被写体像と、これらの2つの光学フィルタが1回ずつ適用された被写体光が結像されて成る被写体像と、を撮像することができる。したがって、適用された光学フィルタの種類が異なる被写体光が結像されて成る被写体像のそれぞれを撮像することができる。 According to this image pickup apparatus, a subject image formed by forming an image of a subject light to which an optical filter having a certain filter characteristic is applied once and an optical filter having a filter characteristic different from the optical filter are applied once. It is possible to image a subject image formed by forming a subject light and a subject image formed by forming a subject light to which these two optical filters are applied once. Therefore, it is possible to capture each of the subject images formed by forming subject lights of different types of applied optical filters.
また、上記特徴の撮像装置において、前記鏡のそれぞれは、前記反射面から前記光軸までの距離が等しくなるように配置されるようにしてもよい。 Further, in the image pickup apparatus having the above-mentioned characteristics, each of the mirrors may be arranged so that the distances from the reflection surface to the optical axis are equal.
この撮像装置によれば、鏡で反射していないか反射回数が少ない被写体光が結像されて成るために鮮明である複数の被写体像を、原画像データの中心に配置することができる。そのため、原画像データにおいてこれらの被写体像が欠けることを抑制することができる。 According to this image pickup apparatus, it is possible to arrange a plurality of clear subject images at the center of the original image data because the subject light that is not reflected by the mirror or has a small number of reflections is formed into an image. Therefore, it is possible to suppress the lack of these subject images in the original image data.
また、上記特徴の撮像装置において、前記反射部が、前記鏡の前記撮像部から遠い方の端部に設けられて前記被写体に対して光を照射する光源を、さらに有するようにしてもよい。 Further, in the image pickup apparatus having the above-mentioned characteristics, the reflection unit may further have a light source provided at an end portion of the mirror far from the image pickup unit to irradiate the subject with light.
この撮像装置によれば、撮像時に被写体に対して照射される光のスペクトルを統一することができる。そのため、原画像データの処理を容易にすることができる。 According to this image pickup apparatus, it is possible to unify the spectrum of the light emitted to the subject at the time of image pickup. Therefore, the processing of the original image data can be facilitated.
また、本発明は、上記の撮像装置によって作成された前記原画像データと、前記撮像部及び前記反射部のそれぞれの光学特性のデータを含む撮像装置特性データと、複数の前記被写体像のそれぞれが撮像されている画素の前記原画像データ中の位置のデータを含む被写体像位置データと、当該被写体像のそれぞれが結像されるまでに前記被写体光が前記鏡で反射された履歴のデータを含む反射履歴データと、を記録するデータベースと、前記データベースに記録されているデータに基づいて、特定の波長帯域に分光した画像のデータである分光画像データを生成する演算部と、を備え、前記演算部は、前記被写体像位置データに基づいて、前記被写体の特定部分に相当する前記原画像データ中の複数の画素のそれぞれの位置を特定し、当該画素のそれぞれの画素値と、前記反射履歴データ及び前記撮像装置特性データとに基づいて、前記分光画像データにおける前記被写体の前記特定部分に相当する画素の画素値を算出することを特徴とする画像処理装置を提供する。 Further, in the present invention, the original image data created by the image pickup device, the image pickup device characteristic data including the optical characteristic data of each of the image pickup unit and the reflection unit, and each of the plurality of subject images are Includes subject image position data including position data of the imaged pixel in the original image data, and historical data in which the subject light is reflected by the mirror until each of the subject images is imaged. The calculation is provided with a database for recording reflection history data, and a calculation unit for generating spectral image data which is data of an image dispersed in a specific wavelength band based on the data recorded in the database. Based on the subject image position data, the unit identifies the positions of each of the plurality of pixels in the original image data corresponding to the specific portion of the subject, and the pixel values of the pixels and the reflection history data. Further, an image processing device is provided which calculates the pixel value of a pixel corresponding to the specific portion of the subject in the spectral image data based on the image pickup device characteristic data.
この画像処理装置によれば、上記の撮像装置によって作成された複数の被写体像が含まれる原画像データに基づいて、分光画像データを生成することができる。 According to this image processing device, it is possible to generate spectroscopic image data based on the original image data including a plurality of subject images created by the above-mentioned image pickup device.
上記特徴の撮像装置によれば、鏡で反射していない被写体光が結像されて成る被写体像と、反射面が光軸に対して平行である複数の鏡で反射した被写体光が結像されて成るために当該被写体像に対する歪みがない(または小さい)2つ以上の被写体像と、の合計3つ以上の対比可能な被写体像を、一度に撮像することができる。 According to the image pickup device having the above characteristics, a subject image formed by forming a subject light not reflected by a mirror and a subject light reflected by a plurality of mirrors whose reflecting surfaces are parallel to the optical axis are formed. Therefore, it is possible to capture a total of three or more comparable subject images at one time, and two or more subject images that are not (or are small) distorted with respect to the subject image.
<<撮像装置>>
最初に、本発明の実施形態に係る撮像装置の構成の一例について図面を参照して説明する。図1は、本発明の実施形態に係る撮像装置の構成の一例について示す模式図である。<< Imaging device >>
First, an example of the configuration of the image pickup apparatus according to the embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a schematic diagram showing an example of the configuration of the image pickup apparatus according to the embodiment of the present invention.
図1に示すように、撮像装置1は、被写体から到来する被写体光が結像されて成る被写体像を撮像して原画像データを作成する撮像部10と、鏡21の反射を利用して被写体光を撮像部10に入射させる反射部20と、を備える。
As shown in FIG. 1, the
撮像部10は、被写体光を結像する結像素子11と、結像素子11が結像した被写体像を撮像して原画像データを生成する撮像素子12と、を有する。結像素子11は、例えば絞りやレンズ等で構成される。なお、図1では、結像素子11を1つのレンズとして省略して図示しているが、複数のレンズや絞り等を備えた構成であってもよい。撮像素子12は、例えばCCD(Charge Coupled Device)イメージセンサやCMOS(ComplementaryMetal Oxide Semiconductor)イメージセンサなどの二次元イメージセンサで構成される。
The
反射部20は、被写体光を反射させて撮像部10に入射させる複数の鏡21(図示の例では2枚)と、被写体Tに対して光を照射する光源22とを備える。鏡21のそれぞれの反射面211上には、当該反射面211で反射する光の波長特性を変化させる光学フィルタFが設けられている。また、光源22は、鏡21の撮像部10から遠い方の端部に設けられる。
The reflecting
鏡21は、例えば、金属板を磨いて反射面にしたものや、ガラス板や樹脂板等に銀などの金属を蒸着して反射面にしたもの、光学フィルタFとなる色ガラスに銀などの金属を蒸着して反射面にしたものなど、どのようなものであってもよい。ただし、鏡21は、撮像部10が測定する波長の範囲内における分光反射率がフラット(概ね一定値)であると、好ましい。
The
光学フィルタFは、鏡21の反射面211で反射する光の波長特性を変化させるフィルタ特性(例えば、透過率スペクトル)を有するフィルムや板などである。具体的に、光学フィルタFは、特定の波長帯域における光の強度だけ選択的に減衰させたり、特定の波長帯域以外における光の強度だけ選択的に減衰させたりするものである。
The optical filter F is a film or plate having filter characteristics (for example, a transmittance spectrum) that changes the wavelength characteristics of the light reflected by the reflecting
光源22は、例えばLED(Light Emitting Diode)で構成される。なお、光源22は、撮像部10が作成する原画像データから様々な波長の情報を取得する観点から、例えば白色光などの様々な波長における強度が一定程度ある光を照射する素子で構成すると、好ましい。また、光源22を備えることなく、自然光が被写体Tに照射されている状態で撮像部10が撮像を行う構成にしてもよい。ただし、自然光は状況によってスペクトルが変わり得るため、原画像データの処理を容易にする観点からは、光源22を用いて撮像時に被写体Tに対して照射されるスペクトルを統一した方が好ましい。
The
図1では、反射部20が、反射面211が対向している2枚の鏡21を備えており、当該鏡21のそれぞれの反射面211上にフィルタ特性が同じである光学フィルタFが設けられている場合について例示している。しかし、本発明の実施形態に係る撮像装置1は、以下の<鏡の構成例>において例示するような、様々な構成の鏡を適用可能である。
In FIG. 1, the reflecting
ただし、本発明の実施形態に係る撮像装置1では、反射部20が複数の鏡21を備えるとともに、当該鏡21のそれぞれの反射面211が結像素子11の光軸Gと平行になるように配置する。これにより、鏡21で反射していない被写体光が結像されて成る被写体像と、反射面211が光軸Gに対して平行である複数の鏡21で反射している被写体光が結像されて成るために当該被写体像に対する歪みがない(または小さい)2つ以上の被写体像と、を一度に撮像することができる。したがって、合計3つ以上の対比可能な被写体像を、一度に撮像することができる。
However, in the
<鏡の構成例>
反射部20が有する鏡の様々な構成例と、当該鏡を用いた場合に撮像部10で撮像される被写体像とのそれぞれについて、図面を参照して説明する。図2~図7は、反射部が有する鏡の様々な構成例と当該鏡を用いた場合に撮像部で撮像される被写体像の一例とのそれぞれを示す模式図である。なお、図2(a)~図7(a)のそれぞれは、反射部20が有する鏡の構成例を示した図であり、光軸Gに垂直な断面図である。また、図2(b)~図7(b)のそれぞれは、図2(a)~図7(a)の鏡を用いた場合に撮像部10で撮像される被写体像の一例を示した図である。また、図2(b)~図7(b)のそれぞれでは、鏡で反射していない被写体光が結像されて成る被写体像の領域を太線で囲うとともに、被写体像のそれぞれの領域内に、当該被写体像が結像されるまでに被写体光が鏡で反射して光学フィルタが適用された回数(ただし、フィルタ特性が異なる複数の光学フィルタを用いている場合は光学フィルタの種類毎の適用回数)を記載している。<Example of mirror configuration>
Various configuration examples of the mirror included in the reflecting
[第1例]
図2(a)に示すように、第1例では、反射部20が、図1に示した例と同様の2枚の鏡21aを有している。鏡21aは、反射面211aが平行かつ対向しており、当該鏡21aのそれぞれの反射面211a上にフィルタ特性が同じである光学フィルタFa1が設けられている。[First example]
As shown in FIG. 2A, in the first example, the
この鏡21aを用いた場合、例えば図2(b)に示すような被写体像が撮像される。具体的に例えば、主要な被写体像として、鏡21aで反射していない被写体光が結像されて成る1つの被写体像(光学フィルタFa1の適用回数が0である1つの被写体像)と、当該被写体像に隣接する被写体像であって鏡21aで1回反射した被写体光が結像されて成る2つの被写体像(光学フィルタFa1の適用回数が1である2つの被写体像)と、当該被写体像に隣接する被写体像であって鏡21aで2回反射した被写体光が結像されて成る2つの被写体像(光学フィルタFa1の適用回数が2である2つの被写体像)と、が撮像される。
When this
ただし、撮像部10で撮像される被写体像の数は、撮像部10に入射する被写体光の鏡21aでの反射の最大回数Nに応じて変動する(本例の場合は2N+1)。そして、撮像部10に入射する被写体光の鏡21aでの反射の最大回数Nは、撮像部10の画角と鏡21aの大きさ及び位置によって決まる。例えば、反射面211aが平行かつ対向している2枚の鏡21aにおいて、撮像部10が鏡21aの一方の端部に配置されるとともに被写体Tが鏡21aの他方の端部に配置され、反射面211aが光軸Gから等距離に位置しており、当該反射面211aのそれぞれの長さをZ、離間距離をD、当該反射面211aの離間方向における撮像部10の画角をθとした場合(図1参照)、反射の最大回数Nは、[(Z/d)・tan(θ/2)]以下となる最大の整数になる。なお、本例だけではなく、以下説明する他の例においても、撮像部10の画角や鏡21aの大きさ及び位置によって、撮像部10で撮像される被写体像の数は変動する。
However, the number of subject images captured by the
[第2例]
図3(a)に示すように、第2例では、反射部20が、第1例と同様である反射面211bが対向している2枚の鏡21bを有している。ただし、当該鏡21bのそれぞれの反射面211b上には、フィルタ特性が異なる2種類の光学フィルタFb1,Fb2が設けられている。[Second example]
As shown in FIG. 3A, in the second example, the reflecting
この鏡21bを用いた場合、例えば図3(b)に示すような被写体像が撮像される。具体的に例えば、主要な被写体像として、鏡21bで反射していない被写体光が結像されて成る1つの被写体像(光学フィルタFb1,Fb2のそれぞれの適用回数が0である1つの被写体像)と、当該被写体像に隣接する被写体像であって鏡21bで1回反射した被写体光が結像されて成る2つの被写体像(光学フィルタFb1の適用回数が1である1つの被写体像、光学フィルタFb2の適用回数が1である1つの被写体像)と、当該被写体像に隣接する被写体像であって鏡21aで2回反射した被写体光が結像されて成る2つの被写体像(光学フィルタFb1,Fb2のそれぞれの適用回数が1である2つの被写体像)と、が撮像される。
When this
[第3例]
図4(a)に示すように、第3例では、反射部20が、反射面211cを内側に向けるとともに隣接して配置される3枚の鏡21cを有しており、当該鏡21cの光軸に垂直な断面がそれぞれの反射面211cを一辺とする正三角形になっている。さらに、当該鏡21cのそれぞれの反射面211c上には、フィルタ特性が異なる3種類の光学フィルタFc1,Fc2,Fc3が設けられている。[Third example]
As shown in FIG. 4A, in the third example, the reflecting
この鏡21cを用いた場合、例えば図4(b)に示すような被写体像が撮像される。具体的に例えば、主要な被写体像として、鏡21cで反射していない被写体光が結像されて成る1つの被写体像(光学フィルタFc1~Fc3のそれぞれの適用回数が0である1つの被写体像)と、当該被写体像に隣接する被写体像であって鏡21cで1回反射した被写体光が結像されて成る3つの被写体像(光学フィルタFc1の適用回数が1である1つの被写体像、光学フィルタFc2の適用回数が1である1つの被写体像、光学フィルタFc3の適用回数が1である1つの被写体像)と、当該被写体像に隣接する被写体像であって鏡21cで2回反射した被写体光が結像されて成る6つの被写体像(光学フィルタFc1,Fc2のそれぞれの適用回数が1である2つの被写体像、光学フィルタFc2,Fc3のそれぞれの適用回数が1である2つの被写体像、光学フィルタFc1,Fc3のそれぞれの適用回数が1である2つの被写体像)と、当該被写体像に隣接する被写体像であって鏡21cで3回反射した被写体光が結像されて成る6つの被写体像(光学フィルタFc1~Fc3のそれぞれの適用回数が1である6つの被写体像)と、が撮像される。また、この場合、被写体像の全体としては複数の正三角形を充填したパターンになるが、全ての被写体像が正三角形になるわけではなく、複数の小さな被写体像が組み合わさって1つの正三角形を成しているものも含まれる。
When this
[第4例]
図5(a)に示すように、第4例では、反射部20が、反射面211dを内側に向けるとともに隣接して配置される4枚の鏡21dを有しており、当該鏡21dの光軸に垂直な断面がそれぞれの反射面211dを一辺とする正方形(正四角形)になっている。また、反射面211dが対向するように配置されたある1組(2枚)の鏡21dのそれぞれの反射面211dにはフィルタ特性が同じである光学フィルタFd1が設けられ、反射面211dが対向するように配置された別の1組(2枚)の鏡21dのそれぞれの反射面211dにもフィルタ特性が同じである光学フィルタFd2が設けられるが、それぞれの組の鏡21dの反射面211d上に設けられる光学フィルタFd1,Fd2のフィルタ特性は異なる。したがって、4枚の鏡21dの反射面211d上には、フィルタ特性が異なる2種類の光学フィルタFd1,Fd2が設けられることになる。[4th example]
As shown in FIG. 5A, in the fourth example, the reflecting
この鏡21dを用いた場合、例えば図5(b)に示すような被写体像が撮像される。具体的に例えば、主要な被写体像として、鏡21cで反射していない被写体光が結像されて成る1つの被写体像(光学フィルタFd1,Fd2のそれぞれの適用回数が0である1つの被写体像)と、当該被写体像に隣接する被写体像であって鏡21dで1回反射した被写体光が結像されて成る4つの被写体像(光学フィルタFd1の適用回数が1である2つの被写体像、光学フィルタFd2の適用回数が1である2つの被写体像)と、当該被写体像に隣接する被写体像であって鏡21dで2回反射した被写体光が結像されて成る8つの被写体像(光学フィルタFd1の適用回数が2である2つの被写体像、光学フィルタFd2の適用回数が2である2つの被写体像、光学フィルタFd1,Fd2のそれぞれの適用回数が1である4つの被写体像)と、が撮像される。また、この場合、被写体像の全体としては複数の正方形を充填したパターンになるが、全ての被写体像が正方形になるわけではなく、複数の小さな被写体像が組み合わさって1つの正方形を成しているものも含まれる。
When this
[第5例]
図6(a)に示すように、第5例では、反射部20が、反射面211eを内側に向けるとともに隣接して配置される5枚の鏡21eを有しており、当該鏡21eの光軸に垂直な断面がそれぞれの反射面211eを一辺とする正五角形になっている。さらに、当該鏡21eのそれぞれの反射面211e上には、フィルタ特性が異なる5種類の光学フィルタFc1~Fc5が設けられている。[Fifth example]
As shown in FIG. 6A, in the fifth example, the reflecting
この鏡21eを用いた場合、例えば図6(b)に示すような被写体像が撮像される。具体的に例えば、主要な被写体像として、鏡21eで反射していない被写体光が結像されて成る1つの被写体像(光学フィルタFe1~Fe5のそれぞれの適用回数が0である1つの被写体像)と、当該被写体像に隣接する被写体像であって鏡21eで1回反射した被写体光が結像されて成る5つの被写体像(光学フィルタFe1の適用回数が1である1つの被写体像、光学フィルタFe2の適用回数が1である1つの被写体像、光学フィルタFe3の適用回数が1である1つの被写体像、光学フィルタFe4の適用回数が1である1つの被写体像、光学フィルタFe5の適用回数が1である1つの被写体像)と、が撮像される。また、この場合、鏡21eで反射していない被写体光が結像されて成る被写体像と鏡21eで1回反射した被写体光が結像されて成る被写体像とのそれぞれは正五角形になるが、正五角形では平面が充填されないため、隙間に他の被写体像が形成される。
When this
[第6例]
図6(a)に示すように、第6例では、反射部20が、反射面211fを内側に向けるとともに隣接して配置される6枚の鏡21fを有しており、当該鏡21fの光軸に垂直な断面がそれぞれの反射面211fを一辺とする正六角形になっている。また、反射面211fが平行かつ対向するように配置されたある1組(2枚)の鏡21fのそれぞれの反射面211fにはフィルタ特性が同じである光学フィルタFf1が設けられ、反射面211fが平行かつ対向するように配置された別の1組(2枚)の鏡21fのそれぞれの反射面211fにもフィルタ特性が同じである光学フィルタFf2が設けられ、反射面211fが平行かつ対向するように配置されたさらに別の1組(2枚)の鏡21fのそれぞれの反射面211fにもフィルタ特性が同じである光学フィルタFf3が設けられるが、それぞれの組の鏡21fの反射面211f上に設けられる光学フィルタFf1~Ff3のフィルタ特性は異なる。したがって、6枚の鏡21fの反射面211f上には、フィルタ特性が異なる3種類の光学フィルタFf1~Ff3が設けられることになる。[6th example]
As shown in FIG. 6A, in the sixth example, the reflecting
この鏡21fを用いた場合、例えば図6(b)に示すような被写体像が撮像される。具体的に例えば、主要な被写体像として、鏡21fで反射していない被写体光が結像されて成る1つの被写体像(光学フィルタFf1~Ff3のそれぞれの適用回数が0である1つの被写体像)と、当該被写体像に隣接する被写体像であって鏡21fで1回反射した被写体光が結像されて成る6つの被写体像(光学フィルタFf1の適用回数が1である2つの被写体像、光学フィルタFf2の適用回数が1である2つの被写体像、光学フィルタFf3の適用回数が1である2つの被写体像)と、当該被写体像に隣接する被写体像であって鏡21fで2回反射した被写体光が結像されて成る6つの被写体像(光学フィルタFf1の適用回数が2である2つの被写体像、光学フィルタFf2の適用回数が2である2つの被写体像、光学フィルタFf3の適用回数が2である2つの被写体像)と、が撮像される。また、この場合、被写体像の全体としては複数の正六角形を充填したパターンになるが、全ての被写体像が正六角形になるわけではなく、複数の小さな被写体像が組み合わさって1つの正六角形を成しているものも含まれる。
When this
[まとめ]
[第3例]~[第6例]は、反射面211c~211fを内側に向けるとともに隣接して配置されるX枚(Xは3以上の整数)の鏡21c~21fの光軸に垂直な断面が、当該鏡21c~21fのそれぞれの反射面211c~211fを一辺とする正X角形である点で共通する。このように構成すると、少なくとも、鏡21c~21fで反射していない被写体光が結像されて成る1つの正X角形の被写体像と、鏡21c~21fで1回反射した被写体光が結像されて成るX個(3つ以上)の被写体像と、を一度に撮像することができる。[summary]
In [Example 3] to [Example 6], the
また、上記の例では、Xが6以下であるが、Xを7以上としてもよい。ただし、Xを7以上にすると、鏡で反射していない被写体光が結像されて成る1つの正X角形の被写体像の周囲に、X個の被写体像を欠けることなく配置させることができなくなる。そのため、欠けがない正X角形の被写体像を撮像する観点から、Xは6以下にした方が好ましい。 Further, in the above example, X is 6 or less, but X may be 7 or more. However, if X is set to 7 or more, it becomes impossible to arrange X subject images without missing them around one regular X-square subject image formed by forming a subject light not reflected by a mirror. .. Therefore, it is preferable that X is 6 or less from the viewpoint of capturing a positive X-square subject image without chipping.
また、[第1例]、[第2例]、[第4例]及び[第6例]のように、反射部20が有する鏡21a,21b,21d,21fの枚数が偶数である場合、鏡21a,21b,21d,21fで反射していない被写体光が結像されて成る1つの被写体像と、反射面211a,211b,211d,211fが平行かつ対向する2枚の鏡21a,21b,21d,21fの一方で1回反射した被写体光が結像されて成る被写体像と、当該鏡21a,21b,21d,21fで多重反射した被写体光が結像されて成る被写体像が一列に整列する。そのため、[第3例]及び[第5例]のように、反射部20が有する鏡21c,21eの枚数が奇数の場合と比較して、被写体像の位置を特定し易い原画像データを得ることができる。
Further, when the number of
また、[第1例]~[第6例]から明らかなように、撮像部10で撮像される被写体像は、鏡で反射していない被写体光が結像されて成る被写体像を中心として、反射回数が少ない被写体光が結像されて成る被写体像ほど内側、反射回数が多い被写体光が結像されて成る被写体像ほど外側になる。また、反射回数が少ない被写体光が結像されて成る被写体像ほど鮮明になるため、このような被写体像を撮像した領域ほど、後の原画像データの処理において重要になり得る。そのため、鏡で反射していない被写体光が結像されて成る被写体像が原画像データの中心になるように反射部20を構成すると、好ましい。そして、このような原画像データを得るためには、反射部20が有する鏡のそれぞれの反射面から光軸Gまでの距離が等しくなるように当該鏡を配置すると、好ましい。
Further, as is clear from [1st example] to [6th example], the subject image captured by the
なお、[第4例]及び[第6例]では、反射面211d,211fが平行かつ対向する鏡21d,21fの組のそれぞれにおいて、フィルタ特性が同一である光学フィルタFd1,Fd2,Ff1~Ff3が設けられる場合について例示しているが、これらの一部または全部の組において、フィルタ特性が異なる光学フィルタを設けてもよい。[第1例]及び[第2例]の対比から明らかであるが、[第1例]のように反射面211aが平行かつ対向する鏡21aにフィルタ特性が同一の光学フィルタFa1を設けた場合は、光学フィルタの適用回数が異なる被写体像を撮像することができる。一方、[第2例]のように反射面211bが平行かつ対向する鏡21bにフィルタ特性が異なる光学フィルタFb1,Fb2を設けた場合は、適用された光学フィルタFb1,Fb2の種類が異なる被写体像を撮像することができる。
In [Example 4] and [Example 6], the optical filters Fd1, Fd2, Ff1 to Ff3 have the same filter characteristics in each of the sets of
また、[第3例]及び[第5例]では、鏡21c,21eのそれぞれの反射面211c,211e上に、フィルタ特性が異なる光学フィルタFc1~Fc3,Fe1~Fe5が設けられる場合について例示しているが、一部または全部の鏡21c,21eのそれぞれの反射面211c,211e上に、フィルタ特性が同一の光学フィルタを設けてもよい。また、[第4例]及び[第6例]において、反射面211d,211fが平行かつ対向する鏡21d,21fの複数の組において、フィルタ特性が同一の光学フィルタを設けてもよい。
Further, in [Example 3] and [Example 5], a case where optical filters Fc1 to Fc3 and Fe1 to Fe5 having different filter characteristics are provided on the
また、[第1例]及び[第2例]では、鏡21a,21bのそれぞれの反射面211a,211bが平行かつ対向しているが、平行にならずかつ対向していなくてもよい。この場合でも、鏡21a,21bで反射していない被写体光が結像されてなる1つの被写体像と、鏡21a,21bのそれぞれの反射面211a,211bで1回反射した被写体光が結像されてなる2つの被写体像と、を撮像することができる。
Further, in [1st example] and [2nd example], the
<<画像処理装置>>
次に、上述の撮像装置1の撮像によって得られた原画像データに基づいて、特定の波長帯域に分光した画像のデータである分光画像データを生成する画像処理装置について説明する。最初に、画像処理装置の構成の一例について図面を参照して説明する。図8は、本発明の実施形態に係る画像処理装置の構成の一例について示す模式図である。<< Image processing device >>
Next, an image processing device that generates spectroscopic image data, which is data of an image dispersed in a specific wavelength band, will be described based on the original image data obtained by the image pickup of the above-mentioned
図8に示すように、画像処理装置50は、データベース51と、演算部52とを備える。データベース51は、例えばハードディスクや不揮発性の半導体メモリなどのデータを記録可能な記録装置で構成される。演算部52は、例えばCPU(Central Processing Unit)などの演算装置と揮発性の半導体メモリなどの記憶装置とで構成される。
As shown in FIG. 8, the
データベース51は、上述の撮像装置1の撮像によって得られた原画像データの他に、演算部52が原画像データに基づいて分光画像データを生成するために必要なデータである撮像装置特性データ、被写体像位置データ及び反射履歴データも記録している。
The
撮像装置特性データには、撮像部10及び反射部20のそれぞれの光学特性のデータが含まれる。例えば、撮像装置特性データには、光源22が照射する光のスペクトル、光学フィルタFのフィルタ特性、撮像部10の分光感度が含まれる。
The image pickup device characteristic data includes data on the optical characteristics of each of the
被写体像位置データには、複数の被写体像のそれぞれが撮像されている画素の原画像データ中の位置のデータが含まれる。反射履歴データには、被写体像のそれぞれが結像されるまでに被写体光が鏡21で反射された履歴のデータが含まれる。例えば、被写体像位置データには、複数の被写体像のそれぞれが撮像されている画素の原画像データ中の位置のデータの他に、当該被写体像のそれぞれの向き(反転状態)のデータが含まれる。また、反射履歴データには、例えば、被写体像のそれぞれが結像されるまでに被写体光が反射して適用された光学フィルムF(鏡21)及びその適用回数(反射回数)のデータが含まれる。したがって、被写体像位置データ及び反射履歴データには、例えば図2(b)~図7(b)に示した内容のデータが含まれていると言える。なお、演算部52は、反射履歴データに含まれる、被写体像のそれぞれが結像されるまでに被写体光が反射して適用された光学フィルムF(鏡21)及びその適用回数(反射回数)のデータに基づいて、当該被写体像のそれぞれの向き(反転状態)を算出することができるため、被写体像位置データに被写体像の向きのデータが含まれていなくてもよい。
The subject image position data includes position data in the original image data of the pixels in which each of the plurality of subject images is captured. The reflection history data includes history data in which the subject light is reflected by the
演算部52は、データベース51に記録されているデータに基づいて、特定の波長帯域に分光した画像のデータである分光画像データを生成する。具体的に、演算部52は、被写体像位置データに基づいて、被写体Tの特定部分に相当する原画像データ中の複数の画素のそれぞれの位置を特定し、当該画素のそれぞれの画素値と、反射履歴データ及び撮像装置特性データとに基づいて、分光画像データにおける被写体Tの特定部分に相当する画素の画素値を算出する。そして、演算部52が、分光画像データを構成する複数の画素のそれぞれについてこの演算を実行して画素値を算出することで、分光画像データが生成される。
The
ここで、演算部52による分光画像データの生成方法の具体例について説明する。なお、以下では、説明の具体化のために、反射部20が、図2(a)に示した反射面211aに光学フィルタFa1が設けられている平行かつ対向する2枚の鏡21aで構成されており、撮像部10が、R(赤)、G(緑)、B(青)の3チャネルの光の強度を検出する場合について例示する。また、以下では、被写体Tが均一に照明されており、分光反射率が等方的であるものとする。
Here, a specific example of a method for generating spectroscopic image data by the
まず、鏡21aで反射していない被写体光が結像されて成る被写体像が撮像されている原画像データ中の画素における、k番目のチャネルにおける画素値ykは、下記式(1)のように表される。なお、下記式(1)において、λは波長、l(λ)は光源が照射する光のスペクトル、s(λ)は被写体Tの分光反射率、ck(λ)はk番目のチャネルの分光感度である。また、Λは波長の範囲であり、例えば、可視光を検出する場合は400~700nm程度の範囲である。First, the pixel value y k in the k-th channel in the pixel in the original image data in which the subject image formed by forming the subject light not reflected by the
一方、鏡21aで1回反射した被写体光が結像されて成る被写体像が撮像されている原画像データ中の画素における画素値yk,1は、下記式(2)のように表される。なお、下記式(2)において、f(λ)は光学フィルタFa1のフィルタ特性である。また、少なくともΛの波長の範囲内において、鏡21aの分光反射率はフラットであるものとする。On the other hand, the pixel values y k and 1 in the pixels in the original image data in which the subject image formed by forming the subject light reflected once by the
また、鏡21aで2回反射した(反射面211aが平行かつ対向する2枚の鏡21aで1回ずつ反射した)被写体光が結像されて成る被写体像が撮像されている原画像データ中の画素における画素値は、上記式(2)においてf(λ)を2回乗じたものになる。ここで、反射回数をiとして、これらの関係を一般化すると、鏡21aでi回反射した被写体光が結像されて成る被写体像が撮像されている原画像データ中の画素における画素値yk,iは、下記式(3)のように表すことができる。なお、0≦i≦Nであり、Nは鏡21aを用いた場合における反射の最大回数である。また、i=0の場合(鏡21aで反射していない被写体光が結像されて成る被写体像が撮像されている原画像データ中の画素における画素値)は、上記式(1)になる。また、例えば図3に例示したようなフィルタ特性が異なる光学フィルタが適用される場合の画素値は、下記式(3)において複数のフィルタ特性を乗じたものになる。Further, in the original image data in which the subject image formed by forming the subject light reflected twice by the
上記式(3)において、特定の波長帯域に分光した被写体Tの画像のデータである分光画像データを生成するためには、被写体Tの分光反射率s(λ)を算出すればよい。このとき、原画像データ中の画素における画素値yk,iは原画像データから得られ、光源22が照射する光のスペクトルl(λ)、光学フィルタFa1のフィルタ特性f(λ)、撮像部10におけるk番目のチャネルの分光特性ck(λ)は撮像装置特性データから得られる。また、反射回数iは、反射履歴データから得られる。そのため、上記式(3)に基づいて、被写体Tの分光反射率s(λ)を算出して分光画像データを生成することができる。In the above equation (3), in order to generate spectroscopic image data which is the data of the image of the subject T dispersed in a specific wavelength band, the spectral reflectance s (λ) of the subject T may be calculated. At this time, the pixel values y k and i in the pixels in the original image data are obtained from the original image data, the spectrum l (λ) of the light emitted by the
以下、上記式(3)に基づいて、被写体Tの分光反射率s(λ)を算出する方法について説明する。まず、演算の都合上、上記式(3)を離散表現に変換したものが下記式(4)である。なお、下記式(4)において、ak,i,λは、既知であるlλ-fi λck,λをまとめて表記したものである。また、λbとλeは、上記式(3)においてΛで表現していた波長の範囲の最小値及び最大値である。Hereinafter, a method of calculating the spectral reflectance s (λ) of the subject T will be described based on the above equation (3). First, for the convenience of calculation, the following equation (4) is obtained by converting the above equation (3) into a discrete expression. In the following equation (4), a k, i, and λ are a collective representation of the known l λ- f i λ c k, λ . Further, λ b and λ e are the minimum and maximum values in the wavelength range expressed by Λ in the above equation (3).
ここで、下記式(5)を用いると、上記式(4)は下記式(6)に書き換えられる。なお、下記式(5)におけるdλは離散表現における波長の粒度であり、波長の分解能Nλは(λe―λb)/dλになる。Here, if the following equation (5) is used, the above equation (4) can be rewritten into the following equation (6). Note that dλ in the following equation (5) is the particle size of the wavelength in the discrete representation, and the wavelength resolution N λ is (λ e ―λ b ) / dλ.
そして、最大でN回反射した被写体光が結像されて成る複数の被写体像が撮像部10で撮像される場合であって、当該複数の被写体像の同一部分(被写体Tの同一部分)に相当する原画像データ中の複数の画素のそれぞれにおける画素値が3つのチャネルを有している場合、下記式(7)のベクトルで表現した連立方程式が成り立つ。
Then, a plurality of subject images formed by forming a subject light reflected N times at the maximum are imaged by the
そして、上記式(7)において、上述の通り画素値のベクトルy及び係数行列Aは既知であるため、分光反射率sは下記式(8)を解くことで得られる。そこで、演算部52は、下記式(8)を解くことで、分光画像データの画素値である分光反射率sを算出する。なお、下記式(8)は、例えば最小二乗法で解くことができる。
Since the pixel value vector y and the coefficient matrix A are known in the above equation (7) as described above, the spectral reflectance s can be obtained by solving the following equation (8). Therefore, the
ところで、上記式(8)の問題を最小二乗法で解く場合における演算の安定性は、係数行列Aの階数に依存し、階数が十分な大きさであれば安定して解が得られる。階数は、下記のアルゴリズム1に対して、係数行列Aの特異値σi(1≦i≦min(3N,Nλ))を入力して計算される。By the way, the stability of the operation when solving the problem of the above equation (8) by the least squares method depends on the rank of the coefficient matrix A, and if the rank is sufficiently large, a stable solution can be obtained. The rank is calculated by inputting the singular value σ i (1 ≦ i ≦ min (3N, N λ )) of the coefficient matrix A to the
数値解析の分野では、問題の条件数は、その問題を安定して解くための重要な要素であることがよく知られており、条件数が低い問題は安定して解が得られる。上記式(8)の問題における条件数は、下記式(9)によって決まる。なお、下記式(9)において、σmaxは係数行列Aの特異値の最大値であり、σminは係数行列Aの特異値の最小値である。また、ここではσmaxをσ1、σminをσrank(A)とする。In the field of numerical analysis, it is well known that the conditional number of a problem is an important factor for stably solving the problem, and a problem with a low conditional number can be stably solved. The number of conditions in the problem of the above equation (8) is determined by the following equation (9). In the following equation (9), σ max is the maximum value of the singular value of the coefficient matrix A, and σ min is the minimum value of the singular value of the coefficient matrix A. Here, σ max is σ 1 and σ min is σ rank (A) .
そして、上述のように、光源22が照射する光のスペクトルlλ、光学フィルタFa1のフィルタ特性fλ、撮像部10におけるk番目のチャネルの分光特性ck,λが既知であるため、係数行列Aは事前に評価することができる。したがって、多くのカラーフィルタを有している場合、階数を十分な大きさにするとともに、条件数を最低にする最適なカラーフィルタを、事前に選択することが可能である。Then, as described above, since the spectrum l λ of the light emitted by the
また、上記式(8)の問題の解を求める計算をより安定させるために、凸最適化技術を利用して最適化すると、好ましい。まず、分光反射率は、物理的に負の値を取り得ず、1を超えることもない。さらに、分光反射率には平滑化制約を用いることができる。これらの制約を用いると、上記式(8)は下記式(10)に書き換えることができる。なお、下記式(10)において、αは平滑化項に関する係数である。 Further, in order to further stabilize the calculation for finding the solution of the problem of the above equation (8), it is preferable to optimize using the convex optimization technique. First, the spectral reflectance cannot take a physically negative value and does not exceed 1. Further, a smoothing constraint can be used for the spectral reflectance. Using these constraints, the above equation (8) can be rewritten into the following equation (10). In the following equation (10), α is a coefficient related to the smoothing term.
次に、上記式(10)は、下記式(11)のように行列形式で表すことができる。なお、Dは2次差分行列である。 Next, the above equation (10) can be expressed in a matrix format as in the following equation (11). Note that D is a quadratic difference matrix.
そして、上記式(11)の方程式における目的関数は、下記式(12)のように二次計画法で表現することができる。 Then, the objective function in the equation of the above equation (11) can be expressed by the quadratic programming method as shown in the following equation (12).
上記式(12)の第3項のyTyは定数であるため、上記式(12)は下記式(13)に等しいことになる。Since yT y in the third term of the above equation (12) is a constant, the above equation (12) is equal to the following equation (13).
上記式13の方程式は、二次錐計画法(S. Boyd and L. Vandenberghe, editors, “Convex Optimization”,Cambridge University Press, 2004)を用いて解を求めることができる。そして、当該最適化計画を実施するために、pythonの最適化ライブラリcvxopt(Cvxopt:Python software for convexoptimization, http://cvxopt.org, 2016年11月12日検索)を利用することができる。 The equation of Equation 13 above can be solved using the second-order cone programming method (S. Boyd and L. Vandenberghe, editors, “Convex Optimization”, Cambridge University Press, 2004). Then, in order to implement the optimization plan, Python's optimization library cvopt (Cvxopt: Python software for convexoptimization, http://cvxopt.org, searched on November 12, 2016) can be used.
上述の演算によって演算部52が生成した分光画像データの一例について図面を参照して説明する。図9は、図8に示す演算部が生成する分光画像データと従来のハイパースペクトルカメラの撮像によって得られる画像データとを対比して示した図である。なお、図9(a)は演算部52が生成した分光画像データを示した図であり、図9(b)は従来のハイパースペクトルカメラの撮像の撮像によって得られた画像データを示した図である。なお、図9(a)及び図9(b)の被写体は、緑色の葉である。
An example of the spectroscopic image data generated by the
図9(a)に示す演算部52が生成した分光画像データも、図9(b)に示すハイパースペクトルカメラの撮像によって得られた画像データも、波長が550nm及びその付近であるときに、葉が撮像されている画素の画素値が大きくなるという共通の結果が得られた。そして、この550nmという波長は緑色であり、実際の被写体の色と合致する。したがって、上述した撮像装置1及び画像処理装置50を用いることで、実際に分光画像データを生成することが可能である。
Both the spectroscopic image data generated by the
以上のように、本発明の実施形態に係る画像処理装置50では、1回の撮像によって得られた複数の被写体像が撮像されている原画像データに対する画像処理によって、分光画像データを生成することができる。
As described above, in the
なお、上述の実施形態に係る画像処理装置50では、撮像装置特性データに、光源22が照射する光のスペクトルl(λ)、光学フィルタFa1のフィルタ特性f(λ)、撮像部10におけるk番目のチャネルの分光特性ck(λ)が含まれる場合について例示したが、これ以外の特性値を記録してもよい。In the
具体的には、上記式(4)におけるak,i,λを算出して撮像装置特性データに記録することが考えられる。例えば、分光反射率が既知である様々な色が配置されたパネルを撮像装置1によって撮像する(即ち、キャリブレーションを行う)ことで原画像データを得れば、画素値yk,i及び分光反射率s(λ)が既知であることからak,i,λを算出することが可能である。Specifically, it is conceivable to calculate ak, i, and λ in the above equation (4) and record them in the image pickup device characteristic data. For example, if the original image data is obtained by imaging (that is, performing calibration) a panel on which various colors having known spectral reflectances are arranged by the
このように、キャリブレーションによってak,i,λを算出すると、例えば、撮像装置1の反射部20が光源22を備えていない場合など、被写体Tに照射される光のスペクトルl(λ)が算出し難い場合であっても、簡単に撮像装置特性データを得ることができる。When the ak, i, and λ are calculated by calibration in this way, the spectrum l (λ) of the light applied to the subject T becomes, for example, when the reflecting
本発明は、一度に複数の被写体像を撮像する撮像装置と、当該撮像装置が作成した画像のデータを処理する画像処理装置に利用可能である。 The present invention can be used for an image pickup device that captures a plurality of subject images at one time and an image processing device that processes image data created by the image pickup device.
1 : 撮像装置
10 : 撮像部
11 : 結像素子
12 : 撮像素子
20 : 反射部
21,21a~21f : 鏡
211,211a~211f : 反射面
30 : 光源
50 : 画像処理装置
51 : データベース
52 : 演算部
T : 被写体
F,Fa1,Fb1,Fb2,Fc1~Fc3,Fd1,Fd2,Fe1~Fe5,Ff1~Ff3 : 光学フィルタ
1: Image pickup device 10: Image pickup unit 11: Image pickup element 12: Image pickup element 20:
Claims (10)
前記被写体光を反射させて前記撮像部に入射させる鏡を複数有する反射部と、を備え、
前記反射部が有する前記鏡のそれぞれは、反射面で反射する光の波長特性を変化させる光学フィルタが当該反射面上に設けられているとともに、前記結像素子の光軸に対して前記反射面が平行になるように配置されていることを特徴とする撮像装置。An image pickup unit having an image pickup element that forms an image of subject light coming from the subject and an image pickup element that captures an image of the subject image formed by the image pickup element to create original image data.
A reflecting unit having a plurality of mirrors that reflect the subject light and incident on the imaging unit is provided.
Each of the mirrors of the reflecting unit is provided with an optical filter on the reflecting surface that changes the wavelength characteristics of the light reflected by the reflecting surface, and the reflecting surface with respect to the optical axis of the imaging element. An image pickup device characterized in that they are arranged so as to be parallel to each other.
当該鏡の前記光軸に対して垂直な断面が、当該鏡のそれぞれの前記反射面を一辺とする正X角形であることを特徴とする請求項1に記載の撮像装置。The reflective portion has X mirrors (where X is an integer of 3 or more) arranged adjacently with the reflective surface facing inward.
The imaging apparatus according to claim 1, wherein the cross section of the mirror perpendicular to the optical axis is a regular X-sided mirror having each of the reflecting surfaces of the mirror as one side.
前記データベースに記録されているデータに基づいて、特定の波長帯域に分光した画像のデータである分光画像データを生成する演算部と、を備え、
前記演算部は、前記被写体像位置データに基づいて、前記被写体の特定部分に相当する前記原画像データ中の複数の画素のそれぞれの位置を特定し、当該画素のそれぞれの画素値と、前記反射履歴データ及び前記撮像装置特性データとに基づいて、前記分光画像データにおける前記被写体の前記特定部分に相当する画素の画素値を算出することを特徴とする画像処理装置。
The original image data created by the image pickup device according to any one of claims 1 to 9, the image pickup device characteristic data including the optical characteristic data of each of the image pickup unit and the reflection unit, and a plurality of the above. The subject image position data including the position data in the original image data of the pixel in which each of the subject images is captured and the subject light reflected by the mirror until each of the subject images is imaged. A database that records reflection history data, including history data, and
A calculation unit that generates spectroscopic image data, which is data of an image dispersed in a specific wavelength band based on the data recorded in the database, is provided.
Based on the subject image position data, the calculation unit identifies the positions of each of a plurality of pixels in the original image data corresponding to the specific portion of the subject, and the pixel values of the pixels and the reflection. An image processing device characterized by calculating the pixel value of a pixel corresponding to the specific portion of the subject in the spectral image data based on the history data and the image pickup device characteristic data.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017067131 | 2017-03-30 | ||
JP2017067131 | 2017-03-30 | ||
PCT/JP2018/011153 WO2018180808A1 (en) | 2017-03-30 | 2018-03-20 | Image capture device and image processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018180808A1 JPWO2018180808A1 (en) | 2020-02-06 |
JP7058881B2 true JP7058881B2 (en) | 2022-04-25 |
Family
ID=63676939
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019509614A Active JP7058881B2 (en) | 2017-03-30 | 2018-03-20 | Image pickup device and image processing device |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7058881B2 (en) |
WO (1) | WO2018180808A1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005260480A (en) | 2004-03-10 | 2005-09-22 | Olympus Corp | Multispectrum image photography apparatus and adapter lens |
JP2010245870A (en) | 2009-04-07 | 2010-10-28 | Olympus Corp | Lens adapter device for multi-spectral photographing, multi-spectral camera and image processor |
JP2014533355A (en) | 2011-11-04 | 2014-12-11 | アイメックImec | Spectral camera with a mirror for projecting multiple adjacent image copies onto a sensor array |
JP2016511980A (en) | 2013-02-13 | 2016-04-21 | ウニベージティート デス ザ−ルランデスUniversitaet Des Saarlandes | Plenoptic imaging device |
-
2018
- 2018-03-20 JP JP2019509614A patent/JP7058881B2/en active Active
- 2018-03-20 WO PCT/JP2018/011153 patent/WO2018180808A1/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005260480A (en) | 2004-03-10 | 2005-09-22 | Olympus Corp | Multispectrum image photography apparatus and adapter lens |
JP2010245870A (en) | 2009-04-07 | 2010-10-28 | Olympus Corp | Lens adapter device for multi-spectral photographing, multi-spectral camera and image processor |
JP2014533355A (en) | 2011-11-04 | 2014-12-11 | アイメックImec | Spectral camera with a mirror for projecting multiple adjacent image copies onto a sensor array |
JP2016511980A (en) | 2013-02-13 | 2016-04-21 | ウニベージティート デス ザ−ルランデスUniversitaet Des Saarlandes | Plenoptic imaging device |
Also Published As
Publication number | Publication date |
---|---|
JPWO2018180808A1 (en) | 2020-02-06 |
WO2018180808A1 (en) | 2018-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3830551B1 (en) | A hybrid spectral imager | |
AU731476B2 (en) | Multi-spectral two-dimensional imaging spectrometer | |
US5982497A (en) | Multi-spectral two-dimensional imaging spectrometer | |
KR102624537B1 (en) | Imaging device having an image distribution unit that generates spatially coded images | |
US7835002B2 (en) | System for multi- and hyperspectral imaging | |
Geelen et al. | A snapshot multispectral imager with integrated tiled filters and optical duplication | |
US9438793B2 (en) | Image forming apparatus, image forming method and image sensor | |
US9945721B2 (en) | Selective wavelength imaging systems and methods | |
US10212401B2 (en) | Image generation device and imaging device | |
US10101206B2 (en) | Spectral imaging method and system | |
CN108692815B (en) | Multispectral imaging using longitudinal chromatic aberration | |
US10897585B2 (en) | Hyperspectral imaging system and method for providing a hyperspectral image of an area of a remote object | |
JP2002320234A (en) | Apparatus for photoelectrically measuring two- dimensional object measured at each pixel | |
US10209440B2 (en) | Imaging sensor with Bragg filter and method of manufacturing the same | |
US20220299369A1 (en) | System, Method and Apparatus for Wide Wavelength Range Imaging with Focus and Image Correction | |
JP2016090291A (en) | Imaging apparatus, spectroscopy system and spectroscopy method | |
Trumpy et al. | A multispectral design for a new generation of film scanners | |
US10446600B2 (en) | Imaging system and imaging device having a random optical filter array | |
JP7058881B2 (en) | Image pickup device and image processing device | |
US9110293B2 (en) | Prismatic image replication for obtaining color data from a monochrome detector array | |
JP2016102679A (en) | Spectroscopic measurement device | |
Pust | Optical filters–Technology and applications | |
JP2013024637A (en) | Spectroscopic imaging apparatus | |
JP5360539B2 (en) | Image spectrometer | |
Couce et al. | A windowing/pushbroom hyperspectral imager |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210217 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220405 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220406 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7058881 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |