JP7058881B2 - Image pickup device and image processing device - Google Patents

Image pickup device and image processing device Download PDF

Info

Publication number
JP7058881B2
JP7058881B2 JP2019509614A JP2019509614A JP7058881B2 JP 7058881 B2 JP7058881 B2 JP 7058881B2 JP 2019509614 A JP2019509614 A JP 2019509614A JP 2019509614 A JP2019509614 A JP 2019509614A JP 7058881 B2 JP7058881 B2 JP 7058881B2
Authority
JP
Japan
Prior art keywords
subject
image
image pickup
mirror
mirrors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019509614A
Other languages
Japanese (ja)
Other versions
JPWO2018180808A1 (en
Inventor
剛志 高谷
隆仁 青砥
康博 向川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nara Institute of Science and Technology NUC
Original Assignee
Nara Institute of Science and Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nara Institute of Science and Technology NUC filed Critical Nara Institute of Science and Technology NUC
Publication of JPWO2018180808A1 publication Critical patent/JPWO2018180808A1/en
Application granted granted Critical
Publication of JP7058881B2 publication Critical patent/JP7058881B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/08—Mirrors
    • G02B5/09—Multifaceted or polygonal mirrors, e.g. polygonal scanning mirrors; Fresnel mirrors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/17—Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Optical Elements Other Than Lenses (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Color Television Image Signal Generators (AREA)
  • Blocking Light For Cameras (AREA)
  • Image Input (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

本発明は、一度に複数の被写体像を撮像する撮像装置と、当該撮像装置が作成した原画像データを処理する画像処理装置とに関する。 The present invention relates to an image pickup device that captures a plurality of subject images at one time, and an image processing device that processes original image data created by the image pickup device.

近年、青果に含まれる糖の含有量の分布を測定するなどの目的で、ハイパースペクトルカメラが用いられることがある。一般的なハイパースペクトルカメラは、分光器を用いてスリットを通過した被写体の一次元の位置の光を、当該光と垂直な方向に波長分解することで二次元の光学像に変換し、当該光学像を二次元イメージセンサで撮像するものである。このハイパースペクトルカメラは、分光器やスリットなどの光学系を駆動することで撮像する位置を切り替えながら（走査しながら）繰り返し撮像することで、複数の波長帯域毎の二次元画像を得る。また、分光器の代わりに、被写体に対して光を照射する光源と、当該光源に適用する切り替え可能な複数色のカラーフィルタと、を備え、当該カラーフィルタを切り替えながら二次元画像を繰り返し撮像することで、複数の波長帯域毎の二次元画像を得るハイパースペクトルカメラもある。 In recent years, hyperspectral cameras may be used for the purpose of measuring the distribution of sugar content in fruits and vegetables. A general hyperspectral camera uses a spectroscope to convert light at a one-dimensional position of a subject that has passed through a slit into a two-dimensional optical image by wavelength-resolving the light in a direction perpendicular to the light, and the optics. The image is captured by a two-dimensional image sensor. This hyperspectral camera obtains a two-dimensional image for each of a plurality of wavelength bands by repeatedly taking images while switching (scanning) the image pickup position by driving an optical system such as a spectroscope or a slit. Further, instead of the spectroscope, a light source that irradiates the subject with light and a switchable multi-color color filter applied to the light source are provided, and a two-dimensional image is repeatedly imaged while switching the color filter. Therefore, there is also a hyperspectral camera that obtains a two-dimensional image for each of a plurality of wavelength bands.

これらのような従来のハイパースペクトルカメラでは、画像が二次元であって波長が一次元である合計三次元の情報を、二次元イメージセンサで撮像して取得するという関係上、全ての情報を取得するためには複数回の撮像が必須になる。そのため、撮像時間が長くなってしまうという問題がある。また、このような従来のハイパースペクトルカメラでは、光学系の駆動やカラーフィルタを切り替える機構が必要であるため、装置の構成が複雑かつ大型になってしまうという問題もある。 With conventional hyperspectral cameras such as these, all information is acquired because the image is two-dimensional and the wavelength is one-dimensional, and a total of three-dimensional information is captured and acquired by a two-dimensional image sensor. In order to do so, multiple imaging is essential. Therefore, there is a problem that the imaging time becomes long. Further, such a conventional hyperspectral camera requires a mechanism for driving an optical system and switching a color filter, so that there is a problem that the configuration of the device becomes complicated and large.

そこで、特許文献１では、鏡と光学フィルタを用いて、光学フィルタを通過する被写体光と光学フィルタを通過しない被写体光のそれぞれを、撮像素子上の異なる位置に結像することで、１回の撮像によって波長特性が異なる２つの被写体像を撮像可能にした撮像装置が提案されている。具体的に、この撮像装置は、レンズの直前に、当該レンズに向かって左右の間隔が狭くなるように（テーパをつけて）配置された２枚の鏡を備える。これにより、光軸の左側からレンズに入射する被写体光と、光軸の右側からレンズに入射する被写体光とのそれぞれが、撮像素子上の異なる位置に結像される。 Therefore, in Patent Document 1, a mirror and an optical filter are used to form an image of the subject light that passes through the optical filter and the subject light that does not pass through the optical filter at different positions on the image pickup element. An imaging device has been proposed that enables imaging of two subject images having different wavelength characteristics depending on the imaging. Specifically, this imaging device includes two mirrors arranged (tapered) in front of the lens so that the distance between the left and right sides is narrowed toward the lens. As a result, the subject light incident on the lens from the left side of the optical axis and the subject light incident on the lens from the right side of the optical axis are imaged at different positions on the image sensor.

特開２０１０－２４５８７０号公報Japanese Unexamined Patent Publication No. 2010-245870

しかしながら、特許文献１で提案されている撮像装置では、１回の撮像で最大でも２つの被写体像しか撮像することができないという問題があった。 However, the image pickup apparatus proposed in Patent Document 1 has a problem that only two subject images can be captured at the maximum in one image pickup.

なお、特許文献１の図９では、光軸の左右の鏡で反射された被写体光が結像されて成る２つの被写体像の他に、光軸に沿って直進しており鏡で反射されていない被写体光が結像されて成る１つの被写体像も撮像可能であるかのように図示されている。しかし、この撮像装置では、テーパがつけられた鏡を用いる必要があるため、光軸の左右の鏡で反射された被写体光が結像されて成る２つの被写体像が、光軸に沿って直進しており鏡で反射されていない被写体光が結像されて成る１つの被写体像に対して、大きく歪んでしまう。そのため、これらの被写体像は、対比することが不可能（または著しく困難）であるから、一方の被写体像は撮像しても無意味になってしまう。したがって、この撮像装置では、１回の撮像で最大でも２つの被写体像しか撮像することができない。 In FIG. 9 of Patent Document 1, in addition to the two subject images formed by forming the subject light reflected by the mirrors on the left and right of the optical axis, the subject light travels straight along the optical axis and is reflected by the mirror. A single subject image formed by forming an image of no subject light is also illustrated as if it could be imaged. However, since it is necessary to use a tapered mirror in this image pickup device, two subject images formed by forming the subject light reflected by the mirrors on the left and right of the optical axis travel straight along the optical axis. The subject light that is not reflected by the mirror is imaged and is greatly distorted with respect to one subject image. Therefore, since it is impossible (or extremely difficult) to compare these subject images, it is meaningless to capture one of the subject images. Therefore, with this image pickup device, only two subject images can be captured at the maximum in one image pickup.

そこで、本発明は、一度の撮像で３つ以上の対比可能な被写体像を撮像することができる撮像装置と、当該撮像装置が作成した原画像データに基づいて特定の波長帯域の光の強度を表した画像のデータである分光画像データを生成する画像処理装置とを提供する。 Therefore, the present invention has an image pickup device capable of capturing three or more contrastable subject images by one image pickup, and the intensity of light in a specific wavelength band based on the original image data created by the image pickup device. Provided is an image processing apparatus that generates spectroscopic image data, which is the data of the represented image.

上記目的を達成するため、本発明は、被写体から到来する被写体光を結像する結像素子と、前記結像素子が結像した被写体像を撮像して原画像データを作成する撮像素子と、を有する撮像部と、前記被写体光を反射させて前記撮像部に入射させる鏡を複数有する反射部と、を備え、前記反射部が有する前記鏡のそれぞれは、反射面で反射する光の波長特性を変化させる光学フィルタが当該反射面上に設けられているとともに、前記結像素子の光軸に対して前記反射面が平行になるように配置されていることを特徴とする撮像装置を提供する。 In order to achieve the above object, the present invention comprises an imaging element that forms an image of subject light coming from a subject, an imaging element that images a subject image formed by the imaging element, and creates original image data. Each of the mirrors having the image pickup unit and the reflection unit having a plurality of mirrors for reflecting the subject light and incident on the image pickup unit has wavelength characteristics of light reflected by the reflection surface. Provided is an image pickup apparatus characterized in that an optical filter for changing the light is provided on the reflection surface and the reflection surface is arranged so as to be parallel to the optical axis of the image pickup element. ..

この撮像装置によれば、鏡で反射していない被写体光が結像されて成る被写体像と、反射面が光軸に対して平行である複数の鏡で反射した被写体光が結像されて成るために当該被写体像に対する歪みがない（または小さい）２つ以上の被写体像と、を一度に撮像することができる。 According to this image pickup apparatus, a subject image formed by forming a subject light not reflected by a mirror and a subject light reflected by a plurality of mirrors whose reflecting surface is parallel to the optical axis are formed. Therefore, it is possible to capture two or more subject images without (or small) distortion with respect to the subject image at one time.

また、上記特徴の撮像装置において、前記反射部が、前記反射面を内側に向けるとともに隣接して配置されるＸ枚（Ｘは３以上の整数）の前記鏡を有し、当該鏡の前記光軸に対して垂直な断面が、当該鏡のそれぞれの前記反射面を一辺とする正Ｘ角形であるようにしてもよい。 Further, in the image pickup apparatus having the above-mentioned characteristics, the reflecting portion has X mirrors (X is an integer of 3 or more) arranged adjacently with the reflecting surface facing inward, and the light of the mirror. The cross section perpendicular to the axis may be a regular X-sided mirror having each of the reflecting surfaces of the mirror as one side.

この撮像装置によれば、少なくとも、鏡で反射していない被写体光が結像されて成る１つの正Ｘ角形の被写体像と、鏡で１回反射した被写体光が結像されて成るＸ個（３つ以上）の被写体像と、を一度に撮像することができる。したがって、Ｘ＋１個以上（４つ以上）の被写体像を一度に撮像することができる。 According to this image pickup apparatus, at least one positive X-square subject image formed by forming a subject light not reflected by a mirror and X pieces formed by forming an image of a subject light reflected once by a mirror ( It is possible to capture three or more subject images at once. Therefore, X + 1 or more (4 or more) subject images can be captured at one time.

また、上記特徴の撮像装置において、前記反射部が有する前記鏡の枚数が６枚以下であるようにしてもよい。 Further, in the image pickup apparatus having the above-mentioned characteristics, the number of the mirrors included in the reflecting unit may be 6 or less.

この撮像装置によれば、少なくとも、鏡で反射していない被写体光が結像されて成る１つの正Ｘ角形の被写体像と、鏡で１回反射した被写体光が結像されて成るＸ個の欠けがない正Ｘ角形の被写体像と、を撮像することができる。 According to this image pickup apparatus, at least one positive X-square subject image formed by forming an image of subject light not reflected by a mirror and X pieces formed by forming an image of subject light reflected once by a mirror. It is possible to take an image of a positive X-sided subject without any chipping.

また、上記特徴の撮像装置において、前記反射部が有する前記鏡の枚数が偶数であり、前記反射面が平行かつ対向するように配置されている２枚の前記鏡のそれぞれは、少なくとも当該鏡の前記反射面のそれぞれで１回ずつ反射した前記被写体光が結像されて成る少なくとも１つの前記被写体像が前記撮像部に撮像されるように配置されているようにしてもよい。 Further, in the image pickup apparatus having the above-mentioned characteristics, the number of the mirrors possessed by the reflecting unit is an even number, and each of the two mirrors arranged so that the reflecting surfaces are parallel and facing each other is at least the mirror. At least one image of the subject formed by forming the image of the subject light reflected once on each of the reflecting surfaces may be arranged so as to be imaged by the image pickup unit.

この撮像装置によれば、鏡で反射していない被写体光が結像されて成る１つの正Ｘ角形の被写体像と、反射面が平行かつ対向する２枚の鏡の一方で１回反射した被写体光が結像されて成る２つの被写体像と、当該鏡のそれぞれで１回ずつ反射（多重反射）した被写体光が結像されて成る少なくとも１つの被写体像と、を一度に撮像することができる。さらに、この場合、これらの被写体像が一列に整列するため、被写体像の位置を特定し易い原画像データを得ることができる。 According to this image pickup device, one positive X-sided subject image formed by forming a subject light not reflected by a mirror and a subject reflected once by one of two mirrors whose reflecting surfaces are parallel and facing each other. Two subject images formed by forming light and at least one subject image formed by forming subject light reflected once by each of the mirrors (multiple reflections) can be imaged at one time. .. Further, in this case, since these subject images are aligned in a row, it is possible to obtain original image data in which the position of the subject image can be easily specified.

また、上記特徴の撮像装置において、前記反射部が、前記反射面が平行かつ対向するように配置された２枚の前記鏡を有し、当該鏡のそれぞれは、少なくとも当該鏡の前記反射面のそれぞれで１回ずつ反射した前記被写体光が結像されて成る少なくとも１つの前記被写体像が前記撮像部に撮像されるように配置されているようにしてもよい。 Further, in the image pickup apparatus having the above-mentioned characteristics, the reflecting portion has two mirrors arranged so that the reflecting surfaces are parallel to each other and face each other, and each of the mirrors has at least the reflecting surface of the mirror. At least one image of the subject, which is formed by forming the image of the subject light reflected once for each, may be arranged so as to be imaged by the image pickup unit.

この撮像装置によれば、少なくとも、鏡で反射していない被写体光が結像されて成る１つの被写体像と、反射面が平行かつ対向する２枚の鏡の一方で１回反射した被写体光が結像されて成る２つの被写体像と、当該鏡のそれぞれで１回ずつ反射（多重反射）した被写体光が結像されて成る少なくとも１つの被写体像と、を一度に撮像することができる。したがって、４つ以上の被写体像を一度に撮像することができる。さらに、この場合、これらの被写体像が一列に整列するため、被写体像の位置を特定し易い原画像データを得ることができる。 According to this image pickup device, at least one subject image formed by forming a subject light not reflected by a mirror and the subject light reflected once by one of two mirrors having parallel and facing reflecting surfaces. Two subject images formed by forming an image and at least one subject image formed by forming a subject light reflected once by each of the mirrors (multiple reflections) can be imaged at one time. Therefore, four or more subject images can be captured at one time. Further, in this case, since these subject images are aligned in a row, it is possible to obtain original image data in which the position of the subject image can be easily specified.

また、上記特徴の撮像装置において、前記反射面が平行かつ対向するように配置された少なくとも１組の前記鏡の前記反射面上に設けられている前記光学フィルタのそれぞれは、フィルタ特性が同一であるようにしてもよい。 Further, in the image pickup apparatus having the above-mentioned characteristics, the optical filters provided on the reflecting surfaces of at least one set of mirrors arranged so that the reflecting surfaces are parallel and facing each other have the same filter characteristics. It may be.

この撮像装置によれば、少なくとも、あるフィルタ特性の光学フィルタが１回適用された被写体光が結像されて成る被写体像と、当該光学フィルタが２回適用された被写体光が結像されて成る被写体像と、を撮像することができる。したがって、光学フィルタの適用回数が異なる被写体光が結像されて成る被写体像のそれぞれを撮像することができる。 According to this image pickup apparatus, at least a subject image formed by applying an optical filter having a certain filter characteristic once and a subject light to which the optical filter is applied twice are formed. It is possible to take an image of a subject image. Therefore, it is possible to capture each of the subject images formed by forming subject lights having different application times of the optical filter.

また、上記特徴の撮像装置において、前記反射面が平行かつ対向するように配置された少なくとも１組の前記鏡の前記反射面上に設けられている前記光学フィルタのそれぞれは、フィルタ特性が異なるようにしてもよい。 Further, in the image pickup apparatus having the above-mentioned characteristics, the optical filters provided on the reflecting surfaces of at least one set of mirrors arranged so that the reflecting surfaces are parallel and facing each other have different filter characteristics. You may do it.

この撮像装置によれば、少なくとも、あるフィルタ特性の光学フィルタが１回適用された被写体光が結像されて成る被写体像と、当該光学フィルタとは異なるフィルタ特性の光学フィルタが１回適用された被写体光が結像されて成る被写体像と、これらの２つの光学フィルタが１回ずつ適用された被写体光が結像されて成る被写体像と、を撮像することができる。したがって、適用された光学フィルタの種類が異なる被写体光が結像されて成る被写体像のそれぞれを撮像することができる。 According to this image pickup apparatus, a subject image formed by forming an image of a subject light to which an optical filter having a certain filter characteristic is applied once and an optical filter having a filter characteristic different from the optical filter are applied once. It is possible to image a subject image formed by forming a subject light and a subject image formed by forming a subject light to which these two optical filters are applied once. Therefore, it is possible to capture each of the subject images formed by forming subject lights of different types of applied optical filters.

また、上記特徴の撮像装置において、前記鏡のそれぞれは、前記反射面から前記光軸までの距離が等しくなるように配置されるようにしてもよい。 Further, in the image pickup apparatus having the above-mentioned characteristics, each of the mirrors may be arranged so that the distances from the reflection surface to the optical axis are equal.

この撮像装置によれば、鏡で反射していないか反射回数が少ない被写体光が結像されて成るために鮮明である複数の被写体像を、原画像データの中心に配置することができる。そのため、原画像データにおいてこれらの被写体像が欠けることを抑制することができる。 According to this image pickup apparatus, it is possible to arrange a plurality of clear subject images at the center of the original image data because the subject light that is not reflected by the mirror or has a small number of reflections is formed into an image. Therefore, it is possible to suppress the lack of these subject images in the original image data.

また、上記特徴の撮像装置において、前記反射部が、前記鏡の前記撮像部から遠い方の端部に設けられて前記被写体に対して光を照射する光源を、さらに有するようにしてもよい。 Further, in the image pickup apparatus having the above-mentioned characteristics, the reflection unit may further have a light source provided at an end portion of the mirror far from the image pickup unit to irradiate the subject with light.

この撮像装置によれば、撮像時に被写体に対して照射される光のスペクトルを統一することができる。そのため、原画像データの処理を容易にすることができる。 According to this image pickup apparatus, it is possible to unify the spectrum of the light emitted to the subject at the time of image pickup. Therefore, the processing of the original image data can be facilitated.

また、本発明は、上記の撮像装置によって作成された前記原画像データと、前記撮像部及び前記反射部のそれぞれの光学特性のデータを含む撮像装置特性データと、複数の前記被写体像のそれぞれが撮像されている画素の前記原画像データ中の位置のデータを含む被写体像位置データと、当該被写体像のそれぞれが結像されるまでに前記被写体光が前記鏡で反射された履歴のデータを含む反射履歴データと、を記録するデータベースと、前記データベースに記録されているデータに基づいて、特定の波長帯域に分光した画像のデータである分光画像データを生成する演算部と、を備え、前記演算部は、前記被写体像位置データに基づいて、前記被写体の特定部分に相当する前記原画像データ中の複数の画素のそれぞれの位置を特定し、当該画素のそれぞれの画素値と、前記反射履歴データ及び前記撮像装置特性データとに基づいて、前記分光画像データにおける前記被写体の前記特定部分に相当する画素の画素値を算出することを特徴とする画像処理装置を提供する。 Further, in the present invention, the original image data created by the image pickup device, the image pickup device characteristic data including the optical characteristic data of each of the image pickup unit and the reflection unit, and each of the plurality of subject images are Includes subject image position data including position data of the imaged pixel in the original image data, and historical data in which the subject light is reflected by the mirror until each of the subject images is imaged. The calculation is provided with a database for recording reflection history data, and a calculation unit for generating spectral image data which is data of an image dispersed in a specific wavelength band based on the data recorded in the database. Based on the subject image position data, the unit identifies the positions of each of the plurality of pixels in the original image data corresponding to the specific portion of the subject, and the pixel values of the pixels and the reflection history data. Further, an image processing device is provided which calculates the pixel value of a pixel corresponding to the specific portion of the subject in the spectral image data based on the image pickup device characteristic data.

この画像処理装置によれば、上記の撮像装置によって作成された複数の被写体像が含まれる原画像データに基づいて、分光画像データを生成することができる。 According to this image processing device, it is possible to generate spectroscopic image data based on the original image data including a plurality of subject images created by the above-mentioned image pickup device.

上記特徴の撮像装置によれば、鏡で反射していない被写体光が結像されて成る被写体像と、反射面が光軸に対して平行である複数の鏡で反射した被写体光が結像されて成るために当該被写体像に対する歪みがない（または小さい）２つ以上の被写体像と、の合計３つ以上の対比可能な被写体像を、一度に撮像することができる。 According to the image pickup device having the above characteristics, a subject image formed by forming a subject light not reflected by a mirror and a subject light reflected by a plurality of mirrors whose reflecting surfaces are parallel to the optical axis are formed. Therefore, it is possible to capture a total of three or more comparable subject images at one time, and two or more subject images that are not (or are small) distorted with respect to the subject image.

本発明の実施形態に係る撮像装置の構成の一例について示す模式図。The schematic diagram which shows an example of the structure of the image pickup apparatus which concerns on embodiment of this invention. 反射部が有する鏡の構成の第１例と当該鏡を用いた場合に撮像部で撮像される被写体像の一例とのそれぞれを示す模式図。The schematic diagram which shows each of the 1st example of the structure of the mirror which the reflection part has, and the example of the subject image which is imaged by the image pickup part when the said mirror is used. 反射部が有する鏡の構成の第２例と当該鏡を用いた場合に撮像部で撮像される被写体像の一例とのそれぞれを示す模式図。The schematic diagram which shows each of the 2nd example of the structure of the mirror which the reflection part has, and an example of the subject image which is imaged by the image pickup part when the said mirror is used. 反射部が有する鏡の構成の第３例と当該鏡を用いた場合に撮像部で撮像される被写体像の一例とのそれぞれを示す模式図。The schematic diagram which shows each of the 3rd example of the structure of the mirror which the reflection part has, and the example of the subject image which is imaged by the image pickup part when the said mirror is used. 反射部が有する鏡の構成の第４例と当該鏡を用いた場合に撮像部で撮像される被写体像の一例とのそれぞれを示す模式図。The schematic diagram which shows each of the 4th example of the structure of the mirror which the reflection part has, and the example of the subject image which is imaged by the image pickup part when the said mirror is used. 反射部が有する鏡の構成の第５例と当該鏡を用いた場合に撮像部で撮像される被写体像の一例とのそれぞれを示す模式図。The schematic diagram which shows each of the 5th example of the structure of the mirror which the reflection part has, and the example of the subject image which is imaged by the image pickup part when the said mirror is used. 反射部が有する鏡の構成の第６例と当該鏡を用いた場合に撮像部で撮像される被写体像の一例とのそれぞれを示す模式図。The schematic diagram which shows each of the 6th example of the structure of the mirror which the reflection part has, and the example of the subject image which is imaged by the image pickup part when the said mirror is used. 本発明の実施形態に係る画像処理装置の構成の一例について示す模式図。The schematic diagram which shows an example of the structure of the image processing apparatus which concerns on embodiment of this invention. 図８に示す演算部が生成する分光画像データと従来のハイパースペクトルカメラの撮像によって得られる画像データとを対比して示した図。FIG. 8 is a diagram showing a comparison between the spectroscopic image data generated by the arithmetic unit shown in FIG. 8 and the image data obtained by imaging with a conventional hyperspectral camera.

＜＜撮像装置＞＞
最初に、本発明の実施形態に係る撮像装置の構成の一例について図面を参照して説明する。図１は、本発明の実施形態に係る撮像装置の構成の一例について示す模式図である。<< Imaging device >>
First, an example of the configuration of the image pickup apparatus according to the embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a schematic diagram showing an example of the configuration of the image pickup apparatus according to the embodiment of the present invention.

図１に示すように、撮像装置１は、被写体から到来する被写体光が結像されて成る被写体像を撮像して原画像データを作成する撮像部１０と、鏡２１の反射を利用して被写体光を撮像部１０に入射させる反射部２０と、を備える。 As shown in FIG. 1, the image pickup apparatus 1 uses the image pickup unit 10 for capturing an image of a subject formed by forming a subject light coming from the subject to create original image data, and the subject using the reflection of the mirror 21. A reflecting unit 20 for incidenting light on the imaging unit 10 is provided.

撮像部１０は、被写体光を結像する結像素子１１と、結像素子１１が結像した被写体像を撮像して原画像データを生成する撮像素子１２と、を有する。結像素子１１は、例えば絞りやレンズ等で構成される。なお、図１では、結像素子１１を１つのレンズとして省略して図示しているが、複数のレンズや絞り等を備えた構成であってもよい。撮像素子１２は、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（ComplementaryMetal Oxide Semiconductor）イメージセンサなどの二次元イメージセンサで構成される。 The image pickup unit 10 includes an image pickup element 11 that forms an image of subject light, and an image pickup element 12 that takes an image of the subject image formed by the image pickup element 11 and generates original image data. The image forming element 11 is composed of, for example, a diaphragm, a lens, or the like. Although the imaging element 11 is omitted in FIG. 1 as one lens, it may be configured to include a plurality of lenses, an aperture, and the like. The image sensor 12 is composed of a two-dimensional image sensor such as a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor.

反射部２０は、被写体光を反射させて撮像部１０に入射させる複数の鏡２１（図示の例では２枚）と、被写体Ｔに対して光を照射する光源２２とを備える。鏡２１のそれぞれの反射面２１１上には、当該反射面２１１で反射する光の波長特性を変化させる光学フィルタＦが設けられている。また、光源２２は、鏡２１の撮像部１０から遠い方の端部に設けられる。 The reflecting unit 20 includes a plurality of mirrors 21 (two in the illustrated example) that reflect the subject light and incident it on the image pickup unit 10, and a light source 22 that irradiates the subject T with light. On each reflecting surface 211 of the mirror 21, an optical filter F for changing the wavelength characteristic of the light reflected by the reflecting surface 211 is provided. Further, the light source 22 is provided at the end portion of the mirror 21 far from the image pickup unit 10.

鏡２１は、例えば、金属板を磨いて反射面にしたものや、ガラス板や樹脂板等に銀などの金属を蒸着して反射面にしたもの、光学フィルタＦとなる色ガラスに銀などの金属を蒸着して反射面にしたものなど、どのようなものであってもよい。ただし、鏡２１は、撮像部１０が測定する波長の範囲内における分光反射率がフラット（概ね一定値）であると、好ましい。 The mirror 21 is, for example, a metal plate polished to have a reflective surface, a glass plate, a resin plate, or the like with a metal such as silver vapor-deposited to form a reflective surface, or a colored glass serving as an optical filter F having silver or the like. Any material may be used, such as a material vapor-deposited to form a reflective surface. However, it is preferable that the mirror 21 has a flat (generally constant value) spectral reflectance within the wavelength range measured by the imaging unit 10.

光学フィルタＦは、鏡２１の反射面２１１で反射する光の波長特性を変化させるフィルタ特性（例えば、透過率スペクトル）を有するフィルムや板などである。具体的に、光学フィルタＦは、特定の波長帯域における光の強度だけ選択的に減衰させたり、特定の波長帯域以外における光の強度だけ選択的に減衰させたりするものである。 The optical filter F is a film or plate having filter characteristics (for example, a transmittance spectrum) that changes the wavelength characteristics of the light reflected by the reflecting surface 211 of the mirror 21. Specifically, the optical filter F selectively attenuates only the light intensity in a specific wavelength band, or selectively attenuates only the light intensity in a wavelength band other than the specific wavelength band.

光源２２は、例えばＬＥＤ（Light Emitting Diode）で構成される。なお、光源２２は、撮像部１０が作成する原画像データから様々な波長の情報を取得する観点から、例えば白色光などの様々な波長における強度が一定程度ある光を照射する素子で構成すると、好ましい。また、光源２２を備えることなく、自然光が被写体Ｔに照射されている状態で撮像部１０が撮像を行う構成にしてもよい。ただし、自然光は状況によってスペクトルが変わり得るため、原画像データの処理を容易にする観点からは、光源２２を用いて撮像時に被写体Ｔに対して照射されるスペクトルを統一した方が好ましい。 The light source 22 is composed of, for example, an LED (Light Emitting Diode). The light source 22 is composed of an element that irradiates light having a certain intensity at various wavelengths such as white light from the viewpoint of acquiring information of various wavelengths from the original image data created by the image pickup unit 10. preferable. Further, the imaging unit 10 may perform imaging in a state where the subject T is irradiated with natural light without providing the light source 22. However, since the spectrum of natural light can change depending on the situation, it is preferable to unify the spectrum irradiated to the subject T at the time of imaging by using the light source 22 from the viewpoint of facilitating the processing of the original image data.

図１では、反射部２０が、反射面２１１が対向している２枚の鏡２１を備えており、当該鏡２１のそれぞれの反射面２１１上にフィルタ特性が同じである光学フィルタＦが設けられている場合について例示している。しかし、本発明の実施形態に係る撮像装置１は、以下の＜鏡の構成例＞において例示するような、様々な構成の鏡を適用可能である。 In FIG. 1, the reflecting unit 20 includes two mirrors 21 having the reflecting surfaces 211 facing each other, and an optical filter F having the same filter characteristics is provided on each reflecting surface 211 of the mirror 21. It exemplifies the case where. However, the image pickup apparatus 1 according to the embodiment of the present invention can be applied with mirrors having various configurations as illustrated in the following <mirror configuration example>.

ただし、本発明の実施形態に係る撮像装置１では、反射部２０が複数の鏡２１を備えるとともに、当該鏡２１のそれぞれの反射面２１１が結像素子１１の光軸Ｇと平行になるように配置する。これにより、鏡２１で反射していない被写体光が結像されて成る被写体像と、反射面２１１が光軸Ｇに対して平行である複数の鏡２１で反射している被写体光が結像されて成るために当該被写体像に対する歪みがない（または小さい）２つ以上の被写体像と、を一度に撮像することができる。したがって、合計３つ以上の対比可能な被写体像を、一度に撮像することができる。 However, in the image pickup apparatus 1 according to the embodiment of the present invention, the reflecting unit 20 includes a plurality of mirrors 21, and the reflecting surfaces 211 of the mirrors 21 are parallel to the optical axis G of the imaging element 11. Deploy. As a result, a subject image formed by forming a subject light not reflected by the mirror 21 and a subject light reflected by a plurality of mirrors 21 whose reflecting surface 211 is parallel to the optical axis G are formed. Therefore, it is possible to capture two or more subject images that are not (or are small) distorted with respect to the subject image at one time. Therefore, a total of three or more contrastable subject images can be captured at one time.

＜鏡の構成例＞
反射部２０が有する鏡の様々な構成例と、当該鏡を用いた場合に撮像部１０で撮像される被写体像とのそれぞれについて、図面を参照して説明する。図２～図７は、反射部が有する鏡の様々な構成例と当該鏡を用いた場合に撮像部で撮像される被写体像の一例とのそれぞれを示す模式図である。なお、図２（ａ）～図７（ａ）のそれぞれは、反射部２０が有する鏡の構成例を示した図であり、光軸Ｇに垂直な断面図である。また、図２（ｂ）～図７（ｂ）のそれぞれは、図２（ａ）～図７（ａ）の鏡を用いた場合に撮像部１０で撮像される被写体像の一例を示した図である。また、図２（ｂ）～図７（ｂ）のそれぞれでは、鏡で反射していない被写体光が結像されて成る被写体像の領域を太線で囲うとともに、被写体像のそれぞれの領域内に、当該被写体像が結像されるまでに被写体光が鏡で反射して光学フィルタが適用された回数（ただし、フィルタ特性が異なる複数の光学フィルタを用いている場合は光学フィルタの種類毎の適用回数）を記載している。<Example of mirror configuration>
Various configuration examples of the mirror included in the reflecting unit 20 and a subject image imaged by the imaging unit 10 when the mirror is used will be described with reference to the drawings. 2 to 7 are schematic views showing various configuration examples of a mirror included in the reflecting unit and an example of a subject image captured by the imaging unit when the mirror is used. It should be noted that each of FIGS. 2 (a) to 7 (a) is a diagram showing a configuration example of a mirror included in the reflecting unit 20, and is a cross-sectional view perpendicular to the optical axis G. Further, each of FIGS. 2 (b) to 7 (b) is a diagram showing an example of a subject image captured by the image pickup unit 10 when the mirrors of FIGS. 2 (a) to 7 (a) are used. Is. Further, in each of FIGS. 2 (b) to 7 (b), the area of the subject image formed by forming the subject light not reflected by the mirror is surrounded by a thick line, and the area of the subject image is within each area of the subject image. The number of times the subject light is reflected by the mirror and the optical filter is applied until the subject image is formed (however, when multiple optical filters with different filter characteristics are used, the number of times each type of optical filter is applied. ) Is described.

［第１例］
図２（ａ）に示すように、第１例では、反射部２０が、図１に示した例と同様の２枚の鏡２１ａを有している。鏡２１ａは、反射面２１１ａが平行かつ対向しており、当該鏡２１ａのそれぞれの反射面２１１ａ上にフィルタ特性が同じである光学フィルタＦａ１が設けられている。[First example]
As shown in FIG. 2A, in the first example, the reflective unit 20 has two mirrors 21a similar to the example shown in FIG. In the mirror 21a, the reflecting surfaces 211a are parallel and opposed to each other, and an optical filter Fa1 having the same filter characteristics is provided on each reflecting surface 211a of the mirror 21a.

この鏡２１ａを用いた場合、例えば図２（ｂ）に示すような被写体像が撮像される。具体的に例えば、主要な被写体像として、鏡２１ａで反射していない被写体光が結像されて成る１つの被写体像（光学フィルタＦａ１の適用回数が０である１つの被写体像）と、当該被写体像に隣接する被写体像であって鏡２１ａで１回反射した被写体光が結像されて成る２つの被写体像（光学フィルタＦａ１の適用回数が１である２つの被写体像）と、当該被写体像に隣接する被写体像であって鏡２１ａで２回反射した被写体光が結像されて成る２つの被写体像（光学フィルタＦａ１の適用回数が２である２つの被写体像）と、が撮像される。 When this mirror 21a is used, for example, a subject image as shown in FIG. 2B is imaged. Specifically, for example, as the main subject image, one subject image formed by forming the subject light not reflected by the mirror 21a (one subject image in which the number of times the optical filter Fa1 is applied is 0) and the subject. Two subject images that are adjacent to the image and are formed by forming the subject light reflected once by the mirror 21a (two subject images in which the number of times the optical filter Fa1 is applied is 1) and the subject image. Two subject images (two subject images in which the number of times the optical filter Fa1 is applied is 2), which are adjacent subject images and are formed by forming a subject light reflected twice by the mirror 21a, are imaged.

ただし、撮像部１０で撮像される被写体像の数は、撮像部１０に入射する被写体光の鏡２１ａでの反射の最大回数Ｎに応じて変動する（本例の場合は２Ｎ＋１）。そして、撮像部１０に入射する被写体光の鏡２１ａでの反射の最大回数Ｎは、撮像部１０の画角と鏡２１ａの大きさ及び位置によって決まる。例えば、反射面２１１ａが平行かつ対向している２枚の鏡２１ａにおいて、撮像部１０が鏡２１ａの一方の端部に配置されるとともに被写体Ｔが鏡２１ａの他方の端部に配置され、反射面２１１ａが光軸Ｇから等距離に位置しており、当該反射面２１１ａのそれぞれの長さをＺ、離間距離をＤ、当該反射面２１１ａの離間方向における撮像部１０の画角をθとした場合（図１参照）、反射の最大回数Ｎは、［（Ｚ／ｄ）・ｔａｎ（θ／２）］以下となる最大の整数になる。なお、本例だけではなく、以下説明する他の例においても、撮像部１０の画角や鏡２１ａの大きさ及び位置によって、撮像部１０で撮像される被写体像の数は変動する。 However, the number of subject images captured by the image pickup unit 10 varies depending on the maximum number N of reflections of the subject light incident on the image pickup unit 10 by the mirror 21a (2N + 1 in the case of this example). The maximum number N of reflections of the subject light incident on the image pickup unit 10 by the mirror 21a is determined by the angle of view of the image pickup unit 10 and the size and position of the mirror 21a. For example, in two mirrors 21a in which the reflecting surfaces 211a are parallel and facing each other, the imaging unit 10 is arranged at one end of the mirror 21a and the subject T is arranged at the other end of the mirror 21a to reflect. The surface 211a is located at an equal distance from the optical axis G, the length of each of the reflection surfaces 211a is Z, the separation distance is D, and the angle of view of the imaging unit 10 in the separation direction of the reflection surface 211a is θ. In the case (see FIG. 1), the maximum number of reflections N is a maximum integer of [(Z / d) · tan (θ / 2)] or less. Not only in this example, but also in other examples described below, the number of subject images captured by the image pickup unit 10 varies depending on the angle of view of the image pickup unit 10 and the size and position of the mirror 21a.

［第２例］
図３（ａ）に示すように、第２例では、反射部２０が、第１例と同様である反射面２１１ｂが対向している２枚の鏡２１ｂを有している。ただし、当該鏡２１ｂのそれぞれの反射面２１１ｂ上には、フィルタ特性が異なる２種類の光学フィルタＦｂ１，Ｆｂ２が設けられている。[Second example]
As shown in FIG. 3A, in the second example, the reflecting unit 20 has two mirrors 21b with the reflecting surfaces 211b facing each other, which is the same as in the first example. However, two types of optical filters Fb1 and Fb2 having different filter characteristics are provided on the reflective surfaces 211b of the mirror 21b.

この鏡２１ｂを用いた場合、例えば図３（ｂ）に示すような被写体像が撮像される。具体的に例えば、主要な被写体像として、鏡２１ｂで反射していない被写体光が結像されて成る１つの被写体像（光学フィルタＦｂ１，Ｆｂ２のそれぞれの適用回数が０である１つの被写体像）と、当該被写体像に隣接する被写体像であって鏡２１ｂで１回反射した被写体光が結像されて成る２つの被写体像（光学フィルタＦｂ１の適用回数が１である１つの被写体像、光学フィルタＦｂ２の適用回数が１である１つの被写体像）と、当該被写体像に隣接する被写体像であって鏡２１ａで２回反射した被写体光が結像されて成る２つの被写体像（光学フィルタＦｂ１，Ｆｂ２のそれぞれの適用回数が１である２つの被写体像）と、が撮像される。 When this mirror 21b is used, for example, a subject image as shown in FIG. 3B is imaged. Specifically, for example, as a main subject image, one subject image formed by forming a subject light not reflected by the mirror 21b (one subject image in which the number of times each of the optical filters Fb1 and Fb2 is applied is 0). And two subject images (one subject image in which the number of times the optical filter Fb1 is applied is 1), which is a subject image adjacent to the subject image and is formed by forming a subject light reflected once by the mirror 21b, an optical filter. Two subject images (optical filters Fb1 and 1) formed by forming a subject image (one subject image in which Fb2 is applied once) and a subject image adjacent to the subject image and reflected twice by the mirror 21a. (Two subject images) in which the number of times each Fb2 is applied is 1, are imaged.

［第３例］
図４（ａ）に示すように、第３例では、反射部２０が、反射面２１１ｃを内側に向けるとともに隣接して配置される３枚の鏡２１ｃを有しており、当該鏡２１ｃの光軸に垂直な断面がそれぞれの反射面２１１ｃを一辺とする正三角形になっている。さらに、当該鏡２１ｃのそれぞれの反射面２１１ｃ上には、フィルタ特性が異なる３種類の光学フィルタＦｃ１，Ｆｃ２，Ｆｃ３が設けられている。[Third example]
As shown in FIG. 4A, in the third example, the reflecting unit 20 has three mirrors 21c arranged adjacent to each other with the reflecting surface 211c facing inward, and the light of the mirrors 21c. The cross section perpendicular to the axis is an equilateral triangle with each reflecting surface 211c as one side. Further, three types of optical filters Fc1, Fc2, and Fc3 having different filter characteristics are provided on each reflecting surface 211c of the mirror 21c.

この鏡２１ｃを用いた場合、例えば図４（ｂ）に示すような被写体像が撮像される。具体的に例えば、主要な被写体像として、鏡２１ｃで反射していない被写体光が結像されて成る１つの被写体像（光学フィルタＦｃ１～Ｆｃ３のそれぞれの適用回数が０である１つの被写体像）と、当該被写体像に隣接する被写体像であって鏡２１ｃで１回反射した被写体光が結像されて成る３つの被写体像（光学フィルタＦｃ１の適用回数が１である１つの被写体像、光学フィルタＦｃ２の適用回数が１である１つの被写体像、光学フィルタＦｃ３の適用回数が１である１つの被写体像）と、当該被写体像に隣接する被写体像であって鏡２１ｃで２回反射した被写体光が結像されて成る６つの被写体像（光学フィルタＦｃ１，Ｆｃ２のそれぞれの適用回数が１である２つの被写体像、光学フィルタＦｃ２，Ｆｃ３のそれぞれの適用回数が１である２つの被写体像、光学フィルタＦｃ１，Ｆｃ３のそれぞれの適用回数が１である２つの被写体像）と、当該被写体像に隣接する被写体像であって鏡２１ｃで３回反射した被写体光が結像されて成る６つの被写体像（光学フィルタＦｃ１～Ｆｃ３のそれぞれの適用回数が１である６つの被写体像）と、が撮像される。また、この場合、被写体像の全体としては複数の正三角形を充填したパターンになるが、全ての被写体像が正三角形になるわけではなく、複数の小さな被写体像が組み合わさって１つの正三角形を成しているものも含まれる。 When this mirror 21c is used, for example, a subject image as shown in FIG. 4B is imaged. Specifically, for example, as a main subject image, one subject image formed by forming a subject light not reflected by the mirror 21c (one subject image in which the number of times each of the optical filters Fc1 to Fc3 is applied is 0). And three subject images that are adjacent to the subject image and are formed by forming the subject light reflected once by the mirror 21c (one subject image in which the number of times of application of the optical filter Fc1 is 1 and an optical filter). One subject image in which the number of times Fc2 is applied is one, one subject image in which the number of times the optical filter Fc3 is applied is one), and subject light adjacent to the subject image and reflected twice by the mirror 21c. 6 subject images formed by forming an image (two subject images in which the number of times each of the optical filters Fc1 and Fc2 is applied is 1, two subject images in which the number of times each of the optical filters Fc2 and Fc3 is applied is 1, and optics. (Two subject images in which the number of times each of the filters Fc1 and Fc3 is applied is 1) and six subject images in which the subject light adjacent to the subject image and reflected three times by the mirror 21c is formed. (Six subject images in which the number of times each of the optical filters Fc1 to Fc3 is applied is 1) and. Further, in this case, the entire subject image is a pattern filled with a plurality of equilateral triangles, but not all the subject images are equilateral triangles, and a plurality of small subject images are combined to form one equilateral triangle. The ones that are made are also included.

［第４例］
図５（ａ）に示すように、第４例では、反射部２０が、反射面２１１ｄを内側に向けるとともに隣接して配置される４枚の鏡２１ｄを有しており、当該鏡２１ｄの光軸に垂直な断面がそれぞれの反射面２１１ｄを一辺とする正方形（正四角形）になっている。また、反射面２１１ｄが対向するように配置されたある１組（２枚）の鏡２１ｄのそれぞれの反射面２１１ｄにはフィルタ特性が同じである光学フィルタＦｄ１が設けられ、反射面２１１ｄが対向するように配置された別の１組（２枚）の鏡２１ｄのそれぞれの反射面２１１ｄにもフィルタ特性が同じである光学フィルタＦｄ２が設けられるが、それぞれの組の鏡２１ｄの反射面２１１ｄ上に設けられる光学フィルタＦｄ１，Ｆｄ２のフィルタ特性は異なる。したがって、４枚の鏡２１ｄの反射面２１１ｄ上には、フィルタ特性が異なる２種類の光学フィルタＦｄ１，Ｆｄ２が設けられることになる。[4th example]
As shown in FIG. 5A, in the fourth example, the reflecting unit 20 has four mirrors 21d with the reflecting surface 211d facing inward and arranged adjacent to each other, and the light of the mirrors 21d. The cross section perpendicular to the axis is a square (regular square) with each reflecting surface 211d as one side. Further, an optical filter Fd1 having the same filter characteristics is provided on each reflecting surface 211d of a set (two) of mirrors 21d arranged so that the reflecting surfaces 211d face each other, and the reflecting surfaces 211d face each other. An optical filter Fd2 having the same filter characteristics is also provided on each reflecting surface 211d of another set (two) of mirrors 21d arranged in such a manner, but on the reflecting surface 211d of each set of mirrors 21d. The filter characteristics of the provided optical filters Fd1 and Fd2 are different. Therefore, two types of optical filters Fd1 and Fd2 having different filter characteristics are provided on the reflecting surface 211d of the four mirrors 21d.

この鏡２１ｄを用いた場合、例えば図５（ｂ）に示すような被写体像が撮像される。具体的に例えば、主要な被写体像として、鏡２１ｃで反射していない被写体光が結像されて成る１つの被写体像（光学フィルタＦｄ１，Ｆｄ２のそれぞれの適用回数が０である１つの被写体像）と、当該被写体像に隣接する被写体像であって鏡２１ｄで１回反射した被写体光が結像されて成る４つの被写体像（光学フィルタＦｄ１の適用回数が１である２つの被写体像、光学フィルタＦｄ２の適用回数が１である２つの被写体像）と、当該被写体像に隣接する被写体像であって鏡２１ｄで２回反射した被写体光が結像されて成る８つの被写体像（光学フィルタＦｄ１の適用回数が２である２つの被写体像、光学フィルタＦｄ２の適用回数が２である２つの被写体像、光学フィルタＦｄ１，Ｆｄ２のそれぞれの適用回数が１である４つの被写体像）と、が撮像される。また、この場合、被写体像の全体としては複数の正方形を充填したパターンになるが、全ての被写体像が正方形になるわけではなく、複数の小さな被写体像が組み合わさって１つの正方形を成しているものも含まれる。 When this mirror 21d is used, for example, a subject image as shown in FIG. 5B is imaged. Specifically, for example, as a main subject image, one subject image formed by forming a subject light not reflected by the mirror 21c (one subject image in which the number of times each of the optical filters Fd1 and Fd2 is applied is 0). And four subject images (two subject images in which the number of times the optical filter Fd1 is applied is 1 and an optical filter) formed by forming a subject light that is adjacent to the subject image and is reflected once by the mirror 21d. Eight subject images (optical filter Fd1) formed by forming two subject images (two subject images in which Fd2 is applied once) and subject light adjacent to the subject image and reflected twice by the mirror 21d. Two subject images having two application times, two subject images having two application times of the optical filter Fd2, and four subject images having one application number of each of the optical filters Fd1 and Fd2) are imaged. The optics. Further, in this case, the entire subject image is a pattern filled with a plurality of squares, but not all the subject images are squares, and a plurality of small subject images are combined to form one square. Some are included.

［第５例］
図６（ａ）に示すように、第５例では、反射部２０が、反射面２１１ｅを内側に向けるとともに隣接して配置される５枚の鏡２１ｅを有しており、当該鏡２１ｅの光軸に垂直な断面がそれぞれの反射面２１１ｅを一辺とする正五角形になっている。さらに、当該鏡２１ｅのそれぞれの反射面２１１ｅ上には、フィルタ特性が異なる５種類の光学フィルタＦｃ１～Ｆｃ５が設けられている。[Fifth example]
As shown in FIG. 6A, in the fifth example, the reflecting unit 20 has five mirrors 21e arranged adjacent to each other with the reflecting surface 211e facing inward, and the light of the mirrors 21e. The cross section perpendicular to the axis is a regular pentagon with each reflecting surface 211e as one side. Further, five types of optical filters Fc1 to Fc5 having different filter characteristics are provided on each reflecting surface 211e of the mirror 21e.

この鏡２１ｅを用いた場合、例えば図６（ｂ）に示すような被写体像が撮像される。具体的に例えば、主要な被写体像として、鏡２１ｅで反射していない被写体光が結像されて成る１つの被写体像（光学フィルタＦｅ１～Ｆｅ５のそれぞれの適用回数が０である１つの被写体像）と、当該被写体像に隣接する被写体像であって鏡２１ｅで１回反射した被写体光が結像されて成る５つの被写体像（光学フィルタＦｅ１の適用回数が１である１つの被写体像、光学フィルタＦｅ２の適用回数が１である１つの被写体像、光学フィルタＦｅ３の適用回数が１である１つの被写体像、光学フィルタＦｅ４の適用回数が１である１つの被写体像、光学フィルタＦｅ５の適用回数が１である１つの被写体像）と、が撮像される。また、この場合、鏡２１ｅで反射していない被写体光が結像されて成る被写体像と鏡２１ｅで１回反射した被写体光が結像されて成る被写体像とのそれぞれは正五角形になるが、正五角形では平面が充填されないため、隙間に他の被写体像が形成される。 When this mirror 21e is used, for example, a subject image as shown in FIG. 6B is imaged. Specifically, for example, as a main subject image, one subject image formed by forming a subject light not reflected by the mirror 21e (one subject image in which the number of times each of the optical filters Fe1 to Fe5 is applied is 0). And five subject images (one subject image in which the number of times the optical filter Fe1 is applied is 1), which is a subject image adjacent to the subject image and is formed by forming a subject light reflected once by the mirror 21e, an optical filter. One subject image in which the number of times Fe2 is applied is 1, one subject image in which the number of times the optical filter Fe3 is applied is 1, one subject image in which the number of times the optical filter Fe4 is applied is 1, and the number of times the optical filter Fe5 is applied. One subject image), which is 1, is imaged. Further, in this case, the subject image formed by forming the subject light not reflected by the mirror 21e and the subject image formed by forming the subject light reflected once by the mirror 21e are each formed into a regular pentagon. Since the plane is not filled with the regular pentagon, another subject image is formed in the gap.

［第６例］
図６（ａ）に示すように、第６例では、反射部２０が、反射面２１１ｆを内側に向けるとともに隣接して配置される６枚の鏡２１ｆを有しており、当該鏡２１ｆの光軸に垂直な断面がそれぞれの反射面２１１ｆを一辺とする正六角形になっている。また、反射面２１１ｆが平行かつ対向するように配置されたある１組（２枚）の鏡２１ｆのそれぞれの反射面２１１ｆにはフィルタ特性が同じである光学フィルタＦｆ１が設けられ、反射面２１１ｆが平行かつ対向するように配置された別の１組（２枚）の鏡２１ｆのそれぞれの反射面２１１ｆにもフィルタ特性が同じである光学フィルタＦｆ２が設けられ、反射面２１１ｆが平行かつ対向するように配置されたさらに別の１組（２枚）の鏡２１ｆのそれぞれの反射面２１１ｆにもフィルタ特性が同じである光学フィルタＦｆ３が設けられるが、それぞれの組の鏡２１ｆの反射面２１１ｆ上に設けられる光学フィルタＦｆ１～Ｆｆ３のフィルタ特性は異なる。したがって、６枚の鏡２１ｆの反射面２１１ｆ上には、フィルタ特性が異なる３種類の光学フィルタＦｆ１～Ｆｆ３が設けられることになる。[6th example]
As shown in FIG. 6A, in the sixth example, the reflecting unit 20 has six mirrors 21f arranged adjacent to each other with the reflecting surface 211f facing inward, and the light of the mirrors 21f. The cross section perpendicular to the axis is a regular hexagon with each reflecting surface 211f as one side. Further, an optical filter Ff1 having the same filter characteristics is provided on each reflecting surface 211f of a set (two) of mirrors 21f in which the reflecting surfaces 211f are arranged so as to be parallel and opposed to each other, and the reflecting surface 211f is provided. Optical filters Ff2 having the same filter characteristics are also provided on the reflective surfaces 211f of another set (two) of mirrors 21f arranged so as to be parallel and opposed to each other so that the reflective surfaces 211f are parallel and opposed to each other. An optical filter Ff3 having the same filter characteristics is also provided on each reflecting surface 211f of yet another set (two pieces) of mirrors 21f arranged in the above, but on the reflecting surface 211f of each set of mirrors 21f. The filter characteristics of the provided optical filters Ff1 to Ff3 are different. Therefore, three types of optical filters Ff1 to Ff3 having different filter characteristics are provided on the reflecting surface 211f of the six mirrors 21f.

この鏡２１ｆを用いた場合、例えば図６（ｂ）に示すような被写体像が撮像される。具体的に例えば、主要な被写体像として、鏡２１ｆで反射していない被写体光が結像されて成る１つの被写体像（光学フィルタＦｆ１～Ｆｆ３のそれぞれの適用回数が０である１つの被写体像）と、当該被写体像に隣接する被写体像であって鏡２１ｆで１回反射した被写体光が結像されて成る６つの被写体像（光学フィルタＦｆ１の適用回数が１である２つの被写体像、光学フィルタＦｆ２の適用回数が１である２つの被写体像、光学フィルタＦｆ３の適用回数が１である２つの被写体像）と、当該被写体像に隣接する被写体像であって鏡２１ｆで２回反射した被写体光が結像されて成る６つの被写体像（光学フィルタＦｆ１の適用回数が２である２つの被写体像、光学フィルタＦｆ２の適用回数が２である２つの被写体像、光学フィルタＦｆ３の適用回数が２である２つの被写体像）と、が撮像される。また、この場合、被写体像の全体としては複数の正六角形を充填したパターンになるが、全ての被写体像が正六角形になるわけではなく、複数の小さな被写体像が組み合わさって１つの正六角形を成しているものも含まれる。 When this mirror 21f is used, for example, a subject image as shown in FIG. 6B is imaged. Specifically, for example, as a main subject image, one subject image formed by forming a subject light not reflected by the mirror 21f (one subject image in which the number of times each of the optical filters Ff1 to Ff3 is applied is 0). And six subject images (two subject images in which the number of times the optical filter Ff1 is applied is 1), which is a subject image adjacent to the subject image and is formed by forming a subject light reflected once by the mirror 21f, an optical filter. Two subject images in which the number of times Ff2 is applied is one, two subject images in which the number of times the optical filter Ff3 is applied is one), and subject light adjacent to the subject image and reflected twice by the mirror 21f. 6 subject images (two subject images in which the optical filter Ff1 is applied 2 times, 2 subject images in which the optical filter Ff2 is applied 2 times, and the optical filter Ff3 is applied in 2 times). Two subject images) and are imaged. Further, in this case, the entire subject image is a pattern filled with a plurality of regular hexagons, but not all the subject images are regular hexagons, and a plurality of small subject images are combined to form one regular hexagon. It also includes those that are made up.

［まとめ］
［第３例］～［第６例］は、反射面２１１ｃ～２１１ｆを内側に向けるとともに隣接して配置されるＸ枚（Ｘは３以上の整数）の鏡２１ｃ～２１ｆの光軸に垂直な断面が、当該鏡２１ｃ～２１ｆのそれぞれの反射面２１１ｃ～２１１ｆを一辺とする正Ｘ角形である点で共通する。このように構成すると、少なくとも、鏡２１ｃ～２１ｆで反射していない被写体光が結像されて成る１つの正Ｘ角形の被写体像と、鏡２１ｃ～２１ｆで１回反射した被写体光が結像されて成るＸ個（３つ以上）の被写体像と、を一度に撮像することができる。[summary]
In [Example 3] to [Example 6], the reflective surfaces 211c to 211f are directed inward and X sheets (X is an integer of 3 or more) arranged adjacent to each other are perpendicular to the optical axis of the mirrors 21c to 21f. It is common in that the cross section is a regular X-sided mirror having the reflective surfaces 211c to 211f of the mirrors 21c to 21f as one side. With this configuration, at least one positive X-square subject image formed by forming the subject light not reflected by the mirrors 21c to 21f and the subject light reflected once by the mirrors 21c to 21f are formed. It is possible to take an image of X (three or more) subject images at a time.

また、上記の例では、Ｘが６以下であるが、Ｘを７以上としてもよい。ただし、Ｘを７以上にすると、鏡で反射していない被写体光が結像されて成る１つの正Ｘ角形の被写体像の周囲に、Ｘ個の被写体像を欠けることなく配置させることができなくなる。そのため、欠けがない正Ｘ角形の被写体像を撮像する観点から、Ｘは６以下にした方が好ましい。 Further, in the above example, X is 6 or less, but X may be 7 or more. However, if X is set to 7 or more, it becomes impossible to arrange X subject images without missing them around one regular X-square subject image formed by forming a subject light not reflected by a mirror. .. Therefore, it is preferable that X is 6 or less from the viewpoint of capturing a positive X-square subject image without chipping.

また、［第１例］、［第２例］、［第４例］及び［第６例］のように、反射部２０が有する鏡２１ａ，２１ｂ，２１ｄ，２１ｆの枚数が偶数である場合、鏡２１ａ，２１ｂ，２１ｄ，２１ｆで反射していない被写体光が結像されて成る１つの被写体像と、反射面２１１ａ，２１１ｂ，２１１ｄ，２１１ｆが平行かつ対向する２枚の鏡２１ａ，２１ｂ，２１ｄ，２１ｆの一方で１回反射した被写体光が結像されて成る被写体像と、当該鏡２１ａ，２１ｂ，２１ｄ，２１ｆで多重反射した被写体光が結像されて成る被写体像が一列に整列する。そのため、［第３例］及び［第５例］のように、反射部２０が有する鏡２１ｃ，２１ｅの枚数が奇数の場合と比較して、被写体像の位置を特定し易い原画像データを得ることができる。 Further, when the number of mirrors 21a, 21b, 21d, 21f of the reflecting unit 20 is an even number as in [1st example], [2nd example], [4th example], and [6th example]. One subject image formed by forming a subject light that is not reflected by the mirrors 21a, 21b, 21d, 21f and two mirrors 21a, 21b, 21d in which the reflecting surfaces 211a, 211b, 211d, 211f are parallel and face each other. , The subject image formed by forming the subject light reflected once on one side of the mirrors 21a, 21b, 21d, 21f and the subject image formed by forming the subject light repeatedly reflected by the mirrors 21a, 21b, 21d, 21f are aligned in a row. Therefore, as in the cases of [3rd example] and [5th example], the original image data that makes it easy to specify the position of the subject image is obtained as compared with the case where the number of mirrors 21c and 21e of the reflecting unit 20 is odd. be able to.

また、［第１例］～［第６例］から明らかなように、撮像部１０で撮像される被写体像は、鏡で反射していない被写体光が結像されて成る被写体像を中心として、反射回数が少ない被写体光が結像されて成る被写体像ほど内側、反射回数が多い被写体光が結像されて成る被写体像ほど外側になる。また、反射回数が少ない被写体光が結像されて成る被写体像ほど鮮明になるため、このような被写体像を撮像した領域ほど、後の原画像データの処理において重要になり得る。そのため、鏡で反射していない被写体光が結像されて成る被写体像が原画像データの中心になるように反射部２０を構成すると、好ましい。そして、このような原画像データを得るためには、反射部２０が有する鏡のそれぞれの反射面から光軸Ｇまでの距離が等しくなるように当該鏡を配置すると、好ましい。 Further, as is clear from [1st example] to [6th example], the subject image captured by the image pickup unit 10 is centered on the subject image formed by the subject light not reflected by the mirror. A subject image formed by forming a subject light having a small number of reflections is on the inside, and a subject image formed by forming a subject light having a high number of reflections is formed on the outside. Further, since the subject image in which the subject light having a small number of reflections is formed becomes clearer, the region in which such a subject image is captured may be more important in the subsequent processing of the original image data. Therefore, it is preferable to configure the reflecting unit 20 so that the subject image formed by forming the subject light not reflected by the mirror is the center of the original image data. Then, in order to obtain such original image data, it is preferable to arrange the mirrors so that the distances from the respective reflecting surfaces of the mirrors of the reflecting unit 20 to the optical axis G are equal.

なお、［第４例］及び［第６例］では、反射面２１１ｄ，２１１ｆが平行かつ対向する鏡２１ｄ，２１ｆの組のそれぞれにおいて、フィルタ特性が同一である光学フィルタＦｄ１，Ｆｄ２，Ｆｆ１～Ｆｆ３が設けられる場合について例示しているが、これらの一部または全部の組において、フィルタ特性が異なる光学フィルタを設けてもよい。［第１例］及び［第２例］の対比から明らかであるが、［第１例］のように反射面２１１ａが平行かつ対向する鏡２１ａにフィルタ特性が同一の光学フィルタＦａ１を設けた場合は、光学フィルタの適用回数が異なる被写体像を撮像することができる。一方、［第２例］のように反射面２１１ｂが平行かつ対向する鏡２１ｂにフィルタ特性が異なる光学フィルタＦｂ１，Ｆｂ２を設けた場合は、適用された光学フィルタＦｂ１，Ｆｂ２の種類が異なる被写体像を撮像することができる。 In [Example 4] and [Example 6], the optical filters Fd1, Fd2, Ff1 to Ff3 have the same filter characteristics in each of the sets of mirrors 21d and 21f in which the reflecting surfaces 211d and 211f are parallel and face each other. Although the case where is provided is illustrated, an optical filter having different filter characteristics may be provided in a part or all of these sets. As is clear from the comparison between [1st example] and [2nd example], when the optical filter Fa1 having the same filter characteristics is provided on the mirror 21a in which the reflecting surfaces 211a are parallel and opposite to each other as in [1st example]. Can capture subject images with different application times of the optical filter. On the other hand, when the optical filters Fb1 and Fb2 having different filter characteristics are provided on the mirror 21b whose reflecting surfaces 211b are parallel and opposite to each other as in [2nd example], the applied optical filters Fb1 and Fb2 are different types of subject images. Can be imaged.

また、［第３例］及び［第５例］では、鏡２１ｃ，２１ｅのそれぞれの反射面２１１ｃ，２１１ｅ上に、フィルタ特性が異なる光学フィルタＦｃ１～Ｆｃ３，Ｆｅ１～Ｆｅ５が設けられる場合について例示しているが、一部または全部の鏡２１ｃ，２１ｅのそれぞれの反射面２１１ｃ，２１１ｅ上に、フィルタ特性が同一の光学フィルタを設けてもよい。また、［第４例］及び［第６例］において、反射面２１１ｄ，２１１ｆが平行かつ対向する鏡２１ｄ，２１ｆの複数の組において、フィルタ特性が同一の光学フィルタを設けてもよい。 Further, in [Example 3] and [Example 5], a case where optical filters Fc1 to Fc3 and Fe1 to Fe5 having different filter characteristics are provided on the reflective surfaces 211c and 211e of the mirrors 21c and 21e, respectively, is exemplified. However, optical filters having the same filter characteristics may be provided on the reflective surfaces 211c and 211e of some or all of the mirrors 21c and 21e, respectively. Further, in [Example 4] and [Example 6], optical filters having the same filter characteristics may be provided in a plurality of sets of mirrors 21d and 21f in which the reflecting surfaces 211d and 211f are parallel and face each other.

また、［第１例］及び［第２例］では、鏡２１ａ，２１ｂのそれぞれの反射面２１１ａ，２１１ｂが平行かつ対向しているが、平行にならずかつ対向していなくてもよい。この場合でも、鏡２１ａ，２１ｂで反射していない被写体光が結像されてなる１つの被写体像と、鏡２１ａ，２１ｂのそれぞれの反射面２１１ａ，２１１ｂで１回反射した被写体光が結像されてなる２つの被写体像と、を撮像することができる。 Further, in [1st example] and [2nd example], the reflective surfaces 211a and 211b of the mirrors 21a and 21b are parallel and facing each other, but they may not be parallel and do not face each other. Even in this case, one subject image formed by forming the subject light not reflected by the mirrors 21a and 21b and the subject light reflected once by the reflecting surfaces 211a and 211b of the mirrors 21a and 21b are formed. It is possible to capture two subject images.

＜＜画像処理装置＞＞
次に、上述の撮像装置１の撮像によって得られた原画像データに基づいて、特定の波長帯域に分光した画像のデータである分光画像データを生成する画像処理装置について説明する。最初に、画像処理装置の構成の一例について図面を参照して説明する。図８は、本発明の実施形態に係る画像処理装置の構成の一例について示す模式図である。<< Image processing device >>
Next, an image processing device that generates spectroscopic image data, which is data of an image dispersed in a specific wavelength band, will be described based on the original image data obtained by the image pickup of the above-mentioned image pickup device 1. First, an example of the configuration of the image processing apparatus will be described with reference to the drawings. FIG. 8 is a schematic diagram showing an example of the configuration of the image processing apparatus according to the embodiment of the present invention.

図８に示すように、画像処理装置５０は、データベース５１と、演算部５２とを備える。データベース５１は、例えばハードディスクや不揮発性の半導体メモリなどのデータを記録可能な記録装置で構成される。演算部５２は、例えばＣＰＵ（Central Processing Unit）などの演算装置と揮発性の半導体メモリなどの記憶装置とで構成される。 As shown in FIG. 8, the image processing device 50 includes a database 51 and a calculation unit 52. The database 51 is composed of a recording device capable of recording data such as a hard disk or a non-volatile semiconductor memory. The arithmetic unit 52 includes, for example, an arithmetic unit such as a CPU (Central Processing Unit) and a storage device such as a volatile semiconductor memory.

データベース５１は、上述の撮像装置１の撮像によって得られた原画像データの他に、演算部５２が原画像データに基づいて分光画像データを生成するために必要なデータである撮像装置特性データ、被写体像位置データ及び反射履歴データも記録している。 The database 51 includes image pickup device characteristic data, which is data necessary for the calculation unit 52 to generate spectral image data based on the original image data, in addition to the original image data obtained by the image pickup of the image pickup device 1 described above. Subject image position data and reflection history data are also recorded.

撮像装置特性データには、撮像部１０及び反射部２０のそれぞれの光学特性のデータが含まれる。例えば、撮像装置特性データには、光源２２が照射する光のスペクトル、光学フィルタＦのフィルタ特性、撮像部１０の分光感度が含まれる。 The image pickup device characteristic data includes data on the optical characteristics of each of the image pickup unit 10 and the reflection unit 20. For example, the image pickup device characteristic data includes the spectrum of the light emitted by the light source 22, the filter characteristic of the optical filter F, and the spectral sensitivity of the image pickup unit 10.

被写体像位置データには、複数の被写体像のそれぞれが撮像されている画素の原画像データ中の位置のデータが含まれる。反射履歴データには、被写体像のそれぞれが結像されるまでに被写体光が鏡２１で反射された履歴のデータが含まれる。例えば、被写体像位置データには、複数の被写体像のそれぞれが撮像されている画素の原画像データ中の位置のデータの他に、当該被写体像のそれぞれの向き（反転状態）のデータが含まれる。また、反射履歴データには、例えば、被写体像のそれぞれが結像されるまでに被写体光が反射して適用された光学フィルムＦ（鏡２１）及びその適用回数（反射回数）のデータが含まれる。したがって、被写体像位置データ及び反射履歴データには、例えば図２（ｂ）～図７（ｂ）に示した内容のデータが含まれていると言える。なお、演算部５２は、反射履歴データに含まれる、被写体像のそれぞれが結像されるまでに被写体光が反射して適用された光学フィルムＦ（鏡２１）及びその適用回数（反射回数）のデータに基づいて、当該被写体像のそれぞれの向き（反転状態）を算出することができるため、被写体像位置データに被写体像の向きのデータが含まれていなくてもよい。 The subject image position data includes position data in the original image data of the pixels in which each of the plurality of subject images is captured. The reflection history data includes history data in which the subject light is reflected by the mirror 21 before each of the subject images is formed. For example, the subject image position data includes data of each direction (inverted state) of the subject image in addition to the position data in the original image data of the pixels in which each of the plurality of subject images is captured. .. Further, the reflection history data includes, for example, data of an optical film F (mirror 21) applied by reflecting the subject light until each of the subject images is formed, and the number of times the subject light is applied (number of reflections). .. Therefore, it can be said that the subject image position data and the reflection history data include, for example, the data of the contents shown in FIGS. 2 (b) to 7 (b). The calculation unit 52 describes the optical film F (mirror 21) included in the reflection history data and applied by reflecting the subject light until each of the subject images is formed, and the number of times the subject image is applied (number of reflections). Since the orientation (inverted state) of the subject image can be calculated based on the data, the subject image position data does not have to include the orientation data of the subject image.

演算部５２は、データベース５１に記録されているデータに基づいて、特定の波長帯域に分光した画像のデータである分光画像データを生成する。具体的に、演算部５２は、被写体像位置データに基づいて、被写体Ｔの特定部分に相当する原画像データ中の複数の画素のそれぞれの位置を特定し、当該画素のそれぞれの画素値と、反射履歴データ及び撮像装置特性データとに基づいて、分光画像データにおける被写体Ｔの特定部分に相当する画素の画素値を算出する。そして、演算部５２が、分光画像データを構成する複数の画素のそれぞれについてこの演算を実行して画素値を算出することで、分光画像データが生成される。 The arithmetic unit 52 generates spectroscopic image data, which is data of an image dispersed in a specific wavelength band, based on the data recorded in the database 51. Specifically, the calculation unit 52 identifies the positions of each of the plurality of pixels in the original image data corresponding to the specific portion of the subject T based on the subject image position data, and determines the pixel values of the pixels and the pixel values of the pixels. Based on the reflection history data and the image pickup device characteristic data, the pixel value of the pixel corresponding to the specific portion of the subject T in the spectral image data is calculated. Then, the calculation unit 52 executes this calculation for each of the plurality of pixels constituting the spectral image data to calculate the pixel value, whereby the spectral image data is generated.

ここで、演算部５２による分光画像データの生成方法の具体例について説明する。なお、以下では、説明の具体化のために、反射部２０が、図２（ａ）に示した反射面２１１ａに光学フィルタＦａ１が設けられている平行かつ対向する２枚の鏡２１ａで構成されており、撮像部１０が、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３チャネルの光の強度を検出する場合について例示する。また、以下では、被写体Ｔが均一に照明されており、分光反射率が等方的であるものとする。 Here, a specific example of a method for generating spectroscopic image data by the calculation unit 52 will be described. In the following, for the purpose of embodying the description, the reflection unit 20 is composed of two parallel and opposed mirrors 21a in which the optical filter Fa1 is provided on the reflection surface 211a shown in FIG. 2A. The case where the image pickup unit 10 detects the light intensity of the three channels of R (red), G (green), and B (blue) will be illustrated. Further, in the following, it is assumed that the subject T is uniformly illuminated and the spectral reflectance is isotropic.

まず、鏡２１ａで反射していない被写体光が結像されて成る被写体像が撮像されている原画像データ中の画素における、ｋ番目のチャネルにおける画素値ｙｋは、下記式（１）のように表される。なお、下記式（１）において、λは波長、ｌ（λ）は光源が照射する光のスペクトル、ｓ（λ）は被写体Ｔの分光反射率、ｃｋ（λ）はｋ番目のチャネルの分光感度である。また、Λは波長の範囲であり、例えば、可視光を検出する場合は４００～７００ｎｍ程度の範囲である。First, the pixel value y k in the k-th channel in the pixel in the original image data in which the subject image formed by forming the subject light not reflected by the mirror 21a is captured is as shown in the following equation (1). It is represented by. In the following equation (1), λ is the wavelength, l (λ) is the spectrum of the light emitted by the light source, s (λ) is the spectral reflectance of the subject T, and kk (λ) is the spectrum of the kth channel. Sensitivity. Further, Λ is a wavelength range, for example, in the case of detecting visible light, it is in the range of about 400 to 700 nm.

Figure 0007058881000001
Figure 0007058881000001

一方、鏡２１ａで１回反射した被写体光が結像されて成る被写体像が撮像されている原画像データ中の画素における画素値ｙｋ，１は、下記式（２）のように表される。なお、下記式（２）において、ｆ（λ）は光学フィルタＦａ１のフィルタ特性である。また、少なくともΛの波長の範囲内において、鏡２１ａの分光反射率はフラットであるものとする。On the other hand, the pixel values y k and 1 in the pixels in the original image data in which the subject image formed by forming the subject light reflected once by the mirror 21a are captured are expressed by the following equation (2). .. In the following equation (2), f (λ) is the filter characteristic of the optical filter Fa1. Further, it is assumed that the spectral reflectance of the mirror 21a is flat at least within the wavelength range of Λ.

Figure 0007058881000002
Figure 0007058881000002

また、鏡２１ａで２回反射した（反射面２１１ａが平行かつ対向する２枚の鏡２１ａで１回ずつ反射した）被写体光が結像されて成る被写体像が撮像されている原画像データ中の画素における画素値は、上記式（２）においてｆ（λ）を２回乗じたものになる。ここで、反射回数をｉとして、これらの関係を一般化すると、鏡２１ａでｉ回反射した被写体光が結像されて成る被写体像が撮像されている原画像データ中の画素における画素値ｙｋ，ｉは、下記式（３）のように表すことができる。なお、０≦ｉ≦Ｎであり、Ｎは鏡２１ａを用いた場合における反射の最大回数である。また、ｉ＝０の場合（鏡２１ａで反射していない被写体光が結像されて成る被写体像が撮像されている原画像データ中の画素における画素値）は、上記式（１）になる。また、例えば図３に例示したようなフィルタ特性が異なる光学フィルタが適用される場合の画素値は、下記式（３）において複数のフィルタ特性を乗じたものになる。Further, in the original image data in which the subject image formed by forming the subject light reflected twice by the mirror 21a (reflected once by two mirrors 21a whose reflecting surfaces 211a are parallel and facing each other) is imaged. The pixel value in the pixel is obtained by multiplying f (λ) twice in the above equation (2). Here, if the number of reflections is i and these relationships are generalized, the pixel value y k in the pixel in the original image data in which the subject image formed by forming the subject light reflected i times by the mirror 21a is imaged. , I can be expressed as the following equation (3). It should be noted that 0 ≦ i ≦ N, where N is the maximum number of reflections when the mirror 21a is used. Further, when i = 0 (pixel value in the pixel in the original image data in which the subject image formed by forming the subject light not reflected by the mirror 21a is captured) is the above equation (1). Further, for example, when an optical filter having different filter characteristics as illustrated in FIG. 3 is applied, the pixel value is obtained by multiplying a plurality of filter characteristics in the following equation (3).

Figure 0007058881000003
Figure 0007058881000003

上記式（３）において、特定の波長帯域に分光した被写体Ｔの画像のデータである分光画像データを生成するためには、被写体Ｔの分光反射率ｓ（λ）を算出すればよい。このとき、原画像データ中の画素における画素値ｙｋ，ｉは原画像データから得られ、光源２２が照射する光のスペクトルｌ（λ）、光学フィルタＦａ１のフィルタ特性ｆ（λ）、撮像部１０におけるｋ番目のチャネルの分光特性ｃｋ（λ）は撮像装置特性データから得られる。また、反射回数ｉは、反射履歴データから得られる。そのため、上記式（３）に基づいて、被写体Ｔの分光反射率ｓ（λ）を算出して分光画像データを生成することができる。In the above equation (3), in order to generate spectroscopic image data which is the data of the image of the subject T dispersed in a specific wavelength band, the spectral reflectance s (λ) of the subject T may be calculated. At this time, the pixel values y k and i in the pixels in the original image data are obtained from the original image data, the spectrum l (λ) of the light emitted by the light source 22, the filter characteristic f (λ) of the optical filter Fa1, and the imaging unit. The spectral characteristic kk (λ) of the kth channel at No. 10 is obtained from the image pickup device characteristic data. Further, the number of reflections i is obtained from the reflection history data. Therefore, the spectral reflectance s (λ) of the subject T can be calculated and the spectral image data can be generated based on the above equation (3).

以下、上記式（３）に基づいて、被写体Ｔの分光反射率ｓ（λ）を算出する方法について説明する。まず、演算の都合上、上記式（３）を離散表現に変換したものが下記式（４）である。なお、下記式（４）において、ａｋ，ｉ，λは、既知であるｌλ-ｆｉ λｃｋ，λをまとめて表記したものである。また、λｂとλｅは、上記式（３）においてΛで表現していた波長の範囲の最小値及び最大値である。Hereinafter, a method of calculating the spectral reflectance s (λ) of the subject T will be described based on the above equation (3). First, for the convenience of calculation, the following equation (4) is obtained by converting the above equation (3) into a discrete expression. In the following equation (4), a k, i, and λ are a collective representation of the known l λ- f i λ c k, λ . Further, λ b and λ e are the minimum and maximum values in the wavelength range expressed by Λ in the above equation (3).

Figure 0007058881000004
Figure 0007058881000004

ここで、下記式（５）を用いると、上記式（４）は下記式（６）に書き換えられる。なお、下記式（５）におけるｄλは離散表現における波長の粒度であり、波長の分解能Ｎλは（λｅ―λｂ）／ｄλになる。Here, if the following equation (5) is used, the above equation (4) can be rewritten into the following equation (6). Note that dλ in the following equation (5) is the particle size of the wavelength in the discrete representation, and the wavelength resolution N λ is (λ e ―λ b ) / dλ.

Figure 0007058881000005
Figure 0007058881000005

そして、最大でＮ回反射した被写体光が結像されて成る複数の被写体像が撮像部１０で撮像される場合であって、当該複数の被写体像の同一部分（被写体Ｔの同一部分）に相当する原画像データ中の複数の画素のそれぞれにおける画素値が３つのチャネルを有している場合、下記式（７）のベクトルで表現した連立方程式が成り立つ。 Then, a plurality of subject images formed by forming a subject light reflected N times at the maximum are imaged by the imaging unit 10, and correspond to the same portion of the plurality of subject images (the same portion of the subject T). When the pixel values in each of the plurality of pixels in the original image data have three channels, the simultaneous equations expressed by the vectors of the following equation (7) hold.

Figure 0007058881000006
Figure 0007058881000006

そして、上記式（７）において、上述の通り画素値のベクトルｙ及び係数行列Ａは既知であるため、分光反射率ｓは下記式（８）を解くことで得られる。そこで、演算部５２は、下記式（８）を解くことで、分光画像データの画素値である分光反射率ｓを算出する。なお、下記式（８）は、例えば最小二乗法で解くことができる。 Since the pixel value vector y and the coefficient matrix A are known in the above equation (7) as described above, the spectral reflectance s can be obtained by solving the following equation (8). Therefore, the calculation unit 52 calculates the spectral reflectance s, which is the pixel value of the spectral image data, by solving the following equation (8). The following equation (8) can be solved by, for example, the least squares method.

Figure 0007058881000007
Figure 0007058881000007

ところで、上記式（８）の問題を最小二乗法で解く場合における演算の安定性は、係数行列Ａの階数に依存し、階数が十分な大きさであれば安定して解が得られる。階数は、下記のアルゴリズム１に対して、係数行列Ａの特異値σｉ（１≦ｉ≦ｍｉｎ（３Ｎ，Ｎλ））を入力して計算される。By the way, the stability of the operation when solving the problem of the above equation (8) by the least squares method depends on the rank of the coefficient matrix A, and if the rank is sufficiently large, a stable solution can be obtained. The rank is calculated by inputting the singular value σ i (1 ≦ i ≦ min (3N, N λ )) of the coefficient matrix A to the algorithm 1 below.

Figure 0007058881000008
Figure 0007058881000008

数値解析の分野では、問題の条件数は、その問題を安定して解くための重要な要素であることがよく知られており、条件数が低い問題は安定して解が得られる。上記式（８）の問題における条件数は、下記式（９）によって決まる。なお、下記式（９）において、σｍａｘは係数行列Ａの特異値の最大値であり、σｍｉｎは係数行列Ａの特異値の最小値である。また、ここではσｍａｘをσ１、σｍｉｎをσｒａｎｋ（Ａ）とする。In the field of numerical analysis, it is well known that the conditional number of a problem is an important factor for stably solving the problem, and a problem with a low conditional number can be stably solved. The number of conditions in the problem of the above equation (8) is determined by the following equation (9). In the following equation (9), σ max is the maximum value of the singular value of the coefficient matrix A, and σ min is the minimum value of the singular value of the coefficient matrix A. Here, σ max is σ 1 and σ min is σ rank (A) .

Figure 0007058881000009
Figure 0007058881000009

そして、上述のように、光源２２が照射する光のスペクトルｌλ、光学フィルタＦａ１のフィルタ特性ｆλ、撮像部１０におけるｋ番目のチャネルの分光特性ｃｋ，λが既知であるため、係数行列Ａは事前に評価することができる。したがって、多くのカラーフィルタを有している場合、階数を十分な大きさにするとともに、条件数を最低にする最適なカラーフィルタを、事前に選択することが可能である。Then, as described above, since the spectrum l λ of the light emitted by the light source 22, the filter characteristic f λ of the optical filter Fa1, and the spectral characteristics kk and λ of the kth channel in the imaging unit 10 are known, the coefficient matrix is known. A can be evaluated in advance. Therefore, when having many color filters, it is possible to select in advance the optimum color filter that makes the number of floors sufficiently large and minimizes the conditional number.

また、上記式（８）の問題の解を求める計算をより安定させるために、凸最適化技術を利用して最適化すると、好ましい。まず、分光反射率は、物理的に負の値を取り得ず、１を超えることもない。さらに、分光反射率には平滑化制約を用いることができる。これらの制約を用いると、上記式（８）は下記式（１０）に書き換えることができる。なお、下記式（１０）において、αは平滑化項に関する係数である。 Further, in order to further stabilize the calculation for finding the solution of the problem of the above equation (8), it is preferable to optimize using the convex optimization technique. First, the spectral reflectance cannot take a physically negative value and does not exceed 1. Further, a smoothing constraint can be used for the spectral reflectance. Using these constraints, the above equation (8) can be rewritten into the following equation (10). In the following equation (10), α is a coefficient related to the smoothing term.

Figure 0007058881000010
Figure 0007058881000010

次に、上記式（１０）は、下記式（１１）のように行列形式で表すことができる。なお、Ｄは２次差分行列である。 Next, the above equation (10) can be expressed in a matrix format as in the following equation (11). Note that D is a quadratic difference matrix.

Figure 0007058881000011
Figure 0007058881000011

そして、上記式（１１）の方程式における目的関数は、下記式（１２）のように二次計画法で表現することができる。 Then, the objective function in the equation of the above equation (11) can be expressed by the quadratic programming method as shown in the following equation (12).

Figure 0007058881000012
Figure 0007058881000012

上記式（１２）の第３項のｙＴｙは定数であるため、上記式（１２）は下記式（１３）に等しいことになる。Since yT y in the third term of the above equation (12) is a constant, the above equation (12) is equal to the following equation (13).

Figure 0007058881000013
Figure 0007058881000013

上記式１３の方程式は、二次錐計画法（S. Boyd and L. Vandenberghe, editors, “Convex Optimization”,Cambridge University Press, 2004）を用いて解を求めることができる。そして、当該最適化計画を実施するために、ｐｙｔｈｏｎの最適化ライブラリｃｖｘｏｐｔ（Cvxopt：Python software for convexoptimization, http://cvxopt.org, 2016年11月12日検索）を利用することができる。 The equation of Equation 13 above can be solved using the second-order cone programming method (S. Boyd and L. Vandenberghe, editors, “Convex Optimization”, Cambridge University Press, 2004). Then, in order to implement the optimization plan, Python's optimization library cvopt (Cvxopt: Python software for convexoptimization, http://cvxopt.org, searched on November 12, 2016) can be used.

上述の演算によって演算部５２が生成した分光画像データの一例について図面を参照して説明する。図９は、図８に示す演算部が生成する分光画像データと従来のハイパースペクトルカメラの撮像によって得られる画像データとを対比して示した図である。なお、図９（ａ）は演算部５２が生成した分光画像データを示した図であり、図９（ｂ）は従来のハイパースペクトルカメラの撮像の撮像によって得られた画像データを示した図である。なお、図９（ａ）及び図９（ｂ）の被写体は、緑色の葉である。 An example of the spectroscopic image data generated by the calculation unit 52 by the above calculation will be described with reference to the drawings. FIG. 9 is a diagram showing a comparison between the spectroscopic image data generated by the arithmetic unit shown in FIG. 8 and the image data obtained by imaging with a conventional hyperspectral camera. Note that FIG. 9A is a diagram showing spectroscopic image data generated by the calculation unit 52, and FIG. 9B is a diagram showing image data obtained by imaging with a conventional hyperspectral camera. be. The subject of FIGS. 9 (a) and 9 (b) is a green leaf.

図９（ａ）に示す演算部５２が生成した分光画像データも、図９（ｂ）に示すハイパースペクトルカメラの撮像によって得られた画像データも、波長が５５０ｎｍ及びその付近であるときに、葉が撮像されている画素の画素値が大きくなるという共通の結果が得られた。そして、この５５０ｎｍという波長は緑色であり、実際の被写体の色と合致する。したがって、上述した撮像装置１及び画像処理装置５０を用いることで、実際に分光画像データを生成することが可能である。 Both the spectroscopic image data generated by the arithmetic unit 52 shown in FIG. 9A and the image data obtained by imaging with the hyperspectral camera shown in FIG. 9B are leaves when the wavelength is 550 nm or its vicinity. A common result was obtained that the pixel value of the pixel in which the image was taken was large. The wavelength of 550 nm is green and matches the color of the actual subject. Therefore, by using the above-mentioned imaging device 1 and image processing device 50, it is possible to actually generate spectroscopic image data.

以上のように、本発明の実施形態に係る画像処理装置５０では、１回の撮像によって得られた複数の被写体像が撮像されている原画像データに対する画像処理によって、分光画像データを生成することができる。 As described above, in the image processing apparatus 50 according to the embodiment of the present invention, spectral image data is generated by image processing on the original image data in which a plurality of subject images obtained by one imaging are captured. Can be done.

なお、上述の実施形態に係る画像処理装置５０では、撮像装置特性データに、光源２２が照射する光のスペクトルｌ（λ）、光学フィルタＦａ１のフィルタ特性ｆ（λ）、撮像部１０におけるｋ番目のチャネルの分光特性ｃｋ（λ）が含まれる場合について例示したが、これ以外の特性値を記録してもよい。In the image processing device 50 according to the above-described embodiment, the image pickup device characteristic data includes the spectrum l (λ) of the light emitted by the light source 22, the filter characteristic f (λ) of the optical filter Fa1, and the kth position in the image pickup unit 10. Although the case where the spectral characteristic kk (λ) of the channel is included is illustrated, other characteristic values may be recorded.

具体的には、上記式（４）におけるａｋ，ｉ，λを算出して撮像装置特性データに記録することが考えられる。例えば、分光反射率が既知である様々な色が配置されたパネルを撮像装置１によって撮像する（即ち、キャリブレーションを行う）ことで原画像データを得れば、画素値ｙｋ，ｉ及び分光反射率ｓ（λ）が既知であることからａｋ，ｉ，λを算出することが可能である。Specifically, it is conceivable to calculate ak, i, and λ in the above equation (4) and record them in the image pickup device characteristic data. For example, if the original image data is obtained by imaging (that is, performing calibration) a panel on which various colors having known spectral reflectances are arranged by the image pickup apparatus 1, the pixel values y k, i and the spectroscopy can be obtained. Since the reflectance s (λ) is known, it is possible to calculate ak, i, and λ .

このように、キャリブレーションによってａｋ，ｉ，λを算出すると、例えば、撮像装置１の反射部２０が光源２２を備えていない場合など、被写体Ｔに照射される光のスペクトルｌ（λ）が算出し難い場合であっても、簡単に撮像装置特性データを得ることができる。When the ak, i, and λ are calculated by calibration in this way, the spectrum l (λ) of the light applied to the subject T becomes, for example, when the reflecting unit 20 of the image pickup apparatus 1 does not have the light source 22. Even if it is difficult to calculate, the image pickup device characteristic data can be easily obtained.

本発明は、一度に複数の被写体像を撮像する撮像装置と、当該撮像装置が作成した画像のデータを処理する画像処理装置に利用可能である。 The present invention can be used for an image pickup device that captures a plurality of subject images at one time and an image processing device that processes image data created by the image pickup device.

１ ： 撮像装置
１０ ： 撮像部
１１ ： 結像素子
１２ ： 撮像素子
２０ ： 反射部
２１，２１ａ～２１ｆ ： 鏡
２１１，２１１ａ～２１１ｆ ： 反射面
３０ ： 光源
５０ ： 画像処理装置
５１ ： データベース
５２ ： 演算部
Ｔ ： 被写体
Ｆ，Ｆａ１，Ｆｂ１，Ｆｂ２，Ｆｃ１～Ｆｃ３，Ｆｄ１，Ｆｄ２，Ｆｅ１～Ｆｅ５，Ｆｆ１～Ｆｆ３ ： 光学フィルタ

1: Image pickup device 10: Image pickup unit 11: Image pickup element 12: Image pickup element 20: Reflection section 21,21a to 21f: Mirror 211,211a to 211f: Reflection surface 30: Light source 50: Image processing device 51: Database 52: Calculation Part T: Subject F, Fa1, Fb1, Fb2, Fc1 to Fc3, Fd1, Fd2, Fe1 to Fe5, Ff1 to Ff3: Optical filter

Claims (10)

被写体から到来する被写体光を結像する結像素子と、前記結像素子が結像した被写体像を撮像して原画像データを作成する撮像素子と、を有する撮像部と、
前記被写体光を反射させて前記撮像部に入射させる鏡を複数有する反射部と、を備え、
前記反射部が有する前記鏡のそれぞれは、反射面で反射する光の波長特性を変化させる光学フィルタが当該反射面上に設けられているとともに、前記結像素子の光軸に対して前記反射面が平行になるように配置されていることを特徴とする撮像装置。An image pickup unit having an image pickup element that forms an image of subject light coming from the subject and an image pickup element that captures an image of the subject image formed by the image pickup element to create original image data.
A reflecting unit having a plurality of mirrors that reflect the subject light and incident on the imaging unit is provided.
Each of the mirrors of the reflecting unit is provided with an optical filter on the reflecting surface that changes the wavelength characteristics of the light reflected by the reflecting surface, and the reflecting surface with respect to the optical axis of the imaging element. An image pickup device characterized in that they are arranged so as to be parallel to each other. 前記反射部が、前記反射面を内側に向けるとともに隣接して配置されるＸ枚（Ｘは３以上の整数）の前記鏡を有し、
当該鏡の前記光軸に対して垂直な断面が、当該鏡のそれぞれの前記反射面を一辺とする正Ｘ角形であることを特徴とする請求項１に記載の撮像装置。The reflective portion has X mirrors (where X is an integer of 3 or more) arranged adjacently with the reflective surface facing inward.
The imaging apparatus according to claim 1, wherein the cross section of the mirror perpendicular to the optical axis is a regular X-sided mirror having each of the reflecting surfaces of the mirror as one side. 前記反射部が有する前記鏡の枚数が６枚以下であることを特徴とする請求項２に記載の撮像装置。 The image pickup apparatus according to claim 2, wherein the number of mirrors included in the reflecting unit is 6 or less. 前記反射部が有する前記鏡の枚数が偶数であり、前記反射面が平行かつ対向するように配置されている２枚の前記鏡のそれぞれは、少なくとも当該鏡の前記反射面のそれぞれで１回ずつ反射した前記被写体光が結像されて成る少なくとも１つの前記被写体像が前記撮像部に撮像されるように配置されていることを特徴とする請求項２または３に記載の撮像装置。 Each of the two mirrors having the reflecting portion having an even number of mirrors and having the reflecting surfaces arranged in parallel and facing each other is at least once for each of the reflecting surfaces of the mirror. The image pickup apparatus according to claim 2 or 3, wherein at least one subject image formed by forming the reflected subject light is arranged so as to be imaged by the image pickup unit. 前記反射部が、前記反射面が平行かつ対向するように配置された２枚の前記鏡を有し、当該鏡のそれぞれは、少なくとも当該鏡の前記反射面のそれぞれで１回ずつ反射した前記被写体光が結像されて成る少なくとも１つの前記被写体像が前記撮像部に撮像されるように配置されていることを特徴とする請求項１に記載の撮像装置。 The reflecting portion has two mirrors arranged so that the reflecting surfaces are parallel and facing each other, and each of the mirrors reflects the subject at least once on each of the reflecting surfaces of the mirror. The image pickup apparatus according to claim 1, wherein at least one subject image formed by forming an image of light is arranged so as to be imaged by the image pickup unit. 前記反射面が平行かつ対向するように配置された少なくとも１組の前記鏡の前記反射面上に設けられている前記光学フィルタのそれぞれは、フィルタ特性が同一であることを特徴とする請求項４または５に記載の撮像装置。 4. Claim 4 characterized in that each of the optical filters provided on the reflective surfaces of at least one set of mirrors arranged so that the reflecting surfaces are parallel and opposed to each other has the same filter characteristics. Or the image pickup apparatus according to 5. 前記反射面が平行かつ対向するように配置された少なくとも１組の前記鏡の前記反射面上に設けられている前記光学フィルタのそれぞれは、フィルタ特性が異なることを特徴とする請求項４～６のいずれか１項に記載の撮像装置。 Claims 4 to 6 are characterized in that each of the optical filters provided on the reflecting surface of at least one set of mirrors arranged so that the reflecting surfaces are parallel and opposed to each other has different filter characteristics. The image pickup apparatus according to any one of the above items. 前記鏡のそれぞれは、前記反射面から前記光軸までの距離が等しくなるように配置されることを特徴とする請求項１～７のいずれか１項に記載の撮像装置。 The imaging device according to any one of claims 1 to 7, wherein each of the mirrors is arranged so that the distances from the reflecting surface to the optical axis are equal. 前記反射部が、前記鏡の前記撮像部から遠い方の端部に設けられて前記被写体に対して光を照射する光源を、さらに有することを特徴とする請求項１～８のいずれか１項に記載の撮像装置。 One of claims 1 to 8, wherein the reflecting portion further has a light source provided at an end portion of the mirror far from the imaging portion and irradiates the subject with light. The image pickup apparatus according to the above. 請求項１～９のいずれか１項に記載の撮像装置によって作成された前記原画像データと、前記撮像部及び前記反射部のそれぞれの光学特性のデータを含む撮像装置特性データと、複数の前記被写体像のそれぞれが撮像されている画素の前記原画像データ中の位置のデータを含む被写体像位置データと、当該被写体像のそれぞれが結像されるまでに前記被写体光が前記鏡で反射された履歴のデータを含む反射履歴データと、を記録するデータベースと、
前記データベースに記録されているデータに基づいて、特定の波長帯域に分光した画像のデータである分光画像データを生成する演算部と、を備え、
前記演算部は、前記被写体像位置データに基づいて、前記被写体の特定部分に相当する前記原画像データ中の複数の画素のそれぞれの位置を特定し、当該画素のそれぞれの画素値と、前記反射履歴データ及び前記撮像装置特性データとに基づいて、前記分光画像データにおける前記被写体の前記特定部分に相当する画素の画素値を算出することを特徴とする画像処理装置。

The original image data created by the image pickup device according to any one of claims 1 to 9, the image pickup device characteristic data including the optical characteristic data of each of the image pickup unit and the reflection unit, and a plurality of the above. The subject image position data including the position data in the original image data of the pixel in which each of the subject images is captured and the subject light reflected by the mirror until each of the subject images is imaged. A database that records reflection history data, including history data, and
A calculation unit that generates spectroscopic image data, which is data of an image dispersed in a specific wavelength band based on the data recorded in the database, is provided.
Based on the subject image position data, the calculation unit identifies the positions of each of a plurality of pixels in the original image data corresponding to the specific portion of the subject, and the pixel values of the pixels and the reflection. An image processing device characterized by calculating the pixel value of a pixel corresponding to the specific portion of the subject in the spectral image data based on the history data and the image pickup device characteristic data.
JP2019509614A 2017-03-30 2018-03-20 Image pickup device and image processing device Active JP7058881B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017067131 2017-03-30
JP2017067131 2017-03-30
PCT/JP2018/011153 WO2018180808A1 (en) 2017-03-30 2018-03-20 Image capture device and image processing device

Publications (2)

Publication Number Publication Date
JPWO2018180808A1 JPWO2018180808A1 (en) 2020-02-06
JP7058881B2 true JP7058881B2 (en) 2022-04-25

Family

ID=63676939

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019509614A Active JP7058881B2 (en) 2017-03-30 2018-03-20 Image pickup device and image processing device

Country Status (2)

Country Link
JP (1) JP7058881B2 (en)
WO (1) WO2018180808A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005260480A (en) 2004-03-10 2005-09-22 Olympus Corp Multispectrum image photography apparatus and adapter lens
JP2010245870A (en) 2009-04-07 2010-10-28 Olympus Corp Lens adapter device for multi-spectral photographing, multi-spectral camera and image processor
JP2014533355A (en) 2011-11-04 2014-12-11 アイメックＩｍｅｃ Spectral camera with a mirror for projecting multiple adjacent image copies onto a sensor array
JP2016511980A (en) 2013-02-13 2016-04-21 ウニベージティート デス ザ−ルランデスＵｎｉｖｅｒｓｉｔａｅｔ Ｄｅｓ Ｓａａｒｌａｎｄｅｓ Plenoptic imaging device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005260480A (en) 2004-03-10 2005-09-22 Olympus Corp Multispectrum image photography apparatus and adapter lens
JP2010245870A (en) 2009-04-07 2010-10-28 Olympus Corp Lens adapter device for multi-spectral photographing, multi-spectral camera and image processor
JP2014533355A (en) 2011-11-04 2014-12-11 アイメックＩｍｅｃ Spectral camera with a mirror for projecting multiple adjacent image copies onto a sensor array
JP2016511980A (en) 2013-02-13 2016-04-21 ウニベージティート デス ザ−ルランデスＵｎｉｖｅｒｓｉｔａｅｔ Ｄｅｓ Ｓａａｒｌａｎｄｅｓ Plenoptic imaging device

Also Published As

Publication number Publication date
JPWO2018180808A1 (en) 2020-02-06
WO2018180808A1 (en) 2018-10-04

Similar Documents

Publication Publication Date Title
EP3830551B1 (en) A hybrid spectral imager
AU731476B2 (en) Multi-spectral two-dimensional imaging spectrometer
US5982497A (en) Multi-spectral two-dimensional imaging spectrometer
KR102624537B1 (en) Imaging device having an image distribution unit that generates spatially coded images
US7835002B2 (en) System for multi- and hyperspectral imaging
Geelen et al. A snapshot multispectral imager with integrated tiled filters and optical duplication
US9438793B2 (en) Image forming apparatus, image forming method and image sensor
US9945721B2 (en) Selective wavelength imaging systems and methods
US10212401B2 (en) Image generation device and imaging device
US10101206B2 (en) Spectral imaging method and system
CN108692815B (en) Multispectral imaging using longitudinal chromatic aberration
US10897585B2 (en) Hyperspectral imaging system and method for providing a hyperspectral image of an area of a remote object
JP2002320234A (en) Apparatus for photoelectrically measuring two- dimensional object measured at each pixel
US10209440B2 (en) Imaging sensor with Bragg filter and method of manufacturing the same
US20220299369A1 (en) System, Method and Apparatus for Wide Wavelength Range Imaging with Focus and Image Correction
JP2016090291A (en) Imaging apparatus, spectroscopy system and spectroscopy method
Trumpy et al. A multispectral design for a new generation of film scanners
US10446600B2 (en) Imaging system and imaging device having a random optical filter array
JP7058881B2 (en) Image pickup device and image processing device
US9110293B2 (en) Prismatic image replication for obtaining color data from a monochrome detector array
JP2016102679A (en) Spectroscopic measurement device
Pust Optical filters–Technology and applications
JP2013024637A (en) Spectroscopic imaging apparatus
JP5360539B2 (en) Image spectrometer
Couce et al. A windowing/pushbroom hyperspectral imager

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220406

R150 Certificate of patent or registration of utility model

Ref document number: 7058881

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150