WO2016110952A1 - 分光画像取得装置 - Google Patents
分光画像取得装置 Download PDFInfo
- Publication number
- WO2016110952A1 WO2016110952A1 PCT/JP2015/050242 JP2015050242W WO2016110952A1 WO 2016110952 A1 WO2016110952 A1 WO 2016110952A1 JP 2015050242 W JP2015050242 W JP 2015050242W WO 2016110952 A1 WO2016110952 A1 WO 2016110952A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- line
- line spectral
- unit
- frame
- Prior art date
Links
- 230000003595 spectral effect Effects 0.000 title claims abstract description 169
- 238000001514 detection method Methods 0.000 claims abstract description 53
- 230000000052 comparative effect Effects 0.000 claims description 16
- 238000006073 displacement reaction Methods 0.000 abstract 6
- 230000003287 optical effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000000034 method Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
- G01J3/021—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using plane or convex mirrors, parallel phase plates, or particular reflectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
- G01J3/0232—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using shutters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
- G01J3/0243—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows having a through-hole enabling the optical element to fulfil an additional optical function, e.g. a mirror or grating having a throughhole for a light collecting or light injecting optical fiber
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0289—Field-of-view determination; Aiming or pointing of a spectrometer; Adjusting alignment; Encoding angular position; Size of measurement area; Position tracking
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/04—Slit arrangements slit adjustment
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Definitions
- the present invention relates to a spectral image acquisition apparatus.
- image processing for a scanner that outputs R, G, and B signals, which are the sources of the luminance signal having the highest correlation between each generated luminance signal and the signal of the monochrome line sensor, as a signal corrected for misalignment.
- An apparatus is known (for example, refer to Patent Document 1).
- the present invention has been made in view of the above-described circumstances, and an object of the present invention is to provide a spectral image acquisition apparatus capable of generating a spectral image in which positional deviation is suppressed in accordance with the movement of a subject.
- One embodiment of the present invention includes a line spectral image acquisition unit that acquires a plurality of line spectral images by splitting the scanned line-shaped light for each wavelength at each position in the length direction, and the line spectral image acquisition.
- a frame image acquisition unit that acquires a two-dimensional frame image including a shooting range by the unit and includes fewer color signals than the line spectral image, each line spectral image acquired by the line spectral image acquisition unit, and Based on the wavelength characteristics of the frame image acquisition unit, a comparison image estimation unit that estimates a comparison image for each line, each comparison image estimated by the comparison image estimation unit, and a corresponding position in the frame image
- a line spectral image position shift detection unit that detects a position shift amount, and a position shift amount detected by the line spectral image position shift detection unit, To the reaction position, a spectral image acquisition apparatus and a positional deviation correcting unit fitting each said line spectral image was used to estimate each said comparative image.
- the line spectral image acquisition unit sequentially acquires a plurality of line spectral images in the scanning direction, while the frame image acquisition unit acquires a frame image. Since each line spectral image is sequentially acquired by scanning, and the acquisition time is different, a positional deviation occurs between them. On the other hand, since the frame image has fewer color signals than the line spectral image, the same shooting range as the shooting range of all line spectral images can be shot in a shorter time than the line spectral image, and the shift in the image is suppressed. be able to.
- a comparative image in a line shape that would be acquired if it was a frame image acquisition unit was estimated by the comparison image acquisition unit, and each of the estimated comparison images was The amount of positional deviation from the corresponding position in the frame image is detected by the line spectral image positional deviation detection unit. Then, the position shift correction unit applies the line spectral images used for generating the comparison images to the corresponding positions in the frame image based on the detected position shift amount, thereby correcting the position. It is possible to acquire a spectral image with suppressed deviation.
- each line spectral image has a positional shift when the subject moves due to a difference in acquisition time, but the positional shift is corrected by referring to the frame image in which the shift is suppressed.
- a spectral image can be easily acquired.
- the frame image acquisition unit acquires the frame image serving as a reference and one or more other frame images spaced apart from the reference frame image by the line spectroscopy.
- An image position shift detection unit detects the amount of position shift by selecting the frame image whose acquisition time is closest to each line spectral image used to estimate each comparison image, and detects the line spectral image position shift.
- a position shift detection unit between frame images for detecting a shift amount between the frame image selected by the detection unit and the reference frame image; and the position shift correction unit includes the line spectral image position shift.
- the frame image serving as a reference based on the positional deviation amount detected by the detection unit and the positional deviation amount detected by the inter-frame image positional deviation detection unit Of the corresponding position may be fitted to each said line spectral images used to generate each said comparative image.
- the positional deviation amount is reduced, and the positional deviation amount can be easily detected. Since the positional deviation detection between the reference frame image and the selected frame image is a comparison between two-dimensional frame images, the positional deviation amount can be detected more easily.
- the said frame image acquisition part may acquire each said frame image at the time corresponding to the acquisition time of each said line spectral image by the said line image acquisition part.
- the inter-frame image position shift detection unit may locally detect a position shift between frame images. By doing in this way, even if the subject within the imaging range changes locally with the passage of time, it is possible to accurately detect the positional deviation between the frame images and acquire the spectral image with high accuracy.
- the frame image acquisition unit acquires the reference frame image and the one or more other frame images with a time interval from the reference frame image.
- a positional shift amount calculating unit that calculates a positional shift amount of the frame image at the acquisition time of each line spectral image used for estimating each comparative image with respect to the reference frame image;
- a correction unit that detects a positional shift amount detected by the line spectral image position shift detection unit, and a positional shift amount calculated by the positional shift amount calculation unit; Based on, a corresponding position in the frame image serving as a reference, may be fitted to each said line spectral image was used to estimate each said comparative image. By doing so, it is possible to reduce the number of acquired frame images for calculating the positional deviation amount compared with the comparative image.
- FIG. 1 is an overall configuration diagram showing a spectral image acquisition apparatus according to a first embodiment of the present invention. It is an enlarged view which shows the line spectral image acquisition part with which the image acquisition part of the spectral image acquisition apparatus of FIG. 1 is equipped. It is a figure explaining the line spectral image acquired by the line spectral image acquisition part of FIG. It is a block diagram which shows the image process part with which the spectral image acquisition apparatus of FIG. 1 is equipped. It is a figure explaining operation
- FIG. 5 is a block diagram illustrating a positional deviation correction unit provided in the image processing unit of FIG. 4.
- the spectral image acquisition device 1 includes an image acquisition unit 2 and an image processing unit 3.
- the image acquisition unit 2 includes an imaging lens 4 that collects light from the subject, a branching unit 5 that branches the light from the subject collected by the imaging lens 4 into two optical paths L1 and L2, and the branching unit.
- Reference image acquisition unit (frame image acquisition unit) 6 that is arranged in one optical path L1 branched by 5 and captures a two-dimensional image of the subject to acquire a reference image (frame image), and the other optical path L2
- a line spectral image acquisition unit 7 that acquires a line spectral image of the subject.
- the branching unit 5 is, for example, a half mirror.
- the reference image acquisition unit 6 includes a monochrome area sensor such as a CCD or CMOS image sensor.
- the line spectral image acquisition unit 7 is provided on the other optical path L ⁇ b> 2 with slits 8 arranged over a plurality of rows, such that the slits 8 can be opened and closed for each row, and opened.
- a plurality of shutters 9 that allow light from the subject to pass through and block light from the subject when closed, and disposed on the opposite side of the subject across the shutter 9, and the incident light differs for each wavelength
- a diffraction grating 10 that emits light in the diffraction direction and an image sensor 11 that detects light diffracted by the diffraction grating 10 are provided.
- the line spectral image acquisition unit 7 closes all the shutters 9 and opens the shutter 9 that opens and closes any one of the slits 8 to pass the line-shaped light out of the light from the subject.
- the shutter 9 to be opened is alternately and sequentially switched in the direction in which the slits 8 are arranged, that is, in the direction orthogonal to the length direction (line direction) X of the slits 8. As a result, the slits 8 that pass the line-shaped light incident on the diffraction grating 10 are scanned in the arrangement direction.
- the line spectroscopic image acquisition unit 7 performs the scanning by the slit 8 as described above, the paragraph [0056] of JP 2012-58037 A, and the line-shaped mirror disclosed in FIGS. 1 to 3.
- the scanning may be performed by a light reflector such as an optical mechanical scanner (OMS) or a push bloom scanner (PBS).
- OMS optical mechanical scanner
- PBS push bloom scanner
- the diffraction grating 10 is arranged over the entire length in the line direction X, and light that has passed through any one of the slits 8 is incident from the same direction (a direction substantially orthogonal to the incident surface of the diffraction grating 10). .
- the line-shaped light incident on the diffraction grating 10 is diffracted by the diffraction grating 10 in the direction according to the wavelength, and is incident on the image sensor 11 arranged so as to cover the diffraction range.
- the image sensor 11 has a plurality of pixels lined up in a line direction X and a direction orthogonal to the line direction X.
- the number of pixels arranged in the line direction X determines the spatial resolution of the line spectral image.
- the number of pixels arranged in the direction orthogonal to the line direction X determines the wavelength resolution of the line spectral image.
- the line spectral image acquired for each line by the image sensor 11 is a two-dimensional image showing the luminance array in the line direction X in one direction and the luminance array in the wavelength direction in the other direction, as shown in FIG. It has become.
- a plurality of line spectral images shown in FIG. 3 are sequentially acquired by photographing while switching the position where the shutter 9 is opened.
- the shooting range of the area sensor of the reference image acquisition unit 6 is set so as to include the shooting range shot by scanning the slit 8 of the line spectral image acquisition unit 7.
- the image processing unit 3 receives the reference image acquired by the image acquisition unit 2 and a plurality of line spectral images, and outputs a spectral image in which the positional deviation is corrected.
- the image processing unit 3 includes an estimated value calculation unit 13 and a comparative image estimation unit 14.
- the estimated value calculation unit 13 has a wavelength characteristic R ( ⁇ ) (spectral reflectance) at each position x j in the length direction X of the slit 8 of each input line spectral image, and multiplying the wavelength characteristic S (lambda) (spectral sensitivity), by integrating over the wavelength range taken (see below equation 2), and calculates the estimated luminance value V (x j) of x j .
- the comparison image estimating unit 14 is configured to generate a linear comparative image from the estimated luminance value in all positions x j calculated by the estimated value calculation unit 13.
- the image processing unit 3 includes a position shift detection unit (line spectral image position shift detection unit) 15. As illustrated in FIG. 5, the position shift detection unit 15 obtains a correlation between the comparison image estimated by the comparison image estimation unit 14 and the reference image, thereby obtaining a corresponding position Y i of the comparison image in the reference image. At the same time, the positional deviation amount ⁇ x along the length direction X of the line is calculated.
- the correlation calculation in the position shift detection unit 15 is performed between each comparison image and each line in the reference image, and the line having the highest correlation value is selected as the corresponding position Y i . Then, a positional deviation amount ⁇ x between the reference image of each line at the selected corresponding position Y i and the comparative image is calculated.
- the image processing unit 3 shifts each of the comparison images to the corresponding position Y i in the reference image selected by the position shift detection unit 15 by the position shift amount ⁇ x similarly detected by the position shift detection unit 15.
- a position shift correction unit 16 for applying each of the line spectral images used for estimation is provided. As shown in FIG. 6, the positional deviation correction unit 16 includes a position correction unit 17, a frame spectral image holding unit 19, and an address generation unit 18.
- the position correction unit 17 shifts the line spectral image for each line acquired by the line spectral image acquisition unit 7 in the X direction by the positional shift amount ⁇ x detected by the positional shift detection unit 15.
- the frame spectral image holding unit 19 is provided for the number of frequency bands (number of pixels) of the line spectral image for each line acquired by the line spectral image acquiring unit 7.
- the address generation unit 18 uses the information of the corresponding position Y i in the reference image of each line spectral image specified by the position deviation detection unit 15, for each line spectral image corrected by the position correction unit 17.
- An address in the frame spectral image holding unit 19 is generated, and is written and stored at a corresponding address in the frame spectral image holding unit 19 corresponding to each frequency band. Thereby, a line spectral image in which the positional deviation is corrected is generated.
- the imaging lens 4 is arranged toward the subject, and the reflected light from the light source on the subject is collected by the imaging lens 4.
- the condensed light is branched into two optical paths L1 and L2 by the branching unit 5, a reference image is acquired by the reference image acquisition unit 6 disposed in one optical path L1, and the line spectrum disposed in the other optical path L2
- the image acquisition unit 7 acquires a plurality of line spectral images. Since the reference image acquisition unit 6 is configured by an area sensor such as a CCD, it can acquire a two-dimensional monochrome image without positional deviation at each position at a time.
- line-shaped light extending in the line direction X that has passed through the opened slit 8 is diffracted by alternately opening the shutters 9 that close the slit 8 sequentially.
- the light is spectrally divided by the grating 10 for each wavelength, and the line spectral image is acquired for each line by the image sensor 11.
- a shift occurs in the acquisition time of each line spectral image, and a positional shift occurs when the subject is moving.
- each of the line spectral images in the length direction X of the slit 8 of each line spectral image is input to the estimated value calculation unit 13.
- the wavelength characteristics in the position x j (spectral reflectance), and the wavelength characteristic stored in the storage unit 12 is multiplied, estimated luminance value at the position x j is calculated.
- the image in the comparative image estimating unit 14 of the processing section 3, all positions x j linear comparative image from the estimated luminance value in calculated is constituted by the estimated value calculation unit 13.
- the positional deviation detection unit 15 obtains the correlation between the comparison image estimated by the comparison image estimation unit 14 and the reference image, and specifies the corresponding position Yi of the comparison image in the reference image. In addition, a positional deviation amount ⁇ x along the line length direction X is calculated.
- the line spectral image is applied to the corresponding position Yi in the reference image based on the detected positional deviation amount ⁇ x in the positional deviation correction unit 16.
- the reference image acquisition unit 6 acquires a plurality of reference images almost in synchronization with the acquisition timing of the line spectral image by the line spectral image, and
- the image processing in the image processing unit 20 is different from the spectral image acquisition apparatus 1 according to the first embodiment.
- the image processing unit 20 is configured to detect a positional deviation amount between reference images (an inter-frame image positional deviation detection unit) that detects a positional deviation amount between a plurality of reference images acquired by the reference image acquisition unit 6. ) 21 and the positional deviation correction unit 16 corrects the positional deviation between the reference images. That is, using the first reference image and the first line spectral image acquired at approximately the same time, the first positional deviation amount ⁇ x1 is detected in the same manner as in the first embodiment, and the first line is detected. The spectral image is stored at the corresponding position of the first reference image.
- the second positional shift amount ⁇ x1 is detected in the same manner as in the first embodiment, using the second reference image and the second line spectral image acquired at approximately the same time.
- the second positional shift amount is zero.
- the corresponding position Yi is specified by the correlation between the used comparison image and the second reference image.
- the inter-reference image positional deviation detection unit 21 detects the third positional deviation amount ⁇ x2 between the first reference image and the second reference image. Thereafter, the positional deviation correction unit 16 corrects the positional deviation by combining the second positional deviation amount ⁇ x1 and the third positional deviation amount ⁇ x2, and the second line spectral image is matched with the corresponding position Yi of the first reference image. Save to.
- the first reference image is used as a standard image, and this is repeated to obtain a spectral image with suppressed positional deviation.
- the spectral image acquisition apparatus it is easy to correlate the reference image acquired at approximately the same time with the line spectral image, and the correlation between two-dimensional reference images is performed with a small error. There is an advantage that you can.
- the reference image is acquired in synchronization with the acquisition of the line spectral image.
- a plurality of reference images may be acquired asynchronously with the acquisition of the line spectral image.
- the detection of the positional deviation amount by the line spectral image positional deviation detection unit 15 may be performed by selecting the reference image having the closest acquisition time.
- the position shift detection unit 21 between reference images may detect a local position shift in the reference image.
- the first line spectral image and the first reference image, and the second line spectral image and the second reference image are close in acquisition time, so that the positional deviation can be easily detected. Can do. Then, local positional deviation is detected between the first reference image and the second reference image.
- the local positional deviation between the reference images is performed by dividing each reference image into a plurality of regions P and comparing each region P. Thereby, even if the subject is displaced during acquisition of each line spectral image, it is possible to easily identify the corresponding position for fitting the line spectral image to the reference first reference image. There is an advantage.
- the areas P may be set so as to overlap each other.
- the reference image acquisition unit 6 may acquire two or more reference images with a time interval sufficiently larger than the acquisition interval of adjacent line spectral images. In this case, there is a timing when the corresponding reference image is not acquired for the line spectral image. As shown in FIGS. 11 and 12, the spectral image acquisition device generates a virtual second reference image at the timing of the second line spectral image from which no reference image has been acquired, and this generated virtual reference image. A spectral image is generated by embedding the second line spectral image.
- the inter-reference image positional deviation detection unit 21 in FIG. 12 detects the positional deviation amount between adjacent images actually acquired, as shown in FIG. Using the detection unit 22 and the positional deviation amount ( ⁇ xref) between the adjacent reference images detected here, the shooting time (tl) of the line spectral image, and the shooting times (tref0, tref1) of two adjacent reference images. And an adjacent reference image position offset interpolation unit 23 for generating a reference image.
- the adjacent reference image position shift interpolation unit 23 obtains the position shift amount ⁇ x2 of the virtual reference image by the following equation.
- ⁇ x2 ⁇ xref (tl-tref0) / (tref1-tref0)
- the reference image acquisition unit 6 acquires the reference image at a time interval shorter than the acquisition interval of the line spectral image by the line spectral image acquisition unit 7, and the inter-reference image positional deviation detection unit 21 acquires the reference acquired adjacently.
- the inter-reference image position deviation detection unit 21 includes an adjacent reference image position deviation detection unit 22 that detects an amount of positional deviation between adjacent reference images, and the adjacent reference image position deviation detection unit 22.
- a position shift addition unit 24 between adjacent reference images that adds each position shift amount detected by the position shift detection unit 22 between reference images;
- the inter-reference image positional deviation detection unit 21 detects the positional deviation amount between adjacent reference images, and adds them to correspond to the standard reference image and the line spectral image. The amount of positional deviation from the reference image is obtained.
- the correlation calculation in the positional deviation detection unit 15 is performed between each comparison image and each line in the reference image. Instead, information on scanning of the slit 8 is used.
- the line having the highest correlation value can be detected by the correlation calculation with fewer lines. The time required for the arithmetic processing can be shortened.
- the monochrome image acquired by the area sensor is exemplified as the reference image.
- the present invention is not limited to this as long as the image can be acquired at a higher speed than the line spectral image.
- an image including a smaller number of color signals than the line spectral image may be used.
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Spectrometry And Color Measurement (AREA)
Abstract
被写体の動きに対応して位置ズレを抑制した分光画像を生成することを目的として、本発明に係る分光画像取得装置(1)は、複数のライン分光画像を取得するライン分光画像取得部(7)と、該ライン分光画像取得部(7)による撮影範囲を含み、ライン分光画像よりも少ない色信号を含む2次元のフレーム画像を取得するフレーム画像取得部(6)と、ライン分光画像取得部(7)により取得された各ライン分光画像と、フレーム画像取得部(6)の波長特性とに基づいて、比較画像をライン毎に推定する比較画像推定部と、該比較画像推定部により推定された各比較画像と、フレーム画像内における対応位置との位置ズレ量を検出するライン分光画像位置ズレ検出部と、該ライン分光画像位置ズレ検出部により検出された位置ズレ量に基づいて、フレーム画像内の対応位置に、各比較画像を推定するために使用された各ライン分光画像を当てはめる位置ズレ補正部とを備える。
Description
本発明は、分光画像取得装置に関するものである。
副走査方向に配列されたR,G,Bの各ラインセンサおよび白黒のラインセンサを備え、副走査方向に原稿を送りながら、各センサから読み出しタイミングを変えた信号を選択して輝度信号を生成するとともに、生成された各輝度信号と白黒ラインセンサの信号との相関が最も高くなる輝度信号の元となったR,G,Bの信号を位置ずれ補正した信号として出力するスキャナ用の画像処理装置が知られている(例えば、特許文献1参照。)。
この画像処理装置では、副走査方向に送られる原稿の送り速度ムラに起因する色ズレを抑制することはできるものの、被写体が動くカメラ用の画像処理装置としては、色ズレを抑制することはできない。
本発明は上述した事情に鑑みてなされたものであって、被写体の動きに対応して位置ズレを抑制した分光画像を生成することができる分光画像取得装置を提供することを目的とする。
本発明の一態様は、走査されるライン状の光を、その長さ方向の各位置において波長毎に分光して複数のライン分光画像を取得するライン分光画像取得部と、該ライン分光画像取得部による撮影範囲を含み、前記ライン分光画像よりも少ない色信号を含む2次元のフレーム画像を取得するフレーム画像取得部と、前記ライン分光画像取得部により取得された各前記ライン分光画像と、前記フレーム画像取得部の波長特性とに基づいて、比較画像をライン毎に推定する比較画像推定部と、該比較画像推定部により推定された各前記比較画像と、前記フレーム画像内における対応位置との位置ズレ量を検出するライン分光画像位置ズレ検出部と、該ライン分光画像位置ズレ検出部により検出された位置ズレ量に基づいて、前記フレーム画像内の対応位置に、各前記比較画像を推定するために使用された各前記ライン分光画像を当てはめる位置ズレ補正部とを備える分光画像取得装置である。
本態様によれば、ライン分光画像取得部により、走査方向に複数のライン分光画像が逐次取得される一方、フレーム画像取得部によりフレーム画像が取得される。各ライン分光画像は、走査によって逐次取得されるために取得時刻が異なるので、相互に位置ズレが発生する。一方、フレーム画像は、ライン分光画像よりも色信号が少ないので、全てのライン分光画像による撮影範囲と同じ撮影範囲をライン分光画像よりも短時間で撮影することができ、画像内におけるズレを抑えることができる。
各ライン分光画像とフレーム画像取得部の波長特性とから、フレーム画像取得部であれば取得されるであろうライン状の比較画像が比較画像取得部により推定され、推定された各比較画像の前記フレーム画像内における対応位置との位置ズレ量がライン分光画像位置ズレ検出部により検出される。そして、位置ズレ補正部が、検出された位置ズレ量に基づいて、前記フレーム画像内の対応位置に、各前記比較画像を生成するために使用された各前記ライン分光画像を当てはめることにより、位置ズレを抑えた分光画像を取得することができる。
すなわち、各ライン分光画像は取得時刻の相違により、被写体が動く場合等には位置ズレを発生するが、ズレが抑えられたフレーム画像を参照して位置ズレを補正するので、位置ズレを抑えた分光画像を容易に取得することができる。
上記態様においては、前記フレーム画像取得部が、基準となる前記フレーム画像と該基準となる前記フレーム画像に対して時間間隔をあけた他の1以上の前記フレーム画像とを取得し、前記ライン分光画像位置ズレ検出部が、各前記比較画像を推定するために使用された各ライン分光画像と取得時点が最も近接する前記フレーム画像を選択して位置ズレ量を検出し、該ライン分光画像位置ズレ検出部により選択された前記フレーム画像と、基準となる前記フレーム画像との間の位置ズレ量を検出するフレーム画像間位置ズレ検出部を備え、前記位置ズレ補正部が、前記ライン分光画像位置ズレ検出部により検出された位置ズレ量と前記フレーム画像間位置ズレ検出部により検出された位置ズレ量とに基づいて、基準となる前記フレーム画像内の対応位置に、各前記比較画像を生成するために使用された各前記ライン分光画像を当てはめてもよい。
このようにすることで、各比較画像と比較するフレーム画像として、取得時点が最も近接するフレーム画像を選択するので、位置ズレ量が小さくなり、容易に位置ズレ量を検出することができる。そして、基準となるフレーム画像と選択されたフレーム画像との位置ズレ検出は2次元のフレーム画像どうしの比較となるので、より容易に位置ズレ量を検出することができる。
また、上記態様においては、前記フレーム画像取得部が、前記ライン画像取得部による各前記ライン分光画像の取得時点に対応する時点で各前記フレーム画像を取得してもよい。
このようにすることで、ライン分光画像から推定した比較画像と比較するフレーム画像を略同一時刻に取得するので、ライン分光画像位置ズレ検出部により検出する位置ズレ量が小さくなり、位置ズレ量の検出を容易にすることができる。
このようにすることで、ライン分光画像から推定した比較画像と比較するフレーム画像を略同一時刻に取得するので、ライン分光画像位置ズレ検出部により検出する位置ズレ量が小さくなり、位置ズレ量の検出を容易にすることができる。
また、上記態様においては、前記フレーム画像間位置ズレ検出部が、フレーム画像間の位置ズレを局所的に検出してもよい。
このようにすることで、時間経過によって撮影範囲内の被写体が局所的に変化しても、フレーム画像間の位置ズレを精度よく検出して、分光画像を精度よく取得することができる。
このようにすることで、時間経過によって撮影範囲内の被写体が局所的に変化しても、フレーム画像間の位置ズレを精度よく検出して、分光画像を精度よく取得することができる。
また、上記態様においては、前記フレーム画像取得部が、基準となる前記フレーム画像と該基準となる前記フレーム画像に対して時間間隔をあけて他の1以上の前記フレーム画像とを取得し、前記基準となる前記フレーム画像に対する各前記比較画像の対応位置を検出する際に、基準となる前記フレーム画像および他のいずれかの前記フレーム画像の取得時刻と、各前記比較画像の取得時刻とから、各前記比較画像を推定するために使用された各前記ライン分光画像の取得時刻における前記フレーム画像の、基準となる前記フレーム画像に対する位置ズレ量を算出する位置ズレ量算出部を備え、前記位置ズレ補正部が、前記ライン分光画像位置ズレ検出部により検出された位置ズレ量と、前記位置ズレ量算出部により算出された位置ズレ量とに基づいて、基準となる前記フレーム画像内の対応位置に、各前記比較画像を推定するために使用された各前記ライン分光画像を当てはめてもよい。
このようにすることで、比較画像と比較して位置ズレ量を算出するためのフレーム画像の取得枚数を少なくすることができる。
このようにすることで、比較画像と比較して位置ズレ量を算出するためのフレーム画像の取得枚数を少なくすることができる。
本発明によれば、被写体の動きに対応して位置ズレを抑制した分光画像を生成することができるという効果を奏する。
本発明の第1の実施形態に係る分光画像取得装置1について、図面を参照して以下に説明する。
本実施形態に係る分光画像取得装置1は、図1に示されるように、画像取得部2と、画像処理部3とを備えている。
本実施形態に係る分光画像取得装置1は、図1に示されるように、画像取得部2と、画像処理部3とを備えている。
画像取得部2は、被写体からの光を集光する撮像レンズ4と、該撮像レンズ4により集光された被写体からの光を2つの光路L1,L2に分岐する分岐部5と、該分岐部5により分岐された一方の光路L1に配置され、被写体の2次元的な像を撮影して参照画像(フレーム画像)を取得する参照画像取得部(フレーム画像取得部)6と、他方の光路L2に配置され、被写体のライン分光画像を取得するライン分光画像取得部7とを備えている。
分岐部5は、例えば、ハーフミラーである。
参照画像取得部6は、例えば、CCDあるいはCMOSイメージセンサ等のモノクロのエリアセンサを備えている。
参照画像取得部6は、例えば、CCDあるいはCMOSイメージセンサ等のモノクロのエリアセンサを備えている。
ライン分光画像取得部7は、図2に示されるように、他方の光路L2上に、複数列にわたって配置されたスリット8と、該スリット8を列毎に開閉可能に設けられ、開かれたときに被写体からの光を通過させ、閉じられたときに被写体からの光を遮断する複数のシャッタ9と、該シャッタ9を挟んで被写体と反対側に配置され、入射された光を波長ごとに異なる回折方向に射出させる回折格子10と、該回折格子10により回折された光を検出する撮像素子11とを備えている。
そして、ライン分光画像取得部7は、シャッタ9を全て閉じておき、いずれか1つのスリット8を開閉するシャッタ9を開くことにより、被写体からの光の内のライン状の光を通過させるとともに、開くシャッタ9をスリット8の配列方向、すなわち、スリット8の長さ方向(ライン方向)Xに直交する方向に、択一的に順次切り替えるようになっている。これにより、回折格子10に入射されるライン状の光を通過させるスリット8がその配列方向に走査されるようになっている。
ライン分光画像取得部7は、このようにスリット8により走査を行う以外に、特開2012-58037号公報の段落〔0056〕、および図1から図3に開示されているライン状になったミラー等の光の反射体による走査でもよいし、またオプティカルメカニカルスキャナ(OMS)、プッシュブルームスキャナ(PBS)による走査でもよい。
回折格子10は、ライン方向Xに全長にわたって配置され、いずれかのスリット8を通過した光が同一方向(回折格子10の入射面に対して略直交する方向)から入射されるようになっている。回折格子10に入射されたライン状の光は、回折格子10によって、波長に従う方向に回折され、その回折範囲を網羅するように配置されている撮像素子11に入射されるようになっている。
撮像素子11は、ライン方向Xおよび該ライン方向Xに直交する方向に並んだ複数の画素を有している。ライン方向Xに配列された画素の数は、ライン分光画像の空間分解能を決定している。また、ライン方向Xに直交する方向に配列された画素の数は、ライン分光画像の波長分解能を決定している。
したがって、撮像素子11によりライン毎に取得されるライン分光画像は、図3に示されるように、一方向にライン方向Xの輝度配列、他方向に波長方向の輝度配列を示す2次元的な画像となっている。そして、シャッタ9を開く位置を切り替えながら撮影することにより、図3に示されるライン分光画像が複数、順次取得されるようになっている。
ここで、参照画像取得部6のエリアセンサの撮影範囲は、ライン分光画像取得部7のスリット8が走査されることにより撮影される撮影範囲を包含するように設定されている。
ここで、参照画像取得部6のエリアセンサの撮影範囲は、ライン分光画像取得部7のスリット8が走査されることにより撮影される撮影範囲を包含するように設定されている。
画像処理部3は、図4に示されるように、画像取得部2により取得された参照画像および複数のライン分光画像が入力され、位置ズレが補正された分光画像を出力するようになっている。
画像処理部3は、撮影時の光源L(λ)および参照画像取得部6を含むフレーム画像取得部の波長特性T(λ)を記憶する記憶部12を備えている。
これらの波長特性の関係を下式1に示す。
S(λ)=L(λ)T(λ) (1)
ここで、S(λ)は記憶部12に記憶されている波長特性である。
画像処理部3は、撮影時の光源L(λ)および参照画像取得部6を含むフレーム画像取得部の波長特性T(λ)を記憶する記憶部12を備えている。
これらの波長特性の関係を下式1に示す。
S(λ)=L(λ)T(λ) (1)
ここで、S(λ)は記憶部12に記憶されている波長特性である。
また、画像処理部3は、図4に示されるように、推定値算出部13および比較画像推定部14を備えている。
推定値算出部13は、図5に示されるように、入力されてきた各ライン分光画像のスリット8の長さ方向Xの各位置xjにおける波長特性R(λ)(分光反射率)と、波長特性S(λ)(分光感度)とを乗算し、撮影した波長範囲にわたって積分する(下式2参照)ことにより、xjにおける推定輝度値V(xj)を算出するようになっている。また、比較画像推定部14は、推定値算出部13により算出された全ての位置xjにおける推定輝度値からライン状の比較画像を生成するようになっている。
推定値算出部13は、図5に示されるように、入力されてきた各ライン分光画像のスリット8の長さ方向Xの各位置xjにおける波長特性R(λ)(分光反射率)と、波長特性S(λ)(分光感度)とを乗算し、撮影した波長範囲にわたって積分する(下式2参照)ことにより、xjにおける推定輝度値V(xj)を算出するようになっている。また、比較画像推定部14は、推定値算出部13により算出された全ての位置xjにおける推定輝度値からライン状の比較画像を生成するようになっている。
また、画像処理部3は、図4に示されるように、位置ズレ検出部(ライン分光画像位置ズレ検出部)15を備えている。位置ズレ検出部15は、図5に示されるように、比較画像推定部14により推定された比較画像と、参照画像との相関を求めることにより、参照画像中における比較画像の対応位置Yiを特定するとともに、ラインの長さ方向Xに沿う位置ズレ量Δxを算出するようになっている。
位置ズレ検出部15における相関演算は、各比較画像と、参照画像内の各ラインとの間で行われ、最も高い相関値を有するラインが対応位置Yiとして選択される。そして、選択された対応位置Yiの各ラインの参照画像と比較画像との位置ズレ量Δxが算出されるようになっている。
また、画像処理部3は、位置ズレ検出部15により選択された参照画像内の対応位置Yiに、同じく位置ズレ検出部15により検出された位置ズレ量Δxだけずらして、各前記比較画像を推定するために使用された各前記ライン分光画像を当てはめる位置ズレ補正部16を備えている。位置ズレ補正部16は、図6に示されるように、位置補正部17と、フレーム分光画像保持部19と、アドレス生成部18とを備えている。
位置補正部17は、ライン分光画像取得部7により取得されたライン毎のライン分光画像を位置ズレ検出部15により検出された位置ズレ量ΔxだけX方向にずらすようになっている。
フレーム分光画像保持部19は、ライン分光画像取得部7により取得されたライン毎のライン分光画像の周波数バンド数(画素数)分設けられている。また、アドレス生成部18は、位置ズレ検出部15により特定された各ライン分光画像の参照画像内での対応位置Yiの情報に基づいて、位置補正部17において補正された各ライン分光画像のフレーム分光画像保持部19でのアドレスを生成し、周波数バンド毎に対応するフレーム分光画像保持部19の対応するアドレスに書き込んで保存するようになっている。これにより、位置ズレが補正されたライン分光画像が生成されるようになっている。
フレーム分光画像保持部19は、ライン分光画像取得部7により取得されたライン毎のライン分光画像の周波数バンド数(画素数)分設けられている。また、アドレス生成部18は、位置ズレ検出部15により特定された各ライン分光画像の参照画像内での対応位置Yiの情報に基づいて、位置補正部17において補正された各ライン分光画像のフレーム分光画像保持部19でのアドレスを生成し、周波数バンド毎に対応するフレーム分光画像保持部19の対応するアドレスに書き込んで保存するようになっている。これにより、位置ズレが補正されたライン分光画像が生成されるようになっている。
このように構成された本実施形態に係る分光画像取得装置1の作用について説明する。
本実施形態に係る分光画像取得装置1を用いて分光画像を取得するには、撮像レンズ4を被写体に向けて配置し、光源からの光の被写体における反射光を撮像レンズ4によって集光する。
本実施形態に係る分光画像取得装置1を用いて分光画像を取得するには、撮像レンズ4を被写体に向けて配置し、光源からの光の被写体における反射光を撮像レンズ4によって集光する。
集光された光は分岐部5により2つの光路L1,L2に分岐され、一方の光路L1に配置された参照画像取得部6により参照画像が取得され、他方の光路L2に配置されたライン分光画像取得部7により複数のライン分光画像が取得される。
参照画像取得部6はCCD等のエリアセンサによって構成されているので、各位置における位置ズレのない2次元的なモノクロ画像を一時に取得することができる。
参照画像取得部6はCCD等のエリアセンサによって構成されているので、各位置における位置ズレのない2次元的なモノクロ画像を一時に取得することができる。
また、ライン分光画像取得部7においては、スリット8を閉じているシャッタ9を択一的に順次開いていくことにより、開かれたスリット8を通過したライン方向Xに延びるライン状の光が回折格子10により波長毎に分光され撮像素子11によってライン分光画像がライン毎に取得される。このとき、スリット8が順次開かれることによって各ライン分光画像の取得時刻にはズレが生じ、被写体が動いている場合等には位置ズレが発生していくことになる。
そこで、画像取得部2により取得された参照画像および複数のライン分光画像が画像処理部3に入力されると、推定値算出部13において、各ライン分光画像のスリット8の長さ方向Xの各位置xjにおける波長特性(分光反射率)と、記憶部12に記憶されている波長特性とが乗算され、位置xjにおける推定輝度値が算出される。
さらに、画像処理部3の比較画像推定部14においては、推定値算出部13により算出された全ての位置xjにおける推定輝度値からライン状の比較画像が構成される。
さらに、画像処理部3の比較画像推定部14においては、推定値算出部13により算出された全ての位置xjにおける推定輝度値からライン状の比較画像が構成される。
また、画像処理部3においては、位置ズレ検出部15により、比較画像推定部14により推定された比較画像と参照画像との相関が求められ、参照画像中における比較画像の対応位置Yiが特定されるとともに、ラインの長さ方向Xに沿う位置ズレ量Δxが算出される。
そして、画像処理部3においては、位置ズレ補正部16において、検出された位置ズレ量Δxに基づいて参照画像内の対応位置Yiに、ライン分光画像が当てはめられる。これにより、スリット8を順次切り替えて取得された複数のライン分光画像間に位置ズレが生じていても、一時に取得された参照画像を参照してライン分光画像を位置合わせして行くので、被写体の動きに対応して位置ズレを抑制した分光画像を生成することができるという利点がある。
次に、本発明の第2の実施形態に係る分光画像取得装置について、図面を参照して以下に説明する。
本実施形態の説明において、上述した第1の実施形態に係る分光画像取得装置1と構成を共通とする箇所には同一符号を付して説明を省略する。
本実施形態の説明において、上述した第1の実施形態に係る分光画像取得装置1と構成を共通とする箇所には同一符号を付して説明を省略する。
本実施形態に係る分光画像取得装置は、図7に示されるように、参照画像取得部6が、ライン分光画像によるライン分光画像を取得タイミングにほぼ同期して参照画像を複数取得する点、および、画像処理部20における画像処理において第1の実施形態に係る分光画像取得装置1と相違している。
画像処理部20は、図8に示されるように、参照画像取得部6により取得された複数の参照画像間の位置ズレ量を検出する参照画像間位置ズレ検出部(フレーム画像間位置ズレ検出部)21をさらに備え、位置ズレ補正部16が、参照画像間の位置ズレ量をも用いて補正するようになっている。
すなわち、ほぼ同時刻に取得された第1の参照画像と第1のライン分光画像とを用いて、第1の実施形態と同様にして第1の位置ズレ量Δx1を検出し、第1のライン分光画像を第1の参照画像の対応位置に保存する。
すなわち、ほぼ同時刻に取得された第1の参照画像と第1のライン分光画像とを用いて、第1の実施形態と同様にして第1の位置ズレ量Δx1を検出し、第1のライン分光画像を第1の参照画像の対応位置に保存する。
次に、ほぼ同時刻に取得された第2の参照画像と第2のライン分光画像とを用いて、第1の実施形態と同様にして第2の位置ズレ量Δx1を検出する。第2の参照画像と第2のライン分光画像との取得時刻が完全に一致している場合には、第2の位置ズレ量はゼロとなるので、この処理は、第2のライン分光画像を用いた比較画像と第2の参照画像との相関による対応位置Yiの特定処理となる。
そして、参照画像間位置ズレ検出部21により、第1の参照画像と第2の参照画像との間の第3の位置ズレ量Δx2を検出する。その後、位置ズレ補正部16により、第2の位置ズレ量Δx1と第3の位置ズレ量Δx2とを合わせて位置ズレを補正し、第2のライン分光画像を第1の参照画像の対応位置Yiに保存する。以下、第1の参照画像を基準画像として、これを繰り返すことにより、位置ズレを抑えた分光画像を取得することができる。
すなわち、本実施形態に係る分光画像取得装置によれば、ほぼ同時刻に取得された参照画像とライン分光画像との相関は取りやすく、また、2次元の参照画像どうしの相関も少ない誤差で行うことができるという利点がある。
なお、本実施形態においては、ライン分光画像の取得に同期して参照画像を取得することとしたが、これに代えて、ライン分光画像の取得とは非同期に参照画像を複数取得してもよい。この場合には、図9に示されるように、ライン分光画像位置ズレ検出部15による位置ズレ量の検出は、取得時刻が最も近接している参照画像を選択して行うことにすればよい。
また、参照画像間位置ズレ検出部21が、参照画像内の局所的な位置ズレを検出することにしてもよい。図10に示す例では、第1のライン分光画像と第1の参照画像、第2のライン分光画像と第2の参照画像とがそれぞれ取得時刻が近いので、容易に位置ズレの検出を行うことができる。そして、第1の参照画像と第2の参照画像との間で局所的な位置ズレの検出を行う。
参照画像どうしの局所的な位置ズレは、各参照画像を複数の領域Pに区画して領域P毎に比較することにより行われる。これにより、各ライン分光画像の取得の間に被写体に変位が生じても、基準となる第1の参照画像へのライン分光画像の当てはめを行うための対応位置の特定を容易に行うことができるという利点がある。なお、領域Pは互いに重なるように設定してもよい。
また、参照画像取得部6が、隣接するライン分光画像の取得間隔よりも十分に大きい時間間隔をあけて2以上の参照画像を取得してもよい。
この場合には、ライン分光画像に対して対応する参照画像が取得されていないタイミングが存在する。分光画像取得装置は、図11および図12に示されるように、参照画像が取得されていない第2のライン分光画像のタイミングに仮想第2の参照画像を生成し、生成されたこの仮想参照画像に対して第2のライン分光画像を埋め込むことにより分光画像を生成している。
この場合には、ライン分光画像に対して対応する参照画像が取得されていないタイミングが存在する。分光画像取得装置は、図11および図12に示されるように、参照画像が取得されていない第2のライン分光画像のタイミングに仮想第2の参照画像を生成し、生成されたこの仮想参照画像に対して第2のライン分光画像を埋め込むことにより分光画像を生成している。
仮想参照画像を生成するため、図12の参照画像間位置ズレ検出部21は、図13に示されるように、実際に取得した隣接した画像間の位置ズレ量を検出する隣接参照画像間位置ズレ検出部22と、ここで検出された隣接参照画像間の位置ズレ量(Δxref)、ライン分光画像の撮影時刻(tl)および隣接する2つの参照画像の撮影時刻(tref0、tref1)を用いて仮想参照画像を生成する隣接参照画像位置ズレ補間部23とを備えている。隣接参照画像位置ズレ補間部23では、下式により仮想参照画像の位置ズレ量Δx2を求める。
Δx2=Δxref(tl-tref0)/(tref1-tref0)
仮想参照画像を生成した後の処理は、参照画像がライン分光画像と対応して取得されている場合と同じである。
このようにすることで、参照画像の取得枚数を減らすことができる。
Δx2=Δxref(tl-tref0)/(tref1-tref0)
仮想参照画像を生成した後の処理は、参照画像がライン分光画像と対応して取得されている場合と同じである。
このようにすることで、参照画像の取得枚数を減らすことができる。
また、参照画像取得部6が、ライン分光画像取得部7によるライン分光画像の取得間隔より短い時間間隔で参照画像を取得し、参照画像間位置ズレ検出部21が、隣接して取得された参照画像間の位置ズレ量を検出し、各ライン分光画像に対応する参照画像までの位置ズレ量を合成することにより、その位置ズレ量だけ位置補正した各ライン分光画像を、それらの参照画像における対応位置に当てはめて、位置ズレを抑制した分光画像を取得することができる。
この場合、図14に示されるように、参照画像間位置ズレ検出部21は、隣接した参照画像間のそれぞれの間の位置ズレ量を検出する隣接参照画像間位置ズレ検出部22と、この隣接参照画像間位置ズレ検出部22により検出されたそれぞれの位置ズレ量を加算する隣接参照画像間位置ズレ加算部24とを有している。参照画像間位置ズレ検出部21は、図15に示されるように、隣接するそれぞれの参照画像間の位置ズレ量を検出し、これらを合算することにより基準の参照画像とライン分光画像に対応する参照画像との位置ズレ量を求めている。
また、上記形態においては、位置ズレ検出部15における相関演算は、各比較画像と、参照画像内の各ラインとの間で行われることとしたが、これに代えて、スリット8の走査の情報(例えば、撮影間隔、走査位置等)に基づく参照画像中の予測位置を基準として相関演算を実施することにより、より少ないラインとの相関演算によって最も高い相関値を有するラインを検出することができ、演算処理にかかる時間を短縮することができる。
また、上記実施形態においては、参照画像としてエリアセンサにより取得されたモノクロ画像を例示したが、ライン分光画像よりも高速に取得可能な画像であれば、これに限定されるものではない。例えば、ライン分光画像よりも少ない数の色信号を含む画像であればよい。
1 分光画像取得装置
6 参照画像取得部(フレーム画像取得部)
7 ライン分光画像取得部
8 スリット
14 比較画像推定部
15 位置ズレ検出部(ライン分光画像位置ズレ検出部)
16 位置ズレ補正部
21 参照画像間位置ズレ検出部(フレーム画像間位置ズレ検出部)
6 参照画像取得部(フレーム画像取得部)
7 ライン分光画像取得部
8 スリット
14 比較画像推定部
15 位置ズレ検出部(ライン分光画像位置ズレ検出部)
16 位置ズレ補正部
21 参照画像間位置ズレ検出部(フレーム画像間位置ズレ検出部)
Claims (5)
- 走査されるライン状の光を、その長さ方向の各位置において波長毎に分光して複数のライン分光画像を取得するライン分光画像取得部と、
該ライン分光画像取得部による撮影範囲を含み、前記ライン分光画像よりも少ない色信号を含む2次元のフレーム画像を取得するフレーム画像取得部と、
前記ライン分光画像取得部により取得された各前記ライン分光画像と、前記フレーム画像取得部の波長特性とに基づいて、比較画像をライン毎に推定する比較画像推定部と、
該比較画像推定部により推定された各前記比較画像と、前記フレーム画像内における対応位置との位置ズレ量を検出するライン分光画像位置ズレ検出部と、
該ライン分光画像位置ズレ検出部により検出された位置ズレ量に基づいて、前記フレーム画像内の対応位置に、各前記比較画像を推定するために使用された各前記ライン分光画像を当てはめる位置ズレ補正部とを備える分光画像取得装置。 - 前記フレーム画像取得部が、基準となる前記フレーム画像と該基準となる前記フレーム画像に対して時間間隔をあけた他の1以上の前記フレーム画像とを取得し、
前記ライン分光画像位置ズレ検出部が、各前記比較画像を推定するために使用された各ライン分光画像と取得時点が最も近接する前記フレーム画像を選択して位置ズレ量を検出し、
該ライン分光画像位置ズレ検出部により選択された前記フレーム画像と、基準となる前記フレーム画像との間の位置ズレ量を検出するフレーム画像間位置ズレ検出部を備え、
前記位置ズレ補正部が、前記ライン分光画像位置ズレ検出部により検出された位置ズレ量と前記フレーム画像間位置ズレ検出部により検出された位置ズレ量とに基づいて、基準となる前記フレーム画像内の対応位置に、各前記比較画像を生成するために使用された各前記ライン分光画像を当てはめる請求項1に記載の分光画像取得装置。 - 前記フレーム画像取得部が、前記ライン画像取得部による各前記ライン分光画像の取得時点に対応する時点で各前記フレーム画像を取得する請求項2に記載の分光画像取得装置。
- 前記フレーム画像間位置ズレ検出部が、フレーム画像間の位置ズレを局所的に検出する請求項2または請求項3に記載の分光画像取得装置。
- 前記フレーム画像取得部が、基準となる前記フレーム画像と該基準となる前記フレーム画像に対して時間間隔をあけて他の1以上の前記フレーム画像とを取得し、
前記基準となる前記フレーム画像に対する各前記比較画像の対応位置を検出する際に、基準となる前記フレーム画像および他のいずれかの前記フレーム画像の取得時刻と、各前記比較画像の取得時刻とから、各前記比較画像を推定するために使用された各前記ライン分光画像の取得時刻における前記フレーム画像の、基準となる前記フレーム画像に対する位置ズレ量を算出する位置ズレ量算出部を備え、
前記位置ズレ補正部が、前記ライン分光画像位置ズレ検出部により検出された位置ズレ量と、前記位置ズレ量算出部により算出された位置ズレ量とに基づいて、基準となる前記フレーム画像内の対応位置に、各前記比較画像を推定するために使用された各前記ライン分光画像を当てはめる請求項1に記載の分光画像取得装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016568203A JP6377768B2 (ja) | 2015-01-07 | 2015-01-07 | 分光画像取得装置 |
CN201580071719.7A CN107110707B (zh) | 2015-01-07 | 2015-01-07 | 分光图像获取装置 |
PCT/JP2015/050242 WO2016110952A1 (ja) | 2015-01-07 | 2015-01-07 | 分光画像取得装置 |
US15/642,262 US20170299436A1 (en) | 2015-01-07 | 2017-07-05 | Spectral-image acquisition device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/050242 WO2016110952A1 (ja) | 2015-01-07 | 2015-01-07 | 分光画像取得装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US15/642,262 Continuation US20170299436A1 (en) | 2015-01-07 | 2017-07-05 | Spectral-image acquisition device |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2016110952A1 true WO2016110952A1 (ja) | 2016-07-14 |
Family
ID=56355677
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2015/050242 WO2016110952A1 (ja) | 2015-01-07 | 2015-01-07 | 分光画像取得装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20170299436A1 (ja) |
JP (1) | JP6377768B2 (ja) |
CN (1) | CN107110707B (ja) |
WO (1) | WO2016110952A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020503516A (ja) * | 2016-12-27 | 2020-01-30 | ウルグス ソシエダード アノニマ | 観察対象物が静止している場合のハイパースペクトルイメージング |
CN111788463A (zh) * | 2018-03-02 | 2020-10-16 | 杰富意钢铁株式会社 | 分光特性测定装置、分光特性测定方法和炉的控制方法 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3667617A1 (en) * | 2018-12-14 | 2020-06-17 | Koninklijke Philips N.V. | Imaging system and imaging method |
CN109724697B (zh) * | 2018-12-25 | 2020-04-10 | 中国科学院长春光学精密机械与物理研究所 | 成像光谱仪的光谱定标方法、装置及电子设备 |
CN117372515B (zh) * | 2023-09-15 | 2024-06-11 | 钛玛科(北京)工业科技有限公司 | 一种自适应纠偏控制*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01320441A (ja) * | 1988-06-21 | 1989-12-26 | Hamamatsu Photonics Kk | 色彩輝度計 |
JP2005337793A (ja) * | 2004-05-25 | 2005-12-08 | Olympus Corp | 分光画像入力装置及びそれを備えた光学装置 |
JP2012098050A (ja) * | 2010-10-29 | 2012-05-24 | Mitaka Koki Co Ltd | モニター可能な分光計測装置 |
JP2013090230A (ja) * | 2011-10-20 | 2013-05-13 | Topcon Corp | 画像取得装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10238100A1 (de) * | 2002-08-21 | 2004-03-04 | Leica Microsystems Heidelberg Gmbh | Vorrichtung zur spektralen Selektion und Detektion eines Lichtstrahls und Scanmikroskop |
TWI280061B (en) * | 2005-04-27 | 2007-04-21 | Novatek Microelectronics Corp | Image processing method and device thereof |
JP2011220932A (ja) * | 2010-04-13 | 2011-11-04 | Olympus Corp | 撮像装置 |
DE202012013411U1 (de) * | 2011-04-25 | 2016-11-15 | Terra Bella Technologies Inc. | Systeme für Overhead-Bild- und Videoanzeige |
US9593982B2 (en) * | 2012-05-21 | 2017-03-14 | Digimarc Corporation | Sensor-synchronized spectrally-structured-light imaging |
US9341514B2 (en) * | 2012-11-15 | 2016-05-17 | Corning Incorporated | Hyperspectral imaging systems and methods for imaging a remote object |
CN103487145B (zh) * | 2013-09-25 | 2015-04-15 | 清华大学 | 多光谱采集***的标定方法及*** |
JP6327931B2 (ja) * | 2014-05-02 | 2018-05-23 | キヤノン株式会社 | 画像処理装置、情報処理方法及びプログラム |
-
2015
- 2015-01-07 CN CN201580071719.7A patent/CN107110707B/zh not_active Expired - Fee Related
- 2015-01-07 JP JP2016568203A patent/JP6377768B2/ja active Active
- 2015-01-07 WO PCT/JP2015/050242 patent/WO2016110952A1/ja active Application Filing
-
2017
- 2017-07-05 US US15/642,262 patent/US20170299436A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01320441A (ja) * | 1988-06-21 | 1989-12-26 | Hamamatsu Photonics Kk | 色彩輝度計 |
JP2005337793A (ja) * | 2004-05-25 | 2005-12-08 | Olympus Corp | 分光画像入力装置及びそれを備えた光学装置 |
JP2012098050A (ja) * | 2010-10-29 | 2012-05-24 | Mitaka Koki Co Ltd | モニター可能な分光計測装置 |
JP2013090230A (ja) * | 2011-10-20 | 2013-05-13 | Topcon Corp | 画像取得装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020503516A (ja) * | 2016-12-27 | 2020-01-30 | ウルグス ソシエダード アノニマ | 観察対象物が静止している場合のハイパースペクトルイメージング |
JP7045380B2 (ja) | 2016-12-27 | 2022-03-31 | ウルグス ソシエダード アノニマ | 観察対象物が静止している場合のハイパースペクトルイメージング |
CN111788463A (zh) * | 2018-03-02 | 2020-10-16 | 杰富意钢铁株式会社 | 分光特性测定装置、分光特性测定方法和炉的控制方法 |
Also Published As
Publication number | Publication date |
---|---|
US20170299436A1 (en) | 2017-10-19 |
JP6377768B2 (ja) | 2018-08-22 |
JPWO2016110952A1 (ja) | 2017-11-02 |
CN107110707B (zh) | 2018-08-17 |
CN107110707A (zh) | 2017-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6377768B2 (ja) | 分光画像取得装置 | |
JP4630174B2 (ja) | 動きベクトル検出装置 | |
US10018722B2 (en) | Measurement apparatus | |
KR20180030773A (ko) | 어레이 카메라들을 이용한 고속 비디오 캡처 및 심도 추정을 수행하기 위한 시스템 및 방법 | |
JP6021780B2 (ja) | 画像データ処理装置、距離算出装置、撮像装置および画像データ処理方法 | |
US7742087B2 (en) | Image pickup device | |
WO2017159027A1 (ja) | 撮像制御装置、および撮像制御方法、ならびに撮像装置 | |
JP2009080113A (ja) | 距離推定方法、距離推定装置、撮像装置およびコンピュータ読み取り可能な媒体 | |
US10742908B2 (en) | Method and a device for acquiring an image having two-dimensional spatial resolution and spectral resolution | |
JP4516590B2 (ja) | 画像撮像装置及び距離測定方法 | |
JP7501582B2 (ja) | 撮像装置 | |
JP2006135823A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP7057090B2 (ja) | 測距装置および測距方法 | |
CN114599999A (zh) | 移动量估计装置、移动量估计方法、移动量估计程序以及移动量估计*** | |
JP6136364B2 (ja) | デフォーカス量検出装置およびカメラ | |
JP6372805B2 (ja) | 画像処理装置、方法、及びプログラム | |
JP6094286B2 (ja) | 測色装置および画像形成装置 | |
JP6469324B1 (ja) | 画像読み取り装置 | |
JP6000738B2 (ja) | 撮像装置及び撮像装置の合焦方向判定方法 | |
JP7341843B2 (ja) | 画像処理装置および画像処理方法、撮像装置、プログラム | |
JP2012068761A (ja) | 画像処理装置 | |
JP6267535B2 (ja) | 色収差測定システム | |
JP2024017231A (ja) | 検査システムおよび検査方法 | |
WO2013125398A1 (ja) | 撮像装置及びフォーカス制御方法 | |
JP6544233B2 (ja) | 画像読取装置のキャリブレーション方法及び画像読取装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15876830 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2016568203 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 15876830 Country of ref document: EP Kind code of ref document: A1 |