JP5713350B2 - Image processing apparatus, method, and program - Google Patents

Image processing apparatus, method, and program Download PDF

Info

Publication number
JP5713350B2
JP5713350B2 JP2011234173A JP2011234173A JP5713350B2 JP 5713350 B2 JP5713350 B2 JP 5713350B2 JP 2011234173 A JP2011234173 A JP 2011234173A JP 2011234173 A JP2011234173 A JP 2011234173A JP 5713350 B2 JP5713350 B2 JP 5713350B2
Authority
JP
Japan
Prior art keywords
image
images
multiband
unit
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011234173A
Other languages
Japanese (ja)
Other versions
JP2013092885A (en
Inventor
勝 土田
勝 土田
川西　隆仁
隆仁 川西
柏野　邦夫
邦夫 柏野
淳司 大和
淳司 大和
孝文 青木
孝文 青木
伊藤　康一
康一 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tohoku University NUC
Nippon Telegraph and Telephone Corp
Original Assignee
Tohoku University NUC
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tohoku University NUC, Nippon Telegraph and Telephone Corp filed Critical Tohoku University NUC
Priority to JP2011234173A priority Critical patent/JP5713350B2/en
Publication of JP2013092885A publication Critical patent/JP2013092885A/en
Application granted granted Critical
Publication of JP5713350B2 publication Critical patent/JP5713350B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像処理装置、方法、及びプログラムに係り、特に、画像間の対応点を検出する画像処理装置、方法、及びプログラムに関する。   The present invention relates to an image processing apparatus, method, and program, and more particularly, to an image processing apparatus, method, and program for detecting corresponding points between images.

従来、撮影時の照明条件等が異なる２枚の画像間の対応点を精度よく（ロバストに）検出する手法の一つとして、位相限定相関法が知られている（例えば、非特許文献１及び２参照）。位相限定相関法は、ヒストグラム法など一般的に用いられる画像の振幅情報（輝度情報）ではなく、位相情報を用いる点が特徴である。   Conventionally, a phase-only correlation method is known as one of methods for accurately (robustly) detecting corresponding points between two images having different illumination conditions at the time of shooting (for example, Non-Patent Document 1 and 2). The phase-only correlation method is characterized in that it uses phase information instead of amplitude information (luminance information) of a generally used image such as a histogram method.

従来の位相限定相関法により対応点を検出する画像処理装置１０１は、例えば、図７に示すように、白黒画像生成部１１２ａ、１１２ｂと、位相画像生成部１１３ａ、１１３ｂと、相関画像生成部１１４と、対応点検出部１１５とを含んだ構成で表すことができる。この従来の画像処理装置１０１によれば、白黒画像生成部１１２ａ、１１２ｂで、カラー画像である入力画像１及び２から白黒画像を生成し、位相画像生成部１１３ａ及び１１３ｂで、生成された白黒画像各々から位相画像を生成する。そして、相関画像生成部１１４で、生成された２つの位相画像から相関画像を生成し、対応点検出部１１５で、生成された相関画像における相関値が最大の座標に基づいて２画像間のずれ量を求めて対応点を検出する。   For example, as shown in FIG. 7, the image processing apparatus 101 that detects corresponding points by the conventional phase-only correlation method includes monochrome image generation units 112a and 112b, phase image generation units 113a and 113b, and a correlation image generation unit 114. And the corresponding point detection unit 115. According to this conventional image processing apparatus 101, the monochrome image generation units 112a and 112b generate monochrome images from the input images 1 and 2 which are color images, and the phase image generation units 113a and 113b generate the monochrome images. A phase image is generated from each. Then, the correlation image generation unit 114 generates a correlation image from the two generated phase images, and the corresponding point detection unit 115 shifts between the two images based on the coordinates having the maximum correlation value in the generated correlation image. Find the quantity and detect the corresponding points.

青木孝文、伊藤康一、柴原琢磨、長嶋聖、「位相限定相関法に基づく高精度マシンビジョン−ピクセル分解能の壁を越える画像センシング技術をめざして−」、Fundamentals Review Vol.1 No.1Takafumi Aoki, Koichi Ito, Takuma Shibahara, Kiyoshi Nagashima, “High-Precision Machine Vision Based on Phase-Only Correlation: Towards Image Sensing Technology that Transcends Pixel Resolution”, Fundamentals Review Vol.1 No.1 長嶋聖、青木孝文、樋口龍雄、小林高次、「位相限定相関法に基づくサブピクセル画像マッチングの高性能化」、計測自動制御学会東北支部、第２１８回研究集会Sei Nagashima, Takafumi Aoki, Tatsuo Higuchi, Takashi Kobayashi, “High-performance subpixel image matching based on phase-only correlation method”, Tohoku Branch of Society of Instrument and Control Engineers, 218th meeting

上記の非特許文献１及び２記載の手法では、画像が有する色情報を用いておらず、処理対象の画像がカラー画像の場合には、カラー画像を白黒画像に変換した結果画像に対して、上記の位相限定相関法の手法を適用して、対応点を検出している。   In the methods described in Non-Patent Documents 1 and 2, when the color information of the image is not used and the image to be processed is a color image, the color image is converted into a black and white image. Corresponding points are detected by applying the above-described phase-only correlation method.

しかし、対象となる２枚のカラー画像がそれぞれ異なる照明条件下で撮影されている場合、照明光による色の見え方の違いにより、カラー画像を白黒画像に変換した後もテクスチャの見え方が異なる場合がある。また、入力画像の一方がＲＧＢ画像で他方がマルチバンド画像（またはセンサ特性が異なる複数のカメラで撮影された画像）の場合、同一の被写体であっても、画像におけるテクスチャの見え方が異なる場合がある。このようにテクスチャの見え方が異なる場合には、上述の位相限定相関法でも十分な精度で対応点が検出できない場合がある、という問題がある。また、位相限定相関法以外の手法を適用する場合でも同様の問題は起こりえる。   However, when two target color images are photographed under different illumination conditions, the appearance of the texture differs even after the color image is converted into a black and white image due to the difference in the color appearance due to the illumination light. There is a case. Also, when one of the input images is an RGB image and the other is a multiband image (or an image taken by multiple cameras with different sensor characteristics), the texture looks different in the image even for the same subject There is. Thus, when the appearance of the texture is different, there is a problem that the corresponding point may not be detected with sufficient accuracy even by the above-described phase-only correlation method. A similar problem can occur even when a method other than the phase-only correlation method is applied.

本発明は、上記の問題を解決するためになされたもので、撮影時の照明光のスペクトル及び撮影手段の分光感度の少なくとも一方が異なる条件で撮影された複数の画像間での対応点検出精度を向上させることができる画像処理装置、方法、及びプログラムを提供することを目的とする。   The present invention has been made in order to solve the above-described problem, and the corresponding point detection accuracy between a plurality of images shot under a condition in which at least one of the spectrum of illumination light at the time of shooting and the spectral sensitivity of the shooting means is different. An object of the present invention is to provide an image processing apparatus, method, and program capable of improving the image quality.

上記目的を達成するために、本発明の画像処理装置は、照明光のスペクトル及び撮影手段の分光感度の少なくとも一方が異なる条件で撮影された複数のマルチバンド画像を取得する取得手段と、前記取得手段により取得されたマルチバンド画像の画素値、前記照明光のスペクトル、前記撮影手段の分光感度、及び被写体の統計的性質を示す情報に基づいて、前記複数のマルチバンド画像各々の画素毎の分光反射率を推定する推定手段と、前記推定手段により推定された複数のマルチバンド画像各々の画素毎の分光反射率に基づいて、該複数のマルチバンド画像各々が対応する条件で撮影されたと仮定する仮定画像を、前記マルチバンド画像毎に少なくとも１つ生成する生成手段と、前記生成手段により生成された仮定画像間における対応点を検出する検出手段と、を含んで構成されている。 In order to achieve the above object, the image processing apparatus of the present invention includes an acquisition means for acquiring a plurality of multi-band image picture at least one of which is taken at different conditions of the spectral sensitivity of the spectral and imaging means of the illumination light, wherein Based on the pixel value of the multiband image acquired by the acquisition unit, the spectrum of the illumination light, the spectral sensitivity of the imaging unit, and the information indicating the statistical properties of the subject, for each pixel of the plurality of multiband images Assuming that each of the plurality of multiband images is photographed under a corresponding condition based on the estimation means for estimating the spectral reflectance and the spectral reflectance for each pixel of the plurality of multiband images estimated by the estimation means. Generating at least one hypothetical image for each multiband image, and corresponding points between the hypothetical images generated by the generating unit Is configured to include a detection means for output, the.

本発明の画像処理装置によれば、取得手段が、照明光のスペクトル及び撮影手段の分光感度の少なくとも一方が異なる条件で撮影された複数のマルチバンド画像を取得する。次に、推定手段が、取得手段により取得されたマルチバンド画像の画素値、照明光のスペクトル、撮影手段の分光感度、及び被写体の統計的性質を示す情報に基づいて、複数のマルチバンド画像各々の画素毎の分光反射率を推定する。そして、生成手段が、推定手段により推定された複数のマルチバンド画像各々の画素毎の分光反射率に基づいて、該複数のマルチバンド画像各々が対応する条件で撮影されたと仮定する仮定画像を、マルチバンド画像毎に少なくとも１つ生成する。対応する条件とは、マルチバンド画像各々の撮影時の照明光スペクトル及び撮影手段の分光感度が同一または略同一とみなせる条件、または撮影時の照明光スペクトル及び撮影手段の分光感度の異なりによる影響を受けない条件である。そして、検出手段が、生成手段により生成された仮定画像間における対応点を検出する。対応点の検出方法としては、どのような方法を用いてもよい。例えば、画像の位相情報に基づいて画像間の相関を判定する位相限定相関法や、画像の輝度情報に基づくヒストグラム法などを用いることができる。 According to the image processing apparatus of the present invention, the acquisition means acquires a plurality of multi-band image picture at least one of which is taken at different conditions of the spectral sensitivity of the spectral and imaging means of the illumination light. Next, each of the multiband images is estimated based on information indicating the pixel value of the multiband image acquired by the acquisition unit, the spectrum of the illumination light, the spectral sensitivity of the imaging unit, and the statistical properties of the subject. The spectral reflectance for each pixel is estimated. Then, based on the spectral reflectance for each pixel of each of the plurality of multiband images estimated by the estimation unit, the generation unit assumes that the plurality of multiband images are captured under a corresponding condition. At least one is generated for each multiband image. Corresponding conditions are the conditions under which the illumination light spectrum at the time of shooting each multiband image and the spectral sensitivity of the imaging means can be regarded as the same or substantially the same, or the influence of the difference between the illumination light spectrum at the time of imaging and the spectral sensitivity of the imaging means It is a condition not to receive. Then, the detecting means detects corresponding points between the assumed images generated by the generating means. Any method may be used as a method for detecting the corresponding points. For example, a phase only correlation method for determining correlation between images based on phase information of images, a histogram method based on luminance information of images, or the like can be used.

このように、マルチバンド画像から推定される分光反射率に基づいて、マルチバンド画像各々が対応する条件で撮影されたと仮定する仮定画像を生成してから、画像間の対応点を検出するため、テクスチャ情報の異なりを抑制することができ、撮影時の照明光のスペクトル及び撮影手段の分光感度の少なくとも一方が異なる条件で撮影された複数の画像間での対応点検出精度を向上させることができる。   Thus, based on the spectral reflectance estimated from the multiband image, in order to detect the corresponding points between the images after generating the hypothetical image assuming that each multiband image was captured under the corresponding condition, Differences in texture information can be suppressed, and the corresponding point detection accuracy between a plurality of images shot under conditions where at least one of the spectrum of illumination light at the time of shooting and the spectral sensitivity of the shooting means are different can be improved. .

また、前記生成手段は、前記推定手段により推定された複数のマルチバンド画像各々の画素毎の分光反射率に、共通の照明光スペクトル及び共通の撮影手段の分光感度を掛け合わせたＲＧＢ画像を、前記仮定画像として生成することができる。これにより、同じ条件下で撮影した場合と同等の仮定画像を生成することができる。   In addition, the generation unit multiplies an RGB image obtained by multiplying the spectral reflectance of each pixel of each of the plurality of multiband images estimated by the estimation unit by the common illumination light spectrum and the spectral sensitivity of the common imaging unit. The hypothetical image can be generated. Thereby, it is possible to generate a hypothetical image equivalent to the case of shooting under the same conditions.

また、前記生成手段は、前記推定手段により推定された複数のマルチバンド画像各々の画素毎の分光反射率に基づいて、共通の特定波長に対応する反射率を抽出した特定波長画像を、前記仮定画像として生成することができる。これにより、撮影時の照明光スペクトル及び撮影手段の分光感度の異なりに影響を受けない仮定画像を生成することができる。   In addition, the generation unit generates a specific wavelength image obtained by extracting a reflectance corresponding to a common specific wavelength based on a spectral reflectance for each pixel of each of the plurality of multiband images estimated by the estimation unit. It can be generated as an image. As a result, it is possible to generate an assumed image that is not affected by the difference in illumination light spectrum during imaging and the spectral sensitivity of the imaging means.

また、前記生成手段は、前記推定手段により推定された複数のマルチバンド画像各々の画素毎の分光反射率に基づいて、波長方向の主成分を抽出した主成分画像を、前記仮定画像として生成することができる。これにより、撮影時の照明光スペクトル及び撮影手段の分光感度の異なりに影響を受けない仮定画像を生成することができる。   The generation unit generates a principal component image obtained by extracting a principal component in the wavelength direction as the hypothetical image based on the spectral reflectance of each of the plurality of multiband images estimated by the estimation unit. be able to. As a result, it is possible to generate an assumed image that is not affected by the difference in illumination light spectrum during imaging and the spectral sensitivity of the imaging means.

また、本発明の画像処理方法は、取得手段と、推定手段と、生成手段と、検出手段とを含む画像処理装置における画像処理方法であって、前記取得手段は、照明光のスペクトル及び撮影手段の分光感度の少なくとも一方が異なる条件で撮影された複数のマルチバンド画像を取得し、前記推定手段は、前記取得手段により取得されたマルチバンド画像の画素値、前記照明光のスペクトル、前記撮影手段の分光感度、及び被写体の統計的性質を示す情報に基づいて、前記複数のマルチバンド画像各々の画素毎の分光反射率を推定し、前記生成手段は、前記推定手段により推定された複数のマルチバンド画像各々の画素毎の分光反射率に基づいて、該複数のマルチバンド画像各々が対応する条件で撮影されたと仮定する仮定画像として、共通の特定波長に対応する反射率を抽出した特定波長画像を、前記マルチバンド画像毎に少なくとも１つ生成し、前記検出手段は、前記生成手段により生成された仮定画像間における対応点を検出する方法である。
また、本発明の画像処理方法は、取得手段と、推定手段と、生成手段と、検出手段とを含む画像処理装置における画像処理方法であって、前記取得手段は、照明光のスペクトル及び撮影手段の分光感度の少なくとも一方が異なる条件で撮影された複数のマルチバンド画像を取得し、前記推定手段は、前記取得手段により取得されたマルチバンド画像の画素値、前記照明光のスペクトル、前記撮影手段の分光感度、及び被写体の統計的性質を示す情報に基づいて、前記複数のマルチバンド画像各々の画素毎の分光反射率を推定し、前記生成手段は、前記推定手段により推定された複数のマルチバンド画像各々の画素毎の分光反射率に基づいて、該複数のマルチバンド画像各々が対応する条件で撮影されたと仮定する仮定画像として、波長方向の主成分を抽出した主成分画像を、前記マルチバンド画像毎に少なくとも１つ生成し、前記検出手段は、前記生成手段により生成された仮定画像間における対応点を検出する方法である。 The image processing method of the present invention is an image processing method in an image processing apparatus including an acquisition unit, an estimation unit, a generation unit, and a detection unit, wherein the acquisition unit includes an illumination light spectrum and an imaging unit. acquires a plurality of multi-band image picture at least one of which is taken at different conditions of the spectral sensitivity, the estimating means, the pixel values of the multi-band image acquired by the acquisition unit, the spectrum of the illumination light, the photographing The spectral reflectance of each pixel of each of the plurality of multiband images is estimated based on the spectral sensitivity of the means and the information indicating the statistical properties of the subject, and the generating means includes a plurality of estimations estimated by the estimating means. based on the spectral reflectance of the multi-band image of each for each pixel, as assumed assumed image multiband image each of the plurality has been taken with the corresponding conditions, certain common The specific wavelength image obtained by extracting the reflectivity corresponding to the length, at least one product for each said multi-band image, said detecting means is a method of detecting the corresponding points between the generated assumed image by the generation unit .
The image processing method of the present invention is an image processing method in an image processing apparatus including an acquisition unit, an estimation unit, a generation unit, and a detection unit, wherein the acquisition unit includes an illumination light spectrum and an imaging unit. A plurality of multiband images captured under a condition in which at least one of the spectral sensitivities is different, and the estimation means includes a pixel value of the multiband image acquired by the acquisition means, a spectrum of the illumination light, and the imaging means The spectral reflectance of each pixel of each of the plurality of multiband images is estimated based on information indicating the spectral sensitivity of the subject and the statistical properties of the subject, and the generation unit is configured to estimate the plurality of multibands estimated by the estimation unit. based on the spectral reflectance of each pixel of the band image each, as assumed assumed image multiband image each of the plurality has been taken with the corresponding conditions, the wavelength direction The principal component image obtained by extracting the components, at least one generated, the detection means for each of the multi-band image is a method of detecting the corresponding points between assumptions image generated by the generation unit.

また、本発明の画像処理プログラムは、コンピュータを、上記の画像処理装置を構成する各手段として機能させるためのプログラムである。   The image processing program of the present invention is a program for causing a computer to function as each means constituting the image processing apparatus.

以上説明したように、本発明の画像処理装置、方法、及びプログラムによれば、マルチバンド画像から推定される分光反射率に基づいて、マルチバンド画像各々が対応する条件で撮影されたと仮定する仮定画像を生成してから、画像間の対応点を検出するため、テクスチャ情報の異なりを抑制することができ、撮影時の照明光のスペクトル及び撮影手段の分光感度の少なくとも一方が異なる条件で撮影された複数の画像間での対応点検出精度を向上させることができる、という効果が得られる。   As described above, according to the image processing apparatus, method, and program of the present invention, it is assumed that each multiband image is captured under a corresponding condition based on the spectral reflectance estimated from the multiband image. Since the corresponding points between the images are detected after the image is generated, the difference in texture information can be suppressed, and at least one of the illumination light spectrum at the time of photographing and the spectral sensitivity of the photographing means is photographed under different conditions. In addition, it is possible to improve the accuracy of corresponding point detection between a plurality of images.

第１の実施の形態に係る画像処理装置の構成を示す概略図である。1 is a schematic diagram illustrating a configuration of an image processing apparatus according to a first embodiment. 第１の実施の形態に係る画像処理装置における画像処理ルーチンの内容を示すフローチャートである。It is a flowchart which shows the content of the image processing routine in the image processing apparatus which concerns on 1st Embodiment. 第２の実施の形態に係る画像処理装置の構成を示す概略図である。It is the schematic which shows the structure of the image processing apparatus which concerns on 2nd Embodiment. 第２の実施の形態に係る画像処理装置における画像処理ルーチンの内容を示すフローチャートである。It is a flowchart which shows the content of the image processing routine in the image processing apparatus which concerns on 2nd Embodiment. 第３の実施の形態に係る画像処理装置の構成を示す概略図である。It is the schematic which shows the structure of the image processing apparatus which concerns on 3rd Embodiment. 第３の実施の形態に係る画像処理装置における画像処理ルーチンの内容を示すフローチャートである。It is a flowchart which shows the content of the image processing routine in the image processing apparatus which concerns on 3rd Embodiment. 位相限定相関法により対応点を検出する従来の画像処理装置の構成を示す概略図である。It is the schematic which shows the structure of the conventional image processing apparatus which detects a corresponding point by a phase only correlation method.

以下、図面を参照して本発明の実施の形態を詳細に説明する。
［第１の実施の形態］
第１の実施の形態に係る画像処理装置１０は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、後述する画像処理ルーチンを実行するためのプログラムを記憶したＲＯＭ（Read Only Memory）とを備えたコンピュータで構成されている。このコンピュータは、機能的には、図１に示すように、分光反射率画像生成部１１ａ、１１ｂと、ＲＧＢ画像生成部１２ａ、１２ｂと、白黒画像生成部１３ａ、１３ｂと、位相画像生成部１７ａ、１７ｂと、相関画像生成部１８と、対応点検出部１９とを含んだ構成で表すことができる。なお、分光反射率画像生成部１１ａ、１１ｂが本発明の推定手段の一例であり、ＲＧＢ画像生成部１２ａ、１２ｂが本発明の生成手段の一例であり、位相画像生成部１７ａ、１７ｂ、相関画像生成部１８、及び対応点検出部１９が本発明の検出手段の一例である。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[First Embodiment]
An image processing apparatus 10 according to the first embodiment includes a CPU (Central Processing Unit), a RAM (Random Access Memory), and a ROM (Read Only Memory) that stores a program for executing an image processing routine described later. It is comprised with the computer provided with. As shown in FIG. 1, this computer functionally includes spectral reflectance image generation units 11a and 11b, RGB image generation units 12a and 12b, monochrome image generation units 13a and 13b, and a phase image generation unit 17a. , 17b, a correlation image generation unit 18, and a corresponding point detection unit 19 can be represented. The spectral reflectance image generation units 11a and 11b are examples of the estimation unit of the present invention, the RGB image generation units 12a and 12b are examples of the generation unit of the present invention, the phase image generation units 17a and 17b, and the correlation image. The generation unit 18 and the corresponding point detection unit 19 are examples of the detection unit of the present invention.

分光反射率画像生成部１１ａは、入力画像１（マルチバンド画像）のデータを取得し、この入力画像１から、ウィナー推定を用いて画素毎の分光反射率を推定し、推定した分光反射率を画素値とする分光反射率画像を生成する。以下、マルチバンド画像からの分光反射率の推定について説明する（非特許文献３「Masaru Tsuchida, KeijiYano, Hiromi T. Tanaka,“Development of a High-definition and Multispectral Image Capturing System for Digital Archiving of Early Modern Tapestries of Kyoto Gion Festival” 2010 International Conference on Pattern Recognition」参照）。   The spectral reflectance image generation unit 11a acquires data of the input image 1 (multiband image), estimates the spectral reflectance for each pixel using the winner estimation from the input image 1, and calculates the estimated spectral reflectance. A spectral reflectance image as a pixel value is generated. Hereinafter, estimation of spectral reflectance from a multiband image will be described (Non-Patent Document 3, “Masaru Tsuchida, KeijiYano, Hiromi T. Tanaka,“ Development of a High-definition and Multispectral Image Capturing System for Digital Archiving of Early Modern Tapestries ” of Kyoto Gion Festival “2010 International Conference on Pattern Recognition”).

照明光スペクトルをＥ（λ）、及び被写体の分光反射率をｆ（λ）とすると、観察される反射光スペクトルＩ（λ）は、下記（１）式のように表される。   Assuming that the illumination light spectrum is E (λ) and the spectral reflectance of the subject is f (λ), the observed reflected light spectrum I (λ) is expressed by the following equation (1).

Figure 0005713350
Figure 0005713350

ここでλは波長を示す。この式を基に、Ｎ−バンド画像の画素毎に分光反射率を推定する。カメラの分光感度を、行列Ｓ＝［Ｓ１（λ），Ｓ２（λ），・・・ＳＮ（λ）］Ｔ、及び対角成分が照明光スペクトルである対角行列を行列Ｗとすると、（１）式は下記（２）式のように書き改められる。 Here, λ indicates a wavelength. Based on this equation, the spectral reflectance is estimated for each pixel of the N-band image. The spectral sensitivity of the camera is expressed as a matrix S = [S 1 (λ), S 2 (λ),... S N (λ)] T , and a diagonal matrix whose diagonal component is an illumination light spectrum is a matrix W. Then, the expression (1) is rewritten as the following expression (2).

Figure 0005713350
Figure 0005713350

推定する分光反射率ｆ＾は、下記（３）式で示されるＮ−バンドカメラで得られた信号値から、ウィナー推定法により、下記（４）式のように求められる。   The spectral reflectance f ^ to be estimated is obtained from the signal value obtained by the N-band camera represented by the following equation (3) by the Wiener estimation method as the following equation (4).

Figure 0005713350
Figure 0005713350

ここで、行列Ｍはウィナー推定行列であり、行列Ｈから求められる。行列Ｒは被写体の統計的性質から求められた先見情報である。行列Ｒとしては、例えば、教師データの相関行列、共分散行列などを用いることができる。また、教師データの主成分ベクトルの相関・共分散行列を用いてもよい。さらに、汎用性を持たせるため、マルコフモデルを仮定した下記（５）式を用いてもよい。   Here, the matrix M is a winner estimation matrix and is obtained from the matrix H. The matrix R is foreseeing information obtained from the statistical properties of the subject. As the matrix R, for example, a teacher data correlation matrix, covariance matrix, or the like can be used. Further, a correlation / covariance matrix of principal component vectors of teacher data may be used. Furthermore, in order to give versatility, the following equation (5) assuming a Markov model may be used.

Figure 0005713350
Figure 0005713350

分光反射率画像生成部１１ｂは、入力画像２（マルチバンド画像）のデータを取得し、分光反射率画像生成部１１ａと同様の処理により、入力画像２から、ウィナー推定を用いて画素毎の分光反射率を推定し、推定した分光反射率を画素値とする分光反射率画像を生成する。なお、入力画像１と入力画像２とは、撮影時の照明が異なっていてもよいし、撮影に用いたカメラのバンド数や分光感度が異なっていてもよい。   The spectral reflectance image generation unit 11b acquires data of the input image 2 (multiband image), and performs spectral processing for each pixel using the Wiener estimation from the input image 2 by the same processing as the spectral reflectance image generation unit 11a. The reflectance is estimated, and a spectral reflectance image having the estimated spectral reflectance as a pixel value is generated. The input image 1 and the input image 2 may have different illuminations at the time of shooting, or may have different camera band numbers and spectral sensitivities.

ＲＧＢ画像生成部１２ａは、分光反射率画像生成部１１ａで生成された分光反射率画像に対して、予め定めた照明光スペクトル及び予め定めたカメラの分光感度を掛け合わせて、ＲＧＢ画像を生成する。具体的には、予め定めた照明光スペクトルと各画素に対応する推定された分光反射率の各波長の値を掛け合わせ、さらに各画素に対応する予め定めたカメラの分光感度を掛けあわせる。各画素について算出された波長毎の値からＲ値、Ｇ値、及びＢ値を算出し、各画素の画素値を算出したＲＧＢ値とするＲＧＢ画像を生成する。なお、予め定めた照明光として、全波長でエネルギーが一定の照明光を仮定した場合には、予め定めた照明光スペクトルと分光反射率とを掛け合わせた値として、各画素の分光反射率をそのまま用いることができる。   The RGB image generation unit 12a multiplies the spectral reflectance image generated by the spectral reflectance image generation unit 11a with a predetermined illumination light spectrum and a predetermined spectral sensitivity of the camera to generate an RGB image. . Specifically, the predetermined illumination light spectrum is multiplied by the value of each wavelength of the estimated spectral reflectance corresponding to each pixel, and further, the predetermined spectral sensitivity of the camera corresponding to each pixel is multiplied. An R value, a G value, and a B value are calculated from the values for each wavelength calculated for each pixel, and an RGB image is generated with the pixel value of each pixel as the calculated RGB value. Assuming that the illumination light having a constant energy at all wavelengths is assumed as the predetermined illumination light, the spectral reflectance of each pixel is obtained by multiplying the predetermined illumination light spectrum and the spectral reflectance. It can be used as it is.

ＲＧＢ画像生成部１２ｂは、分光反射率画像生成部１１ｂで生成された分光反射率画像に対して、分光反射率画像生成部１１ａで用いたのと共通の予め定めた照明光スペクトル及び予め定めたカメラの分光感度を掛け合わせて、ＲＧＢ画像を生成する。   For the spectral reflectance image generated by the spectral reflectance image generation unit 11b, the RGB image generation unit 12b uses a predetermined illumination light spectrum and a predetermined one that are used in the spectral reflectance image generation unit 11a. An RGB image is generated by multiplying the spectral sensitivity of the camera.

白黒画像生成部１３ａ、１３ｂは、ＲＧＢ画像生成部１２ａ、１２ｂで生成されたＲＧＢ画像を各々変換して白黒画像を生成する。   The black and white image generation units 13a and 13b convert the RGB images generated by the RGB image generation units 12a and 12b, respectively, to generate a black and white image.

位相画像生成部１７ａ、１７ｂは、白黒画像生成部１３ａ、１３ｂで生成された白黒画像各々に対して、画像上のあるサンプル点を中心とした画像領域を抽出する。画像領域は、２の階乗を１辺とする領域とする。例えば、１６×１６ピクセル、６４×６４ピクセルの領域を抽出する。そして、抽出した画像領域毎にフーリエ変換を行って位相情報を得て、各画素の画素値を位相情報とする位相画像を生成する。画像間のずれが単純な平行移動の場合には、画像領域毎の処理ではなく、画像全体に対して処理を行ってもよい。   The phase image generation units 17a and 17b extract an image area centered on a certain sample point on the image for each of the black and white images generated by the black and white image generation units 13a and 13b. The image area is an area having a factorial of 2 as one side. For example, an area of 16 × 16 pixels and 64 × 64 pixels is extracted. Then, each extracted image region is subjected to Fourier transform to obtain phase information, and a phase image having the pixel value of each pixel as phase information is generated. When the shift between the images is a simple parallel movement, processing may be performed on the entire image instead of processing for each image region.

相関画像生成部１８は、位相画像生成部１７ａで生成された位相画像と、位相画像生成部１７ｂで生成された位相画像との相関を示す相関値を画素値とする相関画像を生成する。   The correlation image generation unit 18 generates a correlation image having a correlation value indicating a correlation between the phase image generated by the phase image generation unit 17a and the phase image generated by the phase image generation unit 17b as a pixel value.

対応点検出部１９は、相関画像生成部１８で生成された相関画像に基づいて、入力画像１と入力画像２との間で、対応点を検出する。具体的には、相関画像において、画素値（相関値）が最大となる座標を求める。仮に２枚の入力画像で位置のずれが全く存在しない場合には、原点の画素値が最大値となる。２枚の画像間で位置ずれが生じている場合には、相関画像上での相関値最大の点の座標値が画像のずれ量に相当する。入力画像間のずれ量が１ピクセル以下の場合には、位相の相関画像に対しガウス関数を内挿してサブピクセル（１画素未満の精度）での位置ずれ量が検出可能である。このようにして得られた画像の位置ずれ量から、例えば、入力画像１を基準として、入力画像１のサンプル点に関する入力画像２上の対応点を検出する。複数の対応点が得られた場合には、片方の入力画像に対し射影変換を施すことにより、位置ずれと共に幾何ゆがみも補正した、対応点の画像上での座標が基準とした入力画像と一致した画像を生成するようにしてもよい。検出された対応点の情報を検出結果として出力する。   The corresponding point detection unit 19 detects a corresponding point between the input image 1 and the input image 2 based on the correlation image generated by the correlation image generation unit 18. Specifically, in the correlation image, a coordinate having the maximum pixel value (correlation value) is obtained. If there is no position shift between the two input images, the pixel value at the origin is the maximum value. When there is a positional shift between the two images, the coordinate value of the point with the maximum correlation value on the correlation image corresponds to the image shift amount. When the shift amount between the input images is 1 pixel or less, it is possible to detect the shift amount in sub-pixels (accuracy of less than one pixel) by interpolating a Gaussian function with respect to the phase correlation image. For example, the corresponding point on the input image 2 relating to the sample point of the input image 1 is detected from the amount of positional deviation of the image obtained in this way with reference to the input image 1. When multiple corresponding points are obtained, projective transformation is performed on one of the input images to correct the positional distortion and geometric distortion, and the corresponding point coordinates on the image match the input image. The generated image may be generated. Information on the detected corresponding points is output as a detection result.

なお、位相画像生成部１７ａ、１７ｂ、相関画像生成部１８、及び対応点検出部１９の処理は、従来手法が適用可能であり、非特許文献１及び２に示す位相限定相関法を用いてもよい。   In addition, the process of the phase image generation parts 17a and 17b, the correlation image generation part 18, and the corresponding point detection part 19 can apply a conventional method, Even if it uses the phase only correlation method shown to a nonpatent literature 1 and 2. FIG. Good.

次に、第１の実施の形態に係る画像処理装置１０の作用について説明する。まず、撮影時の照明光のスペクトル及びカメラの分光感度が異なる条件で、入力画像１（マルチバンド画像）及び入力画像２（マルチバンド画像）が撮影された後、画像処理装置１０によって、図２に示す画像処理ルーチンが実行される。   Next, the operation of the image processing apparatus 10 according to the first embodiment will be described. First, after the input image 1 (multiband image) and the input image 2 (multiband image) are photographed under conditions in which the spectrum of illumination light at the time of photographing and the spectral sensitivity of the camera are different, the image processing apparatus 10 performs FIG. The image processing routine shown in FIG.

ステップ１００で、撮影時の照明光のスペクトル及びカメラの分光感度が異なる条件で撮影された入力画像１（マルチバンド画像）及び入力画像２（マルチバンド画像）を取得する。   In step 100, an input image 1 (multiband image) and an input image 2 (multiband image) photographed under conditions in which the spectrum of illumination light at the time of photographing and the spectral sensitivity of the camera are different are acquired.

次に、ステップ１０２で、上記ステップ１００で取得した入力画像１及び２各々について、マルチバンド画像の画素値、撮影時のカメラの分光感度、観察照明光のスペクトル、及び被写体の統計的性質から求められた先見情報（例えば、（５）式に示す行列Ｒ）を用いて、ウィナー推定により画素毎の分光反射率を推定し、推定した分光反射率を画素値とする分光反射率画像を生成する。   Next, in step 102, the input images 1 and 2 acquired in step 100 are obtained from the pixel values of the multiband image, the spectral sensitivity of the camera at the time of shooting, the spectrum of observation illumination light, and the statistical properties of the subject. Using the aforesaid foresight information (for example, matrix R shown in equation (5)), the spectral reflectance for each pixel is estimated by Wiener estimation, and a spectral reflectance image having the estimated spectral reflectance as a pixel value is generated. .

次に、ステップ１０４で、入力画像１及び２各々について、上記ステップ１０２で生成した分光反射率画像を用いて、予め定めた照明光スペクトルと各画素に対応する推定された分光反射率の各波長の値を掛け合わせ、さらに各画素に対応する予め定めたカメラの分光感度を掛けあわせる。各画素について算出された波長毎の値からＲ値、Ｇ値、及びＢ値を算出し、各画素の画素値を算出したＲＧＢ値とするＲＧＢ画像を生成する。   Next, in step 104, for each of the input images 1 and 2, using the spectral reflectance image generated in step 102, each wavelength of the estimated spectral reflectance corresponding to each pixel and a predetermined illumination light spectrum is determined. And the predetermined spectral sensitivity of the camera corresponding to each pixel. An R value, a G value, and a B value are calculated from the values for each wavelength calculated for each pixel, and an RGB image is generated with the pixel value of each pixel as the calculated RGB value.

次に、ステップ１０６で、上記ステップ１０４で入力画像１及び２各々について生成されたＲＧＢ画像を変換して白黒画像を生成する。次に、ステップ１０８で、上記ステップ１０６で生成した白黒画像各々に対してフーリエ変換を行って位相情報を得て、各画素の画素値を位相情報とする位相画像を生成する。次に、ステップ１１０で、上記ステップ１０８で生成された２つの位相画像間の相関を示す相関値を画素値とする相関画像を生成する。   Next, in step 106, the RGB image generated for each of the input images 1 and 2 in step 104 is converted to generate a monochrome image. Next, in step 108, each black and white image generated in step 106 is subjected to Fourier transform to obtain phase information, and a phase image using the pixel value of each pixel as phase information is generated. Next, in step 110, a correlation image having a correlation value indicating a correlation between the two phase images generated in step 108 as a pixel value is generated.

次に、ステップ１１２で、上記ステップ１１０で生成した相関画像において、画素値（相関値）が最大となる座標を求め、この座標値が２枚の画像間のずれ量に相当することに基づいて、入力画像１及び入力画像２の一方のサンプル点に関する他方の画像上の対応点を検出する。対応点の検出が終了した場合には、検出された対応点の情報を検出結果として出力して、処理を終了する。   Next, in step 112, a coordinate where the pixel value (correlation value) is maximum is obtained in the correlation image generated in step 110, and the coordinate value corresponds to the amount of deviation between the two images. The corresponding points on the other image relating to one sample point of the input image 1 and the input image 2 are detected. When the detection of the corresponding point is completed, the information of the detected corresponding point is output as the detection result, and the process ends.

以上説明したように、第１の実施の形態の画像処理装置によれば、マルチバンド画像から推定される分光反射率（色情報）と、共通の照明光スペクトル及びカメラの分光感度とを用いて、２つの入力画像各々について、同じ条件下で撮影した場合と同等のＲＧＢ画像を生成してから、位相限定相関法を適用するため、テクスチャ情報の異なりを抑制することができ、照明光スペクトル及びカメラの分光感度が異なる条件下で撮影された画像間での対応点検出精度を向上させることができる。   As described above, according to the image processing apparatus of the first embodiment, the spectral reflectance (color information) estimated from the multiband image, the common illumination light spectrum, and the spectral sensitivity of the camera are used. For each of the two input images, an RGB image equivalent to the case of shooting under the same conditions is generated, and then the phase-only correlation method is applied, so that the difference in texture information can be suppressed, and the illumination light spectrum and Corresponding point detection accuracy between images taken under different camera spectral sensitivities can be improved.

また、本実施の形態の画像処理装置により、異なる照明条件下や、異なる分光感度を持つカメラで撮影した各画像間の対応点の推定精度が向上することにより、より高品質なマルチバンド画像が生成できるようになる。この結果を利用することで、マルチバンド画像がワンショットで撮影でき、利便性が向上し、従来手法よりも安価にシステムを構築することができる。また、動画への適用のほか、マルチバンド立体画像・動画の取得にも適用可能である。超解像技術と組み合わせれば、従来よりも高精細・高精彩な画像の取得も実現できる。また、３Ｄ−ＣＧソフトウェアへ本実施の形態の画像処理装置の検出結果を利用したマルチバンド画像（または色再現結果）及び３次元形状データを読み込ませることで、従来よりもはるかにリアルなバーチャルリアリティが実現できる。
［第２の実施の形態］
次に、第２の実施の形態について説明する。なお、第２の実施の形態の画像処理装置について、第１の実施の形態の画像処理装置１０と同様の構成については、同一符号を付して詳細な説明を省略する。 In addition, the image processing apparatus of the present embodiment improves the estimation accuracy of corresponding points between images captured by cameras having different illumination conditions and different spectral sensitivities, so that a higher-quality multiband image can be obtained. Can be generated. By using this result, a multiband image can be taken in one shot, convenience is improved, and a system can be constructed at a lower cost than the conventional method. In addition to application to moving images, it can also be applied to acquisition of multiband stereoscopic images and moving images. When combined with super-resolution technology, it is also possible to acquire images with higher definition and detail than before. Furthermore, by making the 3D-CG software read a multiband image (or color reproduction result) using the detection result of the image processing apparatus of this embodiment and three-dimensional shape data, a virtual reality that is much more realistic than before. Can be realized.
[Second Embodiment]
Next, a second embodiment will be described. In addition, about the image processing apparatus of 2nd Embodiment, about the structure similar to the image processing apparatus 10 of 1st Embodiment, the same code | symbol is attached | subjected and detailed description is abbreviate | omitted.

第２の実施の形態の画像処理装置２０を構成するコンピュータは、機能的には、図３に示すように、分光反射率画像生成部１１ａ、１１ｂと、特定波長画像生成部１４ａ、１４ｂと、位相画像生成部１７ａ、１７ｂと、相関画像生成部１８と、対応点検出部１９とを含んだ構成で表すことができる。なお、特定波長画像生成部１４ａ、１４ｂが本発明の生成手段の一例である。   As shown in FIG. 3, functionally, the computer constituting the image processing apparatus 20 of the second embodiment has spectral reflectance image generation units 11a and 11b, specific wavelength image generation units 14a and 14b, The phase image generation units 17a and 17b, the correlation image generation unit 18, and the corresponding point detection unit 19 can be represented. The specific wavelength image generation units 14a and 14b are an example of the generation unit of the present invention.

特定波長画像生成部１４ａは、分光反射率画像生成部１１ａで生成された分光反射率画像に基づいて、画素毎に特定の波長に対する反射率を抽出し、抽出した値を画素値とする特定波長画像を生成する。特定の波長の決定方法は、被写体やアプリケーションに依存するが、例えば、予め被写体の注目点に関する分光スペクトル上で特徴的な波長（例えば、医療画像の場合、酸化ヘモグロビンなど組成物質の特徴が最も顕著に表れる波長）とすることができる。   The specific wavelength image generation unit 14a extracts the reflectance for a specific wavelength for each pixel based on the spectral reflectance image generated by the spectral reflectance image generation unit 11a, and uses the extracted value as a pixel value. Generate an image. The method of determining a specific wavelength depends on the subject and application, but for example, a characteristic wavelength on the spectral spectrum related to the target point of the subject in advance (for example, in the case of a medical image, the characteristic of a composition material such as oxyhemoglobin is most prominent (Wavelength appearing in the above).

特定波長画像生成部１４ｂは、分光反射率画像生成部１１ｂで生成された分光反射率画像に基づいて、特定波長画像生成部１４ａと同一の特定波長に対する特定波長画像を生成する。   The specific wavelength image generation unit 14b generates a specific wavelength image for the same specific wavelength as the specific wavelength image generation unit 14a based on the spectral reflectance image generated by the spectral reflectance image generation unit 11b.

次に、図４を参照して、第２の実施の形態の画像処理装置２０で実行される画像処理ルーチンについて説明する。なお、第１の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して詳細な説明を省略する。   Next, an image processing routine executed by the image processing apparatus 20 according to the second embodiment will be described with reference to FIG. Note that the same processes as those in the image processing routine in the first embodiment are denoted by the same reference numerals, and detailed description thereof is omitted.

ステップ１００及び１０２で、入力画像１及び２各々について、分光反射率画像を生成する。   In steps 100 and 102, spectral reflectance images are generated for the input images 1 and 2, respectively.

次に、ステップ２００で、入力画像１及び２各々について、上記ステップ１０２で生成した分光反射率画像に基づいて、画素毎に共通の特定波長に対する反射率を抽出し、抽出した値を画素値とする特定波長画像を生成する。   Next, in step 200, for each of the input images 1 and 2, based on the spectral reflectance image generated in step 102, the reflectance for a specific wavelength common to each pixel is extracted, and the extracted value is used as the pixel value. A specific wavelength image is generated.

次に、ステップ２０２で、上記ステップ２００で生成した特定波長画像各々について位相画像を生成し、次に、ステップ１１０及び１１２で、相関画像を生成して、入力画像１と入力画像２との対応点を検出し、検出された対応点の情報を検出結果として出力して、処理を終了する。   Next, in step 202, a phase image is generated for each of the specific wavelength images generated in step 200. Next, in steps 110 and 112, a correlation image is generated, and the correspondence between input image 1 and input image 2 is determined. A point is detected, information on the detected corresponding point is output as a detection result, and the process ends.

以上説明したように、第２の実施の形態の画像処理装置によれば、マルチバンド画像から推定される分光反射率（色情報）に基づいて、２つの入力画像各々について、撮影時の照明光スペクトル及びカメラの分光感度の条件の異なりに影響を受けない特定波長画像を生成してから、位相限定相関法を適用するため、テクスチャ情報の異なりを抑制することができ、照明光スペクトル及びカメラの分光感度が異なる条件下で撮影された画像間での対応点検出精度を向上させることができる。
［第３の実施の形態］
次に、第３の実施の形態について説明する。なお、第３の実施の形態の画像処理装置について、第１の実施の形態の画像処理装置１０と同様の構成については、同一符号を付して詳細な説明を省略する。 As described above, according to the image processing apparatus of the second embodiment, illumination light at the time of photographing is obtained for each of the two input images based on the spectral reflectance (color information) estimated from the multiband image. Since a specific wavelength image that is not affected by the difference in the spectrum and the spectral sensitivity condition of the camera is generated, the phase-only correlation method is applied, so that the difference in texture information can be suppressed, and the illumination light spectrum and the camera Corresponding point detection accuracy between images photographed under different spectral sensitivities can be improved.
[Third Embodiment]
Next, a third embodiment will be described. In addition, about the image processing apparatus of 3rd Embodiment, about the structure similar to the image processing apparatus 10 of 1st Embodiment, the same code | symbol is attached | subjected and detailed description is abbreviate | omitted.

第３の実施の形態の画像処理装置２０を構成するコンピュータは、機能的には、図５に示すように、分光反射率画像生成部１１ａ、１１ｂと、主成分画像生成部１５ａ、１５ｂと、主成分画像選択部１６ａ、１６ｂと、位相画像生成部１７ａ、１７ｂと、相関画像生成部１８と、対応点検出部１９とを含んだ構成で表すことができる。なお、主成分画像生成部１５ａ、１５ｂが本発明の生成手段の一例である。   As shown in FIG. 5, functionally, the computer constituting the image processing apparatus 20 of the third embodiment has spectral reflectance image generation units 11a and 11b, principal component image generation units 15a and 15b, It can be represented by a configuration including principal component image selection units 16a and 16b, phase image generation units 17a and 17b, a correlation image generation unit 18, and a corresponding point detection unit 19. The principal component image generation units 15a and 15b are an example of the generation unit of the present invention.

主成分画像生成部１５ａは、分光反射率画像生成部１１ａで生成された分光反射率画像に対して主成分分析を行って、画素毎に得られた主成分の値を画素値とする主成分画像を生成する。主成分画像は、第１主成分に関する主成分画像、第２主成分に関する主成分画像・・・のように、主成分の数だけ生成される。なお、得られる主成分の数は、マルチバンド画像の場合はそのバンド数、分光反射率画像の場合は波長方向のサンプリング数が上限である。   The principal component image generation unit 15a performs principal component analysis on the spectral reflectance image generated by the spectral reflectance image generation unit 11a, and uses the principal component value obtained for each pixel as a pixel value. Generate an image. As many principal component images as the principal component image relating to the first principal component, the principal component image relating to the second principal component,... Are generated. The upper limit of the number of main components obtained is the number of bands in the case of a multiband image, and the number of samplings in the wavelength direction in the case of a spectral reflectance image.

主成分画像生成部１５ｂは、分光反射率画像生成部１１ｂで生成された分光反射率画像に対して、主成分画像生成部１５ａと同様の処理により主成分画像を生成する。   The principal component image generation unit 15b generates a principal component image by the same processing as the principal component image generation unit 15a with respect to the spectral reflectance image generated by the spectral reflectance image generation unit 11b.

なお、主成分画像生成部１５ａ、１５ｂで生成する画像は、所定の多次元空間に分光反射率画像を投影して得られる画像であればよい。多次元空間としては、例えば、ＫＬ変換を行う事で得られる多次元空間、教師データから予め得られている、材質の違いを際立たせる多次元空間（例えば、独立主成分により張られる多次元空間や、複数の事前に特定された材質の分光反射率により張られる多次元空間）、波長軸方向でのフーリエ級数で張られる多次元空間、波長軸方向でのコサイン変換やウェーブレット変換で張られる多次元空間等とすることができる。   The image generated by the principal component image generation units 15a and 15b may be an image obtained by projecting a spectral reflectance image in a predetermined multidimensional space. As the multidimensional space, for example, a multidimensional space obtained by performing KL transformation, a multidimensional space that is obtained in advance from teacher data and that highlights differences in materials (for example, a multidimensional space spanned by independent principal components) Multi-dimensional space spanned by spectral reflectances of a plurality of pre-specified materials), multi-dimensional space spanned by Fourier series in the wavelength axis direction, multi-strand stretched by cosine transform and wavelet transform in the wavelength axis direction It can be a dimensional space or the like.

主成分画像選択部１６ａ、１６ｂは、主成分画像生成部１５ａ、１５ｂ各々で生成された複数の主成分画像の中から各々１つの主成分画像を選択する。例えば、コントラストが最も高い主成分画像を選択することができる。   The principal component image selection units 16a and 16b select one principal component image from a plurality of principal component images generated by the principal component image generation units 15a and 15b, respectively. For example, the principal component image with the highest contrast can be selected.

次に、図６を参照して、第３の実施の形態の画像処理装置３０で実行される画像処理ルーチンについて説明する。なお、第１の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して詳細な説明を省略する。   Next, an image processing routine executed by the image processing apparatus 30 according to the third embodiment will be described with reference to FIG. Note that the same processes as those in the image processing routine in the first embodiment are denoted by the same reference numerals, and detailed description thereof is omitted.

ステップ１００及び１０２で、入力画像１及び２各々について、分光反射率画像を生成する。   In steps 100 and 102, spectral reflectance images are generated for the input images 1 and 2, respectively.

次に、ステップ３００で、入力画像１及び２各々について、上記ステップ１０２で生成した分光反射率画像に対して主成分分析を行って、画素毎に得られた主成分の値を画素値とする主成分画像を、主成分の数だけ生成する。   Next, in step 300, principal component analysis is performed on the spectral reflectance image generated in step 102 for each of the input images 1 and 2, and the value of the principal component obtained for each pixel is used as the pixel value. As many principal component images as the number of principal components are generated.

次に、ステップ３０２で、上記ステップ３００で生成した主成分画像から、入力画像１及び２各々について１つずつ主成分画像を選択する。次に、ステップ３０４で、上記ステップ３０４で選択した主成分画像の位相画像を生成し、次に、ステップ１１０及び１１２で、相関画像を生成して、入力画像１と入力画像２との対応点を検出し、検出された対応点の情報を検出結果として出力して、処理を終了する。   Next, in step 302, one principal component image is selected for each of the input images 1 and 2 from the principal component images generated in step 300. Next, in step 304, a phase image of the principal component image selected in step 304 is generated. Next, in steps 110 and 112, a correlation image is generated, and corresponding points between the input image 1 and the input image 2 are generated. Is detected, information on the detected corresponding points is output as a detection result, and the process is terminated.

以上説明したように、第３の実施の形態の画像処理装置によれば、マルチバンド画像から推定される分光反射率（色情報）に基づいて、２つの入力画像各々について、撮影時の照明光スペクトル及びカメラの分光感度の条件の異なりに影響を受けない主成分画像を生成してから、位相限定相関法を適用するため、テクスチャ情報の異なりを抑制することができ、照明光スペクトル及びカメラの分光感度が異なる条件下で撮影された画像間での対応点検出精度を向上させることができる。   As described above, according to the image processing apparatus of the third embodiment, illumination light at the time of photographing is obtained for each of the two input images based on the spectral reflectance (color information) estimated from the multiband image. Since the principal component image that is not affected by the difference in the spectrum and the spectral sensitivity condition of the camera is generated, the phase-only correlation method is applied, so that the difference in texture information can be suppressed, and the illumination light spectrum and the camera Corresponding point detection accuracy between images photographed under different spectral sensitivities can be improved.

なお、第３の実施の形態では、主成分画像選択部で複数の主成分画像から１つを選択する場合について説明したが、例えば、主成分画像のコントラストが高い上位３枚の主成分画像を選択するなど、複数の主成分画像を選択するようにしてもよい。この場合、選択された複数の主成分画像各々に対して対応点検出を行い、検出された対応点候補からもっともらしい値（平均値、重心値、メディアン値など）を対応点の検出結果として用いることができる。   In the third embodiment, the case where one of the plurality of principal component images is selected by the principal component image selection unit has been described. For example, the top three principal component images with high contrast of the principal component images are selected. For example, a plurality of principal component images may be selected. In this case, corresponding points are detected for each of the plurality of selected principal component images, and plausible values (average value, centroid value, median value, etc.) from the detected corresponding point candidates are used as the corresponding point detection results. be able to.

また、第１の実施の形態においても、１つの入力画像について、予め定めた照明光スペクトルとして複数の照明光スペクトルを用いて、複数のＲＧＢ画像を生成するようにしてもよい。この場合、複数のＲＧＢ画像の中から選択した各１つずつのＲＧＢ画像について後段の処理を実施するようにしてもよし、複数のＲＧＢ画像各々に対して対応点検出を行い、検出された対応点候補からもっともらしい値（平均値、重心値、メディアン値など）を対応点の検出結果として用いてもよい。同様に、第２の実施の形態においても、１つの入力画像について、複数の特定波長に関する複数の特定波長画像を生成するようにしてもよい。   Also in the first embodiment, a plurality of RGB images may be generated using a plurality of illumination light spectra as a predetermined illumination light spectrum for one input image. In this case, the subsequent processing may be performed for each of the RGB images selected from the plurality of RGB images, or corresponding points are detected for each of the plurality of RGB images, and the detected correspondences are detected. A plausible value (average value, centroid value, median value, etc.) from the point candidates may be used as the corresponding point detection result. Similarly, in the second embodiment, a plurality of specific wavelength images related to a plurality of specific wavelengths may be generated for one input image.

また、上記第１〜第３の実施の形態では、入力画像が２つの場合について説明したが、入力画像が３つ以上の場合にも適用することができる。この場合、３つ以上の画像各々について仮定画像（ＲＧＢ画像、特定波長画像、主成分画像）を生成してから位相画像を生成し、生成された位相画像の中から２つずつの組あわせを選択して相関画像を生成して、対応点を検出するようにするとよい。   In the first to third embodiments, the case where there are two input images has been described. However, the present invention can also be applied to a case where there are three or more input images. In this case, a hypothetical image (RGB image, specific wavelength image, principal component image) is generated for each of three or more images, a phase image is generated, and two combinations of the generated phase images are combined. Corresponding points may be detected by selecting and generating a correlation image.

また、上述の画像処理装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。   Further, the above-described image processing apparatus has a computer system therein, but the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。   In the present specification, the embodiment has been described in which the program is installed in advance. However, the program can be provided by being stored in a computer-readable recording medium.

１０、２０、３０ 画像処理装置
１１ａ、１１ｂ 分光反射率画像生成部
１２ａ、１２ｂ ＲＧＢ画像生成部
１３ａ、１３ｂ 白黒画像生成部
１４ａ、１４ｂ 特定波長画像生成部
１５ａ、１５ｂ 主成分画像生成部
１６ａ、１６ｂ 主成分画像選択部
１７ａ、１７ｂ 位相画像生成部
１８ 相関画像生成部
１９ 対応点検出部 10, 20, 30 Image processing devices 11a, 11b Spectral reflectance image generation units 12a, 12b RGB image generation units 13a, 13b Black and white image generation units 14a, 14b Specific wavelength image generation units 15a, 15b Main component image generation units 16a, 16b Principal component image selection unit 17a, 17b Phase image generation unit 18 Correlation image generation unit 19 Corresponding point detection unit

Claims (3)

照明光のスペクトル及び撮影手段の分光感度の少なくとも一方が異なる条件で撮影された複数のマルチバンド画像を取得する取得手段と、
前記取得手段により取得されたマルチバンド画像の画素値、前記照明光のスペクトル、前記撮影手段の分光感度、及び被写体の統計的性質を示す情報に基づいて、前記複数のマルチバンド画像各々の画素毎の分光反射率を推定する推定手段と、
前記推定手段により推定された複数のマルチバンド画像各々の画素毎の分光反射率に基づいて、該複数のマルチバンド画像各々が対応する条件で撮影されたと仮定する仮定画像として、波長方向の主成分を抽出した主成分画像を、前記マルチバンド画像毎に少なくとも１つ生成する生成手段と、
前記生成手段により生成された仮定画像間における対応点を検出する検出手段と、
を含む画像処理装置。 An acquisition unit for acquiring a plurality of multiband images captured under a condition in which at least one of the spectrum of illumination light and the spectral sensitivity of the imaging unit is different;
Based on the pixel value of the multiband image acquired by the acquisition unit, the spectrum of the illumination light, the spectral sensitivity of the imaging unit, and information indicating the statistical properties of the subject, for each pixel of the plurality of multiband images An estimation means for estimating the spectral reflectance of
Based on the spectral reflectance for each pixel of each of the plurality of multiband images estimated by the estimation means, a principal component in the wavelength direction is assumed as an assumption image that is assumed to have been captured under the corresponding conditions. Generating means for generating at least one principal component image extracted from each multiband image;
Detecting means for detecting corresponding points between the assumed images generated by the generating means;
An image processing apparatus. 取得手段と、推定手段と、生成手段と、検出手段とを含む画像処理装置における画像処理方法であって、
前記取得手段は、照明光のスペクトル及び撮影手段の分光感度の少なくとも一方が異なる条件で撮影された複数のマルチバンド画像を取得し、
前記推定手段は、前記取得手段により取得されたマルチバンド画像の画素値、前記照明光のスペクトル、前記撮影手段の分光感度、及び被写体の統計的性質を示す情報に基づいて、前記複数のマルチバンド画像各々の画素毎の分光反射率を推定し、
前記生成手段は、前記推定手段により推定された複数のマルチバンド画像各々の画素毎の分光反射率に基づいて、該複数のマルチバンド画像各々が対応する条件で撮影されたと仮定する仮定画像として、波長方向の主成分を抽出した主成分画像を、前記マルチバンド画像毎に少なくとも１つ生成し、
前記検出手段は、前記生成手段により生成された仮定画像間における対応点を検出する
画像処理方法。 An image processing method in an image processing apparatus including an acquisition unit, an estimation unit, a generation unit, and a detection unit,
The acquisition unit acquires a plurality of multiband images captured under a condition in which at least one of the spectrum of illumination light and the spectral sensitivity of the imaging unit is different,
The estimation unit is configured to select the plurality of multiband images based on information indicating a pixel value of the multiband image acquired by the acquisition unit, a spectrum of the illumination light, a spectral sensitivity of the imaging unit, and a statistical property of the subject. Estimate the spectral reflectance of each pixel of the image,
Based on the spectral reflectance of each pixel of each of the plurality of multiband images estimated by the estimation unit, the generation unit assumes that each of the plurality of multiband images is captured under a corresponding condition. Generating at least one principal component image obtained by extracting principal components in the wavelength direction for each of the multiband images;
The image processing method in which the detection means detects corresponding points between hypothetical images generated by the generation means. コンピュータを、請求項１記載の画像処理装置を構成する各手段として機能させるための画像処理プログラム。 The image processing program for a computer to function as each unit constituting the image processing apparatus according to claim 1 Symbol placement.
JP2011234173A 2011-10-25 2011-10-25 Image processing apparatus, method, and program Active JP5713350B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011234173A JP5713350B2 (en) 2011-10-25 2011-10-25 Image processing apparatus, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011234173A JP5713350B2 (en) 2011-10-25 2011-10-25 Image processing apparatus, method, and program

Publications (2)

Publication Number Publication Date
JP2013092885A JP2013092885A (en) 2013-05-16
JP5713350B2 true JP5713350B2 (en) 2015-05-07

Family

ID=48615969

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011234173A Active JP5713350B2 (en) 2011-10-25 2011-10-25 Image processing apparatus, method, and program

Country Status (1)

Country Link
JP (1) JP5713350B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6213950B2 (en) * 2013-06-03 2017-10-18 日本電信電話株式会社 Image processing apparatus, image processing method, and image processing program
JP6260620B2 (en) * 2013-06-17 2018-01-17 富士通株式会社 Image processing apparatus, image processing method, and image processing program
JP6210457B2 (en) * 2014-06-16 2017-10-11 日本電信電話株式会社 Image processing apparatus, image processing method, and image processing program
JP7034686B2 (en) * 2017-11-30 2022-03-14 キヤノンメディカルシステムズ株式会社 Ultrasound diagnostic equipment, medical image processing equipment and their programs
US11930308B2 (en) 2019-11-19 2024-03-12 Sony Group Corporation Image processing device and image processing method that reduce variation in output value among imaging devices
JP7457239B2 (en) 2020-04-16 2024-03-28 日本製鉄株式会社 Analysis method and system for magnetic domain structure

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4296617B2 (en) * 1998-10-15 2009-07-15 ソニー株式会社 Image processing apparatus, image processing method, and recording medium
JP4097874B2 (en) * 2000-03-06 2008-06-11 富士フイルム株式会社 Image compression method and image compression apparatus for multispectral image
JP4151890B2 (en) * 2002-11-22 2008-09-17 富士重工業株式会社 Vehicle monitoring apparatus and vehicle monitoring method
JP4217243B2 (en) * 2004-01-29 2009-01-28 オリンパス株式会社 Camera system
JP4849985B2 (en) * 2006-07-21 2012-01-11 富士フイルム株式会社 Electronic endoscope system
JP2009105844A (en) * 2007-10-25 2009-05-14 Sharp Corp Image processing apparatus, image processing system and image processing program
JP5034927B2 (en) * 2007-12-25 2012-09-26 凸版印刷株式会社 Information acquisition apparatus, information acquisition method, and information acquisition program
JP2010021791A (en) * 2008-07-10 2010-01-28 Canon Inc Image capturing apparatus, and image processing method therefor, and program

Also Published As

Publication number Publication date
JP2013092885A (en) 2013-05-16

Similar Documents

Publication Publication Date Title
JP5713350B2 (en) Image processing apparatus, method, and program
CN107316047B (en) Image processing apparatus, image processing method, and storage medium
KR101609491B1 (en) Image compositing device, image compositing method and recording medium
EP3832359A1 (en) Method and device for imaging of lensless hyperspectral image
JP5645052B2 (en) Image processing device
KR101723738B1 (en) Apparatus and method for resolution enhancement based on dictionary learning
JP6458570B2 (en) Image processing apparatus and image processing method
US20110299795A1 (en) Image processing system, image processing method, and image processing program
CN108288256A (en) Multispectral mosaic image restoration method
JP2018029251A (en) Inspection apparatus, inspection method, and program
CN110598795A (en) Image difference detection method and device, storage medium and terminal
JP2018029250A (en) Signal processor, signal processing method, and program
WO2018147059A1 (en) Image processing device, image processing method, and program
US9521397B2 (en) System and method for selecting a two-dimensional region of interest using a range sensor
JP6285686B2 (en) Parallax image generation device
JP5034554B2 (en) Correlation calculation device, correlation calculation method and program
JP2015148895A (en) object number distribution estimation method
US11798227B2 (en) Image processing apparatus and image processing method
CN117880479A (en) Computing unit and method for estimating depth map from digital hologram, encoding method of video sequence, computer program
JP4963492B2 (en) Image segmentation method, program and apparatus
JP2017012384A (en) Wrinkle state analysis device and wrinkle state analysis method
JP2016164709A (en) Image processing device, imaging apparatus, and image processing program
JP5686376B2 (en) Image processing apparatus, method, and program
JP5457976B2 (en) 3D shape acquisition apparatus and 3D shape acquisition program
JP7291389B2 (en) Object identification method, information processing device, information processing program, and lighting device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20131225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140911

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150304

R150 Certificate of patent or registration of utility model

Ref document number: 5713350

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250