JP6154781B2 - Image processing method and image processing system - Google Patents
Image processing method and image processing system Download PDFInfo
- Publication number
- JP6154781B2 JP6154781B2 JP2014106295A JP2014106295A JP6154781B2 JP 6154781 B2 JP6154781 B2 JP 6154781B2 JP 2014106295 A JP2014106295 A JP 2014106295A JP 2014106295 A JP2014106295 A JP 2014106295A JP 6154781 B2 JP6154781 B2 JP 6154781B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- cameras
- monochrome
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Input (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
本発明は、画像処理方法及び画像処理システムに係り、特に、カメラで撮影した画像間で対応点の探索を行う画像処理方法及び画像処理システムに関する。 The present invention relates to an image processing method and an image processing system, and more particularly, to an image processing method and an image processing system for searching for corresponding points between images taken by a camera.
従来より、多眼ステレオカメラおよび多眼ステレオ式マルチバンドカメラでは、複数の視点から撮影された視差画像から得られた対応点を用いることで、被写体の形状を推定することができる。被写体の形状を精度良く推定するためには、被写体表面上の密な対応点を得ることが必要である。しかし用いるカメラが２台の場合、オクルージョンの影響で一方の画像における対応点が検出できない場合がある。この問題を解決する方法の一つとして、３台以上のカメラを用いる多眼ステレオ法が、対応点検出精度の向上に有効であることは広く知られている。また多眼ステレオ法において、被写体の形状・奥行き推定に使用する画像を撮影した視点（カメラ間の距離）が近い場合には、オクルージョンの影響が比較的少ない一方で、画像上での対応点の位置ずれ量が小さい。このことは、被写体の形状・奥行き推定精度低下の原因の一つとなる。そこで、カメラ間の距離が近い画像間で得られた対応点と、カメラ間の距離を離して撮影した画像間で得られた対応点を組み合わせることで、被写体の形状・奥行き推定精度を測る手法も提案されている（例えば、非特許文献１）。 Conventionally, in a multi-view stereo camera and a multi-view stereo multiband camera, the shape of a subject can be estimated by using corresponding points obtained from parallax images taken from a plurality of viewpoints. In order to accurately estimate the shape of the subject, it is necessary to obtain dense corresponding points on the subject surface. However, when two cameras are used, the corresponding points in one image may not be detected due to the influence of occlusion. As one of the methods for solving this problem, it is widely known that the multi-view stereo method using three or more cameras is effective in improving the corresponding point detection accuracy. In the multi-view stereo method, if the viewpoint (distance between the cameras) that captured the image used to estimate the shape and depth of the subject is close, the influence of occlusion is relatively small, but the corresponding point on the image The amount of displacement is small. This is one of the causes of a reduction in accuracy of the shape / depth estimation of the subject. Therefore, a method to measure the shape and depth estimation accuracy of a subject by combining corresponding points obtained between images that are close to each other between the cameras and corresponding points obtained between images taken at a distance between the cameras. Has also been proposed (for example, Non-Patent Document 1).
非特許文献１などで述べられている多眼ステレオカメラで使用される各視点のカメラの分光感度特性は、一般には全て等しい（同じカメラが使用されている）。また、一般に普及しているRGBカメラ（カラーカメラ）を使用した場合でも、被写体表面のテクスチャの色が正確に記録・再現できない場合がある。この問題を解決するため、非特許文献２のような全てのカメラの分光感度特性が異なる単色カメラから構成される、また非特許文献３のような複数の単色カメラとカラーカメラから構成される、多眼ステレオ式マルチバンドカメラが提案されている。 In general, the spectral sensitivity characteristics of the cameras at each viewpoint used in the multi-view stereo camera described in Non-Patent Document 1 are all equal (the same camera is used). Even when a commonly used RGB camera (color camera) is used, the texture color of the subject surface may not be recorded or reproduced accurately. In order to solve this problem, it is composed of monochromatic cameras having different spectral sensitivity characteristics of all cameras as in Non-Patent Document 2, and is composed of a plurality of monochromatic cameras and color cameras as in Non-Patent Document 3. Multi-eye stereo multiband cameras have been proposed.
しかしながら、多眼ステレオ式マルチバンドカメラでは、各視点のカメラの分光感度特性は全てが等しいとは限らない。多眼ステレオ式マルチバンドカメラで得られる各カラーチャンネル画像に関して、カメラ間の分光感度に重なりが少ない、もしくはカメラ間の分光感度の中心波長が離れている画像ペアほど、各カラーチャンネル画像の見えが大きく異なる。この事は、カメラの分光感度の半値幅が狭いほど顕著である。例えば、白黒カメラに狭帯域バンドパスフィルタを取り付けた場合に、画像の見えが大きく異なる。このことが、多眼ステレオ式マルチバンドカメラにおける、単色画像間での対応点検出精度が低下し、その結果、奥行き情報（被写体の形状情報）推定精度低下の原因の一つとなっている。 However, in a multi-view stereo multiband camera, the spectral sensitivity characteristics of the cameras at each viewpoint are not all equal. For each color channel image obtained by a multi-view stereo multiband camera, the color channel image looks more as the image pair has less overlap between the spectral sensitivities between the cameras or the center wavelength of the spectral sensitivities between the cameras is more distant. to differ greatly. This is more conspicuous as the half-value width of the spectral sensitivity of the camera is narrower. For example, when a narrow band pass filter is attached to a black and white camera, the appearance of the image is greatly different. This reduces the accuracy of detecting corresponding points between single-color images in a multi-view stereo multiband camera, and as a result, is one of the causes of reduced accuracy in estimating depth information (subject shape information).
本発明は、上記の問題を解決するためになされたもので、従来手法より、精度良く対応点を探索することができる画像処理方法及び画像処理システムを提供することを目的とする。 The present invention has been made to solve the above problems, and an object of the present invention is to provide an image processing method and an image processing system capable of searching for corresponding points with higher accuracy than conventional methods.
上記目的を達成するために、本発明の画像処理方法は、各々分光感度特性が異なる複数の単色カメラに、分光感度の中心波長の昇順又は降順に番号を割り当て、割り当てられた番号が連続しないように、前記複数の単色カメラを、一方向及び二方向の何れか一方に配置し、前記複数の単色カメラによって、画像を撮影し、画像処理装置によって、割り当てられた番号が連続する前記単色カメラのペアの各々について、前記ペアの単色カメラで撮影した画像間で対応点を探索し、探索された対応点を出力する。
また、本発明の画像処理方法は、前記画像処理装置によって、多色カメラで撮影した画像を、前記単色カメラで撮影した画像との間で対応点の探索が可能な画像に変換することを更に含み、前記複数の単色カメラを配置することは、割り当てられた番号が連続しないように、前記複数の単色カメラを、一方向及び二方向の何れか一方に配置し、かつ、前記多色カメラを、前記単色カメラで挟み込むように、又は囲むように配置し、前記画像を撮影することは、前記複数の単色カメラ及び前記多色カメラによって、画像を撮影し、前記画像処理装置によって前記対応点を探索することは、割り当てられた番号が連続する前記単色カメラのペアの各々について、前記ペアの単色カメラで撮影した画像間で対応点を探索し、かつ、前記単色カメラで撮影した画像と前記変換された画像との間で対応点を探索し、探索された対応点を出力するようにしてもよい。
In order to achieve the above object, according to the image processing method of the present invention, numbers are assigned to a plurality of monochrome cameras having different spectral sensitivity characteristics in ascending or descending order of the central wavelength of the spectral sensitivity so that the assigned numbers do not continue. The plurality of monochrome cameras are arranged in either one direction or two directions, images are taken by the plurality of monochrome cameras, and assigned numbers are consecutively assigned by an image processing apparatus. For each pair, a corresponding point is searched between images taken by the pair of monochrome cameras, and the searched corresponding point is output.
In the image processing method of the present invention, the image processing apparatus further converts an image captured by a multicolor camera into an image in which a corresponding point can be searched for between the image captured by the monochrome camera. Including arranging the plurality of single-color cameras, arranging the plurality of single-color cameras in one direction or two directions so that the assigned numbers do not continue, and arranging the multi-color cameras. The monochromatic camera is arranged so as to be sandwiched or enclosed, and the image is photographed by photographing the image with the plurality of monochromatic cameras and the multicolor camera, and by using the image processing device, the corresponding points are obtained. Searching for each pair of monochrome cameras with consecutive assigned numbers searches for corresponding points between images taken by the monochrome camera of the pair, and with the monochrome camera. Searching corresponding points between the shadow image as the transformed image may be output the searched corresponding points.
本発明の画像処理システムは、各々分光感度特性が異なる複数の単色カメラを含み、前記複数の単色カメラに、分光感度の中心波長の昇順又は降順に番号を割り当て、割り当てられた番号が連続しないように、前記複数の単色カメラを、一方向及び二方向の何れか一方に配置した画像撮影装置と、割り当てられた番号が連続する前記単色カメラのペアの各々について、前記ペアの単色カメラで撮影した画像間で対応点を探索し、探索された対応点を出力する画像処理装置と、を含んで構成されている。
また、本発明の画像処理システムの画像撮影装置は、多色カメラを更に含み、割り当てられた番号が連続しないように、前記複数の単色カメラを、一方向及び二方向の何れか一方に配置し、かつ、前記多色カメラを、前記単色カメラで挟み込むように、又は囲むように配置し、前記画像処理装置は、前記多色カメラで撮影した画像を、前記単色カメラで撮影した画像との間で対応点の探索が可能な画像に変換し、割り当てられた番号が連続する前記単色カメラのペアの各々について、前記ペアの単色カメラで撮影した画像間で対応点を探索し、かつ、前記単色カメラで撮影した画像と前記変換された画像との間で対応点を探索し、探索された対応点を出力するようにしてもよい。
The image processing system of the present invention includes a plurality of single color cameras each having different spectral sensitivity characteristics, and assigns numbers to the plurality of single color cameras in ascending or descending order of the central wavelength of the spectral sensitivity so that the assigned numbers do not continue. In addition, each of the pair of monochrome cameras in which the plurality of monochrome cameras are arranged in either one direction or two directions and each of the monochrome cameras in which assigned numbers are consecutively photographed with the pair of monochrome cameras. And an image processing apparatus that searches for corresponding points between images and outputs the searched corresponding points.
The image capturing device of the image processing system of the present invention further includes a multicolor camera, and the plurality of single color cameras are arranged in one direction or two directions so that the assigned numbers are not consecutive. And the multicolor camera is disposed so as to be sandwiched or surrounded by the monochromatic camera, and the image processing device is configured to place an image taken by the multicolor camera between an image taken by the monochromatic camera. The corresponding point is converted into an image that can be searched for, and for each of the pair of monochromatic cameras in which the assigned numbers are consecutive, the corresponding point is searched between images taken by the monochromatic camera of the pair, and the monochromatic Corresponding points may be searched between the image captured by the camera and the converted image, and the searched corresponding points may be output.
以上説明したように、本発明の画像処理方法及び画像処理システムによれば、各々分光感度特性が異なる複数の単色カメラに、分光感度の中心波長の昇順又は降順に番号を割り当て、割り当てられた番号が連続しないように、前記複数の単色カメラを配置し、割り当てられた番号が連続する前記単色カメラのペアの各々について、前記ペアの単色カメラで撮影した画像間で対応点を探索することにより、従来手法より、精度良く対応点を探索することができる、という効果が得られる。 As described above, according to the image processing method and the image processing system of the present invention, numbers are assigned to a plurality of monochrome cameras each having different spectral sensitivity characteristics in ascending or descending order of the central wavelength of the spectral sensitivity. By disposing the plurality of single color cameras so that they are not continuous, for each of the single color camera pairs in which the assigned numbers are consecutive, by searching for corresponding points between images captured by the single color camera of the pair, The effect that the corresponding points can be searched with higher accuracy than the conventional method is obtained.
以下、図面を参照して本発明の実施の形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
［第１の実施の形態］
＜システム構成＞
第１の実施の形態に係る画像処理システムについて説明する。
[First Embodiment]
<System configuration>
An image processing system according to the first embodiment will be described.
図１に示すように、第１の実施の形態に係る画像処理システム１０は、画像撮影装置２０と、画像処理装置３０とを備えている。 As shown in FIG. 1, the image processing system 10 according to the first embodiment includes an image capturing device 20 and an image processing device 30.
画像撮影装置２０は、各々分光感度特性が異なる複数の単色カメラ２１１〜２１Ｎを有している。複数の単色カメラ２１１〜２１Ｎに、分光感度の中心波長の昇順に番号を割り当て、割り当てられた番号が連続しないように、複数の単色カメラ２１１〜２１Ｎを、一方向（例えば、水平方向）に配置する。ただし、Ｎは３以上の整数である。 The image capturing device 20 includes a plurality of single color cameras 211 to 21N each having different spectral sensitivity characteristics. Numbers are assigned to the plurality of monochrome cameras 211 to 21N in ascending order of the central wavelength of the spectral sensitivity, and the plurality of monochrome cameras 211 to 21N are arranged in one direction (for example, the horizontal direction) so that the assigned numbers do not continue. To do. However, N is an integer greater than or equal to 3.
例えば、図２に示すように、４台の単色カメラが水平方向に配置されている。単色カメラの分光感度の中心波長（最大ピーク波長）の昇順に、カメラ１、２、３、４と番号を割り当てると、カメラの配置は左からカメラ３、１、４、２となる。 For example, as shown in FIG. 2, four monochrome cameras are arranged in the horizontal direction. When numbers 1, 2, 3, and 4 are assigned in ascending order of the center wavelength (maximum peak wavelength) of the spectral sensitivity of the monochromatic camera, the cameras are arranged from the left to the cameras 3, 1, 4, and 2, respectively.
なお、割り当てられた番号が連続しないように、複数の単色カメラ２１１〜２１Ｎを、垂直方向に配置してもよい。割り当てられた番号が連続しないように、複数の単色カメラ２１１〜２１Ｎを、二方向（例えば、水平方向及び垂直方向）に配置してもよい。また、単色カメラは、カラーフィルタと白黒カメラの組み合わせで構成されていても良い。 Note that a plurality of single-color cameras 211 to 21N may be arranged in the vertical direction so that the assigned numbers do not continue. A plurality of monochrome cameras 211 to 21N may be arranged in two directions (for example, the horizontal direction and the vertical direction) so that the assigned numbers do not continue. Further, the monochromatic camera may be composed of a combination of a color filter and a monochrome camera.
また、画像撮影装置２０では、複数の単色カメラ２１１〜２１Ｎに同期信号が入力され、カメラ間で同期した状態で、複数の単色カメラ２１１〜２１Ｎによって画像が撮影される。画像撮影装置２０は、カメラの台数分のグレースケール画像を出力する。このように、各単色カメラは同期した状態で画像撮影が行われることにより、被写体もしくはカメラが動いている状態で動画像として記録する場合であっても、対応可能である。 In the image capturing device 20, a synchronization signal is input to the plurality of monochrome cameras 211 to 21N, and images are captured by the plurality of monochrome cameras 211 to 21N while being synchronized between the cameras. The image capturing device 20 outputs gray scale images for the number of cameras. In this way, each single-color camera captures an image in a synchronized state, so that even when the subject or the camera is moving and recorded as a moving image, it can be handled.
画像処理装置３０は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、後述する画像処理ルーチンを実行するためのプログラムを記憶したＲＯＭ（Read Only Memory）とを備えたコンピュータで構成されている。このコンピュータは、機能的には、図１に示すように、対応点探索部３１、撮影条件記憶部３２、奥行き情報推定部３３、及びマルチバンド画像生成部３４を含んだ構成で表すことができる。 The image processing apparatus 30 includes a computer that includes a CPU (Central Processing Unit), a RAM (Random Access Memory), and a ROM (Read Only Memory) that stores a program for executing an image processing routine described later. ing. As shown in FIG. 1, this computer can be functionally represented by a configuration including a corresponding point search unit 31, an imaging condition storage unit 32, a depth information estimation unit 33, and a multiband image generation unit 34. .
画像処理装置３０には、画像撮影装置２０で撮影されて得られた複数のグレースケール画像、及びグレースケール画像と当該グレースケール画像を撮影したカメラとの対応関係が入力される。 The image processing device 30 receives a plurality of gray scale images obtained by photographing with the image photographing device 20 and a correspondence relationship between the gray scale images and the camera that has photographed the gray scale images.
画像処理装置３０の対応点探索部３１は、画像撮影装置２０から入力された複数のグレースケール画像、及びグレースケール画像とカメラとの対応関係に基づいて、画像のペアの各々について、ペア間で対応点を探索する。 Corresponding point search unit 31 of image processing device 30 performs inter-pair processing for each pair of images based on the plurality of grayscale images input from image capturing device 20 and the correspondence between grayscale images and cameras. Search for corresponding points.
対応点探索部３１は、対応点探索処理部３１１と対応点記憶部３１２とから構成される。 The corresponding point search unit 31 includes a corresponding point search processing unit 311 and a corresponding point storage unit 312.
対応点探索処理部３１１は、画像撮影装置２０から入力された複数のグレースケール画像、及びグレースケール画像とカメラとの対応関係に基づいて、各カメラの分光感度の中心波長の昇順に番号を割り当てて番号が連続しないように並べた配置における順番が連続した２台のカメラからの画像のペア間の各々について、当該ペア間で対応点の探索を行う。対応点の探索手法は、既存の手法を利用する。 The corresponding point search processing unit 311 assigns numbers in ascending order of the center wavelength of the spectral sensitivity of each camera based on the plurality of gray scale images input from the image capturing device 20 and the correspondence relationship between the gray scale image and the camera. Then, for each pair of images from two cameras in the sequence in which the numbers are arranged so that the numbers are not consecutive, a corresponding point is searched between the pairs. The corresponding point search method uses an existing method.
例えば、上記図２の例では、カメラ１および２の画像ペア間、カメラ３および４の画像ペア間で対応点探索が行われる。更に、カメラ２および３の画像ペア間で対応点探索が行われてもよい。 For example, in the example of FIG. 2, the corresponding point search is performed between the image pairs of the cameras 1 and 2 and between the image pairs of the cameras 3 and 4. Furthermore, a corresponding point search may be performed between the image pairs of the cameras 2 and 3.
対応点探索処理部３１１は、順番が連続した２台のカメラからの画像のペア間の各々について、探索された対応点の各画像上における座標、及び対応点探索に使用した画像のペアと、当該画像のペアの撮影に使用したカメラとの対応関係を出力する。 Corresponding point search processing unit 311 includes, for each pair of images from two cameras in sequential order, the coordinates of the corresponding points searched for on each image, and the pair of images used for the corresponding point search; The correspondence relationship with the camera used to capture the image pair is output.
対応点記憶部３１２には、対応点探索で使用した画像ペアを撮影したカメラと、検出された対応点の画像上の座標とが関連付けされた状態で記録される。具体的には、対応点記憶部３１２には、検出された対応点の各画像上における座標、及び対応点探索に使用した画像ペアと、その画像ペアの撮影に使用したカメラとの対応関係が関連付けて記憶される。 In the corresponding point storage unit 312, a camera that captures the image pair used in the corresponding point search and the coordinates of the detected corresponding point on the image are recorded in association with each other. Specifically, the corresponding point storage unit 312 has the correspondence between the coordinates of the detected corresponding points on each image, the image pair used for searching for the corresponding point, and the camera used for shooting the image pair. Stored in association.
撮影条件記憶部３２には、予め計測された単色カメラ２１１〜２１Ｎの各々の分光感度特性、および単色カメラ２１１〜２１Ｎの各々の姿勢情報や焦点距離、画角などの光学系特性の情報が記憶されている。単色カメラ２１１〜２１Ｎの各々の姿勢や位置情報や焦点距離、画角などの光学系特性の情報は、構造やテクスチャが既知である被写体の撮影画像から推定し、その結果を撮影条件記憶部３２に記憶させても良い。また撮影時の照明光スペクトルや、被写体表面の色や分光反射率の特性に関する統計情報も、撮影条件記憶部３２に記憶されていても良い。 The photographing condition storage unit 32 stores the spectral sensitivity characteristics of the monochromatic cameras 211 to 21N measured in advance, and the information on the optical system characteristics such as the posture information, focal length, and angle of view of the monochromatic cameras 211 to 21N. Has been. Information on optical system characteristics such as posture, position information, focal length, and angle of view of each of the monochromatic cameras 211 to 21N is estimated from a photographed image of a subject whose structure and texture are known, and the result is a photographing condition storage unit 32. You may memorize. Also, statistical information regarding the illumination light spectrum at the time of shooting, the color of the subject surface, and the characteristics of the spectral reflectance may be stored in the shooting condition storage unit 32.
奥行き情報推定部３３は、検出された対応点の各画像上における座標、対応点探索で使用した画像ペアとその画像ペアの撮影に使用したカメラとの対応関係、及び撮影条件記憶部３２に記憶されている各種情報に基づいて、順番が連続した２台のカメラからの画像のペア間の各々について、当該画像のペア間で得られた対応点の情報および撮影条件から、検出された対応点に対応した、被写体表面の座標を推定し、奥行き情報として出力する。なお、奥行き情報の推定方法としては、既存手法を用いればよいため、詳細な説明を省略する。また、画像のペア間の各々について推定された奥行き情報を統合し、統合した結果を出力してもよい。 The depth information estimation unit 33 stores the coordinates of the detected corresponding points on each image, the correspondence between the image pair used in the corresponding point search and the camera used for shooting the image pair, and the shooting condition storage unit 32. On the basis of various information that has been detected, for each pair of images from two consecutive cameras in the order, the corresponding points detected from the information on the corresponding points obtained between the pair of images and the shooting conditions The coordinates of the surface of the subject corresponding to are estimated and output as depth information. In addition, since the existing method should just be used as an estimation method of depth information, detailed description is abbreviate | omitted. Further, the depth information estimated for each pair of images may be integrated, and the integrated result may be output.
マルチバンド画像生成部３４は、検出された対応点の各画像上における座標、対応点探索で使用した画像ペアとその画像ペアの撮影に使用したカメラとの対応関係、及び撮影条件記憶部３２に記憶されている各種情報に基づいて、順番が連続した２台のカメラからの画像のペア間の各々について、検出された対応点を用いて、基準とする視点の画像と参照画像間での変形パラメータを算出し、その結果に基づき参照画像の画像変形を行い、任意のカメラの視点におけるマルチバンド画像を生成し、出力する。画像変形は既存手法を利用する。 The multiband image generation unit 34 stores the coordinates of the detected corresponding points on each image, the correspondence between the image pair used in the corresponding point search and the camera used for shooting the image pair, and the shooting condition storage unit 32. Deformation between the reference viewpoint image and the reference image, using the detected corresponding points for each pair of images from two cameras in sequence, based on various stored information The parameter is calculated, the reference image is transformed based on the result, and a multiband image at an arbitrary camera viewpoint is generated and output. Image transformation uses existing methods.
マルチバンド画像生成部３４は、更に、マルチバンド画像から色再現に使用する、各カメラの分光感度特性、撮影時の照明光スペクトル、被写体表面の分光反射率に関する統計情報を出力する。例えば、教師データとして使用する分光反射率データ群の相関行列、共分散行列を出力する。分光反射率データ群から得られた主成分の相関行列等を出力しても良い。 The multiband image generation unit 34 further outputs statistical information about the spectral sensitivity characteristics of each camera, the illumination light spectrum at the time of photographing, and the spectral reflectance of the subject surface, which are used for color reproduction from the multiband image. For example, a correlation matrix and a covariance matrix of a spectral reflectance data group used as teacher data are output. A correlation matrix or the like of the main component obtained from the spectral reflectance data group may be output.
生成されたマルチバンド画像は、推定された三次元形状などのテクスチャ画像として使用される。 The generated multiband image is used as a texture image such as an estimated three-dimensional shape.
＜画像処理システムの作用＞
次に、第１の実施の形態に係る画像処理システム１０の作用について説明する。まず、複数の単色カメラ２１１〜２１Ｎが同期して画像を撮影し、複数の単色カメラ２１１〜２１Ｎによって撮影された複数のグレースケール画像が、画像処理装置３０に入力されると、画像処理装置３０によって、図３に示す画像処理ルーチンが実行される。
<Operation of image processing system>
Next, the operation of the image processing system 10 according to the first embodiment will be described. First, when a plurality of single-color cameras 211 to 21N capture images synchronously, and a plurality of grayscale images captured by the plurality of single-color cameras 211 to 21N are input to the image processing device 30, the image processing device 30. Thus, the image processing routine shown in FIG. 3 is executed.
ステップＳ１０１において、複数の単色カメラ２１１〜２１Ｎによって撮影された複数のグレースケール画像を取得する。 In step S101, a plurality of gray scale images photographed by the plurality of single color cameras 211 to 21N are acquired.
ステップＳ１０２において、上記ステップＳ１０１で取得した複数のグレースケール画像のうち、順番が連続した２台のカメラからの画像のペアについて、当該画像のペア間における対応点を探索する。 In step S102, among the plurality of grayscale images acquired in step S101, for a pair of images from two consecutive cameras in order, corresponding points between the pair of images are searched.
ステップＳ１０４では、上記ステップＳ１０２で対応点探索を行った画像のペアの各々に対し、当該ペアについて探索された対応点に基づいて、奥行き情報を推定する。次のステップＳ１０５では、上記ステップＳ１０４で推定された画像のペアの各々に対する奥行き情報を統合して出力する。 In step S104, depth information is estimated for each pair of images for which the corresponding point search has been performed in step S102, based on the corresponding points searched for the pair. In the next step S105, the depth information for each of the image pairs estimated in step S104 is integrated and output.
そして、ステップＳ１０６では、上記ステップＳ１０２で対応点探索を行った画像のペアの各々について探索された対応点に基づいて、基準画像を撮影したカメラの視点におけるマルチバンド画像を生成する。次のステップＳ１０７では、上記ステップＳ１０６で生成したマルチバンド画像を出力して、画像処理ルーチンを終了する。 In step S106, a multiband image at the viewpoint of the camera that captured the reference image is generated based on the corresponding points searched for each of the pair of images for which the corresponding point search was performed in step S102. In the next step S107, the multiband image generated in step S106 is output, and the image processing routine ends.
以上説明したように、第１の実施の形態の画像処理システムによれば、各々分光感度特性が異なる複数の単色カメラに、分光感度の中心波長の昇順に番号を割り当て、割り当てられた番号が連続しないように、複数の単色カメラを配置し、割り当てられた番号が連続する単色カメラのペアの各々について、当該ペアの単色カメラで撮影した画像間で対応点を探索することにより、従来手法より、精度良く対応点を探索することができる。 As described above, according to the image processing system of the first embodiment, numbers are assigned to a plurality of monochrome cameras each having different spectral sensitivity characteristics in ascending order of the central wavelength of the spectral sensitivity, and the assigned numbers are consecutive. By arranging a plurality of single-color cameras and searching for corresponding points between images taken by the pair of single-color cameras for each pair of single-color cameras with consecutive assigned numbers, Corresponding points can be searched with high accuracy.
また、分光感度の中心波長が近いカラーチャンネルの画像間、すなわち、画像の見えが近い画像間で対応点探索を行うことで、単色カメラの画像間での対応点検出精度が向上する。また、得られた対応点の画像上での位置情報を用いて、被写体の形状、奥行き情報を推定するため、奥行き情報（被写体の形状情報）の推定結果が向上する。 In addition, the corresponding point detection accuracy between the images of the monochromatic camera is improved by performing the corresponding point search between the images of the color channels whose spectral sensitivity is close to the center wavelength, that is, between the images whose images are close to each other. Further, since the shape and depth information of the subject is estimated using the position information of the corresponding points on the image, the estimation result of the depth information (subject shape information) is improved.
また、対応点の検出精度と奥行き情報（被写体の形状情報）の推定精度が向上した結果、多眼式マルチバンドカメラによる被写体表面のテクスチャの色再現精度も更に向上する。 In addition, as a result of improving the detection accuracy of corresponding points and the estimation accuracy of depth information (subject shape information), the color reproduction accuracy of the texture of the subject surface by the multi-view multiband camera is further improved.
［第２の実施の形態］
＜システム構成＞
次に、第２の実施の形態について説明する。なお、第２の実施の形態の画像処理システムについて、第１の実施の形態の画像処理システム１０と同様の構成については、同一符号を付して詳細な説明を省略する。
[Second Embodiment]
<System configuration>
Next, a second embodiment will be described. In the image processing system according to the second embodiment, the same components as those in the image processing system 10 according to the first embodiment are denoted by the same reference numerals, and detailed description thereof is omitted.
図４に示すように、第２の実施の形態の画像処理システム２１０の画像撮影装置２２０は、各々分光感度特性が異なる複数の単色カメラ２１１〜２１Ｎと、多色カメラ２２１とを有している。多色カメラ２２１は、例えば、ＲＧＢカメラであり、分光感度特性が単色カメラ２１１〜２１Ｎと異なっている。ただし、Ｎは２以上の整数である。 As illustrated in FIG. 4, the image capturing device 220 of the image processing system 210 according to the second embodiment includes a plurality of single color cameras 211 to 21N and multicolor cameras 221 each having different spectral sensitivity characteristics. . The multicolor camera 221 is, for example, an RGB camera and has a spectral sensitivity characteristic different from that of the single color cameras 211 to 21N. However, N is an integer of 2 or more.
複数の単色カメラ２１１〜２１Ｎに、分光感度の中心波長の昇順に番号を割り当て、割り当てられた番号が連続しないように、複数の単色カメラ２１１〜２１Ｎを、二方向（例えば、水平方向及び垂直方向）に配置する。また、多色カメラ２２１は、単色カメラ２１１〜２１Ｎに挟まれる、もしくは囲まれるように配置される。 A number is assigned to the plurality of monochrome cameras 211 to 21N in ascending order of the central wavelength of the spectral sensitivity, and the plurality of monochrome cameras 211 to 21N are arranged in two directions (for example, the horizontal direction and the vertical direction so that the assigned numbers do not continue. ). The multicolor camera 221 is arranged so as to be sandwiched or surrounded by the single color cameras 211 to 21N.
例えば、図５（Ａ）、（Ｂ）に示すように、中央に多色カメラであるカメラ９が配置され、カメラ９の周囲に、単色カメラである８台のカメラ１〜８が配置される。 For example, as shown in FIGS. 5A and 5B, a camera 9 that is a multicolor camera is arranged at the center, and eight cameras 1 to 8 that are monochromatic cameras are arranged around the camera 9. .
このとき、図６に示す分光感度が、単色カメラである８台のカメラの各々の分光感度であり、カメラの分光感度の中心波長（最大ピーク波長）の昇順にカメラ１〜８と番号を割り当てる。図７に示す分光感度が、多色カメラであるカメラ９の分光感度である。カメラの配置は、上段の左からカメラ１、７、２、中段の左からカメラ３、９、４、下段の左からカメラ５、８、６とする。 At this time, the spectral sensitivities shown in FIG. 6 are the spectral sensitivities of each of the eight cameras that are monochromatic cameras, and the cameras 1 to 8 are assigned numbers in ascending order of the center wavelength (maximum peak wavelength) of the spectral sensitivities of the cameras. . The spectral sensitivity shown in FIG. 7 is the spectral sensitivity of the camera 9 which is a multicolor camera. The cameras are arranged from the left in the upper stage to cameras 1, 7 and 2, from the left in the middle stage to cameras 3, 9 and 4, and from the left in the lower stage to cameras 5, 8 and 6.
第２の実施の形態の画像処理システム２１０の画像処理装置２３０を構成するコンピュータは、機能的には、上記図４に示すように、グレースケール画像生成部２３１、対応点探索部３１、撮影条件記憶部３２、奥行き情報推定部３３、及びマルチバンド画像生成部３４を含んだ構成で表すことができる。 The computer constituting the image processing apparatus 230 of the image processing system 210 according to the second embodiment functionally has a gray scale image generation unit 231, a corresponding point search unit 31, an imaging condition, as shown in FIG. It can be represented by a configuration including a storage unit 32, a depth information estimation unit 33, and a multiband image generation unit.
グレースケール画像生成部２３１は、多色カメラ２２１で撮影された画像をグレースケール画像に変換して、出力する。例えば、グレースケール画像生成部２３１は、各画素において、多色カメラ２２１の各カラーチャンネルの画素値の平均値（(R+G+B)/3）を算出し、各画像について算出された平均値からなる１枚のグレースケール画像を出力する。 The gray scale image generation unit 231 converts an image photographed by the multicolor camera 221 into a gray scale image and outputs it. For example, the grayscale image generation unit 231 calculates an average value ((R + G + B) / 3) of pixel values of each color channel of the multicolor camera 221 for each pixel, and calculates the average calculated for each image. A single grayscale image consisting of values is output.
対応点探索部３１は、画像撮影装置２２０から入力された複数のグレースケール画像、グレースケール画像生成部２３１により出力されたグレースケール画像、及びグレースケール画像とカメラとの対応関係に基づいて、画像のペアの各々について、ペア間で対応点を探索する。 The corresponding point search unit 31 performs image processing based on a plurality of grayscale images input from the image capturing device 220, a grayscale image output by the grayscale image generation unit 231, and a correspondence relationship between the grayscale image and the camera. For each of the pairs, search for corresponding points between the pairs.
対応点探索処理部３１１は、画像撮影装置２２０から入力された複数のグレースケール画像、及びグレースケール画像とカメラとの対応関係に基づいて、各単色カメラの分光感度の中心波長の昇順に番号を割り当てて番号が連続しないように並べた配置における順番が連続した２台の単色カメラからの画像のペア間の各々について、当該ペア間で対応点の探索を行う。更に、グレースケール画像生成部２３１からの出力画像と、各単色カメラの画像間での対応点探索を行う。対応点の探索手法は、既存の手法を利用する。 The corresponding point search processing unit 311 assigns numbers in ascending order of the center wavelengths of the spectral sensitivities of the single-color cameras based on the plurality of gray scale images input from the image capturing device 220 and the correspondence between the gray scale images and the cameras. For each of the pairs of images from the two monochrome cameras whose order in the arrangement in which the numbers are assigned and arranged so as not to be consecutive, the corresponding points are searched between the pairs. Furthermore, a corresponding point search is performed between the output image from the gray scale image generation unit 231 and the image of each single color camera. The corresponding point search method uses an existing method.
例えば、上記図５の例では、カメラ１および２の画像ペア間、カメラ３および４の画像ペア間、カメラ５および６の画像ペア間、カメラ７および８の画像ペア間で対応点探索が行われる。更に、カメラ９から得られたグレースケール画像と、カメラ１〜８の各画像との画像ペア間でも対応点探索が行われる。また更に、カメラ２および３の画像ペア間、カメラ４および５の画像ペア間、カメラ６および７の画像ペア間、カメラ１およびカメラ６の画像ペア間、カメラ２およびカメラ５の画像ペア間で対応点探索を行っても良い。 For example, in the example of FIG. 5 described above, the corresponding point search is performed between the image pairs of the cameras 1 and 2, the image pairs of the cameras 3 and 4, the image pairs of the cameras 5 and 6, and the image pairs of the cameras 7 and 8. Is called. Further, the corresponding point search is also performed between image pairs of the grayscale image obtained from the camera 9 and the images of the cameras 1 to 8. Still further, between image pairs of cameras 2 and 3, between image pairs of cameras 4 and 5, between image pairs of cameras 6 and 7, between image pairs of camera 1 and camera 6, and between image pairs of camera 2 and camera 5. Corresponding point search may be performed.
対応点探索処理部３１１は、対応点探索が行われた画像ペア間の各々について、探索された対応点の各画像上における座標、及び対応点探索に使用した画像のペアと、当該画像のペアの撮影に使用したカメラとの対応関係を出力する。 The corresponding point search processing unit 311 includes, for each pair of images for which the corresponding point search has been performed, the coordinates of the searched corresponding points on each image, the image pair used for the corresponding point search, and the image pair. Outputs the correspondence with the camera used for shooting.
撮影条件記憶部３２には、予め計測された単色カメラ２１１〜２１Ｎ、多色カメラ２２１の各々の分光感度特性、および単色カメラ２１１〜２１Ｎ、多色カメラ２２１の各々の姿勢情報や焦点距離、画角などの光学系特性の情報が記憶されている。 The photographing condition storage unit 32 stores the spectral sensitivity characteristics of the monochromatic cameras 211 to 21N and the multicolor camera 221 measured in advance, the posture information, the focal length, and the image of each of the monochromatic cameras 211 to 21N and the multicolor camera 221. Information on optical system characteristics such as corners is stored.
奥行き情報推定部３３は、検出された対応点の各画像上における座標、対応点探索で使用した画像ペアとその画像ペアの撮影に使用したカメラとの対応関係、及び撮影条件記憶部３２に記憶されている各種情報に基づいて、対応点探索が行われた画像ペア間の各々について、当該画像のペア間で得られた対応点の情報および撮影条件から、検出された対応点に対応した、被写体表面の座標を推定し、奥行き情報として出力する。また、画像のペア間の各々について推定された奥行き情報を統合して、出力してもよい。 The depth information estimation unit 33 stores the coordinates of the detected corresponding points on each image, the correspondence between the image pair used in the corresponding point search and the camera used for shooting the image pair, and the shooting condition storage unit 32. Based on the various information that has been made, for each of the image pairs for which the corresponding point search was performed, from the information on the corresponding points obtained between the pair of images and the shooting conditions, the corresponding corresponding points were detected. Estimate the coordinates of the subject surface and output it as depth information. Further, the depth information estimated for each pair of images may be integrated and output.
マルチバンド画像生成部３４は、検出された対応点の各画像上における座標、対応点探索で使用した画像ペアとその画像ペアの撮影に使用したカメラとの対応関係、及び撮影条件記憶部３２に記憶されている各種情報に基づいて、対応点探索が行われた画像ペア間の各々について、検出された対応点を用いて、基準とする視点の画像と参照画像間での変形パラメータを算出し、その結果に基づき参照画像の画像変形を行い、任意のカメラの視点におけるマルチバンド画像を生成し、出力する。 The multiband image generation unit 34 stores the coordinates of the detected corresponding points on each image, the correspondence between the image pair used in the corresponding point search and the camera used for shooting the image pair, and the shooting condition storage unit 32. Based on the stored information, for each of the pair of images for which the corresponding point search has been performed, a deformation parameter between the reference viewpoint image and the reference image is calculated using the detected corresponding point. Based on the result, the reference image is transformed, and a multiband image at an arbitrary camera viewpoint is generated and output.
マルチバンド画像生成部３４は、更に、マルチバンド画像から色再現に使用する、各カメラの分光感度特性、撮影時の照明光スペクトル、被写体表面の分光反射率に関する統計情報を出力する。 The multiband image generation unit 34 further outputs statistical information about the spectral sensitivity characteristics of each camera, the illumination light spectrum at the time of photographing, and the spectral reflectance of the subject surface, which are used for color reproduction from the multiband image.
＜画像処理システムの作用＞
次に、図８を参照して、第２の実施の形態の画像処理システム２１０の画像処理装置２３０で実行される画像処理ルーチンについて説明する。なお、第１の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して詳細な説明を省略する。
<Operation of image processing system>
Next, an image processing routine executed by the image processing device 230 of the image processing system 210 according to the second embodiment will be described with reference to FIG. Note that the same processes as those in the image processing routine in the first embodiment are denoted by the same reference numerals, and detailed description thereof is omitted.
ステップＳ２０１において、複数の単色カメラ２１１〜２１Ｎによって撮影された複数のグレースケール画像、及び多色カメラ２２１によって撮影された画像を取得する。 In step S201, a plurality of gray scale images photographed by the plurality of single color cameras 211 to 21N and an image photographed by the multicolor camera 221 are acquired.
ステップＳ２０２において、上記ステップＳ２０１で取得した、多色カメラ２２１によって撮影された画像を、グレースケール画像に変換する。 In step S202, the image captured by the multicolor camera 221 acquired in step S201 is converted into a grayscale image.
そして、ステップＳ２０３において、上記ステップＳ２０１で取得した複数のグレースケール画像のうち、順番が連続した２台の単色カメラからの画像のペアの各々について、当該画像のペア間における対応点を探索する。更に、上記ステップＳ２０２で得られたグレースケール画像と、上記ステップＳ２０１で取得した複数のグレースケール画像の各々との画像のペアの各々について、当該画像のペア間における対応点を探索する。 In step S203, for each of the pairs of images from the two monochrome cameras in order, among the plurality of grayscale images acquired in step S201, a corresponding point between the image pairs is searched. Further, for each pair of images of the grayscale image obtained in step S202 and each of the plurality of grayscale images obtained in step S201, corresponding points between the image pairs are searched.
ステップＳ１０４では、上記ステップＳ２０３で対応点探索を行った画像のペアの各々に対し、当該ペアについて探索された対応点に基づいて、奥行き情報を推定する。次のステップＳ１０５では、上記ステップＳ１０４で推定された画像のペアの各々に対する奥行き情報を統合して出力する。 In step S104, depth information is estimated for each pair of images for which the corresponding point search has been performed in step S203, based on the corresponding points searched for the pair. In the next step S105, the depth information for each of the image pairs estimated in step S104 is integrated and output.
そして、ステップＳ１０６では、上記ステップＳ２０３で対応点探索を行った画像のペアの各々について探索された対応点に基づいて、基準画像を撮影したカメラの視点におけるマルチバンド画像を生成する。次のステップＳ１０７では、上記ステップＳ１０６で生成したマルチバンド画像を出力して、画像処理ルーチンを終了する。 In step S106, a multiband image at the viewpoint of the camera that captured the reference image is generated based on the corresponding points searched for each of the image pairs searched in step S203. In the next step S107, the multiband image generated in step S106 is output, and the image processing routine ends.
以上説明したように、第２の実施の形態の画像処理システムによれば、各々分光感度特性が異なる複数の単色カメラに、分光感度の中心波長の昇順に番号を割り当て、割り当てられた番号が連続しないように、複数の単色カメラを配置し、多色カメラを、単色カメラで挟み込むように、又は囲むように配置し、割り当てられた番号が連続する単色カメラのペアの各々について、当該ペアの単色カメラで撮影した画像間で対応点を探索し、単色カメラで撮影した画像と変換されたグレースケール画像との間で対応点を探索することにより、従来手法より、精度良く対応点を探索することができる。 As described above, according to the image processing system of the second embodiment, numbers are assigned to a plurality of monochrome cameras having different spectral sensitivity characteristics in ascending order of the central wavelength of the spectral sensitivity, and the assigned numbers are consecutive. For each pair of monochrome cameras in which the assigned numbers are consecutive, arrange a plurality of monochrome cameras, arrange a multicolor camera so as to be sandwiched or surrounded by a monochrome camera, Search for corresponding points between images shot with a camera, and search for corresponding points between an image shot with a monochrome camera and a converted grayscale image, so that the corresponding points can be searched with higher accuracy than conventional methods. Can do.
また、分光感度の中心波長が近いカラーチャンネルの画像間及び分光感度に重なりがあるカラーチャンネルの画像間、すなわち、画像の見えが近い画像間で対応点探索を行うことで、単色カメラの画像間での対応点検出精度が向上する。その結果、奥行き情報（被写体の形状情報）の推定結果が向上する。 In addition, by searching for corresponding points between color channel images where the center wavelength of spectral sensitivity is close and between color channel images where spectral sensitivity overlaps, i.e., between images where the images are close in appearance, Corresponding point detection accuracy is improved. As a result, the estimation result of depth information (object shape information) is improved.
また、多色カメラを単色カメラで挟み込む、もしくは囲む様に配置することで、カメラ間の距離が近い画像間で得られた対応点と、カメラ間の距離を離して撮影した画像間から得られた対応点の両方が、奥行き情報（被写体の形状情報）の推定に利用でき、その推定精度が向上する。 Also, by placing the multicolor camera so that it is sandwiched or surrounded by a single color camera, it can be obtained from the corresponding points obtained between images that are close to each other between the cameras and the images that are taken at a distance between the cameras. Both of the corresponding points can be used for estimation of depth information (subject shape information), and the estimation accuracy is improved.
なお、上記図５の例では、分光感度の中心波長が近いカメラを水平方向及び垂直方向に配置した場合を例に説明したが、これに限定されるものではなく、分光感度が近いカメラを対角方向に配置してもよい。例えば、図９に示すように、単色カメラの分光感度の中心波長（最大ピーク波長）の昇順にカメラ１〜８とし、ＲＧＢカメラはカメラ９とする。カメラの配置は、上段の左からカメラ１、７、３、中段の左からカメラ５、９、６、下段の左からカメラ４、８、２とする。 In the example of FIG. 5 described above, the case where the cameras having the central wavelength of the spectral sensitivity are arranged in the horizontal direction and the vertical direction has been described as an example. However, the present invention is not limited to this. You may arrange | position in an angular direction. For example, as shown in FIG. 9, the cameras 1 to 8 are set in ascending order of the center wavelength (maximum peak wavelength) of the spectral sensitivity of the monochromatic camera, and the RGB camera is set to the camera 9. The cameras are arranged from the upper left to the cameras 1, 7, 3, from the middle left to the cameras 5, 9, 6, and from the lower left to the cameras 4, 8, 2.
また、多色カメラが１台である場合を例に説明したが多色カメラを複数台配置してもよい。 Moreover, although the case where there is one multicolor camera has been described as an example, a plurality of multicolor cameras may be arranged.
［第３の実施の形態］
＜システム構成＞
次に、第３の実施の形態について説明する。なお、第３の実施の形態の画像処理システムについて、第１の実施の形態の画像処理システム１０及び第２の実施の形態の画像処理システム２１０と同様の構成については、同一符号を付して詳細な説明を省略する。
[Third Embodiment]
<System configuration>
Next, a third embodiment will be described. Note that, in the image processing system of the third embodiment, the same components as those of the image processing system 10 of the first embodiment and the image processing system 210 of the second embodiment are denoted by the same reference numerals. Detailed description is omitted.
図１０に示すように、第３の実施の形態の画像処理システム３１０の画像撮影装置２２０は、各々分光感度特性が異なる複数の単色カメラ２１１〜２１Ｎと、多色カメラ２２１とを有している。 As illustrated in FIG. 10, the image capturing device 220 of the image processing system 310 according to the third embodiment includes a plurality of single-color cameras 211 to 21N and multicolor cameras 221 each having different spectral sensitivity characteristics. .
第３の実施の形態の画像処理システム３１０の画像処理装置３３０を構成するコンピュータは、機能的には、上記図１０に示すように、カラーチャンネル分解部３３１、対応点探索部３１、撮影条件記憶部３２、奥行き情報推定部３３、及びマルチバンド画像生成部３４を含んだ構成で表すことができる。 The computer constituting the image processing apparatus 330 of the image processing system 310 according to the third embodiment functionally has a color channel decomposition unit 331, a corresponding point search unit 31, an imaging condition storage, as shown in FIG. It can be expressed by a configuration including a unit 32, a depth information estimation unit 33, and a multiband image generation unit 34.
カラーチャンネル分解部３３１は、多色カメラ２２１で撮影された画像に基づいて、各カラーチャンネルに対応したグレースケール画像を生成して、出力する。例えば、カラーチャンネル分解部３３１は、多色カメラ２２１であるＲＧＢカメラで撮影されたＲＧＢ画像（カラーチャンネル数：３）から、Ｒチャンネル、Ｇチャンネル、Ｂチャンネルの各画像に相当する、計３枚のグレースケール画像を生成して出力する。 The color channel separation unit 331 generates and outputs a grayscale image corresponding to each color channel based on the image captured by the multicolor camera 221. For example, the color channel separation unit 331 includes a total of three images corresponding to R channel, G channel, and B channel images from RGB images (number of color channels: 3) captured by an RGB camera that is a multicolor camera 221. Generate and output a grayscale image.
対応点探索部３１は、画像撮影装置２２０から入力された複数のグレースケール画像、カラーチャンネル分解部３３１により出力された各カラーチャンネルのグレースケール画像、及びグレースケール画像とカメラとの対応関係に基づいて、画像のペアの各々について、ペア間で対応点を探索する。 The corresponding point search unit 31 is based on a plurality of gray scale images input from the image capturing device 220, a gray scale image of each color channel output by the color channel decomposition unit 331, and a correspondence relationship between the gray scale image and the camera. Then, for each pair of images, a corresponding point is searched between the pairs.
対応点探索処理部３１１は、画像撮影装置２２０から入力された複数のグレースケール画像、及びグレースケール画像とカメラとの対応関係に基づいて、各単色カメラの分光感度の中心波長の昇順に番号を割り当てて番号が連続しないように並べた配置における順番が連続した２台の単色カメラからの画像のペア間の各々について、当該ペア間で対応点の探索を行う。更に、各単色カメラの画像と、該当する単色カメラの分光感度に最も近い、カラーチャンネルについてカラーチャンネル分解部３３１から出力されたグレースケール画像との間での対応点探索を行う。対応点の探索手法は、既存の手法を利用する。 The corresponding point search processing unit 311 assigns numbers in ascending order of the center wavelengths of the spectral sensitivities of the single-color cameras based on the plurality of gray scale images input from the image capturing device 220 and the correspondence between the gray scale images and the cameras. For each of the pairs of images from the two monochrome cameras whose order in the arrangement in which the numbers are assigned and arranged so as not to be consecutive, the corresponding points are searched between the pairs. Further, a corresponding point search is performed between the image of each single color camera and the gray scale image output from the color channel decomposing unit 331 for the color channel closest to the spectral sensitivity of the corresponding single color camera. The corresponding point search method uses an existing method.
例えば、上記図５の例では、カメラ１および２の画像ペア間、カメラ３および４の画像ペア間、カメラ５および６の画像ペア間、カメラ７および８の画像ペア間で対応点探索が行われる。更に、カメラ１と２の各画像と、カメラ９のＢチャンネルの画像との画像ペア間、カメラ３〜５の各画像とカメラ９のＧチャンネルの画像との画像ペア間、カメラ６〜８の各画像とカメラ９のＲチャンネルの画像との画像ペア間でも、対応点探索が行われる。また更に、カメラ１およびカメラ６の画像ペア間、カメラ２およびカメラ５の画像ペア間、カメラ２および３の画像ペア間、カメラ４および５の画像ペア間、カメラ６および７の画像ペア間で対応点探索を行っても良い。 For example, in the example of FIG. 5 described above, the corresponding point search is performed between the image pairs of the cameras 1 and 2, the image pairs of the cameras 3 and 4, the image pairs of the cameras 5 and 6, and the image pairs of the cameras 7 and 8. Is called. Further, between the image pairs of the images of the cameras 1 and 2 and the B channel image of the camera 9, between the image pairs of the images of the cameras 3 to 5 and the G channel image of the camera 9, and between the cameras 6 to 8 Corresponding point search is also performed between image pairs of each image and the R channel image of the camera 9. Still further, between the image pair of camera 1 and camera 6, between the image pair of camera 2 and camera 5, between the image pair of camera 2 and 3, between the image pair of camera 4 and 5, and between the image pair of camera 6 and 7. Corresponding point search may be performed.
対応点探索処理部３１１は、対応点探索が行われた画像ペア間の各々について、探索された対応点の各画像上における座標、及び対応点探索に使用した画像のペアと、当該画像のペアの撮影に使用したカメラとの対応関係を出力する。 The corresponding point search processing unit 311 includes, for each pair of images for which the corresponding point search has been performed, the coordinates of the searched corresponding points on each image, the image pair used for the corresponding point search, and the image pair. Outputs the correspondence with the camera used for shooting.
奥行き情報推定部３３は、検出された対応点の各画像上における座標、対応点探索で使用した画像ペアとその画像ペアの撮影に使用したカメラとの対応関係、及び撮影条件記憶部３２に記憶されている各種情報に基づいて、対応点探索が行われた画像のペア間の各々について、当該画像のペア間で得られた対応点の情報および撮影条件から、検出された対応点に対応した、被写体表面の座標を推定し、奥行き情報として出力する。また、画像のペア間の各々について推定された奥行き情報を統合して、出力してもよい。 The depth information estimation unit 33 stores the coordinates of the detected corresponding points on each image, the correspondence between the image pair used in the corresponding point search and the camera used for shooting the image pair, and the shooting condition storage unit 32. Corresponding to the detected corresponding point from the information of the corresponding point obtained between the pair of images and the shooting conditions for each of the pair of images for which the corresponding point search was performed based on the various information The coordinates of the surface of the subject are estimated and output as depth information. Further, the depth information estimated for each pair of images may be integrated and output.
マルチバンド画像生成部３４は、検出された対応点の各画像上における座標、対応点探索で使用した画像ペアとその画像ペアの撮影に使用したカメラとの対応関係、及び撮影条件記憶部３２に記憶されている各種情報に基づいて、対応点探索が行われた画像のペア間の各々について、検出された対応点を用いて、基準とする視点の画像と参照画像間での変形パラメータを算出し、その結果に基づき参照画像の画像変形を行い、任意のカメラの視点におけるマルチバンド画像を生成し、出力する。 The multiband image generation unit 34 stores the coordinates of the detected corresponding points on each image, the correspondence between the image pair used in the corresponding point search and the camera used for shooting the image pair, and the shooting condition storage unit 32. Based on the stored information, the deformation parameters between the reference viewpoint image and the reference image are calculated by using the detected corresponding points for each pair of images for which corresponding point search has been performed. Then, based on the result, the reference image is transformed, and a multiband image at an arbitrary camera viewpoint is generated and output.
＜画像処理システムの作用＞
次に、図１１を参照して、第３の実施の形態の画像処理システム３１０の画像処理装置３３０で実行される画像処理ルーチンについて説明する。なお、第１の実施の形態及び第２の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して詳細な説明を省略する。
<Operation of image processing system>
Next, an image processing routine executed by the image processing apparatus 330 of the image processing system 310 according to the third embodiment will be described with reference to FIG. Note that the same processes as those in the image processing routines in the first and second embodiments are denoted by the same reference numerals, and detailed description thereof is omitted.
ステップＳ２０１において、複数の単色カメラ２１１〜２１Ｎによって撮影された複数のグレースケール画像、及び多色カメラ２２１によって撮影された画像を取得する。 In step S201, a plurality of gray scale images photographed by the plurality of single color cameras 211 to 21N and an image photographed by the multicolor camera 221 are acquired.
ステップＳ３０１において、上記ステップＳ２０１で取得した、多色カメラ２２１によって撮影された画像から、各カラーチャンネルのグレースケール画像を生成する。 In step S301, a grayscale image of each color channel is generated from the image captured by the multicolor camera 221 acquired in step S201.
そして、ステップＳ３０２において、上記ステップＳ２０１で取得した複数のグレースケール画像のうち、順番が連続した２台の単色カメラからの画像のペアの各々について、当該画像のペア間における対応点を探索する。更に、上記ステップＳ２０１で取得した複数のグレースケール画像の各々と、上記ステップＳ３０１で得られたグレースケール画像のうち、該当する単色カメラの分光感度に最も近いカラーチャンネルについてのグレースケール画像との画像のペアの各々について、当該画像のペア間における対応点を探索する。 In step S302, for each of a pair of images from two monochrome cameras in order, among the plurality of grayscale images acquired in step S201, a corresponding point between the pair of images is searched. Further, each of the plurality of grayscale images acquired in step S201 and an image of the grayscale image for the color channel closest to the spectral sensitivity of the corresponding monochrome camera among the grayscale images obtained in step S301. For each pair, a corresponding point between the pair of images is searched.
ステップＳ１０４では、上記ステップＳ３０２で対応点探索を行った画像のペアの各々に対し、当該ペアについて探索された対応点に基づいて、奥行き情報を推定する。次のステップＳ１０５では、上記ステップＳ１０４で推定された画像のペアの各々に対する奥行き情報を統合して出力する。 In step S104, depth information is estimated for each pair of images for which the corresponding point search has been performed in step S302 based on the corresponding points searched for the pair. In the next step S105, the depth information for each of the image pairs estimated in step S104 is integrated and output.
そして、ステップＳ１０６では、上記ステップＳ３０２で対応点探索を行った画像のペアの各々について探索された対応点に基づいて、基準画像を撮影したカメラの視点におけるマルチバンド画像を生成する。次のステップＳ１０７では、上記ステップＳ１０６で生成したマルチバンド画像を出力して、画像処理ルーチンを終了する。 In step S106, a multiband image at the viewpoint of the camera that captured the reference image is generated based on the corresponding points searched for each of the pair of images for which the corresponding point search was performed in step S302. In the next step S107, the multiband image generated in step S106 is output, and the image processing routine ends.
以上説明したように、第３の実施の形態の画像処理システムによれば、各々分光感度特性が異なる複数の単色カメラに、分光感度の中心波長の昇順に番号を割り当て、割り当てられた番号が連続しないように、複数の単色カメラを配置し、多色カメラを、単色カメラで挟み込むように、又は囲むように配置し、割り当てられた番号が連続する単色カメラのペアの各々について、当該ペアの単色カメラで撮影した画像間で対応点を探索し、単色カメラで撮影した画像と、多色カメラ２２１で撮影した画像に関する当該単色カメラの分光感度に最も近いカラーチャンネルについてのグレースケール画像との間で対応点を探索することにより、従来手法より、精度良く対応点を探索することができる。
また、多色カメラが１台である場合を例に説明したが多色カメラを複数台配置してもよい。
As described above, according to the image processing system of the third embodiment, numbers are assigned to a plurality of monochrome cameras having different spectral sensitivity characteristics in ascending order of the central wavelength of the spectral sensitivity, and the assigned numbers are consecutive. For each pair of monochrome cameras in which the assigned numbers are consecutive, arrange a plurality of monochrome cameras, arrange a multicolor camera so as to be sandwiched or surrounded by a monochrome camera, Corresponding points are searched between images captured by the camera, and between the image captured by the single color camera and the grayscale image for the color channel closest to the spectral sensitivity of the single color camera regarding the image captured by the multicolor camera 221. By searching for corresponding points, it is possible to search for corresponding points more accurately than in the conventional method.
Moreover, although the case where there is one multicolor camera has been described as an example, a plurality of multicolor cameras may be arranged.
［第４の実施の形態］
＜システム構成＞
次に、第４の実施の形態について説明する。なお、第４の実施の形態の画像処理システムについて、第１の実施の形態の画像処理システム１０及び第２の実施の形態の画像処理システム２１０と同様の構成については、同一符号を付して詳細な説明を省略する。
[Fourth Embodiment]
<System configuration>
Next, a fourth embodiment will be described. In the image processing system according to the fourth embodiment, the same reference numerals are given to the same configurations as those of the image processing system 10 according to the first embodiment and the image processing system 210 according to the second embodiment. Detailed description is omitted.
図１２に示すように、第４の実施の形態の画像処理システム４１０の画像撮影装置２２０は、各々分光感度特性が異なる複数の単色カメラ２１１〜２１Ｎと、多色カメラ２２１とを有している。 As shown in FIG. 12, the image capturing device 220 of the image processing system 410 according to the fourth embodiment includes a plurality of single color cameras 211 to 21N and multicolor cameras 221 each having different spectral sensitivity characteristics. .
第４の実施の形態の画像処理システム４１０の画像処理装置４３０を構成するコンピュータは、機能的には、上記図１２に示すように、単色画像生成部４３１、対応点探索部３１、撮影条件記憶部３２、奥行き情報推定部３３、及びマルチバンド画像生成部３４を含んだ構成で表すことができる。 The computer constituting the image processing apparatus 430 of the image processing system 410 according to the fourth embodiment functionally has a monochromatic image generation unit 431, a corresponding point search unit 31, an imaging condition storage, as shown in FIG. It can be expressed by a configuration including a unit 32, a depth information estimation unit 33, and a multiband image generation unit 34.
単色画像生成部４３１は、多色カメラ２２１で撮影された画像に基づいて、ウィナー推定法等の既存技術を用いて、多色カメラ２２１で撮影された画像から分光反射率画像を生成し、さらに撮影時の照明光スペクトルと各単色カメラ２１１〜２１Ｎの分光感度特性を用いた撮影シミュレーションにより、各単色カメラ２１１〜２１Ｎと同じ分光感度特性のカメラで撮影した際に得られるものと同等の、単色画像を各々生成する。生成される単色画像の枚数は単色カメラ２１１〜２１Ｎの台数に等しい。 The monochromatic image generation unit 431 generates a spectral reflectance image from an image captured by the multicolor camera 221 using an existing technique such as a Wiener estimation method based on the image captured by the multicolor camera 221, and A single color equivalent to that obtained when shooting with a camera having the same spectral sensitivity characteristics as each of the monochrome cameras 211 to 21N by a shooting simulation using the illumination light spectrum at the time of shooting and the spectral sensitivity characteristics of each of the monochrome cameras 211 to 21N Each image is generated. The number of monochrome images generated is equal to the number of monochrome cameras 211 to 21N.
単色画像生成部４３１は、分光反射率画像生成部４３１１及び複数単色画像生成部４３１２を備えている。 The single color image generation unit 431 includes a spectral reflectance image generation unit 4311 and a plurality of single color image generation units 4312.
分光反射率画像生成部４３１１は、多色カメラ２２１で撮影された画像と、撮影条件記憶部３２に記憶された、多色カメラ２２１の分光感度特性、撮影時の照明光スペクトル、及び被写体表面の分光反射率に関する統計情報に基づいて、ウィナー推定法等の従来手法を用いた、画像上の各画素に関する分光反射率の推定を行い、分光反射率画像を生成する。被写体表面の分光反射率に関する統計情報としては、例えば、教師データとして使用する分光反射率データ群の相関行列、共分散行列を用いればよい。分光反射率データ群から得られた主成分の相関行列等でも良い。 The spectral reflectance image generation unit 4311 captures the image captured by the multicolor camera 221, the spectral sensitivity characteristics of the multicolor camera 221 stored in the imaging condition storage unit 32, the illumination light spectrum at the time of capturing, and the subject surface. Based on the statistical information on the spectral reflectance, the spectral reflectance for each pixel on the image is estimated using a conventional method such as the Wiener estimation method to generate a spectral reflectance image. As statistical information regarding the spectral reflectance of the subject surface, for example, a correlation matrix or a covariance matrix of a spectral reflectance data group used as teacher data may be used. The correlation matrix of the main component obtained from the spectral reflectance data group may be used.
複数単色画像生成部４３１２は、分光反射率画像生成部４３１１によって生成された分光反射率画像と、撮影条件記憶部３２に記憶された撮影時の照明光スペクトル、および各単色カメラの分光感度特性とに基づいて、分光反射率画像上の各画素値に対し、撮影時の照明光スペクトルおよび各単色カメラの分光感度特性を掛け合わせることにより、各単色カメラ２１１〜２１Ｎと同じ分光感度特性のカメラで撮影したときに得られるものと同等の単色画像を各々生成する。 The multiple monochrome image generation unit 4312 includes the spectral reflectance image generated by the spectral reflectance image generation unit 4311, the illumination light spectrum stored in the imaging condition storage unit 32, and the spectral sensitivity characteristics of each monochrome camera. Based on the above, by multiplying each pixel value on the spectral reflectance image by the illumination light spectrum at the time of shooting and the spectral sensitivity characteristics of each monochrome camera, a camera having the same spectral sensitivity characteristics as the monochrome cameras 211 to 21N can be obtained. A monochrome image equivalent to that obtained when the image is taken is generated.
対応点探索部３１は、画像撮影装置２２０から入力された複数のグレースケール画像、単色画像生成部４３１により出力された各単色カメラ２１１〜２１Ｎに対応する単色画像、及びグレースケール画像とカメラとの対応関係に基づいて、画像のペアの各々について、ペア間で対応点を探索する。 The corresponding point search unit 31 includes a plurality of gray scale images input from the image capturing device 220, a single color image corresponding to each of the single color cameras 211 to 21N output from the single color image generation unit 431, and a gray scale image and a camera. Based on the correspondence, for each pair of images, a corresponding point is searched between the pairs.
対応点探索処理部３１１は、画像撮影装置２２０から入力された複数のグレースケール画像、及びグレースケール画像とカメラとの対応関係に基づいて、各単色カメラの分光感度の中心波長の昇順に番号を割り当てて番号が連続しないように並べた配置における順番が連続した２台の単色カメラからの画像のペア間の各々について、当該ペア間で対応点の探索を行う。更に、各単色カメラの画像と、単色画像生成部４３１で生成された該当する単色カメラと同じ分光感度特性を用いて生成された単色画像との間での対応点探索を行う。対応点の探索手法は、既存の手法を利用する。 The corresponding point search processing unit 311 assigns numbers in ascending order of the center wavelengths of the spectral sensitivities of the single-color cameras based on the plurality of gray scale images input from the image capturing device 220 and the correspondence between the gray scale images and the cameras. For each of the pairs of images from the two monochrome cameras whose order in the arrangement in which the numbers are assigned and arranged so as not to be consecutive, the corresponding points are searched between the pairs. Furthermore, a corresponding point search is performed between the image of each single color camera and the single color image generated using the same spectral sensitivity characteristic as that of the corresponding single color camera generated by the single color image generation unit 431. The corresponding point search method uses an existing method.
例えば、上記図５の例では、カメラ１および２の画像ペア間、カメラ３および４の画像ペア間、カメラ５および６の画像ペア間、カメラ７および８の画像ペア間で対応点探索が行われる。更に、カメラ１の画像と、カメラ１に対応する単色画像との画像ペア間、カメラ２の画像と、カメラ２に対応する単色画像との画像ペア間、カメラ３の画像と、カメラ３に対応する単色画像との画像ペア間、カメラ４の画像と、カメラ４に対応する単色画像との画像ペア間、カメラ５の画像と、カメラ５に対応する単色画像との画像ペア間、カメラ６の画像と、カメラ６に対応する単色画像との画像ペア間、カメラ７の画像と、カメラ７に対応する単色画像との画像ペア間、及びカメラ８の画像と、カメラ８に対応する単色画像との画像ペア間でも、対応点探索が行われる。また更に、カメラ２および３の画像ペア間、カメラ４および５の画像ペア間、カメラ６および７の画像ペア間で対応点探索を行っても良い。 For example, in the example of FIG. 5 described above, the corresponding point search is performed between the image pairs of the cameras 1 and 2, the image pairs of the cameras 3 and 4, the image pairs of the cameras 5 and 6, and the image pairs of the cameras 7 and 8. Is called. Furthermore, between the image pair of the image of the camera 1 and the monochromatic image corresponding to the camera 1, between the image pair of the image of the camera 2 and the monochromatic image corresponding to the camera 2, the image of the camera 3, and the camera 3 Between the image pair of the monochrome image, the image of the camera 4 and the image pair of the monochrome image corresponding to the camera 4, the image pair of the image of the camera 5 and the monochrome image corresponding to the camera 5, Between an image pair of an image and a monochrome image corresponding to the camera 6, between an image pair of an image of the camera 7 and a monochrome image corresponding to the camera 7, an image of the camera 8, and a monochrome image corresponding to the camera 8 Corresponding point search is also performed between the image pairs. Furthermore, a corresponding point search may be performed between the image pairs of the cameras 2 and 3, between the image pairs of the cameras 4 and 5, and between the image pairs of the cameras 6 and 7.
対応点探索処理部３１１は、対応点探索が行われた画像ペア間の各々について、探索された対応点の各画像上における座標、及び対応点探索に使用した画像のペアと、当該画像のペアの撮影に使用したカメラとの対応関係を出力する。 The corresponding point search processing unit 311 includes, for each pair of images for which the corresponding point search has been performed, the coordinates of the searched corresponding points on each image, the image pair used for the corresponding point search, and the image pair. Outputs the correspondence with the camera used for shooting.
奥行き情報推定部３３は、検出された対応点の各画像上における座標、対応点探索で使用した画像ペアとその画像ペアの撮影に使用したカメラとの対応関係、及び撮影条件記憶部３２に記憶されている各種情報に基づいて、対応点探索が行われた画像ペア間の各々について、当該画像のペア間で得られた対応点の情報および撮影条件から、検出された対応点に対応した、被写体表面の座標を推定し、奥行き情報として出力する。また、画像のペア間の各々について推定された奥行き情報を統合して、出力してもよい。 The depth information estimation unit 33 stores the coordinates of the detected corresponding points on each image, the correspondence between the image pair used in the corresponding point search and the camera used for shooting the image pair, and the shooting condition storage unit 32. Based on the various information that has been made, for each of the image pairs for which the corresponding point search was performed, from the information on the corresponding points obtained between the pair of images and the shooting conditions, the corresponding corresponding points were detected. Estimate the coordinates of the subject surface and output it as depth information. Further, the depth information estimated for each pair of images may be integrated and output.
マルチバンド画像生成部３４は、検出された対応点の各画像上における座標、対応点探索で使用した画像ペアとその画像ペアの撮影に使用したカメラとの対応関係、及び撮影条件記憶部３２に記憶されている各種情報に基づいて、対応点探索が行われた画像ペア間の各々について、検出された対応点を用いて、基準とする視点の画像と参照画像間での変形パラメータを算出し、その結果に基づき参照画像の画像変形を行い、任意のカメラの視点におけるマルチバンド画像を生成し、出力する。 The multiband image generation unit 34 stores the coordinates of the detected corresponding points on each image, the correspondence between the image pair used in the corresponding point search and the camera used for shooting the image pair, and the shooting condition storage unit 32. Based on the stored information, for each of the pair of images for which the corresponding point search has been performed, a deformation parameter between the reference viewpoint image and the reference image is calculated using the detected corresponding point. Based on the result, the reference image is transformed, and a multiband image at an arbitrary camera viewpoint is generated and output.
＜画像処理システムの作用＞
次に、図１３を参照して、第４の実施の形態の画像処理システム４１０の画像処理装置４３０で実行される画像処理ルーチンについて説明する。なお、第１の実施の形態及び第２の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して詳細な説明を省略する。
<Operation of image processing system>
Next, an image processing routine executed by the image processing apparatus 430 of the image processing system 410 according to the fourth embodiment will be described with reference to FIG. Note that the same processes as those in the image processing routines in the first and second embodiments are denoted by the same reference numerals, and detailed description thereof is omitted.
ステップＳ２０１において、複数の単色カメラ２１１〜２１Ｎによって撮影された複数のグレースケール画像、及び多色カメラ２２１によって撮影された画像を取得する。 In step S201, a plurality of gray scale images photographed by the plurality of single color cameras 211 to 21N and an image photographed by the multicolor camera 221 are acquired.
ステップＳ４０１において、上記ステップＳ２０１で取得した、多色カメラ２２１によって撮影された画像から、分光反射率画像を生成する。ステップＳ４０２では、上記ステップＳ４０１で生成された分光反射率画像から、複数の単色カメラ２１１〜２１Ｎの各々に対応する単色画像を生成する。 In step S401, a spectral reflectance image is generated from the image captured by the multicolor camera 221 acquired in step S201. In step S402, a monochrome image corresponding to each of the plurality of monochrome cameras 211 to 21N is generated from the spectral reflectance image generated in step S401.
そして、ステップＳ４０３において、上記ステップＳ２０１で取得した複数のグレースケール画像のうち、順番が連続した２台の単色カメラからの画像のペアの各々について、当該画像のペア間における対応点を探索する。更に、上記ステップＳ２０１で取得した複数のグレースケール画像の各々と、上記ステップＳ４０２で得られた単色画像のうち、該当する単色カメラと同じ分光感度特性のカメラで撮影した際に得られるものと同等の、単色画像との画像のペアの各々について、当該画像のペア間における対応点を探索する。 In step S403, for each of a pair of images from two monochrome cameras in order, among the plurality of grayscale images acquired in step S201, a corresponding point between the pair of images is searched. Further, each of the plurality of grayscale images acquired in step S201 and the single-color image obtained in step S402 are equivalent to those obtained when captured by a camera having the same spectral sensitivity characteristics as the corresponding single-color camera. For each pair of images with a single color image, a corresponding point between the pair of images is searched.
ステップＳ１０４では、上記ステップＳ４０３で対応点探索を行った画像のペアの各々に対し、当該ペアについて探索された対応点に基づいて、奥行き情報を推定する。次のステップＳ１０５では、上記ステップＳ１０４で推定された画像のペアの各々に対する奥行き情報を統合して出力する。 In step S104, depth information is estimated for each pair of images for which the corresponding point search has been performed in step S403, based on the corresponding points searched for the pair. In the next step S105, the depth information for each of the image pairs estimated in step S104 is integrated and output.
そして、ステップＳ１０６では、上記ステップＳ４０３で対応点探索を行った画像のペアの各々について探索された対応点に基づいて、基準画像を撮影したカメラの視点におけるマルチバンド画像を生成する。次のステップＳ１０７では、上記ステップＳ１０６で生成したマルチバンド画像を出力して、画像処理ルーチンを終了する。 In step S106, a multiband image at the viewpoint of the camera that captured the reference image is generated based on the corresponding points searched for each of the pair of images searched in step S403. In the next step S107, the multiband image generated in step S106 is output, and the image processing routine ends.
以上説明したように、第４の実施の形態の画像処理システムによれば、各々分光感度特性が異なる複数の単色カメラに、分光感度の中心波長の昇順に番号を割り当て、割り当てられた番号が連続しないように、複数の単色カメラを配置し、多色カメラを、単色カメラで挟み込むように、又は囲むように配置し、割り当てられた番号が連続する単色カメラのペアの各々について、当該ペアの単色カメラで撮影した画像間で対応点を探索し、単色カメラで撮影した画像と、当該単色カメラと同じ分光感度特性を用いて生成された単色画像との間で対応点を探索することにより、従来手法より、精度良く対応点を探索することができる。 As described above, according to the image processing system of the fourth embodiment, numbers are assigned to a plurality of monochrome cameras having different spectral sensitivity characteristics in ascending order of the central wavelength of spectral sensitivity, and the assigned numbers are continuous. For each pair of monochrome cameras in which the assigned numbers are consecutive, arrange a plurality of monochrome cameras, arrange a multicolor camera so as to be sandwiched or surrounded by a monochrome camera, By searching for corresponding points between images taken with a camera, and searching for corresponding points between an image taken with a monochrome camera and a monochrome image generated using the same spectral sensitivity characteristics as the monochrome camera, By using this method, it is possible to search for corresponding points with high accuracy.
なお、上記の実施の形態では、多色カメラが１台である場合を例に説明したが多色カメラを複数台配置してもよい。 In the above embodiment, the case where there is one multicolor camera has been described as an example, but a plurality of multicolor cameras may be arranged.
［第５の実施の形態］
＜システム構成＞
次に、第５の実施の形態について説明する。なお、第５の実施の形態の画像処理システムは、第３の実施の形態の画像処理システム３１０と同様の構成であるため、同一符号を付して詳細な説明を省略する。
[Fifth Embodiment]
<System configuration>
Next, a fifth embodiment will be described. The image processing system according to the fifth embodiment has the same configuration as the image processing system 310 according to the third embodiment, and thus the same reference numerals are given and detailed description thereof is omitted.
第５の実施の形態では、画像撮影装置において、多色カメラを複数台用いている点が、第３の実施の形態と異なっている。 The fifth embodiment is different from the third embodiment in that a plurality of multicolor cameras are used in the image capturing device.
第５の実施の形態に係る画像処理システムの画像撮影装置２２０は、例えば、図１４に示すように、分光感度特性が異なる３つの単色カメラ（図１５参照）と、分光感度特性が等しい２つの多色カメラであるＲＧＢカメラ（図１６参照）とを備えている。図１４では、カメラ４と５がＲＧＢカメラで、それぞれ単色カメラであるカメラ１、２、３に挟まれている。また単色カメラであるカメラ１、２、３の分光感度はそれぞれ、ＲＧＢカメラの３つのカラーチャンネルのうちのいずれかと重なりを持っている。 For example, as shown in FIG. 14, the image capturing device 220 of the image processing system according to the fifth embodiment includes three single-color cameras having different spectral sensitivity characteristics (see FIG. 15) and two spectral sensitivity characteristics equal to each other. And an RGB camera (see FIG. 16) which is a multicolor camera. In FIG. 14, the cameras 4 and 5 are RGB cameras, and are sandwiched between cameras 1, 2, and 3, which are single color cameras, respectively. Further, the spectral sensitivities of the cameras 1, 2, and 3 which are monochromatic cameras each overlap with any one of the three color channels of the RGB camera.
カラーチャンネル分解部３３１は、カメラ４で撮影された画像を、各カラーチャンネルのグレースケール画像（Ｒ４、Ｇ４、Ｂ４）に分解し、カメラ５で撮影された画像を、各カラーチャンネルのグレースケール画像（Ｒ５、Ｇ５、Ｂ５）に分解する。 The color channel decomposing unit 331 decomposes the image captured by the camera 4 into grayscale images (R4, G4, and B4) of each color channel, and converts the image captured by the camera 5 into a grayscale image of each color channel. Decomposes into (R5, G5, B5).
対応点探索部３１では、以下の（１）、（２）に示す画像ペア間での対応点探索が行われる。なお、対応点探索を、（１）に示す画像ペア間のみ、また（１）及び（２）に示す画像ペア間に対して行っても良い。 The corresponding point search unit 31 searches for corresponding points between image pairs shown in (1) and (2) below. The corresponding point search may be performed only between the image pairs shown in (1) or between the image pairs shown in (1) and (2).
（１）隣接しないカメラの画像ペアとして、カメラ１とカメラ２の画像ペア、カメラ２とカメラ３の画像ペア、カメラ１とカメラ５のＢ５の画像ペア、カメラ３とカメラ４のＲ４の画像ペア、カメラ４のＲ４とカメラ５のＲ５の画像ペア、カメラ４のＧ４とカメラ５のＧ５の画像ペア、及びカメラ４のＢ４とカメラ５のＢ５の画像ペアの各画像ペア間で、対応点探索が行われる。 (1) As an image pair of cameras not adjacent to each other, an image pair of camera 1 and camera 2, an image pair of camera 2 and camera 3, an image pair of B5 of camera 1 and camera 5, and an image pair of R4 of camera 3 and camera 4 Corresponding point search between each image pair of R4 of camera 4 and R5 of camera 5, G4 of camera 4 and G5 of camera 5, and B4 of camera 4 and B5 of camera 5 Is done.
（２）隣接するカメラの画像ペアとして、カメラ１とカメラ４のＢ４の画像ペア、カメラ４のＧ４とカメラ２の画像ペア、カメラ２とカメラ５のＧ５の画像ペア、及びカメラ５のＲ５とカメラ３の画像ペアの各画像ペア間で、対応点探索が行われる。 (2) As an image pair of an adjacent camera, an image pair of B4 of camera 1 and camera 4, an image pair of G4 and camera 2 of camera 4, an image pair of G5 of camera 2 and camera 5, and R5 of camera 5 Corresponding point search is performed between each image pair of the camera 3 image pair.
なお、第５の実施の形態に係る画像処理システムの他の構成及び作用については、第３の実施の形態と同様であるため、説明を省略する。 Note that the other configuration and operation of the image processing system according to the fifth embodiment are the same as those of the third embodiment, and thus description thereof is omitted.
［第６の実施の形態］
＜システム構成＞
次に、第６の実施の形態について説明する。なお、第６の実施の形態の画像処理システムは、第３の実施の形態の画像処理システム１０及び第５の実施の形態の画像処理システムと同様の構成であるため、同一符号を付して詳細な説明を省略する。
[Sixth Embodiment]
<System configuration>
Next, a sixth embodiment will be described. The image processing system according to the sixth embodiment has the same configuration as the image processing system 10 according to the third embodiment and the image processing system according to the fifth embodiment. Detailed description is omitted.
第６の実施の形態では、複数の多色カメラの分光感度特性が異なっている点が、第５の実施の形態と異なっている。 The sixth embodiment is different from the fifth embodiment in that the spectral sensitivity characteristics of a plurality of multicolor cameras are different.
第６の実施の形態に係る画像処理システムの画像撮影装置２２０は、例えば、図１７に示すように、分光感度特性が異なる３つの単色カメラ（上記図１５参照）と、分光感度特性が異なる２つの多色カメラであるＲＧＢカメラとを備えている。カメラ４は、図１８に示すカメラ５と同じ分光感度を有するＲＧＢカメラのカメラレンズの前に、図１９に示す透過特性を有するカラーフィルタを取り付けることで構成され、実質的に、図２０に示すように、カメラ５とは異なる分光感度を有する。 The image capturing device 220 of the image processing system according to the sixth embodiment is different from the three monochromatic cameras (see FIG. 15 above) having different spectral sensitivity characteristics, as shown in FIG. And a multi-color RGB camera. The camera 4 is configured by attaching a color filter having the transmission characteristics shown in FIG. 19 in front of the camera lens of the RGB camera having the same spectral sensitivity as the camera 5 shown in FIG. 18, and is substantially shown in FIG. Thus, it has a spectral sensitivity different from that of the camera 5.
対応点探索部３１では、第５の実施の形態と同様に、上記の（１）、（２）に示す画像ペア間での対応点探索が行われる。なお、対応点探索を、（１）に示す画像ペア間のみ、また（１）及び（２）に示す画像ペア間に対して行っても良い。 In the corresponding point search unit 31, as in the fifth embodiment, the corresponding point search between the image pairs shown in (1) and (2) above is performed. The corresponding point search may be performed only between the image pairs shown in (1) or between the image pairs shown in (1) and (2).
なお、第６の実施の形態に係る画像処理システムの他の構成及び作用については、第３の実施の形態と同様であるため、説明を省略する。 Note that other configurations and operations of the image processing system according to the sixth embodiment are the same as those of the third embodiment, and thus the description thereof is omitted.
上記の第１〜第６の実施の形態では、複数の単色カメラ２１１〜２１Ｎに、分光感度の中心波長の昇順に番号を割り当てる場合を例に説明したが、これに限定されるものではなく、複数の単色カメラ２１１〜２１Ｎに、分光感度の中心波長の降順に番号を割り当てもよい。 In the first to sixth embodiments described above, the case where numbers are assigned to the plurality of single-color cameras 211 to 21N in ascending order of the central wavelength of the spectral sensitivity has been described as an example. However, the present invention is not limited to this. Numbers may be assigned to the plurality of monochrome cameras 211 to 21N in descending order of the central wavelength of the spectral sensitivity.
また、上述の画像処理装置は、内部にコンピュータシステムを有しているが、コンピュータシステムは、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。 Further, the above-described image processing apparatus has a computer system inside, but the computer system includes a homepage providing environment (or display environment) if the WWW system is used.
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。 In the present specification, the embodiment has been described in which the program is installed in advance. However, the program can be provided by being stored in a computer-readable recording medium.
１０、２１０、３１０、４１０画像処理システム
２０、２２０ 画像撮影装置
３０、２３０、３３０、４３０画像処理装置
３１ 対応点探索部
３２ 撮影条件記憶部
３３ 奥行き情報推定部
３４ マルチバンド画像生成部
２１１ 単色カメラ
２２１ 多色カメラ
２３１ グレースケール画像生成部
３１１ 対応点探索処理部
３１２ 対応点記憶部
３３１ カラーチャンネル分解部
４３１ 単色画像生成部
４３１１ 分光反射率画像生成部
４３１２ 複数単色画像生成部
10, 210, 310, 410 Image processing system 20, 220 Image photographing device 30, 230, 330, 430 Image processing device 31 Corresponding point search unit 32 Imaging condition storage unit 33 Depth information estimation unit 34 Multiband image generation unit 211 Monochromatic camera 221 Multicolor camera 231 Grayscale image generation unit 311 Corresponding point search processing unit 312 Corresponding point storage unit 331 Color channel decomposition unit 431 Monochromatic image generation unit 4311 Spectral reflectance image generation unit 4312 Multiple monochromatic image generation unit
Claims (7)
前記複数の単色カメラによって、画像を撮影し、
画像処理装置によって、割り当てられた番号が連続する前記単色カメラのペアの各々について、前記ペアの単色カメラで撮影した画像間で対応点を探索し、探索された対応点を出力する
画像処理方法。 A plurality of monochrome cameras each having different spectral sensitivity characteristics are assigned numbers in ascending or descending order of the central wavelength of the spectral sensitivity, and the plurality of monochrome cameras are placed in either one direction or two directions so that the assigned numbers do not continue. Placed on either side
Images are taken by the plurality of monochrome cameras,
An image processing method for searching for a corresponding point between images taken by a single color camera of the pair and outputting the searched corresponding point for each of the pair of monochrome cameras having consecutive assigned numbers by an image processing apparatus.
前記複数の単色カメラを配置することは、割り当てられた番号が連続しないように、前記複数の単色カメラを、一方向及び二方向の何れか一方に配置し、かつ、前記多色カメラを、前記単色カメラで挟み込むように、又は囲むように配置し、
前記画像を撮影することは、前記複数の単色カメラ及び前記多色カメラによって、画像を撮影し、
前記画像処理装置によって前記対応点を探索することは、割り当てられた番号が連続する前記単色カメラのペアの各々について、前記ペアの単色カメラで撮影した画像間で対応点を探索し、かつ、前記単色カメラで撮影した画像と前記変換された画像との間で対応点を探索し、探索された対応点を出力する請求項１記載の画像処理方法。 The image processing apparatus further includes converting an image photographed by a multicolor camera into an image capable of searching for corresponding points between the image photographed by the monochromatic camera,
Arranging the plurality of monochrome cameras arranges the plurality of monochrome cameras in either one direction or two directions so that the assigned numbers are not consecutive, and the multicolor camera, Arranged so as to be sandwiched or surrounded by a monochrome camera,
Taking the image is taken by the plurality of single-color cameras and the multicolor camera,
Searching for the corresponding points by the image processing device, for each of the pair of monochrome cameras with consecutive assigned numbers, searches for the corresponding points between images taken by the monochrome camera of the pair, and The image processing method according to claim 1, wherein a corresponding point is searched between an image captured by a monochrome camera and the converted image, and the searched corresponding point is output.
割り当てられた番号が連続する前記単色カメラのペアの各々について、前記ペアの単色カメラで撮影した画像間で対応点を探索し、探索された対応点を出力する画像処理装置と、
を含む画像処理システム。 A plurality of monochrome cameras each having a different spectral sensitivity characteristic, the plurality of monochrome cameras are assigned numbers in ascending or descending order of the central wavelength of the spectral sensitivity, and the plurality of monochrome cameras are arranged so that the assigned numbers are not consecutive. An image capturing device disposed in one of the one direction and the two directions;
An image processing device that searches for corresponding points between images captured by the pair of monochrome cameras for each of the pair of monochrome cameras in which the assigned numbers are continuous, and outputs the searched corresponding points;
Including an image processing system.
前記画像処理装置は、前記多色カメラで撮影した画像を、前記単色カメラで撮影した画像との間で対応点の探索が可能な画像に変換し、
割り当てられた番号が連続する前記単色カメラのペアの各々について、前記ペアの単色カメラで撮影した画像間で対応点を探索し、かつ、前記単色カメラで撮影した画像と前記変換された画像との間で対応点を探索し、探索された対応点を出力する請求項６記載の画像処理システム。 The image capturing apparatus further includes a multicolor camera, the plurality of single color cameras are arranged in one direction or two directions so that the assigned numbers are not consecutive, and the multicolor camera is arranged. , Arranged so as to be sandwiched or surrounded by the monochrome camera,
The image processing device converts the image captured by the multicolor camera into an image that can be searched for corresponding points with the image captured by the monochrome camera,
For each pair of monochrome cameras having consecutive assigned numbers, a corresponding point is searched between images captured by the monochrome camera of the pair, and the image captured by the monochrome camera and the converted image are The image processing system according to claim 6, wherein the corresponding points are searched for and the searched corresponding points are output.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014106295A JP6154781B2 (en) | 2014-05-22 | 2014-05-22 | Image processing method and image processing system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014106295A JP6154781B2 (en) | 2014-05-22 | 2014-05-22 | Image processing method and image processing system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015222200A JP2015222200A (en) | 2015-12-10 |
| JP6154781B2 true JP6154781B2 (en) | 2017-06-28 |
Family
ID=54785293
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014106295A Active JP6154781B2 (en) | 2014-05-22 | 2014-05-22 | Image processing method and image processing system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6154781B2 (en) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3728160B2 (en) * | 1999-12-06 | 2005-12-21 | キヤノン株式会社 | Depth image measuring apparatus and method, and mixed reality presentation system |
| JP2006214735A (en) * | 2005-02-01 | 2006-08-17 | Viewplus Inc | Compound stereo vision device |
| JP4102854B2 (en) * | 2006-03-22 | 2008-06-18 | 松下電器産業株式会社 | Imaging device |
| JP2008128771A (en) * | 2006-11-20 | 2008-06-05 | Toppan Printing Co Ltd | Apparatus and method for simultaneously acquiring spectroscopic information and shape information |
| JP2010276469A (en) * | 2009-05-28 | 2010-12-09 | Konica Minolta Holdings Inc | Image processor and image processing method of ranging apparatus |
| JP5704975B2 (en) * | 2011-03-08 | 2015-04-22 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
-
2014
- 2014-05-22 JP JP2014106295A patent/JP6154781B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015222200A (en) | 2015-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4958233B2 (en) | Multi-view image creation system and multi-view image creation method | |
| CN101680756B (en) | Compound eye imaging device, distance measurement device, parallax calculation method and distance measurement method | |
| TWI525382B (en) | Camera array systems including at least one bayer type camera and associated methods | |
| US20190244379A1 (en) | Systems and Methods for Depth Estimation Using Generative Models | |
| JP5406151B2 (en) | 3D imaging device | |
| JP6182396B2 (en) | Imaging device | |
| JP2014011526A (en) | Image processing apparatus, imaging apparatus, and image processing method | |
| WO2015190616A1 (en) | Image sensor for depth estimation | |
| WO2014073670A1 (en) | Image processing method and image processing device | |
| JP2012186755A (en) | Image processing device, image processing method, and program | |
| KR101641406B1 (en) | Stereo camera | |
| JP4193342B2 (en) | 3D data generator | |
| JP6285686B2 (en) | Parallax image generation device | |
| CN105659054A (en) | Imaging device and phase difference detection method | |
| US10134136B2 (en) | Image processing apparatus and image processing method | |
| KR20180000696A (en) | A method and apparatus for creating a pair of stereoscopic images using least one lightfield camera | |
| US10798364B2 (en) | 3D image reconstruction based on lensless compressive image acquisition | |
| JP4862004B2 (en) | Depth data generation apparatus, depth data generation method, and program thereof | |
| JP5777031B2 (en) | Image processing apparatus, method, and program | |
| JP6154781B2 (en) | Image processing method and image processing system | |
| JP7308913B2 (en) | Hyperspectral high-speed camera video generation method using adversarial generative network algorithm | |
| AU2013308155B2 (en) | Method for description of object points of the object space and connection for its implementation | |
| JP5088973B2 (en) | Stereo imaging device and imaging method thereof | |
| KR101982650B1 (en) | Apparatus and system for measuring distance | |
| KR101265020B1 (en) | Creation method and apparatus for high resolution disparity map by the histogram analysis of duplicated territory from the stereo image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160721 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170424 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170530 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170602 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6154781 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |