JP2013044893A - Compound-eye imaging device, and distance image acquisition device - Google Patents
Compound-eye imaging device, and distance image acquisition device Download PDFInfo
- Publication number
- JP2013044893A JP2013044893A JP2011181888A JP2011181888A JP2013044893A JP 2013044893 A JP2013044893 A JP 2013044893A JP 2011181888 A JP2011181888 A JP 2011181888A JP 2011181888 A JP2011181888 A JP 2011181888A JP 2013044893 A JP2013044893 A JP 2013044893A
- Authority
- JP
- Japan
- Prior art keywords
- image
- lens
- lens array
- parallax
- compound eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Blocking Light For Cameras (AREA)
- Studio Devices (AREA)
- Cameras In General (AREA)
Abstract
Description
本発明は、複数のレンズからなるレンズアレイと該レンズアレイの複眼像を撮像する撮像素子を備えた複眼撮像装置及び該複眼撮像装置を用いた距離画像取得装置に関する。 The present invention relates to a compound eye imaging apparatus including a lens array including a plurality of lenses and an imaging element that captures a compound eye image of the lens array, and a distance image acquisition apparatus using the compound eye imaging apparatus.
撮像装置は、携帯機器、車載機器、医療機器や産業機器などにおける画像情報取得手段として有用されているが、二次元の画像情報のみならず、被写体までの距離や被写体の三次元形状など、距離情報も同時に取得する要求が高くなっている。このような用途の撮像装置は一般に大型化するが、場所を選ばない設置を可能とするために、装置の小型化、薄型化も望まれる。 Imaging devices are useful as image information acquisition means in portable devices, in-vehicle devices, medical devices, industrial devices, etc., but not only two-dimensional image information, but also the distance to the subject and the three-dimensional shape of the subject There is a high demand for acquiring information at the same time. In general, an imaging apparatus for such an application is increased in size, but in order to enable installation at any location, it is desired to reduce the size and thickness of the apparatus.
従来、小型化、薄型化を図った、距離情報も取得可能な撮像装置として、複数のレンズからなるレンズアレイと、撮像領域がレンズアレイの複数のレンズに対応した複数の分割領域に分割された撮像素子とを備えた複眼撮像装置が、既に知られている。 Conventionally, as an imaging device that can obtain distance information, which is reduced in size and thickness, a lens array composed of a plurality of lenses and an imaging region are divided into a plurality of divided regions corresponding to the plurality of lenses of the lens array. A compound eye imaging device including an imaging element is already known.
しかし、従来のレンズアレイを用いた複眼撮像装置では、レンズアレイを用いて複眼撮像装置では、レンズアレイを構成する複数のレンズ間での光束のクロストークを防止するために、レンズアレイと撮像素子との間に、レンズアレイの複数のレンズによってそれぞれ形成される光路を隔離する遮光壁を備えているのが一般的である（例えば、特許文献１、特許文献２等）。この遮光壁はアルミニウムやステンレス等の金属で作成され、遮光壁の幅は厚みを持っているため、撮像素子の該遮光壁の下にある領域では画像を取り込むことができず、未使用領域となり、得られる画像の解像度が小さくなるという問題があった。このため、例えば特許文献２では、遮光壁と撮像素子の間に空間を設けることを提案しているが、クロストークを防止するには限界がある。 However, in a compound eye imaging device using a conventional lens array, a lens array and an imaging element are used in a compound eye imaging device using a lens array in order to prevent crosstalk of light beams between a plurality of lenses constituting the lens array. In general, a light shielding wall for isolating optical paths respectively formed by a plurality of lenses of the lens array is provided (for example, Patent Document 1, Patent Document 2, etc.). Since the light shielding wall is made of metal such as aluminum or stainless steel, and the width of the light shielding wall is thick, an image cannot be captured in an area under the light shielding wall of the image sensor, and becomes an unused area. There is a problem that the resolution of the obtained image becomes small. For this reason, for example, Patent Document 2 proposes providing a space between the light-shielding wall and the image sensor, but there is a limit in preventing crosstalk.
本発明の課題は、レンズアレイを用いた複眼撮像装置において、撮像素子の未使用領域を小さくするために遮光壁をなくし、かつ、レンズアレイを構成する複数のレンズ間での光束のクロストークを防止することにある。 An object of the present invention is to eliminate a light-shielding wall in order to reduce an unused area of an image sensor in a compound eye imaging device using a lens array, and to prevent crosstalk of light flux between a plurality of lenses constituting the lens array. It is to prevent.
本発明の複眼撮像装置は、被写体に対向する位置に設けられた、複数のレンズがアレイ配列されてなるレンズアレイと、前記レンズアレイの像面側に設けられた、前記レンズアレイを構成する複数のレンズのそれぞれにより略結像される前記被写体の像（個眼像）の集合である複眼像を撮像する撮像素子と、前記レンズアレイの被写体側に配置された第１の波長選択フィルタと、前記第１の波長選択フィルタに対応して、前記撮像素子の前に配置された第２の波長選択フィルタとを有し、前記レンズアレイを構成する複数のレンズは、２以上のレンズペアからなり、各レンズペアの焦点距離が等しくなっており、前記第１及び第２の波長選択フィルタは、それぞれ前記レンズアレイを構成する複数のレンズに対応して分割されて、各レンズペア毎に異なる波長帯域を透過させることを特徴とする。 The compound-eye imaging device of the present invention includes a lens array in which a plurality of lenses are arranged in an array arranged at a position facing a subject, and a plurality of lenses constituting the lens array provided on the image plane side of the lens array. An imaging element that captures a compound eye image that is a set of images of the subject (single-eye images) that are substantially imaged by each of the lenses, a first wavelength selection filter that is disposed on the subject side of the lens array, and In correspondence with the first wavelength selection filter, there is a second wavelength selection filter disposed in front of the imaging device, and the plurality of lenses constituting the lens array is composed of two or more lens pairs. The focal lengths of the lens pairs are equal, and the first and second wavelength selection filters are divided corresponding to the plurality of lenses constituting the lens array, respectively. Characterized in that to transmit the wavelength band different for each.
本発明の複眼撮像装置によれば、遮光壁を設けないで、レンズアレイを構成する複数のレンズ間でのクロストークを防止することができ、撮像素子の未使用領域が軽減される。 According to the compound eye imaging device of the present invention, it is possible to prevent crosstalk between a plurality of lenses constituting the lens array without providing a light shielding wall, and the unused area of the imaging element is reduced.
以下、本発明の実施の形態について図面を参照して詳しく説明する。
図１に、本発明の複眼撮像装置の一実施形態の構成図を示す。図１（ａ）は、矢印方向に被写体があるものとし、当該複眼撮像装置により被写体を撮像する構成の断面模式図であり、図１（ｂ）は、当該複眼撮像装置を被写体方向から見た平面模式図である。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 shows a configuration diagram of an embodiment of a compound eye imaging apparatus of the present invention. FIG. 1A is a schematic cross-sectional view of a configuration in which a subject is present in the direction of an arrow and the subject is imaged by the compound eye imaging device. FIG. 1B is a diagram of the compound eye imaging device viewed from the subject direction. It is a plane schematic diagram.
図１において、符号１はレンズアレイを表す。レンズアレイ１は被写体側の面と像面側の面の二面からなり、面内に複数のレンズがアレイ状に配列されている。図１（ａ）では、被写体側、像側の両方の面にレンズ面が設けられていることを表わしている。ここで、１ａが被写体側の面に設けられたレンズ、１ｂが像側の面に設けられたレンズであり、１ａと１ｂがセット（以下、レンズセット）になって被写体の像を像面上で結像させる。 In FIG. 1, reference numeral 1 represents a lens array. The lens array 1 comprises two surfaces, a subject side surface and an image surface side surface, and a plurality of lenses are arranged in an array in the surface. FIG. 1A shows that lens surfaces are provided on both the object side and the image side. Here, 1a is a lens provided on the subject side surface, 1b is a lens provided on the image side surface, and 1a and 1b are a set (hereinafter referred to as a lens set) to display the subject image on the image plane. To form an image.
図１（ｂ）に示すように、本実施形態では、レンズアレイ１は８つのレンズセット１１１，１１２，１２１，１２２，１３１，１３２，１４１，１４２で構成されている。各レンズセットにおいて、実線で示された円は、後述の開口アレイの開口部を表し、その直径は一定である。破線で示された円は、無効領域も含めたレンズ１ａの直径を表し、点線で示された円はレンズ１ｂの直径を表している。ここで、レンズセット１１１と１１２、１２１と１２２、１３１と１３２、１４１と１４２は各々レンズセットペア（ステレオぺア）を形成している。 As shown in FIG. 1B, in the present embodiment, the lens array 1 includes eight lens sets 111, 112, 121, 122, 131, 132, 141, 142. In each lens set, a circle indicated by a solid line represents an aperture of an aperture array described later, and its diameter is constant. A circle indicated by a broken line represents the diameter of the lens 1a including the invalid area, and a circle indicated by a dotted line represents the diameter of the lens 1b. Here, the lens sets 111 and 112, 121 and 122, 131 and 132, and 141 and 142 each form a lens set pair (stereo pair).
符号２は、レンズアレイ１の被写体側の面に配置されて、特定の波長帯域だけを透過させる第１の波長選択フィルタであり、例えば、ガラス板の表面に誘電体膜を多層、積層した構造をしている。該波長選択フィルタ２は、レンズアレイ１を構成する各レンズセット（レンズ）に対応して分割され、ステレオペア（レンズペア）毎に別々の波長帯域を透過させる構造をとる。図１（ｂ）において、２１１と２１２はレンズセット１１１と１１２からなるステレオペアに入射する光線の波長帯域を、２２１と２２２はレンズセット１２１と１２２からなるステレオペアに入射する光線の波長帯域を、２３１と２３２はレンズセット１３１と１３２からなるステレオペアに入射する光線の波長帯域を、２４１と２４２はレンズセット１４１と１４２からなるステレオペアに入射する光線の波長帯域を、それぞれ制限する領域を示している。ここで、波長選択フィルタ２の各領域は、隣接する領域の透過波長帯域が重ならないように配置されている。図２に、波長選択フィルタ２の各領域の波長透過特性の一例を示す。なお、括弧内の符号は対応するレンズセットを示している。 Reference numeral 2 denotes a first wavelength selection filter that is disposed on the object-side surface of the lens array 1 and transmits only a specific wavelength band. For example, a structure in which a dielectric film is laminated and laminated on the surface of a glass plate. I am doing. The wavelength selection filter 2 is divided corresponding to each lens set (lens) constituting the lens array 1 and has a structure that transmits different wavelength bands for each stereo pair (lens pair). In FIG. 1B, reference numerals 211 and 212 denote wavelength bands of light rays incident on the stereo pair consisting of the lens sets 111 and 112, and reference numerals 221 and 222 denote wavelength bands of light rays incident on the stereo pair consisting of the lens sets 121 and 122. Reference numerals 231 and 232 denote regions that limit the wavelength band of light incident on the stereo pair including the lens sets 131 and 132, and reference numerals 241 and 242 indicate regions that limit the wavelength band of light incident on the stereo pair including the lens sets 141 and 142, respectively. Show. Here, each area | region of the wavelength selection filter 2 is arrange | positioned so that the transmission wavelength band of an adjacent area | region may not overlap. In FIG. 2, an example of the wavelength transmission characteristic of each area | region of the wavelength selection filter 2 is shown. Reference numerals in parentheses indicate corresponding lens sets.
符号３は、板状部材に、レンズアレイ１の各レンズセットに対応して円形の穴（開口部）３ａを設けた開口アレイであり、レンズの絞りとして作用する。先に述べたように、各開口部３ａの直径は一定である。該開口アレイ３は、レンズアレイ１の被写体側の面の平面部の四隅に設けられた凸部１ｃに固着されている。そして、該開口アレイ３の被写体側の面に波長選択フィルタ２が接着されている。 Reference numeral 3 denotes an aperture array in which a circular hole (opening) 3a is provided on a plate-like member corresponding to each lens set of the lens array 1, and acts as a lens diaphragm. As described above, the diameter of each opening 3a is constant. The aperture array 3 is fixed to convex portions 1c provided at the four corners of the planar portion of the subject-side surface of the lens array 1. A wavelength selection filter 2 is bonded to the surface of the aperture array 3 on the subject side.
符号４は、レンズアレイ１の各レンズセットにより結像される被写体の光学像を撮像するＣＭＯＳセンサなどの撮像素子であり、基板５の上に実装されている。符号６は筐体であり、レンズアレイ１の被写体側の端部に固着されて、レンズアレイ１、波長選択フィルタ２、開口アレイ３などを保持している。該筐体６に、基板５が固着されている。 Reference numeral 4 denotes an image pickup device such as a CMOS sensor that picks up an optical image of a subject formed by each lens set of the lens array 1, and is mounted on the substrate 5. Reference numeral 6 denotes a housing, which is fixed to the end of the lens array 1 on the subject side, and holds the lens array 1, the wavelength selection filter 2, the aperture array 3, and the like. A substrate 5 is fixed to the housing 6.
符号７は、撮像素子４の前面に配置されて、特定の波長帯域だけを透過させる第２の波長選択フィルタであり、先の第１の波長選択フィルタ２と同様に、例えば、ガラス板の表面に誘電体膜を多層、積層した構造をしている。第２の波長選択フィルタ７も、レンズアレイ１を構成するレンズセット（レンズ）に対応して分割され、ステレオペア（レンズペア）毎に別々の波長帯域を透過させる構造をとる。先の第１の波長選択フィルタ２と該第２の波長選択フィルタ７の各領域の透過波長帯域は対応している。 Reference numeral 7 denotes a second wavelength selection filter that is disposed on the front surface of the image sensor 4 and transmits only a specific wavelength band. For example, the surface of a glass plate is similar to the first wavelength selection filter 2 described above. It has a structure in which dielectric films are multilayered and laminated. The second wavelength selection filter 7 is also divided corresponding to the lens set (lens) constituting the lens array 1 and has a structure that transmits different wavelength bands for each stereo pair (lens pair). The transmission wavelength bands of the respective regions of the first wavelength selection filter 2 and the second wavelength selection filter 7 correspond to each other.
レンズアレイ１について更に詳しく説明する。レンズアレイ１を構成する各レンズセット１１１，１１２，１２１，１２２，１３１，１３２，１４１，１４２は、例えば、レンズ面が異なる曲率半径を有しており、レンズセットペア（ステレオペア）となる２つのレンズセットの曲率半径は略同一である。例えば、１１１と１１２のレンズセットは、略同じ曲率半径を有している。この２つのレンズセット１１１，１１２でステレオカメラレンズとして作用するレンズセットペア（ステレオペア）を構成し、撮像素子４の両レンズセットに対応した位置にある画素領域と併せてステレオカメラを構成している。レンズセット１２１と１２２、レンズセット１３１と１３２、レンズセット１４１と１４２も同様に、それぞれのペア同士では略同じ曲率半径を有し、撮像素子４の対応する画素領域と併せてステレオカメラを構成している。 The lens array 1 will be described in more detail. Each lens set 111, 112, 121, 122, 131, 132, 141, 142 constituting the lens array 1 has, for example, lens surfaces having different radii of curvature and becomes a lens set pair (stereo pair) 2 The radius of curvature of the two lens sets is substantially the same. For example, the lens sets 111 and 112 have substantially the same radius of curvature. These two lens sets 111 and 112 constitute a lens set pair (stereo pair) that acts as a stereo camera lens, and together with the pixel area located at a position corresponding to both lens sets of the image sensor 4 constitutes a stereo camera. Yes. Similarly, the lens sets 121 and 122, the lens sets 131 and 132, and the lens sets 141 and 142 have substantially the same radius of curvature in each pair, and constitute a stereo camera together with the corresponding pixel region of the image sensor 4. ing.
レンズセットペア（ステレオペア）毎に設計中心波長が異なっており、各レンズセットペアの設計中心波長での焦点距離は等しくなっている。図２の例の場合、１１１と１１２のｃ線波長（略６５６ｎｍ）での焦点距離と、１２１と１２２のｄ線波長（略５８７ｎｍ）での焦点距離と、１３１と１３２のｅ線波長（略５４６ｎｍ）での焦点距離と、１４１と１４２のｆ線波長（略４８６ｎｍ）での焦点距離が等しくなるように設計されている。 The design center wavelength is different for each lens set pair (stereo pair), and the focal length at the design center wavelength of each lens set pair is equal. In the case of the example of FIG. 2, the focal lengths at the c-line wavelengths (approximately 656 nm) of 111 and 112, the focal lengths at the d-line wavelengths of 121 and 122 (approximately 587 nm), and the e-line wavelengths of 131 and 132 (approximately) The focal length at 546 nm is designed to be equal to the focal length at the f-line wavelength (approximately 486 nm) of 141 and 142.
レンズセットペア（ステレオペア）を構成する光軸と略垂直な面内におけるレンズセットの間隔が、レンズセットペアにより構成されるステレオカメラの基線長となる。本実施形態では、図１（ｂ）に示すように、１１１と１１２、１２１と１２２、１３１と１３２、１４１と１４２の各ステレオペアの基線長はＢ１であり、すべて略等しい。 The distance between the lens sets in a plane substantially perpendicular to the optical axis constituting the lens set pair (stereo pair) is the base line length of the stereo camera constituted by the lens set pair. In the present embodiment, as shown in FIG. 1B, the base line lengths of the stereo pairs 111 and 112, 121 and 122, 131 and 132, and 141 and 142 are B1 and are all substantially equal.
次に、図１の複眼撮像装置により取得される画像について説明する。本実施形態では、撮像素子４による像は、図３に示すような複眼像８である。図３において、Ｉ１１，Ｉ１２，Ｉ２１，Ｉ２２，Ｉ３１，Ｉ３２，Ｉ４１，Ｉ４２は、レンズアレイ１を構成する各レンズセット１１１，１１２，１２１，１２２，１３１，１３２，１４１，１４２に対応する個眼像である。ここで、Ｉ１１とＩ１２、Ｉ２１とＩ２２、Ｉ３１とＩ３２、Ｉ４１とＩ４２がそれぞれステレオ画像ペアを形成している。 Next, an image acquired by the compound eye imaging apparatus of FIG. 1 will be described. In the present embodiment, the image obtained by the image sensor 4 is a compound eye image 8 as shown in FIG. In FIG. 3, I 11, I 12, I 21, I 22, I 31, I 32, I 41, I 42 are individual eyes corresponding to the respective lens sets 111, 112, 121, 122, 131, 132, 141, 142 constituting the lens array 1. It is a statue. Here, I11 and I12, I21 and I22, I31 and I32, and I41 and I42 form a stereo image pair.
レンズアレイ１の被写体側と撮像素子４の前に第１と第２の波長選択フィルタ２，７を配置し、これら波長選択フィルタの透過波長帯域を隣接する個眼像ごとに異なるものとすることで、遮光壁を設けないで光束のクロストークを防止することができる。ここで、被写体の色と波長選択フィルタの透過波長帯域が異なるときには画像が得られないが、図２に示したように、レンズセットペア（ステレオペア）毎にそれぞれ透過波長帯域を異なるものとすることで、広い波長帯域でステレオ画像ペアが取得できる。 First and second wavelength selection filters 2 and 7 are arranged in front of the subject side of the lens array 1 and the image pickup device 4, and the transmission wavelength band of these wavelength selection filters is different for each adjacent single-eye image. Thus, crosstalk of the light beam can be prevented without providing a light shielding wall. Here, an image is not obtained when the subject color and the transmission wavelength band of the wavelength selection filter are different, but as shown in FIG. 2, the transmission wavelength band is different for each lens set pair (stereo pair). Thus, a stereo image pair can be acquired in a wide wavelength band.
次に、本発明の複眼撮像装置を用いた距離画像取得装置について説明する。図４に、その距離画像取得装置の一実施形態の構成図を示す。本距離画像取得装置は、被写体を撮像する撮像ユニット１０と、該撮像ユニット１０により撮像された画像により距離画像を算出する演算ユニット２０からなる。撮像ユニット１０は、図１に示した構成の複眼撮像装置であり、ここでは説明を省略する。 Next, a distance image acquisition apparatus using the compound eye imaging apparatus of the present invention will be described. FIG. 4 shows a configuration diagram of an embodiment of the distance image acquisition apparatus. The distance image acquisition apparatus includes an imaging unit 10 that images a subject, and an arithmetic unit 20 that calculates a distance image based on an image captured by the imaging unit 10. The imaging unit 10 is a compound eye imaging device having the configuration shown in FIG. 1, and a description thereof is omitted here.
演算ユニット２０は、画像キャプチャ部（個眼像分割部）２１、画像補正部２２、視差検出部２３、視差合成部２４及び距離算出部２５からなる。演算ユニット２０は、他に制御部やメモリ等を有しているが、図４では省略してある。該演算ユニット２０は、例えば、基板５上に、撮像素子４と一緒に形成される。 The arithmetic unit 20 includes an image capture unit (single-eye image division unit) 21, an image correction unit 22, a parallax detection unit 23, a parallax synthesis unit 24, and a distance calculation unit 25. Although the arithmetic unit 20 has a control part, a memory, etc. in addition, it is abbreviate | omitted in FIG. For example, the arithmetic unit 20 is formed on the substrate 5 together with the imaging device 4.
図５は、演算ユニット２０の動作を説明するための処理フローチャートである。以下、図５に従って演算ユニット２０の動作を詳述する。 FIG. 5 is a process flowchart for explaining the operation of the arithmetic unit 20. Hereinafter, the operation of the arithmetic unit 20 will be described in detail with reference to FIG.
画像キャプチャ部２１は、撮像ユニット（複眼撮像装置）１０の撮像素子４で取得された図３に示すような複眼像８をキャプチャして、Ｉ１１，Ｉ１２，Ｉ２１，Ｉ２２，Ｉ３１，Ｉ３２，Ｉ４１，Ｉ４２の個眼像に分離する（ステップ１０１）。これら個眼像は画像補正部２２に転送される。 The image capture unit 21 captures a compound eye image 8 as shown in FIG. 3 acquired by the imaging element 4 of the imaging unit (compound eye imaging device) 10, and I11, I12, I21, I22, I31, I32, I41, Separated into I42 individual images (step 101). These single-eye images are transferred to the image correction unit 22.
画像補正部２２は、Ｉ１１〜Ｉ４２の各個眼像について、レンズの工作精度、組み付け精度によるカメラ固有の内部パラメータ、外部パラメータを利用して画像の歪み補正を行う（ステップ１０２，１０３）。画像補正された各個眼像は視差検出部２３に転送される。 The image correcting unit 22 performs image distortion correction on the individual images I11 to I42 using internal parameters and external parameters specific to the camera according to lens work accuracy and assembly accuracy (steps 102 and 103). Each single-eye image whose image has been corrected is transferred to the parallax detection unit 23.
なお、カメラ固有の内部パラメータおよび外部パラメータはＺｈａｎｇの手法（“A flexible new technique for camera calibration”IEEE Transactions on Pattern Analysis and Machine Intelligence，22（11）：1330-1334，2000）等を用いることで求めることができる。 The camera-specific internal parameters and external parameters are obtained by using Zhang's method (“A flexible new technique for camera calibration” IEEE Transactions on Pattern Analysis and Machine Intelligence, 22 (11): 1330-1334, 2000). be able to.
視差検出部２３は、画像補正されたＩ１１〜Ｉ４２の各個眼像をＩ１１とＩ１２、Ｉ２１とＩ２２、Ｉ３１とＩ３２、Ｉ４１とＩ４２の各個眼像ペア（ステレオ画像ペア）に分け、各個眼像ペアから視差（視差画像）を検出する（ステップ１０４〜１０６）。視差検出部２３は４つの視差検出部（１）〜（４）を有し、視差検出部（１）では個眼像ペアＩ１１とＩ１２から視差画像１を検出し、視差検出部（２）では個眼像ペアＩ２１とＩ２２から視差画像２２を検出し、視差検出部（３）では個眼像ペアＩ３１とＩ３２から視差画像３を検出し、視差検出部（４）では個眼像ペアＩ４１とＩ４２から視差画像４を検出する。なお、視差検出部は一つのみとして、順次、各個眼像ペアＩ１１とＩ２１、Ｉ２１とＩ２２、Ｉ３１とＩ３２、Ｉ４１とＩ４２を選択し、視差画像１〜４を検出することでもよい。 The parallax detection unit 23 divides the image-corrected individual images of I11 to I42 into individual image pairs (stereo image pairs) of I11 and I12, I21 and I22, I31 and I32, and I41 and I42. Parallax (parallax image) is detected from (steps 104 to 106). The parallax detection unit 23 includes four parallax detection units (1) to (4), the parallax detection unit (1) detects the parallax image 1 from the single-eye image pairs I11 and I12, and the parallax detection unit (2). The parallax image 22 is detected from the single-eye image pairs I21 and I22, the parallax detection unit (3) detects the parallax image 3 from the single-eye image pair I31 and I32, and the parallax detection unit (4) detects the single-eye image pair I41 and The parallax image 4 is detected from I42. Note that it is also possible to detect parallax images 1 to 4 by sequentially selecting each single-eye image pair I11 and I21, I21 and I22, I31 and I32, and I41 and I42 with only one parallax detection unit.
ここでは、図３を参照して、視差検出部（１）を例にして視差検出処理を説明する。画像補正を行った画像Ｉ１１とＩ１２では、各画像における被写体の対応する点が被写体の距離に応じて水平方向にずれている。そのずれている位置を検出する。そのずれ量が視差にあたる。視差計算には、周知のブロックマッチングという手法を利用する。視差検出部（１）では、画像Ｉ１１から微小領域９を切り出し、それに対応する領域を検索するため、画像Ｉ１２から同じく微小領域９’を切り出し、評価値を算出する。評価値としては、例えば、二つの微小領域の間で輝度差の総和（ＳＡＤ）や、輝度差の２乗和（ＳＳＤ）などを求める。この場合、画像Ｉ１１の微小領域９の位置を基準に、画像Ｉ１２の微小領域９’の位置を所定の範囲内で移動させてそれぞれの位置でＳＡＤやＳＳＤの極小値を与える切り出し位置を検索することで、画像間の位置ずれを画素単位で求めることができる。画素単位の視差では精度が不足することが多いので、必要なら画素未満（サブピクセル）の視差も推定する。等角直線フィッティングやパラボラフィッティングを用いるのが一般的である。また、ＳＡＤやＳＳＤを計算するために用いるデータは輝度ではなく、輝度を微分（例えばＤＯＧ）した値を用いることも可能である。このようにして全画素に対するサブピクセルレベルの視差が計算され、視差画像１として検出される。ここで、視差画像１の各画素は画像Ｉ１１の各画素と対応している。また、視差が検出できなかった画素については、視差を０とする。 Here, with reference to FIG. 3, the parallax detection process will be described using the parallax detection unit (1) as an example. In the images I11 and I12 subjected to the image correction, the corresponding points of the subject in each image are shifted in the horizontal direction according to the distance of the subject. The shifted position is detected. The amount of deviation corresponds to parallax. For the parallax calculation, a known technique called block matching is used. In the parallax detection unit (1), in order to cut out the minute area 9 from the image I11 and search for the corresponding area, the minute area 9 'is similarly cut out from the image I12, and the evaluation value is calculated. As the evaluation value, for example, a sum of luminance differences (SAD) between two minute regions, a square sum of luminance differences (SSD), and the like are obtained. In this case, on the basis of the position of the minute area 9 of the image I11, the position of the minute area 9 ′ of the image I12 is moved within a predetermined range, and a cutout position that gives the minimum value of SAD or SSD is searched at each position. As a result, the positional deviation between images can be obtained in units of pixels. Since parallax in units of pixels often lacks accuracy, if necessary, parallax of less than a pixel (subpixel) is also estimated. It is common to use equiangular straight line fitting or parabolic fitting. In addition, the data used for calculating SAD and SSD can be a value obtained by differentiating luminance (for example, DOG) instead of luminance. In this way, the sub-pixel level parallax for all pixels is calculated and detected as the parallax image 1. Here, each pixel of the parallax image 1 corresponds to each pixel of the image I11. Also, the parallax is set to 0 for the pixels for which the parallax could not be detected.
同様にして、視差検出部（２）〜（４）でも、各々Ｉ２１とＩ２２、Ｉ３１とＩ３２、Ｉ４１とＩ４２の個眼像ペア（ステレオ画像ペア）に対して視差画像２〜４を検出する。視差検出部１３で得られた各視差画像１〜４は視差合成部２４に転送される。 Similarly, the parallax detection units (2) to (4) also detect the parallax images 2 to 4 for the monocular image pair (stereo image pair) of I21 and I22, I31 and I32, and I41 and I42, respectively. The parallax images 1 to 4 obtained by the parallax detection unit 13 are transferred to the parallax synthesis unit 24.
視差合成部２４は、各視差画像１〜４を合成して視差合成画像を生成する（ステップ１０７）。先に述べたように、被写体の色と波長選択フィルタの透過波長帯域が異なるときは画像が得られないので、視差も検出できない。各視差画像１〜４を合成することで、検出できなかった部分が補間される。視差合成部２４で合成された視差合成画像は距離算出部２５に転送される。 The parallax synthesizer 24 synthesizes the parallax images 1 to 4 to generate a parallax synthesized image (step 107). As described above, when the subject color and the transmission wavelength band of the wavelength selection filter are different from each other, an image cannot be obtained, and parallax cannot be detected. By synthesizing the parallax images 1 to 4, a portion that could not be detected is interpolated. The parallax composite image synthesized by the parallax synthesis unit 24 is transferred to the distance calculation unit 25.
距離算出部２５は、視差合成画像について、画素あるいは微小領域ごとの被写体距離を算出し、距離画像を生成する（ステップ１０８）。被写体距離は、視差から三角測量の原理に基づき、次式を用いて計算される。 The distance calculation unit 25 calculates a subject distance for each pixel or minute area of the parallax composite image, and generates a distance image (step 108). The subject distance is calculated using the following formula based on the principle of triangulation from parallax.
ここで、Ｌは被写体距離、Ｂは基線長（図１ではＢ１）、ｆはレンズセットの焦点距離、Ｓは個眼像ペアから検出される被写体像の視差、ｐは撮像素子（ＣＭＯＳセンサ等）の画素ピッチ（画素サイズ）である。 Here, L is the subject distance, B is the baseline length (B1 in FIG. 1), f is the focal length of the lens set, S is the parallax of the subject image detected from the pair of eye images, and p is the image sensor (CMOS sensor or the like). ) Pixel pitch (pixel size).
以上、図面を基に本発明の一実施形態について説明したが、本発明は図面に示した実施形態に限定されるものではない。例えば、レンズアレイを構成するレンズセットは８個、レンズセットペアの数は４組である必要はない。これに伴って波長選択フィルタの領域と透過波長帯域も増減される。また、レンズアレイは、被写体側あるいは像側の一方の面に複数のレンズを配列して構成することでもよい。 As mentioned above, although one Embodiment of this invention was described based on drawing, this invention is not limited to embodiment shown in drawing. For example, it is not necessary that the number of lens sets constituting the lens array is eight and the number of lens set pairs is four. Accordingly, the wavelength selective filter region and the transmission wavelength band are also increased or decreased. The lens array may be configured by arranging a plurality of lenses on one surface on the subject side or the image side.
１ レンズアレイ
２ 第１の波長選択フィルタ
３ 開口アレイ
３ａ 開口部
４ 撮像素子
５ 基板
６ 筐体
７ 第２の波長選択フィルタ
１０ 撮像ユニット（複眼撮像装置）
１０ 演算ユニット
２１ 画像キャプチャ部
２２ 画像補正部
２３ 視差検出部
２４ 視差合成部
２５ 距離算出部
DESCRIPTION OF SYMBOLS 1 Lens array 2 1st wavelength selection filter 3 Aperture array 3a Aperture 4 Image sensor 5 Board | substrate 6 Case 7 2nd wavelength selection filter 10 Imaging unit (compound eye imaging device)
DESCRIPTION OF SYMBOLS 10 Arithmetic unit 21 Image capture part 22 Image correction part 23 Parallax detection part 24 Parallax synthesis part 25 Distance calculation part
Claims (4)
前記レンズアレイの像面側に設けられた、前記レンズアレイを構成する複数のレンズのそれぞれにより略結像される前記被写体の像（以下、個眼像）の集合である複眼像を撮像する撮像素子と、
前記レンズアレイの被写体側に配置された第１の波長選択フィルタと、
前記第１の波長選択フィルタに対応して、前記撮像素子の前に配置された第２の波長選択フィルタとを有し、
前記レンズアレイを構成する複数のレンズは、２以上のレンズペアからなり、各レンズペアの焦点距離が等しくなっており、
前記第１及び第２の波長選択フィルタは、それぞれ前記レンズアレイを構成する複数のレンズに対応して分割されて、各レンズペア毎に異なる波長帯域を透過させる、
ことを特徴とする複眼撮像装置。 A lens array provided with a plurality of lenses arranged in an array at a position facing the subject;
Imaging that captures a compound eye image that is a set of images of the subject (hereinafter referred to as a single-eye image) that are substantially imaged by each of a plurality of lenses that form the lens array provided on the image plane side of the lens array. Elements,
A first wavelength selection filter disposed on the subject side of the lens array;
In correspondence with the first wavelength selection filter, a second wavelength selection filter disposed in front of the image sensor,
The plurality of lenses constituting the lens array includes two or more lens pairs, and the focal lengths of the lens pairs are equal.
The first and second wavelength selection filters are respectively divided corresponding to a plurality of lenses constituting the lens array, and transmit different wavelength bands for each lens pair.
A compound eye imaging apparatus characterized by the above.
ことを特徴とする請求項１に記載の複眼撮像装置。 The plurality of lenses constituting the lens array is composed of two or more lens pairs each having a different radius of curvature, and the two lenses constituting the lens pair have substantially the same radius of curvature, and the design center wavelength differs for each lens pair. The focal length at the design center wavelength of each lens pair is equal.
The compound eye imaging apparatus according to claim 1.
前記演算ユニットは、前記複眼像を複数の個眼像に分離する手段と、各レンズペアに対応する個眼像ペアごとに視差画像を検出する手段と、各視差画像を合成する手段と、合成された視差画像から被写体距離を計算し、距離画像を生成する手段とを有する、
ことを特徴とする距離画像取得装置。 An imaging unit that is a compound eye imaging device according to claim 1 or 2, and an arithmetic unit that calculates a distance image from a compound eye image captured by an imaging element of the imaging unit,
The arithmetic unit includes means for separating the compound eye image into a plurality of single-eye images, means for detecting a parallax image for each single-eye image pair corresponding to each lens pair, means for combining the parallax images, and combining Means for calculating a subject distance from the parallax image thus generated, and generating a distance image;
A distance image acquisition apparatus characterized by that.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011181888A JP2013044893A (en) | 2011-08-23 | 2011-08-23 | Compound-eye imaging device, and distance image acquisition device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011181888A JP2013044893A (en) | 2011-08-23 | 2011-08-23 | Compound-eye imaging device, and distance image acquisition device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013044893A true JP2013044893A (en) | 2013-03-04 |
Family
ID=48008856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011181888A Pending JP2013044893A (en) | 2011-08-23 | 2011-08-23 | Compound-eye imaging device, and distance image acquisition device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013044893A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014196322A1 (en) * | 2013-06-05 | 2014-12-11 | コニカミノルタ株式会社 | Compound eye imaging optical system and compound eye imaging device |
| CN108932847A (en) * | 2017-05-23 | 2018-12-04 | 杭州海康威视数字技术股份有限公司 | A kind of method and device acquiring signal lamp image |
| KR20190107678A (en) * | 2017-01-26 | 2019-09-20 | 소니 세미컨덕터 솔루션즈 가부시키가이샤 | Camera module and manufacturing method thereof, and electronic device |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001078215A (en) * | 1999-06-30 | 2001-03-23 | Canon Inc | Image pickup device |
| JP2008157851A (en) * | 2006-12-26 | 2008-07-10 | Matsushita Electric Ind Co Ltd | Camera module |
| WO2009104394A1 (en) * | 2008-02-18 | 2009-08-27 | パナソニック株式会社 | Compound eye camera module |
| JP2011149931A (en) * | 2009-12-21 | 2011-08-04 | Ricoh Co Ltd | Distance image acquisition device |
-
2011
- 2011-08-23 JP JP2011181888A patent/JP2013044893A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001078215A (en) * | 1999-06-30 | 2001-03-23 | Canon Inc | Image pickup device |
| JP2008157851A (en) * | 2006-12-26 | 2008-07-10 | Matsushita Electric Ind Co Ltd | Camera module |
| WO2009104394A1 (en) * | 2008-02-18 | 2009-08-27 | パナソニック株式会社 | Compound eye camera module |
| JP2011149931A (en) * | 2009-12-21 | 2011-08-04 | Ricoh Co Ltd | Distance image acquisition device |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014196322A1 (en) * | 2013-06-05 | 2014-12-11 | コニカミノルタ株式会社 | Compound eye imaging optical system and compound eye imaging device |
| KR20190107678A (en) * | 2017-01-26 | 2019-09-20 | 소니 세미컨덕터 솔루션즈 가부시키가이샤 | Camera module and manufacturing method thereof, and electronic device |
| KR102511467B1 (en) | 2017-01-26 | 2023-03-16 | 소니 세미컨덕터 솔루션즈 가부시키가이샤 | Camera module and its manufacturing method, and electronic device |
| CN108932847A (en) * | 2017-05-23 | 2018-12-04 | 杭州海康威视数字技术股份有限公司 | A kind of method and device acquiring signal lamp image |
| CN108932847B (en) * | 2017-05-23 | 2020-08-28 | 杭州海康威视数字技术股份有限公司 | Method and device for collecting signal lamp image |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5440927B2 (en) | Distance camera device | |
| JP6585006B2 (en) | Imaging device and vehicle | |
| JP5273356B2 (en) | Compound eye image input device and distance measuring device using the same | |
| JP5254291B2 (en) | Solid-state imaging device | |
| JP2009225454A (en) | Compound-eye imaging apparatus | |
| JP2012178693A (en) | Solid-state imaging apparatus and portable information terminal | |
| JP5455033B2 (en) | Distance image input device and outside monitoring device | |
| JP2013074400A (en) | Solid-state image pickup device | |
| JP2011149931A (en) | Distance image acquisition device | |
| JP2017208606A (en) | Image processing apparatus, imaging device, image processing method and image processing program | |
| CN111492201A (en) | Distance measuring camera | |
| JP7288226B2 (en) | ranging camera | |
| JP2007295113A (en) | Imaging apparatus | |
| JP5375531B2 (en) | Distance image acquisition device and distance image acquisition processing method | |
| JP2011185720A (en) | Distance obtaining device | |
| JP2010256296A (en) | Omnidirectional three-dimensional space recognition input apparatus | |
| WO2019181622A1 (en) | Distance measurement camera | |
| WO2016194178A1 (en) | Imaging device, endoscope and imaging method | |
| WO2016194179A1 (en) | Imaging device, endoscope and imaging method | |
| JP2013044893A (en) | Compound-eye imaging device, and distance image acquisition device | |
| JP2011090166A (en) | Stereo imaging apparatus | |
| JP5621615B2 (en) | Imaging device | |
| JP7328589B2 (en) | ranging camera | |
| CN113424020B (en) | Distance measuring camera | |
| JP2012195758A (en) | Imaging module |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20130802 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130821 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20130822 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140711 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150312 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150324 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150522 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151027 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151225 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160517 |