JP2000112019A - Electronic triplet lens camera apparatus - Google Patents
Electronic triplet lens camera apparatusInfo
- Publication number
- JP2000112019A JP2000112019A JP10286593A JP28659398A JP2000112019A JP 2000112019 A JP2000112019 A JP 2000112019A JP 10286593 A JP10286593 A JP 10286593A JP 28659398 A JP28659398 A JP 28659398A JP 2000112019 A JP2000112019 A JP 2000112019A
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- lens
- information
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Cameras In General (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Studio Devices (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は電子３眼カメラ装置
に関するものである。The present invention relates to an electronic three-lens camera device.
【０００２】[0002]
【従来の技術】家庭用コンピュータ（ＰＣ）の浸透とＰ
Ｃの高性能化に伴い、従来の銀塩カメラに代わって個人
用のデジタルカメラが販売され、かつ１００万画素を越
えるＣＣＤを搭載したデジタルカメラが販売されてい
る。この高精細なデジタルカメラは、撮像した画像をＶ
ＧＡ以上の高精細表示装置に表示したり、Ａ４以上の大
判のプリンターで印刷したりするといった用途に好適し
ている。しかし、高精細度にはデバイス上、さらにはメ
モリの容量や表示上の限界がある。一方、デジタルカメ
ラのユーザは圧倒的にＰＣの所有者が多いので、撮像に
より得られた画像を加工したりして楽しむ用途がある。2. Description of the Related Art Penetration of home computers (PC) and P
With the advancement of C, digital cameras for personal use have been sold in place of conventional silver halide cameras, and digital cameras equipped with a CCD having more than one million pixels have been sold. This high-definition digital camera converts captured images to V
It is suitable for applications such as displaying on a high-definition display device of GA or higher, and printing with a large-format printer of A4 or higher. However, high definition has limitations on device, memory capacity and display. On the other hand, since users of digital cameras are overwhelmingly owners of PCs, there is an application in which an image obtained by imaging is processed and enjoyed.
【０００３】また、現在では、撮像した画像の色調や拡
大、縮小を行なう変換処理、画素の色調等をあるモデル
に合わせて変更するモーフィング処理や、画素単位で変
化や加工を加えるレタッチ処理なども一般に行われてい
る。しかしこれらの処理は画像からの物体情報を用いな
いで、画像の色や濃淡情報のみを用いているので、画素
単位で処理するしかなく、多大な時間を要していた。At present, conversion processing for changing the color tone, enlargement, and reduction of a captured image, morphing processing for changing the color tone of pixels, etc. according to a certain model, and retouching processing for changing or processing pixel by pixel are also available. Generally done. However, these processes do not use the object information from the image, but use only the color and shade information of the image, so that the process has to be performed on a pixel-by-pixel basis, requiring a lot of time.
【０００４】一方、カメラでの撮像時において撮像と同
時に深さ方向の情報を取得することが出来れば、人物等
の物体と背景とを自動的に分離することが可能であり、
複雑な画像処理や手作業を行なわなくても容易に物体分
離（セグメンテーション）を行なうことが可能となる。
このようなセグメンテーションが出来れば背景を交換し
たり、物体のみを加工したり、３次元空間内に置いた
り、様々な楽しみが増えることが言うまでもない。ま
た、取得した３次元情報を用いて３次元のワイヤーフレ
ームを作ることも可能である。On the other hand, if information in the depth direction can be obtained at the same time as the image is taken by the camera, it is possible to automatically separate an object such as a person from the background.
Object separation (segmentation) can be easily performed without performing complicated image processing or manual work.
Needless to say, if such a segmentation can be performed, the background can be exchanged, only the object is processed, or the object is placed in a three-dimensional space. It is also possible to create a three-dimensional wire frame using the acquired three-dimensional information.
【０００５】この目的で、深さ方向の情報を取得するこ
とが可能なカメラについては、現在でも技術的に多くの
提案がされている。具体的には、レーザー光による、モ
アレや光切断法を用いて、深さ方向の情報を取得する方
法が提案されている。しかし、この方法では３次元計測
に時間がかかり、かつ、深さ方向の情報を色情報と一緒
に（同時に）取得することが出来ない等の問題があっ
た。またレーザー光を使うため装置が高価で大きくなる
という欠点がある。[0005] For this purpose, there are still many technical proposals for cameras capable of acquiring information in the depth direction. Specifically, a method has been proposed in which information in the depth direction is obtained using moiré or a light cutting method using laser light. However, this method has a problem that it takes time for three-dimensional measurement, and it is not possible to acquire information in the depth direction together with (at the same time as) color information. In addition, there is a disadvantage that the apparatus is expensive and large due to the use of laser light.
【０００６】また、ステレオカメラを用いて深さ方向の
情報を得る方法も提案されている。最も簡単でデジタル
カメラと相性が良いのは２眼式か多眼式のステレオカメ
ラである。この場合は、２つのＣＣＤ等の固体撮像素子
を用いるのでコスト高となるが、固体撮像素子のコスト
が下がれば、小型の構成でありながら短時間で画像を取
り込むことができる利点がある。A method of obtaining information in the depth direction using a stereo camera has also been proposed. The simplest and compatible with digital cameras are binocular or multi-view stereo cameras. In this case, the cost is high because two solid-state imaging devices such as CCDs are used. However, if the cost of the solid-state imaging device is reduced, there is an advantage that an image can be captured in a short time with a small configuration.
【０００７】このステレオカメラは既に古くから提案さ
れている。最近では、特開平６−２７３１７２号公報に
は光軸のずれ量を電気的に補正することが出来るステレ
オカメラの構成が提案されている。また特開平９−７３
５５４号公報には、ステレオ画像からの３次元シーンの
復元法として、一般化距離変換と称する手段によって入
力画像を距離画像に変換し、入力画像の画素値と距離画
像の画素値を併用した対応検索によって対応点を決定す
る手段を提案している。This stereo camera has been proposed for a long time. Recently, a configuration of a stereo camera capable of electrically correcting a shift amount of an optical axis has been proposed in Japanese Patent Application Laid-Open No. 6-273172. Also, JP-A-9-73
Japanese Patent Application Publication No. 554 discloses a method of restoring a three-dimensional scene from a stereo image, in which an input image is converted into a distance image by means called a generalized distance conversion, and a pixel value of the input image and a pixel value of the distance image are used together. We propose a means to determine the corresponding points by searching.
【０００８】また特開平９−２７９６９号公報では、物
体輪郭線近傍での視差を推定し、１組のステレオ画像か
ら２画像間の任意の視点に対応する中間像を生成する方
法を提案している。Japanese Patent Application Laid-Open No. 9-27969 proposes a method of estimating a parallax near an object outline and generating an intermediate image corresponding to an arbitrary viewpoint between two images from one set of stereo images. I have.
【０００９】一方、特開平５−２８９１７２号公報には
３眼式のカメラが開示されている。これはレンズ付フィ
ルムカメラの構成であり、３つのレンズを備えたカメラ
で、１つのフィルム感光領域に３つの視差の異なる被写
体を撮影し、これをレンチュキュラーレンズ付のフィル
ターを通して観察するものである。On the other hand, Japanese Patent Application Laid-Open No. 5-289172 discloses a three-lens camera. This is a configuration of a lens-equipped film camera. A camera equipped with three lenses photographs three subjects with different parallaxes in one film-sensitive area, and observes them through a filter with a lenticular lens. is there.
【００１０】[0010]
【発明が解決しようとする課題】上記した従来の技術に
おいては、ステレオカメラは２つの撮像素子を用いて被
写体を撮像し、２つの左右の表示装置に表示したり、ま
たは、抽出した特徴点のステレオマッチングによる三角
法により深さ方向の情報を求めている。しかし一般には
これらの技術は、ステレオビューアや距離の計測装置用
に作られたものであった。またステレオマッチングによ
る三角法の計測は従来から既知の技術であるが、従来の
提案では、深さ方向の情報を獲得するためのアルゴリズ
ムの一つであったり、別の角度から見た場合の画像を推
定する方法を開示したものであった。In the prior art described above, a stereo camera takes an image of a subject using two image pickup devices and displays the image on two left and right display devices, or extracts the extracted feature points. Information in the depth direction is obtained by triangulation using stereo matching. In general, however, these techniques were designed for stereo viewers and distance measuring devices. Also, triangulation measurement by stereo matching is a conventionally known technique, but in the conventional proposal, it is one of the algorithms for acquiring information in the depth direction, or the image when viewed from another angle Has been disclosed.
【００１１】したがって、上記した従来の方法は、デジ
タル画像の取得やその加工に適したものでは無い。実際
に２眼式のカメラで画像を獲得し、通常のステレオマッ
チング処理を実装し、フィールドでのテストを行うと、
多くの問題点が有ることが判明した。したがって、ステ
レオカメラを用いて物体と背景を分離する装置を実現す
るためには以下の要件を満たす必要がある。 ・物体と背景の分離に必要な物体単位の最低限の深さ情
報が得られること。 ・色調情報を得る撮像素子は８０万画素以上の高精細で
あり、レンズ性能も優れていること。 ・通常のデジタルカメラの１．５倍以下のコストである
こと。 ・消費電力の増加が通常のデジタルカメラの２０％以下
であること。 ・画像を取込むメモリの容量が通常のデジタルカメラの
１．５倍以下であること。 ・深さ方向の情報を取得するにあたって、操作者に過大
な負担を与えないこと。Therefore, the above-mentioned conventional method is not suitable for obtaining or processing a digital image. When you actually acquire an image with a twin-lens camera, implement normal stereo matching processing, and test in the field,
It turns out that there are many problems. Therefore, in order to realize an apparatus for separating an object and a background using a stereo camera, the following requirements must be satisfied.・ The minimum depth information for each object required to separate the object from the background can be obtained. The image sensor for obtaining color tone information has a high definition of 800,000 pixels or more and has excellent lens performance. -The cost is 1.5 times or less that of a normal digital camera. -The increase in power consumption is 20% or less of that of a normal digital camera. -The capacity of the memory for capturing images is 1.5 times or less that of a normal digital camera. -When acquiring information in the depth direction, do not give an excessive burden to the operator.
【００１２】本発明はこのような課題に着目してなされ
たものであり、その目的とするところは、１つの撮像手
段により撮像した画像の深度情報を、それよりも有効画
素数の少ない２つの撮像手段により撮像した画像を参照
して得ることによって、低コストで高品質の物体分離お
よび３次元的な画像情報を取得可能な電子３眼カメラ装
置を提供することにある。The present invention has been made in view of such a problem, and an object of the present invention is to provide information on the depth of an image captured by a single image capturing means by using two pieces of information having a smaller number of effective pixels. It is an object of the present invention to provide an electronic three-lens camera device capable of obtaining high-quality object separation and three-dimensional image information at low cost by referring to an image captured by an imaging unit.
【００１３】[0013]
【課題を解決するための手段】上記の目的を達成するた
めに、第１の発明に係る電子３眼カメラ装置は、第１の
結像光学系と第１の固体撮像素子を有する第１の撮像手
段と、第２の結像光学系と上記第１の固体撮像素子より
有効画素数の少ない第２の固体撮像素子を有し、上記第
２の結像光学系の光軸が上記第１の結像光学系の光軸と
平行である第２の撮像手段と、第３の結像光学系と上記
第１の固体撮像素子より有効画素数の少ない第３の固体
撮像素子を有し、上記第３の結像光学系の光軸が上記第
１の結像光学系の光軸と平行である第３の撮像手段と、
上記第２の撮像手段の撮像した画像と上記第３の撮像手
段の撮像した画像とを参照することにより、上記第１の
撮像手段の撮像した画像の深度情報を得る深度検出手段
とを具備する。In order to achieve the above object, an electronic three-lens camera device according to a first aspect of the present invention comprises a first solid-state imaging device having a first imaging optical system and a first solid-state imaging device. An imaging unit, a second imaging optical system, and a second solid-state imaging device having a smaller number of effective pixels than the first solid-state imaging device, wherein the optical axis of the second imaging optical system is the first solid-state imaging device. A second imaging unit parallel to the optical axis of the imaging optical system, a third imaging optical system, and a third solid-state imaging device having a smaller number of effective pixels than the first solid-state imaging device; Third imaging means in which the optical axis of the third imaging optical system is parallel to the optical axis of the first imaging optical system;
A depth detection unit that obtains depth information of the image captured by the first imaging unit by referring to the image captured by the second imaging unit and the image captured by the third imaging unit. .
【００１４】また、第２の発明に係る電子３眼カメラ装
置は、第１の発明に係る電子３眼カメラ装置において、
上記第２の結像光学系と上記第３の結像光学系は等価で
あり、かつ、上記第２の固体撮像素子と上記第３の固体
撮像素子は等価である。The electronic three-lens camera device according to the second invention is the electronic three-lens camera device according to the first invention,
The second imaging optical system and the third imaging optical system are equivalent, and the second solid-state imaging device and the third solid-state imaging device are equivalent.
【００１５】また、第３の発明に係る電子３眼カメラ装
置は、第１または第２の発明に係る電子３眼カメラ装置
において、上記第２の結像光学系の光軸と上記第３の結
像光学系の光軸は略３ｃｍ以上離間している。An electronic three-lens camera device according to a third aspect of the present invention is the electronic three-lens camera device according to the first or second aspect, wherein the optical axis of the second imaging optical system and the third The optical axes of the imaging optics are separated by approximately 3 cm or more.
【００１６】[0016]
【発明の実施の形態】以下、図面を参照して本発明の実
施形態を詳細に説明する。 （第１実施形態）図１は、本発明の第１実施形態に係る
電子３眼カメラ装置の構成を示す図である。本発明の電
子３眼カメラ装置を適用した３眼式のデジタルカメラ３
０は、３つのレンズと３つの固体撮像素子（以下、単に
撮像素子と呼ぶ）を具備している。主カメラに搭載され
た第１の撮像素子（図ではＣＣＤ）１と主レンズ（第１
の結像光学系）４が光軸７に沿って配置されるととも
に、２つの焦点距離、画角、口径が等価な副カメラに搭
載された第２、第３の撮像素子（図ではＣＣＤ）２、３
と副レンズ５、６（第２、第３の結像光学系）がそれぞ
れ光軸８、９に沿って配置されている。上記した主レン
ズ４と第１の撮像素子１とは第１の撮像手段を構成し、
上記した副レンズ５と第２の撮像素子２とは第２の撮像
手段を構成し、上記した副レンズ６と第３の撮像素子３
とは第３の撮像手段を構成する。Embodiments of the present invention will be described below in detail with reference to the drawings. (First Embodiment) FIG. 1 is a diagram showing a configuration of an electronic three-lens camera device according to a first embodiment of the present invention. Trinocular digital camera 3 to which the electronic trinocular camera device of the present invention is applied
Reference numeral 0 includes three lenses and three solid-state imaging devices (hereinafter, simply referred to as imaging devices). A first imaging device (CCD in the figure) 1 mounted on a main camera and a main lens (first
Imaging optical system) 4 is arranged along the optical axis 7 and the second and third image pickup devices (CCD in the figure) mounted on the sub-cameras having the same two focal lengths, angles of view, and apertures Two, three
And sub-lenses 5 and 6 (second and third imaging optical systems) are arranged along optical axes 8 and 9, respectively. The main lens 4 and the first imaging device 1 constitute a first imaging unit,
The sub-lens 5 and the second imaging element 2 constitute a second imaging unit, and the sub-lens 6 and the third imaging element 3
Constitutes the third imaging means.
【００１７】通常のステレオカメラは、全く等価な２つ
のレンズと撮像素子が用いられていた。しかしデジタル
カメラの画像が高品質化すると、１００万画素を越える
高価な撮像素子やレンズを２個（２個以上）搭載するこ
とが形状、重量、価格のどれをとっても実用的とは言い
難い。そこで、本実施形態の構成では図１に示すよう
に、高精細な画像を撮像する撮像素子１及び主レンズ４
の他に、画像の深度情報を計測するための等価な２つの
撮像素子２，３及び副レンズ５，６を別に備えている。An ordinary stereo camera uses two completely equivalent lenses and an image sensor. However, when the image quality of a digital camera becomes high, it is hardly practical to mount two (two or more) expensive imaging elements and lenses exceeding one million pixels, regardless of shape, weight, or price. Therefore, in the configuration of the present embodiment, as shown in FIG. 1, the imaging element 1 and the main lens 4 for capturing a high-definition image.
In addition, two equivalent imaging devices 2 and 3 and sub-lenses 5 and 6 for measuring depth information of an image are separately provided.
【００１８】撮像素子１，２，３はＣＣＤ、ＣＭＯＳセ
ンサ、ＣＭＤ等の集積型の光電変換素子で構成され、レ
ンズ系４，５，６は１個または複数のレンズと鏡枠、ア
クチュエータを備えている。The imaging devices 1, 2, and 3 are composed of integrated photoelectric conversion devices such as CCDs, CMOS sensors, and CMDs. The lens systems 4, 5, and 6 include one or more lenses, a lens frame, and an actuator. ing.
【００１９】撮像素子１は高精細な画像を取り込むた
め、最低でもＳＶＧＡの表示が可能な８１万画素であ
り、好ましくは２００万画素以上である。撮像素子２，
３は画像深度情報を計測に用いるために撮像素子１より
も画素数が小さいものを用いる。画素数が小さいと受光
面積が小さくて良い利点がある。例えば３５万画素のＣ
ＣＤは、１／４から１／６インチで十分であり、焦点距
離も口径も小さくできる。よってＣＣＤのみならず、光
学系も小さく出来て、極めて安価なカメラとなる。上記
した副レンズ５，６は従来のＡＦ（自動焦点）用のレン
ズ系を採用しても良い。The image sensor 1 has at least 810,000 pixels, preferably 2 million pixels or more, capable of displaying SVGA in order to capture a high-definition image. Image sensor 2,
Reference numeral 3 denotes a device having a smaller number of pixels than the image sensor 1 in order to use image depth information for measurement. When the number of pixels is small, there is an advantage that the light receiving area can be small. For example, C of 350,000 pixels
A CD of 1/4 to 1/6 inch is sufficient, and both the focal length and the aperture can be reduced. Therefore, not only the CCD but also the optical system can be made smaller, resulting in an extremely inexpensive camera. The above-mentioned sub-lenses 5 and 6 may employ a conventional lens system for AF (auto focus).
【００２０】また基本構成として記録装置１０、制御回
路１１、操作部１２、フラッシュ系１３を備えている。
制御回路１１は上記第２の撮像手段の撮像した画像と上
記第３の撮像手段の撮像した画像とを参照することによ
り、上記第１の撮像手段の撮像した画像の深度情報を得
る深度検出手段としての機能を有している。また、記録
装置１０は脱着可能でも良い。また焦点調節機能や、Ａ
Ｅ（自動露出）、ＡＦ（自動焦点）、日時印刷などの機
能を有していても良い。またＡＦ機能は撮像素子２，３
により代用しても良い。また撮像素子２，３の一部の画
素を用いて計測しても良い。またズーム機能やコンピュ
ータとの通信機能を備えていてもよい。The recording apparatus includes a recording device 10, a control circuit 11, an operation unit 12, and a flash system 13 as a basic configuration.
The control circuit 11 refers to the image captured by the second image capturing means and the image captured by the third image capturing means to obtain depth information of the image captured by the first image capturing means. As a function. Further, the recording device 10 may be detachable. Also focus adjustment function, A
It may have functions such as E (auto exposure), AF (auto focus), date and time printing, and the like. The AF function is provided for the image pickup devices 2 and 3
May be substituted. Alternatively, the measurement may be performed using some pixels of the imaging elements 2 and 3. Further, a zoom function and a communication function with a computer may be provided.
【００２１】上記したように、本実施形態では、撮像素
子１により撮像した画像の深度情報を、それよりも有効
画素数の少ない２つの撮像素子２，３により撮像した画
像を参照して得るようにしたので、低コストで高品質の
物体分離および３次元的な画像情報を取得可能な電子３
眼カメラ装置を提供することができる。As described above, in the present embodiment, depth information of an image picked up by the image pickup device 1 is obtained by referring to images picked up by the two image pickup devices 2 and 3 having a smaller effective pixel number. , Which enables low-cost, high-quality separation of objects and acquisition of three-dimensional image information.
An eye camera device can be provided.
【００２２】図２は基本的な２眼ステレオ視の原理を説
明するための図である。ここでは説明を簡単にするため
に平行に配置された２つのカメラを考える。ここで左右
のカメラのレンズ中心ＯＬ、ＯＲを通る直線をｘ軸、光
軸方向をｚ軸、ｘ、ｚと直交する方向をｙ軸とする。ま
た２つのカメラ間の距離として定義される基線長をｄと
し、カメラの焦点距離をそれぞれｆ１、ｆ２とする。FIG. 2 is a diagram for explaining the principle of basic twin-lens stereo vision. Here, for the sake of simplicity, consider two cameras arranged in parallel. Here, a straight line passing through the lens centers OL and OR of the left and right cameras is defined as an x-axis, an optical axis direction is defined as a z-axis, and a direction orthogonal to x and z is defined as a y-axis. Also, let d be the base line length defined as the distance between the two cameras, and f1 and f2 be the focal lengths of the cameras, respectively.
【００２３】ここで、左右のカメラのレンズ中心ＯＬ、
ＯＲから焦点距離ｆ１、ｆ２だけ離れた光軸に垂直な２
つのスクリーン面において、３次元シーンの１点（Ｘ，
Ｙ，Ｚ）の投影像を考える。レンズの光軸が各スクリー
ンを貫く点を各スクリーンの原点として左右の座標系を
それぞれとり、左座標系におけるＰＬ座標を（ＸＬ，Ｙ
Ｌ）、右座標系におけるＰＲ座標を（ＸＲ，ＹＲ）とす
ると、３次元シーンの１点（Ｘ，Ｙ，Ｚ）の左右画像へ
の投影像はそれぞれ、ＰＬ（ＸＬ，ＹＬ）（１４）、Ｐ
Ｒ（ＸＲ，ＹＲ）（１５）で表わせる。この左右画像へ
の投影像ＰＬ（ＸＬ，ＹＬ）（１４）、ＰＲ（ＸＲ，Ｙ
Ｒ）（１５）の間には、一般にエピポーラの条件と呼ば
れる以下の関係が成立する。Here, the lens centers OL of the left and right cameras,
2 that is perpendicular to the optical axis and separated from the OR by the focal lengths f1 and f2
One point (X,
Consider the projected image of (Y, Z). The point where the optical axis of the lens passes through each screen is taken as the origin of each screen, and the left and right coordinate systems are respectively taken.
L), and assuming that the PR coordinates in the right coordinate system are (XR, YR), the projected images of one point (X, Y, Z) of the three-dimensional scene on the left and right images are respectively PL (XL, YL) (14) , P
R (XR, YR) (15). The projected images PL (XL, YL) (14) and PR (XR, Y
R) and (15), the following relationship generally called an epipolar condition is established.
【００２４】ＸＬ＞ＸＲ ＹＬ＝ＹＲ また、以下の４つの等式が成立する。XL> XR YL = YR Further, the following four equations hold.
【００２５】ＸＬ＝（ｆ１／Ｚ）＊（Ｘ−ｄ／２） ＸＲ＝（ｆ２／Ｚ）＊（Ｘ＋ｄ／２） ＹＬ＝（ｆ１／Ｚ）＊Ｙ ＹＲ＝（ｆ２／Ｚ）＊Ｙ ここで＊は積算を表わす。光学系が同じ焦点距離（ｆ＝
ｆ１＝ｆ２）ならば、 Ｚ＝ｆｄ／（ＸＬ−ＸＲ） （１式） となる。このＺは深さ情報を表わす。また、ＸＬ−ＸＲ
は画素ピッチを表わしている。XL = (f1 / Z) * (X−d / 2) XR = (f2 / Z) * (X + d / 2) YL = (f1 / Z) * Y YR = (f2 / Z) * Y * Represents integration. The optical system has the same focal length (f =
If f1 = f2), Z = fd / (XL−XR) (Equation 1). This Z represents depth information. XL-XR
Represents the pixel pitch.
【００２６】一方、焦点距離ｆ１とｆ２が異なる場合
は、ＺにＸ成分が含まれることになって、 Ｚ＝（（ｆ１−ｆ２）＊Ｘ＋（ｆ１＋ｆ２）ｄ／２｝／（ＸＬ−ＸＲ） （２式） となり複雑な式になってしまうので、ｆ１とｆ２は同じ
であることが望ましい。On the other hand, when the focal lengths f1 and f2 are different, the X component is included in Z, and Z = ((f1-f2) * X + (f1 + f2) d / 2} / (XL-XR) (Equation 2) Since it becomes a complicated equation, f1 and f2 are desirably the same.
【００２７】ここで１０ミクロン画素の長手方向に１．
１９４ｍｍの有効長のＣＣＤを用いてｆ＝２．２ｃｍの
光学系及びｄ＝３ｃｍとすると、最小の計測距離は１１
ｃｍ、最大計測距離は６６００ｃｍ、１１ｃｍでの最大
計測精度は０．０１８ｃｍとなり、極めて精度の良い三
角測量が可能である。実際には後述する第２実施形態で
示すように比較的小さな撮像素子を用いるため、ここで
は１０ｍ程度の計測距離を考える。Here, in the longitudinal direction of a 10-micron pixel, 1.
Assuming an optical system of f = 2.2 cm and d = 3 cm using a CCD having an effective length of 194 mm, the minimum measurement distance is 11
cm, the maximum measurement distance is 6600 cm, and the maximum measurement accuracy at 11 cm is 0.018 cm, and triangulation with extremely high accuracy is possible. In practice, a relatively small image sensor is used as shown in a second embodiment described later, so a measurement distance of about 10 m is considered here.
【００２８】焦点距離ｆ１とｆ２が等しくない場合には
次の近似的な方法を用いる。すなわち、（２式）のＸ
Ｌ，ＸＲを求めた後、 Ｚ１＝（（ｆ１＋ｆ２）ｄ／２）／（ＸＬ−ＸＲ） によってＺ１を求める。このあと、Ｚ１とｆとＸＬによ
って決まる画角からＸを求める。その後、求めたＸを
（２式）に代入してＺを求める。次に、再度、Ｚとｆと
ＸＬによって決まる画角からＸを求める。この方法を繰
り返すことによって真のＺを求める。この場合は逐次計
算が必要なので計算時間が膨大となる。よって焦点距離
ｆ１とｆ２は等しいことが望ましい。If the focal lengths f1 and f2 are not equal, the following approximate method is used. That is, X of (Equation 2)
After obtaining L and XR, Z1 is obtained by Z1 = ((f1 + f2) d / 2) / (XL-XR). Thereafter, X is obtained from the angle of view determined by Z1, f, and XL. Then, the obtained X is substituted into (Equation 2) to obtain Z. Next, X is obtained again from the angle of view determined by Z, f, and XL. The true Z is obtained by repeating this method. In this case, since the sequential calculation is required, the calculation time becomes enormous. Therefore, it is desirable that the focal lengths f1 and f2 are equal.
【００２９】以下に上記した第１実施形態の作用を説明
する。まず、図３に示すように、撮像素子１及び主レン
ズ４を用いて被写体を撮像して高精細画像３１を得る。
この場合、ＡＥ、ＡＦ、ズーム等の機能を有していても
良い。また、高精細画像３１は８１万画素以上であるこ
とを想定する。The operation of the first embodiment will be described below. First, as shown in FIG. 3, a subject is imaged using the image sensor 1 and the main lens 4 to obtain a high definition image 31.
In this case, functions such as AE, AF, and zoom may be provided. Further, it is assumed that the high definition image 31 has 810,000 pixels or more.
【００３０】次に図４に示すように、撮像素子２及び副
レンズ５と、撮像素子３及び副レンズ６を用いて被写体
を撮影して深さ計測用の左右画像１４，１５を得る。こ
の２つの画像から（１式）に従うステレオマッチングの
方法を用いて各画素単位、及び画素ブロック単位で深さ
の推定を行なって深さ情報を得る。この深さ情報に基づ
いてまとまった物体の画像（Ａ、Ｂ、Ｃ）を物体Ａ、Ｂ
や背景Ｃとして分離する。勿論、画像データとともにこ
の深さ情報を記録して３次元データとして用いても良
い。Next, as shown in FIG. 4, a subject is photographed by using the image pickup device 2 and the sub-lens 5 and the image pickup device 3 and the sub-lens 6, and left and right images 14 and 15 for depth measurement are obtained. From these two images, depth information is obtained by estimating the depth for each pixel and pixel block using the stereo matching method according to (Equation 1). The images (A, B, and C) of the objects collected based on the depth information are converted into the objects A and B.
Or as a background C. Of course, this depth information may be recorded together with the image data and used as three-dimensional data.
【００３１】ここで左右画像への投影像１４、１５は画
素の粗い映像であるため、図５に示すように、撮像素子
１及び副レンズ４により撮影した高精細画像３１と、物
体Ａ、Ｂと背景Ｃとを分離した結果との合成処理を行な
う。この結果、物体Ａ、Ｂの画像に、より高精細なテク
スチャー情報を含めることができる。図６は上記の方法
で合成した最終的な画像を示している。Since the projected images 14 and 15 on the left and right images are images having coarse pixels, as shown in FIG. 5, a high-definition image 31 photographed by the image pickup device 1 and the sub-lens 4 and objects A and B And a result obtained by separating the background C from the background. As a result, images of the objects A and B can include higher-definition texture information. FIG. 6 shows a final image synthesized by the above method.
【００３２】なお、本実施形態のカメラをデジタル画像
のみを撮影するカメラに切り替える事も可能である。 （第２実施形態）図７は本発明の第２実施形態を説明す
るための図である。第２実施形態の基本構成は上記した
第１実施形態と同様である。電子３眼カメラ３０は主レ
ンズ４と等価な２つの副レンズ５、６、及び対応する撮
像素子１、２、３を備えている。副レンズ５及び６の基
線長を２２とする。ここで深さ情報Ｚは（１式）にした
がって、 Ｚ＝ｆｄ／（ＸＬ−ＸＲ） となる。深さ情報Ｚの計測距離の上限は、ｆを大きく、
ｄを大きく、ＸＬ−ＸＲ、即ち画素ピッチを小さくする
のが望ましい。有効面積の小さなＣＣＤでは１／５イン
チで有効画素が３６２×４９２であるならば、３．０４
８×４．０６４ｍｍで８．２６ミクロンピッチとなる。
この場合はＦ３で、ｆ＝５ｍｍの光学系を用いると、程
度が標準的であり、水平画角が３９．３度となる。この
場合は Ｚ＝５ｄ／０．００８２６ 単位（ｍｍ） の関係を得る。この関係を用いてｄの各値に対するＺを
求めると以下のようになる。It should be noted that the camera of the present embodiment can be switched to a camera that captures only digital images. (Second Embodiment) FIG. 7 is a view for explaining a second embodiment of the present invention. The basic configuration of the second embodiment is the same as that of the above-described first embodiment. The electronic three-lens camera 30 includes two sub-lenses 5 and 6 equivalent to the main lens 4 and corresponding imaging devices 1, 2 and 3. The base length of the sub-lenses 5 and 6 is 22. Here, the depth information Z is given by the following equation (1): Z = fd / (XL−XR) The upper limit of the measurement distance of the depth information Z is increased by f,
It is desirable to increase d and to reduce XL-XR, that is, the pixel pitch. If a CCD having a small effective area is 1/5 inch and the effective pixels are 362 × 492, it is 3.04.
8.times.4.064 mm gives a pitch of 8.26 microns.
In this case, when an optical system of F3 and f = 5 mm is used, the degree is standard and the horizontal angle of view is 39.3 degrees. In this case, a relationship of Z = 5d / 0.00826 unit (mm) is obtained. When Z for each value of d is obtained using this relationship, the result is as follows.
【００３３】 ｄ（ｃｍ） Ｚ（ｍ） １ｃｍ ６ｍ ３ｃｍ １８ｍ ５ｃｍ ３０ｍ １０ｃｍ ６０ｍ 以上から本実施形態では基線長ｄ、すなわち、等価な２
つのカメラの中心距離を略３ｃｍ以上とする。勿論、こ
れ以上大きなｆ値や画素のＣＣＤを用いることにより計
測距離を大きくすることができる。 （第３実施形態）図８は、本発明の第３実施形態を説明
するためのシステム構成のブロック図である。第３実施
形態のカメラの基本構成は上記した第１実施形態と同様
である。ここではシステム構成の例を示す。ＣＣＤ等か
らなる撮像素子１，２，３からの電気信号は個別のＡＤ
変換器１６−１，１６−２，１６−３を用いてデジタル
画像に変換される。他に電源回路や増幅回路を設けても
良い。また、撮像素子としてＣＭＯＳセンサを用い、こ
の内部にＡＤ変換機能を持たせてもよい。D (cm) Z (m) 1 cm 6 m 3 cm 18 m 5 cm 30 m 10 cm 60 m From the above, in the present embodiment, the base line length d, that is, the equivalent 2
The center distance between the two cameras is about 3 cm or more. Of course, the measurement distance can be increased by using a CCD having a larger f-number and a larger pixel. (Third Embodiment) FIG. 8 is a block diagram of a system configuration for explaining a third embodiment of the present invention. The basic configuration of the camera of the third embodiment is the same as that of the first embodiment. Here, an example of the system configuration is shown. The electric signals from the image pickup devices 1, 2, 3 composed of a CCD or the like
It is converted into a digital image using the converters 16-1, 16-2, 16-3. In addition, a power supply circuit and an amplifier circuit may be provided. Further, a CMOS sensor may be used as an image sensor, and an AD conversion function may be provided inside the CMOS sensor.
【００３４】ＡＤ変換器１６−１，１６−２，１６−３
からのデジタル画像は画像処理・画像変換・画像圧縮部
１７−１，１７−２，１７−３に入力される。ここでは
色の補正や画像圧縮等を行なう。画像処理・画像変換・
画像圧縮部１７−１，１７−２，１７−３を経た画像は
記録装置１０に記録される。ここではＡＤ変換器１６−
１，１６−２，１６−３及び画像処理・画像変換・画像
圧縮部１７−１，１７−２，１７−３を３個ずつ設けた
が１つの素子を切り替えて用いるようにしてもよい。ま
た、画像処理・画像変換・画像圧縮部１７−１，１７−
２，１７−３における機能をソフトウェア処理のみで実
現してもよい。AD converters 16-1, 16-2, 16-3
Are input to the image processing / image conversion / image compression units 17-1, 17-2, and 17-3. Here, color correction, image compression, and the like are performed. Image processing / Image conversion /
The images that have passed through the image compression units 17-1, 17-2, and 17-3 are recorded in the recording device 10. Here, the AD converter 16-
1, 16-2, 16-3 and three image processing / image conversion / image compression units 17-1, 17-2, 17-3 are provided, but one element may be switched and used. In addition, image processing / image conversion / image compression units 17-1 and 17-
The functions in 2, 17-3 may be realized only by software processing.
【００３５】図８において、１１は全体を制御する制御
装置、１２は操作部、１３はフラッシュ系、１８はＡ
Ｅ、１９はＡＦ、２０は焦点補正用のモータ（ＡＦ
Ａ）、２１は表示回路である。 （第４実施形態）図９は、本発明の第４実施形態を説明
するための図である。第４実施形態のカメラの基本構成
は上記した第１実施形態と同様である。ここでは光学系
の例を示す。１，２，３は撮像素子、４は主レンズ、
５，６は副レンズである。ｆ１、ｆ２、ｆ３は焦点距離
である。ここで撮像素子１は高精細な画像を取り込み、
撮像素子２，３はステレオマッチングに用いるものとす
る。このため、撮像素子２，３は画素数、ｆ値（焦点距
離）、画角、Ｆ値が一致していることが望ましい。例え
ば撮像素子２，３は有効面積の小さなＣＣＤとして１／
５インチで有効画素３６２×４９２のものは、３．０４
８×４．０６４ｍｍで８．２６ミクロンピッチとなる。
この場合はＦ３で、ｆ＝５ｍｍの光学系を用いると、程
度が標準的であり、水平画角が３９．９度となる。In FIG. 8, reference numeral 11 denotes a control device for controlling the whole, 12 is an operation unit, 13 is a flash system, and 18 is A
E, 19 are AF, 20 is a motor for focus correction (AF
A) and 21 are display circuits. (Fourth Embodiment) FIG. 9 is a view for explaining a fourth embodiment of the present invention. The basic configuration of the camera of the fourth embodiment is the same as that of the first embodiment. Here, an example of an optical system is shown. 1, 2, 3 are imaging elements, 4 is a main lens,
Reference numerals 5 and 6 denote sub-lenses. f1, f2, and f3 are focal lengths. Here, the image sensor 1 captures a high-definition image,
The imaging devices 2 and 3 are used for stereo matching. Therefore, it is desirable that the number of pixels, the f-number (focal length), the angle of view, and the F-number of the imaging elements 2 and 3 match. For example, the imaging devices 2 and 3 are 1 /
5 inches and effective pixels of 362 x 492 are 3.04
8.times.4.064 mm gives a pitch of 8.26 microns.
In this case, when an optical system of F3 and f = 5 mm is used, the degree is standard and the horizontal angle of view is 39.9 degrees.
【００３６】しかし、撮像素子１は高精細な画像を撮像
するので画素数が大きくなる。例えば撮像素子１は画素
数の小さなＣＣＤとして２／３インチで有効画素１３０
０×１０３０のものは、８．７×６．９ｍｍで６．７ミ
クロンピッチとなる。この場合はＦ３で、ｆ＝１３ｍｍ
の光学系を用いると、程度が標準的で、かつ、水平画角
が３４．３度となる。この場合は撮像素子１の大きさは
撮像素子２、３の３倍程度のものが必要であり、かつ、
主レンズ４のｆ値、口径、Ｆ値も、副レンズ５，６のそ
れよりも３倍程度のものが必要である。However, since the image pickup device 1 picks up a high-definition image, the number of pixels increases. For example, the image pickup device 1 is a CCD having a small number of pixels and has 2/3 inch effective pixels 130
In the case of 0 × 1030, the pitch is 8.7 × 6.9 mm and the pitch is 6.7 μm. In this case, F3, f = 13 mm
When the optical system is used, the degree is standard and the horizontal angle of view is 34.3 degrees. In this case, the size of the image sensor 1 needs to be about three times the size of the image sensors 2 and 3, and
The f-number, aperture, and F-number of the main lens 4 need to be about three times those of the sub-lenses 5 and 6.
【００３７】このように、撮像素子１の撮像系について
は、撮像素子２，３の撮像系と比較して、ｆ値、口径、
Ｆ値の少なくとも１つが大きいものを用いることによっ
て、高精細な画像で物体分離や深さの情報をも具備する
電子３眼カメラ装置が得られる。 （第５実施形態）図１０は、本発明の第５実施形態を説
明するための図である。ここでは光学系の例を示す。こ
の例は主レンズと副レンズの配置関係を示す。４は主レ
ンズ、５，６は副レンズである。２２は基線長である。
ここで、主レンズ４は高精細な画像を取り込み、副レン
ズ５，６はステレオマッチング用に用いる。As described above, the image pickup system of the image pickup device 1 has an f-number, aperture,
By using an F-number having a large value, an electronic three-lens camera device having a high-definition image and also having information on object separation and depth can be obtained. (Fifth Embodiment) FIG. 10 is a view for explaining a fifth embodiment of the present invention. Here, an example of an optical system is shown. This example shows an arrangement relationship between the main lens and the sub lens. 4 is a main lens, 5 and 6 are sub-lenses. 22 is a base line length.
Here, the main lens 4 captures a high-definition image, and the sub-lenses 5 and 6 are used for stereo matching.
【００３８】この画像の取り込みと、深さの推定、及び
高精細画像との位置合わせは後述する第１１実施形態で
説明するが、主レンズ４と副レンズ５，６との位置関係
を最適に配置することにより、より高精度に位置合わせ
を行なうことが可能である。The capture of the image, the estimation of the depth, and the alignment with the high-definition image will be described in an eleventh embodiment described later, but the positional relationship between the main lens 4 and the sub-lenses 5 and 6 is optimized. By arranging, positioning can be performed with higher accuracy.
【００３９】すなわち、図１０に示すように、主レンズ
４の光軸と、副レンズ５または６の光軸とはともに、副
レンズ５と副レンズ６とを結ぶ直線に直交し、かつその
接点が副レンズ５の光軸中心となるように配置されてい
る。副レンズ５と副レンズ６とを結ぶ直線を成分とする
ベクトルは基線ベクトルと呼ばれる。これによって図２
のｘ方向、特にその中心が正確に一致するため、後のマ
ッチング処理が極めて簡素化される。 （第６実施形態）図１１は、本発明の第６実施形態を説
明するための図である。第６実施形態のカメラの基本構
成は第１実施形態と同様である。ここでは光学系の例を
示す。この例は主レンズ４と副レンズ５，６の配置関係
を示している。ここでは主レンズ４は高精細画像を取り
込むために用いられ、副レンズ５，６はステレオマッチ
ング用に用いられる。That is, as shown in FIG. 10, both the optical axis of the main lens 4 and the optical axis of the sub-lens 5 or 6 are orthogonal to the straight line connecting the sub-lens 5 and the sub-lens 6, and the contact point thereof. Are arranged so as to be the optical axis center of the sub lens 5. A vector whose component is a straight line connecting the sub lens 5 and the sub lens 6 is called a base line vector. FIG. 2
, In particular, the center thereof exactly matches, so that the subsequent matching process is extremely simplified. (Sixth Embodiment) FIG. 11 is a view for explaining a sixth embodiment of the present invention. The basic configuration of the camera of the sixth embodiment is the same as that of the first embodiment. Here, an example of an optical system is shown. This example shows an arrangement relationship between the main lens 4 and the sub-lenses 5 and 6. Here, the main lens 4 is used to capture a high-definition image, and the sub-lenses 5 and 6 are used for stereo matching.
【００４０】この画像の取り込みと、深さの推定、及び
高精細画像との位置合わせは後述する第１１実施形態で
説明するが、主レンズ４と副レンズ５，６との位置関係
を最適に配置することにより、より高精度に位置合わせ
を行なうことが可能である。The capturing of the image, the estimation of the depth, and the alignment with the high-definition image will be described in an eleventh embodiment which will be described later. By arranging, positioning can be performed with higher accuracy.
【００４１】すなわち、図１１に示すように、主レンズ
４、副レンズ５，６が２等辺三角形を構成するように配
置し、副レンズ５，６の頂点を結ぶ直線が底辺となるよ
うにする。言い換えると、等価な２つの副レンズ５、６
の基線ベクトルを底辺とする二等辺三角形の頂点に、主
レンズ４が配置されている。これによって図２のｘ方向
は、副レンズ５，６の中間点に存在するために、後のマ
ッチング処理が極めて簡素化される。 （第７実施形態）図１２は、本発明の第７実施形態を説
明するための図である。第７実施形態のカメラの基本構
成は第１実施形態と同様である。ここでは光学系の例を
示す。この例は主レンズ４と副レンズ５，６の配置関係
を示している。ここでは、主レンズ４は高精細画像の取
り込みに用いられ、撮像素子５，６はステレオマッチン
グ用に用いられる。That is, as shown in FIG. 11, the main lens 4 and the sub-lenses 5 and 6 are arranged so as to form an isosceles triangle, and the straight line connecting the vertices of the sub-lenses 5 and 6 becomes the base. . In other words, two equivalent sub-lenses 5, 6
The main lens 4 is arranged at the apex of an isosceles triangle having the base line as the base vector. Accordingly, since the x direction in FIG. 2 exists at the intermediate point between the sub-lenses 5 and 6, the subsequent matching processing is extremely simplified. (Seventh Embodiment) FIG. 12 is a view for explaining a seventh embodiment of the present invention. The basic configuration of the camera of the seventh embodiment is the same as that of the first embodiment. Here, an example of an optical system is shown. This example shows an arrangement relationship between the main lens 4 and the sub-lenses 5 and 6. Here, the main lens 4 is used for capturing a high-definition image, and the imaging devices 5 and 6 are used for stereo matching.
【００４２】この画像の取り込みと、深さの推定、及び
高精細画像との位置合わせは後述する第１１実施形態で
説明するが、主レンズ４と副レンズ５，６の位置関係を
最適に配置することにより、より高精度に位置合わせを
行なうことが可能である。The capture of the image, the estimation of the depth, and the alignment with the high-definition image will be described in an eleventh embodiment described later, but the positional relationship between the main lens 4 and the sub-lenses 5, 6 is optimally arranged. By doing so, it is possible to perform positioning with higher accuracy.
【００４３】すなわち、図１２に示すように、等価な２
つの副レンズ５，６の基線ベクトルの中点に、主レンズ
４が配置されている。これによって図２のｘ方向は、副
レンズ５，６の中間点に存在し、かつｙ方向は少なくと
も中心部は正確に一致するので後のマッチング処理が極
めて簡素化される。 （第８実施形態）図１３は、本発明の第８実施形態を説
明するための図である。第８実施形態のカメラの基本構
成は第１実施形態と同様である。ここでは画像の記憶方
法の例を示す。ＣＣＤ等の撮像素子１，２，３により取
り込まれた画像は個別のＡＤ変換器（ＡＤＣ）１６−
１，１６−２，１６−３によりデジタル画像に変換され
る。他に電源回路や増幅回路を備えていても良い。撮像
素子１，２，３としてＣＭＯＳセンサを用い、内部にＡ
Ｄ変換機能を備えるようにしてもよい。当該デジタル画
像は画像処理、画像変換、画像圧縮部１７−１，１７−
２，１７−３に入力されて色の補正や画像圧縮等の処理
が施され、その後、内蔵されたあるいは脱着可能な記録
装置１０−１，１０−２，１０−３に記録される。ここ
ではＡＤ変換器と画像処理・変換・圧縮部を３個用いた
が、１つのＡＤ変換器及び画像処理・変換・圧縮部を切
り替えて用いるようにしても良い。また、画像処理・画
像変換・画像圧縮部１７−１，１７−２，１７−３はソ
フトウェア処理のみにより実現するようにしてもよい。That is, as shown in FIG.
The main lens 4 is arranged at the midpoint of the base line vectors of the two sub-lenses 5 and 6. Thereby, the x direction in FIG. 2 is located at the intermediate point between the sub-lenses 5 and 6, and the y direction at least at the center exactly matches, so that the subsequent matching processing is greatly simplified. (Eighth Embodiment) FIG. 13 is a view for explaining an eighth embodiment of the present invention. The basic configuration of the camera according to the eighth embodiment is the same as that of the first embodiment. Here, an example of an image storage method will be described. Images captured by the imaging devices 1, 2, and 3 such as CCDs are converted into individual AD converters (ADCs) 16-.
1, 16-2 and 16-3 convert the image into a digital image. In addition, a power supply circuit and an amplifier circuit may be provided. CMOS sensors are used as the imaging devices 1, 2, 3, and A
A D conversion function may be provided. The digital image is subjected to image processing, image conversion, and image compression units 17-1 and 17-.
2, 17-3, and are subjected to processing such as color correction and image compression, and thereafter, are recorded in the built-in or detachable recording devices 10-1, 10-2, 10-3. Here, three AD converters and three image processing / conversion / compression units are used, but one AD converter and one image processing / conversion / compression unit may be switched and used. Further, the image processing / image conversion / image compression units 17-1, 17-2, 17-3 may be realized only by software processing.
【００４４】ここで記録装置１０−１，１０−２，１０
−３には撮像素子１，２，３により撮像された画像デー
タが個別に格納されるが、画像データ以外に、当該画像
データがどの撮像素子から得られた画像であるかの付加
情報を画像データとともに記録装置１０−１，１０−
２，１０−３の一部（１０’−１，１０’−２，１０’
−３）に同時に格納するようにする。勿論、日付情報や
時間情報をも記録するようにしても良いが、少なくとも
撮像素子１，２，３の番号に関する情報は格納するよう
にする。 （第９実施形態）図１４は、本発明の第９実施形態を説
明するための図である。第９実施形態のカメラの基本構
成は第１実施形態と同様である。ここでは、撮像素子
２，３で取得された画像から各画素単位、または分割単
位を中心にして、その周囲の画素を含む分割領域を用い
てステレオマッチングを行ない、その単位での深さ情報
を取得し、かつ、撮像素子１を用いて高精細な画像を取
得することを特徴とする。Here, the recording devices 10-1, 10-2, 10
-3, image data captured by the image sensors 1, 2, 3 are individually stored. In addition to the image data, additional information indicating from which image sensor the image data is obtained is included in the image data. Recording devices 10-1 and 10- together with data
Part of 2, 10-3 (10'-1, 10'-2, 10 '
-3) are stored simultaneously. Of course, date information and time information may also be recorded, but at least information on the numbers of the image sensors 1, 2, and 3 is stored. (Ninth Embodiment) FIG. 14 is a view for explaining a ninth embodiment of the present invention. The basic configuration of the camera of the ninth embodiment is the same as that of the first embodiment. Here, from the images acquired by the imaging devices 2 and 3, stereo matching is performed using each pixel or a divided unit as a center and a divided region including surrounding pixels, and depth information in the unit is obtained. It is characterized by acquiring and obtaining a high-definition image using the image sensor 1.
【００４５】図１４（Ａ），（Ｂ）において、参照符号
１４，１５は、撮像素子２，３から得られた画像であ
る。また、参照符号２２は深さ情報を得たい位置であ
る。ここで位置２２は図１４（Ｃ）に示すような最小画
素単位でも良いし、３×３のような分割単位でも良い。
この位置２２の周辺を含むマッチング領域２３を設定す
る。これは通常６×６から１０×１０程度の大きさとす
る。このマッチング領域２３の大きさは画素の細かさに
よって変更しても構わない。また深さ情報を得たい位置
２２によって変化させても構わない。In FIGS. 14A and 14B, reference numerals 14 and 15 are images obtained from the imaging devices 2 and 3, respectively. Reference numeral 22 is a position where depth information is desired to be obtained. Here, the position 22 may be a minimum pixel unit as shown in FIG. 14C or a division unit such as 3 × 3.
A matching area 23 including the periphery of the position 22 is set. This is usually about 6 × 6 to 10 × 10. The size of the matching area 23 may be changed according to the fineness of the pixel. Further, it may be changed depending on the position 22 where the depth information is desired to be obtained.
【００４６】このマッチング領域２３をテンプレートと
して用いて、画像１５の領域内で最も画像が一致する位
置を探索する。この時に上記したエピポーラの条件を満
たす範囲でのみ検索を行なう。よって、ある範囲のｘ方
向のみを合わせれば良い。実際にはそれぞれの位置での
マッチング領域２３，２５の画素単位の差の最小二乗の
和が最小になる部分を探す。このようにして、画像１４
の全面において各位置２２の深さ情報が得られる。この
深さ情報は濃淡や色情報と一緒に記憶装置に格納され
る。さらに図１４（Ｄ）に示すように、深さ情報Ｚに閾
値Ｚｔｈを設定して背景と物体を分離する。この閾値Ｚ
ｔｈの設定は自動でも半自動でも良い。 （第１０実施形態）図１５、１６，１７は本発明の第１
０実施形態を説明するための図である。カメラの基本的
な構成は第１実施形態と同じである。ここでは、撮像素
子２，３から得られた画像に基づいて各画素単位、また
は各分割単位を中心にして、その周囲の画素を含む分割
領域を用いてステレオマッチングを行ない、その各画素
単位、または分割単位に深さの計測値を割り当てた後、
深さ方向に対する各画素単位、分割単位のヒストグラム
を作成し、そのピークを含む分割領域の集合体を、ある
深さに存在する物体であると認識し、または物体と背景
を分離することを特徴とする。Using this matching area 23 as a template, a position where the image is most matched in the area of the image 15 is searched. At this time, the search is performed only in a range that satisfies the epipolar condition described above. Therefore, only the x direction in a certain range needs to be adjusted. Actually, a portion where the sum of the least squares of the difference in pixel units between the matching regions 23 and 25 at each position is minimized is searched. Thus, image 14
, The depth information of each position 22 can be obtained. This depth information is stored in the storage device together with the shading and color information. Further, as shown in FIG. 14D, a threshold value Zth is set for the depth information Z to separate the background and the object. This threshold Z
The setting of th may be automatic or semi-automatic. (Tenth Embodiment) FIGS. 15, 16 and 17 show a first embodiment of the present invention.
It is a figure for explaining 0 embodiment. The basic configuration of the camera is the same as that of the first embodiment. Here, based on the images obtained from the imaging devices 2 and 3, each pixel unit or each division unit is centered, and stereo matching is performed using a divided region including surrounding pixels, and each pixel unit is Or after assigning a depth measurement to a segment,
Creates a histogram of each pixel in the depth direction, a division unit, and recognizes a set of divided regions including the peak as an object existing at a certain depth, or separates the object from the background And
【００４７】図１５に示す参照符号１４は図１に示す撮
像素子２により撮像された画像である。ここでは人物５
０と木５１と背景５２が撮像されている。これを例えば
図１の構成のステレオカメラで撮像し、図１４で説明し
たステレオマッチングを行なって、図１４の各画素また
は分割単位の深さ情報Ｚを求めたとする。ここで、図１
４では深さの閾値Ｚｔｈを用いたが、Ｚｔｈをその都度
設定することは現実的では無い。Reference numeral 14 shown in FIG. 15 is an image captured by the image sensor 2 shown in FIG. Here, person 5
0, a tree 51, and a background 52 are imaged. It is assumed that this is imaged by, for example, a stereo camera having the configuration shown in FIG. 1, and the stereo matching described with reference to FIG. 14 is performed to obtain depth information Z for each pixel or division unit in FIG. Here, FIG.
4, the depth threshold value Zth is used, but it is not realistic to set Zth each time.
【００４８】そこでこの物体分離を簡便に行なうため
に、ここでは各領域の深さ情報Ｚを図１６に示すように
深さ（ｚ）の値で整理して度数分布を作成する。具体的
には画像１４から得た画面を単位画素Ｇ１，Ｇ２，…，
Ｇｉ，…，Ｇｍに分割してステレオマッチングすなわ
ち、テンプレートマッチングを行なう。この結果、対応
点をＸＬ，ＸＲとする。これから（１式）を用いてＺを
求めてＧｉに貼り付ける。Therefore, in order to easily perform the object separation, the frequency distribution is created by arranging the depth information Z of each area by the value of the depth (z) as shown in FIG. Specifically, the screen obtained from the image 14 is represented by unit pixels G1, G2,.
Gi,..., Gm and perform stereo matching, that is, template matching. As a result, the corresponding points are XL and XR. From this, Z is calculated using (Equation 1) and attached to Gi.
【００４９】度数を求めるにはＺｍｉｎからＺｍａｘを
決めて（或いは計測して）この間を分割してΔＺを求め
Ｚｉの周辺の Ｚｉ−ΔＺ／２＞Ｚ＞Ｚｉ＋ΔＺ／２ の範囲に入るＧｉを計数する。In order to obtain the frequency, Zmax is determined (or measured) from Zmin, and the interval is divided to obtain ΔZ, and Gi around the Zi, Zi−ΔZ / 2>Z> Zi + ΔZ / 2, is counted. I do.
【００５０】別の例としては深さ方向のヒストグラムを
描く時に、深さ方向の軸を対数にしても良い。対数は自
然対数でも良いし、１０を底とした対数でも良い。ステ
レオマッチングによる深さの計測は三角測量のため、２
枚の画像の距離の逆数に、その距離は比例する。この
為、計測の精度も近い距離は高く、遠い距離は低くな
る。この場合は距離の対数を取れば、その計測の精度や
誤差は対数上では均一となる。具体的にはＺｍｉｎとＺ
ｍａｘを画面上ではＬｏｇ（Ｚｍａｘ）とＬｏｇ（Ｚｍ
ｉｎ）に割り付け、 σＺ＝（Ｌｏｇ（Ｚｍａｘ）−Ｌｏｇ（Ｚｍｉｎ）／分
割数） として度数を計数し、かつ表示する。As another example, when drawing a histogram in the depth direction, the axis in the depth direction may be logarithmic. The logarithm may be a natural logarithm or a logarithm with a base of 10. Since depth measurement by stereo matching is triangulation, 2
The distance is proportional to the reciprocal of the distance between the images. For this reason, the measurement accuracy is high for a short distance and low for a long distance. In this case, if the logarithm of the distance is taken, the accuracy and error of the measurement become uniform in logarithm. Specifically, Zmin and Z
max is displayed on the screen as Log (Zmax) and Log (Zm
in), and the frequency is counted and displayed as σZ = (Log (Zmax) −Log (Zmin) / number of divisions).
【００５１】画像処理をこれはコンピュータの内部で行
なっても良いし、コンピュータの画面上に図示しても良
い。この例では深さ（ｚ）に従って３つの山２６，２
７，２８が出来る。２６は最も近いピークであって人物
５０に相当する。これを物体Ａとする。２７は木５１に
対応し、これを物体Ｂとする。２８は最も遠い背景５２
に対応し、これを背景Ｃとする。背景ＣはＸＬ，ＸＲの
視差が殆ど無いか、全くない場合は計測限界以上である
か、特徴点が無いために計測が不可能であったが、本実
施形態の方法によれば各物体と背景が明確に分離できる
ので閾値Ｚｔｈ１とＺｔｈ２を物体Ａ，Ｂ及び背景Ｃの
各塊の間で設定できる。このＺｔｈの設定は、自動で行
なっても良いし、操作者が画面に表示されている画像を
見ながら手動で行なっても良い。The image processing may be performed inside the computer, or may be illustrated on a computer screen. In this example, three peaks 26, 2 according to the depth (z)
7, 28 can be made. 26 is the closest peak and corresponds to the person 50. This is referred to as an object A. 27 corresponds to a tree 51, which is referred to as an object B. 28 is the farthest background 52
, And this is set as a background C. The background C has little or no parallax between XL and XR. If there is no parallax, the measurement is beyond the measurement limit. Since there is no feature point, measurement is impossible. Since the background can be clearly separated, the thresholds Zth1 and Zth2 can be set between the objects A and B and the background C. The setting of Zth may be performed automatically, or may be manually performed by an operator while watching the image displayed on the screen.
【００５２】図１７は最終的に完成した分離結果であ
る。これらは、まとまった画像として扱えるし、記憶装
置に格納できる。この例では人物のエッジ部分の様に、
ステレオマッチングが容易であり、Ｚ値が確定する場合
は問題無い。しかし、人物の肌や、木目細かいパターン
などは特徴が無いため、ステレオマッチングしても視差
が無いように計測されてしまう。よってこの様な領域は
無限大と判断されたり、ノイズとなったりする。このた
め、深さ情報Ｚが確定した領域を２次元的に並べて、も
し閉領域を作るか、フレームを含んで閉領域を作るなら
ば、その中は同一と判断して物体分離を行なっても良
い。 （第１１実施形態）図１８，１９，２０は本発明の第１
１実施形態を説明するための図である。カメラの基本的
な構成は第１実施形態と同じである。上記した第１〜第
１０実施形態ではステレオマッチングによる背景分離を
説明した。高精細画像とステレオマッチングに用いた画
像との合成を行なうにあたって、この合成を行ない易い
様に、第５，６，７実施形態ではレンズの配列方法を述
べた。しかし光軸のずれや、ズーム比のずれ、僅かな収
差が存在して位置情報により画像の位置合わせを正確に
行なうことが容易でない。FIG. 17 shows the finally completed separation result. These can be handled as a group of images and stored in a storage device. In this example, like the edge of a person,
Stereo matching is easy and there is no problem when the Z value is determined. However, since the skin of a person or a fine-grained pattern has no features, it is measured so that there is no parallax even in stereo matching. Therefore, such an area is determined to be infinite or becomes noise. For this reason, the areas where the depth information Z has been determined are arranged two-dimensionally, and if a closed area is created or if a closed area including a frame is created, it is determined that they are the same and object separation is performed. good. (Eleventh Embodiment) FIGS. 18, 19 and 20 show a first embodiment of the present invention.
It is a figure for explaining one embodiment. The basic configuration of the camera is the same as that of the first embodiment. In the first to tenth embodiments described above, background separation by stereo matching has been described. In synthesizing a high-definition image and an image used for stereo matching, the arrangement of lenses has been described in the fifth, sixth, and seventh embodiments so as to facilitate the synthesis. However, it is not easy to accurately perform image alignment based on positional information because of a shift of an optical axis, a shift of a zoom ratio, and a slight aberration.
【００５３】そこで本実施形態では、第１の撮像素子１
で得られる高精細画像と、第２または第３の撮像素子
２，３からの画像を用いて、コントラストの強い、複数
の領域を用いてパターンマッチングを行ない、２つの画
像の座標の変換処理を行なって一致させ、第１の撮像素
子１から得られた高精細なテクスチャー情報と、複数画
素単位での深さ情報を関連付けて表示するか、関連付け
て記録装置に記録するか、または深さ情報に基づいて物
体と背景の分離を行なうようにする。Therefore, in the present embodiment, the first image sensor 1
Using the high-definition image obtained by the above and the image from the second or third imaging device 2 or 3, pattern matching is performed using a plurality of regions with high contrast, and the coordinate conversion process of the two images is performed. The high-definition texture information obtained from the first image sensor 1 and the depth information in units of a plurality of pixels are displayed in association with each other, recorded in a recording device in association with each other, or the depth information is obtained. The object and the background are separated based on
【００５４】図１８において３１は高精細画像、１４は
ステレオマッチングに使用した画像である。ここでは画
像の内部に４つ以上の基準点、または基準領域２９、３
２を設ける。次にこの基準領域２９，３２の中で同様な
テンプレートマッチングを行ない、座標の対応付けを行
なう。その後、図１９に示すような合成画像３３を得
る。ここでは同一面積の単位画素数が画像３１と画像１
４との間で一致しないので、画像３１の複数の画素に一
つのＺ情報５３を割り当てる。また、画像３１の複数の
情報の内部で濃淡や色情報を用いてセグメンテーション
を行なう。このときの接続情報から深さ情報を割り当て
ても良い。この様にして、物体単位での高精細画像を貼
り付けた物体分離が可能となる。In FIG. 18, 31 is a high definition image, and 14 is an image used for stereo matching. Here, four or more reference points or reference areas 29, 3
2 is provided. Next, similar template matching is performed in the reference areas 29 and 32, and coordinates are associated. Thereafter, a composite image 33 as shown in FIG. 19 is obtained. Here, the number of unit pixels having the same area is the image 31 and the image 1
4, the Z information 53 is assigned to a plurality of pixels of the image 31. In addition, segmentation is performed by using density and color information in a plurality of pieces of information of the image 31. Depth information may be assigned based on the connection information at this time. In this way, it is possible to separate objects by attaching a high-definition image for each object.
【００５５】ここで、分離した情報を図２０に示すよう
に物体Ａと物体Ｂ、及び背景Ｃとして、記録領域に物体
単位での１．種類、２．画像データ、３．深さ情報を格
納することができる。２．画像データは、２次元の位置
（画角）とＲＢＧ情報、３．は平均の深さ情報、または
物体の深さの最大値と最小値等である。Here, as shown in FIG. 20, the separated information is used as an object A and an object B and a background C in the recording area for each object. Kind, 2. 2. image data; Depth information can be stored. 2. 2. The image data includes a two-dimensional position (angle of view) and RBG information; Is the average depth information or the maximum and minimum values of the depth of the object.
【００５６】または、記録領域に物体単位での１．種
類、２．深さ情報を含む画像データを格納するようにし
ても良い。ここで２．画像データは、２次元の位置（画
角）とＲＢＧ情報に加えて、画素単位、または領域単位
で深さ情報を付加する。Alternatively, in the recording area, 1. Kind, 2. Image data including depth information may be stored. Here 2. In the image data, in addition to the two-dimensional position (angle of view) and RBG information, depth information is added in pixel units or region units.
【００５７】この結果を格納する場所は、カメラ内の記
憶領域でも良いし、脱着可能な記録装置でも良いし、接
続したコンピュータの記憶装置でも良い。 （第１２実施形態）図２１は本発明の第１２実施形態を
説明するための図である。カメラの基本的な構成や機能
は上記した第１実施形態と同じである。参照符号３０で
示される本カメラは、主レンズ４と副レンズ５，６を備
えている。上記した第１〜第１１実施形態ではステレオ
マッチングによる背景分離を説明した。第１２実施形態
では、本カメラ３０に内蔵された記録装置に記録した情
報をケーブル３８でコンピュータ３５に転送するか、あ
るいは、脱着可能な記録装置１０に記録させることによ
り、上記した画像処理（ステレオマッチング処理、物体
と背景への分離、及び分離した画像情報、深さ情報、あ
るいは分割情報、の記録装置への格納）を別のコンピュ
ータで行なうことを意図している。すなわち、コンピュ
ータ３５の記憶装置に一旦画像を記憶し、応用ソフトを
用いてステレオマッチングや分離作業、高精細画像との
合成等を行なう。この時、使用者は画面３６で処理の進
行状況を見ながら進めてもよい。 （第１３実施形態）図２２は本発明の第１３実施形態を
説明するための図であり、（Ａ）はカメラの正面、
（Ｂ）は背面を表わしている。カメラの基本的な構成や
機能は第１実施形態と同じである。ここで、本カメラ３
０は主レンズ４と副レンズ５，６とを備えている。本カ
メラ３０には記録装置１０を脱着することができる。The result may be stored in a storage area in the camera, in a removable recording device, or in a storage device of a connected computer. (Twelfth Embodiment) FIG. 21 is a view for explaining a twelfth embodiment of the present invention. The basic configuration and functions of the camera are the same as those of the first embodiment. The camera indicated by reference numeral 30 includes a main lens 4 and sub-lenses 5 and 6. In the above-described first to eleventh embodiments, background separation by stereo matching has been described. In the twelfth embodiment, the information recorded in the recording device incorporated in the camera 30 is transferred to the computer 35 via the cable 38 or recorded in the detachable recording device 10 to perform the image processing (stereo). It is intended to perform the matching processing, separation of the object and the background, and storage of the separated image information, depth information, or division information in a recording device by another computer. That is, the image is temporarily stored in the storage device of the computer 35, and stereo matching, separation work, synthesis with a high-definition image, and the like are performed using application software. At this time, the user may proceed while viewing the progress of the processing on the screen 36. (Thirteenth Embodiment) FIG. 22 is a view for explaining a thirteenth embodiment of the present invention.
(B) shows the back surface. The basic configuration and functions of the camera are the same as in the first embodiment. Here, this camera 3
0 has a main lens 4 and sub-lenses 5 and 6. The recording device 10 can be attached to and detached from the camera 30.
【００５８】上記した第１〜第１１実施形態ではステレ
オマッチングによる背景分離を説明した。第１３実施形
態はこれらの画像処理をカメラ３０に内蔵された中央演
算装置を用いて行なうことを意図している。この内蔵の
中央演算装置上で動作する応用ソフトを用いてステレオ
マッチングや分離作業、高精細画像との合成等を行な
う。この時、使用者はカメラ背面の液晶表示部の画面３
７で処理の進行状況をみながら進めても良い。 （第１４実施形態）図２３は本発明の第１４実施形態の
作用を説明するためのフローチャートである。カメラの
基本的な構成や機能は上記した第１実施形態と同じであ
る。ここでは画像取り込み部の具体的な方法を第１実施
形態に基づいて説明する。In the first to eleventh embodiments, background separation by stereo matching has been described. The thirteenth embodiment intends to perform these image processing using a central processing unit built in the camera 30. Using application software operating on the built-in central processing unit, stereo matching and separation work, synthesis with a high-definition image, and the like are performed. At this time, the user operates the screen 3 on the liquid crystal display on the back of the camera.
In step 7, the processing may be performed while observing the progress of the processing. (Fourteenth Embodiment) FIG. 23 is a flowchart for explaining the operation of the fourteenth embodiment of the present invention. The basic configuration and functions of the camera are the same as those of the first embodiment. Here, a specific method of the image capturing unit will be described based on the first embodiment.
【００５９】まず、カメラの電源をＯＮする（ステップ
Ｓ１）。次に初期設定、パラメータの読み込み、ＳＷ類
の設定の読み取りを行なう（ステップＳ２）。次に２Ｄ
（二次元）、３Ｄ（三次元）の設定の判断を行なう（ス
テップＳ３）。２Ｄの場合は本ルーチンは使わない。次
にシャッターをＯＮして（ステップＳ４）、ＡＥ動作、
露出決定（ステップＳ５）、ＡＦ動作、モータ制御（ス
テップＳ６）を行なう。次に、メインＣＣＤ（図１の第
１の撮像素子１に対応）のシャッターをＯＮし（ステッ
プＳ７）、２個のサブＣＣＤ、すなわち、ステレオＣＣ
Ｄ（図１の第２、第３の撮像素子２，３に対応）のシャ
ッターをＯＮする（ステップＳ８）。次に、メインＣＣ
Ｄの画像の取り込み及び転送、画像の圧縮、メモリへの
格納を行ない（ステップＳ９）、ついでステレオＣＣＤ
の画像の取り込み及び転送、画像の圧縮、メモリへの格
納を行なう（ステップＳ１０）。もちろん、メインＣＣ
ＤのシャッターＯＮ（ステップＳ７）とステレオＣＣＤ
のシャッターＯＮ（ステップＳ８）とは同時に行なうの
が望ましい。 （第１５実施形態）図２４は本発明の第１５実施形態の
作用を説明するためのフローチャートである。カメラの
基本的な構成や機能は上記した第１実施形態と同じであ
る。ここでは画像処理、背景分離、合成の具体的な方法
を第１実施形態に基づいて説明する。First, the power of the camera is turned on (step S1). Next, initial settings, reading of parameters, and reading of SW settings are performed (step S2). Then 2D
It is determined whether (two-dimensional) or 3D (three-dimensional) is set (step S3). In the case of 2D, this routine is not used. Next, the shutter is turned on (step S4), and the AE operation is performed.
Exposure determination (step S5), AF operation, and motor control (step S6) are performed. Next, the shutter of the main CCD (corresponding to the first image sensor 1 in FIG. 1) is turned on (step S7), and the two sub CCDs, that is, the stereo CC
The shutter of D (corresponding to the second and third imaging elements 2 and 3 in FIG. 1) is turned on (step S8). Next, the main CC
The image of D is taken in and transferred, the image is compressed, and stored in the memory (step S9).
The image capture and transfer, image compression, and storage in the memory are performed (step S10). Of course, the main CC
D shutter ON (step S7) and stereo CCD
It is desirable to perform the shutter ON (step S8) simultaneously. (Fifteenth Embodiment) FIG. 24 is a flowchart for explaining the operation of the fifteenth embodiment of the present invention. The basic configuration and functions of the camera are the same as those of the first embodiment. Here, a specific method of image processing, background separation, and composition will be described based on the first embodiment.
【００６０】まず、フローを開始して、初期設定、パラ
メータの読み込みを行なう（ステップＳ２０）。次に、
ステレオマッチング時の分割領域の設定を行なう（ステ
ップＳ２１）。次に、上記したエピローラの条件下にお
いて実際のマッチング処理を行なう（ステップＳ２
２）。次に、各単位の深さ情報Ｚを付加する（ステップ
Ｓ２３）。次に、深さ情報Ｚの最大、最小を計測する
（ステップＳ２４）。次に、ΔＺの設定（対数分割）を
行なう（ステップＳ２５）。次に、ΔＺに含まれる度数
とＺの対数のヒストグラムの作成を行なう（ステップＳ
２６）。次に、物体と背景の分離用のＺｔｈを決定する
（ステップＳ２７）。次に、物体と背景の分離を行なう
（ステップＳ２８）。この時点で第１次処理の完了とす
る（ステップＳ２９）。次に合成処理を開始して、ま
ず、初期設定を行なう（ステップＳ３０）。次に、座標
決定のための比較点の設定を自動であるいは手動にて行
なう（ステップＳ３１）。次に、テンプレートマッチン
グ処理を行なう（ステップＳ３２）。次に、対応点の座
標位置を決定する（ステップＳ３３）。次に、座標変換
及び画像の重ね合わせ処理を行なう（ステップＳ３
４）。次に、必要に応じて高精細画像のセグメンテーシ
ョン処理を行なう（ステップＳ３５）。次に、物体と背
景の分離処理を行なう（ステップＳ３６）。最後に処理
結果の表示、記憶を行なう（ステップＳ３７）。First, the flow is started, initialization and reading of parameters are performed (step S20). next,
A divided area is set for stereo matching (step S21). Next, an actual matching process is performed under the conditions of the epi roller described above (step S2).
2). Next, the depth information Z of each unit is added (step S23). Next, the maximum and minimum of the depth information Z are measured (step S24). Next, ΔZ is set (logarithmic division) (step S25). Next, a histogram of the logarithm of the frequency and Z included in ΔZ is created (step S).
26). Next, Zth for separating the object and the background is determined (step S27). Next, the object and the background are separated (step S28). At this point, the primary processing is completed (step S29). Next, the synthesizing process is started, and initial setting is first performed (step S30). Next, the setting of comparison points for coordinate determination is performed automatically or manually (step S31). Next, a template matching process is performed (step S32). Next, the coordinate position of the corresponding point is determined (step S33). Next, coordinate transformation and image superposition processing are performed (step S3).
4). Next, a high-definition image segmentation process is performed as needed (step S35). Next, the object and the background are separated (step S36). Finally, the processing result is displayed and stored (step S37).
【００６１】なお、上記した具体的実施形態には以下の
ような構成の発明が含まれている。 １． 画像を取り込む第１の結像レンズ及び第１の撮像
素子と、第１の結像レンズの光軸に対して直交するよう
に配置された、深さ方向を計測するための等価な第２、
第３の２つの撮像素子及び第２、第３の２つの結像レン
ズとを備えた、３眼式のカメラ装置であって、画像取り
込み用の第１の撮像素子の画素数が、深さ計測用の等価
な第２、第３の撮像素子の画素数より大きいことを特徴
とする電子３眼カメラ装置。 （対応する発明の実施の形態）本構成は上記した第１実
施形態に対応する。 （効果）等価な２つのカメラで深さ情報を取得し、１つ
の高精細なカメラで画像を取り込むことによって、低コ
ストで高品質の物体分離および３次元的な画像情報を取
得可能な電子３眼カメラ装置を構成できる。 ２． 第２、第３の等価な２つの結像レンズの中心位置
は、カメラボディの長手方向に一致し、その中心距離が
略３ｃｍ以上であることを特徴とする構成１に記載の電
子３眼カメラ装置。 （対応する発明の実施の形態）本構成は上記した第２実
施形態に対応する。 （効果）等価な２つのカメラの中心距離が略３ｃｍ以上
であることで、深さ計測のダイナミックレンジを充分と
ることができ、低コストで高品質の物体分離および３次
元的な画像情報を取得可能な電子３眼カメラ装置を構成
できる。 ３． 前記第１、第２、第３の撮像素子からの信号をそ
れぞれＡＤ変換するＡＤ変換回路と、ＡＤ変換により得
られたデジタル画像を圧縮する圧縮回路または圧縮ソフ
トウェアと、圧縮したデジタル画像を記録するための内
蔵または脱着可能な記録装置と、全体を制御する制御回
路と、自動露出回路とを少なくとも備えることを特徴と
する構成１、２に記載の電子３眼カメラ装置。 （対応する発明の実施の形態）本構成は上記した第３実
施形態に対応する。 （効果）本構成の回路を内蔵することで、等価な２つの
カメラで深さ情報を撮り、１つの高精細なカメラで画像
を取り込む事が可能となり、低コストで高品質の物体分
離および３次元的な画像情報を取得可能な電子３眼カメ
ラ装置を構成できる。 ４． 前記第１の結像レンズと、前記第２、第３の結像
レンズのｆ値、口径、Ｆ値の少なくとも１つが異なって
いることを特徴とする構成１または２に記載の電子３眼
カメラ装置。 （対応する発明の実施の形態）本構成は上記した第４実
施形態に対応する。 （効果）この回路を内蔵することで、等価な２つのカメ
ラで深さ情報を撮り、１つの高精細なカメラで画像を取
り込む事が可能となり、低コストで高品質の物体分離お
よび３次元的な画像情報を取得可能な電子３眼カメラ装
置を構成できる。 ５． 前記第１の結像レンズの光軸と、前記第２または
第３の結像レンズの光軸とがともに、前記第２と第３の
結像レンズを結ぶ直線と直交することを特徴とする構成
１〜４のいずれか１つに記載の電子３眼カメラ装置。 （対応する発明の実施の形態）本構成は上記した第５実
施形態に対応する。 （効果）深さ情報を含む画像と、１つの高精細なカメラ
で撮像した画像の水平方向の視差が一致するため、画像
の位置合わせが容易になり、低コストで高品質の物体分
離および３次元的な画像情報を取得可能な電子３眼カメ
ラ装置を構成できる。 ６． 前記第１、第２、第３の結像レンズを２等辺三角
形を構成するように配置し、第２と第３の結像レンズの
頂点を結ぶ直線が底辺となることを特徴とする構成１〜
４のいずれか１つに記載の電子３眼カメラ装置。 （対応する発明の実施の形態）本構成は上記した第６実
施形態に対応する。 （効果）深さ情報を取得するための画像と、１つの高精
細なカメラでとった画像の水平方向の視差が左右で同一
となるため、画像の位置合わせが容易になり、低コスト
で高品質の物体分離および３次元的な画像情報を取得可
能な電子３眼カメラ装置を構成できる。 ７．前記第２と第３の結像レンズを結ぶ直線の中点に、
前記第１の結像レンズが配置されていることを特徴とす
る構成１〜４のいずれか１つに記載の電子３眼カメラ装
置。 （対応する発明の実施の形態）本構成は上記した第７実
施形態に対応する。 （効果）深さ情報を取得するための画像と、１つの高精
細なカメラで撮像した画像の垂直方向の視差が一致し、
水平視差が左右で同一になるため、画像の位置合わせが
容易になり、低コストで高品質の物体分離および３次元
的な画像情報を取得可能な電子３眼カメラ装置を構成で
きる。 ８． 前記第２、第３の撮像素子から得られた画像と、
前記第１の撮像素子から得られた画像とを圧縮して、内
蔵されたあるいは脱着可能な記憶装置に格納することを
特徴とする構成１〜４のいずれか１つに記載の電子３眼
カメラ装置。 （対応する発明の実施の形態）本構成は上記した第８実
施形態に対応する。 （効果）記憶装置に格納でき、低コストで高品質の物体
分離および３次元的な画像情報を取得可能な電子３眼カ
メラ装置を構成できる。 ９． 前記第２と第３の各撮像素子の画像から各画素単
位、または分割単位を中心にして、その周囲の画素を含
む分割領域を用いてステレオマッチングを行ない、その
単位での深さ情報を取得し、かつ、前記第１の撮像素子
は高精細な画像を取得することを特徴とする構成１〜４
のいずれか１つに記載の電子３眼カメラ装置。 （対応する発明の実施の形態）本構成は、上記した第９
実施形態に対応する。 （効果）ソフト処理で出来るため、低コストで高品質の
物体分離および３次元的な画像情報を取得可能な電子３
眼カメラ装置を構成できる。 １０． 前記第２、第３の各撮像素子から得られた画像
に基づいて各画素単位、または各分割単位を中心にし
て、その周囲の画素を含む分割領域を用いてステレオマ
ッチングを行ない、その各画素単位、または分割単位に
深さの計測値を割り当てた後、深さ方向に対する各画素
単位、分割単位のヒストグラムを作成し、そのピークを
含む分割領域の集合体を、ある深さに存在する物体であ
ると認識し、または物体と背景を分離することを特徴と
する構成７に記載の電子３眼カメラ装置。 （対応する発明の実施の形態）本構成は上記した第１０
実施形態に対応する。 （効果）物体と背景との分離を自動、または半自動で行
なうことができ、低コストで高品質の物体分離および３
次元的な画像情報を取得可能な電子３眼カメラ装置を構
成できる。 １１． 前記第１の撮像素子からの画像と、前記第２ま
たは第３の撮像素子からの画像を用いて、コントラスト
の強い、複数の領域を用いてパターンマッチングを行な
い、２つの画像の座標の変換処理を行なって一致させ、
前記第１の撮像素子から得られた高精細なテクスチャー
情報と、複数画素単位での深さ情報を関連付けて表示す
るか、関連付けて記録装置に記録するか、または深さ情
報から、物体と背景の分離を行なうことを特徴とする構
成１または１０に記載の電子３眼カメラ装置。 （対応する発明の実施の形態）本構成は上記した第１１
実施形態に対応する。 （効果）高精細な画像を取得可能でかつ、低コストで高
品質の物体分離および３次元的な画像情報を取得可能な
電子３眼カメラ装置を構成できる。 １２． 前記第１の撮像素子及び前記第２または第３の
撮像素子で得られた画像をステレオカメラの本体に内蔵
した記録装置、または脱着可能な記録装置に記録し、ス
テレオマッチング処理、物体と背景への分離、及び分離
した画像情報、深さ情報、あるいは分割情報、の記録装
置への格納を、別のコンピュータシステムを用いて行な
うことを特徴とする構成１、８〜１１のいずれか１つに
記載の電子３眼カメラ装置。 （対応する発明の実施の形態）本構成は上記した第１２
実施形態に対応する。 （効果）カメラに搭載された中央処理装置が簡単なもの
であっても、低コストで高品質の物体分離および３次元
的な画像情報を取得可能な電子３眼カメラ装置を構成で
きる。 １３． ステレオマッチングの処理と物体と背景との分
離、及びその情報の記録装置への格納を、ステレオカメ
ラ内部の中央処理装置にて行い、１つまたは複数の物体
と背景を分離した画像情報、深さ情報、あるいは分割情
報をステレオカメラの本体に内蔵した記録装置、または
脱着可能な記録装置に記録することを特徴とする構成
１、８〜１１のいずれか１つに記載の電子３眼カメラ装
置。。 （対応する発明の実施の形態）本構成は上記した第１３
実施形態に対応する。 （効果）ステレオマッチングの処理と物体と背景との分
離、及びその情報の記録装置への格納を、ステレオカメ
ラ内部の中央処理装置にて行なうようにしたので、コン
ピュータ等の外部処理装置が不要となる。 １４． 第１の結像光学系と第１の撮像素子を有する第
１の撮像手段と、第２の結像光学系と上記第１の撮像素
子より有効画素数の少ない第２の撮像素子を有し、上記
第２の結像光学系の光軸が上記第１の結像光学系の光軸
と平行である第２の撮像手段と、第３の結像光学系と上
記第１の撮像素子より有効画素数の少ない第３の撮像素
子を有し、上記第３の結像光学系の光軸が上記第１の結
像光学系の光軸と平行である第３の撮像手段と、上記第
２の撮像手段の撮像した画像と上記第３の撮像手段の撮
像した画像とを参照することにより、上記第１の撮像手
段の撮像した画像の深度情報を得る深度検出手段と、を
具備することを特徴とすることを特徴とする電子３眼カ
メラ装置。 １５． 上記第２の結像光学系と上記第３の結像光学系
は等価であり、かつ、上記第２の撮像素子と上記第３の
撮像素子は等価であることを特徴とする構成１記載の電
子３眼カメラ装置。 １６． 上記第２の結像光学系の光軸と上記第３の結像
光学系の光軸は略３ｃｍ以上離間していることを特徴と
する構成１または２記載の電子３眼カメラ装置。 １７． 上記第１の結像光学系の光軸と上記第２の結像
光学系の光軸で定義される面が、上記第２の結像光学系
の光軸と上記第３の結像光学系の光軸で定義される面と
直交することを特徴とする構成１、２または３記載の電
子３眼カメラ装置。 １８． 上記第１の結像光学系の光軸と上記第２の結像
光学系の光軸間の距離が、上記第１の結像光学系の光軸
と上記第３の結像光学系の光軸間の距離に等しいことを
特徴とする構成１、２または３記載の電子３眼カメラ装
置。 １９． 上記第１の結像光学系の光軸と上記第２の結像
光学系の光軸と上記第３の結像光学系の光軸は同一平面
上にあることを特徴とする構成５記載の電子３眼カメラ
装置。 ２０． 上記深度検出手段は、一方の撮像手段の撮像し
た画像中の所望の領域との画像差異が最も小さい領域を
他方の撮像手段の撮像した画像中より検出し、両領域の
位置のズレから上記所望の領域の深度情報を検出するこ
とを特徴とする構成１、２、３、４、５または６記載の
電子３眼カメラ装置。 ２１．上記深度検出手段はさらに、上記第１の撮像手段
の撮像した画像を領域分割し、各領域ごとに深度情報を
検出し、この深度情報から各領域を画像中の背景に対応
する領域と画像中の前景に対応する領域とに区分するこ
とを特徴とする構成１、２、３、４、５、６または７記
載の電子３眼カメラ装置。The specific embodiments described above include inventions having the following configurations. 1. A first imaging lens and a first imaging element for capturing an image, and an equivalent second, arranged to be orthogonal to the optical axis of the first imaging lens, for measuring the depth direction.
A three-lens camera device including a third two imaging elements and a second and a third two imaging lenses, wherein the number of pixels of the first imaging element for capturing an image has a depth of An electronic three-lens camera device, wherein the number of pixels is larger than the equivalent number of pixels of the second and third image sensors for measurement. (Corresponding Embodiment of the Invention) This configuration corresponds to the above-described first embodiment. (Effect) By acquiring depth information with two equivalent cameras and capturing an image with one high-definition camera, an electronic device 3 capable of acquiring high-quality object separation and three-dimensional image information at low cost. An eye camera device can be configured. 2. 2. The electronic three-lens camera according to configuration 1, wherein the center positions of the second and third equivalent two imaging lenses coincide with the longitudinal direction of the camera body, and the center distance is approximately 3 cm or more. apparatus. (Corresponding Embodiment of the Invention) This configuration corresponds to the above-described second embodiment. (Effect) Since the center distance between two equivalent cameras is approximately 3 cm or more, a sufficient dynamic range for depth measurement can be obtained, and high-quality object separation and three-dimensional image information can be obtained at low cost. A possible electronic three-lens camera device can be configured. 3. An AD conversion circuit for AD-converting the signals from the first, second, and third imaging elements, a compression circuit or compression software for compressing the digital image obtained by the AD conversion, and recording the compressed digital image 3. The electronic three-lens camera device according to Configurations 1 and 2, further comprising at least a built-in or detachable recording device for controlling the camera, a control circuit for controlling the entire device, and an automatic exposure circuit. (Corresponding Embodiment of the Invention) This configuration corresponds to the above-described third embodiment. (Effect) By incorporating the circuit of this configuration, depth information can be captured by two equivalent cameras, and an image can be captured by one high-definition camera. An electronic three-lens camera device capable of acquiring three-dimensional image information can be configured. 4. The electronic three-lens camera according to Configuration 1 or 2, wherein at least one of an f-number, an aperture, and an F-number of the first imaging lens and the second and third imaging lenses is different. apparatus. (Corresponding Embodiment of the Invention) This configuration corresponds to the above-described fourth embodiment. (Effect) By incorporating this circuit, it becomes possible to capture depth information with two equivalent cameras and capture images with one high-definition camera, and achieve low-cost, high-quality object separation and three-dimensional An electronic three-lens camera device capable of acquiring various image information can be configured. 5. The optical axis of the first imaging lens and the optical axis of the second or third imaging lens are both orthogonal to a straight line connecting the second and third imaging lenses. The electronic three-lens camera device according to any one of Configurations 1 to 4. (Corresponding Embodiment of the Invention) This configuration corresponds to the above-described fifth embodiment. (Effect) Since the parallax in the horizontal direction between the image including the depth information and the image captured by one high-definition camera coincides with each other, the alignment of the images is facilitated, and high-quality object separation at low cost and 3 An electronic three-lens camera device capable of acquiring three-dimensional image information can be configured. 6. Configuration 1 wherein the first, second, and third imaging lenses are arranged so as to form an isosceles triangle, and a straight line connecting the vertices of the second and third imaging lenses is the base. ~
4. The electronic three-lens camera device according to any one of 4. (Corresponding Embodiment of the Invention) This configuration corresponds to the above-described sixth embodiment. (Effect) The image for acquiring depth information and the image taken by one high-definition camera have the same horizontal parallax in the left and right directions, so that the image alignment is easy, and the cost is low and the cost is high. An electronic three-lens camera device capable of obtaining quality object separation and three-dimensional image information can be configured. 7. At the midpoint of the straight line connecting the second and third imaging lenses,
The electronic three-lens camera device according to any one of Configurations 1 to 4, wherein the first imaging lens is arranged. (Corresponding Embodiment of the Invention) This configuration corresponds to the above-described seventh embodiment. (Effect) The vertical parallax between the image for acquiring the depth information and the image captured by one high-definition camera matches,
Since the horizontal parallax is the same on the left and right, image alignment is easy, and an electronic three-lens camera device capable of low-cost and high-quality object separation and acquiring three-dimensional image information can be configured. 8. Images obtained from the second and third imaging elements;
The electronic three-lens camera according to any one of Configurations 1 to 4, wherein the image obtained from the first image sensor is compressed and stored in a built-in or detachable storage device. apparatus. (Corresponding Embodiment of the Invention) This configuration corresponds to the above-described eighth embodiment. (Effect) An electronic three-lens camera device that can be stored in a storage device and that can obtain high-quality object separation and three-dimensional image information at low cost can be configured. 9. From the images of the second and third imaging elements, stereo matching is performed using each pixel or the divided unit as a center and using a divided region including surrounding pixels to obtain depth information in the unit. And the first imaging element acquires a high-definition image.
Electronic three-lens camera device according to any one of the above. (Corresponding Embodiment of the Invention) This structure is the same as that of the ninth embodiment described above.
This corresponds to the embodiment. (Effect) Since it can be performed by software processing, it is possible to obtain high quality object separation and three-dimensional image information at low cost.
An eye camera device can be configured. 10. Based on the image obtained from each of the second and third imaging elements, stereo matching is performed using each pixel unit or each division unit as a center and using a divided region including surrounding pixels, and each pixel After assigning a depth measurement value to a unit or division unit, create a histogram of each pixel unit and division unit in the depth direction, and create an aggregate of divided regions including the peaks at an object at a certain depth 8. The electronic three-lens camera device according to Configuration 7, wherein the electronic three-lens camera device recognizes that the object is an object or separates an object from a background. (Corresponding Embodiment of the Invention) This configuration is the same as that of the tenth embodiment described above.
This corresponds to the embodiment. (Effect) Separation of an object from a background can be performed automatically or semi-automatically.
An electronic three-lens camera device capable of acquiring three-dimensional image information can be configured. 11. Using the image from the first image sensor and the image from the second or third image sensor, pattern matching is performed using a plurality of regions having high contrast, and the coordinate conversion process between the two images is performed. To match
The high-definition texture information obtained from the first image sensor and the depth information in a unit of a plurality of pixels are displayed in association with each other, recorded in a recording device in association with each other, or the object and the background are obtained from the depth information. The electronic three-lens camera device according to the configuration 1 or 10, wherein the electronic three-lens camera device performs separation of images. (Corresponding Embodiment of the Invention) This configuration corresponds to the eleventh embodiment described above.
This corresponds to the embodiment. (Effect) An electronic three-lens camera device capable of acquiring a high-definition image, low-cost, high-quality object separation, and acquiring three-dimensional image information can be configured. 12. Images obtained by the first image sensor and the second or third image sensor are recorded in a recording device built in the main body of the stereo camera or in a detachable recording device, and subjected to stereo matching processing to an object and a background. Wherein the separation of the image information and the storage of the separated image information, depth information, or division information in the recording device are performed using another computer system. An electronic three-lens camera device according to claim 1. (Corresponding Embodiment of the Invention) This configuration is the same as that of the twelfth embodiment described above.
This corresponds to the embodiment. (Effect) Even if the central processing unit mounted on the camera is simple, an electronic three-lens camera device capable of obtaining high-quality object separation and obtaining three-dimensional image information at low cost can be configured. 13. The central processing unit inside the stereo camera performs stereo matching processing, separation of the object from the background, and storage of the information in the recording device, and image information and depth of one or more objects and the background. The electronic three-lens camera device according to any one of Configurations 1, 8 to 11, wherein the information or the divided information is recorded in a recording device built in a main body of the stereo camera or in a detachable recording device. . (Corresponding Embodiment of the Invention) This configuration is the same as that of the thirteenth embodiment.
This corresponds to the embodiment. (Effect) Since the processing of stereo matching, separation of the object and the background, and storage of the information in the recording device are performed by the central processing unit inside the stereo camera, an external processing device such as a computer is not required. Become. 14． A first imaging unit having a first imaging optical system and a first imaging device; a second imaging optical system and a second imaging device having fewer effective pixels than the first imaging device; A second imaging unit in which an optical axis of the second imaging optical system is parallel to an optical axis of the first imaging optical system; a third imaging optical system and the first imaging element. A third imaging device having a third imaging element having a small number of effective pixels, wherein an optical axis of the third imaging optical system is parallel to an optical axis of the first imaging optical system; Depth detecting means for obtaining depth information of an image taken by the first imaging means by referring to an image taken by the second imaging means and an image taken by the third imaging means. An electronic three-lens camera device, characterized in that: 15. 2. The configuration according to configuration 1, wherein the second imaging optical system and the third imaging optical system are equivalent, and the second imaging device and the third imaging device are equivalent. Electronic three-lens camera device. 16. The electronic three-lens camera device according to Configuration 1 or 2, wherein an optical axis of the second imaging optical system and an optical axis of the third imaging optical system are separated from each other by about 3 cm or more. 17． The plane defined by the optical axis of the first image forming optical system and the optical axis of the second image forming optical system corresponds to the optical axis of the second image forming optical system and the third image forming optical system. The electronic three-lens camera device according to configuration 1, 2 or 3, characterized by being orthogonal to a plane defined by the optical axis of (1). 18. The distance between the optical axis of the first imaging optical system and the optical axis of the second imaging optical system is the distance between the optical axis of the first imaging optical system and the light of the third imaging optical system. The electronic three-lens camera device according to Configuration 1, 2, or 3, wherein the distance is equal to the distance between the axes. 19. The optical axis of the first imaging optical system, the optical axis of the second imaging optical system, and the optical axis of the third imaging optical system are on the same plane. Electronic three-lens camera device. 20. The depth detecting means detects an area having the smallest image difference from a desired area in the image captured by one of the imaging means from the image captured by the other imaging means, and detects the desired area from a positional shift between the two areas. 7. The electronic three-lens camera device according to Configuration 1, 2, 3, 4, 5, or 6, wherein the depth information of the area is detected. 21. The depth detecting unit further divides the image captured by the first imaging unit into regions, detects depth information for each region, and divides each region from the depth information into a region corresponding to a background in the image and a region in the image. The electronic three-lens camera device according to the configuration 1, 2, 3, 4, 5, 6, or 7, wherein the electronic three-lens camera device is divided into a region corresponding to a foreground.
【００６２】[0062]
【発明の効果】本発明によれば、１つの撮像手段により
撮像した画像の深度情報を、それよりも有効画素数の少
ない２つの撮像手段により撮像した画像を参照して得る
ようにしたので、低コストで高品質の物体分離および３
次元的な画像情報を取得可能な電子３眼カメラ装置を提
供することができる。According to the present invention, depth information of an image taken by one image pickup means is obtained by referring to images taken by two image pickup means having a smaller effective pixel number. Low cost and high quality object separation and 3
An electronic three-lens camera device capable of acquiring three-dimensional image information can be provided.
【００６３】また、本発明によれば、深さ計測のダイナ
ミックレンジを充分とることができ、かつ、低コストで
高品質の物体分離および３次元的な画像情報を取得可能
な電子３眼カメラ装置を提供することができる。Further, according to the present invention, an electronic three-lens camera device capable of securing a sufficient dynamic range for depth measurement, and capable of obtaining high-quality object separation and three-dimensional image information at low cost. Can be provided.
【図１】本発明の第１実施形態に係る電子３眼カメラ装
置の構成を示す図である。FIG. 1 is a diagram illustrating a configuration of an electronic three-lens camera device according to a first embodiment of the present invention.
【図２】基本的な２眼ステレオ視の原理を説明するため
の図である。FIG. 2 is a diagram for explaining a basic principle of binocular stereo vision.
【図３】撮像素子１及び主レンズ４を用いて被写体を撮
影して高精細画像３１を得るようすを示す図である。FIG. 3 is a diagram showing how a high-definition image 31 is obtained by photographing a subject using an image sensor 1 and a main lens 4.
【図４】撮像素子２及び副レンズ５と、撮像素子３及び
副レンズ６を用いて被写体を撮影して深さ計測用の左右
画像を得て、物体と背景とを分離するようすを示す図で
ある。FIG. 4 is a diagram showing how to capture a subject using the image sensor 2 and the sub-lens 5, and the image sensor 3 and the sub-lens 6 to obtain left and right images for depth measurement, and separate the object from the background. It is.
【図５】高精細画像３１と物体Ａ、Ｂと背景Ｃとを分離
した結果との合成処理を説明するための図である。FIG. 5 is a diagram for explaining a synthesis process of a result obtained by separating a high-definition image 31, objects A and B, and a background C;
【図６】合成した後の最終的な画像を示す図である。FIG. 6 is a diagram showing a final image after composition.
【図７】本発明の第２実施形態を説明するための図であ
る。FIG. 7 is a diagram for explaining a second embodiment of the present invention.
【図８】本発明の第３実施形態を説明するためのシステ
ム構成のブロック図である。FIG. 8 is a block diagram of a system configuration for explaining a third embodiment of the present invention.
【図９】本発明の第４実施形態を説明するための図であ
る。FIG. 9 is a diagram for explaining a fourth embodiment of the present invention.
【図１０】本発明の第５実施形態を説明するための図で
ある。FIG. 10 is a diagram for explaining a fifth embodiment of the present invention.
【図１１】本発明の第６実施形態を説明するための図で
ある。FIG. 11 is a diagram for explaining a sixth embodiment of the present invention.
【図１２】本発明の第７実施形態を説明するための図で
ある。FIG. 12 is a diagram for explaining a seventh embodiment of the present invention.
【図１３】本発明の第８実施形態を説明するための図で
ある。FIG. 13 is a diagram for explaining an eighth embodiment of the present invention.
【図１４】本発明の第９実施形態を説明するための図で
ある。FIG. 14 is a diagram for explaining a ninth embodiment of the present invention.
【図１５】本発明の第１０実施形態を説明するための図
であり、撮像素子により撮像された画像を示している。FIG. 15 is a diagram for explaining the tenth embodiment of the present invention, and shows an image captured by an image sensor.
【図１６】本発明の第１０実施形態を説明するための図
であり、度数分布図を示している。FIG. 16 is a diagram for explaining the tenth embodiment of the present invention, and shows a frequency distribution diagram.
【図１７】本発明の第１０実施形態を説明するための図
であり、最終的に完成した分離結果を示している。FIG. 17 is a view for explaining the tenth embodiment of the present invention, and shows a finally completed separation result.
【図１８】本発明の第１１実施形態を説明するための図
であり、高精細撮像で得られた画像３１とステレオマッ
チングに使用した画像１４とを示している。FIG. 18 is a diagram for explaining the eleventh embodiment of the present invention, and shows an image 31 obtained by high-definition imaging and an image 14 used for stereo matching.
【図１９】本発明の第１１実施形態を説明するための図
であり、合成画像３３を示している。FIG. 19 is a diagram for explaining the eleventh embodiment of the present invention, and shows a composite image 33.
【図２０】本発明の第１１実施形態を説明するための図
であり、分離した情報としての物体Ａ，Ｂ及び背景Ｃを
示している。FIG. 20 is a diagram for explaining the eleventh embodiment of the present invention, and shows objects A and B and a background C as separated information.
【図２１】本発明の第１２実施形態を説明するための図
である。FIG. 21 is a diagram for explaining a twelfth embodiment of the present invention.
【図２２】本発明の第１３実施形態を説明するための図
である。FIG. 22 is a diagram for explaining a thirteenth embodiment of the present invention.
【図２３】本発明の第１４実施形態の作用を説明するた
めのフローチャートである。FIG. 23 is a flowchart illustrating an operation of a fourteenth embodiment of the present invention.
【図２４】本発明の第１５実施形態の作用を説明するた
めのフローチャートである。FIG. 24 is a flowchart illustrating an operation of the fifteenth embodiment of the present invention.
１，２，３…撮像素子、 ４…主レンズ、 ５，６…副レンズ、 ７，８，９…光軸、 １０…記録装置、 １１…制御回路、 １２…操作部、 １３…フラッシュ系、 ３０…デジタルカメラ。 1, 2, 3 ... imaging element, 4 ... main lens, 5, 6 ... sub lens, 7, 8, 9 ... optical axis, 10 ... recording device, 11 ... control circuit, 12 ... operation unit, 13 ... flash system, 30 ... Digital camera.
Claims (3)
を有する第１の撮像手段と、 第２の結像光学系と上記第１の固体撮像素子より有効画
素数の少ない第２の固体撮像素子を有し、上記第２の結
像光学系の光軸が上記第１の結像光学系の光軸と平行で
ある第２の撮像手段と、 第３の結像光学系と上記第１の固体撮像素子より有効画
素数の少ない第３の固体撮像素子を有し、上記第３の結
像光学系の光軸が上記第１の結像光学系の光軸と平行で
ある第３の撮像手段と、 上記第２の撮像手段の撮像した画像と上記第３の撮像手
段の撮像した画像とを参照することにより、上記第１の
撮像手段の撮像した画像の深度情報を得る深度検出手段
と、 を具備することを特徴とすることを特徴とする電子３眼
カメラ装置。A first imaging unit having a first imaging optical system and a first solid-state imaging device; a second imaging optical system and a first imaging device having a smaller number of effective pixels than the first solid-state imaging device. A second imaging unit having two solid-state imaging devices, wherein an optical axis of the second imaging optical system is parallel to an optical axis of the first imaging optical system; and a third imaging optical system. And a third solid-state imaging device having a smaller number of effective pixels than the first solid-state imaging device, wherein the optical axis of the third imaging optical system is parallel to the optical axis of the first imaging optical system. By referring to a third imaging unit, and an image captured by the second imaging unit and an image captured by the third imaging unit, depth information of an image captured by the first imaging unit can be obtained. An electronic three-lens camera device, characterized by comprising:
光学系は等価であり、かつ、上記第２の固体撮像素子と
上記第３の固体撮像素子は等価であることを特徴とする
請求項１記載の電子３眼カメラ装置。2. The second imaging optical system and the third imaging optical system are equivalent, and the second solid-state imaging device and the third solid-state imaging device are equivalent. The electronic three-lens camera device according to claim 1, wherein:
の結像光学系の光軸は略３ｃｍ以上離間していることを
特徴とする請求項１または２記載の電子３眼カメラ装
置。3. The optical axis of the second imaging optical system and the third optical system.
3. The electronic three-lens camera device according to claim 1, wherein the optical axes of the imaging optical systems are separated by at least about 3 cm.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10286593A JP2000112019A (en) | 1998-10-08 | 1998-10-08 | Electronic triplet lens camera apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10286593A JP2000112019A (en) | 1998-10-08 | 1998-10-08 | Electronic triplet lens camera apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000112019A true JP2000112019A (en) | 2000-04-21 |
Family
ID=17706430
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10286593A Withdrawn JP2000112019A (en) | 1998-10-08 | 1998-10-08 | Electronic triplet lens camera apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000112019A (en) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007257331A (en) * | 2006-03-23 | 2007-10-04 | Mitsubishi Electric Corp | Video synthesizing device |
| JP2009123242A (en) * | 2009-03-10 | 2009-06-04 | Sony Computer Entertainment Inc | Image processor, image processing method, recording medium, computer program and semiconductor device |
| WO2011101928A1 (en) * | 2010-02-22 | 2011-08-25 | パナソニック株式会社 | Three-dimensional image capturing adopter, hybrid image-capturing system, and electronic camera |
| JP2011527790A (en) * | 2008-07-09 | 2011-11-04 | プライムセンス リミテッド | Integrated processing device for 3D mapping |
| JP2012028915A (en) * | 2010-07-21 | 2012-02-09 | Kantatsu Co Ltd | Imaging device |
| JP2012244583A (en) * | 2011-05-24 | 2012-12-10 | Canon Inc | Imaging device, image processing method, and program |
| CN102883176A (en) * | 2011-07-11 | 2013-01-16 | 索尼公司 | Image processing apparatus, image processing method, and program |
| CN102917235A (en) * | 2011-08-04 | 2013-02-06 | 索尼公司 | Image processing apparatus, image processing method, and program |
| JP2013042379A (en) * | 2011-08-17 | 2013-02-28 | Ricoh Co Ltd | Imaging apparatus |
| EP2686733A1 (en) * | 2011-03-18 | 2014-01-22 | Martin Waitz | Method and device for focusing a film camera |
| US8749652B2 (en) | 2011-05-30 | 2014-06-10 | Canon Kabushiki Kaisha | Imaging module having plural optical units in which each of at least two optical units include a polarization filter and at least one optical unit includes no polarization filter and image processing method and apparatus thereof |
| WO2019054304A1 (en) * | 2017-09-15 | 2019-03-21 | 株式会社ソニー・インタラクティブエンタテインメント | Imaging device |
| JP2020174361A (en) * | 2014-09-24 | 2020-10-22 | パナビジョン インターナショナル，エル．ピー． | Distance measurement device for video camera focus application |
| JP2022535443A (en) * | 2019-06-06 | 2022-08-08 | フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | Devices with multi-channel imaging devices and multi-aperture imaging devices |
| JP7493545B2 (en) | 2022-03-29 | 2024-05-31 | カヤバ株式会社 | Position estimation device, position estimation method, and program |
-
1998
- 1998-10-08 JP JP10286593A patent/JP2000112019A/en not_active Withdrawn
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007257331A (en) * | 2006-03-23 | 2007-10-04 | Mitsubishi Electric Corp | Video synthesizing device |
| JP2011527790A (en) * | 2008-07-09 | 2011-11-04 | プライムセンス リミテッド | Integrated processing device for 3D mapping |
| JP2009123242A (en) * | 2009-03-10 | 2009-06-04 | Sony Computer Entertainment Inc | Image processor, image processing method, recording medium, computer program and semiconductor device |
| WO2011101928A1 (en) * | 2010-02-22 | 2011-08-25 | パナソニック株式会社 | Three-dimensional image capturing adopter, hybrid image-capturing system, and electronic camera |
| JP2012028915A (en) * | 2010-07-21 | 2012-02-09 | Kantatsu Co Ltd | Imaging device |
| EP2686733A1 (en) * | 2011-03-18 | 2014-01-22 | Martin Waitz | Method and device for focusing a film camera |
| JP2012244583A (en) * | 2011-05-24 | 2012-12-10 | Canon Inc | Imaging device, image processing method, and program |
| US8749652B2 (en) | 2011-05-30 | 2014-06-10 | Canon Kabushiki Kaisha | Imaging module having plural optical units in which each of at least two optical units include a polarization filter and at least one optical unit includes no polarization filter and image processing method and apparatus thereof |
| CN102883176A (en) * | 2011-07-11 | 2013-01-16 | 索尼公司 | Image processing apparatus, image processing method, and program |
| JP2013021481A (en) * | 2011-07-11 | 2013-01-31 | Sony Corp | Image processing device and method, and program |
| US9538163B2 (en) | 2011-07-11 | 2017-01-03 | Sony Corporation | Image processing apparatus, image processing method, and program |
| US9083957B2 (en) | 2011-07-11 | 2015-07-14 | Sony Corporation | Image processing apparatus, image processing method, and program |
| US9118904B2 (en) | 2011-08-04 | 2015-08-25 | Sony Corporation | Image processing apparatus, image processing method, and program for generating a three dimensional image to be stereoscopically viewed |
| JP2013038503A (en) * | 2011-08-04 | 2013-02-21 | Sony Corp | Image processing apparatus, and image processing method and program |
| CN102917235B (en) * | 2011-08-04 | 2016-05-18 | 索尼公司 | Image processing apparatus and image processing method |
| CN102917235A (en) * | 2011-08-04 | 2013-02-06 | 索尼公司 | Image processing apparatus, image processing method, and program |
| US9798155B2 (en) | 2011-08-04 | 2017-10-24 | Sony Corporation | Image processing apparatus, image processing method, and program for generating a three dimensional image to be stereoscopically viewed |
| JP2013042379A (en) * | 2011-08-17 | 2013-02-28 | Ricoh Co Ltd | Imaging apparatus |
| US11494929B2 (en) | 2014-09-24 | 2022-11-08 | Panavision International, L.P. | Distance measurement device |
| JP7293169B2 (en) | 2014-09-24 | 2023-06-19 | パナビジョン インターナショナル，エル．ピー． | Distance measuring device for video camera focus applications |
| JP2020174361A (en) * | 2014-09-24 | 2020-10-22 | パナビジョン インターナショナル，エル．ピー． | Distance measurement device for video camera focus application |
| JP2019054463A (en) * | 2017-09-15 | 2019-04-04 | 株式会社ソニー・インタラクティブエンタテインメント | Imaging device |
| US11438568B2 (en) | 2017-09-15 | 2022-09-06 | Sony Interactive Entertainment Inc. | Imaging apparatus |
| US11064182B2 (en) | 2017-09-15 | 2021-07-13 | Sony Interactive Entertainment Inc. | Imaging apparatus |
| WO2019054304A1 (en) * | 2017-09-15 | 2019-03-21 | 株式会社ソニー・インタラクティブエンタテインメント | Imaging device |
| JP2022535443A (en) * | 2019-06-06 | 2022-08-08 | フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | Devices with multi-channel imaging devices and multi-aperture imaging devices |
| JP7399989B2 (en) | 2019-06-06 | 2023-12-18 | フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | Devices with multi-channel imaging devices and multi-aperture imaging devices |
| JP7493545B2 (en) | 2022-03-29 | 2024-05-31 | カヤバ株式会社 | Position estimation device, position estimation method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10425638B2 (en) | Equipment and method for promptly performing calibration and verification of intrinsic and extrinsic parameters of a plurality of image capturing elements installed on electronic device | |
| CN108600576B (en) | Image processing apparatus, method and system, and computer-readable recording medium | |
| KR101514502B1 (en) | Image-capturing device, image processing apparatus, image processing method, and method of manufacturing image-capturing device | |
| JP5140210B2 (en) | Imaging apparatus and image processing method | |
| TWI433530B (en) | Camera system and image-shooting method with guide for taking stereo photo and method for automatically adjusting stereo photo | |
| US9344701B2 (en) | Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3D) content creation | |
| JP5640143B2 (en) | Imaging apparatus and imaging method | |
| JP5456020B2 (en) | Information processing apparatus and method | |
| JP5204350B2 (en) | Imaging apparatus, playback apparatus, and image processing method | |
| JP5320524B1 (en) | Stereo camera | |
| JP5204349B2 (en) | Imaging apparatus, playback apparatus, and image processing method | |
| US20140049666A1 (en) | Image processing device, image capturing device including image processing device, image processing method, and program | |
| US20060120712A1 (en) | Method and apparatus for processing image | |
| JP2000102040A (en) | Electronic stereo camera | |
| JP5901781B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and image processing program | |
| JP2000112019A (en) | Electronic triplet lens camera apparatus | |
| JP6552315B2 (en) | Imaging device | |
| JP5214547B2 (en) | Image display apparatus and method, and program | |
| JP2010226362A (en) | Imaging apparatus and control method thereof | |
| JP2020191624A (en) | Electronic apparatus and control method for the same | |
| JPH09305796A (en) | Image information processor | |
| US6697573B1 (en) | Hybrid stereoscopic motion picture camera with film and digital sensor | |
| JP6257260B2 (en) | Imaging apparatus and control method thereof | |
| JP2020194454A (en) | Image processing device and image processing method, program, and storage medium | |
| JP3725606B2 (en) | Imaging device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060110 |