JPH0779379A - Compound eye image pickup device - Google Patents
Compound eye image pickup deviceInfo
- Publication number
- JPH0779379A JPH0779379A JP5223544A JP22354493A JPH0779379A JP H0779379 A JPH0779379 A JP H0779379A JP 5223544 A JP5223544 A JP 5223544A JP 22354493 A JP22354493 A JP 22354493A JP H0779379 A JPH0779379 A JP H0779379A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image pickup
- imaging
- aspect ratio
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Studio Circuits (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、複眼撮像装置に関し、
特に、複数の撮像系を用いて画界の一部をオーバーラッ
プさせて共通の被写体を撮像して得られる複数の画像を
合成して、任意のアスペクト比の一つの画像を作成する
複眼撮像装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a compound eye image pickup device,
In particular, a compound-eye imaging device that creates a single image with an arbitrary aspect ratio by combining a plurality of images obtained by imaging a common subject by overlapping a part of the field of view using a plurality of imaging systems Regarding
【０００２】[0002]
【従来の技術】従来、テレビジョン画面のアスペクト比
を変換するアスペクト比変換方式としては、出力時に画
面の上下または左右をトリミングするアスペクト比変換
方式が知られてお、たとえばＮＴＳＣ方式のテレビジョ
ン画面のアスペクト比（４対３）をＨＤ方式またはＥＤ
２方式のテレビジョン画面のアスペクト比（１６対９）
に変換する際に用いられている。このアスペクト比変換
方式は、撮像した画像の一部を用いる方式であるため、
特に、アスペクト比が４対３のイメージセンサを用いた
ＮＴＳＣカメラで被写体を撮像して、アスペクト比が４
対３のＮＴＳＣ用のモニタにその画像を出力する場合に
は、画質上の問題は生じないが、水平画角が１／３ほど
減少するという問題がある。2. Description of the Related Art Conventionally, as an aspect ratio conversion method for converting the aspect ratio of a television screen, an aspect ratio conversion method for trimming the top, bottom, left or right of the screen at the time of output has been known. For example, an NTSC television screen. Aspect ratio (4: 3) of HD system or ED
Aspect ratio of 2 type television screen (16: 9)
It is used when converting to. Since this aspect ratio conversion method uses a part of the captured image,
In particular, an object is imaged by an NTSC camera using an image sensor with an aspect ratio of 4: 3, and the aspect ratio is 4
When the image is output to the monitor for NTSC of 3 pairs, there is no problem in image quality, but there is a problem that the horizontal angle of view is reduced by about 1/3.
【０００３】一方、複数の撮像系を用いて共通の被写体
を撮像して得られる複数の画像のオーバーラップ領域を
合成することにより一つの高精細な画像を得る複眼撮像
装置が、画像電子学会予稿９０−０３−０４，ｐ２３〜
２８などに提案されている。また、複数の画像を入力し
て座標変換処理を行った各画像を合成することにより画
界の広い画像を出力する画像合成装置が、特開平５−１
１０９２６号公報などに提案されている。On the other hand, a compound-eye image pickup apparatus which obtains one high-definition image by synthesizing overlapping areas of a plurality of images obtained by picking up a common subject by using a plurality of image pickup systems is proposed by the Institute of Image Electronics Engineers of Japan. 90-03-04, p23-
28 have been proposed. Further, an image synthesizing device that outputs a wide image field by synthesizing images obtained by inputting a plurality of images and performing coordinate conversion processing is disclosed in Japanese Patent Application Laid-Open No. 5-1.
It is proposed in Japanese Patent No. 10926.
【０００４】このような複眼撮像装置および画像合成装
置を応用することにより、複数の撮像系を用いて画界の
一部をオーバーラップさせて共通の被写体を撮像して得
られる複数の画像を合成して、任意のアスペクト比の一
つの画像を作成する複眼撮像装置を構成することができ
る。すなわち、図７に示す複眼撮像装置のように、２つ
の撮像系（左側撮像系110Lおよび右側撮像系110R）を用
いて、画界の一部をオーバーラップさせて共通の被写体
101 を撮像したのち、左側撮像系110Lで得られる左側画
像ＰL と右側撮像系110Rで得られる右側画像ＰR とを中
央処理装置（ＣＰＵ）120 で合成することにより、任意
のアスペクト比の一つの画像ＰL+R を作成することがで
きる。By applying such a compound-eye image pickup device and an image synthesizing device, a plurality of images obtained by overlapping a part of the field of view with a plurality of image pickup systems to image a common subject are synthesized. As a result, a compound-eye imaging device that creates one image with an arbitrary aspect ratio can be configured. That is, as in the compound-eye image pickup apparatus shown in FIG. 7, two image pickup systems (the left image pickup system 110 L and the right image pickup system 110 R ) are used, and a part of the image field is overlapped to make a common subject.
101 After imaging and by combining the right images P R obtained at left images P L and the right imaging system 110 R obtained by the left imaging system 110 L in the central processing unit (CPU) 120, any aspect ratio One image P L + R can be created.
【０００５】[0005]
【発明が解決しようとする課題】しかしながら、前述し
た画像電子学会予稿９０−０３−０４，ｐ２３〜２８に
は、複数の撮像系を用いて画界の一部をオーバーラップ
させて共通の被写体を撮像することにより複数の画像を
得る具体的な方法については何ら開示されておらず、ま
た、前述した特開平５−１１０９２６号公報には、複数
の画像を合成して任意のアスペクト比の画像を得る方法
については何ら開示されていないため、図７に示したよ
うな複眼撮像装置を具体的に構成する手段がない。ま
た、このような複眼撮像装置に用いるアスペクト比変換
方式として、出力時に画面の上下または左右をトリミン
グする前述したアスペクト比変換方式を適用すると、画
質の劣化が生じるという問題がある。However, in the above-mentioned Proceedings of the Institute of Image Electronics Engineers of Japan, 90-03-04, p23-28, a plurality of image pickup systems are used to overlap a part of the field of view so that a common subject is captured. No specific method for obtaining a plurality of images by imaging is disclosed, and in the above-mentioned Japanese Patent Laid-Open No. 5-110926, an image having an arbitrary aspect ratio is synthesized by combining a plurality of images. There is no means for specifically configuring the compound-eye image pickup apparatus as shown in FIG. 7, because the method for obtaining the same is not disclosed at all. Further, if the above-described aspect ratio conversion method of trimming the top, bottom, left, or right of the screen at the time of output is applied as the aspect ratio conversion method used for such a compound-eye imaging device, there is a problem that the image quality deteriorates.
【０００６】本発明の目的は、画質の劣化を最小限に抑
えつつ任意のアスペクト比の画像が得られる複眼撮像装
置を提供することにある。An object of the present invention is to provide a compound-eye image pickup apparatus capable of obtaining an image with an arbitrary aspect ratio while suppressing deterioration of image quality to a minimum.
【０００７】[0007]
【課題を解決するための手段】本発明の複眼撮像装置
は、複数の撮像系を用いて画界の一部をオーバーラップ
させて共通の被写体を撮像して得られる複数の画像を合
成して、任意のアスペクト比の一つの画像を作成する複
眼撮像装置において、前記複数の撮像系からの視点の位
置ずれ量と光軸の輻輳角とで視点位置と光軸の方向とが
定義される撮像系から任意の物体距離および結像倍率で
定義される状態で出力される一つの画像信号になるよう
に、前記複数の撮像系から出力される複数の画像信号を
合成変換する画像合成変換処理部を備えたことを特徴と
する。A compound-eye image pickup apparatus of the present invention synthesizes a plurality of images obtained by picking up a common subject by overlapping a part of the field of view using a plurality of image pickup systems. In a compound-eye imaging device that creates one image with an arbitrary aspect ratio, imaging in which the viewpoint position and the direction of the optical axis are defined by the positional displacement amount of the viewpoint from the plurality of imaging systems and the convergence angle of the optical axis An image synthesis conversion processing unit that synthesizes and transforms a plurality of image signals output from the plurality of image pickup systems so that one image signal is output from the system in a state defined by an arbitrary object distance and imaging magnification. It is characterized by having.
【０００８】ここで、前記複数の撮像系の少なくとも結
像倍率と物体距離とを表す光学パラメータに応じて、合
成変換後の画像が所定のアスペクト比となるように輻輳
角の制御目標値を決定する演算制御部と、該演算制御部
の出力信号に応じて輻輳角制御を行う輻輳角制御部と、
該輻輳角制御部の出力信号に応じて前記複数の撮像系の
少なくとも一つの撮像系の光軸を回転駆動する駆動部と
を備えていてもよい。Here, the control target value of the convergence angle is determined so that the image after the composite conversion has a predetermined aspect ratio in accordance with at least the image forming magnification of the plurality of image pickup systems and the optical parameters representing the object distance. A calculation control unit, and a convergence angle control unit that performs a convergence angle control according to an output signal of the calculation control unit,
A drive unit that rotationally drives the optical axis of at least one image pickup system of the plurality of image pickup systems according to an output signal of the convergence angle control unit may be provided.
【０００９】また、前記複数の撮像系がそれぞれ、変倍
機能を有する撮像系であり、前記演算制御部が、前記複
数の撮像系の変倍時に、合成変換後の画像のアスペクト
比が一定に保たれるように、前記複数の撮像系の輻輳角
制御を行ってもよい。Further, each of the plurality of image pickup systems is an image pickup system having a variable magnification function, and the arithmetic and control unit makes the aspect ratio of the image after the composite conversion constant during the magnification change of the plurality of image pickup systems. Convergence angle control of the plurality of image pickup systems may be performed so as to be maintained.
【００１０】[0010]
【作用】本発明の複眼撮像装置では、複数の撮像系から
の視点の位置ずれ量と光軸の輻輳角とで視点位置と光軸
の方向とが定義される撮像系から任意の物体距離および
結像倍率で定義される状態で出力される一つの画像信号
になるように、複数の撮像系から出力される複数の画像
信号を合成変換する画像合成変換処理部を具備すること
により、後述する（１）式〜（４）式に示すような幾何
変換処理により、輻輳のある複数の撮像系で得られる画
像を一つの仮想像面上の画像に合成することができる。
これにより、輻輳によって生じる歪みが補正された合成
画像を得ることができる。In the compound-eye image pickup apparatus of the present invention, an arbitrary object distance from the image pickup system in which the viewpoint position and the direction of the optical axis are defined by the positional shift amount of the viewpoint from the plurality of image pickup systems and the convergence angle of the optical axis, An image synthesis conversion processing unit that synthesizes and converts a plurality of image signals output from a plurality of image pickup systems so as to obtain one image signal output in a state defined by the imaging magnification will be described later. The images obtained by a plurality of image pickup systems having congestion can be combined into an image on one virtual image plane by the geometric conversion processing as shown in the equations (1) to (4).
As a result, it is possible to obtain a composite image in which the distortion caused by the congestion is corrected.
【００１１】また、複数の撮像系の少なくとも結像倍率
と物体距離とを表す光学パラメータに応じて、合成変換
後の画像が所定のアスペクト比となるように輻輳角の制
御目標値を決定する演算制御部と、演算制御部の出力信
号に応じて輻輳角制御を行う輻輳角制御部とを具備する
ことにより、合成後の画像のアスペクト比を決定する輻
輳制御角は、後述する（６）式に示すように、結像倍率
と物体距離とによって決まるため、任意のアスペクト比
の合成画像を得ることができる。Further, in accordance with the optical parameters representing at least the imaging magnification and the object distance of the plurality of image pickup systems, the calculation for determining the control target value of the convergence angle so that the image after the synthetic conversion has a predetermined aspect ratio. The convergence control angle for determining the aspect ratio of the combined image by including the control unit and the convergence angle control unit that performs the convergence angle control according to the output signal of the arithmetic control unit will be described later in formula (6). As shown in, since it is determined by the imaging magnification and the object distance, it is possible to obtain a composite image with an arbitrary aspect ratio.
【００１２】[0012]
【実施例】以下、本発明の実施例について、図面を参照
して説明する。Embodiments of the present invention will be described below with reference to the drawings.
【００１３】図１は、本発明の複眼撮像装置の一実施例
における撮像系の基本配置を示す図である。FIG. 1 is a view showing the basic arrangement of an image pickup system in an embodiment of the compound-eye image pickup apparatus of the present invention.
【００１４】本実施例の複眼撮像装置は、左側撮像系１
０L および右側撮像系１０R の２つの撮像系を含む。こ
こで、左側撮像系１０L は、ズームレンズからなる左側
撮像光学系１１L と、サチコンなどの撮像管またはＣＣ
Ｄなどの固体撮像素子からなる左側イメージセンサ１２
L とからなる。また、右側撮像系１０R は、左側撮像系
１０L と等価な仕様を有するものであり、ズームレンズ
からなる右側撮像光学系１１R と、サチコンなどの撮像
管またはＣＣＤなどの固体撮像素子からなる右側イメー
ジセンサ１２R とからなる。なお、左側イメージセンサ
１２L および右側イメージセンサ１２R としては、図１
に示すような単管式（単板式）のものでよいが、色分解
光学系を介した２管式（２板式）または３管式（３板
式）のものであってもよい。The compound-eye image pickup apparatus according to the present embodiment has a left side image pickup system 1
It includes two imaging systems, 0 L and the right imaging system 10 R. Here, the left-side imaging system 10 L includes a left-side imaging optical system 11 L including a zoom lens and an imaging tube such as a SATICON or CC.
Left image sensor 12 including a solid-state image sensor such as D
It consists of L and. The right-side imaging system 10 R has specifications equivalent to those of the left-side imaging system 10 L, and includes a right-side imaging optical system 11 R including a zoom lens and an imaging tube such as a SATICON or a solid-state imaging device such as a CCD. The right image sensor 12 R. The left image sensor 12 L and the right image sensor 12 R are as shown in FIG.
Although it may be a single tube type (single plate type) as shown in FIG. 2, it may be a two tube type (two plate type) or a three tube type (three plate type) through a color separation optical system.
【００１５】左側撮像光学系１１L および右側撮像光学
系１１R は，選定したアスペクト比の画面に応じて各撮
像画界の所定量がオーバーラップする条件を左側撮像光
学系１１L の光軸ＬL および右側撮像光学系１１R の光
軸ＬR が満たすように、被写体平面１の法線Ｏ−Ｏ’に
対して対称に角度θほど傾斜した状態で配置される。し
たがって、左側イメージセンサ１２L に共役な左側物体
面２L および右側イメージセンサ１２R に共役な右側物
体面２R はそれぞれ、被写体平面１に対して角度θだけ
傾く。なお、以下の説明では、角度２θを「輻輳角」と
称する。また、左側撮像光学系１１L の光軸ＬL と被写
体平面１との交点を点ＯL とし、右側撮像光学系１１R
の光軸ＬR と被写体平面１との交点を点ＯR とし、左側
撮像光学系１１L の主点（詳しくは、被写体側の主点）
を点ＣL とし、右側撮像光学系１１R の主点（詳しく
は、被写体側の主点）を点ＣR とする。The left-side image pickup optical system 11 L and the right-side image pickup optical system 11 R are provided with an optical axis L of the left-side image pickup optical system 11 L under the condition that a predetermined amount of each image pickup field overlaps depending on the screen of the selected aspect ratio. It is arranged symmetrically with respect to the normal line OO ′ of the object plane 1 by an angle θ so that L and the optical axis L R of the right imaging optical system 11 R are satisfied. Thus, each conjugate right object surface 2 R on the left side image sensor 12 L in a conjugate left object plane 2 L and the right-side image sensor 12 R, inclined by an angle θ the subject plane 1. In the following description, the angle 2θ will be referred to as the “convergence angle”. Further, the intersection of the optical axis L L of the left imaging optical system 11 L and the object plane 1 is set as a point O L , and the right imaging optical system 11 R is set.
The point of intersection of the optical axis L R of the object and the object plane 1 is defined as a point O R, and the principal point of the left imaging optical system 11 L (specifically, the principal point on the object side)
Is the point C L, and the principal point of the right imaging optical system 11 R (specifically, the principal point on the subject side) is the point C R.
【００１６】次に、上述した基本配置を前提として、左
側撮像光学系１１L および右側撮像光学系１１R の構成
について、図２を参照して説明する。Next, assuming the above-mentioned basic arrangement, the configurations of the left-side image pickup optical system 11 L and the right-side image pickup optical system 11 R will be described with reference to FIG.
【００１７】左側撮像光学系１１L は、変倍群２２L お
よび合焦群２４L を含むレンズ群２１L〜２４Lと、変倍
群２２L を駆動するための駆動系であるズームモータ２
５Lと、合焦群２４L を駆動するための駆動系であるフ
ォーカスモータ２６L と、光軸ＬL を含む平面内で左側
撮像光学系１１L および左側イメージセンサ１２L を一
体として回転させるための機構系（不図示）および駆動
系（輻輳角モータ２７ L ）と、輻輳角モータ２７L の回
転角を検出するための輻輳角エンコーダ２８Lとを含
む。なお、輻輳角エンコーダ２８L としては、たとえば
ロータリーエンコーダのような外付け部材を用いてもよ
いし、たとえばパルスモータのような駆動系自身で駆動
方法により回転角を検出するものを用いてもよい。Left imaging optical system 11L Is the zoom group 22L Oh
And focusing group 24L Lens group 21 includingL~ 24LAnd scaling
Group 22L Motor 2 which is a drive system for driving
5LAnd focusing group 24L Is a drive system for driving
Focus motor 26L And the optical axis LL Left in the plane containing
Imaging optical system 11L And the left image sensor 12L One
Mechanism system (not shown) and drive for rotating as a body
System (convergence angle motor 27 L ) And the convergence angle motor 27L The times
Convergence angle encoder 28 for detecting a turning angleLIncluding and
Mu. The convergence angle encoder 28L For example,
You may use an external member such as a rotary encoder.
Driven by the drive system itself, such as a pulse motor
You may use what detects the rotation angle by the method.
【００１８】左側撮像光学系１１L のズームモータ２５
L は、左側撮像光学系１１L が所定の焦点距離となるよ
うに、ズーム信号が外部から入力されるズーム制御部
（不図示）によって駆動される。また、フォーカスモー
タ２６L は、左側撮像光学系１１L が所定の被写体距離
に焦点が合うように、フォーカス信号が外部から入力さ
れるズーム制御部（不図示）によって駆動される。Zoom motor 25 of the left imaging optical system 11 L
L is driven by a zoom controller (not shown) to which a zoom signal is externally input so that the left imaging optical system 11 L has a predetermined focal length. The focus motor 26 L is driven by a zoom controller (not shown) to which a focus signal is input from the outside so that the left imaging optical system 11 L focuses on a predetermined subject distance.
【００１９】左側撮像光学系１１L のズームエンコーダ
４１L は、変倍群２２L に設けられた各レンズ群の光軸
方向（光軸ＬL の方向）の位置情報を得るためのもので
あり、ズームエンコーダ４１L の出力信号より、左側撮
像光学系１１L の焦点距離を求めることができる。ま
た、フォーカスエンコーダ４２L は、合焦群２４L に設
けられた各レンズ群の光軸方向（光軸ＬL 方向）の位置
情報を得るためのものであり、フォーカスエンコーダ４
２L の出力信号より、左側撮像光学系１１L の被写体距
離を求めることができる。なお、ズームエンコーダ４１
L およびフォーカスエンコーダ４２L としては、たとえ
ばポテンショメータのような外付け部材を用いてもよい
し、たとえばパルスモータのような駆動系自身で駆動方
法によりレンズの光軸方向の位置情報を検出するものを
用いてもよい。The zoom encoder 41 L of the left imaging optical system 11 L is for obtaining position information of each lens group provided in the variable power group 22 L in the optical axis direction (direction of the optical axis L L ). The focal length of the left imaging optical system 11 L can be obtained from the output signal of the zoom encoder 41 L. The focus encoder 42 L is for obtaining position information in the optical axis direction (optical axis L L direction) of each lens group provided in the focusing group 24 L.
The object distance of the left imaging optical system 11 L can be obtained from the 2 L output signal. The zoom encoder 41
As the L and the focus encoder 42 L , for example, an external member such as a potentiometer may be used, or one that detects position information in the optical axis direction of the lens by a driving method such as a pulse motor by a driving system itself. You may use.
【００２０】右側撮像光学系１１R は、左側撮像光学系
１１L と同様に構成されている。なお、右側撮像光学系
１１R のズームモータ２５R は、左側撮像光学系１１L
と同一の焦点距離となるように、前記ズーム制御部によ
って駆動される。また、右側撮像光学系１１R のフォー
カスモータ２６R は、左側撮像光学系１１L と同一の被
写体距離に焦点が合うように、前記ズーム制御部によっ
て駆動される。The right side imaging optical system 11 R has the same structure as the left side imaging optical system 11 L. The zoom motor 25 R of the right-side imaging optical system 11 R is left imaging optical system 11 L
It is driven by the zoom control unit so that the focal length becomes the same. The focus motor 26 R of the right imaging optical system 11 R is driven by the zoom control unit so that the focus is focused on the same subject distance as the left imaging optical system 11 L.
【００２１】次に、本実施例の複眼撮像装置の輻輳角制
御系５０について、図３を参照して説明する。Next, the convergence angle control system 50 of the compound-eye image pickup apparatus of this embodiment will be described with reference to FIG.
【００２２】輻輳角制御系５０は、右側撮像光学系１１
R および左側撮像光学系１１L の少なくとも結像倍率と
物体距離とを表す光学パラメータに応じて、合成変換後
の画像が所定のアスペクト比となるように輻輳角の制御
目標値を決定する演算制御部５１と、演算制御部５１の
出力信号に応じて輻輳角制御を行う輻輳角制御部５２と
からなる。The vergence angle control system 50 includes a right side imaging optical system 11
Arithmetic control for determining the control target value of the convergence angle such that the image after the composite conversion has a predetermined aspect ratio according to at least the imaging parameter of the R and the left imaging optical system 11 L and the optical parameter representing the object distance. The unit 51 and the vergence angle control unit 52 that performs the vergence angle control according to the output signal of the arithmetic control unit 51.
【００２３】演算制御部５１には、左側撮像光学系１１
L のズームエンコーダ４１L の出力信号およびフォーカ
スエンコーダ４２L の出力信号と右側撮像光学系１１R
のズームエンコーダ４１R の出力信号およびフォーカス
エンコーダ４２R の出力信号とシステムコントローラ６
０からの制御信号Ｓとが入力される。また、輻輳角制御
部５２には、左側撮像光学系１１L の輻輳角エンコーダ
２８L の出力信号と右側撮像光学系１１R の輻輳角エン
コーダ２８R の出力信号と演算制御部５１の出力信号と
が入力される。なお、左側撮像光学系１１L の輻輳角モ
ータ２７L および右側撮像光学系１１R の輻輳角モータ
２７R はそれぞれ、輻輳角制御部５２の出力信号によっ
て駆動される。The arithmetic control unit 51 includes a left imaging optical system 11
L output signal of the zoom encoder 41 L of and the focus encoder 42 L output signal and the right-side imaging optical system 11 R
Zoom encoder 41 R output signal and focus encoder 42 R output signal and system controller 6
The control signal S from 0 is input. The vergence angle control unit 52 outputs the output signal of the vergence angle encoder 28 L of the left imaging optical system 11 L , the output signal of the vergence angle encoder 28 R of the right imaging optical system 11 R , and the output signal of the arithmetic control unit 51. Is entered. Incidentally, each of the convergence angle motor 27 R of the convergence angle motor 27 L and the right-side imaging optical system 11 R of the left imaging optical system 11 L, driven by the output signal of the convergence angle control unit 52.
【００２４】左側撮像光学系１１L のズームモータ２５
L によって変倍群２２L が駆動されると、変倍群２２L
に設けられた各レンズ群の光軸方向の位置情報を示すズ
ームエンコーダ４１L の出力信号が、演算制御部５１に
入力される。また、右側撮像光学系１１R のズームモー
タ２５R によって変倍群２２R が駆動されると、変倍群
２２R に設けられた各レンズ群の光軸方向の位置情報を
示すズームエンコーダ４１R の出力信号が、演算制御部
５１に入力される。Zoom motor 25 of the left imaging optical system 11 L
When the variable power group 22 L is driven by L , the variable power group 22 L
The output signal of the zoom encoder 41 L indicating the position information of each lens group provided in the optical axis direction is input to the arithmetic control unit 51. Further, when the variable power group 22 R by a zoom motor 25 R of the right-side imaging optical system 11 R is driven, the zoom encoder 41 indicating the position information of the optical axis of the lens group provided in Henbaigun 22 R R Is output to the arithmetic control unit 51.
【００２５】左側撮像光学系１１L のフォーカスモータ
２６L によって合焦群２４L が駆動されると、合焦群２
４L に設けられた各レンズ群の光軸方向の位置情報を示
すフォーカスエンコーダ４２L の出力信号が、演算制御
部５１に入力される。また、右側撮像光学系１１R のフ
ォーカスムモータ２６R によって合焦群２４R が駆動さ
れると、合焦群２４R に設けられた各レンズ群の光軸方
向の位置情報を示すフォーカスエンコーダ４２R の出力
信号が、演算制御部５１に入力される。When the focusing group 24 L is driven by the focus motor 26 L of the left imaging optical system 11 L , the focusing group 2
The output signal of the focus encoder 42 L , which indicates the position information in the optical axis direction of each lens group provided in 4 L , is input to the arithmetic control unit 51. Further, when the focusing group 24 R is driven by the focus motor 26 R of the right imaging optical system 11 R , the focus encoder 42 indicating the positional information in the optical axis direction of each lens group provided in the focusing group 24 R. The output signal of R is input to the arithmetic control unit 51.
【００２６】演算制御部５１では、左側撮像光学系１１
L および右側撮像光学系１１R の光軸回転の指示を示す
制御信号Ｓがシステムコントローラ６０から入力される
と、各ズームエンコーダ４１L，４１Rの出力信号および
各フォーカスエンコーダ４２ L，４２Rの出力信号に応じ
て、輻輳角２θの制御目標値が作成されたのち、作成さ
れた制御目標値を示す出力信号が輻輳角制御部５２に出
力される。In the arithmetic and control unit 51, the left imaging optical system 11
L And the right imaging optical system 11R Shows the instruction to rotate the optical axis of
The control signal S is input from the system controller 60.
And each zoom encoder 41L, 41ROutput signal of
Each focus encoder 42 L, 42RAccording to the output signal of
Then, after the control target value of the convergence angle 2θ is created, it is created.
Output signal indicating the controlled target value is output to the convergence angle control unit 52.
I will be forced.
【００２７】輻輳角制御部５２では、演算制御部５１の
出力信号と各輻輳角エンコーダ２８ L，２８R の出力信
号とが比較され、各輻輳角エンコーダ２８L，２８Rの出
力信号が前記作成された制御目標値となるように、各輻
輳角モータ２７L，２７Rを駆動するための出力信号がそ
れぞれ作成される。In the vergence angle control unit 52, the calculation control unit 51
Output signal and each convergence angle encoder 28 L, 28R Output signal of
No. and each convergence angle encoder 28L, 28ROut of
So that the force signal becomes the control target value created above.
Convergence motor 27L, 27ROutput signal for driving
Created individually.
【００２８】次に、演算制御部５１における輻輳角の制
御目標値の作成方法について、図１および図４をそれぞ
れ参照して説明する。Next, a method of creating the control target value of the vergence angle in the arithmetic control unit 51 will be described with reference to FIGS. 1 and 4, respectively.
【００２９】図１に示した左側撮像光学系１１L および
右側撮像光学系１１R の結像倍率をβとし、物体距離
（点ＯL と点ＣL との間の距離および点ＯR と点ＣR と
の間の距離）をｚとし、点ＣL と点ＣR との距離（基線
長）を２ｄとする。このとき、被写体平面１から距離
ｚ’だけ点Ｏ’側に離れた法線Ｏ−Ｏ’上の点に視点を
とり、その視点での仮想的な結像倍率がβ’となるよう
に、仮想的な像面（すなわち、視点と像面との距離が
β’ｚ’）をとった場合、左側イメージセンサ１２Lの
像面ＩL と右側イメージセンサ１２R の像面ＩR とが合
成された仮想像面ＩL+ R は、図４に示すものとなる。 Let β be the imaging magnifications of the left imaging optical system 11 L and the right imaging optical system 11 R shown in FIG. 1, and set the object distance (distance between points O L and C L and point O R and points). Let z be the distance from C R ) and 2d be the distance (baseline length) between points C L and C R. At this time, the viewpoint is taken at a point on the normal line OO ′ that is separated from the object plane 1 by the distance z ′ to the side of the point O ′, and the virtual imaging magnification at that viewpoint is β ′. virtual image surface (i.e., the distance between the viewpoint and the image plane β'z ') when taken, and the image plane I R of the image plane I L and the right image sensor 12 R of the left image sensor 12 L synthesis The virtual image plane I L + R thus formed is as shown in FIG.
【００３０】図４において、点ＡL ，点ＢL ，点ＣL お
よびＤL はそれぞれ、左側イメージセンサ１２L の像面
ＩL の対角上の点を示し、仮想像面ＩL+R 上の点ＡL’
，点ＢL’ ，点ＣL’ およびＤL’ に対応する。ま
た、点ＡR ，点ＢR ，点ＣR およびＤR はそれぞれ、右
側イメージセンサ１２R の像面ＩR の対角上の点を示
し、仮想像面ＩL+R 上の点ＡR’ ，点ＢR’ ，点ＣR’
およびＤR’ に対応する。さらに、点ＥL および点ＦL
はそれぞれ、左側イメージセンサ１２L の像面ＩL 上の
オーバーラップの中心となる上下辺上の点を示し、点Ｅ
R および点ＦR はそれぞれ、右側イメージセンサ１２R
の像面ＩR 上のオーバーラップの中心となる上下辺上の
点を示す。ここで、点ＥL および点ＥR はともに、仮想
像面ＩL+R 上の点Ｅ’に対応し、点ＦL および点ＦR は
ともに、仮想像面ＩL+R 上の点Ｆ’に対応する。In FIG. 4, points A L , B L , C L and D L respectively indicate points on the diagonal of the image plane I L of the left image sensor 12 L , and the virtual image plane I L + R. Upper point A L '
, Point BL ', points CL ' and DL '. Further, the points A R , B R , C R and D R respectively indicate points on the diagonal of the image plane I R of the right image sensor 12 R , and the points A R on the virtual image plane I L + R. ', Point B R ', point C R '
And D R '. Furthermore, the points E L and F L
Each represents a point on the upper and lower sides at the center of the overlap on the image plane I L of the left image sensor 12 L, the point E
R and the point F R are respectively the right image sensor 12 R
The points on the upper and lower sides that are the centers of the overlaps on the image plane I R of FIG . Here, both the points E L and E R correspond to the point E ′ on the virtual image plane I L + R , and the points F L and F R are both the point F on the virtual image plane I L + R. 'Corresponds to.
【００３１】各像面ＩL，ＩRの中心を原点とするととも
に、図４図示水平方向をｘ軸および図示垂直方向をｙ軸
として、各像面ＩL，ＩRでの座標系を定義すると、右側
イメージセンサ１２R の像面ＩR 上の像点（ｘR，ｙR）
は、仮想像面ＩL+R 上では、（１）式および（２）式で
表わされる像点（ｘR’，ｙR’）に対応する。With the center of each image plane I L , I R as the origin, and the horizontal direction shown in FIG. 4 as the x-axis and the vertical direction shown in the figure as the y-axis, the coordinate system on each image plane I L , I R is defined. Then, the image point on the image plane I R of the right-side image sensor 12 R (x R, y R )
Corresponds to the image point (x R ', y R ') represented by the equations (1) and (2) on the virtual image plane I L + R.
【００３２】[0032]
【数１】 また、左側イメージセンサ１２L の像面ＩL 上の像点
（ｘL，ｙL）は、仮想像面ＩL+R 上では、（３）式およ
び（４）式で表わされる像点（ｘL’，ｙL’）に対応す
る。[Equation 1] Further, the image point on the image plane I L of the left image sensor 12 L (x L, y L ) , the on virtual image plane I L + R, (3) and Equation (4) the image point represented by the formula ( x L ', y L ').
【００３３】[0033]
【数２】 したがって、上記（１）式〜（４）式に示すような幾何
変換処理を施すことにより、輻輳のある複数のイメージ
イセンサ上の画像を一つの仮想像面上の画像に合成でき
るので、このような幾何変換処理を行う画像合成変換処
理部（不図示）を設けることにより、輻輳によって生じ
る歪みが補正された画像を得ることができる。なお、こ
の画像合成変換処理部は、複数の撮像系からの視点の位
置ずれ量と光軸の輻輳角とで視点位置と光軸の方向とが
定義される撮像系から任意の物体距離および結像倍率で
定義される状態で出力される一つの画像信号になるよう
に、複数の撮像系から出力される複数の画像信号を合成
変換する画像合成変換処理部として機能する。[Equation 2] Therefore, by performing the geometric conversion processing as shown in the above equations (1) to (4), the images on the plurality of image sensors with congestion can be combined into the image on one virtual image plane. By providing an image synthesis conversion processing unit (not shown) that performs such geometric conversion processing, it is possible to obtain an image in which the distortion caused by congestion is corrected. It should be noted that this image synthesis conversion processing unit determines an arbitrary object distance and connection from the imaging system in which the viewpoint position and the direction of the optical axis are defined by the positional displacement amount of the viewpoint from the plurality of imaging systems and the convergence angle of the optical axis. It functions as an image combination conversion processing unit that combines and converts a plurality of image signals output from a plurality of image pickup systems so that one image signal is output in a state defined by the image magnification.
【００３４】左側イメージセンサ１２L の像面ＩL およ
び右側イメージセンサ１２R の像面ＩR の大きさをＨ×
Ｖ（アスペクト比Ｈ／Ｖ）とし、仮想像面ＩL+R の大き
さをＨ’×Ｖ’（アスペクト比Ｈ’／Ｖ’）とすると、
点ＡR および点ＢL の変換後の点ＡR’ および点ＢL’
のｘ座標を上記（１）式および上記（３）式から求める
ことにより、仮想像面ＩL+R の図示水平方向の長さＨ’
を計算することができる。また、点ＢL および点ＤL の
変換後の点ＢL’ および点ＤL’ のｙ座標を上記（２）
式および上記（４）式から求めることにより、仮想像面
ＩL+R の図示垂直方向の長さＶ’を計算することができ
る。このようにして求めた仮想像面ＩL+ R のアスペクト
比は、（５）式で表わされる。[0034] The size of the image plane I R of the image plane I L and the right-side image sensor 12 R of the left image sensor 12 L H ×
V (aspect ratio H / V) and the size of the virtual image plane I L + R is H ′ × V ′ (aspect ratio H ′ / V ′),
Point A the transformed point R and the point B L A R 'and point B L'
The x-coordinate of the virtual image plane I L + R in the horizontal direction in the figure is obtained by obtaining the x-coordinate of the equation (1) and the equation (3).
Can be calculated. Further, the y-coordinate of the point B L and a point D L point B L after conversion 'and the point D L' (2)
The length V ′ of the virtual image plane I L + R in the vertical direction in the figure can be calculated by the equation and the equation (4). The aspect ratio of the virtual image plane I L + R thus obtained is expressed by the equation (5).
【００３５】[0035]
【数３】 したがって、左側イメージセンサ１２L の像面ＩL およ
び右側イメージセンサ１２R の像面ＩR の大きさＨ×Ｖ
と基線長２ｄとがともに一定であるとすると、上記
（５）式は（６）式のように書ける。[Equation 3] Thus, the image plane I R of the image plane I L and the right-side image sensor 12 R of the left image sensor 12 L size H × V
If the base line length 2d and the base line length 2d are both constant, the above equation (5) can be written as equation (6).
【００３６】[0036]
【数４】 すなわち、仮想像面ＩL+R のアスペクト比Ｈ’／Ｖ’を
決定する輻輳制御角θは、結像倍率βと物体距離ｚとに
よって決まることになる。[Equation 4] That is, the convergence control angle θ that determines the aspect ratio H ′ / V ′ of the virtual image plane I L + R is determined by the imaging magnification β and the object distance z.
【００３７】そこで、図３に示した演算制御部５１で
は、各ズームエンコーダ４１L，４１Rの出力信号の平均
値と各フォーカスエンコーダ４２L，４２Rの出力信号の
平均値とが計算されたのち、結像倍率βが、計算された
２つの平均値から各撮像光学系１１L，１１Rの光学パラ
メータ（各撮像光学系１１L，１１Rを構成するレンズ群
の焦点距離および主点間隔など）を用いて求められる。
続いて、仮想像面ＩL+Rのアスペクト比Ｈ’／Ｖ’が所
定のアスペクト比になるように、輻輳角の制御目標値
が、上記（６）式に基づいて、結像倍率βおよび物体距
離ｚに応じて計算される。計算された輻輳角の制御目標
値は、輻輳角制御部５２に送られる。Therefore, the arithmetic control unit 51 shown in FIG. 3 calculates the average value of the output signals of the zoom encoders 41 L and 41 R and the average value of the output signals of the focus encoders 42 L and 42 R. later, the imaging magnification β is, the two calculated average the imaging optical system from the value 11 L, 11 focal length and principal point interval of the optical parameters (lens constituting each imaging optical system 11 L, 11 R of R Etc.).
Subsequently, the control target value of the convergence angle is set based on the above equation (6) so that the aspect ratio H ′ / V ′ of the virtual image plane I L + R becomes a predetermined aspect ratio. It is calculated according to the object distance z. The calculated control target value of the convergence angle is sent to the convergence angle control unit 52.
【００３８】なお、ここでは、各ズームエンコーダ４１
L，４１Rの出力信号の平均値および各フォーカスエンコ
ーダ４２L，４２Rの出力信号の平均値を求めたが、いず
れか一方のズームエンコーダ４１L，４１Rの出力信号お
よびいずれか一方のフォーカスエンコーダ４２L，４２R
の出力信号を用いてもよい。また、結像倍率βおよび物
体距離ｚに応じた輻輳制御角θのテーブルを演算制御部
５１内に備えておき、このテーブルを参照して輻輳角の
制御目標値を求めてもよいし、結像倍率βおよび物体距
離ｚと輻輳制御角θとの関係を簡単な多項式に近似し
て、この多項式の係数を演算制御部５１に記憶しておく
ことにより、輻輳制御角θを計算してもよい。Incidentally, here, each zoom encoder 41
The average value of the output signals of L and 41 R and the average value of the output signals of the focus encoders 42 L and 42 R were calculated, but the output signal of one of the zoom encoders 41 L and 41 R and the focus signal of one of the focus encoders Encoder 42 L , 42 R
Alternatively, the output signal of Further, a table of the convergence control angle θ according to the imaging magnification β and the object distance z may be provided in the arithmetic and control unit 51, and the control target value of the convergence angle may be obtained by referring to this table. Even if the convergence control angle θ is calculated by approximating the relationship between the image magnification β and the object distance z and the convergence control angle θ into a simple polynomial, and storing the coefficient of this polynomial in the arithmetic control unit 51. Good.
【００３９】以上により、所定のアスペクト比の画像が
得られるが、この場合には、トリミングする必要はな
く、オーバーラップする領域をできるだけ大きくとれる
ので、高画質の画像が得られる。なお、合成処理後の画
像（仮想像面ＩL+R ）は、図４に示すように、その領域
の形状が矩形から多少歪んだ形状となり、たとえばＨＤ
モニターなどにアスペクト比１６：９の画像を表示する
際には、輪郭に沿って枠線を表示してもよい。As described above, an image having a predetermined aspect ratio can be obtained, but in this case, it is not necessary to perform trimming and the overlapping area can be made as large as possible, so that a high quality image can be obtained. Note that the image (virtual image plane I L + R ) after the combining process has a shape in which the region is slightly distorted from a rectangle as shown in FIG.
When displaying an image with an aspect ratio of 16: 9 on a monitor or the like, a frame line may be displayed along the contour.
【００４０】次に、演算制御部５１における輻輳角の制
御目標値の他の作成方法について、図５を参照して説明
する。Next, another method of creating the control target value of the convergence angle in the arithmetic control unit 51 will be described with reference to FIG.
【００４１】上述した作成方法では、図４に示したよう
に、合成処理後の画像の形状が、矩形から多少歪んだ形
状になる。合成処理後の画像の領域の形状を矩形にする
には、たとえば図５に示す斜線部分をカットする方法が
考えられる。この場合、上述した作成方法により輻輳角
の制御目標値を決定すると、仮想像面ＩL+R のアスペク
ト比が所定のアスペクト比よりも多少大きくなる。い
ま、仮想像面ＩL+R の大きさを、図５に示すように、
Ｈ’×Ｖ”（アスペクト比Ｈ’／Ｖ”）とすると、合成
後のアスペクト比は、上述した作成方法と同様にして、
上記（１）式〜（４）式より、（７）式で表わされる。In the above-described creation method, as shown in FIG. 4, the shape of the image after the combining process becomes a shape that is slightly distorted from a rectangle. In order to make the shape of the area of the image after the combination processing rectangular, for example, a method of cutting the shaded portion shown in FIG. 5 can be considered. In this case, when the control target value of the convergence angle is determined by the above-described creation method, the aspect ratio of the virtual image plane I L + R becomes slightly larger than the predetermined aspect ratio. Now, as shown in FIG. 5, the size of the virtual image plane I L + R is
Assuming that H ′ × V ″ (aspect ratio H ′ / V ″), the aspect ratio after composition is the same as in the above-described creation method.
From the above equations (1) to (4), it is represented by equation (7).
【００４２】[0042]
【数５】 この作成方法においても、輻輳角の制御目標値は、上記
（７）式の逆変換式から所定のアスペクト比になるよう
に結像倍率βおよび物体距離ｚに応じて計算される。し
かし、この作成方法においては、逆変換式が非常に複雑
になるので、テーブルを参照して輻輳角の制御目標値を
求める方法または多項式に近似して輻輳角の制御目標値
を計算する方法を用いるのがより望ましい。[Equation 5] Also in this creation method, the control target value of the vergence angle is calculated from the inverse transformation equation of the above equation (7) according to the imaging magnification β and the object distance z so as to have a predetermined aspect ratio. However, in this creating method, since the inverse conversion formula becomes very complicated, a method of obtaining the control target value of the convergence angle by referring to the table or a method of calculating the control target value of the convergence angle by approximating a polynomial is used. It is more desirable to use.
【００４３】なお、この作成方法においては、所定のア
スペクト比の画像を得るために、合成画像の上下の領域
を多少トリミングしているが、画質の劣化が著しくない
程度であれば許容できる。同様にして、合成画像の上下
または左右の領域を多少トリミングしてアスペクト比を
微調整することは、画質の劣化が著しくない範囲であれ
ば許容できる。In this producing method, the upper and lower regions of the composite image are trimmed to some extent in order to obtain an image having a predetermined aspect ratio, but it is acceptable as long as the image quality is not significantly deteriorated. Similarly, fine adjustment of the aspect ratio by slightly trimming the upper and lower regions or the left and right regions of the composite image is acceptable as long as the image quality is not significantly degraded.
【００４４】以上述べた実施例では、各撮像系の光軸回
転量が同一になるように輻輳角の制御を行ったが、一つ
の撮像系の光軸のみを回転させるよう構成してもよい。In the embodiment described above, the convergence angle is controlled so that the optical axis rotation amount of each image pickup system is the same, but it is also possible to rotate only the optical axis of one image pickup system. .
【００４５】また、撮像光学系がズームレンズからなる
場合には、ズーミングの際に結像倍率βが変化するの
で、輻輳制御角θを逐次変化させないと、アスペクト比
が変わってしまう。すなわち、ズーミング中にアスペク
ト比を一定に保つには、以下に示す（８）式が成り立つ
ことは上記（６）式から明白であるため、（８）式によ
り輻輳角の追従制御を行えばよい。When the image pickup optical system is a zoom lens, the image forming magnification β changes during zooming, so the aspect ratio changes unless the convergence control angle θ is changed successively. That is, in order to keep the aspect ratio constant during zooming, it is clear from the above equation (6) that the following equation (8) holds, and therefore the convergence angle follow-up control may be performed by the equation (8). .
【００４６】[0046]
【数６】θ＝ｇ(β，ｚ) （８） 次に、ズーミング中での輻輳角制御のアルゴリズムにつ
いて、図６を参照して説明する。なお、この制御は、ズ
ーム，フォーカスおよび輻輳を含むシステム全体の制御
を司るシステムコントローラ６０（図３参照）によって
行われる。## EQU6 ## θ = g (β, z) (8) Next, the algorithm of the convergence angle control during zooming will be described with reference to FIG. Note that this control is performed by the system controller 60 (see FIG. 3) that controls the entire system including zoom, focus, and congestion.
【００４７】外部からのズーム信号を受け付けると（ス
テップＳ１）、ズーム信号に応じた制御信号をズーム制
御部（不図示）に出力する。これにより、各撮像光学系
１０ L，１０Rの焦点距離が同一となるように、各変倍群
２２L，２２Rが各ズームモータ２５L，２５Rによって駆
動される（ステップＳ２）。続いて、外部からのフォー
カス信号を受け付けると、フォーカス信号に応じた制御
信号をフォーカス制御部（不図示）に出力する。これに
より、各撮像光学系１０L，１０Rの焦点が同一の被写体
距離に合うように、各合焦群２４L，２４Rが各フォーカ
スモータ２６L，２６Rによって駆動される（ステップＳ
３）。続いて、各撮像光学系１１L，１１R の光軸回転
の指示を示す制御信号Ｓを演算制御部５１（図３参照）
に出力する。これにより、上記（８）式に基づいた輻輳
角制御が行われる（ステップＳ４）。続いて、外部から
のズーム信号の有無によりズーミング中か否かのチェッ
クを行い、ズーミング中であると判断した場合には、ス
テップＳ２〜ステップＳ４までの動作を繰り返す（ステ
ップＳ５）。When an external zoom signal is received (
Step S1), zoom control signals according to the zoom signal
Output to the control section (not shown). This allows each imaging optical system
10 L, 10RSo that the focal lengths of
22L, 22REach zoom motor 25L, 25RDriven by
Is moved (step S2). Next, from the outside
When the dust signal is accepted, the control according to the focus signal
The signal is output to the focus control unit (not shown). to this
Therefore, each imaging optical system 10L, 10RSubject with the same focus
Focus groups 24 to match the distanceL, 24REach focus
Motor 26L, 26RDriven by (step S
3). Then, each imaging optical system 11L, 11R Optical axis rotation
The control signal S indicating the instruction of the calculation control unit 51 (see FIG. 3).
Output to. As a result, the congestion based on the above equation (8)
Angle control is performed (step S4). Then from the outside
Check whether zooming is in progress or not depending on the presence or absence of the zoom signal of
If you decide that you are zooming,
The operation from step S2 to step S4 is repeated (step
S5).
【００４８】ステップＳ５においてズーミング中でない
と判断した場合には、ステップＳ３の動作と同様にし
て、外部からのフォーカス信号の受付および各合焦群２
４L，２４Rの駆動を再度行う（ステップＳ６）。ここ
で、フォーカス制御を再度行うのは、ステップＳ４にお
ける輻輳角制御によりピントが外れることがあるためで
ある。続いて、フォーカス制御で結像倍率βがずれた場
合には、ステップＳ４の動作と同様にして、輻輳角制御
を再度行う（ステップＳ７）。続いて、ステップＳ３の
動作と同様にして、外部からのフォーカス信号の受付お
よび各合焦群２４ L，２４Rの駆動を再度行う（ステップ
Ｓ８）。続いて、ステップＳ８におけるフォーカス制御
で結像倍率βがずれたかどうかを判断することにより、
輻輳角制御の必要性があるか否かを判断して、輻輳角制
御の必要がある場合には、ステップＳ７およびステップ
Ｓ８の動作を繰り返す（ステップＳ９）。一方、輻輳角
制御の必要がない場合には、動作を終了する。In step S5, zooming is not in progress.
If it is determined that the same as the operation of step S3
Receiving focus signals from the outside and focusing groups 2
FourL, 24RIs driven again (step S6). here
The focus control is performed again in step S4.
The focus angle may be out of focus due to the convergence angle control.
is there. Next, if the imaging magnification β has shifted due to focus control,
If it is, the convergence angle control is performed in the same manner as the operation of step S4.
Is performed again (step S7). Then, in step S3
Accept the focus signal from the outside in the same way as the operation.
And each focusing group 24 L, 24RDrive again (step
S8). Then, the focus control in step S8
By determining whether the imaging magnification β has deviated by
Determine whether there is a need for convergence angle control, and
If necessary, step S7 and step
The operation of S8 is repeated (step S9). On the other hand, the angle of convergence
If no control is required, the operation ends.
【００４９】以上の処理によって、ズーミング中でもア
スペクト比が一定に保たれるように輻輳角制御を行うこ
とができる。With the above processing, the convergence angle can be controlled so that the aspect ratio is kept constant even during zooming.
【００５０】なお、フォーカス信号は外部から与えられ
る任意の被写体距離にピントが合うように設定されてい
るものでもよいし、公知の自動焦点検出器の出力信号で
もよい。特に、フォーカス信号が自動焦点検出器の出力
信号である場合には、ズーミング中でも輻輳角制御がリ
アルタイムで行えるので、アスペクト比を違和感なく一
定に保つことができる。The focus signal may be set so as to focus on an arbitrary subject distance given from the outside, or may be an output signal of a known automatic focus detector. In particular, when the focus signal is the output signal of the automatic focus detector, the convergence angle control can be performed in real time even during zooming, so that the aspect ratio can be kept constant without any discomfort.
【００５１】[0051]
【発明の効果】本発明は、上述のとおり構成されている
ので、次の効果を奏する。Since the present invention is configured as described above, it has the following effects.
【００５２】（１）複数の撮像系からの視点の位置ずれ
量と光軸の輻輳角とで視点位置と光軸の方向とが定義さ
れる撮像系から任意の物体距離および結像倍率で定義さ
れる状態で出力される一つの画像信号になるように、複
数の撮像系から出力される複数の画像信号を合成変換す
ることができるため、輻輳によって生じる歪みが補正さ
れた合成画像を得ることができるとともに、合成画像の
画質の劣化を最小限に抑えることができる。(1) The position of the viewpoint and the direction of the optical axis are defined by the amount of displacement of the viewpoint from the plurality of imaging systems and the convergence angle of the optical axis. Since a plurality of image signals output from a plurality of image pickup systems can be combined and converted so as to be one image signal output in a fixed state, it is possible to obtain a combined image in which distortion caused by congestion is corrected. In addition, the deterioration of the image quality of the composite image can be minimized.
【００５３】（２）複数の撮像系の少なくとも結像倍率
と物体距離とを表す光学パラメータに応じて、合成変換
後の画像が所定のアスペクト比となるように輻輳角の制
御目標値を決定し、決定した輻輳角の制御目標値に応じ
て輻輳角制御を行うことができるため、任意のアスペク
ト比の合成画像を得ることができる。(2) The control target value of the vergence angle is determined so that the image after the composite conversion has a predetermined aspect ratio, in accordance with at least the imaging parameters of the plurality of image pickup systems and the optical parameters representing the object distance. Since the vergence angle control can be performed according to the determined control target value of the vergence angle, a composite image with an arbitrary aspect ratio can be obtained.
【００５４】（３）複数の撮像系の変倍時に、合成変換
後の画像のアスペクト比が一定に保たれるように、複数
の撮像系の輻輳角制御を行うことができるため、ズーミ
ング中でも輻輳制御を追従して行えるので、アスペクト
比を違和感なく一定に保つことができる。(3) Since the angle of convergence of the plurality of image pickup systems can be controlled so that the aspect ratio of the image after the composite conversion can be kept constant when the magnification of the plurality of image pickup systems is changed, the congestion occurs even during zooming. Since the control can be performed following each other, the aspect ratio can be kept constant without a feeling of strangeness.
【図１】本発明の複眼撮像装置の一実施例における撮像
系の基本配置を示す図である。FIG. 1 is a diagram showing a basic arrangement of an image pickup system in an embodiment of a compound-eye image pickup apparatus of the present invention.
【図２】図１に示した左側撮像光学系および右側撮像光
学系の構成を示す概略構成図である。FIG. 2 is a schematic configuration diagram showing configurations of a left-side imaging optical system and a right-side imaging optical system shown in FIG.
【図３】本発明の複眼撮像装置の一実施例における輻輳
角制御系の構成を示すブロック図である。FIG. 3 is a block diagram showing a configuration of a convergence angle control system in an embodiment of the compound-eye image pickup apparatus of the present invention.
【図４】図３に示した演算制御部における輻輳角の制御
目標値の作成方法を説明するための図である。FIG. 4 is a diagram for explaining a method of creating a control target value of a convergence angle in the arithmetic control unit shown in FIG.
【図５】図３に示した演算制御部における輻輳角の制御
目標値の他の作成方法を説明するための図である。FIG. 5 is a diagram for explaining another method of creating a convergence angle control target value in the arithmetic and control unit shown in FIG.
【図６】本発明の複眼撮像装置の一実施例におけるズー
ミング中での輻輳角制御のアルゴリズムを示すためのフ
ローチャートである。FIG. 6 is a flowchart showing an algorithm of convergence angle control during zooming in an embodiment of the compound-eye image pickup apparatus of the present invention.
【図７】２つの撮像系を用いて、画界の一部をオーバー
ラップさせて共通の被写体を撮像して得られた２つの画
像を合成して、任意のアスペクト比の一つの画像を作成
する複眼撮像装置の一例を示すための概念図である。FIG. 7: Using two image pickup systems, two images obtained by overlapping a part of the field of view and picking up an image of a common subject are combined to create one image with an arbitrary aspect ratio. FIG. 3 is a conceptual diagram showing an example of a compound-eye imaging device that performs
１ 被写体平面 ２L 左側物体面 ２R 右側物体面 １０L 左側撮像系 １０R 右側撮像系 １１L 左側撮像光学系 １１R 右側撮像光学系 １２L 左側イメージセンサ １２R 右側イメージセンサ ２１L，２１R，２３L，２３R レンズ群 ２２L，２２R 変倍群 ２４L，２４R 合焦群 ２５L，２５R ズームモータ ２６L，２６R フォーカスモータ ２７L，２７R 輻輳角モータ ２８L，２８R 輻輳角エンコーダ ４１L，４１R ズームエンコーダ ４２L，４２R フォーカスエンコーダ ５０ 輻輳角制御系 ５１ 演算制御部 ５２ 輻輳角制御部 ６０ システムコントローラ ＬL，ＬR 光軸 θ 角度 ２θ 輻輳角 ＯL，ＯR，ＣL，ＣR，ＡL，ＢL，ＣL，ＤL，ＡR，ＢR，
ＣR，ＤR，ＡL’，ＢL’，ＣL’，ＤL’，ＡR’，
ＢR’，ＣR’，ＤR’ＥL，ＦL，ＥR，ＦR，Ｅ’，Ｆ’
点 ＩL，ＩR 像面 ＩL+R 仮想像面 Ｈ，Ｈ’，Ｖ，Ｖ’，Ｖ” 長さ ｘ，ｙ 軸1 Subject plane 2 L Left side object plane 2 R Right side object plane 10 L Left side imaging system 10 R Right side imaging system 11 L Left side imaging optical system 11 R Right side imaging optical system 12 L Left side image sensor 12 R Right side image sensor 21 L , 21 R , 23 L , 23 R lens group 22 L , 22 R variable power group 24 L , 24 R focusing group 25 L , 25 R zoom motor 26 L , 26 R focus motor 27 L , 27 R convergence angle motor 28 L , 28 R convergence angle encoder 41 L, 41 R zoom encoder 42 L, 42 R focus encoder 50 convergence angle control system 51 calculation control unit 52 convergence angle controller 60 system controller L L, L R optical axis θ angle 2θ convergence angle O L, O R, C L, C R , A L, B L, C L, D L, A R, B R,
C R , D R , A L ', B L ', C L ', D L ', A R ',
B R ', C R ', D R 'E L , F L , E R , F R , E', F '
Point I L , I R Image plane I L + R Virtual image plane H, H ', V, V', V "Length x, y axis
Claims (3)
バーラップさせて共通の被写体を撮像して得られる複数
の画像を合成して、任意のアスペクト比の一つの画像を
作成する複眼撮像装置において、 前記複数の撮像系からの視点の位置ずれ量と光軸の輻輳
角とで視点位置と光軸の方向とが定義される撮像系から
任意の物体距離および結像倍率で定義される状態で出力
される一つの画像信号になるように、前記複数の撮像系
から出力される複数の画像信号を合成変換する画像合成
変換処理部を備えたことを特徴とする複眼撮像装置。1. A single image having an arbitrary aspect ratio is created by synthesizing a plurality of images obtained by imaging a common subject by overlapping a part of image fields using a plurality of imaging systems. In the compound-eye imaging device, the viewpoint position and the direction of the optical axis are defined by the amount of displacement of the viewpoint from the plurality of imaging systems and the vergence angle of the optical axis, and defined by an arbitrary object distance and imaging magnification from the imaging system. A compound-eye image pickup apparatus comprising an image synthesis conversion processing unit that synthesizes and transforms a plurality of image signals output from the plurality of image pickup systems so as to obtain one image signal output in such a state.
と物体距離とを表す光学パラメータに応じて、合成変換
後の画像が所定のアスペクト比となるように輻輳角の制
御目標値を決定する演算制御部と、 該演算制御部の出力信号に応じて輻輳角制御を行う輻輳
角制御部と、 該輻輳角制御部の出力信号に応じて前記複数の撮像系の
少なくとも一つの撮像系の光軸を回転駆動する駆動部と
を備えたことを特徴とする請求項１記載の複眼撮像装
置。2. The control target value of the vergence angle is determined so that the image after the composite conversion has a predetermined aspect ratio in accordance with at least the imaging magnification and the object distance of the plurality of image pickup systems. An arithmetic control unit, a vergence angle control unit that performs vergence angle control according to an output signal of the arithmetic control unit, and a light of at least one imaging system of the plurality of imaging systems according to the output signal of the vergence angle control unit. The compound-eye imaging device according to claim 1, further comprising a drive unit that rotationally drives the shaft.
を有する撮像系であり、 前記演算制御部が、前記複数の撮像系の変倍時に、合成
変換後の画像のアスペクト比が一定に保たれるように、
前記複数の撮像系の輻輳角制御を行うことを特徴とする
請求項２記載の複眼撮像装置。3. The plurality of image pickup systems are image pickup systems each having a magnification change function, and the arithmetic and control unit maintains a constant aspect ratio of an image after composite conversion when the plurality of image pickup systems is changed in magnification. To be kept
The compound eye image pickup apparatus according to claim 2, wherein convergence angle control of the plurality of image pickup systems is performed.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5223544A JP2883264B2 (en) | 1993-09-08 | 1993-09-08 | Compound eye imaging device |
| US08/645,187 US5682198A (en) | 1993-06-28 | 1996-05-13 | Double eye image pickup apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5223544A JP2883264B2 (en) | 1993-09-08 | 1993-09-08 | Compound eye imaging device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0779379A true JPH0779379A (en) | 1995-03-20 |
| JP2883264B2 JP2883264B2 (en) | 1999-04-19 |
Family
ID=16799828
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5223544A Expired - Fee Related JP2883264B2 (en) | 1993-06-28 | 1993-09-08 | Compound eye imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2883264B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01282332A (en) * | 1988-05-10 | 1989-11-14 | Toray Ind Inc | Infusibilization of pitch-based material |
| JPH07135605A (en) * | 1993-11-11 | 1995-05-23 | Mitsubishi Electric Corp | Picture synthesizer |
| JP2002057938A (en) * | 2000-08-10 | 2002-02-22 | Nippon Telegr & Teleph Corp <Ntt> | Image pickup system |
| JP2007223473A (en) * | 2006-02-23 | 2007-09-06 | Railway Technical Res Inst | Rolling stock inspection method using long image and device therefor |
| JP2009094726A (en) * | 2007-10-05 | 2009-04-30 | Fujifilm Corp | Image recording apparatus and image recording method |
-
1993
- 1993-09-08 JP JP5223544A patent/JP2883264B2/en not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01282332A (en) * | 1988-05-10 | 1989-11-14 | Toray Ind Inc | Infusibilization of pitch-based material |
| JPH07135605A (en) * | 1993-11-11 | 1995-05-23 | Mitsubishi Electric Corp | Picture synthesizer |
| JP2002057938A (en) * | 2000-08-10 | 2002-02-22 | Nippon Telegr & Teleph Corp <Ntt> | Image pickup system |
| JP2007223473A (en) * | 2006-02-23 | 2007-09-06 | Railway Technical Res Inst | Rolling stock inspection method using long image and device therefor |
| JP2009094726A (en) * | 2007-10-05 | 2009-04-30 | Fujifilm Corp | Image recording apparatus and image recording method |
| US8243121B2 (en) | 2007-10-05 | 2012-08-14 | Fujifilm Corporation | Image recording apparatus and image recording method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2883264B2 (en) | 1999-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3192875B2 (en) | Image synthesis method and image synthesis device | |
| US5682198A (en) | Double eye image pickup apparatus | |
| JP2888713B2 (en) | Compound eye imaging device | |
| EP0563737B1 (en) | Multilens imaging apparatus with correction of misregistration | |
| JP3054002B2 (en) | Compound eye imaging device | |
| JP2883265B2 (en) | Image processing device | |
| KR100966288B1 (en) | Around image generating method and apparatus | |
| US20070085901A1 (en) | Vehicle drive assistant system | |
| KR20100081964A (en) | Around image generating method and apparatus | |
| JP2011239207A (en) | Imaging apparatus, imaging control method, and imaging control program | |
| JP2883264B2 (en) | Compound eye imaging device | |
| JPH0767020A (en) | Compound eye type optical system | |
| JPH07303207A (en) | Image pickup device | |
| JP2000341574A (en) | Camera device and camera control system | |
| JPH08126034A (en) | Method and device for displaying stereoscopic image | |
| JPH1141509A (en) | Image pickup device | |
| JP2821042B2 (en) | Image synthesis device | |
| JP2974500B2 (en) | Compound eye imaging device | |
| JPH11196315A (en) | Image reader | |
| JPH07212642A (en) | Picture synthesis method and compound eye image pickup device using the method | |
| JP3093447B2 (en) | Compound eye imaging device | |
| JP3412945B2 (en) | Image synthesis device and photographing device | |
| JP3598704B2 (en) | Image reading device | |
| JP3639620B2 (en) | Image composition apparatus and image processing method | |
| JP4567279B2 (en) | Digital camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080205 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090205 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100205 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100205 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110205 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120205 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130205 Year of fee payment: 14 |
|
| LAPS | Cancellation because of no payment of annual fees |