JPH0884352A - Stereoscopic image pickup device - Google Patents

Abstract

PURPOSE: To adjust stably a convergence angle by detecting a detection area based on a cross reference between preceding information and a detection area in an image. CONSTITUTION: A specific object is selected based on an input image obtained from plural image pickup means 10(a), 10(b) provided as an image input means and a deviation arithmetic section 15 obtains a deviation in an object to be selected and drive sections 11(a), 11(b) are controlled based on the obtained deviation to adjust the optical axis of the image pickup system, then even when a sudden change takes place in the image, an excess change in the convergence angle is suppressed.

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【産業上の利用分野】本発明は立体画像撮影装置に係わ
り、例えば、鏡筒の光軸方向を調整する機構を備えた立
体撮影装置に用いて好適なものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a stereoscopic image pickup apparatus, and is suitable for use, for example, in a stereoscopic image pickup apparatus having a mechanism for adjusting the optical axis direction of a lens barrel.

【０００２】[0002]

【従来の技術】従来の立体画像撮影装置としては、例え
ば特開昭６２−２１３９６号公報で示される立体テレビ
装置や、特開平１−９３９８５号公報で示される立体撮
影装置が知られている。2. Description of the Related Art As a conventional stereoscopic image capturing apparatus, for example, a stereoscopic television apparatus disclosed in JP-A-62-21396 and a stereoscopic image capturing apparatus disclosed in JP-A-1-93985 are known.

【０００３】図１６は、特開昭６２−２１３９６号で示
される従来の立体画像撮影装置の一例を示すブロック図
である。図１６において、１７１（ａ）、１７１（ｂ）
はテレビカメラ、１７２はカメラ回転制御機構、１７３
は映像信号ディジタイズ回路、１７４（ａ）、１７４
（ｂ）はフレームメモリ、１７５は相関演算回路、１７
７は制御装置、１７８は映像表示装置、１７９は立体表
示装置、１７０は対象物体である。FIG. 16 is a block diagram showing an example of a conventional stereoscopic image photographing apparatus disclosed in Japanese Patent Laid-Open No. 62-21396. In FIG. 16, 171 (a) and 171 (b)
Is a television camera, 172 is a camera rotation control mechanism, 173
Is a video signal digitizing circuit, 174 (a), 174
(B) is a frame memory, 175 is a correlation calculation circuit, 17
Reference numeral 7 is a control device, 178 is a video display device, 179 is a stereoscopic display device, and 170 is a target object.

【０００４】以上のように構成された従来の立体画像撮
影装置では、先ず、立体表示される対象物体１７０は、
ここではテレビカメラ１７１（ａ）、１７１（ｂ）で示
される二次元撮像装置によって撮影される。In the conventional stereoscopic image capturing apparatus configured as described above, first, the target object 170 to be stereoscopically displayed is
Here, it is photographed by the two-dimensional imaging device shown by the television cameras 171 (a) and 171 (b).

【０００５】そして、撮像された映像信号は映像信号デ
ィジタイズ回路１７３によりアナログ信号からディジタ
ル信号に変換され、それぞれフレームメモリ１７４
（ａ）、１７４（ｂ）に格納される。Then, the picked-up video signal is converted from an analog signal to a digital signal by the video signal digitizing circuit 173, and the frame memory 174 is respectively provided.
(A) and 174 (b).

【０００６】相関演算回路１７５では、映像表示装置１
７８に写し出されるフレームメモリ１７４（ａ）、また
は１７４（ｂ）の画像上で指定されるＹ座標（画面の縦
方向）に対応するＸ方向（画面の横方向）のデータをフ
レームメモリ１７４（ａ）、１７４（ｂ）から読みだ
し、両データの相互相関関数Ｒ（ｒ）を演算する。そし
て、上記演算結果は制御装置１７７へ出力される。In the correlation calculation circuit 175, the video display device 1
The data in the X direction (horizontal direction of the screen) corresponding to the Y coordinate (vertical direction of the screen) specified on the image of the frame memory 174 (a) or 174 (b) displayed on the frame memory 174 (a). ), 174 (b), and calculates the cross-correlation function R (r) of both data. Then, the calculation result is output to the control device 177.

【０００７】制御装置１７７では、相関演算回路１７５
で得られた相互相関関数Ｒ（ｒ）の最大値を与えるずれ
量が立体視のための融合条件を満足するか否かを調べ、
条件を満足しない場合にはテレビカメラ１７１（ｂ）の
撮像方向を制御するための制御信号をカメラ回転制御機
構１７２に出力する。In the controller 177, the correlation calculation circuit 175 is used.
It is investigated whether or not the shift amount that gives the maximum value of the cross-correlation function R (r) obtained in step S4 satisfies the fusion condition for stereoscopic vision
If the condition is not satisfied, a control signal for controlling the image pickup direction of the television camera 171 (b) is output to the camera rotation control mechanism 172.

【０００８】なお、この立体画像撮影装置には、上記制
御内容をモニタするために映像表示装置１７８が設けら
れている。上記の自動制御動作を高速で繰り返す方法に
より、対象物体最良の立体画像として立体表示装置１７
９に表示することが可能となる。The stereoscopic image pickup device is provided with a video display device 178 for monitoring the control contents. By the method of repeating the above-described automatic control operation at high speed, the stereoscopic display device 17 produces the best stereoscopic image of the target object.
9 can be displayed.

【０００９】また、制御方法としては、上記立体テレビ
装置の他に、特開平１−９３９８５号公報で開示されて
いる立体撮影装置で示される左右それぞれのカメラ映像
信号を比較し、その一致した画素数をカウントし数値で
表示することにより定量的に調整を行う方法等があげら
れる。As a control method, in addition to the stereoscopic television device, the left and right camera video signals shown in the stereoscopic photographing device disclosed in Japanese Patent Laid-Open No. 1-93985 are compared, and the matched pixels are compared. There is a method of quantitatively adjusting by counting the number and displaying it as a numerical value.

【００１０】一方、時系列上の２枚の画像から、振動や
揺れによる画面全体の動きベクトルを画像信号より検出
する方法としては、特開平４−１９０３７０号公報で示
される画像の動きベクトル検出装置があげられる。この
中では、移動物が入り込む場合の対応策として、複数の
検出領域から計算される動きベクトルを複数のグループ
に分類し、グループ中の１つを手振れの動きベクトルと
して採用する方法を用いている。On the other hand, as a method for detecting a motion vector of the entire screen due to vibration or shaking from two image in time series from an image signal, an image motion vector detecting device disclosed in JP-A-4-190370. Can be given. In this case, as a countermeasure when a moving object enters, a method of classifying motion vectors calculated from a plurality of detection regions into a plurality of groups and adopting one of the groups as a motion vector of camera shake is used. .

【００１１】[0011]

【発明が解決しようとする課題】上記立体画像撮影装置
の場合には、被写体が静止している場合には、ずれ量を
適切に制御できるが、画面中を被写体以外の移動物が横
切るなどの状況が生じた場合、輻輳角は急な変化を生
じ、また時間的に不安定となる。In the case of the above-mentioned stereoscopic image pickup apparatus, when the subject is stationary, the shift amount can be controlled appropriately, but a moving object other than the subject may cross the screen. When a situation arises, the vergence angle changes abruptly and becomes unstable in time.

【００１２】図１７に、立体画像撮影装置を用いた撮影
状況を示す。図１７において、２０（ａ）、２１（ａ）
は撮影時の画像の光軸（鏡筒の光軸）、２２は静止して
いる被写体、２３は移動物である。被写体２２に光軸が
合っている時点では、撮像系の基線長及び被写体までの
距離によって決定される輻輳角２４は安定である。FIG. 17 shows a photographing situation using the stereoscopic image photographing apparatus. In FIG. 17, 20 (a) and 21 (a)
Is an optical axis of an image at the time of photographing (optical axis of a lens barrel), 22 is a stationary subject, and 23 is a moving object. At the time when the optical axis is aligned with the subject 22, the convergence angle 24 determined by the baseline length of the imaging system and the distance to the subject is stable.

【００１３】しかし、この場合は画像中に移動物２３が
入り込み、これに光軸が２０（ｂ）、２１（ｂ）に示す
ように調整された場合、輻輳角は２４から２５のように
大きく変動する。輻輳角は被写体の立体感に大きく影響
するパラメータであるため、輻輳角の変動が大きい画像
を観察すると、１つの被写体の立体感が時間とともに激
しく変動し、観察者への負担も大きい。However, in this case, when the moving object 23 enters the image and the optical axis is adjusted to this as shown in 20 (b) and 21 (b), the vergence angle becomes large as 24 to 25. fluctuate. Since the vergence angle is a parameter that greatly affects the stereoscopic effect of the subject, the stereoscopic effect of one subject fluctuates drastically over time when observing an image with a large fluctuation in the vergence angle, and the burden on the observer is large.

【００１４】一方、上記画像の動きベクトル検出装置
は、画像または被写体の動きに対して移動量（ずれ量）
を検出するものであり、動きがない場合でも視差により
画像が異なる立体画像への対応方法については記載され
ていない。しかし、立体画像では、この視差を考慮した
上で観察者が得る立体感を考えた被写体の選択が必要で
ある。On the other hand, the motion vector detecting device for the image described above has a movement amount (shift amount) with respect to the movement of the image or the subject.
However, there is no description of a method for dealing with a stereoscopic image in which images differ depending on parallax even when there is no motion. However, in a stereoscopic image, it is necessary to select a subject in consideration of the parallax and the stereoscopic effect obtained by the observer.

【００１５】本発明は上述の問題点にかんがみ、被写体
が存在する領域を選択し、輻輳角を安定に調整できるよ
うにすることを第１の目的とする。In view of the above problems, it is a first object of the present invention to select an area where a subject is present and to stably adjust the vergence angle.

【００１６】また、本発明の他の目的とするところは、
被写体の立体感に大きく影響を与える輻輳角をできるだ
け安定に、かつ適当な立体感が得られるように撮影状態
を調整することである。Another object of the present invention is to:
The objective is to adjust the shooting state so that the vergence angle that greatly affects the stereoscopic effect of the subject is as stable as possible and an appropriate stereoscopic effect is obtained.

【００１７】また、本発明のその他の目的とするところ
は、輻輳角を１つの被写体に合わせて安定に調整できる
ようにすることである。Another object of the present invention is to enable the convergence angle to be adjusted stably for one subject.

【００１８】また、本発明のその他の目的とするところ
は、時間的な画像の変化に対して輻輳角を安定に調整で
きるようにすることである。Another object of the present invention is to enable stable adjustment of the vergence angle with respect to temporal changes in the image.

【００１９】[0019]

【課題を解決するための手段】本発明の立体画像撮影装
置は、画像入力手段として複数の撮像手段が設けられて
いる立体画像撮影装置において、上記複数の撮像手段か
ら得られる複数の画像信号から所定の領域内の画像信号
の状態を検出し、上記検出した値と所定のしきい値とを
比較することにより、画像中に所定の大きさの検出領域
を選択する領域決定手段を有している。A stereoscopic image photographing apparatus of the present invention is a stereoscopic image photographing apparatus provided with a plurality of image pickup means as image input means, from a plurality of image signals obtained from the plurality of image pickup means. It has a region determining means for selecting a detection region of a predetermined size in the image by detecting the state of the image signal in the predetermined region and comparing the detected value with a predetermined threshold value. There is.

【００２０】また、本発明の他の特徴とするところは、
画像入力手段として複数の撮像手段が設けられている立
体画像撮影装置において、上記複数の撮像手段からそれ
ぞれ得られる複数の画像信号から複数の領域ごとに相互
の画像の対応関係を求める対応関係演算手段と、上記画
像信号から所定の大きさの検出領域を選択する領域決定
手段と、上記検出領域内の対応関係に基いて上記複数の
撮像手段の光軸方向調整を行う制御手段とを有してい
る。Another feature of the present invention is that
In a stereoscopic image pickup apparatus provided with a plurality of image pickup means as image input means, a correspondence relation calculation means for obtaining a correspondence relation between images for a plurality of regions from a plurality of image signals respectively obtained from the plurality of image pickup means And area control means for selecting a detection area of a predetermined size from the image signal, and control means for adjusting the optical axis directions of the plurality of imaging means based on the correspondence in the detection area. There is.

【００２１】また、本発明のその他の特徴とするところ
は、領域決定手段が、上記対応関係演算手段において求
められるずれベクトルを、そのベクトルの持つ要素から
複数の集合に分類するベクトル分類手段と、上記分類さ
れた集合の中から画像のずれ量を求めるための１つの集
団を選択し、この集団に対応する画像中の検出領域を選
択し、この検出領域のずれベクトルが示すずれ量から画
像全体のずれ量を決定する手段とを有している。Another feature of the present invention is that the area determining means classifies the shift vector obtained by the correspondence calculating means into a plurality of sets from the elements of the vector, From the classified sets, select one group for obtaining the image shift amount, select the detection area in the image corresponding to this group, and select the entire image from the shift amount indicated by the shift vector of this detection area. And means for determining the amount of deviation.

【００２２】また、本発明のその他の特徴とするところ
は、領域決定手段が、過去の検出領域情報を保持し、こ
の過去の結果と上記画像中の検出領域との対応関係を調
べ、上記検出領域を決定する手段を有している。Another feature of the present invention is that the area determining means holds past detection area information, checks the correspondence between the past result and the detection area in the image, and performs the above detection. It has means for determining the area.

【００２３】また、本発明のその他の特徴とするところ
は、領域決定手段が、上記ずれベクトルを、そのベクト
ルの持つ要素からヒストグラムを用いて複数の集団に分
類するベクトル分類手段を有している。Another feature of the present invention is that the area determining means has a vector classifying means for classifying the shift vector into a plurality of groups from the elements of the vector using a histogram. .

【００２４】また、本発明のその他の特徴とするところ
は、領域決定手段が、上記ずれベクトルをそのベクトル
の持つ要素を用いてベクトル間の距離を評価する関数か
ら得られる評価値を求め、この評価値を基に複数の集団
に分類するベクトル分類手段を有している。Another feature of the present invention is that the area determining means obtains an evaluation value obtained from a function that evaluates the distance between the vectors by using the element having the above-mentioned shift vector, It has a vector classification means for classifying into a plurality of groups based on the evaluation value.

【００２５】また、本発明のその他の特徴とするところ
は、領域決定手段が、上記ずれベクトルをそのベクトル
の持つ要素から、集団内のベクトルの密度が最も高くな
るように複数の集団に分類するようにしている。Another feature of the present invention is that the area determining means classifies the displacement vector into a plurality of groups from the elements of the vector so that the density of the vector in the group becomes the highest. I am trying.

【００２６】[0026]

【作用】本発明は上記手段よりなるので、入力される画
像に応じて検出領域が設定され、上記設定された検出領
域内の被写体のずれ量が検出される。そして、上記検出
したずれ量を用いて撮像系の光軸が調整されるので、被
写体の立体感に大きな影響を与える輻輳角をできるだけ
安定に、かつ適当な立体感が得られるように撮影状態を
調整することができるようになる。Since the present invention comprises the above means, the detection area is set according to the input image, and the shift amount of the object within the set detection area is detected. Since the optical axis of the imaging system is adjusted using the detected shift amount, the convergence angle that greatly affects the stereoscopic effect of the subject is as stable as possible, and the shooting state is adjusted so that an appropriate stereoscopic effect is obtained. You will be able to adjust.

【００２７】また、本発明の他の特徴によれば、入力さ
れる画像から求められるずれベクトルが用いられるとと
もに、上記ずれベクトルがその要素から複数の集団に分
類され、その中の１つの集団が示す画像中の領域が検出
領域とされ、上記画像中から１つの被写体のずれ量が求
められるので、輻輳角が１つの被写体に合わせて安定に
調整されるようになる。According to another feature of the present invention, the shift vector obtained from the input image is used, and the shift vector is classified into a plurality of groups from the elements, and one of the groups is classified. The area in the image shown is used as the detection area, and the shift amount of one subject is obtained from the image, so that the vergence angle can be adjusted stably according to one subject.

【００２８】また、本発明の他の特徴によれば、過去の
検出領域情報と画像中の検出領域との対応関係から検出
領域が決定されることにより、時間的な画像の変化に対
して輻輳角を安定に調整することができるようになる。Further, according to another feature of the present invention, the detection area is determined from the correspondence between the past detection area information and the detection area in the image, so that the congestion with respect to the temporal change of the image is obtained. You will be able to adjust the corner stably.

【００２９】[0029]

【実施例】以下、本発明の立体画像撮影装置の一実施例
を図面を参照して説明する。図１は、本発明の実施例を
示し、立体画像撮影装置のブロック図であり、立体画像
を撮影する左右鏡筒１０（ａ），１０（ｂ）、この鏡筒
１０（ａ），１０（ｂ）から得られた信号をディジタル
信号に変換するアナログ・ディジタル変換回路（Ａ／
Ｄ）１２（ａ），１２（ｂ）、左右画像信号からずれ量
を検出するずれ量検出装置１３、検出値に基いて鏡筒の
光軸方向の制御を行う制御部１８、制御部からの信号に
より鏡筒の光軸方向を変化させる駆動部１１（ａ），１
１（ｂ）、左右鏡筒１０（ａ），１０（ｂ）からの画像
を表示する立体表示装置１９からなる。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the stereoscopic image taking apparatus of the present invention will be described below with reference to the drawings. FIG. 1 shows an embodiment of the present invention and is a block diagram of a stereoscopic image photographing apparatus. Left and right lens barrels 10 (a), 10 (b) for photographing a stereoscopic image, and the lens barrels 10 (a), 10 ( An analog-to-digital conversion circuit (A / D) for converting the signal obtained from b) into a digital signal
D) 12 (a) and 12 (b), a deviation amount detection device 13 that detects the deviation amount from the left and right image signals, a control unit 18 that controls the optical axis direction of the lens barrel based on the detected value, and a control unit Drive unit 11 (a), 1 for changing the optical axis direction of the lens barrel by a signal
The stereoscopic display device 19 displays images from the left and right lens barrels 10 (a) and 10 (b).

【００３０】駆動部１１（ａ），１１（ｂ）は、左右鏡
筒１０（ａ），１０（ｂ）のそれぞれにヨー角方向に回
転可能なパン機構、およびピッチ角方向に傾き可能なチ
ルト機構からなっている。ずれ量検出装置１３の構成
は、画像入力部１４、ずれ量演算部１５、領域決定部１
６、領域補正部１７とからなっている。The drive units 11 (a) and 11 (b) are respectively provided on the left and right lens barrels 10 (a) and 10 (b) with a pan mechanism rotatable in the yaw angle direction and a tilt mechanism tiltable in the pitch angle direction. It consists of a mechanism. The configuration of the deviation amount detection device 13 includes the image input unit 14, the deviation amount calculation unit 15, and the area determination unit 1.
6 and an area correction unit 17.

【００３１】このように構成された本実施例の立体画像
撮影装置で被写体を撮影する際の動作は、次のようにな
る。図２は、視差を含んだ左右画像が入力された状態を
示す図である。この画面中には２つの被写体３１、３２
があり、これらの被写体３１、３２から鏡筒までの距離
は互いに異なっている。The operation of photographing an object with the stereoscopic image photographing apparatus of this embodiment having the above-described structure is as follows. FIG. 2 is a diagram showing a state in which the left and right images including parallax are input. Two subjects 31, 32 are displayed in this screen.
And the distances from these subjects 31, 32 to the lens barrel are different from each other.

【００３２】また、この状態では２枚の画像中の被写体
位置が上下および左右にずれているため、この画像を１
つの画像として見るためには、観察者はずれ量に応じて
左右眼球を異なった方向へ向けなければならず、観察者
の目に負担がかかる状態で撮影されている。Further, in this state, the subject positions in the two images are vertically and horizontally displaced, so that this image is
In order to view as one image, the observer must direct his left and right eyeballs in different directions according to the shift amount, and the image is taken in a state where the observer's eyes are burdened.

【００３３】撮影された画像信号は、アナログ・ディジ
タル変換回路１２（ａ），１２（ｂ）によりディジタル
信号に変換され、ずれ量検出装置１３へ入力される。図
３に、ずれ量検出装置１３で行われる処理の流れを示
す。The photographed image signal is converted into a digital signal by the analog / digital conversion circuits 12 (a) and 12 (b), and is input to the shift amount detecting device 13. FIG. 3 shows a flow of processing performed by the deviation amount detection device 13.

【００３４】画像入力部１４では、ずれ量検出を行う前
処理として左右画像にＬＰＦ処理８１を行い、視差によ
る画像間の細かな違いを吸収し、次に行われるずれ量演
算時の精度を上げるようにしている。The image input unit 14 performs the LPF processing 81 on the left and right images as a pre-process for detecting the deviation amount, absorbs a small difference between the images due to the parallax, and improves the accuracy of the deviation amount calculation performed next. I am trying.

【００３５】また、画像中には複数の領域（ブロック）
を設定するが、１つのブロック中でのコントラストが低
い場合には、ブロック内に適当な被写体が含まれていな
いか、またはずれ量を求めた場合検出誤差が大きくなる
ことから、この時点で任意の画素数のブロック内画像の
輝度値の和、または傾きの和を求める。Further, a plurality of areas (blocks) are included in the image.
However, if the contrast in one block is low, an appropriate subject is not included in the block, or the detection error becomes large when the shift amount is calculated. The sum of the brightness values of the image in the block or the sum of the inclinations of the number of pixels is calculated.

【００３６】そして、これがあるしきい値を越えない場
合には、信頼性が低いことを示すフラグをブロックに付
けるようにする信頼性判定処理８２を行い、光軸調整可
能な検出領域の精度を選択する。If this value does not exceed a certain threshold value, reliability determination processing 82 is performed to add a flag indicating that the reliability is low to the block to improve the accuracy of the detection area where the optical axis can be adjusted. select.

【００３７】画像入力部１４において前処理が行われた
画像は、次に、ずれ量演算部１５へ送られ、任意の画素
数のブロックごとにずれ量が求められる。ここで行われ
るずれ量演算には、既知のオプティカルフローを求める
方法を用いる。そして、任意の片方の画像を基準とし、
もう一方の画像のずれ量をブロックごとに水平、垂直方
向のずれ量を持ったずれベクトルとして求める。この
際、上記フラグが付いたブロックではこの処理を行わな
いようにして処理速度を向上させている。The image preprocessed in the image input unit 14 is then sent to the shift amount calculation unit 15 and the shift amount is obtained for each block having an arbitrary number of pixels. A known method of obtaining an optical flow is used for the shift amount calculation performed here. Then, using one of the images as a reference,
The shift amount of the other image is obtained as a shift vector having a shift amount in the horizontal and vertical directions for each block. At this time, the processing speed is improved by not performing this processing in the block to which the flag is added.

【００３８】図４は、図２（ａ），（ｂ）に示す左右画
像から求められたずれベクトルの分布を示す。図４中
で、ずれベクトルが得られていないブロックには、ブロ
ック内に適当な明るさを持った被写体がなく、この部分
を除いた領域がずれベクトルの演算領域となっている。FIG. 4 shows the distribution of shift vectors obtained from the left and right images shown in FIGS. 2 (a) and 2 (b). In FIG. 4, in the block for which the shift vector has not been obtained, there is no subject having appropriate brightness in the block, and the region excluding this portion is the shift vector calculation region.

【００３９】なお、図２中の被写体３１、３２の位置関
係は、被写体３２の方が鏡筒に近く、また、ここでは図
２（ａ）の画像を基準とした場合の図２（ｂ）のずれベ
クトルを求めている。このため、ここで求められる被写
体領域４１と４２内のずれベクトルでは、左右異なった
方向を向いている。このずれベクトルから、領域決定部
１６でずれ量判定領域の決定およびずれ量の検出を行う
ようにしている。The positional relationship between the subjects 31 and 32 in FIG. 2 is that the subject 32 is closer to the lens barrel, and here, FIG. 2 (b) when the image of FIG. 2 (a) is used as a reference. The shift vector of is calculated. Therefore, the shift vectors in the subject regions 41 and 42 obtained here are directed in different left and right directions. From this shift vector, the region determination unit 16 determines the shift amount determination region and detects the shift amount.

【００４０】ここで、一例として全てのずれベクトルの
平均値を用いて光軸調整を行った場合について考える。
調整後、図５に示すように、図２に示される画像に移動
物６３が加わり、この移動物６３が短い時間の後、画像
中を横切って外へ出て行き、再び図２の画像が入力され
るとする。Here, as an example, consider a case where the optical axis adjustment is performed using the average value of all the shift vectors.
After the adjustment, as shown in FIG. 5, the moving object 63 is added to the image shown in FIG. 2, and after a short time, the moving object 63 crosses the image and goes outside, and the image of FIG. 2 is again displayed. Suppose it is entered.

【００４１】この場合、ずれ量検出が移動物６３の出入
りに充分追従できるとすると、それに伴い求められるず
れベクトルの分布は、図６のようになる。図６に示した
ように、２つの被写体３１、３２に比べて移動物６３が
撮像系の近くを通ったため、ずれベクトル７３は大きな
ものとなっている。In this case, assuming that the deviation amount detection can sufficiently follow the movement of the moving object 63, the distribution of the deviation vector obtained accordingly is as shown in FIG. As shown in FIG. 6, since the moving object 63 has passed near the imaging system as compared with the two subjects 31 and 32, the displacement vector 73 is large.

【００４２】この場合、移動物６３によって、例えば右
側の光軸が画像中で左方向に調整され、輻輳角は一時的
に大きくなる。そして、移動物６３が画像中から出て行
くと、再びずれ量の平均値が変化し、例えば右側の光軸
が右方向に調整される。この画像を立体的に再現した場
合、被写体３１、３２には変化がないにも係わらず、画
像の輻輳角が変化し、観察者に不要な影響が加えられ
る。In this case, the moving object 63 adjusts the optical axis on the right side to the left in the image, and the vergence angle temporarily increases. Then, when the moving object 63 moves out of the image, the average value of the shift amounts changes again, and the right optical axis is adjusted to the right, for example. When this image is reproduced three-dimensionally, the vergence angle of the image changes despite the fact that the subjects 31 and 32 do not change, and an unnecessary effect is given to the observer.

【００４３】そこで、このような輻輳角の変化による影
響を少なくするために、本実施例の立体画像撮影装置で
は、次の領域決定部１６でベクトルからずれ量判定領域
を画像に合わせて決定するようにしている。Therefore, in order to reduce the influence of such a change in the convergence angle, in the stereoscopic image photographing apparatus of the present embodiment, the next area determination unit 16 determines the deviation amount determination area from the vector in accordance with the image. I am trying.

【００４４】図７は、求められたベクトルを１つの平面
に始点をそろえて投影するようにするずれベクトルの集
団化処理８３を行った結果である。このとき、ずれベク
トルは図２の３１、３２に示される被写体に応じた集団
を形成する。ベクトル集団５１、５２は、それぞれ図４
の被写体領域４１、４２に対応した集団であるが、被写
体形状および計算誤差のため平面上のある程度広がった
範囲に現れている。FIG. 7 shows the result of the shift vector grouping process 83 for projecting the obtained vectors on one plane with their start points aligned. At this time, the shift vector forms a group corresponding to the subject shown by 31 and 32 in FIG. Vector groups 51 and 52 are respectively shown in FIG.
, Which is a group corresponding to the subject regions 41 and 42, appears in a range that is spread to some extent on the plane due to the subject shape and calculation error.

【００４５】ここで、本実施例の立体画像撮影装置で
は、画像中の最大面積を占める被写体を選択するヒスト
グラム作成処理８４を行う。この被写体の具体的な選択
方法として、この平面上に任意の幅の二次元ヒストグラ
ムを作成し、最もベクトルが多く含まれる度数位置に含
まれる集団を求める集団とする。そして、次の検出領域
の決定処理８５により、選ばれた集団が画像中で示す領
域を検出領域とする。Here, in the stereoscopic image photographing apparatus of this embodiment, a histogram forming process 84 for selecting a subject occupying the maximum area in the image is performed. As a specific method of selecting the subject, a two-dimensional histogram having an arbitrary width is created on this plane, and the group included in the frequency position where the most vectors are included is determined as the group. Then, by the next detection area determination processing 85, the area indicated by the selected group in the image is set as the detection area.

【００４６】図７では、ベクトル集団５１が選択され、
これに対応した図４に示すような領域４１が検出領域と
なる。そして、決定した領域のベクトル集合から、その
平均値または中央値を検出量とするずれ量の決定処理８
６により検出量が得られる。そして、上記得られた検出
量から、制御部１８では左右鏡筒１０（ａ），１０
（ｂ）の輻輳角・仰角制御量を求め、左右鏡筒駆動部１
１（ａ），１１（ｂ）に伝えることにより、鏡筒の光軸
方向調整を行っている。In FIG. 7, the vector group 51 is selected,
A region 41 corresponding to this, as shown in FIG. 4, is a detection region. Then, from the vector set of the determined region, the deviation amount determination process 8 using the average value or the median value as the detection amount
A detection amount of 6 is obtained. Then, based on the detected amount obtained above, the control unit 18 causes the left and right lens barrels 10 (a), 10
The vergence angle / elevation angle control amount of (b) is obtained, and the left and right lens barrel drive unit 1
1 (a) and 11 (b) are used to adjust the optical axis of the lens barrel.

【００４７】また、被写体３１の移動などに伴って検出
領域が時間的に変化すると、輻輳角は不安定になる。し
たがって、輻輳角の安定性を考えると、被写体の小さな
動きに輻輳角調整が即座に追従する必要はない。If the detection area temporally changes with the movement of the subject 31, the convergence angle becomes unstable. Therefore, considering the stability of the vergence angle, it is not necessary for the vergence angle adjustment to immediately follow a small movement of the subject.

【００４８】そこで、本実施例においては、時間的な被
写体領域の変化については、例えば、検出領域およびそ
のベクトルの値について、過去の検出結果との対応関係
をとり、最も対応関係が高くなる領域を新たな検出領域
とする領域補正処理１７を領域補正部１７で行ってい
る。これにより、小さな被写体の動きや、一時的な画像
の変化等があっても、輻輳角には大きな変動が起きず、
安定に制御することができる。Therefore, in the present embodiment, with respect to the temporal change of the subject area, for example, the detection area and the vector value thereof are correlated with the past detection result, and the area having the highest correlation is obtained. The area correction unit 17 performs the area correction processing 17 in which is a new detection area. As a result, even if there is a small movement of the subject or a temporary change in the image, the convergence angle does not change significantly,
It can be controlled stably.

【００４９】以上のように本実施例によれば、入力画像
から特定の被写体を選択し、この被写体のずれ量を基に
して撮像系の光軸調整を行うことができる。また、画像
中に急激な変化が生じた場合にも、輻輳角の過敏な変化
を抑えることができる。As described above, according to this embodiment, a specific subject can be selected from the input image, and the optical axis of the image pickup system can be adjusted based on the shift amount of the subject. In addition, even when a sharp change occurs in the image, it is possible to suppress the hypersensitive change in the convergence angle.

【００５０】次に、本発明の第２の実施例を説明する。
図８は、第２の実施例でのずれ量検出装置の流れ図につ
いて示したものである。なお、立体画像撮影装置全体の
構成は、図１に示したものと同様であるので、詳細な説
明は省略する。Next, a second embodiment of the present invention will be described.
FIG. 8 shows a flow chart of the deviation amount detecting device in the second embodiment. Since the overall configuration of the stereoscopic image capturing apparatus is the same as that shown in FIG. 1, detailed description thereof will be omitted.

【００５１】図８に示したように、本実施例の立体画像
撮影装置で被写体を撮影する際の動作は次のようにな
る。なお、図２に示した２枚の画像が入力された場合、
図８のずれ量演算処理までの各処理は第１の実施例と同
じである。As shown in FIG. 8, the operation of photographing a subject with the stereoscopic image photographing apparatus of this embodiment is as follows. If the two images shown in FIG. 2 are input,
Each process up to the shift amount calculation process of FIG. 8 is the same as that of the first embodiment.

【００５２】この第２の実施例においては、ずれ量演算
部９５でオプティカルフローを求める。この結果、ずれ
ベクトルは、図４に示したようになる。これを、図９に
示す水平・垂直成分を縦軸・横軸とする平面上に投影す
る。In the second embodiment, the deviation amount calculator 95 calculates the optical flow. As a result, the shift vector becomes as shown in FIG. This is projected on a plane having horizontal and vertical components as vertical and horizontal axes shown in FIG.

【００５３】このベクトルから、平面上のベクトル間距
離を用いて特定のベクトル集団の中心に位置するベクト
ルを選び出す。この方法としては、ベクトル間距離に応
じた評価関数ｆ（ｘ）を設定し、ある１つのベクトルｖ
ｉの評価値Ｅｉを次のようにして求める。From this vector, a vector located at the center of a specific vector group is selected using the distance between the vectors on the plane. As this method, an evaluation function f (x) corresponding to the distance between vectors is set, and a certain vector v
The evaluation value Ei of i is obtained as follows.

【００５４】[0054]

【数１】 [Equation 1]

【００５５】そして、全てのベクトルについて数１の計
算を行い、ベクトルごとに評価値をつける。この評価値
を比較し、最大または所定の順位のベクトルを集団の代
表となるベクトルとする。評価関数ｆ（ｘ）に、図１０
に示す関数を用いた場合、図９のベクトル１０１の評価
値Ｅ１０１は他のベクトル１０２〜１０８との距離ｒ１
２〜ｒ１８を求め、これを下記の式に代入して得られ
る。Then, Equation 1 is calculated for all the vectors, and an evaluation value is given for each vector. The evaluation values are compared with each other, and the vector having the maximum or predetermined rank is used as a vector representing the group. The evaluation function f (x) is shown in FIG.
When the function shown in is used, the evaluation value E101 of the vector 101 in FIG. 9 is the distance r1 from the other vectors 102 to 108.
2 to r18 are obtained, and this is substituted into the following formula to obtain.

【００５６】[0056]

【数２】 [Equation 2]

【００５７】なお、ここでは一例として評価値が最大に
なるベクトルを選択する。この場合、ベクトルの周囲ｒ
０の範囲内に存在する他のベクトルとの位置関係が最も
密なもの、つまり特定の集団の重心に位置するベクトル
が選ばれる。すなわち、集団に加わる範囲は、ｒ０の取
り方によって決まる。Here, as an example, a vector having the maximum evaluation value is selected. In this case, the circumference r of the vector
A vector having the closest positional relationship with other vectors existing within the range of 0, that is, a vector positioned at the center of gravity of a specific group is selected. That is, the range that joins the group depends on how r0 is taken.

【００５８】そこで、代表として選択されたベクトルか
ら評価関数が所定のしきい値以上となるベクトル、また
は選択されたベクトルと画像中で隣り合う領域が示すベ
クトルを検出領域内のベクトルとすれば、画像中の検出
領域は図１１中の１２１の部分となる。Therefore, if a vector whose evaluation function is greater than or equal to a predetermined threshold value from the vector selected as a representative or a vector indicated by a region adjacent to the selected vector in the image is a vector in the detection region, The detection area in the image is the portion 121 in FIG.

【００５９】また、画像中に図５に示す移動物６３が画
像中に突然現れた場合においても、ずれ量検出値の過敏
な変化は抑えられる。この方法では被写体ごとのベクト
ルのばらつきが大きな場合でも、安定して被写体の選択
が行える。Further, even when the moving object 63 shown in FIG. 5 suddenly appears in the image, the sensitive change of the deviation amount detection value can be suppressed. According to this method, even if there is a large variation in the vector for each subject, the subject can be stably selected.

【００６０】次に、本発明の第３の実施例を説明する。
図１２は、第３の実施例でのずれ量検出装置における処
理の流れについて示したものである。なお、この場合も
立体画像撮影装置全体の構成は図１に示したものと同様
である。本実施例の立体画像撮影装置で被写体を撮影す
る際の動作は次のようになる。Next, a third embodiment of the present invention will be described.
FIG. 12 shows the flow of processing in the deviation amount detecting device in the third embodiment. In this case as well, the overall configuration of the stereoscopic image capturing apparatus is the same as that shown in FIG. The operation of shooting a subject with the stereoscopic image shooting apparatus of this embodiment is as follows.

【００６１】図１３は、視差を含んだ左右画像が入力さ
れた状態が示されており、この画面中には被写体１４１
（ａ、ｂ）、１４２（ａ、ｂ）がある。そして、２つの
被写体の大きさはほぼは同じ大きさであり、また撮像系
までの距離も等しい。FIG. 13 shows a state in which the left and right images including parallax are input, and the subject 141 is displayed in this screen.
(A, b) and 142 (a, b). The sizes of the two subjects are almost the same, and the distances to the imaging system are also equal.

【００６２】入力後の動作として、図１２のずれ量演算
処理までの処理は上述した第１の実施例および第２の実
施例と同じとする。この第３の実施例におけるずれ量演
算部１５でオプティカルフローを求めた結果、ずれベク
トルは図１４に示すようになる。これを、図１５に示さ
れる水平・垂直成分を縦軸・横軸とする平面上に投影す
る。As the operation after the input, the processes up to the shift amount calculation process of FIG. 12 are the same as those of the above-described first and second embodiments. As a result of obtaining the optical flow by the shift amount calculation unit 15 in the third embodiment, the shift vector becomes as shown in FIG. This is projected onto a plane having horizontal and vertical components as vertical and horizontal axes shown in FIG.

【００６３】次いで、領域決定のためにこの中から１つ
のベクトル集団を選び出す。この方法として、平面上で
の特定領域のベクトルの密度を求め、この密度が最大に
なる集団を求めてこれを被写体集団とする。そして、あ
るベクトルｖｉに対し、他の１つのベクトルｖｊまでの
距離ｒｉｊを半径とする円を平面上にとり、この円の内
側に存在するベクトルの個数ｎｉｊを求め、これより密
度ｄｉｊを次のように求める。Next, one vector group is selected from these for region determination. As this method, the density of the vector of the specific area on the plane is obtained, the group having the maximum density is obtained, and this is set as the subject group. Then, with respect to a certain vector vi, a circle whose radius is the distance rij to another vector vj is set on the plane, and the number nij of vectors existing inside this circle is obtained. From this, the density dij is calculated as follows. Ask for.

【００６４】[0064]

【数３】 (Equation 3)

【００６５】この場合、ベクトルｖｉの評価値Ｅｉは、
求められたｄｉｊの最大値とする。集団の選択として、
ｄｉｊを求める段階においてｎｉｊに制限を設け、この
制限内で求められるｄｉｊを用いれば、Ｅｉはｖｉを中
心とした特定のベクトル集団となる。そして、全てのベ
クトルに対してＥｉを求め、Ｅｉが最大となるベクトル
集団が示す領域を検出領域とする。図１５では、ｎに一
定個数以上となる条件をつけて、大面積の被写体を選択
した状態である。In this case, the evaluation value Ei of the vector vi is
The maximum value of the obtained dij is set. As a group selection,
When nij is limited in the step of obtaining dij and dij obtained within this limitation is used, Ei becomes a specific vector group centered on vi. Then, Ei is obtained for all the vectors, and the area indicated by the vector group having the maximum Ei is set as the detection area. In FIG. 15, a large-area subject is selected with a condition that n is a certain number or more.

【００６６】ここではベクトル集団１６１、１６２に含
まれるベクトルの個数は同じだが、これを含むための円
の直径はＲ１６１＞Ｒ１６２となっているため、ベクト
ルのそろった集団１６２が選択される。これにより、図
１４中の領域１５２、図１３中の被写体１４２が選ばれ
る。Here, the number of vectors included in the vector groups 161 and 162 is the same, but the diameter of the circle for including them is R161> R162, so that the group 162 with the same vectors is selected. As a result, the area 152 in FIG. 14 and the subject 142 in FIG. 13 are selected.

【００６７】この実施例では、画像から検出されるベク
トルがよくそろっている被写体、例えばコントラストが
はっきりしている被写体を選択することができる。した
がって、この方法では画像中にノイズが多い場合や画像
全体のコントラストが低い場合でも、安定して被写体の
選択が行える。In this embodiment, it is possible to select a subject whose vectors detected from an image are well aligned, for example, a subject having a clear contrast. Therefore, according to this method, even when there is much noise in the image or the contrast of the entire image is low, the subject can be stably selected.

【００６８】[0068]

【発明の効果】本発明は上述したように、本発明によれ
ば、画像信号から所定の領域内の画像信号の状態を検出
するとともに、上記検出した検出値を所定のしきい値と
比較することにより、上記画像中に所定の大きさの検出
領域を選択するようにしたので、光軸調整が不安定とな
る画像中の領域を除いた領域を検出領域とすることがで
き、輻輳角が安定な立体画像を撮影できる。As described above, according to the present invention, according to the present invention, the state of the image signal in the predetermined area is detected from the image signal, and the detected value is compared with the predetermined threshold value. Thereby, since the detection area of a predetermined size is selected in the image, the area other than the area in the image where the optical axis adjustment becomes unstable can be the detection area, and the convergence angle is Capable of capturing stable stereoscopic images.

【００６９】また、本発明の他の特徴によれば、画像中
の複数の領域ごとに相互の画像の対応関係を求めるとと
もに、画像信号から所定の大きさの検出領域を選択し、
次いで、所定の検出領域内の相互の画像の対応関係から
制御量を求め、この値に基いて光軸方向を制御するよう
にしたので、画像中の任意の領域の位置ずれを検出して
光軸方向調整を行うことができ、輻輳角が安定な立体画
像を撮影することができる。Further, according to another feature of the present invention, the corresponding relationship between the images is obtained for each of a plurality of regions in the image, and a detection region of a predetermined size is selected from the image signal,
Then, the control amount is calculated from the correspondence between the images in the predetermined detection area, and the optical axis direction is controlled based on this value. Axial adjustment can be performed, and a stereoscopic image with a stable vergence angle can be captured.

【００７０】また、本発明の他の特徴によれば、画像中
の複数の領域ごとに求められるずれベクトルを、そのベ
クトルがもつ要素から複数の集団に分類し、上記複数の
集団から１つの集団を選択するとともに、上記集団に対
応する画像中の検出領域を選択し、この検出領域が示す
ずれ量を画像全体のずれ量とするようにしたので、画像
中の任意の被写体の位置ずれを検出して光軸方向調整を
行うことができ、輻輳角の変動が少ない立体画像を撮影
できる。Further, according to another feature of the present invention, the shift vector obtained for each of a plurality of regions in the image is classified into a plurality of groups based on the elements of the vector, and one group is collected from the plurality of groups. In addition to selecting, the detection area in the image corresponding to the group is selected, and the deviation amount indicated by the detection area is set as the deviation amount of the entire image, so that the positional deviation of any subject in the image is detected. Then, the optical axis direction can be adjusted, and a stereoscopic image in which the convergence angle changes little can be captured.

【００７１】また、本発明の他の特徴によれば、過去の
検出領域情報を保持し、上記過去の情報と画像中の検出
領域との対応関係を調べて検出領域を決定するようにし
たので、時間的に輻輳角が安定な立体画像を撮影でき
る。According to another feature of the present invention, the past detection area information is held, and the detection area is determined by checking the correspondence between the past information and the detection area in the image. , A stereoscopic image with a stable vergence angle can be captured.

【図面の簡単な説明】[Brief description of drawings]

【図１】本発明の立体画像撮影装置の一実施例を示すブ
ロック図である。FIG. 1 is a block diagram showing an embodiment of a stereoscopic image capturing apparatus of the present invention.

【図２】第１および第２の実施例での入力画像を示す図
である。FIG. 2 is a diagram showing an input image in the first and second embodiments.

【図３】第１の実施例の処理の流れを示した図である。FIG. 3 is a diagram showing a processing flow of the first embodiment.

【図４】図２から求められるずれベクトルの検出状態を
示した図である。FIG. 4 is a diagram showing a detection state of a shift vector obtained from FIG.

【図５】図２に移動物が侵入した状態の入力画像を示す
図である。FIG. 5 is a diagram showing an input image in a state where a moving object invades FIG.

【図６】図５から求められるベクトルの検出状態を示し
た図である。FIG. 6 is a diagram showing a detection state of a vector obtained from FIG.

【図７】ずれベクトルを始点をそろえて投影した図であ
る。FIG. 7 is a diagram in which a shift vector is projected with its start points aligned.

【図８】第２の実施例の処理の流れを示した図である。FIG. 8 is a diagram showing a processing flow of a second embodiment.

【図９】第２の実施例のベクトル間距離を示した図であ
る。FIG. 9 is a diagram showing a distance between vectors according to a second embodiment.

【図１０】第２の実施例のベクトル間距離の評価関数を
示した図である。FIG. 10 is a diagram showing an evaluation function of a distance between vectors according to a second embodiment.

【図１１】第２の実施例の検出領域を示した図である。FIG. 11 is a diagram showing a detection area of the second embodiment.

【図１２】第３の実施例の処理の流れを示した図であ
る。FIG. 12 is a diagram showing a processing flow of a third embodiment.

【図１３】第３の実施例での入力画像を示す図である。FIG. 13 is a diagram showing an input image in the third embodiment.

【図１４】図１３から求められるずれベクトルの検出状
態を示した図である。FIG. 14 is a diagram showing a detection state of a shift vector obtained from FIG.

【図１５】第３の実施例のベクトル密度を示した図であ
る。FIG. 15 is a diagram showing the vector density of the third embodiment.

【図１６】従来例を説明する図である。FIG. 16 is a diagram illustrating a conventional example.

【図１７】選択する被写体の変化に対する輻輳角の変化
を示した図である。FIG. 17 is a diagram showing changes in the convergence angle with respect to changes in the selected subject.

【符号の説明】[Explanation of symbols]

１０（ａ），１０（ｂ） 鏡筒 １１（ａ），１１（ｂ） 左鏡筒駆動部 １２（ａ），１２（ｂ） Ａ／Ｄ変換器 １３ ずれ検出部 １４ 画像入力部 １５ ずれ量演算部 １６ 領域決定部 １７ 領域補正部 １８ 制御部 １９ 立体表示装置 ４１，４２，７３，１２１，１５１，１５２ ベクトル
集団が示す領域 ５１，５２，１６１，１６２ ベクトル集団 ８１ 入力画像のＬＰＦ処理 ８２ 画像中の検出ブロック信頼性判定処理 ８３ ずれベクトルの集団化処理 ８４ ヒストグラムによるずれベクトルの集団分類処理 ８５ 画像中の検出領域決定処理 ８６ 画像のずれ量決定処理 ９４ ベクトル間距離評価関数によるずれベクトルの集
団分類処理 １０１〜１０８ ずれベクトル １３４ 投影平面上での密度計算によるずれベクトルの
集団分類処理 １７０ 対象物体10 (a), 10 (b) lens barrel 11 (a), 11 (b) left lens barrel drive unit 12 (a), 12 (b) A / D converter 13 shift detection unit 14 image input unit 15 shift amount Calculation unit 16 Region determination unit 17 Region correction unit 18 Control unit 19 Stereoscopic display device 41, 42, 73, 121, 151, 152 Regions indicated by vector group 51, 52, 161, 162 Vector group 81 LPF processing of input image 82 image Detection block reliability determination process in 83 Displacement vector grouping process 84 Displacement vector group classification process by histogram 85 Detection area determination process in image 86 Image displacement amount determination process 94 Disparity vector group by inter-vector distance evaluation function Classification processing 101 to 108 Deviation vector 134 Collective classification processing of deviation vector by density calculation on projection plane 170 Object body

───────────────────────────────────────────────────── フロントページの続き (72)発明者 福島 信男 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内 ─────────────────────────────────────────────────── ─── Continued Front Page (72) Inventor Nobuo Fukushima 3-30-2 Shimomaruko, Ota-ku, Tokyo Canon Inc.

Claims (7)

【特許請求の範囲】[Claims] 【請求項１】 画像入力手段として複数の撮像手段が設
けられている立体画像撮影装置において、 上記複数の撮像手段から得られる複数の画像信号から所
定の領域内の画像信号の状態を検出し、上記検出した値
と所定のしきい値とを比較することにより、画像中に所
定の大きさの検出領域を選択する領域決定手段を有する
ことを特徴とする立体画像撮影装置。1. A stereoscopic image capturing apparatus provided with a plurality of image pickup means as image input means, detecting a state of an image signal within a predetermined area from a plurality of image signals obtained from the plurality of image pickup means, A stereoscopic image capturing apparatus comprising: a region determining unit that selects a detection region having a predetermined size in an image by comparing the detected value with a predetermined threshold value. 【請求項２】 画像入力手段として複数の撮像手段が設
けられている立体画像撮影装置において、 上記複数の撮像手段からそれぞれ得られる複数の画像信
号から複数の領域ごとに相互の画像の対応関係を求める
対応関係演算手段と、 上記画像信号から所定の大きさの検出領域を選択する領
域決定手段と、 上記検出領域内の対応関係に基いて上記複数の撮像手段
の光軸方向調整を行う制御手段とを有することを特徴と
する立体画像撮影装置。2. A stereoscopic image capturing apparatus provided with a plurality of image pickup means as an image input means, wherein a plurality of image signals obtained from the plurality of image pickup means are used to determine a correspondence relationship between images for each of a plurality of regions. Correspondence calculating means for obtaining, area determining means for selecting a detection area of a predetermined size from the image signal, and control means for adjusting the optical axis directions of the plurality of image pickup means based on the correspondence in the detection area. And a stereoscopic image capturing apparatus. 【請求項３】 請求項２に記載の領域決定手段は、上記
対応関係演算手段において求められるずれベクトルを、
そのベクトルの持つ要素から複数の集合に分類するベク
トル分類手段と、 上記ベクトル分類手段によって分類された集合の中から
画像のずれ量を求めるための１つの集団を選択し、この
集団に対応する画像中の検出領域を選択し、この検出領
域のずれベクトルが示すずれ量から画像全体のずれ量を
決定する手段とを有することを特徴とする立体画像撮影
装置。3. The area determining means according to claim 2, wherein the displacement vector calculated by the correspondence calculating means is
A vector classifying unit that classifies the elements of the vector into a plurality of sets, and one group for obtaining the image shift amount from the sets classified by the vector classifying unit is selected, and an image corresponding to this group is selected. And a means for selecting a detection area in the inside and determining a deviation amount of the entire image from a deviation amount indicated by a deviation vector of the detection area. 【請求項４】 請求項２に記載の領域決定手段は、過去
の検出領域情報を保持し、この過去の結果と上記画像中
の検出領域との対応関係を調べ、上記検出領域を決定す
る手段を有することを特徴とする立体画像撮影装置。4. The area determining means according to claim 2, which holds past detection area information, checks the correspondence between the past result and the detection area in the image, and determines the detection area. A stereoscopic image capturing apparatus having: 【請求項５】 請求項２に記載の領域決定手段は、上記
ずれベクトルを、そのベクトルの持つ要素からヒストグ
ラムを用いて複数の集団に分類する、ベクトル分類手段
を有することを特徴とする立体画像撮影装置。5. The stereoscopic image according to claim 2, further comprising vector classifying means for classifying the shift vector into a plurality of groups from the elements of the vector using a histogram. Imaging device. 【請求項６】 請求項２に記載の領域決定手段は、上記
ずれベクトルを、そのベクトルの持つ要素を用いてベク
トル間の距離を評価する関数から得られる評価値を求
め、上記求めた評価値を基に複数の集団に分類するベク
トル分類手段を有することを特徴とする立体画像撮影装
置。6. The area determining means according to claim 2 obtains an evaluation value obtained from a function that evaluates the distance between the displacement vectors using the elements of the vector, and obtains the obtained evaluation value. A stereoscopic image capturing apparatus having a vector classifying unit for classifying into a plurality of groups based on. 【請求項７】 請求項２に記載の領域決定手段は、上記
ずれベクトルを、そのベクトルの持つ要素から、集団内
のベクトルの密度が最も高くなるように複数の集団に分
類することを特徴とする立体画像撮影装置。7. The area determination means according to claim 2, wherein the displacement vector is classified into a plurality of groups from the elements of the vector so that the density of the vectors in the group is the highest. 3D image capturing device.