JP2011186868A - Common image plane determination program, common image plane determining method, and common image plane determination device - Google Patents
Common image plane determination program, common image plane determining method, and common image plane determination device Download PDFInfo
- Publication number
- JP2011186868A JP2011186868A JP2010052525A JP2010052525A JP2011186868A JP 2011186868 A JP2011186868 A JP 2011186868A JP 2010052525 A JP2010052525 A JP 2010052525A JP 2010052525 A JP2010052525 A JP 2010052525A JP 2011186868 A JP2011186868 A JP 2011186868A
- Authority
- JP
- Japan
- Prior art keywords
- image plane
- common image
- image
- projected
- common
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 32
- 238000003384 imaging method Methods 0.000 claims abstract description 25
- 238000001514 detection method Methods 0.000 claims description 3
- 230000010365 information processing Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
Description
この発明は、異なる位置に配置した２つのカメラ（所謂、ステレオカメラ）で撮像した被写体を立体的に処理（３次元処理）する際に用いる共通画像平面を決定する共通画像平面決定プログラム、共通画像平面決定方法、および共通画像平面決定装置に関する。 The present invention relates to a common image plane determination program for determining a common image plane to be used when three-dimensionally processing (three-dimensional processing) a subject imaged by two cameras (so-called stereo cameras) arranged at different positions. The present invention relates to a plane determination method and a common image plane determination apparatus.
従来、異なる位置に配置した２つのカメラ（所謂、ステレオカメラ）で撮像した被写体を立体的に処理（３次元処理）することが行われている（特許文献１、２等参照）。これにより、被写体の３次元形状の復元や、被写体を撮像した視点以外の仮想視点から被写体を撮像した場合の撮像画像を生成することができる。 Conventionally, a subject imaged by two cameras (so-called stereo cameras) arranged at different positions is three-dimensionally processed (three-dimensional processing) (see Patent Documents 1 and 2, etc.). Thereby, it is possible to restore the three-dimensional shape of the subject and generate a captured image when the subject is imaged from a virtual viewpoint other than the viewpoint at which the subject is imaged.
この３次元処理は、一方のカメラの撮像画像に対して定めた参照点毎に、他方のカメラの撮像画像における対応点を探索する。また、２つのカメラの位置や撮像方向等の相違により生じる両撮像画像の視差（撮像画像における参照点と、対応点との座標位置の差）を算出する。そして、三角測量の原理に基づき、各参照点の３次元位置情報を得る。これにより、参照点毎に３次元位置情報を持たせた距離画像が生成でき、被写体の３次元処理が行える。 In this three-dimensional processing, for each reference point determined for a captured image of one camera, a corresponding point in the captured image of the other camera is searched. Also, the parallax (difference in coordinate position between the reference point and the corresponding point in the captured image) of both captured images caused by the difference between the positions of the two cameras and the imaging direction is calculated. Then, based on the principle of triangulation, the three-dimensional position information of each reference point is obtained. As a result, a distance image having three-dimensional position information for each reference point can be generated, and the subject can be three-dimensionally processed.
また、上述の３次元処理において、一方のカメラの撮像画像の参照点について、他方のカメラの撮像画像における対応点を探索する探索処理を簡単にするため、２つのカメラの撮像画像を、仮想的に並列化する処理（所謂、レクティファイ処理）を行っている。 Further, in the above-described three-dimensional processing, in order to simplify the search process for searching for a corresponding point in the captured image of the other camera with respect to the reference point of the captured image of one camera, the captured images of the two cameras are virtually (So-called rectify processing) is performed in parallel.
このレクティファイ処理は、２つのカメラの撮像画像を、共通画像平面に投影する処理である。この共通画像平面は、２つのカメラの撮像中心（撮像素子の中心）を結ぶ基線軸に平行な軸を含む平面である。この共通画像平面に投影した２つのカメラの撮像画像（２つの投影画像）は、撮像画像上で水平方向、および鉛直方向が一致する。これにより、参照点に対する対応点の探索にかかる処理が簡単になり、この処理にかかる時間が抑えられる。 This rectifying process is a process for projecting images captured by two cameras onto a common image plane. This common image plane is a plane including an axis parallel to the base line axis that connects the imaging centers of the two cameras (the center of the imaging device). The captured images (two projected images) of the two cameras projected on the common image plane have the same horizontal direction and vertical direction on the captured image. This simplifies the process for searching for the corresponding point with respect to the reference point, and reduces the time required for this process.
しかしながら、基線軸に平行な軸を含む平面は、この基線軸に平行な軸（以下、回転軸と言う。）における回転角度が異なる平面が複数存在する。このため、回転軸を含む平面の中から、適当な平面を共通画像平面として選択すると、各カメラの撮像画像を投影した投影画像が小さくなりすぎ、参照点の総数が減少し、被写体の３次元処理の精度を低下させることがある。 However, a plane including an axis parallel to the baseline axis includes a plurality of planes having different rotation angles on an axis parallel to the baseline axis (hereinafter referred to as a rotation axis). For this reason, when an appropriate plane is selected from the planes including the rotation axis as the common image plane, the projected image obtained by projecting the captured image of each camera becomes too small, the total number of reference points is reduced, and the 3D of the subject is reduced. Processing accuracy may be reduced.
この発明の目的は、被写体の立体的処理にかかる精度が十分に確保できる共通画像平面を決定する共通画像平面決定プログラム、共通画像平面決定方法、および共通画像平面決定装置を提供することにある。 An object of the present invention is to provide a common image plane determination program, a common image plane determination method, and a common image plane determination apparatus that determine a common image plane that can sufficiently ensure the accuracy of stereoscopic processing of a subject.
この発明にかかる共通画像平面決定プログラムは、上記課題を解決し、その目的を達するために、以下のように構成している。 The common image plane determination program according to the present invention is configured as follows in order to solve the above problems and achieve the object.
この共通画像平面決定プログラムは、インストールされたコンピュータに、異なる位置に配置した２つのカメラで撮像した被写体を立体的に処理（被写体の３次元処理）する際に、各カメラの撮像画像を投影する共通画像平面を決定させるものである。 This common image plane determination program projects an image captured by each camera when three-dimensionally processing a subject imaged by two cameras arranged at different positions (three-dimensional processing of the subject) on an installed computer. The common image plane is determined.
コンピュータは、第１のステップで、２つのカメラの撮像中心を結ぶ基線軸に平行な回転軸を含む基準共通画像平面を設定する。この基準画像平面については、回転軸における回転角度が予め定めた角度である平面とすればよい。 In the first step, the computer sets a reference common image plane including a rotation axis parallel to the base line axis connecting the imaging centers of the two cameras. The reference image plane may be a plane whose rotation angle on the rotation axis is a predetermined angle.
コンピュータは、第２のステップで、予め設定されている複数の回転角度毎に、第１のステップで設定した基準共通画像平面を、前記回転軸において回転させた判定対象共通画像平面を設定する。例えば、複数の回転角度が、３°間隔で設定されている場合には、回転角度が異なる６０個の判定対象共通画像平面が設定される。 In the second step, the computer sets a determination target common image plane obtained by rotating the reference common image plane set in the first step on the rotation axis for each of a plurality of rotation angles set in advance. For example, when a plurality of rotation angles are set at intervals of 3 °, 60 determination target common image planes having different rotation angles are set.
コンピュータは、第３のステップで、第２のステップで設定した判定対象共通画像平面毎に、カメラの撮像画像が投影される投影画像領域を検出する。そして、コンピュータは、第４のステップで、第３のステップが検出した投影画像領域の大きさに基づいて、第２のステップで設定した判定対象共通画像平面中から、共通画像平面を選択し決定する。 In the third step, the computer detects a projection image region onto which the captured image of the camera is projected for each determination target common image plane set in the second step. Then, in the fourth step, the computer selects and determines the common image plane from the determination target common image plane set in the second step based on the size of the projection image area detected in the third step. To do.
例えば、第３のステップが検出した投影画像領域が最大であった判定対象共通画像平面を、共通画像平面に決定する。 For example, the determination target common image plane having the maximum projected image area detected in the third step is determined as the common image plane.
また、判定対象共通画像平面毎に、第３のステップで検出した投影画像領域全体を含む、最小の矩形領域を検出し、この矩形領域における投影画像領域が占める比率が最大であった判定対象共通画像平面を、共通画像平面に決定するようにしてもよい。 In addition, for each determination target common image plane, the smallest rectangular area including the entire projection image area detected in the third step is detected, and the ratio occupied by the projection image area in the rectangular area is the maximum. The image plane may be determined as a common image plane.
また、この最小の矩形領域は、基線軸に平行な２辺を有する最小の矩形領域としてもよい。このようにすれば、この最小の矩形領域の検出処理にかかる時間の短縮が図れる。 The minimum rectangular area may be a minimum rectangular area having two sides parallel to the baseline axis. In this way, it is possible to shorten the time required for the detection processing of the minimum rectangular area.
これにより、各カメラの撮像画像を投影した投影画像が小さくなりすぎ、参照点の総数が減少するのが抑えられ、被写体の３次元処理の精度を十分に確保できる。 As a result, the projection image obtained by projecting the captured image of each camera becomes too small and the total number of reference points can be suppressed from decreasing, and the accuracy of the three-dimensional processing of the subject can be sufficiently ensured.
また、第３のステップは、カメラの撮像画像における被写体を立体的に処理する領域について、投影画像領域を検出する処理にしてもよいし、カメラの撮像画像における４角を判定対象共通画像平面に投影し、投影した４点が囲む領域を投影画像領域として検出する処理にしてもよい。 The third step may be a process of detecting a projected image region for a region in which a subject in the captured image of the camera is three-dimensionally processed, and the four corners in the captured image of the camera are set as the determination target common image plane. A process of projecting and detecting a region surrounded by the projected four points may be performed as a projected image region.
さらには、第３のステップは、カメラの一方についてのみ、撮像画像が投影される投影画像領域を検出する処理とすることにより、処理時間の短縮が図れる。 Furthermore, in the third step, the processing time can be shortened by performing a process for detecting a projected image area onto which a captured image is projected for only one of the cameras.
一方、この第３のステップは、カメラの両方について、撮像画像が投影される投影画像領域を検出する処理としてもよい。 On the other hand, this third step may be a process of detecting a projected image area onto which the captured image is projected for both cameras.
この発明によれば、被写体の立体的処理にかかる精度が十分に確保できる共通画像平面を決定することができる。 According to the present invention, it is possible to determine a common image plane that can sufficiently ensure the accuracy of stereoscopic processing of a subject.
以下、この発明の実施形態について説明する。 Embodiments of the present invention will be described below.
まず、異なる位置に配置した２つのカメラ（所謂、ステレオカメラ）で撮像した被写体を立体的に処理（３次元処理）するステレオマッチングについて簡単に説明し、その後で、この発明にかかる、このステレオマッチングで用いる共通画像平面を決定する手法について説明する。 First, stereo matching for three-dimensionally processing (three-dimensional processing) a subject imaged by two cameras (so-called stereo cameras) arranged at different positions will be briefly described, and then the stereo matching according to the present invention will be described. A method for determining a common image plane used in FIG.
図１は、ステレオ画像処理システムを示す概略図である。このステレオ画像処理システムは、ステレオカメラ１と、画像処理装置２と、を備えている。ステレオカメラ１は、２つのカメラ１１、１２を有している。カメラ１１、１２は、所謂ディジタルカメラであり受光素子をマトリクス状に配置した撮像素子を有している。また、カメラ１１、１２は、撮像エリアを撮像素子上に投影する光学系を有している。カメラ１１の撮像エリアと、カメラ１２の撮像エリアとは、その一部が重なっている。この重なっている撮像エリアに位置する被写体、すなわち、カメラ１１、１２の両方が撮像した被写体、について３次元処理が行える。ステレオカメラ１は、２つのカメラ１１、１２を異なる位置に配置しているので、２つのカメラ１１、１２の撮像画像には視差がある。ステレオカメラ１は、略同じタイミングで、２つのカメラ１１、１２が撮像エリアを撮像した一対の撮像画像を出力する。 FIG. 1 is a schematic diagram showing a stereo image processing system. This stereo image processing system includes a stereo camera 1 and an image processing device 2. The stereo camera 1 has two cameras 11 and 12. The cameras 11 and 12 are so-called digital cameras and have imaging elements in which light receiving elements are arranged in a matrix. The cameras 11 and 12 have an optical system that projects the imaging area onto the imaging device. The imaging area of the camera 11 and the imaging area of the camera 12 partially overlap each other. Three-dimensional processing can be performed on the subject located in the overlapping imaging area, that is, the subject imaged by both the cameras 11 and 12. Since the stereo camera 1 has the two cameras 11 and 12 arranged at different positions, the captured images of the two cameras 11 and 12 have parallax. The stereo camera 1 outputs a pair of captured images obtained by capturing the imaging area by the two cameras 11 and 12 at substantially the same timing.
図１では、カメラ１１、１２を並列ではなく、非並列に配置した例を示している。並列配置とは、２つのカメラ１１、１２の撮像素子の中心（撮像画像の中心）を結ぶ基線軸に対して、２つのカメラ１１、１２の撮像方向を直交させた配置である。２つのカメラ１１、１２の撮像素子の中心間の距離を基線長という。 FIG. 1 shows an example in which the cameras 11 and 12 are arranged not in parallel but in parallel. The parallel arrangement is an arrangement in which the imaging directions of the two cameras 11 and 12 are orthogonal to the base axis connecting the centers of the imaging elements of the two cameras 11 and 12 (centers of the captured images). The distance between the centers of the image sensors of the two cameras 11 and 12 is called a baseline length.
画像処理装置２は、制御部２０と、右画像入力部２１と、左画像入力部２２と、画像処理部２３と、パラメータ記憶部２４と、出力部２５と、を備えている。制御部２０は、画像処理装置２本体各部の動作を制御する。右画像入力部２１は、カメラ１１の撮像画像（以下、右画像と言う。）が入力される。また、右画像入力部２１は、入力された右画像を一時的に記憶するバッファを有している。左画像入力部２２は、カメラ１２の撮像画像（以下、左画像と言う。）が入力される。また、左画像入力部２２は、入力された左画像を一時的に記憶するバッファを有している。 The image processing apparatus 2 includes a control unit 20, a right image input unit 21, a left image input unit 22, an image processing unit 23, a parameter storage unit 24, and an output unit 25. The control unit 20 controls the operation of each part of the main body of the image processing apparatus 2. The right image input unit 21 receives an image captured by the camera 11 (hereinafter referred to as a right image). The right image input unit 21 has a buffer that temporarily stores the input right image. The left image input unit 22 receives a captured image of the camera 12 (hereinafter referred to as a left image). The left image input unit 22 has a buffer for temporarily storing the input left image.
画像処理部２３は、右画像入力部２１、および左画像入力部２２に入力された一対の撮像画像（略同じタイミングで撮像された右画像、および左画像）を用いて、撮像されている被写体について３次元処理（ステレオマッチング）を行う。 The image processing unit 23 uses a pair of captured images (a right image and a left image captured at substantially the same timing) input to the right image input unit 21 and the left image input unit 22 to be captured. A three-dimensional process (stereo matching) is performed.
パラメータ記憶部２４は、画像処理部２３が被写体の３次元処理で用いる各種パラメータを記憶している。例えば、２つのカメラ１１、１２の基線軸を特定する基線軸パラメータや、基線長を示す基線長パラメータ、カメラ１１、１２毎の焦点距離等の撮像光学系にかかる光学パラメータ、カメラ１１、１２毎の撮像方向にかかる撮像方向パラメータ等を記憶している。また、パラメータ記憶部２４は、右画像を共通画像平面に投影する第１のパラメータ（後述する、ＲｅｃＲ）、共通画像平面に投影した右画像を元の画像平面（カメラ画像平面）に戻す第２のパラメータ（後述する、ＲｅｃＲ-1）、左画像を共通画像平面に投影する第３のパラメータ（後述する、ＲｅｃＬ）、共通画像平面に投影した左画像を元の画像平面（カメラ画像平面）に戻す第４のパラメータ（後述する、ＲｅｃＬ-1）も記憶している。 The parameter storage unit 24 stores various parameters used by the image processing unit 23 in the three-dimensional processing of the subject. For example, a baseline axis parameter that specifies the baseline axes of the two cameras 11 and 12, a baseline length parameter that indicates the baseline length, an optical parameter related to the imaging optical system such as a focal length for each of the cameras 11 and 12, and each camera 11 and 12 The imaging direction parameter and the like relating to the imaging direction are stored. The parameter storage unit 24 also includes a first parameter for projecting the right image onto the common image plane (RecR, which will be described later), and a second parameter for returning the right image projected onto the common image plane to the original image plane (camera image plane). Parameter (Rec R -1 , described later), a third parameter (RecL, described later) for projecting the left image on the common image plane, and the left image projected on the common image plane on the original image plane (camera image plane) A fourth parameter to be returned (Rec L −1 described later) is also stored.
共通画像平面は、２つのカメラ１１、１２の基線軸に平行な軸を含む平面である。また、この共通画像平面は、後述する処理で決定している。 The common image plane is a plane including an axis parallel to the base line axis of the two cameras 11 and 12. In addition, the common image plane is determined by processing to be described later.
出力部２５は、以下に示す３次元処理により得られた、参照点毎に３次元位置情報を持たせた距離画像を出力する。 The output unit 25 outputs a distance image obtained by the following three-dimensional processing and having three-dimensional position information for each reference point.
次に、このステレオ画像処理システムにおける被写体の３次元処理について説明する。図２は、画像処理装置における被写体の３次元処理を示すフローチャートである。画像処理装置２は、２つのカメラ１１、１２が略同じタイミングで撮像した一対の撮像画像が、右画像入力部２１、および左画像入力部２２に入力される（ｓ１）。右画像（カメラ１１の撮像画像）は、右画像入力部２１に入力され、左画像（カメラ１２の撮像画像）は、左画像入力部２２に入力される。 Next, three-dimensional processing of a subject in this stereo image processing system will be described. FIG. 2 is a flowchart showing three-dimensional processing of a subject in the image processing apparatus. In the image processing apparatus 2, a pair of captured images captured by the two cameras 11 and 12 at substantially the same timing are input to the right image input unit 21 and the left image input unit 22 (s1). The right image (captured image of the camera 11) is input to the right image input unit 21, and the left image (captured image of the camera 12) is input to the left image input unit 22.
画像処理部２３は、右画像入力部２１に入力された右画像を共通画像平面に投影するレクティファイ処理を行う（ｓ２）。また、画像処理部２３は、左画像入力部２２に入力された左画像を共通画像平面に投影するレクティファイ処理を行う（ｓ３）。ｓ２、およびｓ３にかかる処理の順番は逆であってもよい。ｓ２では、パラメータ記憶部２４が記憶している第１のパラメータを用いて行う。また、ｓ３では、パラメータ記憶部２４が記憶している第３のパラメータを用いて行う。 The image processing unit 23 performs a rectification process for projecting the right image input to the right image input unit 21 onto the common image plane (s2). Further, the image processing unit 23 performs a rectifying process for projecting the left image input to the left image input unit 22 onto the common image plane (s3). The order of processing relating to s2 and s3 may be reversed. In s2, it performs using the 1st parameter which the parameter memory | storage part 24 has memorize | stored. In s3, the third parameter stored in the parameter storage unit 24 is used.
第１のパラメータ（ＲｅｃＲ）は、右画像上の点ｕＲを、共通画像平面に投影した点ｕＲ’に座標変換するパラメータ（変換行列）であり、第３のパラメータ（ＲｅｃＬ）は、左画像上の点ｕＬを、共通画像平面に投影した点ｕＬ’に座標変換するパラメータ（変換行列）である。すなわち、レクティファイ処理にかかる座標変換は、
ｕＲ’＝ＲｅｃＲ・ｕＲ
ｕＬ’＝ＲｅｃＬ・ｕＬ
によって行われる。
The first parameter (RecR) is a parameter (transformation matrix) for coordinate transformation of the point uR on the right image to the point uR ′ projected on the common image plane, and the third parameter (RecL) is on the left image Is a parameter (conversion matrix) for coordinate-transforming the point uL into a point uL ′ projected onto the common image plane. In other words, the coordinate transformation for the rectify process is
uR ′ = RecR · uR
uL ′ = RecL · uL
Is done by.
第１のパラメータ（ＲｅｃＲ）は、カメラ１１のカメラ画像平面と、共通画像平面とに基づいて算出されている。同様に、第３のパラメータ（ＲｅｃＬ）は、カメラ１２のカメラ画像平面と、共通画像平面とに基づいて算出されている。 The first parameter (RecR) is calculated based on the camera image plane of the camera 11 and the common image plane. Similarly, the third parameter (RecL) is calculated based on the camera image plane of the camera 12 and the common image plane.
なお、第２のパラメータ（ＲｅｃＲ-1）は、第１のパラメータ（ＲｅｃＲ）の逆行列であり、第４のパラメータ（ＲｅｃＬ-1）は、第３のパラメータ（ＲｅｃＬ）の逆行列である。 Note that the second parameter (RecR −1 ) is an inverse matrix of the first parameter (RecR), and the fourth parameter (RecL −1 ) is an inverse matrix of the third parameter (RecL).
ｓ２、ｓ３にかかる処理は、２つのカメラ１１、１２が仮想的に並列に配置されているとした場合における、カメラ１１の撮像画像（右投影画像）と、カメラ１２の撮像画像（左投影画像）と、を得る処理である。 The processing related to s2 and s3 is performed when the two cameras 11 and 12 are virtually arranged in parallel, and the captured image of the camera 11 (right projection image) and the captured image of the camera 12 (left projection image). ).
画像処理装置２は、共通画像平面に投影した右投影画像の参照点（参照画素）毎に、対応する左投影画像の対応点（対応画素）を探索する（ｓ４）。上述したｓ２、およびｓ３にかかる処理は、このｓ４にかかる処理を簡単にし、処理時間を短縮するものである。具体的には、画像上で水平方向、および鉛直方向を一致させた右投影画像と、左投影画像とを得る処理である。２つのカメラ１１、１２が非並列に配置されている場合、水平方向、および鉛直方向が、右画像と、左画像とで一致していない。この場合、右画像の参照点ｕＲに対して、対応点ｕＬを探索する左画像上のライン（一般に、エピポーララインと呼ばれている。）が、図３（Ａ）に示すように、左画像上で斜めに走るラインになる。その結果、対応点の探索にかかる処理が複雑になる。これに対して、水平方向、および鉛直方向を一致させた右投影画像と、左投影画像とである場合、右投影画像の参照点ｕＲ’に対して、対応点ｕＬ’を探索する左投影画像上のエピポーララインが、図３（Ｂ）に示すように、左投影画像上で水平に走るラインになる。その結果、対応点の探索にかかる処理が簡単になり、処理時間が短縮できる。 The image processing apparatus 2 searches for a corresponding point (corresponding pixel) of the corresponding left projection image for each reference point (reference pixel) of the right projection image projected on the common image plane (s4). The processes relating to s2 and s3 described above simplify the process relating to s4 and reduce the processing time. Specifically, this is processing for obtaining a right projection image and a left projection image in which the horizontal direction and the vertical direction are matched on the image. When the two cameras 11 and 12 are arranged in non-parallel, the horizontal direction and the vertical direction do not match between the right image and the left image. In this case, with respect to the reference point uR of the right image, a line on the left image for searching for the corresponding point uL (generally called an epipolar line) is a left image as shown in FIG. The line runs diagonally above. As a result, the processing for searching for corresponding points becomes complicated. On the other hand, in the case of the right projection image and the left projection image in which the horizontal direction and the vertical direction are matched, the left projection image for searching for the corresponding point uL ′ with respect to the reference point uR ′ of the right projection image. As shown in FIG. 3B, the upper epipolar line is a line that runs horizontally on the left projection image. As a result, the processing for searching for corresponding points is simplified, and the processing time can be shortened.
画像処理装置２は、対応点を探索した参照点毎に、３次元位置情報を取得する（ｓ５）。ｓ５では、参照点毎に、対応する対応点との視差を算出し、この視差を用いて三角測量の原理に基づき、その参照点における３次元位置情報を得る。これにより、参照点毎に、３次元位置情報を持たせた距離画像が生成できる。ここで生成した距離画像は、共通画像平面上での距離画像である。画像処理装置２は、共通画像平面上での距離画像を、元のカメラ１１のカメラ平面上での距離画像に戻す（ｓ６）。すなわち、逆レクティファイ処理を行う。ｓ６では、パラメータ記憶部２４に記憶している第２のパラメータや、第４のパラメータを用いて行う。 The image processing apparatus 2 acquires three-dimensional position information for each reference point searched for the corresponding point (s5). In s5, the parallax with the corresponding corresponding point is calculated for each reference point, and the three-dimensional position information at the reference point is obtained based on the principle of triangulation using this parallax. Thereby, a distance image having three-dimensional position information can be generated for each reference point. The distance image generated here is a distance image on the common image plane. The image processing device 2 returns the distance image on the common image plane to the distance image on the camera plane of the original camera 11 (s6). That is, reverse rectification processing is performed. In s6, it performs using the 2nd parameter memorize | stored in the parameter memory | storage part 24, and a 4th parameter.
第２のパラメータ（ＲｅｃＲ-1）は、共通画像平面に投影した点ｕＲ’を、カメラ１１の撮像画像上の点をｕＲに座標変換するパラメータ（変換行列）であり、第４のパラメータ（ＲｅｃＬ-1）は、共通画像平面に投影した点ｕＬ’を、カメラ１２の撮像画像上の点をｕＬに座標変換するパラメータ（変換行列）である。すなわち、逆レクティファイ処理にかかる座標変換は、
ｕＲ＝ＲｅｃＲ-1・ｕＲ’
ｕＬ＝ＲｅｃＬ-1・ｕＬ’
によって行われる。
The second parameter (Rec R −1 ) is a parameter (conversion matrix) for converting the point uR ′ projected on the common image plane into a point uR on the captured image of the camera 11, and the fourth parameter (RecL −1 ) is a parameter (conversion matrix) for coordinate-converting the point uL ′ projected on the common image plane into a point uL on the captured image of the camera 12. That is, the coordinate transformation for reverse rectification processing is
uR = RecR− 1 · uR ′
uL = RecL −1 · uL ′
Is done by.
なお、図２では、ｓ６を右画像についてカメラ平面上の距離画像を得る処理としたが、左画像についてもカメラ平面上の距離画像を得る処理としてもよい。 In FIG. 2, s6 is a process for obtaining a distance image on the camera plane for the right image, but may be a process for obtaining a distance image on the camera plane for the left image.
画像処理装置２は、上記の処理で得たカメラ平面上での距離画像を出力部２５から出力する。出力部２５には、このカメラ平面上での距離画像を利用する装置が接続されている。 The image processing device 2 outputs the distance image on the camera plane obtained by the above processing from the output unit 25. The output unit 25 is connected to a device that uses the distance image on the camera plane.
上述の被写体の立体的処理の精度を十分に確保するには、共通画像平面を適正に設定する必要がある。共通画像平面は、基線軸に対して平行な軸（回転軸）に対する回転角度が異なる複数の平面が設定可能である。 In order to sufficiently secure the accuracy of the above-described three-dimensional processing of the subject, it is necessary to appropriately set the common image plane. As the common image plane, a plurality of planes having different rotation angles with respect to an axis (rotation axis) parallel to the base axis can be set.
なお、設定する共通画像平面によって、上述した画像処理装置２のパラメータ記憶部２４に記憶させる第１〜第４のパラメータが異なることはいうまでもない。 Needless to say, the first to fourth parameters stored in the parameter storage unit 24 of the image processing apparatus 2 described above differ depending on the common image plane to be set.
以下、ステレオカメラ１に対して、共通画像平面を決定する処理について説明する。この発明にかかる共通画像平面決定プログラムは、この処理をコンピュータに実行させるものである。 Hereinafter, processing for determining a common image plane for the stereo camera 1 will be described. The common image plane determination program according to the present invention causes a computer to execute this processing.
図４は、情報処理装置の主要部の構成を示す図である。この情報処理装置５は、制御部５０と、右画像記憶部５１と、左画像記憶部５２と、画像処理部５３と、パラメータ記憶部５４と、出力部５５と、を備えている。この情報処理装置５は、この発明にかかる共通画像平面決定プログラムをインストールしている。制御部５０は、本体各部の動作を制御する。右画像記憶部５１は、共通画像平面を決定するステレオカメラ１のカメラ１１の撮像画像（右画像）を記憶している。また、左画像記憶部５２は、共通画像平面を決定するステレオカメラ１のカメラ１２の撮像画像（左画像）を記憶している。 FIG. 4 is a diagram illustrating a configuration of a main part of the information processing apparatus. The information processing apparatus 5 includes a control unit 50, a right image storage unit 51, a left image storage unit 52, an image processing unit 53, a parameter storage unit 54, and an output unit 55. The information processing apparatus 5 has the common image plane determination program according to the present invention installed. The control unit 50 controls the operation of each part of the main body. The right image storage unit 51 stores a captured image (right image) of the camera 11 of the stereo camera 1 that determines a common image plane. The left image storage unit 52 stores a captured image (left image) of the camera 12 of the stereo camera 1 that determines a common image plane.
なお、右画像記憶部５１、および左画像記憶部５２は、上述した右画像入力部２１、および左画像入力部２２に置き換え、実際に共通画像平面を決定するステレオカメラ１を接続する構成であってもよい。 The right image storage unit 51 and the left image storage unit 52 are replaced with the right image input unit 21 and the left image input unit 22 described above, and are connected to the stereo camera 1 that actually determines the common image plane. May be.
また、パラメータ記憶部５４は、共通画像平面を決定するステレオカメラ１について、２つのカメラ１１、１２の基線軸を特定する基線軸パラメータや、基線長を示す基線長パラメータ、カメラ１１、１２毎の焦点距離等の撮像光学系にかかる光学パラメータ、カメラ１１、１２毎の撮像方向にかかる撮像方向パラメータ等を記憶している。 The parameter storage unit 54 also includes a baseline parameter that specifies the baseline axes of the two cameras 11 and 12, a baseline length parameter that indicates the baseline length, and the camera 11 and 12 for each stereo camera 1 that determines the common image plane. An optical parameter related to the imaging optical system such as a focal length, an imaging direction parameter related to the imaging direction of each of the cameras 11 and 12, and the like are stored.
出力部５５は、決定した共通画像平面に対する、上述の第１〜第４のパラメータを出力する。 The output unit 55 outputs the first to fourth parameters described above for the determined common image plane.
図５は、共通画像平面を決定する処理を示すフローチャートである。制御部５０は、パラメータ記憶部５４に記憶しているパラメータを用いて、ステレオカメラ１の２つのカメラ１１、１２の基線軸に平行な軸（以下、回転軸と言う。）を含む、基準共通画像平面を設定する（ｓ１１）。この基準共通画像平面は、例えば、鉛直方向に立設する平面とすればよい。ｓ１１では、特に回転軸における回転角度を気にすることなく、基準共通画像平面を設定すればよい。 FIG. 5 is a flowchart showing a process for determining a common image plane. The control unit 50 uses the parameters stored in the parameter storage unit 54 and includes a common reference including an axis (hereinafter referred to as a rotation axis) parallel to the baseline axes of the two cameras 11 and 12 of the stereo camera 1. An image plane is set (s11). The reference common image plane may be a plane standing in the vertical direction, for example. In s11, the reference common image plane may be set without worrying about the rotation angle on the rotation axis.
制御部５０は、ｓ１１で設定した基準共通画像平面を、回転軸において０°回転させた平面（すなわち、基準共通画像平面）を判定対象共通画像平面として設定する（ｓ１２）。 The control unit 50 sets a plane (that is, a reference common image plane) obtained by rotating the reference common image plane set in s11 by 0 ° on the rotation axis as a determination target common image plane (s12).
制御部５０は、一方のカメラ１１のカメラ画像平面を、今回設定した判定対象共通画像平面に投影する変換パラメータ（上述の第１のパラメータに相当する。）を算出する（ｓ１３）。画像処理部５３は、制御部５０がｓ１３で算出した変換パラメータを用いて、右画像記憶部５１に記憶している右画像を判定対象共通画像平面に投影した右投影画像を得る（ｓ１４）。ｓ１４では、図６（Ａ）に示す右画像を、判定対象共通画像平面に投影した右投影画像（図６（Ｂ）参照）を得る。 The control unit 50 calculates a conversion parameter (corresponding to the first parameter described above) for projecting the camera image plane of one camera 11 onto the determination target common image plane set this time (s13). The image processing unit 53 obtains a right projection image obtained by projecting the right image stored in the right image storage unit 51 onto the determination target common image plane using the conversion parameter calculated by the control unit 50 in s13 (s14). In s14, a right projection image (see FIG. 6B) obtained by projecting the right image shown in FIG. 6A onto the determination target common image plane is obtained.
画像処理部５３は、ｓ１４で判定対象共通画像平面に投影した右投影画像を内包し、基線軸に平行な２辺を有する最小の矩形領域を求める（ｓ１５）。ｓ１５では、図６（Ｃ）に示す矩形領域を求める。 The image processing unit 53 includes the right projection image projected on the determination target common image plane in s14, and obtains a minimum rectangular area having two sides parallel to the baseline axis (s15). In s15, the rectangular area shown in FIG. 6C is obtained.
なお、ここでは、この最小の矩形領域の検出にかかる時間の短縮を図るために、基線軸に平行な２辺を有する最小の矩形領域としたが、基線軸に平行な辺を有していない矩形も含めて、最小の矩形領域を検出してもよい。 Here, in order to shorten the time required for detection of the minimum rectangular area, the minimum rectangular area having two sides parallel to the baseline axis is used, but it does not have a side parallel to the baseline axis. A minimum rectangular area including a rectangle may be detected.
画像処理部５３は、ｓ１５で求めた矩形領域における、ｓ１４で投影した右投影画像の面積比を算出する（ｓ１６）。制御部５０は、今回の判定対象共通画像平面の回転角度（回転軸における基準共通画像平面に対する回転角度）と、ｓ１６で算出した面積比を対応付けて記憶する（ｓ１７）。 The image processing unit 53 calculates the area ratio of the right projection image projected in s14 in the rectangular area obtained in s15 (s16). The control unit 50 stores the rotation angle of the current determination target common image plane (the rotation angle of the rotation axis with respect to the reference common image plane) and the area ratio calculated in s16 in association with each other (s17).
制御部５０は、今回の判定対象共通画像平面の回転角度に、予め定めた角度ｎ°（例えば、３°）を加算した角度が１８０°以上であるかどうかを判定する（ｓ１８）。制御部５０は、ｓ１８で１８０°未満であると判定すると、この時点における判定対象共通画像平面を、回転軸において、さらにｎ°回転させた平面を、新たな定対象共通画像平面に設定し（ｓ１９）、ｓ１３以降の処理を繰り返す。 The control unit 50 determines whether or not an angle obtained by adding a predetermined angle n ° (for example, 3 °) to the rotation angle of the current determination target common image plane is 180 ° or more (s18). When determining that the angle is less than 180 ° at s18, the control unit 50 sets the determination target common image plane at this time point as a new constant target common image plane by rotating the determination target common image plane by n ° further about the rotation axis ( s19), the processing after s13 is repeated.
制御部５０は、上述の処理を行うことで、回転軸において基準画像平面をｎ°ずつ回転させた複数の判定対象共通画像平面毎に、ｓ１６で算出した面積比を記憶する。 The control unit 50 stores the area ratio calculated in s16 for each of the plurality of determination target common image planes obtained by rotating the reference image plane by n ° on the rotation axis by performing the above-described processing.
図７に示すように、回転軸における基準画像平面の回転角度が異なる判定対象共通画像平面間では、右画像（図７（Ａ）参照）を投影した右投影画像（図７（Ｂ）参照）が異なる。したがって、右投影画像を内包し、基線軸に平行な２辺を有する最小の矩形領域も異なる（図７（Ｃ）参照）。その結果、ｓ１７で算出される面積比も異なる。 As shown in FIG. 7, a right projection image (see FIG. 7B) in which a right image (see FIG. 7A) is projected between determination target common image planes having different rotation angles of the reference image plane on the rotation axis. Is different. Therefore, the minimum rectangular area including the right projection image and having two sides parallel to the baseline axis is also different (see FIG. 7C). As a result, the area ratio calculated in s17 is also different.
情報処理装置５は、上述の処理を行うことにより、回転軸における基準画像平面の回転角度が異なる複数の判定対象共通画像平面毎に、ｓ１６で算出した面積比を得る（図８参照）。 The information processing apparatus 5 obtains the area ratio calculated in s16 for each of the plurality of determination target common image planes having different rotation angles of the reference image plane on the rotation axis by performing the above-described processing (see FIG. 8).
制御部５０は、ｓ１８で１８０°以上であると判定すると、ｓ１６で算出した面積比が最大であった回転角度の判定対象共通画像平面を、共通画像平面に決定する（ｓ２０）。制御部５０は、ｓ２０で決定した共通画像平面に対する、上述の第１〜第４のパラメータを算出し、これを出力する（ｓ２１、ｓ２２）。ここで出力した第１〜第４のパラメータは、今回対象としたステレオカメラ１を用い、被写体の３次元処理を行う画像処理装置２のパラメータ制御部２４に記憶される。 If it determines with it being 180 degrees or more by s18, the control part 50 will determine the determination target common image plane of the rotation angle whose area ratio calculated by s16 was the largest (s20). The control unit 50 calculates the first to fourth parameters described above for the common image plane determined in s20, and outputs these (s21, s22). The first to fourth parameters output here are stored in the parameter control unit 24 of the image processing apparatus 2 that performs the three-dimensional processing of the subject using the stereo camera 1 that is the subject of this time.
このように、上述した処理で決定される共通画像平面は、右画像が最も効率的に投影される平面である。したがって、上述したステレオマッチングにかかる処理が適正に行える、共通画像平面が決定できる。 Thus, the common image plane determined by the above-described processing is a plane on which the right image is projected most efficiently. Therefore, it is possible to determine a common image plane that can appropriately perform the above-described stereo matching processing.
なお、上記の説明は、右画像を基にして、共通画像平面を決定するものであったが、左画像を基にして共通画像平面を決定する処理であっても、同様である。 Although the above description determines the common image plane based on the right image, the same applies to the process of determining the common image plane based on the left image.
また、ｓ１６では面積比を算出するとしたが、ｓ１５で求めた矩形領域を予め定めた大きさに正規化し、この中に含まれる投影画像の画素数をカウントする構成としてもよい。この場合には、ｓ２０で画像数のカウント値が最大であった、回転角度の判定対象共通画像平面を、共通画像平面に決定すればよい。この場合も、共通画像平面を、右画像（または左画像）が最も効率的に投影される平面に決定できる。 Further, although the area ratio is calculated in s16, the rectangular area obtained in s15 may be normalized to a predetermined size and the number of pixels of the projection image included therein may be counted. In this case, the rotation angle determination target common image plane having the maximum image count value in s20 may be determined as the common image plane. Also in this case, the common image plane can be determined as a plane on which the right image (or the left image) is projected most efficiently.
また、上記の例では、右画像全体を投影した右投影画像の面積比に基づいて、共通画像平面を決定するとしたが、図９に示すように、右画像において距離計測を行う領域（２つのカメラ１１、１２の撮像領域が重複している領域）を抽出する（図９（Ａ），（Ｂ）参照）。そして、ここで抽出した距離計測を行う領域を、判定対象共通画像平面毎に投影し（図９（Ｃ）参照）、この投影した画像を内包し、基線軸に平行な２辺を有する最小の矩形領域を求め（図９（Ｄ）参照）、その面積比を算出する。情報処理装置５は、その面積比が最大であった判定対象共通画像平面を、共通画像平面に決定する。このようにすれば、共通画像平面を、右画像において距離計測に用いる領域が最も効率的に投影される平面に決定できる。 In the above example, the common image plane is determined on the basis of the area ratio of the right projection image obtained by projecting the entire right image. However, as shown in FIG. An area in which the imaging areas of the cameras 11 and 12 overlap is extracted (see FIGS. 9A and 9B). Then, the distance measurement area extracted here is projected for each determination target common image plane (see FIG. 9C), and the smallest image having two sides parallel to the baseline axis is included in the projected image. A rectangular area is obtained (see FIG. 9D), and the area ratio is calculated. The information processing apparatus 5 determines the determination target common image plane having the largest area ratio as the common image plane. In this way, the common image plane can be determined as the plane on which the region used for distance measurement in the right image is projected most efficiently.
また、図１０に示すように、右画像（図１０（Ａ）参照）の４角を判定対象共通画像平面毎に投影し（図１０（Ｂ）参照）、投影した４点が囲む領域を内包し、基線軸に平行な２辺を有する最小の矩形領域を求め（図１０（Ｃ）参照）、その面積比を算出するようにしてもよい。このようにすれば、判定対象共通画像平面毎に、面積比を算出する処理が簡単になり、処理時間が短縮できる。 Also, as shown in FIG. 10, the four corners of the right image (see FIG. 10A) are projected for each determination target common image plane (see FIG. 10B), and the region surrounded by the projected four points is included. Then, a minimum rectangular area having two sides parallel to the baseline axis may be obtained (see FIG. 10C), and the area ratio may be calculated. In this way, the process of calculating the area ratio for each determination target common image plane is simplified, and the processing time can be shortened.
さらに、上述の例では、一方の画像（右画像、または左画像）を判定対象共通画像平面毎に投影し、共通画像平面を決定するとしたが、右画像、および左画像の両方を判定対象共通画像平面毎に投影し、その結果に基づいて共通画像平面を決定するようにしてもよい。この場合には、図１１に示すように、回転軸における基準画像平面の回転角度が異なる複数の判定対象共通画像平面毎に、右画像、および左画像の両方について、上述の面積比を得るために、ｓ１３〜ｓ１７にかかる処理を、右画像、および左画像の両方について行えばよい。 Further, in the above example, one image (right image or left image) is projected for each determination target common image plane to determine the common image plane. However, both the right image and the left image are common to the determination target. Projection may be performed for each image plane, and the common image plane may be determined based on the result. In this case, as shown in FIG. 11, in order to obtain the above-described area ratio for both the right image and the left image for each of the plurality of determination target common image planes having different rotation angles of the reference image plane on the rotation axis. In addition, the processing relating to s13 to s17 may be performed for both the right image and the left image.
共通画像平面を決定する方法は、
（１）右画像、および左画像の両方において、面積比が最大であった回転角度の判定対象共通画像平面を、共通画像平面に決定する。
（２）右画像の面積比と、左画像の面積比の和が最大であった回転角度の判定対象共通画像平面を、共通画像平面に決定する。
（３）右画像、および左画像の両方において、面積比が予め定めた値（閾値）以上であり、且つ、その中で、面積比が最大であった回転角度の判定対象共通画像平面を、共通画像平面に決定する。
（４）右画像、および左画像の両方において、面積比が予め定めた値（閾値）以上であり、且つ、その中で、右画像の面積比と、左画像の面積比の和が最大であった回転角度の判定対象共通画像平面を、共通画像平面に決定する。
等のいずれかから選択すればよい。
The method for determining the common image plane is:
(1) In both the right image and the left image, the determination target common image plane having the maximum area ratio is determined as the common image plane.
(2) The determination target common image plane of the rotation angle at which the sum of the area ratio of the right image and the area ratio of the left image is the maximum is determined as the common image plane.
(3) In both the right image and the left image, the area ratio is equal to or greater than a predetermined value (threshold value), and the rotation angle determination target common image plane in which the area ratio is the maximum is determined. Determine the common image plane.
(4) In both the right image and the left image, the area ratio is equal to or greater than a predetermined value (threshold), and among them, the sum of the area ratio of the right image and the area ratio of the left image is the largest. The common image plane for which the rotation angle is determined is determined as the common image plane.
Any one of the above may be selected.
なお、上述の説明では、２つのカメラ１１、１２が非並列に配置されているステレオカメラ１について、共通画像平面を決定する場合を例示しながら説明したが、２つのカメラ１１、１２が並列に配置されているステレオカメラ１であっても、共通画像平面を適正に決定できる。 In the above description, the case where the common image plane is determined for the stereo camera 1 in which the two cameras 11 and 12 are arranged in a non-parallel manner has been described, but the two cameras 11 and 12 are arranged in parallel. Even in the arranged stereo camera 1, the common image plane can be appropriately determined.
また、共通画像平面を決定する処理は、上述の画像処理装置２でも行える。 The process for determining the common image plane can also be performed by the image processing apparatus 2 described above.
１…ステレオカメラ
２…画像処理装置
５…情報処理装置
１１、１２…カメラ
２０…制御部
２１…右画像入力部
２２…左画像入力部
２３…画像処理部
２４…パラメータ記憶部
２５…出力部
５０…制御部
５１…右画像記憶部
５２…左画像記憶部
５３…画像処理部
５４…パラメータ記憶部
５５…出力部
DESCRIPTION OF SYMBOLS 1 ... Stereo camera 2 ... Image processing apparatus 5 ... Information processing apparatus 11, 12 ... Camera 20 ... Control part 21 ... Right image input part 22 ... Left image input part 23 ... Image processing part 24 ... Parameter memory | storage part 25 ... Output part 50 ... Control unit 51 ... Right image storage unit 52 ... Left image storage unit 53 ... Image processing unit 54 ... Parameter storage unit 55 ... Output unit
Claims (9)
前記２つのカメラの撮像中心を結ぶ基線軸に平行な回転軸を含む基準共通画像平面を設定する第１のステップと、
予め設定されている複数の回転角度毎に、前記第１のステップで設定した前記基準共通画像平面を、前記回転軸において回転させた判定対象共通画像平面を設定する第２のステップと、
前記第２のステップで設定した前記判定対象共通画像平面毎に、前記カメラの撮像画像が投影される投影画像領域を検出する第３のステップと、
前記第３のステップが検出した投影画像領域の大きさに基づいて、前記第２のステップで設定した前記判定対象共通画像平面中から、共通画像平面を選択し決定する第４のステップと、をコンピュータに実行させる共通画像平面決定プログラム。 A common image plane determination program for causing a computer to execute a process of determining a common image plane on which a captured image of each camera is projected when stereoscopically processing a subject imaged by two cameras arranged at different positions,
A first step of setting a reference common image plane including a rotation axis parallel to a base axis connecting the imaging centers of the two cameras;
A second step of setting a determination target common image plane obtained by rotating the reference common image plane set in the first step at the rotation axis for each of a plurality of rotation angles set in advance;
A third step of detecting a projection image area onto which a captured image of the camera is projected for each determination target common image plane set in the second step;
A fourth step of selecting and determining a common image plane from the determination target common image plane set in the second step based on the size of the projection image area detected in the third step; A common image plane determination program to be executed by a computer.
前記２つのカメラの撮像中心を結ぶ基線軸に平行な回転軸を含む基準共通画像平面を設定する第１のステップと、
予め設定されている複数の回転角度毎に、前記第１のステップで設定した前記基準共通画像平面を、前記回転軸において回転させた判定対象共通画像平面を設定する第２のステップと、
前記第２のステップで設定した前記判定対象共通画像平面毎に、前記カメラの撮像画像が投影される投影画像領域を検出する第３のステップと、
前記第３のステップが検出した投影画像領域の大きさに基づいて、前記第２のステップで設定した前記判定対象共通画像平面中から、共通画像平面を選択し決定する第４のステップと、をコンピュータで実行する共通画像平面決定方法。 A common image plane determination method for determining a common image plane on which a captured image of each camera is projected when processing a subject captured by two cameras arranged at different positions on a computer in a three-dimensional manner,
A first step of setting a reference common image plane including a rotation axis parallel to a base axis connecting the imaging centers of the two cameras;
A second step of setting a determination target common image plane obtained by rotating the reference common image plane set in the first step at the rotation axis for each of a plurality of rotation angles set in advance;
A third step of detecting a projection image area onto which a captured image of the camera is projected for each determination target common image plane set in the second step;
A fourth step of selecting and determining a common image plane from the determination target common image plane set in the second step based on the size of the projection image area detected in the third step; A common image plane determination method executed by a computer.
前記２つのカメラの撮像中心を結ぶ基線軸に平行な回転軸を含む基準共通画像平面を設定する基準共通画像平面設定手段と、
予め設定されている複数の回転角度毎に、前記基準共通画像平面設定手段が設定した前記基準共通画像平面を、前記回転軸において回転させた判定対象共通画像平面を設定する判定対象共通画像平面設定手段と、
前記判定対象共通画像平面設定手段が設定した前記判定対象共通画像平面毎に、前記カメラの撮像画像が投影される投影画像領域を検出する投影画像領域検出手段と、
前記投影画像領域検出手段が検出した投影画像領域の大きさに基づいて、前記判定対象共通画像平面設定手段が設定した前記判定対象共通画像平面中から、共通画像平面を選択し決定する共通画像平面決定手段と、を備えた共通画像平面決定装置。 A common image plane determination device that determines a common image plane on which a captured image of each camera is projected when stereoscopically processing a subject imaged by two cameras arranged at different positions,
Reference common image plane setting means for setting a reference common image plane including a rotation axis parallel to a base line axis connecting the imaging centers of the two cameras;
A determination target common image plane setting for setting a determination target common image plane obtained by rotating the reference common image plane set by the reference common image plane setting unit at the rotation axis for each of a plurality of preset rotation angles. Means,
A projection image area detecting unit for detecting a projection image area onto which a captured image of the camera is projected for each determination target common image plane set by the determination target common image plane setting unit;
A common image plane for selecting and determining a common image plane from the determination target common image plane set by the determination target common image plane setting unit based on the size of the projection image area detected by the projection image region detection unit A common image plane determination device comprising: a determination unit;
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010052525A JP5201160B2 (en) | 2010-03-10 | 2010-03-10 | Common image plane determination program, common image plane determination method, and common image plane determination apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010052525A JP5201160B2 (en) | 2010-03-10 | 2010-03-10 | Common image plane determination program, common image plane determination method, and common image plane determination apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011186868A true JP2011186868A (en) | 2011-09-22 |
| JP5201160B2 JP5201160B2 (en) | 2013-06-05 |
Family
ID=44793042
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010052525A Expired - Fee Related JP5201160B2 (en) | 2010-03-10 | 2010-03-10 | Common image plane determination program, common image plane determination method, and common image plane determination apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5201160B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013240590A (en) * | 2012-04-26 | 2013-12-05 | Yamaguchi Univ | Three-dimensional shape acquisition device from stereoscopic endoscopic image |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002324249A (en) * | 2001-02-26 | 2002-11-08 | Nabura:Kk | Image display system and its method |
-
2010
- 2010-03-10 JP JP2010052525A patent/JP5201160B2/en not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002324249A (en) * | 2001-02-26 | 2002-11-08 | Nabura:Kk | Image display system and its method |
Non-Patent Citations (1)
| Title |
|---|
| JPN6013000604; 藤井友和 外１名: '３枚の弱中心射影画像間の多重正規化相関による密な３次元形状復元' 情報処理学会研究報告 第９９巻 第３号, 19990122, 頁１７〜２３, 社団法人情報処理学会 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013240590A (en) * | 2012-04-26 | 2013-12-05 | Yamaguchi Univ | Three-dimensional shape acquisition device from stereoscopic endoscopic image |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5201160B2 (en) | 2013-06-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5954668B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
| WO2018068719A1 (en) | Image stitching method and apparatus | |
| JP5580164B2 (en) | Optical information processing apparatus, optical information processing method, optical information processing system, and optical information processing program | |
| WO2014061372A1 (en) | Image-processing device, image-processing method, and image-processing program | |
| US20110249117A1 (en) | Imaging device, distance measuring method, and non-transitory computer-readable recording medium storing a program | |
| US20080158340A1 (en) | Video chat apparatus and method | |
| WO2012165491A1 (en) | Stereo camera device and computer-readable recording medium | |
| KR20150120066A (en) | System for distortion correction and calibration using pattern projection, and method using the same | |
| JPWO2018235163A1 (en) | Calibration apparatus, calibration chart, chart pattern generation apparatus, and calibration method | |
| WO2017153793A1 (en) | Methods and computer program products for calibrating stereo imaging systems by using a planar mirror | |
| CN105744138B (en) | Quick focusing method and electronic equipment | |
| JP2012002683A (en) | Stereo image processing method and stereo image processing device | |
| CN106570907B (en) | Camera calibration method and device | |
| JP2006250722A (en) | Device, method and program for calibration | |
| TWI528783B (en) | Methods and systems for generating depth images and related computer products | |
| TWI549478B (en) | Method for generating 3d image and electronic apparatus using the same | |
| JP5727969B2 (en) | Position estimation apparatus, method, and program | |
| JP2007033087A (en) | Calibration device and method | |
| JP5996233B2 (en) | Imaging device | |
| JP5201160B2 (en) | Common image plane determination program, common image plane determination method, and common image plane determination apparatus | |
| WO2015159791A1 (en) | Distance measuring device and distance measuring method | |
| CN111292380A (en) | Image processing method and device | |
| JP6730029B2 (en) | Image processing device, image processing method, image processing program, and imaging device | |
| JPH10289315A (en) | Parallax calculation device and method, and distance calculation device and method | |
| JP5988213B2 (en) | Arithmetic processing unit |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120223 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121221 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130115 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130128 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5201160 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160222 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |