JP5634558B2 - Image processing device - Google Patents
Image processing device Download PDFInfo
- Publication number
- JP5634558B2 JP5634558B2 JP2013095499A JP2013095499A JP5634558B2 JP 5634558 B2 JP5634558 B2 JP 5634558B2 JP 2013095499 A JP2013095499 A JP 2013095499A JP 2013095499 A JP2013095499 A JP 2013095499A JP 5634558 B2 JP5634558 B2 JP 5634558B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- calibration
- unit
- images
- imaging unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 26
- 238000003384 imaging method Methods 0.000 claims description 133
- 230000003287 optical effect Effects 0.000 claims description 24
- 238000013519 translation Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 description 110
- 238000004364 calculation method Methods 0.000 description 53
- 238000000034 method Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 29
- 239000011159 matrix material Substances 0.000 description 12
- 238000012937 correction Methods 0.000 description 11
- 230000009466 transformation Effects 0.000 description 11
- 238000012986 modification Methods 0.000 description 10
- 230000004048 modification Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Description
本発明の実施形態は、画像処理装置に関する。 Embodiments described herein relate generally to an image processing apparatus.
従来から、左右に並べた(視点の異なる)2台のカメラ(ステレオカメラ)により撮像された2枚の画像(ステレオ画像)を用いて、人間が立体として知覚できる3D画像を生成する技術が知られている。3D画像を生成するためには、2枚の画像の対応する位置が水平に一致している必要がある。このため、上述したような技術では、2枚の画像それぞれのエピポーラ線が平行となり、かつ高さが一致するような画像変換(以下、平行化変換と称する)を行い、3D画像を生成する。ここで、エピポーラ線とは、一方のカメラの注目点と光学中心を結ぶ直線が他方のカメラにおいて投影される一意に定まった直線を言う。なお、一方のカメラの注目点を考えた場合、この注目点は、他方のカメラの一意に定まった直線上のいずれかに投影される。 Conventionally, a technique for generating a 3D image that can be perceived as a three-dimensional image by using two images (stereo images) captured by two cameras (stereo cameras) arranged side by side (different viewpoints) is known. It has been. In order to generate a 3D image, the corresponding positions of the two images need to coincide horizontally. For this reason, in the technique as described above, 3D images are generated by performing image conversion (hereinafter referred to as parallelization conversion) such that the epipolar lines of the two images are parallel and have the same height. Here, the epipolar line is a uniquely defined straight line that is projected on the other camera by a straight line connecting the attention point of one camera and the optical center. Note that when an attention point of one camera is considered, this attention point is projected onto any uniquely defined straight line of the other camera.
また従来から、通常のレンズよりも画角が広い広角レンズを有するカメラにより撮像された画像の歪みを除去する技術が知られている。このようなカメラは、例えば車両のバックカメラなどに用いられるが、一般的に近接した物体の撮像に用いられるため俯角を付けた状態で固定されることが多い。この結果、撮像された画像からレンズ歪みを除去しても空間的に垂直に立つ物体が垂直に投影されないことがある。このため、上述したような技術では、画像内の物体が平面に対して垂直になるような画像変換(以下、垂直化変換と称する)を行い、画像の歪みを除去する。 Conventionally, a technique for removing distortion of an image captured by a camera having a wide-angle lens having a wider angle of view than a normal lens is known. Such a camera is used, for example, in a back camera of a vehicle, but is generally fixed in a state where a depression angle is provided because it is generally used for imaging a close object. As a result, an object that stands spatially vertically may not be projected vertically even if lens distortion is removed from the captured image. For this reason, the above-described technique performs image conversion (hereinafter referred to as vertical conversion) so that an object in an image is perpendicular to a plane, and removes image distortion.
しかしながら、上述したような垂直化変換及び平行化変換の両変換を画像に対して行うと、通常、いずれか一方の変換が保たれなくなってしまう。 However, if both the vertical conversion and the parallel conversion as described above are performed on an image, usually one of the conversions cannot be maintained.
実施形態の画像処理装置は、複数の撮像部と、校正部と、を備える。前記複数の撮像部は、重複する領域を撮像する。前記校正部は、撮像された複数の画像を校正して、前記複数の画像それぞれのレンズ歪みが補正され、前記複数の画像の間で、対応する画像内の位置が水平に一致され、かつ平面に垂直な面に合わせられた複数の校正画像を得る。前記複数の撮像部は、それぞれの光学中心を結ぶベースラインベクトルと前記平面の法線ベクトルとが直交、かつそれぞれの光軸同士が非平行に配されている。 The image processing apparatus according to the embodiment includes a plurality of imaging units and a calibration unit. Wherein the plurality of the imaging unit captures the area to be duplicated. The calibration unit calibrates a plurality of captured images, corrects the lens distortion of each of the plurality of images, matches the positions in the corresponding images horizontally between the plurality of images, and A plurality of calibration images adjusted to a plane perpendicular to the image are obtained. In the plurality of imaging units, a base line vector connecting the optical centers and a normal vector of the plane are orthogonal to each other, and optical axes thereof are non-parallel.
以下、添付図面を参照しながら、本発明にかかる画像処理装置の実施形態を詳細に説明する。以下の実施形態では、撮像部が2つの場合を例に取り説明するが、これに限定されるものではなく、2つ以上であればいくつであってもよい。 Embodiments of an image processing apparatus according to the present invention will be described below in detail with reference to the accompanying drawings. In the following embodiment, a case where there are two imaging units will be described as an example. However, the present invention is not limited to this, and any number may be used as long as there are two or more.
図1は、本実施形態の画像処理装置1の構成の一例を示すブロック図である。図1に示すように、画像処理装置1は、第1撮像部10と、第2撮像部20と、表示部30と、取得部40と、校正部50と、生成部80と、表示制御部90とを、備える。
FIG. 1 is a block diagram illustrating an example of the configuration of the image processing apparatus 1 according to the present embodiment. As shown in FIG. 1, the image processing apparatus 1 includes a
第1撮像部10及び第2撮像部20は、それぞれの光学中心を結ぶベースラインベクトルと平面の法線ベクトルとが直交するように配され、重複する領域を撮像する。なお本実施形態では、第1撮像部10及び第2撮像部20が、それぞれ広角画像を撮像する広角カメラである場合を例に取り説明するが、これに限定されるものではない。第1撮像部10及び第2撮像部20は、例えば、それぞれ100度以上の画角を有するものとする。
The
図2は、第1撮像部10及び第2撮像部20の配置手法の一例を示す説明図である。X1軸、Y1軸、及びZ1軸は、第1撮像部10のカメラ座標系を示す軸であり、X2軸、Y2軸、及びZ2軸は、第2撮像部20のカメラ座標系を示す軸である。ここで、第1撮像部10の光学中心11がX1軸、Y1軸、及びZ1軸の原点に設定されており、Z1軸は、第1撮像部10の光軸方向と一致するように設定され、X1軸、Y1軸は、それぞれ、画像の横方向、縦方向に平行するように設定されている。同様に、第2撮像部20の光学中心21がX2軸、Y2軸、及びZ2軸の原点に設定されており、Z2軸は、第2撮像部20の光軸方向と一致するように設定され、X2軸、Y2軸は、それぞれ、画像の横方向、縦方向に平行するように設定されている。そして、第1撮像部10及び第2撮像部20は、それぞれの光学中心11、21を結ぶベースラインベクトル102が平面104の法線ベクトル106と直交するように配置される。つまり、第1撮像部10及び第2撮像部20は、ベースラインベクトル102が平面104と平行になるように配置される。
FIG. 2 is an explanatory diagram illustrating an example of an arrangement method of the
図3及び図4は、第1撮像部10及び第2撮像部20の車両110への配置手法の一例を示す説明図である。図3は、第1撮像部10及び第2撮像部20が配置された車両110の正面図の一例を示し、図4は、第1撮像部10及び第2撮像部20が配置された車両110の平面図の一例を示す。
3 and 4 are explanatory diagrams illustrating an example of a method of arranging the
図3及び図4に示すように、第1撮像部10及び第2撮像部20を車両110に配置する場合、第1撮像部10及び第2撮像部20は、それぞれの光学中心11、21を結ぶベースラインベクトル102が、路面112(図2の平面104に相当)と平行になるように、かつ車両110と平行になるように配置される。なお、第1撮像部10及び第2撮像部20は、車両110に俯角をつけた状態で配置(固定)されているものとする。
As shown in FIGS. 3 and 4, when the
ここで、車両110に配置された第1撮像部10及び第2撮像部20と路面112との関係は、車両110の走行中の動きや車両積載物の重みなどにより変化する。但し本実施形態では、ベースラインベクトル102が車両110と平行になるように第1撮像部10及び第2撮像部20を車両110に配置しているため、上述の変化が最も大きい車両110のピッチングに相当する運動を、ベースラインベクトル102を回転軸とする運動に相当させることができる。このため本実施形態によれば、車両110の動きや積載物の重みなどの変化があっても、第1撮像部10及び第2撮像部20の配置条件を満たすことができる。
Here, the relationship between the
なお本実施形態では、第1撮像部10及び第2撮像部20の光軸を平行に一致させるような平行ステレオ配置は要求されないため、低コストで第1撮像部10及び第2撮像部20を車両110に配置することができる。
In the present embodiment, since a parallel stereo arrangement that matches the optical axes of the
表示部30は、人間が立体として知覚できる3D画像を表示するものであり、例えば、ディスプレイにレンチキュラーレンズなどの光線制御子が配された液晶ディスプレイ、プラズマディスプレイ、又は有機ELディスプレイなどの3次元ディスプレイにより実現できる。
The
取得部40は、第1撮像部10及び第2撮像部20により撮像されたステレオ画像を取得する。なお以下では、ステレオ画像のうち第1撮像部10に撮像された画像を右画像と称し、第2撮像部20により撮像された画像を左画像と称する。
The
校正部50は、取得部40により取得された右画像及び左画像を校正して、右画像及び左画像それぞれのレンズ歪みが補正され、右画像及び左画像の間で、対応する画像内の位置が水平に一致され、かつ平面に垂直な面に合わせられた校正右画像及び校正左画像を得る。校正部50は、第1校正部60と、第2校正部70とを、含む。
The
第1校正部60は、取得部40により取得された右画像及び左画像それぞれのレンズ歪みを校正して、第1校正右画像及び第1校正左画像を得る。なお、以下では、右画像及び左画像をそれぞれ区別する必要がない場合は、単に画像と称する場合があり、第1校正右画像及び第1校正左画像それぞれ区別する必要がない場合は、単に第1校正画像と称する場合がある。
The
例えば、第1校正部60は、画像のレンズ歪みをRadial歪みモデル及びTangential歪みモデルを用いて表現し、当該レンズ歪みを校正(補正)する。この場合、レンズ歪みパラメータをK=(K1,K2,K3,K4,K5)、レンズ歪みなしの正規化画像座標をXn=(x,y)、レンズ歪みありの正規化座標をXd(xd,yd)とすると、第1校正部60は、レンズ歪みありの正規化座標Xdを、数式(1)で表現する。
For example, the
但し、r=x2+y2であり、dxは、数式(2)により表される。 However, r = x2 + y2, and dx is expressed by Equation (2).
そして第1校正部60は、レンズ歪みありの画像座標Xpを、レンズ歪みありの正規化画像座標Xdを用いて、数式(3)で表現し、当該レンズ歪みを補正する。
Then, the
但し、(fx,fy)は、焦点距離を有効画素間隔で割った値であり、(cx,cy)は、画像中心である。なお、fx、fy、cx、cy、及びKは、予め第1撮像部10及び第2撮像部20のキャリブレーション作業を行って求めておく。
However, (fx, fy) is a value obtained by dividing the focal length by the effective pixel interval, and (cx, cy) is the image center. Note that fx, fy, cx, cy, and K are obtained in advance by performing calibration work of the
図5は、レンズ歪み補正前の画像の一例を示す図であり、図6は、レンズ歪み補正後の第1校正画像の一例を示す図である。図5に示すレンズ歪み補正前の画像では、線分201及び線分202がレンズ歪みにより曲線となっているが、図6に示すレンズ歪み補正後の第1校正画像では、レンズ歪みが補正され、線分201及び線分202が直線に校正されている。
FIG. 5 is a diagram illustrating an example of an image before lens distortion correction, and FIG. 6 is a diagram illustrating an example of a first calibration image after lens distortion correction. In the image before the lens distortion correction shown in FIG. 5, the
第2校正部70は、第1校正部60により校正された第1校正右画像及び第1校正左画像の間で対応する画像内の位置を水平に一致させるとともに、各画像内の物体を平面に対して垂直にする校正を行い、第2校正右画像及び第2校正左画像を得る。第2校正部70は、第1算出部72と、第2算出部74と、変換部76とを、含む。
The
第1算出部72は、第1校正部60により校正された第1校正右画像及び第1校正左画像(ステレオ画像)の間で対応する画像内の位置を水平に一致させる平行化変換を行うためのステレオ校正パラメータを算出する。つまり、第1算出部72は、第1校正右画像及び第1校正左画像内でエピポーラ線が全て水平になり、かつ第1校正右画像及び第1校正左画像間で対応する位置の水平位置を一致させる平行化変換を行うためのステレオ校正パラメータを算出する。なお、エピポーラ線とは、一方のカメラの注目点と光学中心を結ぶ直線が他方のカメラにおいて投影される一意に定まった直線を言う。
The first calculation unit 72 performs parallelization conversion for horizontally matching the positions in the corresponding images between the first calibration right image and the first calibration left image (stereo image) calibrated by the
以下では、第1撮像部10(右画像)のステレオ校正パラメータをWs1、第2撮像部20(左画像)のステレオ校正パラメータをWs2と称するが、それぞれ区別する必要がない場合は、単にステレオ校正パラメータWsと称する場合がある。なお、ステレオ校正パラメータWsは、3行3列の射影変換行列で表現される。 In the following, the stereo calibration parameter of the first imaging unit 10 (right image) is referred to as Ws1, and the stereo calibration parameter of the second imaging unit 20 (left image) is referred to as Ws2. Sometimes referred to as parameter Ws. The stereo calibration parameter Ws is expressed by a 3 × 3 projection transformation matrix.
ここでは、ステレオ校正パラメータWsの算出手法について、2通りの方法を説明するが、第1算出部72は、いずれの方法を用いてステレオ校正パラメータWsを算出してもよい。 Here, two methods for calculating the stereo calibration parameter Ws will be described, but the first calculation unit 72 may calculate the stereo calibration parameter Ws using any method.
まず、1つ目の方法について説明する。1つ目の方法では、第1算出部72は、第1撮像部10及び第2撮像部20それぞれの外部パラメータ及び内部パラメータを用いて、ステレオ校正パラメータWsを算出する。ここで、外部パラメータは、ワールド座標からの回転行列及び並進ベクトルなどが該当し、内部パラメータは、第1撮像部10及び第2撮像部20それぞれの焦点距離を有効画素間隔で割った値や画像中心などが該当する。
First, the first method will be described. In the first method, the first calculation unit 72 calculates the stereo calibration parameter Ws using the external parameters and the internal parameters of the
図7は、ステレオ校正パラメータWsの算出手法の一例を示す説明図である。図7に示す例では、第1算出部72は、画像面310に投影される第1撮像部10の右画像を、平行化変換により仮想的に平行配置でかつ第1撮像部10及び第2撮像部20の両撮像部で同一の画像面305に投影される画像312に変換するためのステレオ校正パラメータWs1を算出する。同様に、第1算出部72は、画像面320に投影される第2撮像部20の左画像を、平行化変換により仮想的に平行配置でかつ画像面305に投影される画像322に変換するためのステレオ校正パラメータWs2を算出する。
FIG. 7 is an explanatory diagram showing an example of a method for calculating the stereo calibration parameter Ws. In the example illustrated in FIG. 7, the first calculation unit 72 virtually arranges the right image of the
第1撮像部10及び第2撮像部20の座標軸などは、図2と同様である。つまり、第1撮像部10の実際のカメラ座標系がX1軸、Y1軸、及びZ1軸であり、第2撮像部20の実際のカメラ座標系を示す軸がX2軸、Y2軸、及びZ2軸である。ここで、実際のカメラ座標系とは、平行化変換前のカメラ座標系を言う。なお本実施形態では、前述したように、第1撮像部10及び第2撮像部20の平行ステレオ配置は要求されていないため、光軸方向であるZ1軸及びZ2軸が平行である必要はない。また、Xw、Yw、Zw軸は、ワールド座標系の座標軸を示す。
The coordinate axes of the
具体的に説明すると、第1算出部72は、第1撮像部10及び第2撮像部20の実際のカメラ座標系(X1軸、Y1軸、Z1軸)、(X2軸、Y2軸、Z2軸)を、ベースラインベクトル102が第1撮像部10及び第2撮像部20のカメラ座標系の水平軸(Xc1軸及びXc2軸)と平行になるように、仮想的に回転する。この際、第1算出部72は、第1撮像部10及び第2撮像部20の配置が仮想的に平行となるように、Zc1軸及びZc2軸の方向、並びにYc1軸及びYc2軸の方向を一致させる。これにより、第1算出部72は、第1撮像部10の仮想のカメラ座標系の座標軸(Xc1,Yc1,Zc1)、第2撮像部20の仮想のカメラ座標系の座標軸(Xc2,Yc2,Zc2)を算出する。よって、ワールド座標系の座標軸(Xw、Yw、Zw)から第1撮像部10の仮想のカメラ座標系の座標軸(Xc1,Yc1,Zc1)と第2撮像部20の仮想のカメラ座標系の座標軸(Xc2,Yc2,Zc2)とへ変換する回転行列は同じとなる。また第1算出部72は、画像面を第1撮像部10及び第2撮像部20とで同一とするため、両撮像部の内部パラメータを合わせた仮想的な内部パラメータをそれぞれ作成する。
Specifically, the first calculation unit 72 includes the actual camera coordinate system (X1 axis, Y1 axis, Z1 axis), (X2 axis, Y2 axis, Z2 axis) of the
そして第1算出部72は、第1撮像部10の実際のカメラ座標系の座標軸を仮想のカメラ座標系の座標軸へ回転する回転行列と第1撮像部10の仮想的な内部パラメータなどを用いて、画像面310に投影される右画像を画像312に変換する射影変換行列(ステレオ校正パラメータWs1)を算出(推定)する。同様に第1算出部72は、第2撮像部20の実際のカメラ座標系の座標軸を仮想のカメラ座標系の座標軸へ回転する回転行列と第2撮像部20の仮想的な内部パラメータなどを用いて、画像面320に投影される右画像を画像322に変換する射影変換行列(ステレオ校正パラメータWs2)を算出(推定)する。
Then, the first calculation unit 72 uses a rotation matrix that rotates the coordinate axes of the actual camera coordinate system of the
次に、2つ目の方法について説明する。2つ目の方法では、第1算出部72は、第1撮像部10により撮像された右画像及び第2撮像部20により撮像された左画像それぞれの画像上に対応する対応点を8組以上求め、求めた対応点の組からステレオ校正パラメータWsを算出する。この場合、第1算出部72は、求めた対応点の組から基礎行列を計算し、計算した基礎行列から各画像のエピ極点の方向を推定し、推定したエピ極点が水平方向となるように各画像を回転する。そして第1算出部72は、エピ極点が水平方向に無限遠に写像するように各画像に射影変換を施し、両画像の対応する特徴点が同じ高さとなるように再び射影変換を施す。ここでは、第1算出部72は、右画像及び左画像から平行化変換された画像を得るまでに、回転変換を1回と射影変換を2回行っているが、これらの変換は射影変換1回で表せるため、これをステレオ校正パラメータWsiとする。但し、iは1又は2を表す。
Next, the second method will be described. In the second method, the first calculation unit 72 sets eight or more sets of corresponding points on the images of the right image captured by the
図8は、平行化変換前の左画像及び右画像の一例を示す図であり、図9は、平行化変換後の平行化変換左画像及び平行化変換右画像の一例を示す図である。但し、第1算出部72により算出されたステレオ校正パラメータWsを用いた平行化変換は、後述の変換部76により行われる。図8に示す例では、左画像420の注目点422は、対応する右画像410の注目点412と水平線上に存在していない。一方、図9に示す例では、平行化変換により互いの画像の対応する注目点が水平線上に存在するように変換されており、平行化変換左画像520の注目点522と対応する平行化変換右画像510の注目点512とが、水平線上に存在している。
FIG. 8 is a diagram illustrating an example of the left image and the right image before the parallelization conversion, and FIG. 9 is a diagram illustrating an example of the parallelization conversion left image and the parallelization conversion right image after the parallelization conversion. However, the parallelization conversion using the stereo calibration parameter Ws calculated by the first calculation unit 72 is performed by the conversion unit 76 described later. In the example illustrated in FIG. 8, the
第2算出部74は、第1算出部72により校正された第1校正右画像及び第1校正左画像のそれぞれを画像内の物体が平面に対して垂直になるように垂直化変換を行うための垂直化変換パラメータを算出する。以下では、第1撮像部10及び第2撮像部20をそれぞれ区別する必要がない場合は、単に撮像部と称する場合がある。なお、垂直化変換パラメータWvは、3行3列の射影変換行列で表現される。
The
図10は、垂直化変換パラメータWvの算出手法の一例を示す説明図である。図10に示す例では、第2算出部74は、第1撮像部10の右画像610及び第2撮像部20の左画像620を、第1撮像部10の光学中心11及び第2撮像部20の光学中心21を中心として、第1撮像部10及び第2撮像部20の光軸が水平になるように仮想的に回転することにより、垂直化変換右画像612及び垂直化変換左画像622へ変換するための垂直化変換パラメータWvを算出する。
FIG. 10 is an explanatory diagram illustrating an example of a method for calculating the verticalization conversion parameter Wv. In the example illustrated in FIG. 10, the
具体的に説明すると、第2算出部74は、数式(4)により垂直化変換パラメータWvを算出する。
More specifically, the
ここで、Avは、垂直化変換後の仮想的な撮像部の内部パラメータであり、Aoは、平行化変換後の仮想的な撮像部の内部パラメータである。なお、AvとAoとを同一の値としてもよいし、新たな値に設定してもよい。Rは、平行化変換後の仮想的な撮像部のカメラ座標系から垂直化変換後の仮想的な撮像部のカメラ座標系へ変換する回転行列であり、数式(5)により表される。 Here, Av is an internal parameter of the virtual imaging unit after the vertical conversion, and Ao is an internal parameter of the virtual imaging unit after the parallelization conversion. Av and Ao may be the same value or may be set to a new value. R is a rotation matrix for converting from the camera coordinate system of the virtual imaging unit after the parallelization conversion to the camera coordinate system of the virtual imaging unit after the vertical conversion, and is expressed by Expression (5).
ここで、αは俯角を示す。ここでは、俯角αの算出(推定)手法について、3通りの方法を説明するが、第2算出部74は、いずれの方法を用いて俯角αを算出してもよい。
Here, α indicates the depression angle. Here, three methods of calculating (estimating) the depression angle α will be described, but the
まず、1つ目の方法について説明する。1つ目の方法では、第2算出部74は、右画像610及び左画像620(ステレオ画像)間の平面104に対する射影変換行列から平面104の法線ベクトル106を推定する。図2で説明した第1撮像部10及び第2撮像部20の配置であると、法線ベクトル106は、第1撮像部10のXc1及び第2撮像部20のXc2軸には成分を持たない。これにより、第2算出部74は、俯角αを算出することができる。
First, the first method will be described. In the first method, the
次に、2つ目の方法について説明する。2つ目の方法では、第2算出部74は、画像上の水平線の位置と撮像部の内部パラメータとを用いて推定する。ここで、水平線の位置をyh、内部パラメータの光学中心を(cx,cy)で示すと、第2算出部74は、図10に示すように、撮像部の焦点距離ΔFと水平線から光学中心までの距離ΔY(cx−yh)とから、数式(6)により俯角αを推定する。
Next, the second method will be described. In the second method, the
次に、3つ目の方法について説明する。3つ目の方法では、第2算出部74は、空間的に垂直に立つ物体を画像上で垂直となるように変換する。
Next, the third method will be described. In the third method, the
図11は、俯角αの算出手法の一例を示す説明図である。図11に示すように、第2算出部74は、垂直に立つ物体712が端の部分に映るように置かれた画像710に対して、俯角αを0度から少し変化させた(撮像部を仮想的に回転させた)画像720を後述の変換部76で説明する方法で生成する。そして第2算出部74は、生成した画像720で物体712が垂直に投影されていない場合には、再び俯角αを変化させた画像を生成し、最終的に物体712が垂直に投影された画像730を得る。第2算出部74は、画像730を生成するために使用した俯角αを正解値として採用する。
FIG. 11 is an explanatory diagram illustrating an example of a method for calculating the depression angle α. As illustrated in FIG. 11, the
なお、第2算出部74は、俯角αを変化させる代わりに、画像710、画像720上の水平線の位置yhを変化させながら数式(6)により俯角αを算出するようにしてもよい。この場合、第2算出部74は、その後、物体712が垂直に投影されるように水平線を上下させればよい。
Note that the
また、第2算出部74は、画像内の物体を平面に対して垂直に校正した画像の水平線位置が予め指定された水平線位置となるように垂直方向の平行移動を行うための調整変換パラメータを算出して、垂直化変換パラメータに加えるようにしてもよい。具体的には、第2算出部74は、垂直化変換前後で水平線の位置が変わらないように垂直方向の平行移動を行うための調整変換パラメータを垂直化変換パラメータに加えるようにしてもよい。
In addition, the
図12は、調整変換パラメータSの算出手法の一例を示す説明図である。図12に示すように、第2算出部74は、垂直変換前の画像810に対して撮像部を仮想的に回転させて画像820を生成する。但し、撮像部を仮想的に回転させるだけでは、被写体を適切な位置に表示することが難しい。そこで第2算出部74は、画像820に投影される水平線(図示省略)の位置が、画像810の水平線816とずれないように画像面を移動させることにより、画像830のように、画像810の水平線816と画像830の水平線816との位置を一致させ、被写体が画像に適切に投影されるように調整変換パラメータSを算出する。そして第2算出部74は、算出した調整変換パラメータSを垂直化変換パラメータWvに加える。
FIG. 12 is an explanatory diagram illustrating an example of a method for calculating the adjustment conversion parameter S. As illustrated in FIG. 12, the
ここで、調整変換パラメータSと垂直化変換パラメータWvとは、数式(7)に示す関係がある。 Here, the adjustment conversion parameter S and the verticalization conversion parameter Wv have the relationship shown in Expression (7).
但し、調整変換パラメータSは、数式(8)により表される。 However, the adjustment conversion parameter S is expressed by Equation (8).
ここで、Δdiffは、数式(9)により求められる。 Here, Δdiff is obtained by Expression (9).
但し、Wv−1は、数式(10)により表される。また、yhは水平線816の画像の縦位置である。
However, Wv-1 is represented by Formula (10). Yh is the vertical position of the image of the
なお、水平線位置が垂直化変換前後で変化しないようにするには、第2算出部74は、数式(4)により算出される垂直化変換パラメータWvではなく数式(7)により算出される垂直化変換パラメータWvを用いるとよい。
In order to prevent the horizontal line position from changing before and after the vertical conversion, the
変換部76は、第1算出部72により算出されたステレオ校正パラメータWs及び第2算出部74により算出された垂直化変換パラメータWvを用いて、第1校正部60により校正された第1校正右画像及び第1校正左画像に対して画像変換を行い、第2校正右画像及び第2校正左画像を得る。
The conversion unit 76 uses the stereo calibration parameter Ws calculated by the first calculation unit 72 and the verticalization conversion parameter Wv calculated by the
なお、変換部76が画像変換に用いる変換パラメータWsviは、数式(11)により表される。但し、iは1又は2を表す。 Note that the conversion parameter Wsvi used by the conversion unit 76 for image conversion is expressed by Expression (11). However, i represents 1 or 2.
また、変換パラメータWsviと画像座標の関係は数式(12)により表され、変換部76は、線形補間やバイキュービック補間などを用いて画像を作成する。 Further, the relationship between the conversion parameter Wsvi and the image coordinates is expressed by Expression (12), and the conversion unit 76 creates an image using linear interpolation, bicubic interpolation, or the like.
なお第2校正部70は、ステレオ校正パラメータWs及び垂直化変換パラメータWvを算出せずに、直接、変換パラメータWsviを算出することもできる。この場合、第2校正部70は、前述のステレオ校正パラメータWsの1つ目の算出手法において、第1撮像部10及び第2撮像部20の実際のカメラ座標系の水平軸(Xc1軸及びXc2軸)を光軸方向に一致させ、その後、垂直軸(Yc1軸及びYc2軸)を平面の法線ベクトルの方向と一致させる。また第2校正部70は、Zch軸が、それぞれXch軸及びYch軸のいずれにも直交するように定める。但し、hは1又は2を表す。この結果推定されるステレオ校正パラメータWsiは、垂直化された条件も満たしているため、変換パラメータWsviと同義となる。
The
図13は、校正前の右画像及び左画像の一例を示す図であり、図14は、第2校正後の第2校正右画像及び第2校正左画像の一例を示す図である。図13に示す例では、左画像920及び右画像910(ステレオ画像)の間で対応する画像内の位置が水平に一致しておらず、また、画像内の人間が路面に対して垂直になっていない。一方、図14に示す例では、第2校正(平行化変換及び垂直化変換)により互いの画像の対応する注目点が水平線上に存在するように変換されており、第2校正左画像1020の注目点1022と対応する第2校正右画像1010の注目点1012とが、水平線上に存在している。また、画像内の人間が路面に対して垂直になっている。このように第2校正部70による校正により、ステレオ画像を平行化したまま垂直物体が垂直になるように投影された画像が生成される。
FIG. 13 is a diagram illustrating an example of the right image and the left image before calibration, and FIG. 14 is a diagram illustrating an example of the second calibration right image and the second calibration left image after the second calibration. In the example shown in FIG. 13, the positions in the corresponding images between the
生成部80は、第2校正部70により校正された第2校正右画像及び第2校正左画像から、3D画像を生成する。
The
表示制御部90は、生成部80により生成された3D画像を表示部30に表示させる。
The
図15は、本実施形態の画像処理装置1で行われる画像処理の手順の流れの一例を示すフローチャート図である。 FIG. 15 is a flowchart illustrating an example of a flow of image processing procedures performed by the image processing apparatus 1 according to the present embodiment.
まず、それぞれの光学中心を結ぶベースラインベクトルと平面の法線ベクトルとが直交するように配された第1撮像部10及び第2撮像部20は、重複する領域の画像を撮像する(ステップS100)。
First, the
続いて、取得部40は、第1撮像部10及び第2撮像部20により撮像されたステレオ画像(第1撮像部10により撮像された右画像及び第2撮像部20により撮像された左画像)を取得する(ステップS102)。
Subsequently, the
続いて、第1校正部60は、取得部40により取得された右画像及び左画像それぞれのレンズ歪みを補正(校正)して、第1校正右画像及び第1校正左画像を得る(ステップS104)。
Subsequently, the
続いて、第1算出部72は、第1校正部60により校正された第1校正右画像及び第1校正左画像(ステレオ画像)の間で対応する画像内の位置を水平に一致させる平行化変換を行うためのステレオ校正パラメータを算出する(ステップS106)。
Subsequently, the first calculation unit 72 performs parallelization so that the corresponding positions in the corresponding images between the first calibration right image and the first calibration left image (stereo image) calibrated by the
続いて、第2算出部74は、第1校正部60により校正された第1校正右画像及び第1校正左画像のそれぞれを画像内の物体が平面に対して垂直になるように垂直化変換を行うための垂直化変換パラメータを算出する(ステップS108)。この際、第2算出部74は、画像内の物体を平面に対して垂直に校正した画像の水平線位置が予め指定された水平線位置となるように垂直方向の平行移動を行うための調整変換パラメータを算出して、垂直化変換パラメータに加えるようにしてもよい。
Subsequently, the
続いて、変換部76は、第1算出部72により算出されたステレオ校正パラメータ及び第2算出部74により算出された垂直化変換パラメータを用いて、第1校正部60により校正された第1校正右画像及び第1校正左画像に対して画像変換を行う(ステップS110)。
Subsequently, the conversion unit 76 uses the stereo calibration parameter calculated by the first calculation unit 72 and the verticalization conversion parameter calculated by the
続いて、生成部80は、変換部76により画像変換が行われた第2校正右画像及び第2校正左画像から、3D画像を生成する(ステップS112)。
Subsequently, the
続いて、表示制御部90は、生成部80により生成された3D画像を表示部30に表示させる(ステップS114)。
Subsequently, the
以上のように本実施形態では、第1撮像部10及び第2撮像部20が、それぞれの光学中心を結ぶベースラインベクトルと平面の法線ベクトルとが直交するように配されている。このため、第1撮像部10及び第2撮像部20の配置が幾何学的に平行化及び垂直化の要件を満たしており、画像(ステレオ画像)に対して垂直化変換及び平行化変換の両変換を行っても両変換を保つことができる。これにより、垂直化変換及び平行化変換後のステレオ画像から3D画像を直接的に作成することができ、人間が知覚しやすい3D画像を高速に生成することができる。
As described above, in the present embodiment, the
なお、平行化変換及び垂直化変換を実現するため、ステレオカメラの画像から視差を推定し、推定した視差から画像を合成して3D画像を作成する手法も考えられるが、この場合、視差を推定するため画像間の対応位置を計算する必要がある。画像間の対応位置は、基準画像(一方のステレオ画像)上に設定された注目点に対して、参照画像(他方のステレオ画像)のエピポーラ線上を探索し、注目点と最も類似性の高い位置を求めることによって得られるが、一般的にエピポーラ線は、基準画像上の設定した注目点の位置によって異なる。このため、エピポーラ線は注目点毎に求めなくてはならず、計算コストが多くなってしまう。 In order to realize parallelization conversion and verticalization conversion, a method of estimating a parallax from an image of a stereo camera and synthesizing the image from the estimated parallax to create a 3D image is conceivable. In this case, the parallax is estimated. Therefore, it is necessary to calculate the corresponding position between images. Corresponding positions between images are searched for on the epipolar line of the reference image (the other stereo image) with respect to the target point set on the base image (one stereo image), and the position most similar to the target point In general, the epipolar line differs depending on the position of the attention point set on the reference image. For this reason, an epipolar line must be obtained for each point of interest, which increases the calculation cost.
これに対し、本実施形態では、視差を推定する必要がないため、人間が知覚しやすい3D画像を高速に生成することができる。 On the other hand, in this embodiment, since it is not necessary to estimate the parallax, it is possible to generate a 3D image that can be easily perceived by humans at high speed.
また例えば、本実施形態の画像処理装置1を、車両に搭載したバックカメラのモニタの映像を3次元ディスプレイの機能を搭載したナビゲージョン画面に表示する周辺監視装置に適用すれば、運転者は後方の様子を3次元的に確認可能となり、後進時の安全性の向上に寄与することができる。特に本実施形態の画像処理装置1では、垂直化変換が行われているため、空間的に垂直に立つ物体は画像上に垂直に投影され、障害物のまでの距離や物体の種類等が容易に感知できる。 Further, for example, if the image processing apparatus 1 of the present embodiment is applied to a periphery monitoring apparatus that displays an image of a monitor of a back camera mounted on a vehicle on a navigation screen equipped with a three-dimensional display function, the driver Can be confirmed three-dimensionally, which can contribute to the improvement of safety during reverse travel. In particular, in the image processing apparatus 1 of the present embodiment, since vertical conversion is performed, an object that stands spatially vertically is projected vertically on the image, and the distance to the obstacle, the type of the object, and the like are easy. Can be detected.
(変形例1)
上記実施形態では、レンズ歪みを補正し、変換パラメータWsvi(ステレオ校正パラメータWs及び垂直化変換パラメータWv)を算出して平行化変換及び垂直化変換を行う場合を例に取り説明した。変形例1では、これらの変換結果を利用することにより、変換パラメータWsviを算出せずに、レンズ歪みの補正、平行化変換、及び垂直化変換を1度の変換で行う例について説明する。以下では、上記実施形態との相違点の説明を主に行い、上記実施形態と同様の機能を有する構成要素については、第1実施形態と同様の名称・符号を付し、その説明を省略する。
(Modification 1)
In the above embodiment, the case where the lens distortion is corrected, the conversion parameter Wsvi (the stereo calibration parameter Ws and the verticalization conversion parameter Wv) is calculated, and the parallelization conversion and the verticalization conversion are performed is described as an example. In the first modification, an example in which the lens distortion correction, the parallelization conversion, and the verticalization conversion are performed by one conversion without calculating the conversion parameter Wsvi by using these conversion results will be described. In the following, differences from the above embodiment will be mainly described, and components having the same functions as those in the above embodiment will be given the same names and symbols as those in the first embodiment, and description thereof will be omitted. .
図16は、変形例1の画像処理装置101の構成の一例を示すブロック図である。図16に示すように、変形例1の画像処理装置101では、校正部150の処理内容、及びテーブル記憶部152を更に備える点が上記実施形態の画像処理装置1と相違する。
FIG. 16 is a block diagram illustrating an example of the configuration of the
テーブル記憶部152は、第1撮像部10により撮像された右画像及び第2撮像部20により撮像された左画像の画像上の位置を示す画像位置情報と、第2校正右画像及び第2校正左画像それぞれの画像上の位置を示す校正画像位置情報と、を対応付けた位置情報テーブルを記憶する。即ち、テーブル記憶部152は、レンズ歪み補正前のステレオ画像の画像上の位置を示す画像位置情報と、レンズ歪み補正、平行化変換、及び垂直化変換後のステレオ画像の画像上の位置を示す画像位置情報と、を対応付けた位置情報テーブルを記憶する。テーブル記憶部152は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカードなどの磁気的、光学的、又は電気的に記憶可能な既存の記憶装置の少なくともいずれかにより実現できる。なお、位置情報テーブルは、校正部150が校正を行って作成してもよいし、予め作成されていてもよい。
The
校正部150は、テーブル記憶部152に記憶されている位置情報テーブルを用いて、第1撮像部10により新たに撮像された右画像及び第2撮像部20により新たに撮像された左画像を校正して、レンズ歪み補正、平行化変換、及び垂直化変換後の校正右画像及び校正左画像を得る。
The
変形例1によれば、位置情報テーブルを用いることにより、変換パラメータWsviを算出せずに、レンズ歪みの補正、平行化変換、及び垂直化変換を1度の変換で行うことができるため、計算コストを抑えることができる。 According to the first modification, by using the position information table, the lens distortion correction, the parallelization conversion, and the verticalization conversion can be performed by one conversion without calculating the conversion parameter Wsvi. Cost can be reduced.
(変形例2)
上記実施形態では、第2校正右画像及び第2校正左画像から生成した3D画像を表示部30に表示する例について説明したが、3D画像から、画像同士の対応位置を求めることによって視差を推定し、推定した視差から立体物の検出を行ったり、画像パタンを用いて物体の認識を行ったりしてもよい。また、第2校正右画像及び第2校正左画像の少なくとも一方をそのまま表示部30に表示してもよい。この場合、表示部30は3次元ディスプレイである必要はなく、通常のディスプレイであればよい。
(Modification 2)
In the above-described embodiment, the example in which the 3D image generated from the second calibration right image and the second calibration left image is displayed on the
上記各実施形態及び上記各変形例の画像処理装置は、CPU(Central Processing Unit)などの制御装置と、ROMやRAMなどの記憶装置と、HDDやSSDなどの外部記憶装置と、3次元ディスプレイなどの表示装置と、広角カメラなどの撮像装置等を備えており、通常のコンピュータを利用したハードウェア構成で実現可能となっている。また上記各実施形態及び上記各変形例の画像処理装置の上述した各部をソフトウェア的に実現してもハードウェア的にも実現してもよい。 The image processing apparatus according to each of the embodiments and each modification includes a control device such as a CPU (Central Processing Unit), a storage device such as a ROM and a RAM, an external storage device such as an HDD and an SSD, a three-dimensional display, and the like. The display device and an imaging device such as a wide-angle camera are provided, and can be realized with a hardware configuration using a normal computer. In addition, the above-described units of the image processing apparatuses according to the embodiments and the modifications may be realized in software or hardware.
なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。 It should be noted that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above embodiments. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
以上説明したとおり、上記実施形態及び上記各変形例によれば、垂直化変換及び平行化変換の両変換を保つ画像を生成することができる。 As described above, according to the embodiment and each of the modifications described above, it is possible to generate an image that maintains both vertical conversion and parallel conversion.
1、101 画像処理装置
10 第1撮像部
20 第2撮像部
30 表示部
40 取得部
50、150 校正部
60 第1校正部
70 第2校正部
72 第1算出部
74 第2算出部
76 変換部
80 生成部
90 表示制御部
152 テーブル記憶部
DESCRIPTION OF SYMBOLS 1,101
Claims (5)
撮像された複数の画像を校正して、前記複数の画像それぞれのレンズ歪みが補正され、前記複数の画像の間で、対応する画像内の位置が水平に一致され、かつ平面に垂直な面に合わせられた複数の校正画像を得る校正部と、
を備え、
前記複数の撮像部は、それぞれの光学中心を結ぶベースラインベクトルと前記平面の法線ベクトルとが直交し、かつそれぞれの光軸同士が非平行に配されている
ことを特徴とする画像処理装置。 A plurality of imaging units that image overlapping regions;
A plurality of captured images are calibrated, lens distortion of each of the plurality of images is corrected, a position in the corresponding image is horizontally matched between the plurality of images, and a plane perpendicular to the plane is obtained. A calibration unit for obtaining a plurality of calibration images,
With
Wherein the plurality of imaging unit, an image processing apparatus characterized by the baseline vector connecting each of the optical center and the normal vector of the plane is orthogonal, and the respective optical axes are arranged non-parallel .
前記複数の画像それぞれのレンズ歪みを校正して、複数の第1校正画像を得る第1校正部と、
前記複数の第1校正画像の間で、対応する画像内の位置を水平に一致させるとともに各画像内の物体を平面に対して垂直にする校正を行い、複数の第2校正画像を得る第2校正部と、
を含むことを特徴とする請求項1に記載の画像処理装置。 The calibration unit is
A first calibration unit that calibrates lens distortion of each of the plurality of images to obtain a plurality of first calibration images;
A second calibration image is obtained by performing calibration so that the positions in the corresponding images are horizontally matched between the plurality of first calibration images and the object in each image is perpendicular to the plane. A calibration section;
The image processing apparatus according to claim 1, further comprising:
撮像された複数の画像を校正して、前記複数の画像それぞれのレンズ歪みが補正され、前記複数の画像の間で、対応する画像内の位置が水平に一致され、かつ平面に垂直な面に合わせられた複数の校正画像を得る校正部と、
を備え、
前記複数の撮像部は、それぞれの光学中心を結ぶベースラインベクトルと前記平面の法線ベクトルとが直交し、かつそれぞれの光軸同士がねじれの位置に配されている
ことを特徴とする画像処理装置。 A plurality of imaging units that image overlapping regions;
A plurality of captured images are calibrated, lens distortion of each of the plurality of images is corrected, a position in the corresponding image is horizontally matched between the plurality of images, and a plane perpendicular to the plane is obtained. A calibration unit for obtaining a plurality of calibration images,
With
Wherein the plurality of imaging unit, an image processing and baseline vector connecting each of the optical center and the normal vector of the plane is orthogonal, and the respective optical axes, characterized in that disposed in the skewed apparatus.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013095499A JP5634558B2 (en) | 2013-04-30 | 2013-04-30 | Image processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013095499A JP5634558B2 (en) | 2013-04-30 | 2013-04-30 | Image processing device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010213575A Division JP5481337B2 (en) | 2010-09-24 | 2010-09-24 | Image processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013145605A JP2013145605A (en) | 2013-07-25 |
JP5634558B2 true JP5634558B2 (en) | 2014-12-03 |
Family
ID=49041315
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013095499A Active JP5634558B2 (en) | 2013-04-30 | 2013-04-30 | Image processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5634558B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7211047B2 (en) * | 2018-12-04 | 2023-01-24 | 株式会社アイシン | Road surface detection device and road surface detection program |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3599255B2 (en) * | 1995-12-04 | 2004-12-08 | 本田技研工業株式会社 | Environment recognition device for vehicles |
JP3284190B2 (en) * | 1998-05-14 | 2002-05-20 | 富士重工業株式会社 | Image correction device for stereo camera |
JP2001101415A (en) * | 1999-09-29 | 2001-04-13 | Fujitsu Ten Ltd | Image recognizing device and image processor |
JP4172684B2 (en) * | 2002-04-12 | 2008-10-29 | 富士重工業株式会社 | Image correction apparatus and image correction method |
JP2005045338A (en) * | 2003-07-23 | 2005-02-17 | Clarion Co Ltd | In-vehicle monitor system for three-dimensional display |
CN101680756B (en) * | 2008-02-12 | 2012-09-05 | 松下电器产业株式会社 | Compound eye imaging device, distance measurement device, parallax calculation method and distance measurement method |
JP2010166205A (en) * | 2009-01-14 | 2010-07-29 | Konica Minolta Holdings Inc | Image recording device |
-
2013
- 2013-04-30 JP JP2013095499A patent/JP5634558B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013145605A (en) | 2013-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5481337B2 (en) | Image processing device | |
JP5491235B2 (en) | Camera calibration device | |
JP6891954B2 (en) | Object detection device, object detection method, and program | |
JP4257356B2 (en) | Image generating apparatus and image generating method | |
JP4814669B2 (en) | 3D coordinate acquisition device | |
KR102126241B1 (en) | Image processing device, image processing method, program for image processing device, storage medium, and image display device | |
JP6310652B2 (en) | Video display system, video composition device, and video composition method | |
JP5500255B2 (en) | Image processing apparatus and image processing program | |
US20160343136A1 (en) | Data-processing system and method for calibration of a vehicle surround view system | |
JP5299296B2 (en) | Vehicle periphery image display device and vehicle periphery image display method | |
JP5070435B1 (en) | Three-dimensional relative coordinate measuring apparatus and method | |
JP2011253376A (en) | Image processing device, image processing method and program | |
JPWO2011154987A1 (en) | Camera distance measuring device | |
JP2013246606A (en) | Data derivation device and data derivation method | |
JP2011064566A (en) | Distance estimation apparatus | |
JP2016061654A (en) | Device, method, and program for supporting movement | |
JP7308227B2 (en) | Image processing device, image processing method, and program | |
CN111105467B (en) | Image calibration method and device and electronic equipment | |
TWI820246B (en) | Apparatus with disparity estimation, method and computer program product of estimating disparity from a wide angle image | |
JP2010288060A (en) | Circumference display device | |
JP2011024079A (en) | Peripheral display device | |
US20210183092A1 (en) | Measuring apparatus, measuring method and microscope system | |
JP5634558B2 (en) | Image processing device | |
JP2008177742A (en) | Camera parameter acquisition device | |
JP6202356B2 (en) | Image processing apparatus and method, and imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130430 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140311 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140812 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140819 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140916 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141014 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5634558 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |