JP5634558B2 - Image processing device - Google Patents
Image processing device Download PDFInfo
- Publication number
- JP5634558B2 JP5634558B2 JP2013095499A JP2013095499A JP5634558B2 JP 5634558 B2 JP5634558 B2 JP 5634558B2 JP 2013095499 A JP2013095499 A JP 2013095499A JP 2013095499 A JP2013095499 A JP 2013095499A JP 5634558 B2 JP5634558 B2 JP 5634558B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- calibration
- unit
- images
- imaging unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 26
- 238000003384 imaging method Methods 0.000 claims description 133
- 230000003287 optical effect Effects 0.000 claims description 24
- 238000013519 translation Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 description 110
- 238000004364 calculation method Methods 0.000 description 53
- 238000000034 method Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 29
- 239000011159 matrix material Substances 0.000 description 12
- 238000012937 correction Methods 0.000 description 11
- 230000009466 transformation Effects 0.000 description 11
- 238000012986 modification Methods 0.000 description 10
- 230000004048 modification Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Description
本発明の実施形態は、画像処理装置に関する。 Embodiments described herein relate generally to an image processing apparatus.
従来から、左右に並べた（視点の異なる）２台のカメラ（ステレオカメラ）により撮像された２枚の画像（ステレオ画像）を用いて、人間が立体として知覚できる３Ｄ画像を生成する技術が知られている。３Ｄ画像を生成するためには、２枚の画像の対応する位置が水平に一致している必要がある。このため、上述したような技術では、２枚の画像それぞれのエピポーラ線が平行となり、かつ高さが一致するような画像変換（以下、平行化変換と称する）を行い、３Ｄ画像を生成する。ここで、エピポーラ線とは、一方のカメラの注目点と光学中心を結ぶ直線が他方のカメラにおいて投影される一意に定まった直線を言う。なお、一方のカメラの注目点を考えた場合、この注目点は、他方のカメラの一意に定まった直線上のいずれかに投影される。 Conventionally, a technique for generating a 3D image that can be perceived as a three-dimensional image by using two images (stereo images) captured by two cameras (stereo cameras) arranged side by side (different viewpoints) is known. It has been. In order to generate a 3D image, the corresponding positions of the two images need to coincide horizontally. For this reason, in the technique as described above, 3D images are generated by performing image conversion (hereinafter referred to as parallelization conversion) such that the epipolar lines of the two images are parallel and have the same height. Here, the epipolar line is a uniquely defined straight line that is projected on the other camera by a straight line connecting the attention point of one camera and the optical center. Note that when an attention point of one camera is considered, this attention point is projected onto any uniquely defined straight line of the other camera.
また従来から、通常のレンズよりも画角が広い広角レンズを有するカメラにより撮像された画像の歪みを除去する技術が知られている。このようなカメラは、例えば車両のバックカメラなどに用いられるが、一般的に近接した物体の撮像に用いられるため俯角を付けた状態で固定されることが多い。この結果、撮像された画像からレンズ歪みを除去しても空間的に垂直に立つ物体が垂直に投影されないことがある。このため、上述したような技術では、画像内の物体が平面に対して垂直になるような画像変換（以下、垂直化変換と称する）を行い、画像の歪みを除去する。 Conventionally, a technique for removing distortion of an image captured by a camera having a wide-angle lens having a wider angle of view than a normal lens is known. Such a camera is used, for example, in a back camera of a vehicle, but is generally fixed in a state where a depression angle is provided because it is generally used for imaging a close object. As a result, an object that stands spatially vertically may not be projected vertically even if lens distortion is removed from the captured image. For this reason, the above-described technique performs image conversion (hereinafter referred to as vertical conversion) so that an object in an image is perpendicular to a plane, and removes image distortion.
しかしながら、上述したような垂直化変換及び平行化変換の両変換を画像に対して行うと、通常、いずれか一方の変換が保たれなくなってしまう。 However, if both the vertical conversion and the parallel conversion as described above are performed on an image, usually one of the conversions cannot be maintained.
実施形態の画像処理装置は、複数の撮像部と、校正部と、を備える。前記複数の撮像部は、重複する領域を撮像する。前記校正部は、撮像された複数の画像を校正して、前記複数の画像それぞれのレンズ歪みが補正され、前記複数の画像の間で、対応する画像内の位置が水平に一致され、かつ平面に垂直な面に合わせられた複数の校正画像を得る。前記複数の撮像部は、それぞれの光学中心を結ぶベースラインベクトルと前記平面の法線ベクトルとが直交、かつそれぞれの光軸同士が非平行に配されている。 The image processing apparatus according to the embodiment includes a plurality of imaging units and a calibration unit. Wherein the plurality of the imaging unit captures the area to be duplicated. The calibration unit calibrates a plurality of captured images, corrects the lens distortion of each of the plurality of images, matches the positions in the corresponding images horizontally between the plurality of images, and A plurality of calibration images adjusted to a plane perpendicular to the image are obtained. In the plurality of imaging units, a base line vector connecting the optical centers and a normal vector of the plane are orthogonal to each other, and optical axes thereof are non-parallel.
以下、添付図面を参照しながら、本発明にかかる画像処理装置の実施形態を詳細に説明する。以下の実施形態では、撮像部が２つの場合を例に取り説明するが、これに限定されるものではなく、２つ以上であればいくつであってもよい。 Embodiments of an image processing apparatus according to the present invention will be described below in detail with reference to the accompanying drawings. In the following embodiment, a case where there are two imaging units will be described as an example. However, the present invention is not limited to this, and any number may be used as long as there are two or more.
図１は、本実施形態の画像処理装置１の構成の一例を示すブロック図である。図１に示すように、画像処理装置１は、第１撮像部１０と、第２撮像部２０と、表示部３０と、取得部４０と、校正部５０と、生成部８０と、表示制御部９０とを、備える。
FIG. 1 is a block diagram illustrating an example of the configuration of the image processing apparatus 1 according to the present embodiment. As shown in FIG. 1, the image processing apparatus 1 includes a
第１撮像部１０及び第２撮像部２０は、それぞれの光学中心を結ぶベースラインベクトルと平面の法線ベクトルとが直交するように配され、重複する領域を撮像する。なお本実施形態では、第１撮像部１０及び第２撮像部２０が、それぞれ広角画像を撮像する広角カメラである場合を例に取り説明するが、これに限定されるものではない。第１撮像部１０及び第２撮像部２０は、例えば、それぞれ１００度以上の画角を有するものとする。
The
図２は、第１撮像部１０及び第２撮像部２０の配置手法の一例を示す説明図である。Ｘ１軸、Ｙ１軸、及びＺ１軸は、第１撮像部１０のカメラ座標系を示す軸であり、Ｘ２軸、Ｙ２軸、及びＺ２軸は、第２撮像部２０のカメラ座標系を示す軸である。ここで、第１撮像部１０の光学中心１１がＸ１軸、Ｙ１軸、及びＺ１軸の原点に設定されており、Ｚ１軸は、第１撮像部１０の光軸方向と一致するように設定され、Ｘ１軸、Ｙ１軸は、それぞれ、画像の横方向、縦方向に平行するように設定されている。同様に、第２撮像部２０の光学中心２１がＸ２軸、Ｙ２軸、及びＺ２軸の原点に設定されており、Ｚ２軸は、第２撮像部２０の光軸方向と一致するように設定され、Ｘ２軸、Ｙ２軸は、それぞれ、画像の横方向、縦方向に平行するように設定されている。そして、第１撮像部１０及び第２撮像部２０は、それぞれの光学中心１１、２１を結ぶベースラインベクトル１０２が平面１０４の法線ベクトル１０６と直交するように配置される。つまり、第１撮像部１０及び第２撮像部２０は、ベースラインベクトル１０２が平面１０４と平行になるように配置される。
FIG. 2 is an explanatory diagram illustrating an example of an arrangement method of the
図３及び図４は、第１撮像部１０及び第２撮像部２０の車両１１０への配置手法の一例を示す説明図である。図３は、第１撮像部１０及び第２撮像部２０が配置された車両１１０の正面図の一例を示し、図４は、第１撮像部１０及び第２撮像部２０が配置された車両１１０の平面図の一例を示す。
3 and 4 are explanatory diagrams illustrating an example of a method of arranging the
図３及び図４に示すように、第１撮像部１０及び第２撮像部２０を車両１１０に配置する場合、第１撮像部１０及び第２撮像部２０は、それぞれの光学中心１１、２１を結ぶベースラインベクトル１０２が、路面１１２（図２の平面１０４に相当）と平行になるように、かつ車両１１０と平行になるように配置される。なお、第１撮像部１０及び第２撮像部２０は、車両１１０に俯角をつけた状態で配置（固定）されているものとする。
As shown in FIGS. 3 and 4, when the
ここで、車両１１０に配置された第１撮像部１０及び第２撮像部２０と路面１１２との関係は、車両１１０の走行中の動きや車両積載物の重みなどにより変化する。但し本実施形態では、ベースラインベクトル１０２が車両１１０と平行になるように第１撮像部１０及び第２撮像部２０を車両１１０に配置しているため、上述の変化が最も大きい車両１１０のピッチングに相当する運動を、ベースラインベクトル１０２を回転軸とする運動に相当させることができる。このため本実施形態によれば、車両１１０の動きや積載物の重みなどの変化があっても、第１撮像部１０及び第２撮像部２０の配置条件を満たすことができる。
Here, the relationship between the
なお本実施形態では、第１撮像部１０及び第２撮像部２０の光軸を平行に一致させるような平行ステレオ配置は要求されないため、低コストで第１撮像部１０及び第２撮像部２０を車両１１０に配置することができる。
In the present embodiment, since a parallel stereo arrangement that matches the optical axes of the
表示部３０は、人間が立体として知覚できる３Ｄ画像を表示するものであり、例えば、ディスプレイにレンチキュラーレンズなどの光線制御子が配された液晶ディスプレイ、プラズマディスプレイ、又は有機ＥＬディスプレイなどの３次元ディスプレイにより実現できる。
The
取得部４０は、第１撮像部１０及び第２撮像部２０により撮像されたステレオ画像を取得する。なお以下では、ステレオ画像のうち第１撮像部１０に撮像された画像を右画像と称し、第２撮像部２０により撮像された画像を左画像と称する。
The
校正部５０は、取得部４０により取得された右画像及び左画像を校正して、右画像及び左画像それぞれのレンズ歪みが補正され、右画像及び左画像の間で、対応する画像内の位置が水平に一致され、かつ平面に垂直な面に合わせられた校正右画像及び校正左画像を得る。校正部５０は、第１校正部６０と、第２校正部７０とを、含む。
The
第１校正部６０は、取得部４０により取得された右画像及び左画像それぞれのレンズ歪みを校正して、第１校正右画像及び第１校正左画像を得る。なお、以下では、右画像及び左画像をそれぞれ区別する必要がない場合は、単に画像と称する場合があり、第１校正右画像及び第１校正左画像それぞれ区別する必要がない場合は、単に第１校正画像と称する場合がある。
The
例えば、第１校正部６０は、画像のレンズ歪みをＲａｄｉａｌ歪みモデル及びＴａｎｇｅｎｔｉａｌ歪みモデルを用いて表現し、当該レンズ歪みを校正（補正）する。この場合、レンズ歪みパラメータをＫ＝（Ｋ１，Ｋ２，Ｋ３，Ｋ４，Ｋ５）、レンズ歪みなしの正規化画像座標をＸｎ＝（ｘ，ｙ）、レンズ歪みありの正規化座標をＸｄ（ｘｄ，ｙｄ）とすると、第１校正部６０は、レンズ歪みありの正規化座標Ｘｄを、数式（１）で表現する。
For example, the
但し、ｒ＝ｘ２＋ｙ２であり、ｄｘは、数式（２）により表される。 However, r = x2 + y2, and dx is expressed by Equation (2).
そして第１校正部６０は、レンズ歪みありの画像座標Ｘｐを、レンズ歪みありの正規化画像座標Ｘｄを用いて、数式（３）で表現し、当該レンズ歪みを補正する。
Then, the
但し、（ｆｘ，ｆｙ）は、焦点距離を有効画素間隔で割った値であり、（ｃｘ，ｃｙ）は、画像中心である。なお、ｆｘ、ｆｙ、ｃｘ、ｃｙ、及びＫは、予め第１撮像部１０及び第２撮像部２０のキャリブレーション作業を行って求めておく。
However, (fx, fy) is a value obtained by dividing the focal length by the effective pixel interval, and (cx, cy) is the image center. Note that fx, fy, cx, cy, and K are obtained in advance by performing calibration work of the
図５は、レンズ歪み補正前の画像の一例を示す図であり、図６は、レンズ歪み補正後の第１校正画像の一例を示す図である。図５に示すレンズ歪み補正前の画像では、線分２０１及び線分２０２がレンズ歪みにより曲線となっているが、図６に示すレンズ歪み補正後の第１校正画像では、レンズ歪みが補正され、線分２０１及び線分２０２が直線に校正されている。
FIG. 5 is a diagram illustrating an example of an image before lens distortion correction, and FIG. 6 is a diagram illustrating an example of a first calibration image after lens distortion correction. In the image before the lens distortion correction shown in FIG. 5, the
第２校正部７０は、第１校正部６０により校正された第１校正右画像及び第１校正左画像の間で対応する画像内の位置を水平に一致させるとともに、各画像内の物体を平面に対して垂直にする校正を行い、第２校正右画像及び第２校正左画像を得る。第２校正部７０は、第１算出部７２と、第２算出部７４と、変換部７６とを、含む。
The
第１算出部７２は、第１校正部６０により校正された第１校正右画像及び第１校正左画像（ステレオ画像）の間で対応する画像内の位置を水平に一致させる平行化変換を行うためのステレオ校正パラメータを算出する。つまり、第１算出部７２は、第１校正右画像及び第１校正左画像内でエピポーラ線が全て水平になり、かつ第１校正右画像及び第１校正左画像間で対応する位置の水平位置を一致させる平行化変換を行うためのステレオ校正パラメータを算出する。なお、エピポーラ線とは、一方のカメラの注目点と光学中心を結ぶ直線が他方のカメラにおいて投影される一意に定まった直線を言う。
The first calculation unit 72 performs parallelization conversion for horizontally matching the positions in the corresponding images between the first calibration right image and the first calibration left image (stereo image) calibrated by the
以下では、第１撮像部１０（右画像）のステレオ校正パラメータをＷｓ１、第２撮像部２０（左画像）のステレオ校正パラメータをＷｓ２と称するが、それぞれ区別する必要がない場合は、単にステレオ校正パラメータＷｓと称する場合がある。なお、ステレオ校正パラメータＷｓは、３行３列の射影変換行列で表現される。 In the following, the stereo calibration parameter of the first imaging unit 10 (right image) is referred to as Ws1, and the stereo calibration parameter of the second imaging unit 20 (left image) is referred to as Ws2. Sometimes referred to as parameter Ws. The stereo calibration parameter Ws is expressed by a 3 × 3 projection transformation matrix.
ここでは、ステレオ校正パラメータＷｓの算出手法について、２通りの方法を説明するが、第１算出部７２は、いずれの方法を用いてステレオ校正パラメータＷｓを算出してもよい。 Here, two methods for calculating the stereo calibration parameter Ws will be described, but the first calculation unit 72 may calculate the stereo calibration parameter Ws using any method.
まず、１つ目の方法について説明する。１つ目の方法では、第１算出部７２は、第１撮像部１０及び第２撮像部２０それぞれの外部パラメータ及び内部パラメータを用いて、ステレオ校正パラメータＷｓを算出する。ここで、外部パラメータは、ワールド座標からの回転行列及び並進ベクトルなどが該当し、内部パラメータは、第１撮像部１０及び第２撮像部２０それぞれの焦点距離を有効画素間隔で割った値や画像中心などが該当する。
First, the first method will be described. In the first method, the first calculation unit 72 calculates the stereo calibration parameter Ws using the external parameters and the internal parameters of the
図７は、ステレオ校正パラメータＷｓの算出手法の一例を示す説明図である。図７に示す例では、第１算出部７２は、画像面３１０に投影される第１撮像部１０の右画像を、平行化変換により仮想的に平行配置でかつ第１撮像部１０及び第２撮像部２０の両撮像部で同一の画像面３０５に投影される画像３１２に変換するためのステレオ校正パラメータＷｓ１を算出する。同様に、第１算出部７２は、画像面３２０に投影される第２撮像部２０の左画像を、平行化変換により仮想的に平行配置でかつ画像面３０５に投影される画像３２２に変換するためのステレオ校正パラメータＷｓ２を算出する。
FIG. 7 is an explanatory diagram showing an example of a method for calculating the stereo calibration parameter Ws. In the example illustrated in FIG. 7, the first calculation unit 72 virtually arranges the right image of the
第１撮像部１０及び第２撮像部２０の座標軸などは、図２と同様である。つまり、第１撮像部１０の実際のカメラ座標系がＸ１軸、Ｙ１軸、及びＺ１軸であり、第２撮像部２０の実際のカメラ座標系を示す軸がＸ２軸、Ｙ２軸、及びＺ２軸である。ここで、実際のカメラ座標系とは、平行化変換前のカメラ座標系を言う。なお本実施形態では、前述したように、第１撮像部１０及び第２撮像部２０の平行ステレオ配置は要求されていないため、光軸方向であるＺ１軸及びＺ２軸が平行である必要はない。また、Ｘｗ、Ｙｗ、Ｚｗ軸は、ワールド座標系の座標軸を示す。
The coordinate axes of the
具体的に説明すると、第１算出部７２は、第１撮像部１０及び第２撮像部２０の実際のカメラ座標系（Ｘ１軸、Ｙ１軸、Ｚ１軸）、（Ｘ２軸、Ｙ２軸、Ｚ２軸）を、ベースラインベクトル１０２が第１撮像部１０及び第２撮像部２０のカメラ座標系の水平軸（Ｘｃ１軸及びＸｃ２軸）と平行になるように、仮想的に回転する。この際、第１算出部７２は、第１撮像部１０及び第２撮像部２０の配置が仮想的に平行となるように、Ｚｃ１軸及びＺｃ２軸の方向、並びにＹｃ１軸及びＹｃ２軸の方向を一致させる。これにより、第１算出部７２は、第１撮像部１０の仮想のカメラ座標系の座標軸（Ｘｃ１，Ｙｃ１，Ｚｃ１）、第２撮像部２０の仮想のカメラ座標系の座標軸（Ｘｃ２，Ｙｃ２，Ｚｃ２）を算出する。よって、ワールド座標系の座標軸（Ｘｗ、Ｙｗ、Ｚｗ）から第１撮像部１０の仮想のカメラ座標系の座標軸（Ｘｃ１，Ｙｃ１，Ｚｃ１）と第２撮像部２０の仮想のカメラ座標系の座標軸（Ｘｃ２，Ｙｃ２，Ｚｃ２）とへ変換する回転行列は同じとなる。また第１算出部７２は、画像面を第１撮像部１０及び第２撮像部２０とで同一とするため、両撮像部の内部パラメータを合わせた仮想的な内部パラメータをそれぞれ作成する。
Specifically, the first calculation unit 72 includes the actual camera coordinate system (X1 axis, Y1 axis, Z1 axis), (X2 axis, Y2 axis, Z2 axis) of the
そして第１算出部７２は、第１撮像部１０の実際のカメラ座標系の座標軸を仮想のカメラ座標系の座標軸へ回転する回転行列と第１撮像部１０の仮想的な内部パラメータなどを用いて、画像面３１０に投影される右画像を画像３１２に変換する射影変換行列（ステレオ校正パラメータＷｓ１）を算出（推定）する。同様に第１算出部７２は、第２撮像部２０の実際のカメラ座標系の座標軸を仮想のカメラ座標系の座標軸へ回転する回転行列と第２撮像部２０の仮想的な内部パラメータなどを用いて、画像面３２０に投影される右画像を画像３２２に変換する射影変換行列（ステレオ校正パラメータＷｓ２）を算出（推定）する。
Then, the first calculation unit 72 uses a rotation matrix that rotates the coordinate axes of the actual camera coordinate system of the
次に、２つ目の方法について説明する。２つ目の方法では、第１算出部７２は、第１撮像部１０により撮像された右画像及び第２撮像部２０により撮像された左画像それぞれの画像上に対応する対応点を８組以上求め、求めた対応点の組からステレオ校正パラメータＷｓを算出する。この場合、第１算出部７２は、求めた対応点の組から基礎行列を計算し、計算した基礎行列から各画像のエピ極点の方向を推定し、推定したエピ極点が水平方向となるように各画像を回転する。そして第１算出部７２は、エピ極点が水平方向に無限遠に写像するように各画像に射影変換を施し、両画像の対応する特徴点が同じ高さとなるように再び射影変換を施す。ここでは、第１算出部７２は、右画像及び左画像から平行化変換された画像を得るまでに、回転変換を１回と射影変換を２回行っているが、これらの変換は射影変換１回で表せるため、これをステレオ校正パラメータＷｓｉとする。但し、ｉは１又は２を表す。
Next, the second method will be described. In the second method, the first calculation unit 72 sets eight or more sets of corresponding points on the images of the right image captured by the
図８は、平行化変換前の左画像及び右画像の一例を示す図であり、図９は、平行化変換後の平行化変換左画像及び平行化変換右画像の一例を示す図である。但し、第１算出部７２により算出されたステレオ校正パラメータＷｓを用いた平行化変換は、後述の変換部７６により行われる。図８に示す例では、左画像４２０の注目点４２２は、対応する右画像４１０の注目点４１２と水平線上に存在していない。一方、図９に示す例では、平行化変換により互いの画像の対応する注目点が水平線上に存在するように変換されており、平行化変換左画像５２０の注目点５２２と対応する平行化変換右画像５１０の注目点５１２とが、水平線上に存在している。
FIG. 8 is a diagram illustrating an example of the left image and the right image before the parallelization conversion, and FIG. 9 is a diagram illustrating an example of the parallelization conversion left image and the parallelization conversion right image after the parallelization conversion. However, the parallelization conversion using the stereo calibration parameter Ws calculated by the first calculation unit 72 is performed by the conversion unit 76 described later. In the example illustrated in FIG. 8, the
第２算出部７４は、第１算出部７２により校正された第１校正右画像及び第１校正左画像のそれぞれを画像内の物体が平面に対して垂直になるように垂直化変換を行うための垂直化変換パラメータを算出する。以下では、第１撮像部１０及び第２撮像部２０をそれぞれ区別する必要がない場合は、単に撮像部と称する場合がある。なお、垂直化変換パラメータＷｖは、３行３列の射影変換行列で表現される。
The
図１０は、垂直化変換パラメータＷｖの算出手法の一例を示す説明図である。図１０に示す例では、第２算出部７４は、第１撮像部１０の右画像６１０及び第２撮像部２０の左画像６２０を、第１撮像部１０の光学中心１１及び第２撮像部２０の光学中心２１を中心として、第１撮像部１０及び第２撮像部２０の光軸が水平になるように仮想的に回転することにより、垂直化変換右画像６１２及び垂直化変換左画像６２２へ変換するための垂直化変換パラメータＷｖを算出する。
FIG. 10 is an explanatory diagram illustrating an example of a method for calculating the verticalization conversion parameter Wv. In the example illustrated in FIG. 10, the
具体的に説明すると、第２算出部７４は、数式（４）により垂直化変換パラメータＷｖを算出する。
More specifically, the
ここで、Ａｖは、垂直化変換後の仮想的な撮像部の内部パラメータであり、Ａｏは、平行化変換後の仮想的な撮像部の内部パラメータである。なお、ＡｖとＡｏとを同一の値としてもよいし、新たな値に設定してもよい。Ｒは、平行化変換後の仮想的な撮像部のカメラ座標系から垂直化変換後の仮想的な撮像部のカメラ座標系へ変換する回転行列であり、数式（５）により表される。 Here, Av is an internal parameter of the virtual imaging unit after the vertical conversion, and Ao is an internal parameter of the virtual imaging unit after the parallelization conversion. Av and Ao may be the same value or may be set to a new value. R is a rotation matrix for converting from the camera coordinate system of the virtual imaging unit after the parallelization conversion to the camera coordinate system of the virtual imaging unit after the vertical conversion, and is expressed by Expression (5).
ここで、αは俯角を示す。ここでは、俯角αの算出（推定）手法について、３通りの方法を説明するが、第２算出部７４は、いずれの方法を用いて俯角αを算出してもよい。
Here, α indicates the depression angle. Here, three methods of calculating (estimating) the depression angle α will be described, but the
まず、１つ目の方法について説明する。１つ目の方法では、第２算出部７４は、右画像６１０及び左画像６２０（ステレオ画像）間の平面１０４に対する射影変換行列から平面１０４の法線ベクトル１０６を推定する。図２で説明した第１撮像部１０及び第２撮像部２０の配置であると、法線ベクトル１０６は、第１撮像部１０のＸｃ１及び第２撮像部２０のＸｃ２軸には成分を持たない。これにより、第２算出部７４は、俯角αを算出することができる。
First, the first method will be described. In the first method, the
次に、２つ目の方法について説明する。２つ目の方法では、第２算出部７４は、画像上の水平線の位置と撮像部の内部パラメータとを用いて推定する。ここで、水平線の位置をｙｈ、内部パラメータの光学中心を（ｃｘ，ｃｙ）で示すと、第２算出部７４は、図１０に示すように、撮像部の焦点距離ΔＦと水平線から光学中心までの距離ΔＹ（ｃｘ−ｙｈ）とから、数式（６）により俯角αを推定する。
Next, the second method will be described. In the second method, the
次に、３つ目の方法について説明する。３つ目の方法では、第２算出部７４は、空間的に垂直に立つ物体を画像上で垂直となるように変換する。
Next, the third method will be described. In the third method, the
図１１は、俯角αの算出手法の一例を示す説明図である。図１１に示すように、第２算出部７４は、垂直に立つ物体７１２が端の部分に映るように置かれた画像７１０に対して、俯角αを０度から少し変化させた（撮像部を仮想的に回転させた）画像７２０を後述の変換部７６で説明する方法で生成する。そして第２算出部７４は、生成した画像７２０で物体７１２が垂直に投影されていない場合には、再び俯角αを変化させた画像を生成し、最終的に物体７１２が垂直に投影された画像７３０を得る。第２算出部７４は、画像７３０を生成するために使用した俯角αを正解値として採用する。
FIG. 11 is an explanatory diagram illustrating an example of a method for calculating the depression angle α. As illustrated in FIG. 11, the
なお、第２算出部７４は、俯角αを変化させる代わりに、画像７１０、画像７２０上の水平線の位置ｙｈを変化させながら数式（６）により俯角αを算出するようにしてもよい。この場合、第２算出部７４は、その後、物体７１２が垂直に投影されるように水平線を上下させればよい。
Note that the
また、第２算出部７４は、画像内の物体を平面に対して垂直に校正した画像の水平線位置が予め指定された水平線位置となるように垂直方向の平行移動を行うための調整変換パラメータを算出して、垂直化変換パラメータに加えるようにしてもよい。具体的には、第２算出部７４は、垂直化変換前後で水平線の位置が変わらないように垂直方向の平行移動を行うための調整変換パラメータを垂直化変換パラメータに加えるようにしてもよい。
In addition, the
図１２は、調整変換パラメータＳの算出手法の一例を示す説明図である。図１２に示すように、第２算出部７４は、垂直変換前の画像８１０に対して撮像部を仮想的に回転させて画像８２０を生成する。但し、撮像部を仮想的に回転させるだけでは、被写体を適切な位置に表示することが難しい。そこで第２算出部７４は、画像８２０に投影される水平線（図示省略）の位置が、画像８１０の水平線８１６とずれないように画像面を移動させることにより、画像８３０のように、画像８１０の水平線８１６と画像８３０の水平線８１６との位置を一致させ、被写体が画像に適切に投影されるように調整変換パラメータＳを算出する。そして第２算出部７４は、算出した調整変換パラメータＳを垂直化変換パラメータＷｖに加える。
FIG. 12 is an explanatory diagram illustrating an example of a method for calculating the adjustment conversion parameter S. As illustrated in FIG. 12, the
ここで、調整変換パラメータＳと垂直化変換パラメータＷｖとは、数式（７）に示す関係がある。 Here, the adjustment conversion parameter S and the verticalization conversion parameter Wv have the relationship shown in Expression (7).
但し、調整変換パラメータＳは、数式（８）により表される。 However, the adjustment conversion parameter S is expressed by Equation (8).
ここで、Δｄｉｆｆは、数式（９）により求められる。 Here, Δdiff is obtained by Expression (9).
但し、Ｗｖ−１は、数式（１０）により表される。また、ｙｈは水平線８１６の画像の縦位置である。
However, Wv-1 is represented by Formula (10). Yh is the vertical position of the image of the
なお、水平線位置が垂直化変換前後で変化しないようにするには、第２算出部７４は、数式（４）により算出される垂直化変換パラメータＷｖではなく数式（７）により算出される垂直化変換パラメータＷｖを用いるとよい。
In order to prevent the horizontal line position from changing before and after the vertical conversion, the
変換部７６は、第１算出部７２により算出されたステレオ校正パラメータＷｓ及び第２算出部７４により算出された垂直化変換パラメータＷｖを用いて、第１校正部６０により校正された第１校正右画像及び第１校正左画像に対して画像変換を行い、第２校正右画像及び第２校正左画像を得る。
The conversion unit 76 uses the stereo calibration parameter Ws calculated by the first calculation unit 72 and the verticalization conversion parameter Wv calculated by the
なお、変換部７６が画像変換に用いる変換パラメータＷｓｖｉは、数式（１１）により表される。但し、ｉは１又は２を表す。 Note that the conversion parameter Wsvi used by the conversion unit 76 for image conversion is expressed by Expression (11). However, i represents 1 or 2.
また、変換パラメータＷｓｖｉと画像座標の関係は数式（１２）により表され、変換部７６は、線形補間やバイキュービック補間などを用いて画像を作成する。 Further, the relationship between the conversion parameter Wsvi and the image coordinates is expressed by Expression (12), and the conversion unit 76 creates an image using linear interpolation, bicubic interpolation, or the like.
なお第２校正部７０は、ステレオ校正パラメータＷｓ及び垂直化変換パラメータＷｖを算出せずに、直接、変換パラメータＷｓｖｉを算出することもできる。この場合、第２校正部７０は、前述のステレオ校正パラメータＷｓの１つ目の算出手法において、第１撮像部１０及び第２撮像部２０の実際のカメラ座標系の水平軸（Ｘｃ１軸及びＸｃ２軸）を光軸方向に一致させ、その後、垂直軸（Ｙｃ１軸及びＹｃ２軸）を平面の法線ベクトルの方向と一致させる。また第２校正部７０は、Ｚｃｈ軸が、それぞれＸｃｈ軸及びＹｃｈ軸のいずれにも直交するように定める。但し、ｈは１又は２を表す。この結果推定されるステレオ校正パラメータＷｓｉは、垂直化された条件も満たしているため、変換パラメータＷｓｖｉと同義となる。
The
図１３は、校正前の右画像及び左画像の一例を示す図であり、図１４は、第２校正後の第２校正右画像及び第２校正左画像の一例を示す図である。図１３に示す例では、左画像９２０及び右画像９１０（ステレオ画像）の間で対応する画像内の位置が水平に一致しておらず、また、画像内の人間が路面に対して垂直になっていない。一方、図１４に示す例では、第２校正（平行化変換及び垂直化変換）により互いの画像の対応する注目点が水平線上に存在するように変換されており、第２校正左画像１０２０の注目点１０２２と対応する第２校正右画像１０１０の注目点１０１２とが、水平線上に存在している。また、画像内の人間が路面に対して垂直になっている。このように第２校正部７０による校正により、ステレオ画像を平行化したまま垂直物体が垂直になるように投影された画像が生成される。
FIG. 13 is a diagram illustrating an example of the right image and the left image before calibration, and FIG. 14 is a diagram illustrating an example of the second calibration right image and the second calibration left image after the second calibration. In the example shown in FIG. 13, the positions in the corresponding images between the
生成部８０は、第２校正部７０により校正された第２校正右画像及び第２校正左画像から、３Ｄ画像を生成する。
The
表示制御部９０は、生成部８０により生成された３Ｄ画像を表示部３０に表示させる。
The
図１５は、本実施形態の画像処理装置１で行われる画像処理の手順の流れの一例を示すフローチャート図である。 FIG. 15 is a flowchart illustrating an example of a flow of image processing procedures performed by the image processing apparatus 1 according to the present embodiment.
まず、それぞれの光学中心を結ぶベースラインベクトルと平面の法線ベクトルとが直交するように配された第１撮像部１０及び第２撮像部２０は、重複する領域の画像を撮像する（ステップＳ１００）。
First, the
続いて、取得部４０は、第１撮像部１０及び第２撮像部２０により撮像されたステレオ画像（第１撮像部１０により撮像された右画像及び第２撮像部２０により撮像された左画像）を取得する（ステップＳ１０２）。
Subsequently, the
続いて、第１校正部６０は、取得部４０により取得された右画像及び左画像それぞれのレンズ歪みを補正（校正）して、第１校正右画像及び第１校正左画像を得る（ステップＳ１０４）。
Subsequently, the
続いて、第１算出部７２は、第１校正部６０により校正された第１校正右画像及び第１校正左画像（ステレオ画像）の間で対応する画像内の位置を水平に一致させる平行化変換を行うためのステレオ校正パラメータを算出する（ステップＳ１０６）。
Subsequently, the first calculation unit 72 performs parallelization so that the corresponding positions in the corresponding images between the first calibration right image and the first calibration left image (stereo image) calibrated by the
続いて、第２算出部７４は、第１校正部６０により校正された第１校正右画像及び第１校正左画像のそれぞれを画像内の物体が平面に対して垂直になるように垂直化変換を行うための垂直化変換パラメータを算出する（ステップＳ１０８）。この際、第２算出部７４は、画像内の物体を平面に対して垂直に校正した画像の水平線位置が予め指定された水平線位置となるように垂直方向の平行移動を行うための調整変換パラメータを算出して、垂直化変換パラメータに加えるようにしてもよい。
Subsequently, the
続いて、変換部７６は、第１算出部７２により算出されたステレオ校正パラメータ及び第２算出部７４により算出された垂直化変換パラメータを用いて、第１校正部６０により校正された第１校正右画像及び第１校正左画像に対して画像変換を行う（ステップＳ１１０）。
Subsequently, the conversion unit 76 uses the stereo calibration parameter calculated by the first calculation unit 72 and the verticalization conversion parameter calculated by the
続いて、生成部８０は、変換部７６により画像変換が行われた第２校正右画像及び第２校正左画像から、３Ｄ画像を生成する（ステップＳ１１２）。
Subsequently, the
続いて、表示制御部９０は、生成部８０により生成された３Ｄ画像を表示部３０に表示させる（ステップＳ１１４）。
Subsequently, the
以上のように本実施形態では、第１撮像部１０及び第２撮像部２０が、それぞれの光学中心を結ぶベースラインベクトルと平面の法線ベクトルとが直交するように配されている。このため、第１撮像部１０及び第２撮像部２０の配置が幾何学的に平行化及び垂直化の要件を満たしており、画像（ステレオ画像）に対して垂直化変換及び平行化変換の両変換を行っても両変換を保つことができる。これにより、垂直化変換及び平行化変換後のステレオ画像から３Ｄ画像を直接的に作成することができ、人間が知覚しやすい３Ｄ画像を高速に生成することができる。
As described above, in the present embodiment, the
なお、平行化変換及び垂直化変換を実現するため、ステレオカメラの画像から視差を推定し、推定した視差から画像を合成して３Ｄ画像を作成する手法も考えられるが、この場合、視差を推定するため画像間の対応位置を計算する必要がある。画像間の対応位置は、基準画像（一方のステレオ画像）上に設定された注目点に対して、参照画像（他方のステレオ画像）のエピポーラ線上を探索し、注目点と最も類似性の高い位置を求めることによって得られるが、一般的にエピポーラ線は、基準画像上の設定した注目点の位置によって異なる。このため、エピポーラ線は注目点毎に求めなくてはならず、計算コストが多くなってしまう。 In order to realize parallelization conversion and verticalization conversion, a method of estimating a parallax from an image of a stereo camera and synthesizing the image from the estimated parallax to create a 3D image is conceivable. In this case, the parallax is estimated. Therefore, it is necessary to calculate the corresponding position between images. Corresponding positions between images are searched for on the epipolar line of the reference image (the other stereo image) with respect to the target point set on the base image (one stereo image), and the position most similar to the target point In general, the epipolar line differs depending on the position of the attention point set on the reference image. For this reason, an epipolar line must be obtained for each point of interest, which increases the calculation cost.
これに対し、本実施形態では、視差を推定する必要がないため、人間が知覚しやすい３Ｄ画像を高速に生成することができる。 On the other hand, in this embodiment, since it is not necessary to estimate the parallax, it is possible to generate a 3D image that can be easily perceived by humans at high speed.
また例えば、本実施形態の画像処理装置１を、車両に搭載したバックカメラのモニタの映像を３次元ディスプレイの機能を搭載したナビゲージョン画面に表示する周辺監視装置に適用すれば、運転者は後方の様子を３次元的に確認可能となり、後進時の安全性の向上に寄与することができる。特に本実施形態の画像処理装置１では、垂直化変換が行われているため、空間的に垂直に立つ物体は画像上に垂直に投影され、障害物のまでの距離や物体の種類等が容易に感知できる。 Further, for example, if the image processing apparatus 1 of the present embodiment is applied to a periphery monitoring apparatus that displays an image of a monitor of a back camera mounted on a vehicle on a navigation screen equipped with a three-dimensional display function, the driver Can be confirmed three-dimensionally, which can contribute to the improvement of safety during reverse travel. In particular, in the image processing apparatus 1 of the present embodiment, since vertical conversion is performed, an object that stands spatially vertically is projected vertically on the image, and the distance to the obstacle, the type of the object, and the like are easy. Can be detected.
（変形例１）
上記実施形態では、レンズ歪みを補正し、変換パラメータＷｓｖｉ（ステレオ校正パラメータＷｓ及び垂直化変換パラメータＷｖ）を算出して平行化変換及び垂直化変換を行う場合を例に取り説明した。変形例１では、これらの変換結果を利用することにより、変換パラメータＷｓｖｉを算出せずに、レンズ歪みの補正、平行化変換、及び垂直化変換を１度の変換で行う例について説明する。以下では、上記実施形態との相違点の説明を主に行い、上記実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。
(Modification 1)
In the above embodiment, the case where the lens distortion is corrected, the conversion parameter Wsvi (the stereo calibration parameter Ws and the verticalization conversion parameter Wv) is calculated, and the parallelization conversion and the verticalization conversion are performed is described as an example. In the first modification, an example in which the lens distortion correction, the parallelization conversion, and the verticalization conversion are performed by one conversion without calculating the conversion parameter Wsvi by using these conversion results will be described. In the following, differences from the above embodiment will be mainly described, and components having the same functions as those in the above embodiment will be given the same names and symbols as those in the first embodiment, and description thereof will be omitted. .
図１６は、変形例１の画像処理装置１０１の構成の一例を示すブロック図である。図１６に示すように、変形例１の画像処理装置１０１では、校正部１５０の処理内容、及びテーブル記憶部１５２を更に備える点が上記実施形態の画像処理装置１と相違する。
FIG. 16 is a block diagram illustrating an example of the configuration of the
テーブル記憶部１５２は、第１撮像部１０により撮像された右画像及び第２撮像部２０により撮像された左画像の画像上の位置を示す画像位置情報と、第２校正右画像及び第２校正左画像それぞれの画像上の位置を示す校正画像位置情報と、を対応付けた位置情報テーブルを記憶する。即ち、テーブル記憶部１５２は、レンズ歪み補正前のステレオ画像の画像上の位置を示す画像位置情報と、レンズ歪み補正、平行化変換、及び垂直化変換後のステレオ画像の画像上の位置を示す画像位置情報と、を対応付けた位置情報テーブルを記憶する。テーブル記憶部１５２は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカードなどの磁気的、光学的、又は電気的に記憶可能な既存の記憶装置の少なくともいずれかにより実現できる。なお、位置情報テーブルは、校正部１５０が校正を行って作成してもよいし、予め作成されていてもよい。
The
校正部１５０は、テーブル記憶部１５２に記憶されている位置情報テーブルを用いて、第１撮像部１０により新たに撮像された右画像及び第２撮像部２０により新たに撮像された左画像を校正して、レンズ歪み補正、平行化変換、及び垂直化変換後の校正右画像及び校正左画像を得る。
The
変形例１によれば、位置情報テーブルを用いることにより、変換パラメータＷｓｖｉを算出せずに、レンズ歪みの補正、平行化変換、及び垂直化変換を１度の変換で行うことができるため、計算コストを抑えることができる。 According to the first modification, by using the position information table, the lens distortion correction, the parallelization conversion, and the verticalization conversion can be performed by one conversion without calculating the conversion parameter Wsvi. Cost can be reduced.
（変形例２）
上記実施形態では、第２校正右画像及び第２校正左画像から生成した３Ｄ画像を表示部３０に表示する例について説明したが、３Ｄ画像から、画像同士の対応位置を求めることによって視差を推定し、推定した視差から立体物の検出を行ったり、画像パタンを用いて物体の認識を行ったりしてもよい。また、第２校正右画像及び第２校正左画像の少なくとも一方をそのまま表示部３０に表示してもよい。この場合、表示部３０は３次元ディスプレイである必要はなく、通常のディスプレイであればよい。
(Modification 2)
In the above-described embodiment, the example in which the 3D image generated from the second calibration right image and the second calibration left image is displayed on the
上記各実施形態及び上記各変形例の画像処理装置は、ＣＰＵ（Central Processing Unit）などの制御装置と、ＲＯＭやＲＡＭなどの記憶装置と、ＨＤＤやＳＳＤなどの外部記憶装置と、３次元ディスプレイなどの表示装置と、広角カメラなどの撮像装置等を備えており、通常のコンピュータを利用したハードウェア構成で実現可能となっている。また上記各実施形態及び上記各変形例の画像処理装置の上述した各部をソフトウェア的に実現してもハードウェア的にも実現してもよい。 The image processing apparatus according to each of the embodiments and each modification includes a control device such as a CPU (Central Processing Unit), a storage device such as a ROM and a RAM, an external storage device such as an HDD and an SSD, a three-dimensional display, and the like. The display device and an imaging device such as a wide-angle camera are provided, and can be realized with a hardware configuration using a normal computer. In addition, the above-described units of the image processing apparatuses according to the embodiments and the modifications may be realized in software or hardware.
なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。 It should be noted that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above embodiments. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
以上説明したとおり、上記実施形態及び上記各変形例によれば、垂直化変換及び平行化変換の両変換を保つ画像を生成することができる。 As described above, according to the embodiment and each of the modifications described above, it is possible to generate an image that maintains both vertical conversion and parallel conversion.
１、１０１ 画像処理装置
１０ 第１撮像部
２０ 第２撮像部
３０ 表示部
４０ 取得部
５０、１５０ 校正部
６０ 第１校正部
７０ 第２校正部
７２ 第１算出部
７４ 第２算出部
７６ 変換部
８０ 生成部
９０ 表示制御部
１５２ テーブル記憶部
DESCRIPTION OF SYMBOLS 1,101
Claims (5)
撮像された複数の画像を校正して、前記複数の画像それぞれのレンズ歪みが補正され、前記複数の画像の間で、対応する画像内の位置が水平に一致され、かつ平面に垂直な面に合わせられた複数の校正画像を得る校正部と、
を備え、
前記複数の撮像部は、それぞれの光学中心を結ぶベースラインベクトルと前記平面の法線ベクトルとが直交し、かつそれぞれの光軸同士が非平行に配されている
ことを特徴とする画像処理装置。 A plurality of imaging units that image overlapping regions;
A plurality of captured images are calibrated, lens distortion of each of the plurality of images is corrected, a position in the corresponding image is horizontally matched between the plurality of images, and a plane perpendicular to the plane is obtained. A calibration unit for obtaining a plurality of calibration images,
With
Wherein the plurality of imaging unit, an image processing apparatus characterized by the baseline vector connecting each of the optical center and the normal vector of the plane is orthogonal, and the respective optical axes are arranged non-parallel .
前記複数の画像それぞれのレンズ歪みを校正して、複数の第１校正画像を得る第１校正部と、
前記複数の第１校正画像の間で、対応する画像内の位置を水平に一致させるとともに各画像内の物体を平面に対して垂直にする校正を行い、複数の第２校正画像を得る第２校正部と、
を含むことを特徴とする請求項１に記載の画像処理装置。 The calibration unit is
A first calibration unit that calibrates lens distortion of each of the plurality of images to obtain a plurality of first calibration images;
A second calibration image is obtained by performing calibration so that the positions in the corresponding images are horizontally matched between the plurality of first calibration images and the object in each image is perpendicular to the plane. A calibration section;
The image processing apparatus according to claim 1, further comprising:
撮像された複数の画像を校正して、前記複数の画像それぞれのレンズ歪みが補正され、前記複数の画像の間で、対応する画像内の位置が水平に一致され、かつ平面に垂直な面に合わせられた複数の校正画像を得る校正部と、
を備え、
前記複数の撮像部は、それぞれの光学中心を結ぶベースラインベクトルと前記平面の法線ベクトルとが直交し、かつそれぞれの光軸同士がねじれの位置に配されている
ことを特徴とする画像処理装置。 A plurality of imaging units that image overlapping regions;
A plurality of captured images are calibrated, lens distortion of each of the plurality of images is corrected, a position in the corresponding image is horizontally matched between the plurality of images, and a plane perpendicular to the plane is obtained. A calibration unit for obtaining a plurality of calibration images,
With
Wherein the plurality of imaging unit, an image processing and baseline vector connecting each of the optical center and the normal vector of the plane is orthogonal, and the respective optical axes, characterized in that disposed in the skewed apparatus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013095499A JP5634558B2 (en) | 2013-04-30 | 2013-04-30 | Image processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013095499A JP5634558B2 (en) | 2013-04-30 | 2013-04-30 | Image processing device |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010213575A Division JP5481337B2 (en) | 2010-09-24 | 2010-09-24 | Image processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013145605A JP2013145605A (en) | 2013-07-25 |
| JP5634558B2 true JP5634558B2 (en) | 2014-12-03 |
Family
ID=49041315
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013095499A Active JP5634558B2 (en) | 2013-04-30 | 2013-04-30 | Image processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5634558B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7211047B2 (en) * | 2018-12-04 | 2023-01-24 | 株式会社アイシン | Road surface detection device and road surface detection program |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3599255B2 (en) * | 1995-12-04 | 2004-12-08 | 本田技研工業株式会社 | Environment recognition device for vehicles |
| JP3284190B2 (en) * | 1998-05-14 | 2002-05-20 | 富士重工業株式会社 | Image correction device for stereo camera |
| JP2001101415A (en) * | 1999-09-29 | 2001-04-13 | Fujitsu Ten Ltd | Image recognizing device and image processor |
| JP4172684B2 (en) * | 2002-04-12 | 2008-10-29 | 富士重工業株式会社 | Image correction apparatus and image correction method |
| JP2005045338A (en) * | 2003-07-23 | 2005-02-17 | Clarion Co Ltd | In-vehicle monitor system for three-dimensional display |
| CN101680756B (en) * | 2008-02-12 | 2012-09-05 | 松下电器产业株式会社 | Compound eye imaging device, distance measurement device, parallax calculation method and distance measurement method |
| JP2010166205A (en) * | 2009-01-14 | 2010-07-29 | Konica Minolta Holdings Inc | Image recording device |
-
2013
- 2013-04-30 JP JP2013095499A patent/JP5634558B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013145605A (en) | 2013-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5481337B2 (en) | Image processing device | |
| JP5491235B2 (en) | Camera calibration device | |
| JP6891954B2 (en) | Object detection device, object detection method, and program | |
| JP4257356B2 (en) | Image generating apparatus and image generating method | |
| JP4814669B2 (en) | 3D coordinate acquisition device | |
| KR102126241B1 (en) | Image processing device, image processing method, program for image processing device, storage medium, and image display device | |
| JP6310652B2 (en) | Video display system, video composition device, and video composition method | |
| JP5500255B2 (en) | Image processing apparatus and image processing program | |
| US20160343136A1 (en) | Data-processing system and method for calibration of a vehicle surround view system | |
| JP5299296B2 (en) | Vehicle periphery image display device and vehicle periphery image display method | |
| JP5070435B1 (en) | Three-dimensional relative coordinate measuring apparatus and method | |
| JP2011253376A (en) | Image processing device, image processing method and program | |
| JPWO2011154987A1 (en) | Camera distance measuring device | |
| JP2013246606A (en) | Data derivation device and data derivation method | |
| JP2011064566A (en) | Distance estimation apparatus | |
| JP2016061654A (en) | Device, method, and program for supporting movement | |
| JP7308227B2 (en) | Image processing device, image processing method, and program | |
| CN111105467B (en) | Image calibration method and device and electronic equipment | |
| TWI820246B (en) | Apparatus with disparity estimation, method and computer program product of estimating disparity from a wide angle image | |
| JP2010288060A (en) | Circumference display device | |
| JP2011024079A (en) | Peripheral display device | |
| US20210183092A1 (en) | Measuring apparatus, measuring method and microscope system | |
| JP5634558B2 (en) | Image processing device | |
| JP2008177742A (en) | Camera parameter acquisition device | |
| JP6202356B2 (en) | Image processing apparatus and method, and imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130430 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131107 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131126 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140311 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140812 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140819 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140916 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141014 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5634558 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |