JP2020107938A - Camera calibration device, camera calibration method, and program - Google Patents
Camera calibration device, camera calibration method, and program Download PDFInfo
- Publication number
- JP2020107938A JP2020107938A JP2018242240A JP2018242240A JP2020107938A JP 2020107938 A JP2020107938 A JP 2020107938A JP 2018242240 A JP2018242240 A JP 2018242240A JP 2018242240 A JP2018242240 A JP 2018242240A JP 2020107938 A JP2020107938 A JP 2020107938A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- vehicle
- road surface
- cameras
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、車に搭載されたカメラの路面に対する高さおよび角度のキャリブレーション方法に関する。 The present invention relates to a method of calibrating a height and an angle of a camera mounted on a vehicle with respect to a road surface.
従来から、車両に搭載された複数台のカメラの映像を利用して、車両周辺を上から見たような画像（鳥瞰画像）を提供する技術がある（特許文献１）。複数台のカメラ画像から鳥瞰画像を合成するためには、各カメラと路面の関係（カメラの位置と角度）を知る必要がある。 2. Description of the Related Art Conventionally, there is a technique of providing an image (bird's-eye view image) of a vehicle surroundings viewed from above by using images of a plurality of cameras mounted on the vehicle (Patent Document 1). In order to synthesize a bird's-eye view image from a plurality of camera images, it is necessary to know the relationship between each camera and the road surface (camera position and angle).
カメラの路面に対する位置や角度の推定（本書では「キャリブレーション」という）方法としては、工場の敷地内に規定のキャリブレーション用のボードや白線などを配置しておき、カメラでそれらを撮影した後に、既知のボードや白線などの位置情報に基づいてキャリブレーションを行う方法があった（特許文献２）。しかし、これらは最初の一度しかキャリブレーションを行わないため、例えば実際の走行時に、乗員や荷物の重みなどによって車両が傾いていたりすると、正しい鳥瞰画像が得られないなどの問題がある。 As a method of estimating the position and angle of the camera with respect to the road surface (referred to as "calibration" in this manual), place a prescribed calibration board or white line on the factory premises, and after shooting them with the camera There is a method of performing calibration based on position information of a known board or white line (Patent Document 2). However, since these are calibrated only once at the beginning, there is a problem that a correct bird's-eye view image cannot be obtained, for example, when the vehicle leans due to the weight of an occupant or luggage during actual traveling.
こうした問題を解決するために、走行中にキャリブレーションを行う方法も提案されている（特許文献３）。特許文献３では、カメラに映る路面のフローを入力としてホモグラフィー行列を推定し、それを分解することでカメラ姿勢と高さを推定する。
In order to solve such a problem, a method of performing calibration during traveling has also been proposed (Patent Document 3). In
特許文献３に記載された方法は、４つ以上の路面上のフロー（対応づけられた特徴点）からホモグラフィー行列を計算し、それをまずフレーム間のカメラ回転行列Ｒｃと移動ベクトルＴｃに分解した後、カメラ姿勢（角度）とカメラ高さを計算する。特許文献３に記載された方法は、フレーム間のカメラ回転行列Ｒｃが単位行列（車両は直進している）であるという制約がある。
The method described in
また、特許文献３に記載された方法では、最初に得られたフレーム間のカメラ回転行列Ｒｃと移動ベクトルＴｃを分解してカメラ姿勢（角度）とカメラ高さを求めるので、ＲｃとＴｃの推定誤差の影響を受けやすく精度の低下が懸念される。また、複数のカメラのキャリブレーションを行う場合には、各カメラ間でのキャリブレーション結果が整合しないこともあった。
In the method described in
本発明は、上記背景に鑑み、複数のカメラの高さおよび角度のキャリブレーションを行う装置を提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object thereof is to provide an apparatus for calibrating heights and angles of a plurality of cameras.
本発明のカメラキャリブレーション装置は、車両に搭載された複数のカメラｉ（１≦ｉ≦Ｍ）のキャリブレーションを行う装置であって、前記複数のカメラｉにて撮影した画像中の路面領域にある特徴点のフレーム間におけるフローを抽出する路面フロー抽出部と、車両センサ信号を受信する受信部と、前記車両センサ信号から車両座標系における前記フレーム間の車両回転量Ｒｖおよび移動量Ｃｖを計算する車両移動量計算部と、前記車両回転量Ｒｖおよび移動量Ｃｖを、前時刻までに得られた車両座標系における各カメラｉのカメラ姿勢Ｒciおよびカメラ位置Ｃciを用いて、前記各カメラｉの座標系における前記フレーム間のカメラ回転量Ｒｉおよび移動量Ｃｉに変換し、ホモグラフィー行列Ｈｉを計算するホモグラフィー行列計算部と、前記各カメラｉの画像において、ホモグラフィー行列Ｈｉによって変換される特徴点の位置が前記路面フロー抽出部で求めた特徴点のフローと整合するように、各カメラｉのカメラ姿勢Ｒciおよびカメラ高さｈciと車両移動パラメータの最適解を求めるパラメータ更新部とを備える。 A camera calibration device of the present invention is a device for calibrating a plurality of cameras i (1 ≤ i ≤ M) mounted on a vehicle, and is provided on a road surface area in an image captured by the plurality of cameras i. A road surface flow extraction unit that extracts a flow between frames of a certain characteristic point, a reception unit that receives a vehicle sensor signal, and a vehicle rotation amount Rv and a movement amount Cv between the frames in the vehicle coordinate system from the vehicle sensor signal. And the vehicle rotation amount Rv and the movement amount Cv for each camera i using the camera posture Rci and the camera position Cci of each camera i in the vehicle coordinate system obtained up to the previous time. A homography matrix calculation unit that converts the camera rotation amount Ri and the movement amount Ci between frames in the coordinate system to calculate a homography matrix Hi, and a feature that is converted by the homography matrix Hi in the image of each camera i. A parameter updating unit that obtains an optimum solution of the camera posture Rci and camera height hci of each camera i and the vehicle movement parameter is provided so that the position of the point matches the flow of the characteristic points obtained by the road surface flow extraction unit.
また、キャリブレーション前の前記複数のカメラｉのカメラ姿勢Ｒciおよび位置Ｃciのデータを記憶した記憶部を備え、前記パラメータ更新部は、前記記憶部から読み出したカメラ姿勢Ｒciおよび高さｈciを初期値として前記最適解を求め、求めた各カメラｉのカメラ姿勢Ｒciおよびカメラ高さｈciの最適解によって前記記憶部のデータを更新してもよい。ここで、カメラ位置Ｃciは、車両座標系におけるカメラのｘｙｚ座標であり、カメラ高さｈciは、車両座標系におけるカメラの高さである。つまり、カメラ位置Ｃciが分かればカメラ高さｈciが分かる。 In addition, the storage unit stores the data of the camera postures Rci and the positions Cci of the plurality of cameras i before calibration, and the parameter updating unit sets the camera postures Rci and the heights hci read from the storage units to initial values. Alternatively, the optimum solution may be obtained, and the data in the storage unit may be updated with the obtained optimum solution of the camera posture Rci and the camera height hci of each camera i. Here, the camera position Cci is the xyz coordinate of the camera in the vehicle coordinate system, and the camera height hci is the height of the camera in the vehicle coordinate system. That is, if the camera position Cci is known, the camera height hci can be known.
この構成により、各カメラｉの画像において、ホモグラフィー行列Ｈｉで変換された特徴点の位置と、路面フロー抽出部で求めたフローとが整合するように、カメラパラメータだけでなく、車両移動パラメータの最適解を求めるので、車両センサの信号に誤差が含まれていたり、車両運動モデルが想定と異なる場合にも、適切にカメラパラメータのキャリブレーションを行うことができる。ここで、車両移動パラメータは、フレーム間の車両回転ピッチ角ｖｐ，ヨー角ｖｙ，ロール角ｖｒ，及びｘｙｚ移動量ｖＸ，ｖＹ，ｖＺである。車両移動パラメータのすべてを更新してもよいし、例えば、平面上の２次元運動を仮定して、フレーム間の車両回転ヨー角ｖｙ，水平方向の移動量ｖＸ，ｖＺのみを更新してもよい。 With this configuration, in the image of each camera i, not only camera parameters but also vehicle movement parameters are set so that the positions of the feature points converted by the homography matrix Hi and the flow obtained by the road surface flow extraction unit match. Since the optimum solution is obtained, the camera parameters can be appropriately calibrated even when the signal of the vehicle sensor includes an error or the vehicle motion model is different from the expected one. Here, the vehicle movement parameters are the vehicle rotation pitch angle v p , the yaw angle v y , the roll angle v r , and the xyz movement amounts v X , v Y , v Z between the frames. All the vehicle movement parameters may be updated, or, for example, assuming a two-dimensional motion on a plane, only the vehicle rotation yaw angle v y between the frames and the horizontal movement amounts v X and v Z are updated. May be.
本発明のカメラキャリブレーション装置は、車両に搭載された複数のカメラｉ（１≦ｉ≦Ｍ）のキャリブレーションを行う装置であって、前記複数のカメラｉにて撮影した画像中の路面領域にある特徴点のフレーム間におけるフローを抽出する路面フロー抽出部と、車両センサ信号を受信する受信部と、前記車両センサ信号から車両座標系における前記フレーム間の車両回転量Ｒｖおよび移動量Ｃｖを計算する車両移動量計算部と、前記車両回転量Ｒｖおよび前記移動量Ｃｖから求まる前記各カメラｉにおける前記特徴点のフローと、前記路面フロー抽出部で求めた特徴点のフローとが整合するように、車両移動パラメータおよびカメラパラメータの最適解を求めるパラメータ更新部とを備える。この構成により、車両センサの信号に誤差が含まれていたり、車両運動モデルが想定と異なる場合にも、適切にカメラパラメータのキャリブレーションを行うことができる。 A camera calibration device of the present invention is a device for calibrating a plurality of cameras i (1 ≤ i ≤ M) mounted on a vehicle, and is provided on a road surface area in an image captured by the plurality of cameras i. A road surface flow extraction unit that extracts a flow between frames of a certain feature point, a reception unit that receives a vehicle sensor signal, and a vehicle rotation amount Rv and a movement amount Cv between the frames in the vehicle coordinate system from the vehicle sensor signal. So that the flow of the characteristic point in each camera i obtained from the vehicle rotation amount Rv and the movement amount Cv and the flow of the characteristic point obtained by the road surface flow extraction unit are matched. , A parameter updating unit that obtains optimum solutions of vehicle movement parameters and camera parameters. With this configuration, the camera parameter can be appropriately calibrated even if the signal of the vehicle sensor includes an error or the vehicle motion model is different from the assumed one.
本発明のカメラキャリブレーション装置は、前記車両センサ信号に基づいて車両が直進していると判定された場合には、前記パラメータ更新部は、前記車両センサ信号から求められる前記車両回転量Ｒｖおよび移動量Ｃｖが正解であるとして、前記カメラパラメータの最適解を求めてもよい。車両が直進している場合には車両センサ信号の誤差が小さいと考えられるので、車両センサ信号から求められる車両回転量Ｒｖおよび移動量Ｃｖが正解であるとして、カメラパラメータの最適解を容易に求めることができる。 In the camera calibration device of the present invention, when it is determined that the vehicle is traveling straight on the basis of the vehicle sensor signal, the parameter updating unit causes the vehicle rotation amount Rv and the movement obtained from the vehicle sensor signal. The optimum solution of the camera parameters may be obtained assuming that the quantity Cv is the correct solution. When the vehicle is traveling straight ahead, it is considered that the error of the vehicle sensor signal is small. Therefore, assuming that the vehicle rotation amount Rv and the movement amount Cv obtained from the vehicle sensor signal are correct, the optimum solution of the camera parameter is easily obtained. be able to.
本発明のカメラキャリブレーション装置において、前記パラメータ更新部は、前記カメラパラメータの最適解を求めた後に、当該カメラパラメータが正解であるとして、前記車両移動パラメータの最適解を求めてもよい。この構成により、車両移動パラメータの補正を行うことができる。 In the camera calibration device of the present invention, the parameter updating unit may obtain an optimal solution of the vehicle parameter after determining an optimal solution of the camera parameter, assuming that the camera parameter is a correct solution. With this configuration, the vehicle movement parameter can be corrected.
本発明のカメラキャリブレーション装置は、前記車両センサ信号に基づいて前記車両が走行した軌跡を求め、当該軌跡およびカメラ姿勢Ｒciおよび位置Ｃciに基づいて前記路面領域を特定し、その路面領域に基づいて路面フローを抽出してもよい。自車が走行してきた領域は、すなわち車や人などの障害物、歩道の路側などの段差などが存在しない領域といえる。このように自車が走行してきた軌跡を利用して路面領域を特定する構成により、路面以外の不要な物体から抽出されるフローを回避し、路面に含まれる特徴点のみを正しく抽出し、そのフローを求めることができる。 A camera calibration device of the present invention obtains a trajectory along which the vehicle has traveled based on the vehicle sensor signal, identifies the road surface area based on the trajectory and camera attitude Rci and position Cci, and based on the road surface area. The road surface flow may be extracted. It can be said that the area in which the vehicle has traveled is an area in which there are no obstacles such as cars or people, or steps on the side of a sidewalk. In this way, by using the trajectory that the vehicle has traveled to identify the road surface area, the flow extracted from unnecessary objects other than the road surface is avoided, and only the feature points included in the road surface are correctly extracted. You can ask for the flow.
本発明のカメラキャリブレーション装置は、前記複数のカメラｉで撮影された画像に基づいて、いずれかのカメラのピッチ軸回りの所定の閾値以上の変動を検知するピッチ変動検知部を備え、前記ピッチ変動検知部にて、所定の閾値以上の変動を検知したときに、当該変動の際に撮影された画像をキャリブレーションの処理から除外してもよい。この構成により、例えば、路面に凹凸がある場合や路面が平面でない場合に撮影された画像は、カメラキャリブレーションの処理から除外できるので、精度の向上が期待できる。 A camera calibration device of the present invention includes a pitch fluctuation detection unit that detects a fluctuation of a pitch axis of one of the cameras, which is equal to or more than a predetermined threshold value, based on images captured by the plurality of cameras i. When the fluctuation detecting unit detects a fluctuation equal to or larger than a predetermined threshold value, the image captured during the fluctuation may be excluded from the calibration process. With this configuration, for example, an image taken when the road surface has irregularities or when the road surface is not a flat surface can be excluded from the camera calibration process, and therefore improvement in accuracy can be expected.
本発明のカメラキャリブレーション装置は、前記受信部にて受信した車両センサ信号に基づいて車両が加速しているか否かを判定し、前記パラメータ更新部は、車両が加速している際に撮影された画像をキャリブレーションの処理から除外してもよい。車両が加速または減速している（すなわちマイナスの加速をしている）ときには、ピッチ変動が発生しやすいが、本発明の構成により、例えば、ピッチ変動しやすいときに撮影されたカメラ画像をカメラキャリブレーションの処理から除外できるので、精度の向上が期待できる。 The camera calibration device of the present invention determines whether or not the vehicle is accelerating based on the vehicle sensor signal received by the receiving unit, and the parameter updating unit is imaged when the vehicle is accelerating. The captured image may be excluded from the calibration process. When the vehicle is accelerating or decelerating (that is, negative acceleration), the pitch fluctuation is likely to occur. With the configuration of the present invention, for example, a camera image captured when the pitch fluctuation easily occurs is camera calibration. Since it can be excluded from the processing of the application, improvement in accuracy can be expected.
本発明のカメラキャリブレーション方法は、車両に搭載された複数のカメラｉ（１≦ｉ≦Ｍ）のキャリブレーションを行う方法であって、前記複数のカメラｉにて撮影した画像中の路面領域にある特徴点のフレーム間におけるフローを抽出するステップと、車両センサ信号を受信するステップと、前記車両センサ信号から車両座標系における前記フレーム間の車両回転量Ｒｖおよび移動量Ｃｖを計算するステップと、前記車両回転量Ｒｖおよび移動量Ｃｖを、前時刻までに得られた車両座標系における各カメラｉのカメラ姿勢Ｒciおよびカメラ位置Ｃciを用いて、前記各カメラｉの座標系における前記フレーム間のカメラ回転量Ｒｉおよび移動量Ｃｉに変換し、ホモグラフィー行列Ｈｉを計算するステップと、前記各カメラｉの画像において、ホモグラフィー行列Ｈｉによって変換される特徴点の位置が前記特徴点のフローと整合するように、複数のカメラｉ（１≦ｉ≦Ｍ）のカメラ姿勢Ｒciおよびカメラ高さｈciと車両移動パラメータの最適解を求めるステップとを備える。 A camera calibration method of the present invention is a method for calibrating a plurality of cameras i (1≦i≦M) mounted on a vehicle, and a method for calibrating a road surface area in an image captured by the plurality of cameras i. Extracting a flow between frames of a certain characteristic point, receiving a vehicle sensor signal, calculating a vehicle rotation amount Rv and a movement amount Cv between the frames in the vehicle coordinate system from the vehicle sensor signal, The vehicle rotation amount Rv and the movement amount Cv are calculated by using the camera posture Rci and the camera position Cci of each camera i in the vehicle coordinate system obtained up to the previous time, and the camera between the frames in the coordinate system of each camera i. Converting into a rotation amount Ri and a movement amount Ci and calculating a homography matrix Hi; and in the image of each camera i, the positions of the feature points converted by the homography matrix Hi match the flow of the feature points. Thus, the method includes a step of obtaining an optimum solution of the camera attitude Rci and the camera height hci of the plurality of cameras i (1≦i≦M) and the vehicle movement parameter.
本発明のプログラムは、車両に搭載された複数のカメラｉ（１≦ｉ≦Ｍ）のキャリブレーションを行うためのプログラムであって、コンピュータに、前記複数のカメラｉにて撮影した画像中の路面領域にある特徴点のフレーム間におけるフローを抽出するステップと、車両センサ信号を受信するステップと、前記車両センサ信号から車両座標系における前記フレーム間の車両回転量Ｒｖおよび移動量Ｃｖを計算するステップと、前記車両回転量Ｒｖおよび移動量Ｃｖを、前時刻までに得られた車両座標系における各カメラｉのカメラ姿勢Ｒciおよびカメラ位置Ｃciを用いて、前記各カメラｉの座標系における前記フレーム間のカメラ回転量Ｒｉおよび移動量Ｃｉに変換し、ホモグラフィー行列Ｈｉを計算するステップと、前記各カメラｉの画像において、ホモグラフィー行列Ｈｉによって変換される特徴点の位置が前記特徴点のフローと整合するように、複数のカメラｉ（１≦ｉ≦Ｍ）のカメラ姿勢Ｒciおよびカメラ高さｈciと車両移動パラメータの最適解を求めるステップとを実行させる。 A program of the present invention is a program for calibrating a plurality of cameras i (1 ≤ i ≤ M) mounted on a vehicle, and a computer program for a road surface in an image captured by the plurality of cameras i. A step of extracting a flow of feature points in a region between frames, a step of receiving a vehicle sensor signal, and a step of calculating a vehicle rotation amount Rv and a movement amount Cv between the frames in the vehicle coordinate system from the vehicle sensor signal. And the vehicle rotation amount Rv and the movement amount Cv between the frames in the coordinate system of each camera i using the camera posture Rci and the camera position Cci of each camera i in the vehicle coordinate system obtained up to the previous time. Of the camera rotation amount Ri and the movement amount Ci to calculate the homography matrix Hi, and the position of the feature point converted by the homography matrix Hi in the image of each camera i is the flow of the feature point. In order to match, a step of obtaining an optimum solution of the camera posture Rci and the camera height hci of the plurality of cameras i (1≦i≦M) and the vehicle movement parameter is executed.
本発明によれば、複数のカメラのカメラパラメータのキャリブレーションを適切に行うことができる。 According to the present invention, camera parameters of a plurality of cameras can be properly calibrated.
以下、本発明の実施の形態のカメラキャリブレーション装置について説明する。
（第１の実施の形態）
図１は、第１の実施の形態のカメラキャリブレーション装置１の構成を示す図である。カメラキャリブレーション装置１は、車両に搭載された複数のカメラの姿勢および路面からの高さのキャリブレーションを行う。カメラキャリブレーション装置１は、キャリブレーション対象の複数のカメラ２２と接続されており、複数のカメラ２２にて撮影された画像を取得する。また、カメラキャリブレーション装置１は、車載エリアネットワーク（ＣＡＮ）２１に接続されており、ＣＡＮ２１から車両センサ信号を受信する。
The camera calibration device according to the embodiment of the present invention will be described below.
(First embodiment)
FIG. 1 is a diagram showing a configuration of a
カメラキャリブレーション装置１は、車両センサ信号を受信する受信部１０と、車両移動量計算部１１と、ホモグラフィー行列計算部１２と、路面フロー抽出部１３と、パラメータ更新部１４と、パラメータ記憶部１５とを有している。
The
受信部１０は、車両センサ信号として、タイヤ切れ角θｔ、後輪中心位置の移動量distのデータを受信する。車両移動量計算部１１は、アッカーマンモデルに基づいて、車両回転量と移動量を求める。
The receiving
図２は、アッカーマンモデルによる車両回転量及び移動量の計算例を示す図である。本実施の形態では、説明の便宜上、車両移動量計算部１１は、時刻ｔから時刻ｔ−１の間における車両回転量Ｒｖと移動量Ｃｖを求めるものとする。ここで求められる車両回転量Ｒｖと移動量Ｃｖは、車両座標系において定義された値である。
図３は、車両座標系とカメラ座標系の違いを説明するための図である。車両座標系の原点Ｏは後輪中心位置の路面上にあり、車両後方向きにＺｖ軸、垂直下向きにＹｖ軸、Ｚｖ軸に向かって右向きにＸｖ軸が定義される。これに対してカメラ座標系は、原点はカメラ中心にあり、車両座標系のＺ軸がカメラの光軸向きがＺｃ軸と一致するように、車両座標系を回転したものである。 FIG. 3 is a diagram for explaining the difference between the vehicle coordinate system and the camera coordinate system. Origin O of the vehicle coordinate system is on the road surface of the rear wheel center position, Z v axis rearward facing, Y v axes vertically downward, X v-axis is defined on the right direction in the Z v axis. On the other hand, in the camera coordinate system, the origin is located at the center of the camera, and the vehicle coordinate system is rotated so that the Z axis of the vehicle coordinate system and the optical axis direction of the camera coincide with the Z c axis.
ホモグラフィー行列計算部１２は、各カメラ２２におけるホモグラフィー行列を計算する機能を有する。以下の説明では、図１に示した複数のカメラ２２をカメラｉ（１≦ｉ≦Ｍ）という。各カメラｉにおけるホモグラフィー行列Ｈｉ（３×３行列）は、次式で計算される。
車両センサ信号に基づいてアッカーマンモデルで求められる車両回転量Ｒｖ、車両移動量Ｃｖは車両座標系で定義された後輪中心位置の移動量であるため、これらのパラメータをそのまま使ってホモグラフィー行列Ｈｉを求めることはできない。そこで、本実施の形態のカメラキャリブレーション装置１では、次のように座標系の変換を行うことにより、車両座標系の車両回転量Ｒｖおよび移動量Ｃｖを各カメラ座標系における各カメラの回転量Ｒｉ、移動量Ｃｉに変換し、ホモグラフィー行列Ｈｉに適用できるように工夫をしている。これにより、車両センサ信号から求まった車両回転量Ｒｖおよび移動量Ｃｖをキャリブレーションに用いることができる。
上式において、Ｒciが求めるべきカメラ姿勢のパラメータ（ヨー角、ピッチ角、ロール角）からなる行列（３×３）であり、ｈciが求めるべき高さのパラメータである。ヨー角θｙ、ピッチ角θｐ、ロール角θｒとしたとき、例えばＲciは以下の式で表される。
図４は、上式（４）〜（７）の導出方法について説明するための図である。図４は、時刻ｔ−１と時刻ｔにおけるカメラ座標系Ｘciと車両座標系Ｘｖとを変換する際の変換行列を示す図である。例えば、時刻ｔ−１のカメラ座標系Ｘci(t-1)を時刻ｔのカメラ座標系Ｘci(t)に変換するには、時刻ｔ−１のカメラ座標系Ｘci(t-1)に変換行列Ｔiを乗じることを示している。 FIG. 4 is a diagram for explaining a method of deriving the above equations (4) to (7). FIG. 4 is a diagram showing a conversion matrix when converting the camera coordinate system Xci and the vehicle coordinate system Xv at time t−1 and time t. For example, to convert the camera coordinate system Xci(t-1) at time t-1 into the camera coordinate system Xci(t) at time t, the conversion matrix to the camera coordinate system Xci(t-1) at time t-1 It is shown to be multiplied by Ti.
時刻ｔのカメラ座標系Ｘci(t)を時刻ｔ−１のカメラ座標系Ｘci(t-1)で表す際には、図４の右回りと左回りの両方で表現することができ、これを式で表すと、次式のようになる。
図５は、ホモグラフィー行列Ｈｉの計算の仕方を示す図である。図５に示すように車両センサからＣＡＮ信号を受信すると、車両移動量計算部１１にて、車両座標系における車両回転量Ｒｖと、車両移動量Ｃｖを計算する。また、現在のカメラパラメータに基づいて、車両座標系をカメラｉのカメラ座標系に変換する回転行列Ｒciを計算し、この回転行列Ｒciと位置Ｃci（と高さｈci）を用いてホモグラフィー行列Ｈｉを計算する。
FIG. 5 is a diagram showing how to calculate the homography matrix Hi. When the CAN signal is received from the vehicle sensor as shown in FIG. 5, the vehicle movement
パラメータ記憶部１５には、各カメラｉの姿勢Ｒciおよび位置Ｃciのデータが記憶されている。記憶されているのは、キャリブレーション前のデータである。本実施の形態のカメラキャリブレーション装置１によるキャリブレーションがまだ行われていないときには、出荷時に計測されたカメラの姿勢および位置のデータが記憶されている。
The
路面フロー抽出部１３は、各カメラｉにて取得した画像中の路面領域にある特徴点のフローを抽出する。時刻ｔ−１から時刻ｔまでの間に、路面上にある特徴点がどのように移動したかを求める。路面領域にある特徴点は、例えば、アスファルトのテクスチャ（模様）や道路標示のコーナ点等である。
The road surface
パラメータ更新部１４は、パラメータ記憶部１５に記憶されているカメラパラメータを更新すると共に、車両移動パラメータを更新する。パラメータ更新部１４は、各カメラｉの画像において、ホモグラフィー行列Ｈｉによって変換される特徴点の位置が、路面フロー抽出部１３で求めた特徴点のフローと整合するように、車両移動パラメータ（ピッチ角ｖｐ，ヨー角ｖｙ，ロール角ｖｒ，ＸＹＺ移動量ｖＸ，ｖＹ，ｖＺ）およびカメラパラメータ（姿勢ピッチ角θｐ，ヨー角θｙ，ロール角θｒ，高さｈ）の最適解を求める機能を有する。
The
図６は、パラメータ更新部１４によるパラメータ更新処理の原理を示す図である。図６における点ｕｉpast、点ｕｉnow及び点ｕｉpredは、カメラｉのカメラ画像上の点を示す。点ｕｉpastは時刻ｔ−１における特徴点の位置を示し、点ｕｉnowは時刻ｔにおける特徴点の位置を示している。特徴点が点ｕｉpastが点ｕｉnowに移動したことは、路面フロー抽出部１３による路面フローの抽出結果から分かる。
FIG. 6 is a diagram showing the principle of parameter updating processing by the
点ｕｉpredは、時刻ｔ−１における点ｕｉpastにホモグラフィー行列Ｈｉを適用して求めた特徴点の予測位置を示している。具体的には、次式によって点ｕｉpredを求める。
上記のようにして、各カメラｉの座標系において、点ｕｉnow及び点ｕｉpredが計算される。すべてのカメラｉの座標系における点ｕｉnowと点ｕｉpredとの誤差が最小となるようなホモグラフィー行列Ｈｉは、正しい車両移動パラメータと、カメラ姿勢および高さのパラメータとを含んでいるといえる。ホモグラフィー行列Ｈｉに含まれる車両回転量Ｒｖおよび移動量Ｃｖは、全てのカメラｉに共通の変数なので、パラメータ更新部１４は、カメラｉ毎に独立にパラメータを最適化するのではなく、全カメラｉから得られた点ｕｉnowと点ｕｉpredとの最小化を同時に行う。以上が本実施の形態のカメラキャリブレーション装置１が行う最適化の原理である。
As described above, the points ui now and ui pred are calculated in the coordinate system of each camera i. It can be said that the homography matrix Hi that minimizes the error between the points ui now and ui pred in the coordinate system of all the cameras i includes the correct vehicle movement parameters and the camera attitude and height parameters. .. Since the vehicle rotation amount Rv and the movement amount Cv included in the homography matrix Hi are variables common to all the cameras i, the
具体的には、パラメータ更新部１４は、各カメラｉのホモグラフィー行列Ｈｉの最適化に用いるヤコビアン行列を統合し、統合したヤコビアン行列を用いてパラメータの最適化を行う。ここで、パラメータ更新部１４が推定するパラメータは、最大でフレーム間の車両回転ピッチ角ｖｐ，ヨー角ｖｙ，ロール角ｖｒ，及びｘｙｚ移動量ｖＸ，ｖＹ，ｖＺの６個と、カメラｉごとに、姿勢ピッチθｐ，ヨー角θｙ，ロール角θｒ，及び高さｈの４個である。つまり、カメラがＭ台ある場合には、最大で４×Ｍ個である。合計で、最大で６＋（４×Ｍ）個のパラメータが推定対象となる。
Specifically, the
図６において、各カメラ画像ｉにおいて、最小化すべきコストＥは次式で与えられる。
図７は、ヤコビアン行列の統合の仕方を示す模式図である。各カメラｉで計算したヤコビアン行列Ｊvi，Ｊciを１つの行列内に配置することにより、統合する。統合したヤコビアン行列Ｊは、車両パラメータのヤコビアン行列Ｊvi（ｉ＝１，・・・，Ｍ）を列方向に並べた行列と、Ｊci（ｉ＝１，・・・，Ｍ）を対角に並べた対角行列とを配置した構成となっている。この行列のサイズは、以下のとおりである。
パラメータ更新部１４は、例えば公知のレーベンバーグ・マーカート法（levenberg-marquardt）によって、上述した６＋４×Ｍ個のパラメータの最適解を求める。
パラメータ更新は以下のように行う。
The parameters are updated as follows.
以上、本実施の形態のカメラキャリブレーション装置１の構成について説明したが、上記したカメラキャリブレーション装置１のハードウェアの例は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、ディスプレイ、キーボード、マウス、通信インターフェース等を備えたＥＣＵである。上記した各機能を実現するモジュールを有するプログラムをＲＡＭまたはＲＯＭに格納しておき、ＣＰＵによって当該プログラムを実行することによって、上記したカメラキャリブレーション装置１が実現される。このようなプログラムも本発明の範囲に含まれる。
The configuration of the
図８は、第１の実施の形態のカメラキャリブレーション装置１の動作を示すフローチャートである。カメラキャリブレーション装置１は、ＣＡＮ２１から車両センサ信号（タイヤ切れ角θｔ、後輪中心の移動量distのデータ）を受信し（Ｓ１０）、受信した車両センサ信号に基づいて、車両座標系における車両回転量Ｒｖと車両移動量Ｃｖを求める（Ｓ１１）。
FIG. 8 is a flowchart showing the operation of the
次に、カメラキャリブレーション装置１は、Ｍ台のカメラからカメラｉを選択する（Ｓ１２）。カメラキャリブレーション装置１は、選択したカメラｉで撮影された画像に基づいて、路面領域にある特徴点のフレーム間におけるフローを抽出する（Ｓ１３）。続いて、カメラキャリブレーション装置１は、ホモグラフィー行列Ｈｉを計算する（Ｓ１４）。路面ホモグラフィー行列Ｈｉは、図５で示した方法によって行う。
Next, the
続いて、カメラキャリブレーション装置１は、式（１３）で示した予測誤差および式（１４）（１５）で示したヤコビアン行列を計算する（Ｓ１５）。次に、カメラキャリブレーション装置１は、全カメラについてヤコビアン行列の計算が終了したか否かを判定する（Ｓ１６）。全カメラについてヤコビアン行列の計算が終了していない場合には（Ｓ１６でＮＯ）、計算処理を行っていないカメラｉを選択し（Ｓ１２）、上述した処理（Ｓ１３〜Ｓ１５）を行う。
Subsequently, the
全カメラについて予測誤差およびヤコビアン行列の計算が終了した場合には（Ｓ１６でＹＥＳ）、カメラキャリブレーション装置１は、各カメラｉについて計算したヤコビアン行列を統合する（Ｓ１７）。ヤコビアン行列の統合は、図７を用いて説明した方法で行う。カメラキャリブレーション装置１は、例えばレーベンバーグ・マーカートＢ法によって、車両移動パラメータと各カメラｉのカメラパラメータを更新し（Ｓ１８）、更新処理により得られた車両移動パラメータおよび各カメラｉのカメラパラメータをパラメータ記憶部１５に記憶する（Ｓ１９）。
When the calculation of the prediction error and the Jacobian matrix is completed for all the cameras (YES in S16), the
ここで、パラメータ更新処理の終了条件は、例えば、更新回数が所定の繰り返し回数に達したことや、パラメータの更新量が所定の閾値以下になったことである。終了条件を満たしていないと判定された場合には、カメラキャリブレーション装置１は、更新されたパラメータを用いて、各カメラｉの新しいホモグラフィー行列Ｈｉを計算し、上記した処理を繰り返す。
Here, the termination condition of the parameter update process is, for example, that the number of updates has reached a predetermined number of repetitions, or that the amount of parameter updates has become a predetermined threshold value or less. When it is determined that the termination condition is not satisfied, the
本実施の形態のカメラキャリブレーション装置１によれば、走行中にカメラのキャリブレーションを行うことができ、乗員や荷物の重量によって車体が傾いている場合等にもカメラの姿勢、路面高さを適切な値に設定できる。これにより、例えば、カメラ画像に基づいて俯瞰画像を生成する場合等に、キャリブレーション後のカメラパラメータを用いて、適切な俯瞰画像を生成することができる。
According to the
また、車両移動パラメータと各カメラｉのカメラパラメータを同時に最適化することができるので、アッカーマンモデルで得られた車両回転量Ｒｖと車両移動量Ｃｖに誤差が含まれている場合でも、その誤差を低減でき、カメラ姿勢Ｒciと高さｈciの精度向上が期待できる。複数のカメラのカメラパラメータのキャリブレーションを適切に行うことができる。 Further, since the vehicle movement parameter and the camera parameter of each camera i can be optimized at the same time, even if the vehicle rotation amount Rv and the vehicle movement amount Cv obtained by the Ackerman model include an error, the error is eliminated. It can be reduced, and the accuracy of the camera posture Rci and the height hci can be expected to improve. It is possible to properly calibrate the camera parameters of a plurality of cameras.
（第２の実施の形態）
図９は、第２の実施の形態のカメラキャリブレーション装置２の構成を示す図である。第２の実施の形態のカメラキャリブレーション装置２は、カメラパラメータが確定済みのときには、カメラキャリブレーション装置２によるパラメータの最適化を利用して、車両移動パラメータを最適化（補正）する。第２の実施の形態のカメラキャリブレーション装置２の基本的な構成は、第１の実施の形態のカメラキャリブレーション装置１と同じであるが、第２の実施の形態のカメラキャリブレーション装置２では、受信部１０とパラメータ更新部１４とが接続されている。受信部１０は、受信したステアリング角度に基づいて車両が直進しているかどうかの情報をパラメータ更新部１４に入力する。
(Second embodiment)
FIG. 9 is a diagram showing the configuration of the
図１０は、第２の実施の形態のカメラキャリブレーション装置２による処理を示すフローチャートである。カメラキャリブレーション装置２は、カメラパラメータが確定しているか否かを判定する（Ｓ２０）。カメラパラメータが確定していない場合には（Ｓ２０でＮＯ）、カメラパラメータを確定する処理を行う。第２の実施の形態では、車両が直進しているときのカメラ画像を用いてカメラパラメータを計算する。車両が直進しているときには、車両自体の回転による特徴点の回転がないため、カメラパラメータを精度良く計算できるためである。
FIG. 10 is a flowchart showing a process performed by the
カメラキャリブレーション装置２のパラメータ更新部１４は、受信部１０から取得した情報に基づいて、車両が直進しているか否かを判定する（Ｓ２１）。車両が直進していると判定された場合には（Ｓ２１でＹＥＳ）、ＣＡＮ信号に基づいて計算された車両移動パラメータを固定し、カメラパラメータの更新を行う（Ｓ２２）。カメラパラメータの更新の方法は、車両移動パラメータの値を正解として固定している点を除き、上記した第１の実施の形態で説明した方法と同じである。車両が直進していないと判定された場合には（Ｓ２１でＮＯ）、カメラパラメータの更新を行わず、次のカメラ画像の入力を待つ。
The
カメラパラメータが確定しているか否かの判定（Ｓ２０）において、確定していると判定された場合には（Ｓ２０でＹＥＳ）、カメラキャリブレーション装置のパラメータ更新部１４は、カメラパラメータを固定して、車両移動パラメータを更新する（Ｓ２３）。これにより、例えば、車両が右左折、レーン変更、Ｕターン等を行う場合に、キャリブレーション済みのカメラの画像に基づいて車両移動パラメータを補正することができる。
When it is determined that the camera parameters have been determined (S20) (YES in S20), the
車両移動パラメータを補正することにより、例えば、移動ステレオカメラ等のアプリケーションで利用することができ、精度の良い測距等を行うことが可能となる。 By correcting the vehicle movement parameter, for example, it can be used in an application such as a moving stereo camera, and accurate distance measurement or the like can be performed.
（第３の実施の形態）
図１１は、第３の実施の形態のカメラキャリブレーション装置３の構成を示す図である。第３の実施の形態のカメラキャリブレーション装置３は、第１の実施の形態のカメラキャリブレーション装置１の構成に加え、路面領域特定部１６を備えている。
(Third Embodiment)
FIG. 11 is a diagram showing the configuration of the
路面領域特定部１６は、車両移動量計算部１１にて求められた車両回転量Ｒｖと車両移動量Ｃｖを用いて、車両が走行してきた軌跡を計算し、求めた軌跡情報と現在のカメラ姿勢Ｒciと位置Ｃciを用いて画像中における路面領域を特定する。Ｒciとｈciは最終的な値ではなく誤差を含んでいる可能性があるので、それを考慮した路面領域を設定する。路面領域特定部１６は、特定した路面領域のデータを路面フロー抽出部１３に渡す。路面フロー抽出部１３は、フレーム間の画像情報に加えて、路面領域特定部１６より取得した路面領域のデータを用いて、路面フローを抽出する。
The road surface
このように車両センサ信号に基づいて特定した路面領域のデータを用いることにより、路面に含まれるフローを適切に抽出することができる。 By using the data of the road surface area specified based on the vehicle sensor signal in this way, the flow included in the road surface can be appropriately extracted.
（第４の実施の形態）
図１２は、第４の実施の形態のカメラキャリブレーション装置４の構成を示す図である。第４の実施の形態のカメラキャリブレーション装置４は、第１の実施の形態のカメラキャリブレーション装置１の構成に加え、ピッチ変動検知部１７を備えている。
(Fourth Embodiment)
FIG. 12 is a diagram showing the configuration of the
ピッチ変動検知部１７は、車両あるいはカメラがピッチ軸（図３でいうＸv軸あるいはＸc軸）周りに所定の閾値以上の変動をしたことを検知する機能を有する。所定の閾値は、例えば、単位時間あたりの回転角度で規定される。本実施の形態において、ピッチ変動検知部１７は、パラメータ更新部１４に接続されており、パラメータ更新部１４にて求めたカメラパラメータから、ピッチ変動を検知する。
The pitch
ピッチ変動検知部１７は、ピッチ変動の検知結果をパラメータ更新部１４に入力する。これにより、カメラキャリブレーション装置４は、ピッチ変動検知部１７にてピッチ変動が検知された場合には、その変動が起こったときにフレームの画像をキャリブレーションに利用しない。これにより、路面が平面でない、あるいは、路面に凹凸があるような平面でないシーンを除外してカメラのキャリブレーションを行うので、キャリブレーションの精度を向上させることができる。
The pitch
なお、本実施の形態では、車両パラメータあるいはカメラパラメータの推定結果を利用してピッチ変動を検知する例を挙げて説明したが、ピッチ変動を検知する方法は、車両パラメータあるいはカメラパラメータの推定結果を利用するだけではなく、例えば、車両センサ信号やカメラ画像に基づいてピッチ変動を検知することとしてもよい。画像を用いる場合、例えば画像全体からフローを検出し、そのフローの収束点（ＦＯＥ）の上下移動があった場合にピッチ変動が検出できる。また、ピッチセンサやジャイロセンサを用いて、ピッチ変動を検知してもよい。 In the present embodiment, an example in which the pitch variation is detected by using the estimation result of the vehicle parameter or the camera parameter has been described, but the method of detecting the pitch variation uses the estimation result of the vehicle parameter or the camera parameter. In addition to the use, the pitch variation may be detected based on the vehicle sensor signal or the camera image, for example. When an image is used, for example, a flow can be detected from the entire image, and a pitch fluctuation can be detected when the convergence point (FOE) of the flow moves up and down. Alternatively, a pitch sensor or a gyro sensor may be used to detect the pitch fluctuation.
本実施の形態では、ピッチ変動を検出したときに、カメラキャリブレーションを行わない構成としたが、ピッチ変動のデータに代えて加速度のデータを用いてもよい。例えば、図９で示したカメラキャリブレーション装置のように、受信部１０とパラメータ更新部１４とを接続しておき、パラメータ更新部１４は受信部１０から加速度のデータを取得する。そして、パラメータ更新部１４は、加速度が所定の閾値以上の場合には、カメラキャリブレーションを行わないように構成してもよい。車両の始動時（加速時）や、停車前（減速時）は、車体のピッチ変動が発生しやすいため、ピッチ変動に代えて加速度を用いて、カメラキャリブレーションを実施しないタイミングを決定する。ピッチ変動の検出が不要となるので、簡易な構成とすることができる。
In the present embodiment, the camera calibration is not performed when the pitch fluctuation is detected, but the acceleration data may be used instead of the pitch fluctuation data. For example, like the camera calibration device shown in FIG. 9, the receiving
本発明は、車両に搭載されたカメラのキャリブレーションを行う装置として有用である。 INDUSTRIAL APPLICATION This invention is useful as an apparatus which calibrates the camera mounted in the vehicle.
１〜４ カメラキャリブレーション装置
１０ 受信部
１１ カメラ移動量計算部
１２ ホモグラフィー行列計算部
１３ 路面フロー抽出部
１４ パラメータ更新部
１５ パラメータ記憶部
１６ 路面領域特定部
１７ ピッチ変動検知部
２１ ＣＡＮ
２２ カメラ
1 to 4
22 camera
Claims (10)
前記複数のカメラｉにて撮影した画像中の路面領域にある特徴点のフレーム間におけるフローを抽出する路面フロー抽出部と、
車両センサ信号を受信する受信部と、
前記車両センサ信号から車両座標系における前記フレーム間の車両回転量Ｒｖおよび移動量Ｃｖを計算する車両移動量計算部と、
前記車両回転量Ｒｖおよび移動量Ｃｖを、前時刻までに得られた車両座標系における各カメラｉのカメラ姿勢Ｒciおよびカメラ位置Ｃciを用いて、前記各カメラｉの座標系における前記フレーム間のカメラ回転量Ｒｉおよび移動量Ｃｉに変換し、ホモグラフィー行列Ｈｉを計算するホモグラフィー行列計算部と、
前記各カメラｉの画像において、ホモグラフィー行列Ｈｉによって変換される特徴点の位置が前記路面フロー抽出部で求めた特徴点のフローと整合するように、複数のカメラｉ（１≦ｉ≦Ｍ）のカメラ姿勢Ｒciおよびカメラ高さｈciと車両移動パラメータの最適解を求めるパラメータ更新部と、
を備えるカメラキャリブレーション装置。 A device for calibrating a plurality of cameras i (1≦i≦M) mounted on a vehicle,
A road surface flow extraction unit for extracting a flow between frames of feature points in a road surface region in an image captured by the plurality of cameras i;
A receiver for receiving the vehicle sensor signal,
A vehicle movement amount calculation unit that calculates a vehicle rotation amount Rv and a movement amount Cv between the frames in the vehicle coordinate system from the vehicle sensor signal;
The vehicle rotation amount Rv and the movement amount Cv are calculated by using the camera posture Rci and the camera position Cci of each camera i in the vehicle coordinate system obtained up to the previous time, and the camera between the frames in the coordinate system of each camera i. A homography matrix calculation unit that converts the rotation amount Ri and the movement amount Ci and calculates the homography matrix Hi;
In the image of each camera i, a plurality of cameras i (1≦i≦M) are selected so that the positions of the feature points converted by the homography matrix Hi match the flow of the feature points obtained by the road surface flow extraction unit. A parameter updating unit for obtaining an optimum solution of the camera posture Rci, the camera height hci, and the vehicle movement parameter of
A camera calibration device equipped with.
前記パラメータ更新部は、前記記憶部から読み出したカメラ姿勢Ｒciおよび高さｈciを初期値として前記最適解を求め、求めた各カメラｉのカメラ姿勢Ｒciおよびカメラ高さｈciの最適解によって前記記憶部のデータを更新する請求項１に記載のカメラキャリブレーション装置。 A storage unit that stores data of the camera postures Rci and positions Cci of the plurality of cameras i before calibration;
The parameter updating unit obtains the optimum solution by using the camera orientation Rci and the height hci read from the storage unit as initial values, and the storage unit uses the obtained optimal solution of the camera posture Rci and the camera height hci of each camera i. The camera calibration device according to claim 1, wherein the data of 1. is updated.
前記複数のカメラｉにて撮影した画像中の路面領域にある特徴点のフレーム間におけるフローを抽出する路面フロー抽出部と、
車両センサ信号を受信する受信部と、
前記車両センサ信号から車両座標系における前記フレーム間の車両回転量Ｒｖおよび移動量Ｃｖを計算する車両移動量計算部と、
前記車両回転量Ｒｖおよび前記移動量Ｃｖから求まる前記各カメラｉにおける前記特徴点のフローと、前記路面フロー抽出部で求めた特徴点のフローとが整合するように、車両移動パラメータおよびカメラパラメータの最適解を求めるパラメータ更新部と、
を備えるカメラキャリブレーション装置。 A device for calibrating a plurality of cameras i (1≦i≦M) mounted on a vehicle,
A road surface flow extraction unit that extracts a flow between frames of feature points in a road surface area in an image captured by the plurality of cameras i;
A receiver for receiving the vehicle sensor signal,
A vehicle movement amount calculation unit that calculates a vehicle rotation amount Rv and a movement amount Cv between the frames in the vehicle coordinate system from the vehicle sensor signal;
The vehicle movement parameters and the camera parameters are set so that the flow of the characteristic points in each camera i obtained from the vehicle rotation amount Rv and the movement amount Cv and the flow of the characteristic points obtained by the road surface flow extraction unit match. A parameter updating unit that finds an optimal solution,
A camera calibration device equipped with.
前記パラメータ更新部は、前記車両センサ信号から求められる前記車両回転量Ｒｖおよび移動量Ｃｖが正解であるとして、前記カメラパラメータの最適解を求める請求項１乃至３のいずれかに記載のカメラキャリブレーション装置。 When it is determined that the vehicle is traveling straight based on the vehicle sensor signal,
The camera calibration according to any one of claims 1 to 3, wherein the parameter updating unit obtains an optimum solution of the camera parameter, assuming that the vehicle rotation amount Rv and the movement amount Cv obtained from the vehicle sensor signal are correct answers. apparatus.
前記ピッチ変動検知部にて、所定の閾値以上の変動を検知したときに、当該変動の際に撮影された画像をキャリブレーションの処理から除外する請求項１乃至６のいずれかに記載のカメラキャリブレーション装置。 A pitch fluctuation detection unit that detects a fluctuation of a pitch axis of one of the cameras, which is equal to or more than a predetermined threshold value, based on images captured by the plurality of cameras i
7. The camera calibration according to claim 1, wherein when the pitch variation detection unit detects a variation equal to or larger than a predetermined threshold value, the image captured during the variation is excluded from the calibration process. Device.
前記パラメータ更新部は、車両が加速している際に撮影された画像をキャリブレーションの処理から除外する請求項１乃至６のいずれかに記載のカメラキャリブレーション装置。 Determine whether the vehicle is accelerating based on the vehicle sensor signal received by the receiving unit,
The camera calibration device according to claim 1, wherein the parameter updating unit excludes an image captured when the vehicle is accelerating from the calibration process.
前記複数のカメラｉにて撮影した画像中の路面領域にある特徴点のフレーム間におけるフローを抽出するステップと、
車両センサ信号を受信するステップと、
前記車両センサ信号から車両座標系における前記フレーム間の車両回転量Ｒｖおよび移動量Ｃｖを計算するステップと、
前記車両回転量Ｒｖおよび移動量Ｃｖを、前時刻までに得られた車両座標系における各カメラｉのカメラ姿勢Ｒciおよびカメラ位置Ｃciを用いて、前記各カメラｉの座標系における前記フレーム間のカメラ回転量Ｒｉおよび移動量Ｃｉに変換し、ホモグラフィー行列Ｈｉを計算するステップと、
前記各カメラｉの画像において、ホモグラフィー行列Ｈｉによって変換される特徴点の位置が前記特徴点のフローと整合するように、複数のカメラｉ（１≦ｉ≦Ｍ）のカメラ姿勢Ｒciおよびカメラ高さｈciと車両移動パラメータの最適解を求めるステップと、
を備えるカメラキャリブレーション方法。 A method for calibrating a plurality of cameras i (1≦i≦M) mounted on a vehicle, comprising:
Extracting a flow between frames of feature points in a road surface area in an image captured by the plurality of cameras i,
Receiving a vehicle sensor signal,
Calculating a vehicle rotation amount Rv and a movement amount Cv between the frames in a vehicle coordinate system from the vehicle sensor signal;
The vehicle rotation amount Rv and the movement amount Cv are calculated by using the camera posture Rci and the camera position Cci of each camera i in the vehicle coordinate system obtained up to the previous time, and the camera between the frames in the coordinate system of each camera i. Converting the amount of rotation Ri and the amount of movement Ci and calculating the homography matrix Hi;
In the image of each camera i, the camera postures Rci and camera heights of the plurality of cameras i (1≦i≦M) are matched so that the positions of the feature points transformed by the homography matrix Hi match the flow of the feature points. Step hci and the step of obtaining the optimum solution of the vehicle movement parameter,
A method for calibrating a camera.
前記複数のカメラｉにて撮影した画像中の路面領域にある特徴点のフレーム間におけるフローを抽出するステップと、
車両センサ信号を受信するステップと、
前記車両センサ信号から車両座標系における前記フレーム間の車両回転量Ｒｖおよび移動量Ｃｖを計算するステップと、
前記車両回転量Ｒｖおよび移動量Ｃｖを、前時刻までに得られた車両座標系における各カメラｉのカメラ姿勢Ｒciおよびカメラ位置Ｃciを用いて、前記各カメラｉの座標系における前記フレーム間のカメラ回転量Ｒｉおよび移動量Ｃｉに変換し、ホモグラフィー行列Ｈｉを計算するステップと、
前記各カメラｉの画像において、ホモグラフィー行列Ｈｉによって変換される特徴点の位置が前記特徴点のフローと整合するように、複数のカメラｉ（１≦ｉ≦Ｍ）のカメラ姿勢Ｒciおよびカメラ高さｈciと車両移動パラメータの最適解を求めるステップと、
を実行させるプログラム。 A program for calibrating a plurality of cameras i (1≦i≦M) mounted on a vehicle, the program including:
Extracting a flow between frames of feature points in a road surface area in an image captured by the plurality of cameras i,
Receiving a vehicle sensor signal,
Calculating a vehicle rotation amount Rv and a movement amount Cv between the frames in a vehicle coordinate system from the vehicle sensor signal;
The vehicle rotation amount Rv and the movement amount Cv are calculated by using the camera posture Rci and the camera position Cci of each camera i in the vehicle coordinate system obtained up to the previous time, and the camera between the frames in the coordinate system of each camera i. Converting the amount of rotation Ri and the amount of movement Ci and calculating the homography matrix Hi;
In the image of each camera i, the camera postures Rci and camera heights of the plurality of cameras i (1≦i≦M) are matched so that the positions of the feature points transformed by the homography matrix Hi match the flow of the feature points. Step hci and the step of obtaining the optimum solution of the vehicle movement parameter,
A program to execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018242240A JP7137464B2 (en) | 2018-12-26 | 2018-12-26 | Camera calibration device, camera calibration method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018242240A JP7137464B2 (en) | 2018-12-26 | 2018-12-26 | Camera calibration device, camera calibration method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020107938A true JP2020107938A (en) | 2020-07-09 |
| JP7137464B2 JP7137464B2 (en) | 2022-09-14 |
Family
ID=71449497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018242240A Active JP7137464B2 (en) | 2018-12-26 | 2018-12-26 | Camera calibration device, camera calibration method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7137464B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112684250A (en) * | 2020-12-03 | 2021-04-20 | 华中科技大学 | Calibration method for high-power millimeter wave intensity measurement system |
| WO2023273427A1 (en) * | 2021-06-30 | 2023-01-05 | 安徽爱观视觉科技有限公司 | Speed measurement method and apparatus based on multiple cameras |
| CN117649454A (en) * | 2024-01-29 | 2024-03-05 | 北京友友天宇***技术有限公司 | Binocular camera external parameter automatic correction method and device, electronic equipment and storage medium |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014165810A (en) * | 2013-02-27 | 2014-09-08 | Fujitsu Ten Ltd | Parameter acquisition device, parameter acquisition method and program |
| JP2017078923A (en) * | 2015-10-20 | 2017-04-27 | クラリオン株式会社 | Calibration device, calibration method, and calibration program |
| JP2017143417A (en) * | 2016-02-10 | 2017-08-17 | クラリオン株式会社 | Calibration system, calibration device |
| US20180232907A1 (en) * | 2017-02-16 | 2018-08-16 | Qualcomm Incorporated | Camera Auto-Calibration with Gyroscope |
-
2018
- 2018-12-26 JP JP2018242240A patent/JP7137464B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014165810A (en) * | 2013-02-27 | 2014-09-08 | Fujitsu Ten Ltd | Parameter acquisition device, parameter acquisition method and program |
| JP2017078923A (en) * | 2015-10-20 | 2017-04-27 | クラリオン株式会社 | Calibration device, calibration method, and calibration program |
| JP2017143417A (en) * | 2016-02-10 | 2017-08-17 | クラリオン株式会社 | Calibration system, calibration device |
| US20180232907A1 (en) * | 2017-02-16 | 2018-08-16 | Qualcomm Incorporated | Camera Auto-Calibration with Gyroscope |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112684250A (en) * | 2020-12-03 | 2021-04-20 | 华中科技大学 | Calibration method for high-power millimeter wave intensity measurement system |
| CN112684250B (en) * | 2020-12-03 | 2022-03-18 | 华中科技大学 | Calibration method for high-power millimeter wave intensity measurement system |
| WO2023273427A1 (en) * | 2021-06-30 | 2023-01-05 | 安徽爱观视觉科技有限公司 | Speed measurement method and apparatus based on multiple cameras |
| CN117649454A (en) * | 2024-01-29 | 2024-03-05 | 北京友友天宇***技术有限公司 | Binocular camera external parameter automatic correction method and device, electronic equipment and storage medium |
| CN117649454B (en) * | 2024-01-29 | 2024-05-31 | 北京友友天宇***技术有限公司 | Binocular camera external parameter automatic correction method and device, electronic equipment and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7137464B2 (en) | 2022-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10620000B2 (en) | Calibration apparatus, calibration method, and calibration program | |
| US10594943B2 (en) | Camera calibration device and camera calibration system | |
| US10567704B2 (en) | Method for motion estimation between two images of an environmental region of a motor vehicle, computing device, driver assistance system as well as motor vehicle | |
| US9858684B2 (en) | Image processing method and apparatus for calibrating depth of depth sensor | |
| KR102249769B1 (en) | Estimation method of 3D coordinate value for each pixel of 2D image and autonomous driving information estimation method using the same | |
| WO2015198930A1 (en) | Distance measurement device, and distance measurement correction device using correction parameter | |
| US20160165140A1 (en) | Method for camera motion estimation and correction | |
| US20120314073A1 (en) | Apparatus and Method for Detecting Posture of Camera Mounted on Vehicle | |
| JP7137464B2 (en) | Camera calibration device, camera calibration method, and program | |
| WO2015029443A1 (en) | Turning angle correction method, turning angle correction device, image-capturing device, and turning angle correction system | |
| CN108027230B (en) | Information processing apparatus, information processing method, and program | |
| JP4670528B2 (en) | Imaging device deviation detection method, imaging device deviation correction method, and imaging device | |
| US12020456B2 (en) | External parameter calibration method, device and system for image acquisition apparatus | |
| JP5310027B2 (en) | Lane recognition device and lane recognition method | |
| CN111508025A (en) | Three-dimensional position estimation device and program | |
| WO2020137110A1 (en) | Movement amount estimation device | |
| JP6768554B2 (en) | Calibration device | |
| US20150324984A1 (en) | Image calibration | |
| JP7019431B2 (en) | Camera calibration device, camera calibration method, and program | |
| KR101394770B1 (en) | Image stabilization method and system using curve lane model | |
| JP7456857B2 (en) | Self-position estimation device | |
| JP7336223B2 (en) | Self-localization method | |
| CN112016568B (en) | Tracking method and device for image feature points of target object | |
| US10643077B2 (en) | Image processing device, imaging device, equipment control system, equipment, image processing method, and recording medium storing program | |
| JP3951734B2 (en) | Vehicle external recognition device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210416 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220329 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220511 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220809 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220902 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7137464 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |