JP6413974B2 - キャリブレーション装置、キャリブレーション方法、及びプログラム - Google Patents
キャリブレーション装置、キャリブレーション方法、及びプログラム Download PDFInfo
- Publication number
- JP6413974B2 JP6413974B2 JP2015155037A JP2015155037A JP6413974B2 JP 6413974 B2 JP6413974 B2 JP 6413974B2 JP 2015155037 A JP2015155037 A JP 2015155037A JP 2015155037 A JP2015155037 A JP 2015155037A JP 6413974 B2 JP6413974 B2 JP 6413974B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- camera
- image
- target
- specifying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P1/00—Details of instruments
- G01P1/07—Indicating devices, e.g. for remote indication
- G01P1/08—Arrangements of scales, pointers, lamps or acoustic indicators, e.g. in automobile speedometers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
- B60R2300/402—Image calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Description
特許文献1に記載されたキャリブレーション装置では、画像に写り込んだ既定校正ターゲットを鳥瞰変換した結果が、実際の既定ターゲットの形状及び大きさに最も近似する、ロール,ピッチ,及び高さを探索して特定する。ここで言う既定校正ターゲットとは、形状及び大きさが既知であり、規定された地点に配置された撮影対象物である。
つまり、カメラの姿勢パラメータを導出する技術において、実施の自由度をより高くすることが求められている。
ここで言う複数のカメラのそれぞれは、車両の周辺に規定された互いに異なる領域であり、かつ、互いの領域の一部が重複する重複領域を有した規定領域を撮影するように、車両に搭載されたカメラである。この複数のカメラには、車両の前方を撮影する第1カメラ(10A)と、車両の右側方を撮影する第2カメラ(10B)と、車両の後方を撮影する第3カメラ(10C)と、車両の左側方を撮影する第4カメラ(10D)とを含む。
画像取得部は、カメラそれぞれで撮影した各画像を取得する。
第1取得部は、車両の前方に位置する撮影ターゲットを、第1カメラ、第2カメラ、及び第4カメラで撮影した画像を取得する。第2取得部は、車両の後方に位置する撮影ターゲットを、第4カメラ、第2カメラ、及び第3カメラで撮影した画像であって、第1取得部で取得した画像とは異なる画像を取得する。
このようなキャリブレーション装置においては、姿勢パラメータのうちのx座標、y座標、及びヨーを特定するために用いる情報は、カメラで撮影した画像だけであり、車両の車速や車両の回転角は不要である。
なお、キャリブレーション装置においては、姿勢パラメータの特定に用いる画像のうち、車両の前方に位置する撮影ターゲットを第1カメラ、第2カメラ、及び第4カメラで撮影した画像は、車両を移動させること無く停止した状態で車両の前方に配置された撮影ターゲットを撮影したものであってもよい。そして、姿勢パラメータの特定に用いる画像のうち、車両の後方に位置する撮影ターゲットを第4カメラ、第2カメラ、及び第3カメラで撮影した画像は、車両の前方に配置された撮影ターゲットと同一の撮影ターゲットを車両の後方へと移動させた上で、車両自体を移動させること無く停止した状態で撮影したものであってもよい。
後者のようなプログラムによれば、記録媒体から必要に応じてコンピュータにロードさせて起動することや、必要に応じて通信回線を介してコンピュータに取得させて起動することにより用いることができる。そして、コンピュータに各手順を実行させることで、そのコンピュータをキャリブレーション装置として機能させることができる。ここで言う記録媒体には、例えば、DVD−ROM、CD−ROM、ハードディスク等のコンピュータ読み取り可能な電子媒体を含む。
<キャリブレーションシステム>
図1に示すキャリブレーションシステム1は、車両5(図2参照)に搭載された複数のカメラ10それぞれの姿勢パラメータを特定するシステムである。ここで言う車両5は、四輪自動車である。
このうち、カメラ10それぞれは、広角レンズを介して、車両の周囲に規定された規定領域を撮影する周知のカメラである。なお、広角レンズとは、画角が広く(例えば60度以上)、焦点距離の短いレンズである。この広角レンズの一例として、魚眼レンズ(例えば画角が180度以上のレンズ)が考えられる。
本実施形態におけるカメラ10には、第1カメラ10Aと、第2カメラ10Bと、第3カメラ10Cと、第4カメラ10Dとを含む。
<キャリブレーション装置>
キャリブレーション装置20は、カメラ10それぞれで撮影した画像に基づく処理を実行する装置である。このキャリブレーション装置20は、パラメータ記憶部22と、制御部24とを備えている。
この姿勢パラメータには、x座標、y座標、高さz、ピッチΘ,ロールΦ,及びヨーΨを含む。
<キャリブレーション処理>
次に、本実施形態におけるキャリブレーション処理の起動条件について説明する。
一方、S120での判定の結果、走行速度が速度閾値以下であれば(S120:YES)、制御部24は、フロント撮影画像における探索範囲である前端探索範囲を設定する(S140)。
さらに、キャリブレーション処理では、制御部24は、画像を撮影させる撮影指令を第1カメラ10Aに出力する(S160)。その撮影指令を取得した第1カメラ10Aは、フロント撮影画像を撮影する。そして、第1カメラ10Aは、キャリブレーション装置20の制御部24に、撮影したフロント撮影画像を出力する。
その撮影指令を取得した第2カメラ10Bは、右撮影画像を撮影する。そして、第2カメラ10Bは、キャリブレーション装置20の制御部24に、撮影した右撮影画像を出力する。また、撮影指令を取得した第4カメラ10Dは、左撮影画像を撮影する。そして、第4カメラ10Dは、キャリブレーション装置20の制御部24に、撮影した左撮影画像を出力する。
後方探索範囲とは、2つの撮影ターゲット50の間を車両5の後端が通過した後に第2カメラ10Bで撮影された右撮影画像、及び第4カメラ10Dで撮影された左撮影画像それぞれに、撮影ターゲット50が写り込んでいるか否かの判定を実行する対象とする領域である。この後方探索範囲は、右撮影画像における車両後方側の端部、及び左撮影画像における車両後方側の端部に設けられる領域である。
続いて、制御部24は、第3カメラ10Cに撮影指令を出力する(S280)。その撮影指令を取得した第3カメラ10Cは、リア撮影画像を撮影する。そして、第3カメラ10Cは、キャリブレーション装置20の制御部24に、撮影したリア撮影画像を出力する。
その撮影指令を取得した第2カメラ10Bは、右撮影画像を撮影する。そして、第2カメラ10Bは、キャリブレーション装置20の制御部24に、撮影した右撮影画像を出力する。また、撮影指令を取得した第4カメラ10Dは、左撮影画像を撮影する。そして、第4カメラ10Dは、キャリブレーション装置20の制御部24に、撮影した左撮影画像を出力する。
よって、COS(δ)は、下記(5)式によって表され、SIN(δ)は、下記(6)式によって表される。ただし、(5)式における符号Lは、1つの撮影ターゲット50における2つの頂点間の長さである。
[実施形態の効果]
以上説明したように、キャリブレーション処理では、姿勢パラメータを特定するために用いる画像として、2つの撮影ターゲット50の間を車両が通過する前に、第1カメラ10A、第2カメラ10B、及び第4カメラ10Dで撮影した画像のそれぞれを取得できる。さらに、キャリブレーション処理においては、姿勢パラメータを特定するために用いる画像として、2つの撮影ターゲット50の間を車両5が通過した後に、第4カメラ10D、第2カメラ10B、及び第3カメラ10Cで撮影した画像のそれぞれを取得できる。
さらに、キャリブレーション処理においては、キャリブレーションを実行するために用いる情報は、カメラ10で撮影した画像だけであり、車両5の回転角などのその他の情報は不要である。
この結果、カメラ10の姿勢パラメータを導出する技術において、実施の自由度をより高くすることができる。
したがって、キャリブレーション処理によれば、キャリブレーションの実行に必要な画像を取得できなかったことを報知できる。これにより、キャリブレーション装置20の利用者は、キャリブレーションの実行に必要な画像を取得できなかった旨を認識できる。
また、キャリブレーション処理では、走行速度が速度閾値以下である場合にだけ、カメラ10それぞれで撮影した各画像に撮影ターゲット50が写り込んでいるか否かを判定している。
このため、キャリブレーション処理によれば、M4の導出に必要となる処理量を軽減できる。
[その他の実施形態]
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
Claims (9)
- 車両に搭載された複数のカメラ(10)それぞれの姿勢パラメータを特定するキャリブレーション装置(20)であって、
前記複数のカメラのそれぞれは、車両の周辺に規定された互いに異なる領域であり、かつ、互いの領域の一部が重複する重複領域を有した規定領域を撮影するように、前記車両に搭載され、
前記カメラには、前記車両の前方を撮影する第1カメラ(10A)と、前記車両の右側方を撮影する第2カメラ(10B)と、前記車両の後方を撮影する第3カメラ(10C)と、前記車両の左側方を撮影する第4カメラ(10D)とを含み、
前記カメラそれぞれで撮影した各画像を取得する画像取得部(20,S140〜S370)と、
形状及び大きさが既知である部材を撮影ターゲット(50)とし、前記画像取得部で取得した各画像の重複領域に写り込んだ撮影ターゲットを射影変換した結果が、前記撮影ターゲットの形状及び大きさに一致するように、前記カメラそれぞれの姿勢パラメータのうち、前記カメラのレンズ中心軸周りの回転角を表すロール,前記カメラの水平軸周りの回転角を表すピッチ,及び前記車両の車高方向に沿った座標である高さを特定する第1特定部(20,S380)と、
前記画像取得部で取得した各画像に写り込んだ前記撮影ターゲットの代表点を仮想的に接続した線分をリンクとして形成される仮想リンク構造であって、互いに異なる画像の重複領域に写り込み、同一の地点に位置する撮影ターゲットにおける代表点を一致させた前記仮想リンク構造における1つのリンク角が最小となるように、前記カメラそれぞれの姿勢パラメータのうち、前記車両の全長方向に沿った座標であるx座標、前記車両の車幅方向に沿った座標であるy座標、及び前記車両の水平面と直交する軸周りの回転角を表すヨーを特定する第2特定部(20,S390)と
を備え、
前記画像取得部は、
前記車両の前方に位置する撮影ターゲットを、前記第1カメラ、前記第2カメラ、及び前記第4カメラで撮影した画像を取得する第1取得部(20,S160,S170)と、
前記車両の後方に位置する撮影ターゲットを、前記第4カメラ、前記第2カメラ、及び前記第3カメラで撮影した画像であって、前記第1取得部で取得した画像とは異なる画像を取得する第2取得部(20,S280,S290)と
を備え、
前記第1特定部及び前記第2特定部は、前記第1取得部で取得した各画像、及び前記第2取得部で取得した各画像を、前記画像取得部で取得した各画像とする、キャリブレーション装置。 - 前記撮影ターゲットは2つ設けられ、2つの前記撮影ターゲットは、前記車両の車幅よりも間隔を空けて配置され、
前記第1取得部は、前記2つの撮影ターゲットの間を前記車両が通過する前に、前記第1カメラ、前記第2カメラ、及び前記第4カメラで撮影した画像を取得し、
前記第2取得部は、前記2つの撮影ターゲットの間を前記車両が通過した後に、前記第4カメラ、前記第2カメラ、及び前記第3カメラで撮影した画像を取得する、
請求項1に記載のキャリブレーション装置。 - 前記画像取得部は、
前記カメラそれぞれで撮影した各画像に前記撮影ターゲットが写り込んでいるか否かを判定する第1判定部(20,S180〜S230,S300〜S350)と、
前記第1判定部での判定の結果、前記撮影ターゲットが写り込んでいなければ、前記撮影ターゲットが写り込んでいない旨を報知する第1報知部(20,S250,S370)と
を備える、請求項1または請求項2に記載のキャリブレーション装置。 - 前記カメラそれぞれで撮影された画像において、前記撮影ターゲットが写り込んでいるか否かを判定する領域である探索範囲を設定する範囲設定部(20,S140,S150,S260,S270)を備え、
前記第1判定部は、前記範囲設定部で設定された探索範囲に前記撮影ターゲットが写り込んでいるか否かを判定する、請求項3に記載のキャリブレーション装置。 - 前記車両の走行速度を取得する速度取得部(20,S110)と、
前記速度取得部で取得した走行速度が、予め規定された速度閾値以下であるか否かを判定する第2判定部(20,S120)と
を備え、
前記第1判定部は、
第2判定部での判定の結果、前記走行速度が前記速度閾値以下であれば、前記カメラそれぞれで撮影した各画像に前記撮影ターゲットが写り込んでいるか否かを判定する、請求項3または請求項4に記載のキャリブレーション装置。 - 前記第2判定部での判定の結果、前記走行速度が前記速度閾値よりも大きければ、前記走行速度が前記速度閾値よりも大きい旨を報知する第2報知部(20,S130)を備える、請求項5に記載のキャリブレーション装置。
- 前記撮影ターゲットは2つ設けられ、
前記第1取得部で取得する画像の撮影対象である前記2つの撮影ターゲットと、前記第2取得部で取得する画像の撮影対象である前記2つの撮影ターゲットとは、互いに同一な位置関係に配置されており、
前記第2特定部は、
前記画像取得部で取得した各画像の重複領域に写り込んだ前記撮影ターゲットそれぞれの代表点の位置を順次特定し、
その特定した代表点の位置を同一の撮影ターゲットについて一致させた前記仮想リンク構造を形成し、
時間軸に沿って最後の撮影ターゲットの代表点の位置を特定する場合、その最後の撮影ターゲットに対応する撮影ターゲットの代表点の位置に基づいて特定する、請求項1から請求項6までのいずれか一項に記載のキャリブレーション装置。 - 車両に搭載された複数のカメラ(10)それぞれの姿勢パラメータを特定するキャリブレーション装置(20)が実行するキャリブレーション方法であって、
前記複数のカメラのそれぞれは、車両の周辺に規定された互いに異なる領域であり、かつ、互いの領域の一部が重複する重複領域を有した規定領域を撮影するように、前記車両に搭載され、
前記カメラには、前記車両の前方を撮影する第1カメラ(10A)と、前記車両の右側方を撮影する第2カメラ(10B)と、前記車両の後方を撮影する第3カメラ(10C)と、前記車両の左側方を撮影する第4カメラ(10D)とを含み、
前記カメラそれぞれで撮影した各画像を取得する画像取得手順(S140〜S350)と、
形状及び大きさが既知である部材を撮影ターゲット(50)とし、前記画像取得手順で取得した各画像の重複領域に写り込んだ撮影ターゲットを射影変換した結果が、前記撮影ターゲットの形状及び大きさに一致するように、前記カメラそれぞれの姿勢パラメータのうち、前記カメラのレンズ中心軸周りの回転角を表すロール,前記カメラの水平軸周りの回転角を表すピッチ,及び前記車両の車高方向に沿った座標である高さを特定する第1特定手順(S380)と、
前記画像取得手順で取得した各画像に写り込んだ前記撮影ターゲットの代表点を仮想的に接続した線分をリンクとして形成される仮想リンク構造であって、互いに異なる画像の重複領域に写り込み、同一の地点に位置する撮影ターゲットにおける代表点を一致させた前記仮想リンク構造における1つのリンク角が最小となるように、前記カメラそれぞれの姿勢パラメータのうち、前記車両の全長方向に沿った座標であるx座標、前記車両の車幅方向に沿った座標であるy座標、及び前記車両の水平面と直交する軸周りの回転角を表すヨーを特定する第2特定手順(S390)と
を備え、
前記画像取得手順は、
前記車両の前方に位置する撮影ターゲットを、前記第1カメラ、前記第2カメラ、及び前記第4カメラで撮影した画像を取得する第1取得手順(S160,S170)と、
前記車両の後方に位置する撮影ターゲットを、前記第4カメラ、前記第2カメラ、及び前記第3カメラで撮影した画像であって、前記第1取得手順で取得した画像とは異なる画像を取得する第2取得手順(S280,S290)と
を備え、
前記第1特定手順及び前記第2特定手順は、前記第1取得手順で取得した各画像、及び前記第2取得手順で取得した各画像を、前記画像取得手順で取得した各画像とする、キャリブレーション方法。 - 車両に搭載された複数のカメラ(10)それぞれの姿勢パラメータを特定するキャリブレーション装置(20)のコンピュータに実行させるプログラムであって、
前記複数のカメラのそれぞれは、車両の周辺に規定された互いに異なる領域であり、かつ、互いの領域の一部が重複する重複領域を有した規定領域を撮影するように、前記車両に搭載され、
前記カメラには、前記車両の前方を撮影する第1カメラ(10A)と、前記車両の右側方を撮影する第2カメラ(10B)と、前記車両の後方を撮影する第3カメラ(10C)と、前記車両の左側方を撮影する第4カメラ(10D)とを含み、
前記カメラそれぞれで撮影した各画像を取得する画像取得手順(S140〜S350)と、
形状及び大きさが既知である部材を撮影ターゲット(50)とし、前記画像取得手順で取得した各画像の重複領域に写り込んだ撮影ターゲットを射影変換した結果が、前記撮影ターゲットの形状及び大きさに一致するように、前記カメラそれぞれの姿勢パラメータのうち、前記カメラのレンズ中心軸周りの回転角を表すロール,前記カメラの水平軸周りの回転角を表すピッチ,及び前記車両の車高方向に沿った座標である高さを特定する第1特定手順(S380)と、
前記画像取得手順で取得した各画像に写り込んだ前記撮影ターゲットの代表点を仮想的に接続した線分をリンクとして形成される仮想リンク構造であって、互いに異なる画像の重複領域に写り込み、同一の地点に位置する撮影ターゲットにおける代表点を一致させた前記仮想リンク構造における1つのリンク角が最小となるように、前記カメラそれぞれの姿勢パラメータのうち、前記車両の全長方向に沿った座標であるx座標、前記車両の車幅方向に沿った座標であるy座標、及び前記車両の水平面と直交する軸周りの回転角を表すヨーを特定する第2特定手順(S390)とを
前記コンピュータに実行させ、
前記画像取得手順では、
前記車両の前方に位置する撮影ターゲットを、前記第1カメラ、前記第2カメラ、及び前記第4カメラで撮影した画像を取得する第1取得手順(S160,S170)と、
前記車両の後方に位置する撮影ターゲットを、前記第4カメラ、前記第2カメラ、及び前記第3カメラで撮影した画像であって、前記第1取得手順で取得した画像とは異なる画像を取得する第2取得手順(S280,S290)とを
前記コンピュータに実行させ、
前記第1特定手順及び前記第2特定手順では、前記第1取得手順で取得した各画像、及び前記第2取得手順で取得した各画像を、前記画像取得手順で取得した各画像とする、プログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015155037A JP6413974B2 (ja) | 2015-08-05 | 2015-08-05 | キャリブレーション装置、キャリブレーション方法、及びプログラム |
PCT/JP2016/070939 WO2017022452A1 (ja) | 2015-08-05 | 2016-07-15 | キャリブレーション装置、キャリブレーション方法、及び、キャリブレーションプログラム |
CN201680045014.2A CN107852482B (zh) | 2015-08-05 | 2016-07-15 | 校准装置、校准方法以及计算机能够读取的记录介质 |
US15/749,908 US10546380B2 (en) | 2015-08-05 | 2016-07-15 | Calibration device, calibration method, and non-transitory computer-readable storage medium for the same |
DE112016003549.7T DE112016003549T5 (de) | 2015-08-05 | 2016-07-15 | Kalibrierungsvorrichtung, kalibrierungsverfahren und kalibrierungsprogramm |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015155037A JP6413974B2 (ja) | 2015-08-05 | 2015-08-05 | キャリブレーション装置、キャリブレーション方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017032483A JP2017032483A (ja) | 2017-02-09 |
JP6413974B2 true JP6413974B2 (ja) | 2018-10-31 |
Family
ID=57942931
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015155037A Active JP6413974B2 (ja) | 2015-08-05 | 2015-08-05 | キャリブレーション装置、キャリブレーション方法、及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10546380B2 (ja) |
JP (1) | JP6413974B2 (ja) |
CN (1) | CN107852482B (ja) |
DE (1) | DE112016003549T5 (ja) |
WO (1) | WO2017022452A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6536529B2 (ja) * | 2016-10-17 | 2019-07-03 | 株式会社デンソー | 車載カメラのキャリブレーション装置及び車載カメラのキャリブレーション方法 |
US10911745B2 (en) * | 2016-12-28 | 2021-02-02 | Texas Instruments Incorporated | Calibration of a surround view camera system |
DE102018206190A1 (de) * | 2018-04-23 | 2019-10-24 | Robert Bosch Gmbh | Verfahren zur Detektion einer Anordnung von zumindest zwei Kameras eines Multi-Kamerasystems einer mobilen Trägerplattform zueinander und Verfahren zur Detektion einer Anordnung der Kamera zu einem Objekt außerhalb der mobilen Trägerplattform |
DE102018208512A1 (de) * | 2018-05-29 | 2019-12-05 | Siemens Aktiengesellschaft | Kalibrierungsverfahren und Kalibrierungssystem für eine Bahnfahrzeugkamera und Bahnfahrzeug mit Bahnfahrzeugkamera |
JP7098493B2 (ja) * | 2018-09-25 | 2022-07-11 | 本田技研工業株式会社 | センサ軸調整方法 |
KR102613098B1 (ko) * | 2019-01-23 | 2023-12-12 | 한화비전 주식회사 | 이미지 센서 모듈 |
JP7251310B2 (ja) * | 2019-05-22 | 2023-04-04 | 株式会社Jvcケンウッド | カメラ位置検出装置、カメラユニット、カメラ位置検出方法、及びプログラム |
JP7243478B2 (ja) * | 2019-06-24 | 2023-03-22 | トヨタ自動車株式会社 | 車両用情報記録装置 |
CN110296691B (zh) * | 2019-06-28 | 2020-09-22 | 上海大学 | 融合imu标定的双目立体视觉测量方法与*** |
KR102297683B1 (ko) * | 2019-07-01 | 2021-09-07 | (주)베이다스 | 복수의 카메라들을 캘리브레이션하는 방법 및 장치 |
CN110443854A (zh) * | 2019-08-05 | 2019-11-12 | 兰州交通大学 | 基于固定靶标的无公共视场相机间相对位姿标定方法 |
KR102277828B1 (ko) * | 2019-08-13 | 2021-07-16 | (주)베이다스 | 복수의 카메라들을 캘리브레이션하는 방법 및 장치 |
CN112446904B (zh) * | 2019-08-30 | 2024-04-09 | 西安诺瓦星云科技股份有限公司 | 图像对齐方法、装置和*** |
CN113379834A (zh) * | 2021-06-29 | 2021-09-10 | 深圳中科飞测科技股份有限公司 | 检测设备的校准方法、装置、设备及计算机可读存储介质 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1850595B1 (en) * | 2005-02-15 | 2016-07-13 | Panasonic Intellectual Property Management Co., Ltd. | Periphery supervising device, and periphery supervising method |
US7576639B2 (en) * | 2006-03-14 | 2009-08-18 | Mobileye Technologies, Ltd. | Systems and methods for detecting pedestrians in the vicinity of a powered industrial vehicle |
US8004394B2 (en) * | 2006-11-07 | 2011-08-23 | Rosco Inc. | Camera system for large vehicles |
JP2009294109A (ja) * | 2008-06-05 | 2009-12-17 | Fujitsu Ltd | キャリブレーション装置 |
JP5299231B2 (ja) | 2009-11-17 | 2013-09-25 | 富士通株式会社 | キャリブレーション装置 |
DE102009055776A1 (de) * | 2009-11-25 | 2011-05-26 | Conti Temic Microelectronic Gmbh | Verfahren zur Schätzung des Rollwinkels in einem fahrenden Fahrzeug |
JP5491235B2 (ja) * | 2010-03-02 | 2014-05-14 | 東芝アルパイン・オートモティブテクノロジー株式会社 | カメラキャリブレーション装置 |
JP2011217233A (ja) * | 2010-04-01 | 2011-10-27 | Alpine Electronics Inc | 車載カメラ校正システム及びコンピュータプログラム |
TW201226237A (en) * | 2010-12-16 | 2012-07-01 | Weltrend Semiconductor Inc | Calibration circuit for automatically calibrating a view image around a car and method thereof |
CN103797788B (zh) * | 2011-09-13 | 2016-12-21 | 丰田自动车株式会社 | 车载摄像头的光轴掌握装置 |
JP5971939B2 (ja) * | 2011-12-21 | 2016-08-17 | アルパイン株式会社 | 画像表示装置、画像表示装置における撮像カメラのキャリブレーション方法およびキャリブレーションプログラム |
JP5915268B2 (ja) * | 2012-03-05 | 2016-05-11 | 富士通株式会社 | パラメータ算出方法、情報処理装置及びプログラム |
JP5820787B2 (ja) * | 2012-08-30 | 2015-11-24 | 株式会社デンソー | 画像処理装置、及びプログラム |
JP6009894B2 (ja) * | 2012-10-02 | 2016-10-19 | 株式会社デンソー | キャリブレーション方法、及びキャリブレーション装置 |
US9723272B2 (en) * | 2012-10-05 | 2017-08-01 | Magna Electronics Inc. | Multi-camera image stitching calibration system |
US10179543B2 (en) * | 2013-02-27 | 2019-01-15 | Magna Electronics Inc. | Multi-camera dynamic top view vision system |
CN103200392A (zh) * | 2013-03-29 | 2013-07-10 | 天津大学 | 一种基于视角变换的车载视频稳像方法 |
JP6349637B2 (ja) * | 2013-07-11 | 2018-07-04 | 株式会社デンソー | 車両用画像合成装置 |
JP6277652B2 (ja) | 2013-09-30 | 2018-02-14 | 株式会社デンソー | 車両周辺画像表示装置及びカメラの調整方法 |
JP6232994B2 (ja) * | 2013-12-16 | 2017-11-22 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
WO2015159407A1 (ja) * | 2014-04-17 | 2015-10-22 | 三菱電機株式会社 | 車載表示装置 |
US20160191795A1 (en) * | 2014-12-30 | 2016-06-30 | Alpine Electronics, Inc. | Method and system for presenting panoramic surround view in vehicle |
-
2015
- 2015-08-05 JP JP2015155037A patent/JP6413974B2/ja active Active
-
2016
- 2016-07-15 CN CN201680045014.2A patent/CN107852482B/zh active Active
- 2016-07-15 WO PCT/JP2016/070939 patent/WO2017022452A1/ja active Application Filing
- 2016-07-15 US US15/749,908 patent/US10546380B2/en active Active
- 2016-07-15 DE DE112016003549.7T patent/DE112016003549T5/de active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2017022452A1 (ja) | 2017-02-09 |
DE112016003549T5 (de) | 2018-04-19 |
CN107852482B (zh) | 2020-03-31 |
US20180232893A1 (en) | 2018-08-16 |
US10546380B2 (en) | 2020-01-28 |
CN107852482A (zh) | 2018-03-27 |
JP2017032483A (ja) | 2017-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6413974B2 (ja) | キャリブレーション装置、キャリブレーション方法、及びプログラム | |
JP5958366B2 (ja) | 車載画像処理装置 | |
JP7077910B2 (ja) | 区画線検出装置及び区画線検出方法 | |
JP5804185B2 (ja) | 移動物***置姿勢推定装置及び移動物***置姿勢推定方法 | |
EP3096286A1 (en) | Image processing apparatus, image processing method, and computer program product | |
JP6139465B2 (ja) | 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム | |
JP5754470B2 (ja) | 路面形状推定装置 | |
EP3150443A1 (en) | Display device for vehicle and display method for vehicle | |
JP6283105B2 (ja) | ステレオカメラ装置、ステレオカメラ装置を設置した車両及びプログラム | |
JP7424390B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
JP5858773B2 (ja) | 3次元計測方法、3次元計測プログラム及びロボット装置 | |
JP4853444B2 (ja) | 移動物体検出装置 | |
JP2016053748A (ja) | 運転支援装置および運転支援方法 | |
JP6536529B2 (ja) | 車載カメラのキャリブレーション装置及び車載カメラのキャリブレーション方法 | |
JP7095559B2 (ja) | 区画線検出装置及び区画線検出方法 | |
JP6407596B2 (ja) | 画像処理装置、及び、運転支援システム | |
JP6032141B2 (ja) | 走行路面標示検知装置および走行路面標示検知方法 | |
CN110570680A (zh) | 利用地图信息确定对象位置的方法和*** | |
JP4026641B2 (ja) | 物体検出装置、および物体検出方法 | |
JP2017112566A (ja) | パラメータ特定装置 | |
JP7380443B2 (ja) | 部分画像生成装置及び部分画像生成用コンピュータプログラム | |
WO2008032376A1 (fr) | Dispositif et procédé de mesure de distance, et programme informatique | |
JP7298426B2 (ja) | 物体検出装置 | |
JP6564682B2 (ja) | 対象物検出装置、対象物検出方法、及び、対象物検出プログラム | |
JP6048384B2 (ja) | 画像判定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170613 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180605 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180713 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180904 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180917 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6413974 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |