JP2003329411A - カメラ校正装置 - Google Patents
カメラ校正装置Info
- Publication number
- JP2003329411A JP2003329411A JP2002138552A JP2002138552A JP2003329411A JP 2003329411 A JP2003329411 A JP 2003329411A JP 2002138552 A JP2002138552 A JP 2002138552A JP 2002138552 A JP2002138552 A JP 2002138552A JP 2003329411 A JP2003329411 A JP 2003329411A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- angle
- calculated
- image
- vanishing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Navigation (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
(57)【要約】
【課題】 校正用基準パターンを使用しないで、車両に
搭載するカメラの自動校正を行う。 【解決手段】 車両などに設置されるカメラ１０２と、
角度センサが測定する角度と道路の消失点を対にして算
出する消失点算出部１０３と、消失点算出部１０３が算
出する消失点から消失線を算出する消失線算出部１０４
と、前記算出した消失点と消失線とからカメラ１０２の
道路に対する設置角度を算出する角度算出部１０５と、
角度算出部１０５が算出する設置角度からカメラ１０２
の画像を上方視点からの画像に変換し、その画像のオプ
ティカルフローから画像の２点間の距離を算出するオプ
ティカルフロー距離算出部１０６と、前記算出したカメ
ラの設置角度とオプティカルフロー距離算出部１０６が
算出する２点間距離とからカメラ設置位置を算出する位
置算出部１０７とを備え、求めたカメラの設置位置及び
角度をカメラ校正パラメータとして出力する。
搭載するカメラの自動校正を行う。 【解決手段】 車両などに設置されるカメラ１０２と、
角度センサが測定する角度と道路の消失点を対にして算
出する消失点算出部１０３と、消失点算出部１０３が算
出する消失点から消失線を算出する消失線算出部１０４
と、前記算出した消失点と消失線とからカメラ１０２の
道路に対する設置角度を算出する角度算出部１０５と、
角度算出部１０５が算出する設置角度からカメラ１０２
の画像を上方視点からの画像に変換し、その画像のオプ
ティカルフローから画像の２点間の距離を算出するオプ
ティカルフロー距離算出部１０６と、前記算出したカメ
ラの設置角度とオプティカルフロー距離算出部１０６が
算出する２点間距離とからカメラ設置位置を算出する位
置算出部１０７とを備え、求めたカメラの設置位置及び
角度をカメラ校正パラメータとして出力する。
Description
【０００１】
【発明の属する技術分野】本発明は、車両などの移動体
に搭載するカメラ校正装置に関する。
に搭載するカメラ校正装置に関する。
【０００２】
【従来の技術】近年、車両にカメラとカーナビゲーショ
ン装置が搭載されるようになっている。カーナビゲーシ
ョン装置と車載カメラを組み合わせて、本線から分岐路
に経路案内する利用例を示す。図５は車両前方を撮像す
るカメラの撮影画像および経路案内を示した説明図であ
る。図５において、本線１００１を車両が走行する。分
岐路１００２が案内すべき経路である。カーナビゲーシ
ョン装置はドライバーに分岐すべき道路をわかりやす
く、経路案内するために、車両が進路変更する距離の目
安を示す２本の距離案内線１００３と、距離案内線１０
０３までの距離を示す距離表示１００４と、車両が進行
すべき方向を示す案内矢印１００５を実画像に重畳して
描画する。
ン装置が搭載されるようになっている。カーナビゲーシ
ョン装置と車載カメラを組み合わせて、本線から分岐路
に経路案内する利用例を示す。図５は車両前方を撮像す
るカメラの撮影画像および経路案内を示した説明図であ
る。図５において、本線１００１を車両が走行する。分
岐路１００２が案内すべき経路である。カーナビゲーシ
ョン装置はドライバーに分岐すべき道路をわかりやす
く、経路案内するために、車両が進路変更する距離の目
安を示す２本の距離案内線１００３と、距離案内線１０
０３までの距離を示す距離表示１００４と、車両が進行
すべき方向を示す案内矢印１００５を実画像に重畳して
描画する。
【０００３】図５に説明する経路案内を実現するために
は、カメラの路面に対する位置と角度を求め、カメラの
画像と実際の道路との対応関係を求めるためのカメラ校
正装置が必要となる。カメラ校正は、所定の形態の基準
位置パターンを有する校正用ボードを所定の位置に配置
し、これをカメラで撮像することにより行われる。ここ
で、基準位置パターンとは、カメラ校正用の基準位置を
示すパターンであり、通常、視覚的に特徴点を抽出しや
すいパターンが使用される。
は、カメラの路面に対する位置と角度を求め、カメラの
画像と実際の道路との対応関係を求めるためのカメラ校
正装置が必要となる。カメラ校正は、所定の形態の基準
位置パターンを有する校正用ボードを所定の位置に配置
し、これをカメラで撮像することにより行われる。ここ
で、基準位置パターンとは、カメラ校正用の基準位置を
示すパターンであり、通常、視覚的に特徴点を抽出しや
すいパターンが使用される。
【０００４】図６は、従来例のカメラ校正装置の機能構
成を示すブロック図であり、この図６に従ってカメラ校
正装置の動作を説明する。
成を示すブロック図であり、この図６に従ってカメラ校
正装置の動作を説明する。
【０００５】まず、校正用ボード１１０１をカメラ１１
０２によって撮像する。図７は、校正用ボード１１０１
の一例を示す説明図である。この校正用ボード１１０１
は、対面する辺が平行な六角形であり、カメラ１１０２
の撮像範囲内に路面に置かれる。六角形の頂点１２０１
は、左周りにＰ０からＰ５とする。実際のｘｙｚ空間に
おける三次元座標（以下「世界座標」という）の原点を
Ｐ３にとり、ｙ軸をＰ３とＰ０を結ぶ直線とし、ｘ軸を
図７に示すようにｙ軸と直角にとる。ｚ軸は路面に対し
て垂直に上を正方向にとる。カメラ１１０２の画像はｘ
ｙ平面上の二次元座標（以下「スクリーン座標」とい
う）で表現される。カメラ校正とはスクリーン座標と世
界座標を対応づけることであり、求めるカメラ校正用の
パラメータを「カメラ校正パラメータ」という。
０２によって撮像する。図７は、校正用ボード１１０１
の一例を示す説明図である。この校正用ボード１１０１
は、対面する辺が平行な六角形であり、カメラ１１０２
の撮像範囲内に路面に置かれる。六角形の頂点１２０１
は、左周りにＰ０からＰ５とする。実際のｘｙｚ空間に
おける三次元座標（以下「世界座標」という）の原点を
Ｐ３にとり、ｙ軸をＰ３とＰ０を結ぶ直線とし、ｘ軸を
図７に示すようにｙ軸と直角にとる。ｚ軸は路面に対し
て垂直に上を正方向にとる。カメラ１１０２の画像はｘ
ｙ平面上の二次元座標（以下「スクリーン座標」とい
う）で表現される。カメラ校正とはスクリーン座標と世
界座標を対応づけることであり、求めるカメラ校正用の
パラメータを「カメラ校正パラメータ」という。
【０００６】次に、校正用ボード消失点算出部１１０３
はカメラ１１０２の画像から消失点を算出する。図８は
カメラ１１０２により撮像した校正用ボード１１０１の
画像を示す説明図である。校正用ボード１１０１には六
角形の頂点１２０１がある。校正用ボード消失線算出部
１１０３は対向する六角形の辺を延長してできる消失点
ＶＤ（１３０４）、Ｖ１（１３０５）、Ｖ２（１３０
６）を求める。特に、世界座標のＹ軸に平行な直線を延
長してできる消失点であるＶＤ（１３０４）を深消失点
（Depth Vanishing Point ）と呼ぶ。
はカメラ１１０２の画像から消失点を算出する。図８は
カメラ１１０２により撮像した校正用ボード１１０１の
画像を示す説明図である。校正用ボード１１０１には六
角形の頂点１２０１がある。校正用ボード消失線算出部
１１０３は対向する六角形の辺を延長してできる消失点
ＶＤ（１３０４）、Ｖ１（１３０５）、Ｖ２（１３０
６）を求める。特に、世界座標のＹ軸に平行な直線を延
長してできる消失点であるＶＤ（１３０４）を深消失点
（Depth Vanishing Point ）と呼ぶ。
【０００７】校正用ボード消失線算出部１１０４は、３
つの消失点ＶＤ（１３０４）、Ｖ１（１３０５）、Ｖ２
（１３０６）を結んで消失線１３０７を算出する。ま
た、Ｌ０（１３０１）はＰ１とＰ２を通り、ＶＤ（１３
０４）に至る直線、Ｌ１（１３０２）はＰ２とＰ３を通
り、Ｖ１（１３０５）に至る直線、Ｌ２（１３０３）は
Ｐ３とＰ４を通り、Ｖ２（１３０６）に至る直線であ
る。
つの消失点ＶＤ（１３０４）、Ｖ１（１３０５）、Ｖ２
（１３０６）を結んで消失線１３０７を算出する。ま
た、Ｌ０（１３０１）はＰ１とＰ２を通り、ＶＤ（１３
０４）に至る直線、Ｌ１（１３０２）はＰ２とＰ３を通
り、Ｖ１（１３０５）に至る直線、Ｌ２（１３０３）は
Ｐ３とＰ４を通り、Ｖ２（１３０６）に至る直線であ
る。
【０００８】校正用ボード角度算出部１１０５は校正用
ボード消失点算出部１１０３が算出する消失点と校正用
ボード消失線算出部１１０４が算出する消失線１３０７
からカメラ１１０２の設置角度を算出する。
ボード消失点算出部１１０３が算出する消失点と校正用
ボード消失線算出部１１０４が算出する消失線１３０７
からカメラ１１０２の設置角度を算出する。
【０００９】校正用ボード角度算出部１１０５は設置角
度であるスウィングψ、ティルトφ、パンθを以下の手
順で求める。図９はカメラ１１０２の画像においてカメ
ラ角度スウィングψを求める説明図である。カメラ角度
スウィングψは消失線１３０７が画像のＵ軸となす角度
として求めることができる。
度であるスウィングψ、ティルトφ、パンθを以下の手
順で求める。図９はカメラ１１０２の画像においてカメ
ラ角度スウィングψを求める説明図である。カメラ角度
スウィングψは消失線１３０７が画像のＵ軸となす角度
として求めることができる。
【００１０】カメラのティルトφはカメラの焦点距離を
ｆとすると、以下の数１から求めることができる。
ｆとすると、以下の数１から求めることができる。
【００１１】
【数１】
【００１２】カメラのパンθは図８のＬ１（１３０２）
とＬ２（１３０３）の世界座標におけるｘｙ平面の直線
の傾きをそれぞれｍ１、ｍ２とすると、以下の数２によ
り求めることができる。
とＬ２（１３０３）の世界座標におけるｘｙ平面の直線
の傾きをそれぞれｍ１、ｍ２とすると、以下の数２によ
り求めることができる。
【００１３】
【数２】
【００１４】校正用ボード位置算出部１１０６はレンズ
中心の世界座標（ｘｃ、ｙｃ、ｚｃ）を以下の手続きで
算出する。図７における六角形の頂点１２０１のＰ１と
Ｐ２の世界座標をそれぞれ（ｘ１、ｙ１、ｚ１）、（ｘ
２、ｙ２、ｚ２）とする。Ｐ１、Ｐ２に対応するスクリ
ーン座標を（ｕ１、ｗ１）、（ｕ２、ｗ２）とする。レ
ンズ中心の高さｈは以下の数３を解くことで求まる。
中心の世界座標（ｘｃ、ｙｃ、ｚｃ）を以下の手続きで
算出する。図７における六角形の頂点１２０１のＰ１と
Ｐ２の世界座標をそれぞれ（ｘ１、ｙ１、ｚ１）、（ｘ
２、ｙ２、ｚ２）とする。Ｐ１、Ｐ２に対応するスクリ
ーン座標を（ｕ１、ｗ１）、（ｕ２、ｗ２）とする。レ
ンズ中心の高さｈは以下の数３を解くことで求まる。
【００１５】
【数３】
【００１６】レンズ中心の世界座標はこのｈから、以下
の数４で求めることができる。
の数４で求めることができる。
【００１７】
【数４】
【００１８】そして、校正用ボード角度算出部１１０５
が算出するカメラ角度と校正用ボード位置算出部１１０
６が算出するカメラ位置とから、カメラの画像と実際の
道路との対応関係を示すカメラ校正パラメータを出力
し、カメラ校正を終了する。
が算出するカメラ角度と校正用ボード位置算出部１１０
６が算出するカメラ位置とから、カメラの画像と実際の
道路との対応関係を示すカメラ校正パラメータを出力
し、カメラ校正を終了する。
【００１９】このカメラ校正にかかる処理の詳細は、文
献（"Camera Calibration by Vanishing Lines for 3D
Computer Vision", Ling-Ling Wang, IEEE TRANSACTION
S onPattern Analysis and Machine Intelligence Vol.
13. No.4 April 1991, pp370-376）に記載されてい
る。
献（"Camera Calibration by Vanishing Lines for 3D
Computer Vision", Ling-Ling Wang, IEEE TRANSACTION
S onPattern Analysis and Machine Intelligence Vol.
13. No.4 April 1991, pp370-376）に記載されてい
る。
【００２０】
【発明が解決しようとする課題】しかしながら、上記従
来例のカメラ校正装置では、校正用ボード１１０１を路
面などに置いてカメラ校正する必要があり、カメラ校正
作業を自動化することができないという問題があった。
来例のカメラ校正装置では、校正用ボード１１０１を路
面などに置いてカメラ校正する必要があり、カメラ校正
作業を自動化することができないという問題があった。
【００２１】本発明はかかる点に鑑みてなされたもので
あり、カメラ校正作業を自動化することができるカメラ
校正装置を提供することを目的とする。
あり、カメラ校正作業を自動化することができるカメラ
校正装置を提供することを目的とする。
【００２２】
【課題を解決するための手段】本発明のカメラ校正装置
は、移動体に配設したカメラの撮像画像における道路の
消失点と前記移動体の進行角度を検出する角度センサの
検出角度とを対にして算出する消失点算出手段と、前記
消失点算出手段が算出する消失点から消失線を算出する
消失線算出手段と、前記消失点算出手段が算出する消失
点と前記消失線算出手段が算出する消失線とから前記カ
メラの道路に対する設置角度を算出する角度算出手段
と、前記角度算出手段が算出する設置角度から前記カメ
ラの撮像画像を上方視点からの画像に変換し、この画像
のオプティカルフローから画像上の２点間の距離を算出
するオプティカルフロー距離算出手段と、前記角度算出
手段が算出するカメラの設置角度と前記オプティカルフ
ロー距離算出手段が算出する画像上の２点間距離とから
カメラ設置位置を算出する位置算出手段とを有すること
を特徴とする。
は、移動体に配設したカメラの撮像画像における道路の
消失点と前記移動体の進行角度を検出する角度センサの
検出角度とを対にして算出する消失点算出手段と、前記
消失点算出手段が算出する消失点から消失線を算出する
消失線算出手段と、前記消失点算出手段が算出する消失
点と前記消失線算出手段が算出する消失線とから前記カ
メラの道路に対する設置角度を算出する角度算出手段
と、前記角度算出手段が算出する設置角度から前記カメ
ラの撮像画像を上方視点からの画像に変換し、この画像
のオプティカルフローから画像上の２点間の距離を算出
するオプティカルフロー距離算出手段と、前記角度算出
手段が算出するカメラの設置角度と前記オプティカルフ
ロー距離算出手段が算出する画像上の２点間距離とから
カメラ設置位置を算出する位置算出手段とを有すること
を特徴とする。
【００２３】この構成により、オプティカルフローによ
り撮像画像上の距離を算出することによって、校正用ボ
ードを使用しないでカメラ校正を行うことができ、カメ
ラ校正作業を自動化することが可能となる。
り撮像画像上の距離を算出することによって、校正用ボ
ードを使用しないでカメラ校正を行うことができ、カメ
ラ校正作業を自動化することが可能となる。
【００２４】また、本発明のカメラ校正装置は、移動体
に配設したカメラの撮像画像のオプティカルフローから
画像上の道路の消失点を算出するオプティカルフロー消
失点算出手段と、前記オプティカルフロー消失点算出手
段が算出する消失点から消失線を算出する消失線算出手
段と、前記オプティカルフロー消失点算出手段が算出す
る消失点と前記消失線算出手段が算出する消失線とから
前記カメラの道路に対する設置角度を算出する角度算出
手段と、前記角度算出手段が算出する設置角度から前記
カメラの撮像画像を上方視点からの画像に変換し、この
画像のオプティカルフローから画像上の２点間の距離を
算出するオプティカルフロー距離算出手段と、前記角度
算出手段が算出するカメラの設置角度と前記オプティカ
ルフロー距離算出手段が算出する画像上の２点間距離と
からカメラ設置位置を算出する位置算出手段とを有する
ことを特徴とする。
に配設したカメラの撮像画像のオプティカルフローから
画像上の道路の消失点を算出するオプティカルフロー消
失点算出手段と、前記オプティカルフロー消失点算出手
段が算出する消失点から消失線を算出する消失線算出手
段と、前記オプティカルフロー消失点算出手段が算出す
る消失点と前記消失線算出手段が算出する消失線とから
前記カメラの道路に対する設置角度を算出する角度算出
手段と、前記角度算出手段が算出する設置角度から前記
カメラの撮像画像を上方視点からの画像に変換し、この
画像のオプティカルフローから画像上の２点間の距離を
算出するオプティカルフロー距離算出手段と、前記角度
算出手段が算出するカメラの設置角度と前記オプティカ
ルフロー距離算出手段が算出する画像上の２点間距離と
からカメラ設置位置を算出する位置算出手段とを有する
ことを特徴とする。
【００２５】この構成により、例えば白線のない道路で
も道路上の特徴物体のオプティカルフローから消失点を
算出し、撮像画像上の距離を算出することができるた
め、校正用ボードを使用しないでカメラ校正作業を自動
化することが可能となる。
も道路上の特徴物体のオプティカルフローから消失点を
算出し、撮像画像上の距離を算出することができるた
め、校正用ボードを使用しないでカメラ校正作業を自動
化することが可能となる。
【００２６】また、本発明のカメラ校正装置は、地図情
報を利用して測定すべき道路を特定し、移動体に配設し
たカメラの撮像画像における道路の消失点と前記移動体
の進行角度を検出する角度センサの検出角度とを対にし
て算出する地図利用型消失点算出手段と、前記地図利用
型消失点算出手段が算出する消失点から消失線を算出す
る消失線算出手段と、前記地図利用型消失点算出手段が
算出する消失点と前記消失線算出手段が算出する消失線
とから前記カメラの道路に対する設置角度を算出する角
度算出手段と、前記角度算出手段が算出する設置角度か
ら前記カメラの撮像画像を上方視点からの画像に変換
し、この画像のオプティカルフローから画像上の２点間
の距離を算出するオプティカルフロー距離算出手段と、
前記角度算出手段が算出するカメラの設置角度と前記オ
プティカルフロー距離算出手段が算出する画像上の２点
間距離とからカメラ設置位置を算出する位置算出手段と
を有することを特徴とする。
報を利用して測定すべき道路を特定し、移動体に配設し
たカメラの撮像画像における道路の消失点と前記移動体
の進行角度を検出する角度センサの検出角度とを対にし
て算出する地図利用型消失点算出手段と、前記地図利用
型消失点算出手段が算出する消失点から消失線を算出す
る消失線算出手段と、前記地図利用型消失点算出手段が
算出する消失点と前記消失線算出手段が算出する消失線
とから前記カメラの道路に対する設置角度を算出する角
度算出手段と、前記角度算出手段が算出する設置角度か
ら前記カメラの撮像画像を上方視点からの画像に変換
し、この画像のオプティカルフローから画像上の２点間
の距離を算出するオプティカルフロー距離算出手段と、
前記角度算出手段が算出するカメラの設置角度と前記オ
プティカルフロー距離算出手段が算出する画像上の２点
間距離とからカメラ設置位置を算出する位置算出手段と
を有することを特徴とする。
【００２７】この構成により、地図情報を利用して測定
すべき道路を特定できるので、撮像画像における正確な
消失点を算出でき、校正用ボードを使用しないでカメラ
校正作業を自動化することが可能となる。
すべき道路を特定できるので、撮像画像における正確な
消失点を算出でき、校正用ボードを使用しないでカメラ
校正作業を自動化することが可能となる。
【００２８】また、本発明のカメラ校正装置は、移動体
に配設したカメラの撮像画像における道路の消失点と前
記移動体の進行角度を検出する角度センサの検出角度と
を対にして算出する消失点算出手段と、前記消失点算出
手段が算出する消失点から消失線を算出する消失線算出
手段と、前記消失点算出手段が算出する消失点と前記消
失線算出手段が算出する消失線とから前記カメラの道路
に対する設置角度を算出する角度算出手段と、前記カメ
ラが撮像した大きさが既知である交通標識の画像から画
像上の２点間の距離を算出する交通標識距離算出手段
と、前記角度算出手段が算出するカメラの設置角度と前
記交通標識距離算出手段が算出する画像上の２点間距離
とからカメラ設置位置を算出する位置算出手段とを有す
ることを特徴とする。
に配設したカメラの撮像画像における道路の消失点と前
記移動体の進行角度を検出する角度センサの検出角度と
を対にして算出する消失点算出手段と、前記消失点算出
手段が算出する消失点から消失線を算出する消失線算出
手段と、前記消失点算出手段が算出する消失点と前記消
失線算出手段が算出する消失線とから前記カメラの道路
に対する設置角度を算出する角度算出手段と、前記カメ
ラが撮像した大きさが既知である交通標識の画像から画
像上の２点間の距離を算出する交通標識距離算出手段
と、前記角度算出手段が算出するカメラの設置角度と前
記交通標識距離算出手段が算出する画像上の２点間距離
とからカメラ設置位置を算出する位置算出手段とを有す
ることを特徴とする。
【００２９】この構成により、大きさが既知である路面
上の交通標識を撮像し、この画像から画像上の２点間距
離を算出することができるので、校正用ボードを使用し
ないでカメラ校正作業を自動化することが可能となる。
上の交通標識を撮像し、この画像から画像上の２点間距
離を算出することができるので、校正用ボードを使用し
ないでカメラ校正作業を自動化することが可能となる。
【００３０】また、本発明のカメラ校正装置は、上記い
ずれかの構成において、前記角度算出手段と前記位置算
出手段とにより求めたカメラの設置角度と設置位置とを
基に、一定間隔で求めた前記カメラの設置角度と設置位
置とが所定範囲内にあるか否かを判定する精度判定手段
を有することを特徴とする。
ずれかの構成において、前記角度算出手段と前記位置算
出手段とにより求めたカメラの設置角度と設置位置とを
基に、一定間隔で求めた前記カメラの設置角度と設置位
置とが所定範囲内にあるか否かを判定する精度判定手段
を有することを特徴とする。
【００３１】この構成により、精度判定手段によってカ
メラの設置角度と設置位置とが所定範囲内にあるかで校
正が正確に行われているか判断可能であり、校正用ボー
ドを使用しないでカメラ校正作業を自動化することが可
能となる。
メラの設置角度と設置位置とが所定範囲内にあるかで校
正が正確に行われているか判断可能であり、校正用ボー
ドを使用しないでカメラ校正作業を自動化することが可
能となる。
【００３２】
【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照して詳細に説明する。図１は、本発明の
一実施の形態に係るカメラ校正装置の機能構成を示すブ
ロック図である。この図１に従って本実施の形態に係る
カメラ校正装置の構成および動作を説明する。
て、図面を参照して詳細に説明する。図１は、本発明の
一実施の形態に係るカメラ校正装置の機能構成を示すブ
ロック図である。この図１に従って本実施の形態に係る
カメラ校正装置の構成および動作を説明する。
【００３３】本実施の形態のカメラ校正装置は、車両な
どの移動体に設置され、車載カメラとカーナビゲーショ
ン装置とを組み合わせて経路案内を撮像画像中に表示す
る場合などに用いられるものである。
どの移動体に設置され、車載カメラとカーナビゲーショ
ン装置とを組み合わせて経路案内を撮像画像中に表示す
る場合などに用いられるものである。
【００３４】このカメラ校正装置は、車両前方または後
方の道路画像１０１を撮像するカメラ１０２の校正を行
うものであって、校正用のカメラ校正パラメータを算出
するために、消失点算出部（消失点算出手段に相当す
る）１０３、消失線算出部（消失線算出手段に相当す
る）１０４、角度算出部（角度算出手段に相当する）１
０５、オプティカルフロー距離算出部（オプティカルフ
ロー距離算出手段に相当する）１０６、位置算出部（位
置算出手段に相当する）１０７を備えている。これらの
各部の機能は以下で詳述する。本実施の形態では、これ
らの各部は、カメラ校正装置内のＣＰＵ（図示せず）が
ＲＯＭ（図示せず）に格納されたプログラムを実行する
ことによって実現される。なお、ＣＰＵ、ＲＯＭを用い
る代わりに、ハードウェアで構成された専用回路で実現
してもよいことは勿論である。
方の道路画像１０１を撮像するカメラ１０２の校正を行
うものであって、校正用のカメラ校正パラメータを算出
するために、消失点算出部（消失点算出手段に相当す
る）１０３、消失線算出部（消失線算出手段に相当す
る）１０４、角度算出部（角度算出手段に相当する）１
０５、オプティカルフロー距離算出部（オプティカルフ
ロー距離算出手段に相当する）１０６、位置算出部（位
置算出手段に相当する）１０７を備えている。これらの
各部の機能は以下で詳述する。本実施の形態では、これ
らの各部は、カメラ校正装置内のＣＰＵ（図示せず）が
ＲＯＭ（図示せず）に格納されたプログラムを実行する
ことによって実現される。なお、ＣＰＵ、ＲＯＭを用い
る代わりに、ハードウェアで構成された専用回路で実現
してもよいことは勿論である。
【００３５】カメラ１０２は車両に設置され、走行道路
の前方あるいは後方を撮像して道路画像１０１を得る。
消失点算出部１０３は、カメラ１０２が撮像した道路画
像１０１から以下の手順により消失点を算出する。
の前方あるいは後方を撮像して道路画像１０１を得る。
消失点算出部１０３は、カメラ１０２が撮像した道路画
像１０１から以下の手順により消失点を算出する。
【００３６】図２は消失点算出部１０３の機能説明図で
ある。図２において、（ａ）は車両が道路に対して直進
する場合、（ｂ）は車両が道路に対して右方向に進行す
る場合、（ｃ）は車両が道路に対して左方向に進行する
場合をそれぞれ示したものである。（ａ）、（ｂ）、
（ｃ）において左側は道路の平面図であり、右側はカメ
ラ１０２の撮像画像を示している。ここで、車両２０１
は白線２０２を含む道路上を進行方向２０３の方向に走
行する。
ある。図２において、（ａ）は車両が道路に対して直進
する場合、（ｂ）は車両が道路に対して右方向に進行す
る場合、（ｃ）は車両が道路に対して左方向に進行する
場合をそれぞれ示したものである。（ａ）、（ｂ）、
（ｃ）において左側は道路の平面図であり、右側はカメ
ラ１０２の撮像画像を示している。ここで、車両２０１
は白線２０２を含む道路上を進行方向２０３の方向に走
行する。
【００３７】消失点算出部１０３は、カメラ１０２の撮
像画像から、白線２０２の延長線上の交点である消失点
をそれぞれ、ＶＤ（２０４）、Ｖ１（２０５）、Ｖ２
（２０６）として算出する。
像画像から、白線２０２の延長線上の交点である消失点
をそれぞれ、ＶＤ（２０４）、Ｖ１（２０５）、Ｖ２
（２０６）として算出する。
【００３８】ここで、車両に搭載される角度センサが角
度の相対的変位量を測定するジャイロであるとき、角度
センサの出力が所定期間変化しないときを車両が直線道
路を直進していると推定し、そのときの消失点２０４を
深消失点ＶＤ（２０４）とする。直進の判別を行うため
の所定期間は、変化しない期間の継続時間により一定曲
率のカーブ道路と直線道路とを判別できる期間とする。
度の相対的変位量を測定するジャイロであるとき、角度
センサの出力が所定期間変化しないときを車両が直線道
路を直進していると推定し、そのときの消失点２０４を
深消失点ＶＤ（２０４）とする。直進の判別を行うため
の所定期間は、変化しない期間の継続時間により一定曲
率のカーブ道路と直線道路とを判別できる期間とする。
【００３９】また、車両に搭載される角度センサが角度
の絶対的変位量を測定する車両のハンドルの回転角度を
計測する舵角センサである場合は、所定期間、舵角が０
であるとき、車両が直線道路を直進していると推定し、
そのときの消失点２０４を深消失点ＶＤ（２０４）とす
る。直線深消失点ＶＤ（２０４）の進行方向を基準とし
て、角度センサの変化量と消失点Ｖ１（２０５）とＶ２
（２０６）を対にして記録する。
の絶対的変位量を測定する車両のハンドルの回転角度を
計測する舵角センサである場合は、所定期間、舵角が０
であるとき、車両が直線道路を直進していると推定し、
そのときの消失点２０４を深消失点ＶＤ（２０４）とす
る。直線深消失点ＶＤ（２０４）の進行方向を基準とし
て、角度センサの変化量と消失点Ｖ１（２０５）とＶ２
（２０６）を対にして記録する。
【００４０】消失線算出部１０４は、前記消失点算出部
１０３で求めた、深消失点ＶＤ（２０４）と消失点Ｖ１
（２０５）と消失点Ｖ２（２０６）を結ぶ直線として消
失線２０７を求める。あるいは、消失線算出部１０４は
所定期間ごとに消失点を記録し続け、２点以上、好まし
くは４点以上の多点から消失線２０７を求めることもで
きる。
１０３で求めた、深消失点ＶＤ（２０４）と消失点Ｖ１
（２０５）と消失点Ｖ２（２０６）を結ぶ直線として消
失線２０７を求める。あるいは、消失線算出部１０４は
所定期間ごとに消失点を記録し続け、２点以上、好まし
くは４点以上の多点から消失線２０７を求めることもで
きる。
【００４１】角度算出部１０５は、前記消失点算出部１
０３で求めた、深消失点ＶＤ（２０４）、消失点Ｖ１
（２０５）、消失点Ｖ２（２０６）と、前記消失線算出
部１０４で求めた消失線２０７から、カメラ角度スウィ
ングψとティルトφを前述した従来例と同じ方法により
数１などを用いて算出する。
０３で求めた、深消失点ＶＤ（２０４）、消失点Ｖ１
（２０５）、消失点Ｖ２（２０６）と、前記消失線算出
部１０４で求めた消失線２０７から、カメラ角度スウィ
ングψとティルトφを前述した従来例と同じ方法により
数１などを用いて算出する。
【００４２】また、カメラのパンθは、世界座標におけ
るｘｙ平面の直線の傾きをそれぞれｍ１、ｍ２とし、ｍ
１およびｍ２を消失点算出部１０３において消失点Ｖ１
（２０５）とＶ２（２０６）と対に記憶してある角度セ
ンサの変化量から求め、数２により算出する。
るｘｙ平面の直線の傾きをそれぞれｍ１、ｍ２とし、ｍ
１およびｍ２を消失点算出部１０３において消失点Ｖ１
（２０５）とＶ２（２０６）と対に記憶してある角度セ
ンサの変化量から求め、数２により算出する。
【００４３】オプティカルフロー距離算出部１０６は、
まず、角度算出部１０５が算出する設置角度と暫定的な
カメラ設置位置から、カメラ１０２の画像を上方視点か
らの画像に変換する。世界座標（ｘ、ｙ、ｚ）とカメラ
座標（ｕ、ｖ、ｗ）の変換式は、以下の数５に示すよう
になる。
まず、角度算出部１０５が算出する設置角度と暫定的な
カメラ設置位置から、カメラ１０２の画像を上方視点か
らの画像に変換する。世界座標（ｘ、ｙ、ｚ）とカメラ
座標（ｕ、ｖ、ｗ）の変換式は、以下の数５に示すよう
になる。
【００４４】
【数５】
【００４５】数５において、θ、φ、ψを角度算出部１
０５が求めた値とし、レンズ中心位置を暫定的にＸｃ＝
０、Ｙｃ＝０、Ｚｃ＝カメラの暫定的高さ（例えば１．
２ｍ）として代入し、世界座標とカメラ座標の関係を決
定する。次に、上方視点画像に変換する世界座標の高さ
０（ｚ＝０）である領域（ｘ、ｙの適当な領域）内にあ
る点の、世界座標に対応する道路画像１０１のスクリー
ン座標を求める。そして、数５により、世界座標からカ
メラ座標に変換する。カメラ座標からスクリーン座標へ
の変換方法の詳細は省くが一般的な方法を使用する。こ
のようにして道路画像１０１の上方視点画像を生成す
る。
０５が求めた値とし、レンズ中心位置を暫定的にＸｃ＝
０、Ｙｃ＝０、Ｚｃ＝カメラの暫定的高さ（例えば１．
２ｍ）として代入し、世界座標とカメラ座標の関係を決
定する。次に、上方視点画像に変換する世界座標の高さ
０（ｚ＝０）である領域（ｘ、ｙの適当な領域）内にあ
る点の、世界座標に対応する道路画像１０１のスクリー
ン座標を求める。そして、数５により、世界座標からカ
メラ座標に変換する。カメラ座標からスクリーン座標へ
の変換方法の詳細は省くが一般的な方法を使用する。こ
のようにして道路画像１０１の上方視点画像を生成す
る。
【００４６】次いで、オプティカルフロー距離算出部１
０６は一定間隔ごとに画像を分割した各ブロックにおい
てオプティカルフローによる実距離を算出する。図３は
オプティカルフロー距離算出部１０６の機能説明図であ
る。図３の（ａ）はオプティカルフロー検出領域を示す
図であり、左側はカメラ１０２の撮像画像であり、右側
は撮像画像を設置角度情報を利用して上方視点画像に変
換した画像である。オプティカルフローとは、画像上の
各点の速度場のことであり、このオプティカルフローを
検出するオプティカルフロー検出領域３０１は、白線な
どによって判断できる路面部分だけでよい。上方視点画
像の性質として、等しい画素距離にある画素は実世界の
距離も等しくなる。
０６は一定間隔ごとに画像を分割した各ブロックにおい
てオプティカルフローによる実距離を算出する。図３は
オプティカルフロー距離算出部１０６の機能説明図であ
る。図３の（ａ）はオプティカルフロー検出領域を示す
図であり、左側はカメラ１０２の撮像画像であり、右側
は撮像画像を設置角度情報を利用して上方視点画像に変
換した画像である。オプティカルフローとは、画像上の
各点の速度場のことであり、このオプティカルフローを
検出するオプティカルフロー検出領域３０１は、白線な
どによって判断できる路面部分だけでよい。上方視点画
像の性質として、等しい画素距離にある画素は実世界の
距離も等しくなる。
【００４７】ここで、図３の（ａ）に示す点Ａを原点と
し、白線に沿ってｙ軸をとり、ｙ軸と垂直にｘ軸をと
る。図３の（ｂ）はオプティカルフロー検出領域３０１
の拡大図である。図示のように、オプティカルフロー検
出領域３０１は小さいブロック３０２に分割される。こ
のオプティカルフロー検出領域３０１において、一定間
隔（例えば０．１秒間隔）の画像ごとに各ブロックは進
行方向を考慮してオプティカルフローによりマッチング
する領域を探索する。そして、各ブロックについて単位
画素当たりの実距離Ｄを以下に示す数６により求める。
し、白線に沿ってｙ軸をとり、ｙ軸と垂直にｘ軸をと
る。図３の（ｂ）はオプティカルフロー検出領域３０１
の拡大図である。図示のように、オプティカルフロー検
出領域３０１は小さいブロック３０２に分割される。こ
のオプティカルフロー検出領域３０１において、一定間
隔（例えば０．１秒間隔）の画像ごとに各ブロックは進
行方向を考慮してオプティカルフローによりマッチング
する領域を探索する。そして、各ブロックについて単位
画素当たりの実距離Ｄを以下に示す数６により求める。
【００４８】
【数６】
ここで、ｖは車両の速度、ｔはマッチングする画像間の
時間、ｐはマッチングした画素距離である。ｖは車両に
搭載した車速センサから出力される車速パルスから求め
ることができる。
時間、ｐはマッチングした画素距離である。ｖは車両に
搭載した車速センサから出力される車速パルスから求め
ることができる。
【００４９】そして、一定間隔の画像およびブロックご
とに実距離Ｄを算出し、その実距離の平均値ＤＭを求め
る。点ＡＢ間の画素間距離をＰＡＢとすると、以下に示
す数７により点Ｂの世界座標のＹ座標ＹＢを得ることが
できる。
とに実距離Ｄを算出し、その実距離の平均値ＤＭを求め
る。点ＡＢ間の画素間距離をＰＡＢとすると、以下に示
す数７により点Ｂの世界座標のＹ座標ＹＢを得ることが
できる。
【００５０】
【数７】
【００５１】位置算出部１０７は、角度算出部１０５が
算出するカメラ設置角度とオプティカルフロー距離算出
部１０６が算出する点Ｂの世界座標とから、カメラ設置
位置を従来例と同様に数３及び数４の関係式を利用して
算出する。そして、このカメラの位置および角度をカメ
ラの画像と実際の道路との対応関係を示すカメラ校正パ
ラメータとして出力する。
算出するカメラ設置角度とオプティカルフロー距離算出
部１０６が算出する点Ｂの世界座標とから、カメラ設置
位置を従来例と同様に数３及び数４の関係式を利用して
算出する。そして、このカメラの位置および角度をカメ
ラの画像と実際の道路との対応関係を示すカメラ校正パ
ラメータとして出力する。
【００５２】以上の処理により、本実施の形態において
はオプティカルフローにより撮像画像上の実距離を算出
することによって、校正用ボードを使用しないでカメラ
校正を行うことができる。これにより、カメラ校正作業
を自動化することができる。
はオプティカルフローにより撮像画像上の実距離を算出
することによって、校正用ボードを使用しないでカメラ
校正を行うことができる。これにより、カメラ校正作業
を自動化することができる。
【００５３】なお、本発明は、上述した実施の形態の構
成および動作に限定されるものではなく、一部を変更し
た種々の実施の形態が考えられる。
成および動作に限定されるものではなく、一部を変更し
た種々の実施の形態が考えられる。
【００５４】例えば、消失点算出部１０３の代替とし
て、オプティカルフロー消失点算出部を設けてもよい。
オプティカルフロー消失点算出部は、カメラ１０２の撮
像画像のオプティカルフローから道路の消失点を以下の
手順で算出する。
て、オプティカルフロー消失点算出部を設けてもよい。
オプティカルフロー消失点算出部は、カメラ１０２の撮
像画像のオプティカルフローから道路の消失点を以下の
手順で算出する。
【００５５】図４はオプティカルフロー消失点算出部の
機能説明図であり、カメラ１０２の撮像画像を示してい
る。
機能説明図であり、カメラ１０２の撮像画像を示してい
る。
【００５６】この場合、撮像画像中の道路４０１の部分
を一定間隔の画像ごとに複数のブロック４０２に分割
し、この道路上の画像ブロックにおいて、半円の放射状
方向にマッチング方向４０３を設定する。そして、すべ
てのブロック４０２に対して、マッチング方向４０３に
オプティカルフローによりマッチングするブロックを一
定時間経過後の画像から探索する。このマッチング結果
から現在位置と一定時間経過後の位置を結んで各ブロッ
ク４０２ごとに直線の方程式をたてることができる。ｉ
番目の画像ブロックの直線の式は以下の数８のようにな
る。
を一定間隔の画像ごとに複数のブロック４０２に分割
し、この道路上の画像ブロックにおいて、半円の放射状
方向にマッチング方向４０３を設定する。そして、すべ
てのブロック４０２に対して、マッチング方向４０３に
オプティカルフローによりマッチングするブロックを一
定時間経過後の画像から探索する。このマッチング結果
から現在位置と一定時間経過後の位置を結んで各ブロッ
ク４０２ごとに直線の方程式をたてることができる。ｉ
番目の画像ブロックの直線の式は以下の数８のようにな
る。
【００５７】
【数８】
この数８の交点が消失点となるので、以下に示す数９を
最小にするｘ、ｙが消失点の座標となる。
最小にするｘ、ｙが消失点の座標となる。
【００５８】
【数９】
【００５９】これにより、白線のない道路でも道路上の
特徴物体（例えば、道路上に描画された「横断歩道」の
パターン、「止まれ」の文字など）のオプティカルフロ
ーにより、校正用ボードを使用しないでカメラ校正作業
を自動化することができる。
特徴物体（例えば、道路上に描画された「横断歩道」の
パターン、「止まれ」の文字など）のオプティカルフロ
ーにより、校正用ボードを使用しないでカメラ校正作業
を自動化することができる。
【００６０】また、消失点算出部１０３の代替として、
地図利用型消失点算出部を設けてもよい。地図利用型消
失点算出部は、地図情報を利用して測定すべき道路を特
定し、角度センサが測定する角度と道路の消失点を対に
して算出する。この場合、地図利用型消失点算出部は、
電子化された地図情報から平坦な直線道路を車両が走行
していることを認識し、角度センサが一定であるとき、
車両が直進していることを認識し、消失点ＶＤ（２０
４）を求める。そして、ＶＤ（２０４）を基準として、
角度センサの変位量と消失点Ｖ１（２０５）とＶ２（２
０６）を対にして算出する。
地図利用型消失点算出部を設けてもよい。地図利用型消
失点算出部は、地図情報を利用して測定すべき道路を特
定し、角度センサが測定する角度と道路の消失点を対に
して算出する。この場合、地図利用型消失点算出部は、
電子化された地図情報から平坦な直線道路を車両が走行
していることを認識し、角度センサが一定であるとき、
車両が直進していることを認識し、消失点ＶＤ（２０
４）を求める。そして、ＶＤ（２０４）を基準として、
角度センサの変位量と消失点Ｖ１（２０５）とＶ２（２
０６）を対にして算出する。
【００６１】これにより、地図情報を利用して測定すべ
き道路を特定できるので、正確な消失点を算出でき、校
正用ボードを使用しないでカメラ校正作業を自動化する
ことができる。
き道路を特定できるので、正確な消失点を算出でき、校
正用ボードを使用しないでカメラ校正作業を自動化する
ことができる。
【００６２】また、オプティカルフロー距離算出部１０
６の代替として、交通標識距離算出部を設けてもよい。
交通標識距離算出部は、校正対象のカメラ１０２が大き
さが既知である交通標識を撮像した道路画像１０１を基
に、画像の２点間の距離を算出する。大きさが既知であ
る交通標識としては、路面に描画された横断歩道の白帯
の幅、「止まれ」表示の字の大きさなどがある。
６の代替として、交通標識距離算出部を設けてもよい。
交通標識距離算出部は、校正対象のカメラ１０２が大き
さが既知である交通標識を撮像した道路画像１０１を基
に、画像の２点間の距離を算出する。大きさが既知であ
る交通標識としては、路面に描画された横断歩道の白帯
の幅、「止まれ」表示の字の大きさなどがある。
【００６３】これにより、大きさが既知の路面上の交通
標識から画像の２点間距離を算出することができ、校正
用ボードを使用しないでカメラ校正作業を自動化するこ
とができる。
標識から画像の２点間距離を算出することができ、校正
用ボードを使用しないでカメラ校正作業を自動化するこ
とができる。
【００６４】また、本実施の形態のカメラ校正装置に精
度判定部を設けることもできる。精度判定部は、角度算
出部１０５と位置算出部１０７とにより、カメラの角度
と位置を一定間隔で求めるようにし、この一定間隔で求
めたカメラの角度と位置が所定範囲内にあるかどうかを
判定する。ここで、所定範囲内にあるとき、カメラ校正
パラメータが正しいと推定する。その結果、例えば、カ
メラ校正パラメータの算出を停止する。また、この判定
結果を基に、ユーザにカメラ校正パラメータが算出でき
たことを知らせることも可能である。一方、カメラの角
度と位置が所定範囲内にない場合は、所定範囲内に収ま
るまで、カメラ校正パラメータを算出し直すようにす
る。
度判定部を設けることもできる。精度判定部は、角度算
出部１０５と位置算出部１０７とにより、カメラの角度
と位置を一定間隔で求めるようにし、この一定間隔で求
めたカメラの角度と位置が所定範囲内にあるかどうかを
判定する。ここで、所定範囲内にあるとき、カメラ校正
パラメータが正しいと推定する。その結果、例えば、カ
メラ校正パラメータの算出を停止する。また、この判定
結果を基に、ユーザにカメラ校正パラメータが算出でき
たことを知らせることも可能である。一方、カメラの角
度と位置が所定範囲内にない場合は、所定範囲内に収ま
るまで、カメラ校正パラメータを算出し直すようにす
る。
【００６５】これにより、校正が正確に行われているか
判断可能であり、校正用ボードを使用しないでカメラ校
正作業を自動化することができる。
判断可能であり、校正用ボードを使用しないでカメラ校
正作業を自動化することができる。
【００６６】上述したように、本実施の形態のカメラ校
正装置によれば、オプティカルフロー距離算出部１０６
においてオプティカルフローにより撮像画像上の実距離
を算出することによって、校正用ボードを使用しないで
カメラ校正を行うことができ、カメラ校正作業を自動化
することが可能となる。
正装置によれば、オプティカルフロー距離算出部１０６
においてオプティカルフローにより撮像画像上の実距離
を算出することによって、校正用ボードを使用しないで
カメラ校正を行うことができ、カメラ校正作業を自動化
することが可能となる。
【００６７】
【発明の効果】以上説明したように本発明によれば、校
正用ボードなどの校正用基準パターンを使用することな
くカメラ校正が可能であり、カメラ校正作業を自動化す
ることができる。
正用ボードなどの校正用基準パターンを使用することな
くカメラ校正が可能であり、カメラ校正作業を自動化す
ることができる。
【図１】本発明の一実施の形態に係るカメラ校正装置の
機能構成を示すブロック図
機能構成を示すブロック図
【図２】本発明の一実施の形態に係る消失点算出部の機
能説明図であり、（ａ）は車両が道路に対して直進する
場合を示した図、（ｂ）は車両が道路に対して右方向に
進行する場合を示した図、（ｃ）は車両が道路に対して
左方向に進行する場合を示した図
能説明図であり、（ａ）は車両が道路に対して直進する
場合を示した図、（ｂ）は車両が道路に対して右方向に
進行する場合を示した図、（ｃ）は車両が道路に対して
左方向に進行する場合を示した図
【図３】本発明の一実施の形態に係るオプティカルフロ
ー距離算出部の機能説明図であり、（ａ）はオプティカ
ルフロー検出領域を示す図、（ｂ）はオプティカルフロ
ー検出領域の拡大図
ー距離算出部の機能説明図であり、（ａ）はオプティカ
ルフロー検出領域を示す図、（ｂ）はオプティカルフロ
ー検出領域の拡大図
【図４】本発明の一実施の形態に係るオプティカルフロ
ー消失点算出部の機能説明図
ー消失点算出部の機能説明図
【図５】従来例における車両前方を撮像するカメラの撮
影画像および経路案内を示した説明図
影画像および経路案内を示した説明図
【図６】従来例のカメラ校正装置の機能構成を示すブロ
ック図
ック図
【図７】従来例のカメラ校正装置で用いられる校正用ボ
ードの一例を示す説明図
ードの一例を示す説明図
【図８】従来例のカメラ校正装置で用いられるカメラに
より撮像した校正用ボードの画像を示す説明図
より撮像した校正用ボードの画像を示す説明図
【図９】従来例のカメラ校正装置で用いられるカメラの
画像においてカメラ角度スウィングψを求める説明図
画像においてカメラ角度スウィングψを求める説明図
１０１ 道路画像
１０２ カメラ
１０３ 消失点算出部
１０４ 消失線算出部
１０５ 角度算出部
１０６ オプティカルフロー距離算出部
１０７ 位置算出部
─────────────────────────────────────────────────────
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
// Ｇ０１Ｃ 21/00 Ｇ０１Ｃ 21/00 Ａ ５Ｌ０９６
Ｇ０８Ｇ 1/0969 Ｇ０８Ｇ 1/0969
Ｆターム(参考） 2F029 AA02 AC14
2F065 AA06 AA31 CC40 FF04 JJ26
MM01 QQ24 QQ31
5B057 AA16 BA02 BA17 CD20 DA07
DA20 DB02 DC05 DC08
5C054 AA01 AA05 CA04 CC02 FC12
FC15 FE19 HA30
5H180 AA01 CC04 FF22 FF32
5L096 BA04 CA02 EA27 FA62 FA66
FA67 FA69 GA19 HA04
Claims (5)
- 【請求項１】 移動体に配設したカメラの撮像画像にお
ける道路の消失点と前記移動体の進行角度を検出する角
度センサの検出角度とを対にして算出する消失点算出手
段と、 前記消失点算出手段が算出する消失点から消失線を算出
する消失線算出手段と、 前記消失点算出手段が算出する消失点と前記消失線算出
手段が算出する消失線とから前記カメラの道路に対する
設置角度を算出する角度算出手段と、 前記角度算出手段が算出する設置角度から前記カメラの
撮像画像を上方視点からの画像に変換し、この画像のオ
プティカルフローから画像上の２点間の距離を算出する
オプティカルフロー距離算出手段と、 前記角度算出手段が算出するカメラの設置角度と前記オ
プティカルフロー距離算出手段が算出する画像上の２点
間距離とからカメラ設置位置を算出する位置算出手段と
を有することを特徴とするカメラ校正装置。 - 【請求項２】 移動体に配設したカメラの撮像画像のオ
プティカルフローから画像上の道路の消失点を算出する
オプティカルフロー消失点算出手段と、 前記オプティカルフロー消失点算出手段が算出する消失
点から消失線を算出する消失線算出手段と、 前記オプティカルフロー消失点算出手段が算出する消失
点と前記消失線算出手段が算出する消失線とから前記カ
メラの道路に対する設置角度を算出する角度算出手段
と、 前記角度算出手段が算出する設置角度から前記カメラの
撮像画像を上方視点からの画像に変換し、この画像のオ
プティカルフローから画像上の２点間の距離を算出する
オプティカルフロー距離算出手段と、 前記角度算出手段が算出するカメラの設置角度と前記オ
プティカルフロー距離算出手段が算出する画像上の２点
間距離とからカメラ設置位置を算出する位置算出手段と
を有することを特徴とするカメラ校正装置。 - 【請求項３】 地図情報を利用して測定すべき道路を特
定し、移動体に配設したカメラの撮像画像における道路
の消失点と前記移動体の進行角度を検出する角度センサ
の検出角度とを対にして算出する地図利用型消失点算出
手段と、 前記地図利用型消失点算出手段が算出する消失点から消
失線を算出する消失線算出手段と、 前記地図利用型消失点算出手段が算出する消失点と前記
消失線算出手段が算出する消失線とから前記カメラの道
路に対する設置角度を算出する角度算出手段と、 前記角度算出手段が算出する設置角度から前記カメラの
撮像画像を上方視点からの画像に変換し、この画像のオ
プティカルフローから画像上の２点間の距離を算出する
オプティカルフロー距離算出手段と、 前記角度算出手段が算出するカメラの設置角度と前記オ
プティカルフロー距離算出手段が算出する画像上の２点
間距離とからカメラ設置位置を算出する位置算出手段と
を有することを特徴とするカメラ校正装置。 - 【請求項４】 移動体に配設したカメラの撮像画像にお
ける道路の消失点と前記移動体の進行角度を検出する角
度センサの検出角度とを対にして算出する消失点算出手
段と、 前記消失点算出手段が算出する消失点から消失線を算出
する消失線算出手段と、 前記消失点算出手段が算出する消失点と前記消失線算出
手段が算出する消失線とから前記カメラの道路に対する
設置角度を算出する角度算出手段と、 前記カメラが撮像した大きさが既知である交通標識の画
像から画像上の２点間の距離を算出する交通標識距離算
出手段と、 前記角度算出手段が算出するカメラの設置角度と前記交
通標識距離算出手段が算出する画像上の２点間距離とか
らカメラ設置位置を算出する位置算出手段とを有するこ
とを特徴とするカメラ校正装置。 - 【請求項５】 前記角度算出手段と前記位置算出手段と
により求めたカメラの設置角度と設置位置とを基に、一
定間隔で求めた前記カメラの設置角度と設置位置とが所
定範囲内にあるか否かを判定する精度判定手段を有する
ことを特徴とする請求項１ないし４のいずれかに記載の
カメラ校正装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002138552A JP3986360B2 (ja) | 2002-05-14 | 2002-05-14 | カメラ校正装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002138552A JP3986360B2 (ja) | 2002-05-14 | 2002-05-14 | カメラ校正装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003329411A true JP2003329411A (ja) | 2003-11-19 |
| JP3986360B2 JP3986360B2 (ja) | 2007-10-03 |
Family
ID=29699962
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002138552A Expired - Lifetime JP3986360B2 (ja) | 2002-05-14 | 2002-05-14 | カメラ校正装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3986360B2 (ja) |
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2874300A1 (fr) * | 2004-08-11 | 2006-02-17 | Renault Sas | Procede de calibration automatique d'un systeme de stereovision |
| EP1681577A2 (de) | 2005-01-12 | 2006-07-19 | Robert Bosch Gmbh | Verfahren für die Bildlagekorrektur eines Monitorbilds |
| AT502356B1 (de) * | 2005-09-02 | 2007-07-15 | Arc Seibersdorf Res Gmbh | Verfahren zur automatischen ermittlung der kalibrierung und projektion einer überwachungs-kamera |
| FR2896219A1 (fr) * | 2006-01-19 | 2007-07-20 | Valeo Vision Sa | Procede de reglage de l'orientation d'une camera installee dans un vehicule et systeme de mise en oeuvre de ce procede |
| JP2007212216A (ja) * | 2006-02-08 | 2007-08-23 | Matsushita Electric Ind Co Ltd | オブジェクト高さ算出装置およびそれを用いたオブジェクト検索装置ならびにオブジェクト高さ算出方法 |
| JP2008011174A (ja) * | 2006-06-29 | 2008-01-17 | Hitachi Ltd | 車載カメラのキャリブレーション装置、プログラムおよびカーナビゲーションシステム |
| JP2008015280A (ja) * | 2006-07-06 | 2008-01-24 | Toyama Univ | 表面情報取得装置及び表面情報取得方法 |
| JP2009143722A (ja) * | 2007-12-18 | 2009-07-02 | Mitsubishi Electric Corp | 人物追跡装置、人物追跡方法及び人物追跡プログラム |
| EP2131598A3 (de) * | 2008-06-05 | 2010-03-24 | Hella KGaA Hueck & Co. | Stereokamerasystem und Verfahren zum Ermitteln mindestens eines Kalibrierfehlers eines Stereokamerasystems |
| JP2010223619A (ja) * | 2009-03-19 | 2010-10-07 | Honda Motor Co Ltd | キャリブレーション装置およびキャリブレーション方法 |
| WO2010146695A1 (ja) * | 2009-06-18 | 2010-12-23 | 富士通株式会社 | 画像処理装置および画像処理方法 |
| FR2952264A1 (fr) * | 2009-10-30 | 2011-05-06 | Valeo Vision | Systeme de calibration d'une camera apte a equiper un vehicule. |
| JP2011215063A (ja) * | 2010-04-01 | 2011-10-27 | Tottori Univ | カメラ姿勢パラメータ推定装置 |
| JP2011220850A (ja) * | 2010-04-09 | 2011-11-04 | Panasonic Corp | カメラ校正装置 |
| JP2013129278A (ja) * | 2011-12-21 | 2013-07-04 | Alpine Electronics Inc | 画像表示装置、画像表示装置における撮像カメラのキャリブレーション方法およびキャリブレーションプログラム |
| KR20140065627A (ko) * | 2012-11-19 | 2014-05-30 | 한국전자통신연구원 | 차량용 카메라 캘리브레이션 장치 및 방법 |
| CN104050669A (zh) * | 2014-06-18 | 2014-09-17 | 北京博思廷科技有限公司 | 一种基于灭点和单目相机成像原理的在线标定方法 |
| WO2014199929A1 (ja) * | 2013-06-11 | 2014-12-18 | ヤマハ発動機株式会社 | 単眼モーションステレオ距離推定方法および単眼モーションステレオ距離推定装置 |
| WO2015079533A1 (ja) * | 2013-11-28 | 2015-06-04 | パイオニア株式会社 | 検出装置、検出方法、検出プログラム及び記録媒体 |
| CN104835183A (zh) * | 2015-04-15 | 2015-08-12 | 东南大学 | 基于ncc的道路消失线检测方法 |
| KR101556751B1 (ko) | 2014-06-24 | 2015-10-02 | 고려대학교 산학협력단 | 옵티컬 플로우와 가우시안 혼합 모델을 이용한 동물의 승가 행위 탐지 시스템 및 그 탐지 방법 |
| CN105966311A (zh) * | 2015-03-10 | 2016-09-28 | 罗伯特·博世有限公司 | 用于校准摄像机的方法、车辆用的设备和计算机程序产品 |
| US9940528B2 (en) | 2004-12-23 | 2018-04-10 | Magna Electronics Inc. | Driver assistance system for vehicle |
| JP2019052942A (ja) * | 2017-09-15 | 2019-04-04 | パナソニックＩｐマネジメント株式会社 | 車載カメラ校正装置 |
| US10424081B2 (en) | 2014-05-14 | 2019-09-24 | Volkswagen Aktiengesellschaft | Method and apparatus for calibrating a camera system of a motor vehicle |
| JP2019169942A (ja) * | 2018-02-21 | 2019-10-03 | フィコサ アダス，ソシエダッド リミタダ ユニペルソナル | 車両のカメラを較正する方法およびシステム |
| JP2020042804A (ja) * | 2018-09-07 | 2020-03-19 | バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド | 位置検出方法とその装置、機器、記憶媒体及び車両 |
| JP2020060550A (ja) * | 2018-10-10 | 2020-04-16 | 株式会社デンソーテン | 異常検出装置、異常検出方法、姿勢推定装置、および、移動体制御システム |
| CN111190175A (zh) * | 2020-01-22 | 2020-05-22 | 中科蓝卓(北京)信息科技有限公司 | 一种机场道面异物的探测方法及探测*** |
| WO2021002001A1 (ja) * | 2019-07-04 | 2021-01-07 | 三菱電機株式会社 | 移動体測位装置および移動体測位システム |
| JP2021032677A (ja) * | 2019-08-23 | 2021-03-01 | 株式会社デンソーテン | 姿勢推定装置、異常検出装置、補正装置、および、姿勢推定方法 |
| CN114127506B (zh) * | 2019-07-04 | 2024-07-26 | 三菱电机株式会社 | 移动体测位装置和移动体测位*** |
-
2002
- 2002-05-14 JP JP2002138552A patent/JP3986360B2/ja not_active Expired - Lifetime
Cited By (51)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006021700A1 (fr) * | 2004-08-11 | 2006-03-02 | Renault S.A.S. | Procede de calibration automatique d'un systeme de stereovision |
| FR2874300A1 (fr) * | 2004-08-11 | 2006-02-17 | Renault Sas | Procede de calibration automatique d'un systeme de stereovision |
| US9940528B2 (en) | 2004-12-23 | 2018-04-10 | Magna Electronics Inc. | Driver assistance system for vehicle |
| US10509972B2 (en) | 2004-12-23 | 2019-12-17 | Magna Electronics Inc. | Vehicular vision system |
| US11308720B2 (en) | 2004-12-23 | 2022-04-19 | Magna Electronics Inc. | Vehicular imaging system |
| EP1681577A2 (de) | 2005-01-12 | 2006-07-19 | Robert Bosch Gmbh | Verfahren für die Bildlagekorrektur eines Monitorbilds |
| EP1681577A3 (de) * | 2005-01-12 | 2008-08-20 | Robert Bosch Gmbh | Verfahren für die Bildlagekorrektur eines Monitorbilds |
| AT502356B1 (de) * | 2005-09-02 | 2007-07-15 | Arc Seibersdorf Res Gmbh | Verfahren zur automatischen ermittlung der kalibrierung und projektion einer überwachungs-kamera |
| US7864981B2 (en) | 2006-01-19 | 2011-01-04 | Valeo Vision | Method for adjusting the orientation of a camera installed in a vehicle and system for carrying out this method |
| FR2896219A1 (fr) * | 2006-01-19 | 2007-07-20 | Valeo Vision Sa | Procede de reglage de l'orientation d'une camera installee dans un vehicule et systeme de mise en oeuvre de ce procede |
| EP1810907A1 (fr) * | 2006-01-19 | 2007-07-25 | Valeo Vision | Procédé de réglage de l'orientation d'une caméra installée dans un véhicule et système de mise ene oeuvre de ce procédé |
| JP2007212216A (ja) * | 2006-02-08 | 2007-08-23 | Matsushita Electric Ind Co Ltd | オブジェクト高さ算出装置およびそれを用いたオブジェクト検索装置ならびにオブジェクト高さ算出方法 |
| JP2008011174A (ja) * | 2006-06-29 | 2008-01-17 | Hitachi Ltd | 車載カメラのキャリブレーション装置、プログラムおよびカーナビゲーションシステム |
| US8212878B2 (en) | 2006-06-29 | 2012-07-03 | Hitachi, Ltd. | Calibration apparatus of on-vehicle camera, program, and car navigation system |
| JP2008015280A (ja) * | 2006-07-06 | 2008-01-24 | Toyama Univ | 表面情報取得装置及び表面情報取得方法 |
| JP2009143722A (ja) * | 2007-12-18 | 2009-07-02 | Mitsubishi Electric Corp | 人物追跡装置、人物追跡方法及び人物追跡プログラム |
| EP2131598A3 (de) * | 2008-06-05 | 2010-03-24 | Hella KGaA Hueck & Co. | Stereokamerasystem und Verfahren zum Ermitteln mindestens eines Kalibrierfehlers eines Stereokamerasystems |
| JP2010223619A (ja) * | 2009-03-19 | 2010-10-07 | Honda Motor Co Ltd | キャリブレーション装置およびキャリブレーション方法 |
| JP5375958B2 (ja) * | 2009-06-18 | 2013-12-25 | 富士通株式会社 | 画像処理装置および画像処理方法 |
| WO2010146695A1 (ja) * | 2009-06-18 | 2010-12-23 | 富士通株式会社 | 画像処理装置および画像処理方法 |
| US9412168B2 (en) | 2009-06-18 | 2016-08-09 | Fujitsu Limited | Image processing device and image processing method for camera calibration |
| US8659659B2 (en) | 2009-10-30 | 2014-02-25 | Valeo Vision | System of gauging a camera suitable for equipping a vehicle |
| JP2011097588A (ja) * | 2009-10-30 | 2011-05-12 | Valeo Vision | 車両搭載に好適なカメラのゲージングシステム及び方法 |
| FR2952264A1 (fr) * | 2009-10-30 | 2011-05-06 | Valeo Vision | Systeme de calibration d'une camera apte a equiper un vehicule. |
| JP2011215063A (ja) * | 2010-04-01 | 2011-10-27 | Tottori Univ | カメラ姿勢パラメータ推定装置 |
| JP2011220850A (ja) * | 2010-04-09 | 2011-11-04 | Panasonic Corp | カメラ校正装置 |
| JP2013129278A (ja) * | 2011-12-21 | 2013-07-04 | Alpine Electronics Inc | 画像表示装置、画像表示装置における撮像カメラのキャリブレーション方法およびキャリブレーションプログラム |
| KR20140065627A (ko) * | 2012-11-19 | 2014-05-30 | 한국전자통신연구원 | 차량용 카메라 캘리브레이션 장치 및 방법 |
| KR102001659B1 (ko) * | 2012-11-19 | 2019-07-19 | 한국전자통신연구원 | 차량용 카메라 캘리브레이션 장치 및 방법 |
| WO2014199929A1 (ja) * | 2013-06-11 | 2014-12-18 | ヤマハ発動機株式会社 | 単眼モーションステレオ距離推定方法および単眼モーションステレオ距離推定装置 |
| JPWO2015079533A1 (ja) * | 2013-11-28 | 2017-03-16 | パイオニア株式会社 | 検出装置、検出方法、検出プログラム及び記録媒体 |
| WO2015079533A1 (ja) * | 2013-11-28 | 2015-06-04 | パイオニア株式会社 | 検出装置、検出方法、検出プログラム及び記録媒体 |
| US10424081B2 (en) | 2014-05-14 | 2019-09-24 | Volkswagen Aktiengesellschaft | Method and apparatus for calibrating a camera system of a motor vehicle |
| CN104050669A (zh) * | 2014-06-18 | 2014-09-17 | 北京博思廷科技有限公司 | 一种基于灭点和单目相机成像原理的在线标定方法 |
| KR101556751B1 (ko) | 2014-06-24 | 2015-10-02 | 고려대학교 산학협력단 | 옵티컬 플로우와 가우시안 혼합 모델을 이용한 동물의 승가 행위 탐지 시스템 및 그 탐지 방법 |
| CN105966311A (zh) * | 2015-03-10 | 2016-09-28 | 罗伯特·博世有限公司 | 用于校准摄像机的方法、车辆用的设备和计算机程序产品 |
| CN104835183A (zh) * | 2015-04-15 | 2015-08-12 | 东南大学 | 基于ncc的道路消失线检测方法 |
| CN104835183B (zh) * | 2015-04-15 | 2017-11-03 | 东南大学 | 基于ncc的道路消失线检测方法 |
| JP2019052942A (ja) * | 2017-09-15 | 2019-04-04 | パナソニックＩｐマネジメント株式会社 | 車載カメラ校正装置 |
| JP2019169942A (ja) * | 2018-02-21 | 2019-10-03 | フィコサ アダス，ソシエダッド リミタダ ユニペルソナル | 車両のカメラを較正する方法およびシステム |
| JP7355505B2 (ja) | 2018-02-21 | 2023-10-03 | フィコサ アダス，ソシエダッド リミタダ ユニペルソナル | 車両のカメラを較正する方法およびシステム |
| US11210534B2 (en) | 2018-09-07 | 2021-12-28 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method for position detection, device, and storage medium |
| JP2020042804A (ja) * | 2018-09-07 | 2020-03-19 | バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド | 位置検出方法とその装置、機器、記憶媒体及び車両 |
| JP2020060550A (ja) * | 2018-10-10 | 2020-04-16 | 株式会社デンソーテン | 異常検出装置、異常検出方法、姿勢推定装置、および、移動体制御システム |
| JP7270499B2 (ja) | 2018-10-10 | 2023-05-10 | 株式会社デンソーテン | 異常検出装置、異常検出方法、姿勢推定装置、および、移動体制御システム |
| CN114127506A (zh) * | 2019-07-04 | 2022-03-01 | 三菱电机株式会社 | 移动体测位装置和移动体测位*** |
| WO2021002001A1 (ja) * | 2019-07-04 | 2021-01-07 | 三菱電機株式会社 | 移動体測位装置および移動体測位システム |
| CN114127506B (zh) * | 2019-07-04 | 2024-07-26 | 三菱电机株式会社 | 移动体测位装置和移动体测位*** |
| JP2021032677A (ja) * | 2019-08-23 | 2021-03-01 | 株式会社デンソーテン | 姿勢推定装置、異常検出装置、補正装置、および、姿勢推定方法 |
| JP7237773B2 (ja) | 2019-08-23 | 2023-03-13 | 株式会社デンソーテン | 姿勢推定装置、異常検出装置、補正装置、および、姿勢推定方法 |
| CN111190175A (zh) * | 2020-01-22 | 2020-05-22 | 中科蓝卓(北京)信息科技有限公司 | 一种机场道面异物的探测方法及探测*** |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3986360B2 (ja) | 2007-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3986360B2 (ja) | カメラ校正装置 | |
| EP2034271B1 (en) | Positioning device | |
| JP5062498B2 (ja) | 風景マッチング用参照データ生成システム及び位置測位システム | |
| JP5057183B2 (ja) | 風景マッチング用参照データ生成システム及び位置測位システム | |
| JP5157067B2 (ja) | 自動走行用マップ作成装置、及び自動走行装置。 | |
| KR101241651B1 (ko) | 영상 인식 장치 및 그 방법, 영상 기록 장치 또는 그방법을 이용한 위치 판단 장치, 차량 제어 장치 및네비게이션 장치 | |
| CN110530372B (zh) | 定位方法、路径确定方法、装置、机器人及存储介质 | |
| JP6560355B2 (ja) | ランドマーク認識装置及び認識方法 | |
| WO2012043045A1 (ja) | 画像処理装置及びそれを用いた撮像装置 | |
| KR100921427B1 (ko) | 영상 기반 내비게이션을 위한 가상차선을 생성하는 방법 및그 장치 | |
| CN106463051B (zh) | 信号机识别装置以及信号机识别方法 | |
| KR20120113579A (ko) | 길안내 정보의 윈드쉴드 표시 장치 및 그 방법 | |
| US20090274362A1 (en) | Road Image Analyzing Apparatus and Road Image Analyzing Method | |
| JP2012127896A (ja) | 移動***置測定装置 | |
| JP2009041972A (ja) | 画像処理装置及びその方法 | |
| KR100887721B1 (ko) | 영상 차량 항법 장치 및 방법 | |
| JP4596566B2 (ja) | 自車情報認識装置及び自車情報認識方法 | |
| JP2009211624A (ja) | 運転支援装置、運転支援方法及びコンピュータプログラム | |
| JP4760274B2 (ja) | 地図更新装置 | |
| JP3099691B2 (ja) | 走行路における対象物位置計測方法 | |
| JPH0935198A (ja) | 車両用走行路検出装置 | |
| JP2008014814A (ja) | 道路端部検出方法 | |
| JP4770367B2 (ja) | 車両位置検出システム | |
| JP2006164197A (ja) | 走行支援装置 | |
| JP4462533B2 (ja) | 路面走行レーン検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050324 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060324 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070228 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070426 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070613 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070710 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3986360 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100720 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110720 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110720 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120720 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120720 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130720 Year of fee payment: 6 |
|
| EXPY | Cancellation because of completion of term |