JP3820342B2 - 車載撮像装置 - Google Patents
車載撮像装置 Download PDFInfo
- Publication number
- JP3820342B2 JP3820342B2 JP2000263733A JP2000263733A JP3820342B2 JP 3820342 B2 JP3820342 B2 JP 3820342B2 JP 2000263733 A JP2000263733 A JP 2000263733A JP 2000263733 A JP2000263733 A JP 2000263733A JP 3820342 B2 JP3820342 B2 JP 3820342B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- angle
- mark position
- deviation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、車両の走行環境を認識するための撮像装置に係り、特に自動車の安全走行支援用に好適な車載撮像装置に関する。
【０００２】
【従来の技術】
近年、自動車など車両の走行環境を画像データにより認識し、車両の安全走行を支援する装置が注目を集めている。
そして、このような装置の一例に、特開平３−２０３０００号公報に開示されている環境認識装置がある。
【０００３】
ところで、このような走行環境認識装置では、例えばＣＣＤ(電荷結合素子)などの撮像デバイスを用いたビデオカメラから画像データを取込むようになっているが、この場合、画像データの取込みに使用するビデオカメラ(撮像手段)の取付位置、取付角度、画角(撮像範囲)などが変化してしまうと、画像データも変化してしまう。
【０００４】
そこで、このような装置では、カメラ(ビデオカメラ)の位置調整と画角調整が重要な要素になり、これらが常に正しい取付状態に調整され、その状態が保持されている必要があるが、このとき、従来技術では、雲台などカメラの取付機構を手作業により調整する方法が主として採用されていた。
【０００５】
従って、従来技術の場合、カメラの取付調整に煩雑な作業が必要で、多くの作業時間か費やされてしまう上、取付調整を終了して一旦固定した後でも、振動などによりカメラの調整が外れてしまう虞れがあるので、必ずしも精度が保持されているという保証がなかった。
【０００６】
そこで、この作業時間を短縮するため、例えば特開平１１−２５９６３２号公報では、ステレオカメラを用い、その調整のために、各カメラの画像から一般的な風景の中で３箇所に特徴点を決め、この特徴点を検出してカメラの光軸を調整する方法について開示しており、特開平８−１６９９９号公報では、単眼のカメラを対象として、その取付位置のずれの確認と、取付位置の調整のため、１箇所のマークを使用する方法について開示している。
【０００７】
【発明が解決しようとする課題】
上記従来技術は、カメラの調整に必要な要件の全てについて配慮がされているとは言えず、性能の向上を図り、高性能を保持する点に問題があった。
【０００８】
例えば、一般的な風景の中の２箇所の特徴点を抽出するようにした従来技術では、特徴点抽出などの処理工数が多く、多大な処理時間を要する上、微少な光軸のずれにしか対応できず、光軸が大きくずれた場合には、左右のカメラの対応点が検索できなくなり、更に、ステレオカメラに特化されているので、単眼のカメラを用いた装置には簡単に転用できないなどの問題があった。
【０００９】
また、１箇所の特徴点を抽出するようにした従来技術では、微少な光軸のずれにしか対応できないことの他に、回転のずれを検出できないという問題点があった。
本発明は、上記の問題点に鑑みてなされたもので、その目的は、撮像光軸や画角などが設計値に対してずれた場合にも自動的に対応できるようにした車載撮像装置を提供することにある。
【００１０】
【課題を解決するための手段】
上記目的は、レンズと取得可能画像領域が使用画像領域よりも広い撮像素子とを備え、車両の車体の一部に設けられた少なくとも２個の被写体を撮像する画像入力手段と、前記画像入力手段により撮像された画像における前記被写体の位置である現マーク位置と、前記画像入力手段の車両への取り付け時又は再設定時の前記被写体の撮像された画像上における位置である初期マーク位置と、の偏差に基づいて、前記画像入力手段の画角のずれ、若しくは画角と光軸のずれ、画角のずれ及び画像の回転、の少なくとも一つの初期状態からの変化を検出する手段とを備えたことにより達成される。
【００１１】
同じく上記目的は、レンズと取得可能画像領域が使用画像領域よりも広い撮像素子とを備え、車両の車体の一部に設けられた少なくとも２個の被写体を撮像する画像入力手段と、 前記画像入力手段により撮像された画像における前記被写体の位置である現マーク位置と、前記画像入力手段の車両への取り付け時又は再設定時の前記被写体の撮像された画像上における位置である初期マーク位置と、の偏差に基づいて、前記画像入力手段の画角のずれ、若しくは画角と光軸のずれ、画角のずれ及び画像の回転、の少なくとも一つの初期状態からの変化を検出する手段と、前記現マーク位置を前記初期マーク位置に一致させるように前記撮像素子の使用画像領域を変更する画像データ補正手段とを備えたことにより達成される。
【００１２】
このとき、基準モデルにより定めた初期マーク位置を記憶する記憶手段を備えるようにしてもよく、前記初期マーク位置と前記現マーク位置との偏差が並進ずれのみであるときは、前記画像データ補正手段は、前記現マーク位置を前記初期マーク位置に一致させるように前記撮像素子の使用画像領域を変更するようにしてもよい。
【００１３】
更に、このとき、前記初期マーク位置と前記現マーク位置との偏差が画像の回転を含むときは、前記画像データ補正手段は、撮像したデータの回転補正量を算出するようにしてもよく、前記現マーク位置が、前記撮像素子の取得可能画像領域の外にあるときは、補正不可能であることを示す信号を出力する手段を有するようにしてもよい。
【００１４】
なお、ここでは車両の走行環境認識装置を一例にして説明しているが、本発明は、カメラなどの撮像手段を用いた一般の環境認識装置にも適用可能なことはいうまでもない。
【００１５】
【発明の実施の形態】
以下、本発明による車載撮像装置について、図示の実施の形態により詳細に説明する。
はじめに、本発明によるカメラの光軸と画角及び画像の回転の何れかを検出し調整するための基本的な考え方について説明する。
まず、本発明では、カメラの光電変換面の全てを使用して画像データを取込むのではなくて、図１に示すように、撮像用のレンズ１０と撮像デバイス１１とを備えたカメラにおいて、必要とする画像データが矢印Ａで示す領域(以下、これを使用画像領域Ａ１という)であったとしたとき、図に破線で示してあるように、このカメラでは、領域Ａ１よりも広い撮像領域(以下、これを取得可能画像領域Ａ０という)が得られるように、予めレンズ１０の焦点距離と撮像デバイス１１の光電変換面の大きさを選らんでおいた上で、光電変換面で画像データを取込む領域を動かすようにしてある。
【００１６】
ここで、取得可能画像領域Ａ０とは、このとき使用されているカメラから画像データの取得が可能な光電変換面の全ての領域のことで、これは、このカメラが備えているレンズの写角と光電変換面の広さで決まり、使用画像領域Ａ１とは、この取得可能画像領域Ａ０の中で、実際に画像データの取込みに使用する領域のことであり、従って、これらについては、「Ａ０＞Ａ１」の関係が成立するように、レンズ１０には広角のレンズが用いられ、撮像デバイス１１を構成するＣＣＤセンサにも大きな光電変換面のものが用いられている。
【００１７】
このとき、本発明の実施形態では、ＣＣＤなどの一般的な撮像デバイスの光電変換面が画素と呼ばれる複数の光電変換素子で構成されていることを利用し、これらの画素の中で画像データを取込む画素を部分的に選択してやれば、撮像デバイス１１の光電変換面を実際に動かすことなく、画像データを取込む領域、つまり使用画像領域Ａ１が任意に変えられることになり、その選択すべき画素の選び方に応じてカメラの光軸と画角が変更でき、且つ、画像の回転が得られることになる。
【００１８】
図２は、本発明の第１の実施形態で、本発明による車載撮像装置を走行環境認識装置として用い、自動車のＡＣＣ(オートクルージングコントロール)制御に適用した場合の実施形態で、この図において、Ｍが自動車で、カメラ１は、この自動車Ｍの室内の天井部に、前方に向けて取付けてある。
【００１９】
ＡＥはカメラ１による撮像視野(エリア)を表わし、これによる撮像領域が上記した使用画像領域Ａ１であるが、このとき、自動車ＭのボンネットＭＢには、この撮像視野ＡＥに入るようにして、左右２箇所にマーク３が設けられている。
【００２０】
自動車Ｍ内には、ＡＣＣコントロールユニット４とディスプレイ装置５、ブレーキ駆動装置６、ステアリング駆動装置７、それにスロットル駆動装置８が設けてある。
【００２１】
そして、カメラ１はカメラ信号線４０によりＡＣＣ制御装置４に接続され、更にＡＣＣ制御装置４は、ディスプレイ信号線５０によりディスプレイ装置５に、ブレーキ駆動信号線６０によりブレーキ駆動装置６に、ステアリング駆動信号線７０によりステアリング駆動装置７に、そしてスロットル駆動信号線８０によりスロットル駆動装置８に、それぞれ接続されている。
【００２２】
図３はカメラ１の詳細で、図示のように、画像入力部１Ａと、画像演算部１Ｂに大別されている。
そして、まず、画像入力部１Ａは、レンズ１０と撮像デバイス１１、それにＣＣＤ出力信号変換処理部１２とを備え、自動車Ｍの走行方向の主として前方を撮像し、撮像した画像をディジタル出力する働きをする。
【００２３】
ここで、撮像デバイス１１には、１００万画素のＣＣＤセンサが用いられているが、ＣＭＯＳセンサを用いてもよい。
このとき、図１で説明したように、使用撮像領域Ａ１よりも広い取得可能画像領域Ａ０に対応した撮像視野ＡＥが得られるように、レンズ１０の焦点距離と撮像デバイス１１の大きさが選ばれている。
【００２４】
次に、画像演算部１Ｂは、画素単位で画像データを取込んで記憶する画像メモリ１３と画像データを変換する画像データ補正部１４、外部環境に対する自車両の相対位置を認識して演算する画像処理部１５、画像入力部１Ａの初期設定位置からの位置ずれを検出し判定するカメラ位置変化判定部１６、警報発令とブレーキ、ステアリング、スロットルの駆動を判断する危険回避判断部１７、それに判断結果を出力し車速などのデータを入力するデータ入出力部１８で構成されている。
【００２５】
そして、まず、画像処理部１５は、先行車認識部１５１と車間距離演算部１５２、自車レーン演算部１５３、それに自車レーンとの位置関係演算部１５４で構成されており、次に、カメラ位置変化判定部１６は、初期マーク位置記憶部１６１とマーク抽出部１６２、マーク位置検出部１６３、それに比較部１６４で構成されている。 また、危険回避判断部１７は、危険度判定部１７１と警報発令判断部１７２、アクチュエータ駆動判断部１７３で構成されている。
【００２６】
次に、この実施形態の動作について説明する。
まず、自動車のＡＣＣ制御における走行環境認識装置としての動作について説明すると、例えば１００万画素のＣＣＤを用いて取得可能画像領域Ａ０が得られるようにしてある撮像デバイス１１を用いて撮像した自車両前方の画像データは、ＣＣＤ出力信号変換処理部１２によりディジタルデータに変換され、画像メモリ１３に格納される。
【００２７】
そして、この画像メモリ１３に記憶したデータを画像処理部１５に入力し、このデータに基づいて、まず先行車認識部１５１で先行車の認識を行ない、次いで車間距離演算部１５２では車間距離が演算される。また、これと並行して、自車レーン認識部１５３と自車とレーンの位置関係演算部１５４では、自車レーンの認識と自車とレーンの位置関係が演算される。
そして、画像処理部１５によるこれらの演算結果は危険回避判断部１７に入力される。
【００２８】
危険回避判断部１７では、上記した演算結果に加え、ＡＣＣコントロールユニット４からデータ入出力部１８を介して、自動車Ｍの車速やステアリング角度などのデータを入力し、危険度判定部１７１により、これら演算結果とデータに基づいて、先行車への接近状態、自車とレーンの位置状態を判断する。
【００２９】
そして、自車が先行車に異常接近したり、自車レーンを逸脱しそうになったときには、警報発令判断部１７２により危険状態であると判断し、データ入出力部１８を介してディスプレイ装置５に所定の表示データを送り、運転者に危険状態であることを知らせる内容の表示を行なわせる。
【００３０】
一方、先行車との車間距離が変わったときは、アクチュエータ駆動判断部１７３により、先行車との車間距離を維持するようなスロットル制御又はブレーキ制御量を計算し、制御データをデータ入出力部１８からＡＣＣコントロールユニット４に送信する。
【００３１】
更に、自車が自車レーンの中央付近を外れて走行しているときは、アクチュエータ駆動判断部１７３で自車レーン中央付近を走行するのに必要なステアリング制御量を計算し、同じく制御データをデータ入出力部１８を介してＡＣＣコントロールユニット４に送信する。
【００３２】
以上は、この実施形態によるＡＣＣとしての一般的な動作であるが、次に、この実施形態の特徴であるカメラ位置変化判定部１６の動作について、図４と図５を用いて説明する。
図４において、このフローチャートによる処理が開始されたら、まず、ステップＳ１でカメラ１の位置について初期設定を行う。
【００３３】
この初期設定では、カメラ１の取付状態を調整して、撮像視野ＡＥが正しく得られているように固定する作業などが行なわれる。
図５(a)は、このときの初期設定の結果で、図示のように、取得可能画像領域Ａ０の真中に使用画像領域Ａ１が来るように、カメラ１の撮像視野ＡＥを設定するのである。
【００３４】
次に、ステップＳ２では、マーク３の位置を初期マーク位置記憶部１６１に記憶し、初期マーク位置Ｘとする。
この初期マーク位置Ｘの記憶は、カメラ１を撮像動作状態にし、画像データを取込んで処理し、図５(a)に示す使用画像領域Ａ１内でのマーク３を検出し、これを初期マーク３Ａとして、その位置Ｘを初期マーク位置記憶部１６１に格納してやればよい。
【００３５】
ここで、この初期マーク位置Ｘは、以後、再設定されるまで、そのまま繰返し使用される。従って、初期マーク位置記憶部１６１は、この装置全体に対する電源供給が停止したときでも記憶が保持できるように、書換可能なＲＯＭ、又はバックアップ電源を持ったＲＡＭが使用されている。
【００３６】
ここで、このステップＳ２までは、カメラ１を自動車Ｍに設置したとき実行される作業処理であるが、これ以降の処理は、上記した通常の走行環境認識装置としての動作と並行して、例えば所定のマイコンにより、所定のプログラムにより実行されるものであり、従って、ステップＳ３以降の処理は、自動車Ｍのアクセサリ電源が投入されたとき開始され、以後、電源が落とされるまで、画像メモリ１３に１フレーム分の画像データが書き込まれる毎に実行される。
【００３７】
まず、ステップＳ３では、マーク抽出部１６２とマーク位置検出部１６３により、画像メモリ１３に取込まれた画像データからマーク３の位置を検出し、これを現マーク３Ｂとし、その位置を現マーク位置Ｙとする処理を実行する。
次に、ステップＳ４では、比較部１６４により、現マーク位置Ｙを、初期マーク位置記憶部１６１に格納されているデータ、すなわち初期マーク位置Ｘと比較する。
【００３８】
そして、まず、検出したマーク３の位置が初期マーク位置と等しい場合、つまり「Ｘ＝Ｙ」のときはステップＳ５により、カメラ１の位置変化はないものと判断してステップＳ６に進み、以後、ステップＳ６からステップＳ８までの処理を実行した後、ステップＳ３に戻り、次のフレームの処理に移る。
ここで、これらのステップＳ６からステップＳ８までの処理が、上記した通常の走行環境認識装置としての動作のための処理である。
【００３９】
一方、ステップＳ５での結果がＮｏ(否定)になったとき、つまり「Ｘ≒Ｙ」のときは、図５(b)、(c)に示すように、初期マーク３Ａと現マーク３Ｂがずれていることになる。
そこで、このときは、ステップＳ９以降の処理に進み、まず、このステップＳ９では、初期マーク３Ａと現マーク３Ｂのずれ量が補正可能な範囲内にあるか否かを判断する。このときの判断、つまり、ずれ量が補正可能な範囲内にあるか否かの判断は、この実施形態では、現マーク３Ｂの位置Ｙが取得可能画像領域Ａ０内にあるか否かにより判定するようになっている。
【００４０】
そして、このステップＳ９での判定結果がＹｅｓ(肯定)になったときは、まずステップＳ１０で、ずれの補正に必要な補正量を算出する処理を実行する。
このとき、ずれの状態が図５(b)に示すように、平行なずれの場合は、並進補正量の算出処理になり、図５(c)に示すように、回転ずれの場合は、回転補正量の算出処理となる。
【００４１】
次にステップＳ１１では、画像データ補正部１４により、この算出された補正量に基づいて画像データを補正する。
そして、ステップＳ１１の処理を終えたらステップＳ６からステップＳ８の処理に合流し、このときは、補正された画像データにより、通常の走行環境認識装置としての処理を実行するのである。
一方、ステップＳ９の判定結果がＮｏになったとき、すなわち、ずれ量が大きすぎて、必要とする補正量が取得可能画像領域Ａ０を越えてしまったときは、ステップＳ１２に進む。
【００４２】
この結果、まずステップＳ１２で補正が不可能であるとし、続くステップＳ１３で、データ入出力処理部１８から補正不可能であることを表わす信号を出力させる。
そこで、このときは、ＡＣＣコントロールユニット４からディスプレイ装置５に所定の表示信号が供給され、この結果、ずれ補正が得られなくなっていることが運転者に報知されることになる。
【００４３】
従って、この第１の実施形態によれば、逐次、取込まれてくる画像データの中から、自動車ＭのボンネットＭＢに設けてあるマーク３の位置を検出し、これを初期位置と比較してカメラ１の位置変化を検出しているので、走行環境の変化の影響を受けることなく、常に確実にカメラ１の位置変化を検出することができ、画像データを的確に補正することができる。
【００４４】
つまり、こ実施形態の場合、一般的な風景の中からマークとなりうる特徴点を検索するのではなく、車両に設けてあるマークを検索しているため、走行環境によらず安定してカメラの軸調整ができるのである。
【００４５】
また、この第１の実施形態によれば、カメラ１を動かすことなく、逐次、自動的にカメラ１の光軸修正と画像の回転補正が与えられてゆくことになり、この結果、カメラの製造時や取付時、更には光軸や画角などが設計値から経時的にずれた場合にも自動的に対応でき、常に走行環境を正確に把握することができる。
【００４６】
そして、この結果、カメラ１を回転させるための機構部を必要としないため、重量、コスト、サイズが低減できる。
更に、２個のマークを使用しているので、並進ずれ(縦横に平行なずれ)だけではなく、回転方向のずれにも対応できる。
しかも、使用範囲よりも大きな撮像デバイスと広角なレンズを使用することにより、大きなずれ量にも対応することできる。
【００４７】
ところで、この第１の実施形態では、自動車のボンネットの左右２箇所に設けてあるマークを利用しているが、これ代えて、ボンネットに取り付けられたマスコットや、フロントガラスに貼られたシールなど、自車両に取付けられていて、２箇所のマークとして使用できるものであれば、同様の効果を得られることは言うまでもない。
【００４８】
ところで、上記第１の実施形態では、図４のステップＳ５での処理において、実際に撮像した画像データからマーク抽出部１６２によりマーク３の位置を算出し、これを、図３に破線で示してあるように、初期マーク位置Ｘとして初期マーク位置記憶部１６１に記憶する方法を採用していた。
【００４９】
しかし、この方法に代え、基準モデルとなるカメラを使用するなどして予め初期マーク位置Ｘを算出し、このデータをＲＯＭに書込んでおき、このＲＯＭを初期マーク位置記憶部１６１として用い、これを本発明の第２の実施形態としてもよい。
【００５０】
そして、この第２の実施形態の場合、図４におけるステップＳ２の処理が不要になる外は、上記した第１の実施形態の場合と同じ構成と処理でよく、この第２の実施形態による効果は以下の通りである。
【００５１】
第１の実施形態の場合、カメラ１を車両に取付けた後、経時的にずれた場合にしか対応できないが、この第２の実施形態では、ＲＯＭのデータと車両上のマーク位置を比較することにより、製造時や取付け時に発生した光軸のずれも併せて調整することができる。
【００５２】
次に、本発明の第３の実施形態について説明する。
まず、この第３の実施形態の場合、全体の構成は、図１〜図３で説明した第１の実施形態と同じであり、異なっている点は、その処理が、図６に示すようになっている点にある。
但し、この図６でも、ステップＳ１４とステップＳ１５が付加されている以外は、図４に示した第１の実施形態の場合と同じ処理になっている。
【００５３】
従って、この第３の実施形態でも、マーク３による画像の位置が初期位置からずれた場合、このずれ量に応じて画像データが補正される点は、第１の実施形態と同じである。
しかし、第１の実施形態では、一旦、カメラ１の光軸がずれると、処理が実行される毎にステップＳ１１による画像補正処理が加わるので、処理時間が多くかかってしまう。
【００５４】
一方、この図６による第３の実施形態では、ステップＳ５でマーク位置が初期位置とずれ、ステップＳ９で補正可能になり、ステップＳ１０で画像データ補正量を算出した際、その結果が、図７(a)に示すように、並進ずれだけの場合か否かをステップＳ１４で判定し、結果がＹｅｓの場合は、画像データの補正に代えて、ステップＳ１５により、図７(b)に示すように、使用画像領域Ａ１と初期マーク３Ａの位置Ｘを変更するのである。
【００５５】
このときの使用画像領域Ａ１と初期マーク３Ａの位置Ｘの変更は、既に説明してあるように、撮像デバイス１１の光電変換面における画素の中で、実際に画像データを取込む画素を部分的に選択することにより実行すればよい。
この結果、次の画像データが取込まれたときは、現マーク３Ｂの位置Ｙは初期マーク位置Ｘに一致し、ステップＳ５での結果はＹｅｓになるので、画像データの補正は行われず、取り込んだ画像のままでステップＳ６からステップＳ８までの処理が実行されることになる。
【００５６】
一方、ずれが並進ずれに限らなかったときは、ステップＳ１４での判定結果がＮｏになるので、図４の第１の実施形態の場合と同じく、ステップＳ１１による画像データの補正処理が実行されることになる。
従って、この第３の実施形態の場合、第１の実施形態と同じ効果に加えて、並進成分のみのずれのときは、画像データの補正は行なわず、使用領域を変更するたけなので、計算量を少なくすることができる。
【００５７】
次に、本発明の第４の実施形態について説明する。
例えば製造や取付に際して、カメラ１の画角が変わってしまうことがあるが、この第４の実施形態は、このようなカメラの画角変化に対応し、これによる影響が抑えられるようにしたものである。
【００５８】
まず、この第４の実施形態の場合も、全体の構成は、図１〜図３で説明した第１の実施形態と同じであり、異なっている点は、図４の処理における初期設定処理、つまりステップＳ１からステップＳ３までの処理に、図８に示すように、ステップＳ２０とステップＳ２１の処理が付加されている点にある。
従って、この第４の実施形態でも、マーク３による画像の位置が初期位置からずれた場合、このずれ量に応じて画像データが補正される点は、第１の実施形態と同じである。
【００５９】
次に、この第４の実施形態の動作について説明すると、この場合、図８に示すステップＳ２０とステップＳ２１が付加された結果、初期設定処理の中で、まずステップＳ２０により画角検出処理が実行される。
上記したように、カメラ１の画角が変わって、例えば画角が広がってしまったとすると、図９(a)に示すように、左右にある現マーク３Ｂの間隔が狭まって、初期マーク３Ａの内側にずれてしまう。
【００６０】
従って、この内側へのずれにより画角が広がってしまったことが検出でき、ずれの大きさにより、拡がりの度合いが算出できる。
そこで、次のステップＳ２１で画像データの取り込み範囲を調整し、このときは、図９(b)に示すように、使用画像領域Ａ１を狭くするのである。
【００６１】
一方、カメラ１の画角が狭まってしまったとすると、今度は図９(a)とは反対に、左右にある現マーク３Ｂの間隔が広がって、初期マーク３Ａの外側にずれてしまう。
そこで、このときは、外側へのずれにより画角が狭まってしまったことが検出でき、同じくずれの大きさにより、狭まりの度合いが算出できるので、ステップＳ２１では、図９(b)とは反対に、使用画像領域Ａ１を広くするのである。
【００６２】
このときのステップＳ２１による調整処理、つまり使用画像領域Ａ１を拡げる処理と狭める処理については、これも既に説明してあるように、撮像デバイス１１の光電変換面における画素の中で、実際に画像データを取込む画素を部分的に選択することにより実行すればよい。
【００６３】
そして、この後、ステップＳ３に進むので、以後は図４の場合と同じ動作になる。
従って、この第４の実施形態によれば、上記した第１の実施形態による効果に加えて、カメラ１の画角の変化にも自動的に対応することができる。
【００６４】
次に、本発明の第５の実施形態について説明する。
ここで、この第５の実施形態は、カメラ１の画角を切換え、広い視野と狭い視野の２種の画像データを取込み、車両の走行環境を認識するようにした装置に、本発明を適用したものである。
【００６５】
従って、この第５の実施形態の場合、図３のブロック構成において、画像処理部１５が、図１０に示す画像処理部１５Ａに置き換えてある点を除けば、全体の構成は、図１〜図３で説明した第１の実施形態と同じであり、そして、この画像処理部１５Ａが、画像処理部１５と異なっている点は、隣接レーン認識部１５５と隣接車動作演算部１５６が付加されている点だけである。
【００６６】
従って、この第５の実施形態でも、マーク３による画像の位置が初期位置からずれた場合、このずれ量に応じて画像データが補正される点は、第１の実施形態と同じであるが、この後、図４のステップＳ６において、画像処理部１５による処理の実行と共に、隣接レーン認識部１５５と隣接車動作演算部１５６による処理が、図１１に示すようにして実行されることになる。
【００６７】
そこで、以下、この図１１による処理について、図１２を併用しながら説明する。
まず、ステップＳ６１では、隣接レーン認識部１５５により広角画像取得処理を実行し、隣接車が認識されるか否かを調べる。
このため、まず、図１２(a)に示すように、取得可能画像領域Ａ０の中に、かなり広い使用画像領域Ａ１(Ｗ)を選択する。
【００６８】
そして、画像データ補正部１４から与えられる１フレーム分の画像データの中から、この広角使用画像領域Ａ１(Ｗ)内にある画像データを取込む。
そうすると、図１２(a)から明らかなように、広角の画像になった結果、隣接車線も視野に入り、そこからの情報も取得できるようになるので、ここで隣接車線の車両、すなわち隣接車を認識するのである。
【００６９】
次に、ステップＳ６２では、隣接車動作演算部１５６により画像処理を実行させ、隣接車有りの場合、認識した隣接車の動きを画像処理により解析し、この隣接車が自車両レーンに割込んでくるか否かを判断する。
次に、ステップＳ６３では、先行車認識部１５１により、今度は狭角画像取得処理を実行し、先行車が認識されるか否かを調べる。
すなわち、今度は、まず、図１２(b)に示すように、取得可能画像領域Ａ０の中に、比較的狭い使用画像領域Ａ１(Ｔ)を選択する。
【００７０】
そして、画像データ補正部１４から与えられる１フレーム分の画像データの中から、この狭角使用画像領域Ａ１(Ｔ)内にある画像データを取込む。
そうすると、図１２(b)から明らかなように、今度は、狭角の画像になった結果、遠方が拡大され、遠方の画像からでも詳細な情報が容易に取得できるようになるので、ここで自車に先行する車両、すなわち先行車を認識するのである。
【００７１】
次に、ステップＳ６４では、車間距離演算部１５２による画像処理を実行し、先行車ありの場合、この先行車までの距離、つまり車間距離を演算する。
なお、ここでの車間距離の演算には、例えば画像内での先行車の大きさを、予め想定されている実際の車両の大きさと比較する方法を用いてやればよい。
こうして、ステップＳ６１からステップＳ６４までの処理を終えたら、ステップＳ７に進み、処理を終了する。
【００７２】
そして、この後は、ステップＳ７で、危険回避判断部１７により隣接車及び先行車と自車の状況が調べられ、その結果に応じて警報を発令するか、アクチュエータを動作させるかが判断され、次いでステップＳ８で、判断結果がデータ入出力処理部１８から出力されることになる。
【００７３】
従って、この第５の実施形態によれば、カメラ１のレンズに交換機構を用いたり、ズームレンズを用いたりすることなく、広い視野と狭い視野の２種の画像データの使い分けができることになり、この結果、カメラ１の重量とコストの低減が充分に図れることになる。
【００７４】
なお、この第５の実施形態では、例えば１００万画素の撮像デバイス１１を使用しているため、狭角画像の場合でも、標準画素撮像デバイス(例えば２５万画素)を使用しているカメラに比べ、情報量の欠落がほとんど無くてすむ。
ところで、上記の説明では、広角画像と狭角画像の２種類の画像を使用した場合の実施形態について述べたが、本発明は、２種類の画像だけではなく、複数の画像にも対応できることは言うまでもない。
【００７５】
ところで、以上の第５の実施形態において、広角画像の場合と狭角画像の場合で、撮像デバイス１１の光電変換面から画像データを取込むための画素の個数が同じになるようにしてもよく、この場合を第６の実施形態とし、以下、この第６の実施形態について説明する。
【００７６】
まず、ここで、いま撮像デバイス１１の光電変換面にある画素が、全体では、つまり取得可能画像領域Ａ０では、図１３(a)に模式的に示すようになっていたとする。
そして、この場合、広角使用画像領域Ａ１(Ｗ)のときは、画像データを取込むとき、図１３(b)に示すように、１画素おきに間引いて取込むようにし、狭角使用画像領域Ａ１(Ｔ)のときは、同図(c)に示すように、この領域Ａ１(Ｔ)内にある全ての画素から画像データを取込むようにするのである。
【００７７】
ここで、この第６の実施形態の狙いは、広角画像の場合と狭角画像の場合とで処理すべき画素数がなるべく同じになるようにする点にあり、その理由は、何れの場合でも情報量が同等で、処理時間も同等になるようにするためである。
【００７８】
本発明の実施形態では、例えば１００万画素など、画素数の多い撮像デバイスを使用するのが望ましいが、このため、上記のように、１画素おきに間引いても狭角画像と同等の情報量を取得することができ、画素を間引くことにより広角画像にかかる処理時間を狭角画像と同等のレベルにすることができる。
【００７９】
ここで、上記の場合、広角使用画像領域Ａ１(Ｗ)のときは１画素おきに間引いた画像を用いたが、本発明では、使用画像サイズに応じて間引き数を変更してもよく、狭角画像と広角画像の中間の画像でも同等の効果を得ることができることは言うまでもない。
【００８０】
【発明の効果】
本発明によれば、車載撮像装置で使用するカメラに広角のレンズと画素数の多い撮像デバイスを使用するだけで、製造、取付時に発生した光軸や画角のずれ、画像の回転の補正は勿論、取付後、経時的に発生した光軸や画角のずれ、画像の回転の補正についても、自動的に修正することができる。
【００８１】
また、本発明によれば、使用画面領域を変えることもできるので、情報量を変えずに狭角画像から広角画像まで取得でき、多種多様な画像処理を容易に行うことができる。
【図面の簡単な説明】
【図１】本発明の原理を説明するための概略図である。
【図２】本発明による車載撮像装置を自動車のオートクルージング装置に適用した場合の一実施形態を示す全体構成図である。
【図３】本発明による車載撮像装置を自動車のオートクルージング装置に適用した場合の一実施形態を示すブロック図である。
【図４】本発明の第１の実施形態の動作を説明するためのフローチャートである。
【図５】本発明の第１の実施形態の動作を説明するための画像ウィンドウ図である。
【図６】本発明の第３の実施形態の動作を説明するためのフローチャートである。
【図７】本発明の第３の実施形態の動作を説明するため画像ウィンドウ図である。
【図８】本発明の第４の実施形態の動作を説明するためのフローチャートである。
【図９】本発明の第４の実施形態の動作を説明するための画像ウィンドウ図である。
【図１０】本発明の第５の実施形態における構成の一部を示すブロック図である。
【図１１】本発明の第５の実施形態の動作を説明するためのフローチャートである。
【図１２】本発明の第５の実施形態の動作を説明するための画像ウィンドウ図である。
【図１３】本発明の第６の実施形態の動作を説明するための撮像デバイスの画素を表わす模式図である。
【符号の説明】
１ カメラ
３ マーク
３Ａ 現マーク(現マークの画像)
３Ｂ 初期マーク(初期マークの画像)
１０ レンズ
１１ 撮像デバイス
Ａ０ 取得可能画像領域
Ａ１ 使用画面領域
【発明の属する技術分野】
本発明は、車両の走行環境を認識するための撮像装置に係り、特に自動車の安全走行支援用に好適な車載撮像装置に関する。
【０００２】
【従来の技術】
近年、自動車など車両の走行環境を画像データにより認識し、車両の安全走行を支援する装置が注目を集めている。
そして、このような装置の一例に、特開平３−２０３０００号公報に開示されている環境認識装置がある。
【０００３】
ところで、このような走行環境認識装置では、例えばＣＣＤ(電荷結合素子)などの撮像デバイスを用いたビデオカメラから画像データを取込むようになっているが、この場合、画像データの取込みに使用するビデオカメラ(撮像手段)の取付位置、取付角度、画角(撮像範囲)などが変化してしまうと、画像データも変化してしまう。
【０００４】
そこで、このような装置では、カメラ(ビデオカメラ)の位置調整と画角調整が重要な要素になり、これらが常に正しい取付状態に調整され、その状態が保持されている必要があるが、このとき、従来技術では、雲台などカメラの取付機構を手作業により調整する方法が主として採用されていた。
【０００５】
従って、従来技術の場合、カメラの取付調整に煩雑な作業が必要で、多くの作業時間か費やされてしまう上、取付調整を終了して一旦固定した後でも、振動などによりカメラの調整が外れてしまう虞れがあるので、必ずしも精度が保持されているという保証がなかった。
【０００６】
そこで、この作業時間を短縮するため、例えば特開平１１−２５９６３２号公報では、ステレオカメラを用い、その調整のために、各カメラの画像から一般的な風景の中で３箇所に特徴点を決め、この特徴点を検出してカメラの光軸を調整する方法について開示しており、特開平８−１６９９９号公報では、単眼のカメラを対象として、その取付位置のずれの確認と、取付位置の調整のため、１箇所のマークを使用する方法について開示している。
【０００７】
【発明が解決しようとする課題】
上記従来技術は、カメラの調整に必要な要件の全てについて配慮がされているとは言えず、性能の向上を図り、高性能を保持する点に問題があった。
【０００８】
例えば、一般的な風景の中の２箇所の特徴点を抽出するようにした従来技術では、特徴点抽出などの処理工数が多く、多大な処理時間を要する上、微少な光軸のずれにしか対応できず、光軸が大きくずれた場合には、左右のカメラの対応点が検索できなくなり、更に、ステレオカメラに特化されているので、単眼のカメラを用いた装置には簡単に転用できないなどの問題があった。
【０００９】
また、１箇所の特徴点を抽出するようにした従来技術では、微少な光軸のずれにしか対応できないことの他に、回転のずれを検出できないという問題点があった。
本発明は、上記の問題点に鑑みてなされたもので、その目的は、撮像光軸や画角などが設計値に対してずれた場合にも自動的に対応できるようにした車載撮像装置を提供することにある。
【００１０】
【課題を解決するための手段】
上記目的は、レンズと取得可能画像領域が使用画像領域よりも広い撮像素子とを備え、車両の車体の一部に設けられた少なくとも２個の被写体を撮像する画像入力手段と、前記画像入力手段により撮像された画像における前記被写体の位置である現マーク位置と、前記画像入力手段の車両への取り付け時又は再設定時の前記被写体の撮像された画像上における位置である初期マーク位置と、の偏差に基づいて、前記画像入力手段の画角のずれ、若しくは画角と光軸のずれ、画角のずれ及び画像の回転、の少なくとも一つの初期状態からの変化を検出する手段とを備えたことにより達成される。
【００１１】
同じく上記目的は、レンズと取得可能画像領域が使用画像領域よりも広い撮像素子とを備え、車両の車体の一部に設けられた少なくとも２個の被写体を撮像する画像入力手段と、 前記画像入力手段により撮像された画像における前記被写体の位置である現マーク位置と、前記画像入力手段の車両への取り付け時又は再設定時の前記被写体の撮像された画像上における位置である初期マーク位置と、の偏差に基づいて、前記画像入力手段の画角のずれ、若しくは画角と光軸のずれ、画角のずれ及び画像の回転、の少なくとも一つの初期状態からの変化を検出する手段と、前記現マーク位置を前記初期マーク位置に一致させるように前記撮像素子の使用画像領域を変更する画像データ補正手段とを備えたことにより達成される。
【００１２】
このとき、基準モデルにより定めた初期マーク位置を記憶する記憶手段を備えるようにしてもよく、前記初期マーク位置と前記現マーク位置との偏差が並進ずれのみであるときは、前記画像データ補正手段は、前記現マーク位置を前記初期マーク位置に一致させるように前記撮像素子の使用画像領域を変更するようにしてもよい。
【００１３】
更に、このとき、前記初期マーク位置と前記現マーク位置との偏差が画像の回転を含むときは、前記画像データ補正手段は、撮像したデータの回転補正量を算出するようにしてもよく、前記現マーク位置が、前記撮像素子の取得可能画像領域の外にあるときは、補正不可能であることを示す信号を出力する手段を有するようにしてもよい。
【００１４】
なお、ここでは車両の走行環境認識装置を一例にして説明しているが、本発明は、カメラなどの撮像手段を用いた一般の環境認識装置にも適用可能なことはいうまでもない。
【００１５】
【発明の実施の形態】
以下、本発明による車載撮像装置について、図示の実施の形態により詳細に説明する。
はじめに、本発明によるカメラの光軸と画角及び画像の回転の何れかを検出し調整するための基本的な考え方について説明する。
まず、本発明では、カメラの光電変換面の全てを使用して画像データを取込むのではなくて、図１に示すように、撮像用のレンズ１０と撮像デバイス１１とを備えたカメラにおいて、必要とする画像データが矢印Ａで示す領域(以下、これを使用画像領域Ａ１という)であったとしたとき、図に破線で示してあるように、このカメラでは、領域Ａ１よりも広い撮像領域(以下、これを取得可能画像領域Ａ０という)が得られるように、予めレンズ１０の焦点距離と撮像デバイス１１の光電変換面の大きさを選らんでおいた上で、光電変換面で画像データを取込む領域を動かすようにしてある。
【００１６】
ここで、取得可能画像領域Ａ０とは、このとき使用されているカメラから画像データの取得が可能な光電変換面の全ての領域のことで、これは、このカメラが備えているレンズの写角と光電変換面の広さで決まり、使用画像領域Ａ１とは、この取得可能画像領域Ａ０の中で、実際に画像データの取込みに使用する領域のことであり、従って、これらについては、「Ａ０＞Ａ１」の関係が成立するように、レンズ１０には広角のレンズが用いられ、撮像デバイス１１を構成するＣＣＤセンサにも大きな光電変換面のものが用いられている。
【００１７】
このとき、本発明の実施形態では、ＣＣＤなどの一般的な撮像デバイスの光電変換面が画素と呼ばれる複数の光電変換素子で構成されていることを利用し、これらの画素の中で画像データを取込む画素を部分的に選択してやれば、撮像デバイス１１の光電変換面を実際に動かすことなく、画像データを取込む領域、つまり使用画像領域Ａ１が任意に変えられることになり、その選択すべき画素の選び方に応じてカメラの光軸と画角が変更でき、且つ、画像の回転が得られることになる。
【００１８】
図２は、本発明の第１の実施形態で、本発明による車載撮像装置を走行環境認識装置として用い、自動車のＡＣＣ(オートクルージングコントロール)制御に適用した場合の実施形態で、この図において、Ｍが自動車で、カメラ１は、この自動車Ｍの室内の天井部に、前方に向けて取付けてある。
【００１９】
ＡＥはカメラ１による撮像視野(エリア)を表わし、これによる撮像領域が上記した使用画像領域Ａ１であるが、このとき、自動車ＭのボンネットＭＢには、この撮像視野ＡＥに入るようにして、左右２箇所にマーク３が設けられている。
【００２０】
自動車Ｍ内には、ＡＣＣコントロールユニット４とディスプレイ装置５、ブレーキ駆動装置６、ステアリング駆動装置７、それにスロットル駆動装置８が設けてある。
【００２１】
そして、カメラ１はカメラ信号線４０によりＡＣＣ制御装置４に接続され、更にＡＣＣ制御装置４は、ディスプレイ信号線５０によりディスプレイ装置５に、ブレーキ駆動信号線６０によりブレーキ駆動装置６に、ステアリング駆動信号線７０によりステアリング駆動装置７に、そしてスロットル駆動信号線８０によりスロットル駆動装置８に、それぞれ接続されている。
【００２２】
図３はカメラ１の詳細で、図示のように、画像入力部１Ａと、画像演算部１Ｂに大別されている。
そして、まず、画像入力部１Ａは、レンズ１０と撮像デバイス１１、それにＣＣＤ出力信号変換処理部１２とを備え、自動車Ｍの走行方向の主として前方を撮像し、撮像した画像をディジタル出力する働きをする。
【００２３】
ここで、撮像デバイス１１には、１００万画素のＣＣＤセンサが用いられているが、ＣＭＯＳセンサを用いてもよい。
このとき、図１で説明したように、使用撮像領域Ａ１よりも広い取得可能画像領域Ａ０に対応した撮像視野ＡＥが得られるように、レンズ１０の焦点距離と撮像デバイス１１の大きさが選ばれている。
【００２４】
次に、画像演算部１Ｂは、画素単位で画像データを取込んで記憶する画像メモリ１３と画像データを変換する画像データ補正部１４、外部環境に対する自車両の相対位置を認識して演算する画像処理部１５、画像入力部１Ａの初期設定位置からの位置ずれを検出し判定するカメラ位置変化判定部１６、警報発令とブレーキ、ステアリング、スロットルの駆動を判断する危険回避判断部１７、それに判断結果を出力し車速などのデータを入力するデータ入出力部１８で構成されている。
【００２５】
そして、まず、画像処理部１５は、先行車認識部１５１と車間距離演算部１５２、自車レーン演算部１５３、それに自車レーンとの位置関係演算部１５４で構成されており、次に、カメラ位置変化判定部１６は、初期マーク位置記憶部１６１とマーク抽出部１６２、マーク位置検出部１６３、それに比較部１６４で構成されている。 また、危険回避判断部１７は、危険度判定部１７１と警報発令判断部１７２、アクチュエータ駆動判断部１７３で構成されている。
【００２６】
次に、この実施形態の動作について説明する。
まず、自動車のＡＣＣ制御における走行環境認識装置としての動作について説明すると、例えば１００万画素のＣＣＤを用いて取得可能画像領域Ａ０が得られるようにしてある撮像デバイス１１を用いて撮像した自車両前方の画像データは、ＣＣＤ出力信号変換処理部１２によりディジタルデータに変換され、画像メモリ１３に格納される。
【００２７】
そして、この画像メモリ１３に記憶したデータを画像処理部１５に入力し、このデータに基づいて、まず先行車認識部１５１で先行車の認識を行ない、次いで車間距離演算部１５２では車間距離が演算される。また、これと並行して、自車レーン認識部１５３と自車とレーンの位置関係演算部１５４では、自車レーンの認識と自車とレーンの位置関係が演算される。
そして、画像処理部１５によるこれらの演算結果は危険回避判断部１７に入力される。
【００２８】
危険回避判断部１７では、上記した演算結果に加え、ＡＣＣコントロールユニット４からデータ入出力部１８を介して、自動車Ｍの車速やステアリング角度などのデータを入力し、危険度判定部１７１により、これら演算結果とデータに基づいて、先行車への接近状態、自車とレーンの位置状態を判断する。
【００２９】
そして、自車が先行車に異常接近したり、自車レーンを逸脱しそうになったときには、警報発令判断部１７２により危険状態であると判断し、データ入出力部１８を介してディスプレイ装置５に所定の表示データを送り、運転者に危険状態であることを知らせる内容の表示を行なわせる。
【００３０】
一方、先行車との車間距離が変わったときは、アクチュエータ駆動判断部１７３により、先行車との車間距離を維持するようなスロットル制御又はブレーキ制御量を計算し、制御データをデータ入出力部１８からＡＣＣコントロールユニット４に送信する。
【００３１】
更に、自車が自車レーンの中央付近を外れて走行しているときは、アクチュエータ駆動判断部１７３で自車レーン中央付近を走行するのに必要なステアリング制御量を計算し、同じく制御データをデータ入出力部１８を介してＡＣＣコントロールユニット４に送信する。
【００３２】
以上は、この実施形態によるＡＣＣとしての一般的な動作であるが、次に、この実施形態の特徴であるカメラ位置変化判定部１６の動作について、図４と図５を用いて説明する。
図４において、このフローチャートによる処理が開始されたら、まず、ステップＳ１でカメラ１の位置について初期設定を行う。
【００３３】
この初期設定では、カメラ１の取付状態を調整して、撮像視野ＡＥが正しく得られているように固定する作業などが行なわれる。
図５(a)は、このときの初期設定の結果で、図示のように、取得可能画像領域Ａ０の真中に使用画像領域Ａ１が来るように、カメラ１の撮像視野ＡＥを設定するのである。
【００３４】
次に、ステップＳ２では、マーク３の位置を初期マーク位置記憶部１６１に記憶し、初期マーク位置Ｘとする。
この初期マーク位置Ｘの記憶は、カメラ１を撮像動作状態にし、画像データを取込んで処理し、図５(a)に示す使用画像領域Ａ１内でのマーク３を検出し、これを初期マーク３Ａとして、その位置Ｘを初期マーク位置記憶部１６１に格納してやればよい。
【００３５】
ここで、この初期マーク位置Ｘは、以後、再設定されるまで、そのまま繰返し使用される。従って、初期マーク位置記憶部１６１は、この装置全体に対する電源供給が停止したときでも記憶が保持できるように、書換可能なＲＯＭ、又はバックアップ電源を持ったＲＡＭが使用されている。
【００３６】
ここで、このステップＳ２までは、カメラ１を自動車Ｍに設置したとき実行される作業処理であるが、これ以降の処理は、上記した通常の走行環境認識装置としての動作と並行して、例えば所定のマイコンにより、所定のプログラムにより実行されるものであり、従って、ステップＳ３以降の処理は、自動車Ｍのアクセサリ電源が投入されたとき開始され、以後、電源が落とされるまで、画像メモリ１３に１フレーム分の画像データが書き込まれる毎に実行される。
【００３７】
まず、ステップＳ３では、マーク抽出部１６２とマーク位置検出部１６３により、画像メモリ１３に取込まれた画像データからマーク３の位置を検出し、これを現マーク３Ｂとし、その位置を現マーク位置Ｙとする処理を実行する。
次に、ステップＳ４では、比較部１６４により、現マーク位置Ｙを、初期マーク位置記憶部１６１に格納されているデータ、すなわち初期マーク位置Ｘと比較する。
【００３８】
そして、まず、検出したマーク３の位置が初期マーク位置と等しい場合、つまり「Ｘ＝Ｙ」のときはステップＳ５により、カメラ１の位置変化はないものと判断してステップＳ６に進み、以後、ステップＳ６からステップＳ８までの処理を実行した後、ステップＳ３に戻り、次のフレームの処理に移る。
ここで、これらのステップＳ６からステップＳ８までの処理が、上記した通常の走行環境認識装置としての動作のための処理である。
【００３９】
一方、ステップＳ５での結果がＮｏ(否定)になったとき、つまり「Ｘ≒Ｙ」のときは、図５(b)、(c)に示すように、初期マーク３Ａと現マーク３Ｂがずれていることになる。
そこで、このときは、ステップＳ９以降の処理に進み、まず、このステップＳ９では、初期マーク３Ａと現マーク３Ｂのずれ量が補正可能な範囲内にあるか否かを判断する。このときの判断、つまり、ずれ量が補正可能な範囲内にあるか否かの判断は、この実施形態では、現マーク３Ｂの位置Ｙが取得可能画像領域Ａ０内にあるか否かにより判定するようになっている。
【００４０】
そして、このステップＳ９での判定結果がＹｅｓ(肯定)になったときは、まずステップＳ１０で、ずれの補正に必要な補正量を算出する処理を実行する。
このとき、ずれの状態が図５(b)に示すように、平行なずれの場合は、並進補正量の算出処理になり、図５(c)に示すように、回転ずれの場合は、回転補正量の算出処理となる。
【００４１】
次にステップＳ１１では、画像データ補正部１４により、この算出された補正量に基づいて画像データを補正する。
そして、ステップＳ１１の処理を終えたらステップＳ６からステップＳ８の処理に合流し、このときは、補正された画像データにより、通常の走行環境認識装置としての処理を実行するのである。
一方、ステップＳ９の判定結果がＮｏになったとき、すなわち、ずれ量が大きすぎて、必要とする補正量が取得可能画像領域Ａ０を越えてしまったときは、ステップＳ１２に進む。
【００４２】
この結果、まずステップＳ１２で補正が不可能であるとし、続くステップＳ１３で、データ入出力処理部１８から補正不可能であることを表わす信号を出力させる。
そこで、このときは、ＡＣＣコントロールユニット４からディスプレイ装置５に所定の表示信号が供給され、この結果、ずれ補正が得られなくなっていることが運転者に報知されることになる。
【００４３】
従って、この第１の実施形態によれば、逐次、取込まれてくる画像データの中から、自動車ＭのボンネットＭＢに設けてあるマーク３の位置を検出し、これを初期位置と比較してカメラ１の位置変化を検出しているので、走行環境の変化の影響を受けることなく、常に確実にカメラ１の位置変化を検出することができ、画像データを的確に補正することができる。
【００４４】
つまり、こ実施形態の場合、一般的な風景の中からマークとなりうる特徴点を検索するのではなく、車両に設けてあるマークを検索しているため、走行環境によらず安定してカメラの軸調整ができるのである。
【００４５】
また、この第１の実施形態によれば、カメラ１を動かすことなく、逐次、自動的にカメラ１の光軸修正と画像の回転補正が与えられてゆくことになり、この結果、カメラの製造時や取付時、更には光軸や画角などが設計値から経時的にずれた場合にも自動的に対応でき、常に走行環境を正確に把握することができる。
【００４６】
そして、この結果、カメラ１を回転させるための機構部を必要としないため、重量、コスト、サイズが低減できる。
更に、２個のマークを使用しているので、並進ずれ(縦横に平行なずれ)だけではなく、回転方向のずれにも対応できる。
しかも、使用範囲よりも大きな撮像デバイスと広角なレンズを使用することにより、大きなずれ量にも対応することできる。
【００４７】
ところで、この第１の実施形態では、自動車のボンネットの左右２箇所に設けてあるマークを利用しているが、これ代えて、ボンネットに取り付けられたマスコットや、フロントガラスに貼られたシールなど、自車両に取付けられていて、２箇所のマークとして使用できるものであれば、同様の効果を得られることは言うまでもない。
【００４８】
ところで、上記第１の実施形態では、図４のステップＳ５での処理において、実際に撮像した画像データからマーク抽出部１６２によりマーク３の位置を算出し、これを、図３に破線で示してあるように、初期マーク位置Ｘとして初期マーク位置記憶部１６１に記憶する方法を採用していた。
【００４９】
しかし、この方法に代え、基準モデルとなるカメラを使用するなどして予め初期マーク位置Ｘを算出し、このデータをＲＯＭに書込んでおき、このＲＯＭを初期マーク位置記憶部１６１として用い、これを本発明の第２の実施形態としてもよい。
【００５０】
そして、この第２の実施形態の場合、図４におけるステップＳ２の処理が不要になる外は、上記した第１の実施形態の場合と同じ構成と処理でよく、この第２の実施形態による効果は以下の通りである。
【００５１】
第１の実施形態の場合、カメラ１を車両に取付けた後、経時的にずれた場合にしか対応できないが、この第２の実施形態では、ＲＯＭのデータと車両上のマーク位置を比較することにより、製造時や取付け時に発生した光軸のずれも併せて調整することができる。
【００５２】
次に、本発明の第３の実施形態について説明する。
まず、この第３の実施形態の場合、全体の構成は、図１〜図３で説明した第１の実施形態と同じであり、異なっている点は、その処理が、図６に示すようになっている点にある。
但し、この図６でも、ステップＳ１４とステップＳ１５が付加されている以外は、図４に示した第１の実施形態の場合と同じ処理になっている。
【００５３】
従って、この第３の実施形態でも、マーク３による画像の位置が初期位置からずれた場合、このずれ量に応じて画像データが補正される点は、第１の実施形態と同じである。
しかし、第１の実施形態では、一旦、カメラ１の光軸がずれると、処理が実行される毎にステップＳ１１による画像補正処理が加わるので、処理時間が多くかかってしまう。
【００５４】
一方、この図６による第３の実施形態では、ステップＳ５でマーク位置が初期位置とずれ、ステップＳ９で補正可能になり、ステップＳ１０で画像データ補正量を算出した際、その結果が、図７(a)に示すように、並進ずれだけの場合か否かをステップＳ１４で判定し、結果がＹｅｓの場合は、画像データの補正に代えて、ステップＳ１５により、図７(b)に示すように、使用画像領域Ａ１と初期マーク３Ａの位置Ｘを変更するのである。
【００５５】
このときの使用画像領域Ａ１と初期マーク３Ａの位置Ｘの変更は、既に説明してあるように、撮像デバイス１１の光電変換面における画素の中で、実際に画像データを取込む画素を部分的に選択することにより実行すればよい。
この結果、次の画像データが取込まれたときは、現マーク３Ｂの位置Ｙは初期マーク位置Ｘに一致し、ステップＳ５での結果はＹｅｓになるので、画像データの補正は行われず、取り込んだ画像のままでステップＳ６からステップＳ８までの処理が実行されることになる。
【００５６】
一方、ずれが並進ずれに限らなかったときは、ステップＳ１４での判定結果がＮｏになるので、図４の第１の実施形態の場合と同じく、ステップＳ１１による画像データの補正処理が実行されることになる。
従って、この第３の実施形態の場合、第１の実施形態と同じ効果に加えて、並進成分のみのずれのときは、画像データの補正は行なわず、使用領域を変更するたけなので、計算量を少なくすることができる。
【００５７】
次に、本発明の第４の実施形態について説明する。
例えば製造や取付に際して、カメラ１の画角が変わってしまうことがあるが、この第４の実施形態は、このようなカメラの画角変化に対応し、これによる影響が抑えられるようにしたものである。
【００５８】
まず、この第４の実施形態の場合も、全体の構成は、図１〜図３で説明した第１の実施形態と同じであり、異なっている点は、図４の処理における初期設定処理、つまりステップＳ１からステップＳ３までの処理に、図８に示すように、ステップＳ２０とステップＳ２１の処理が付加されている点にある。
従って、この第４の実施形態でも、マーク３による画像の位置が初期位置からずれた場合、このずれ量に応じて画像データが補正される点は、第１の実施形態と同じである。
【００５９】
次に、この第４の実施形態の動作について説明すると、この場合、図８に示すステップＳ２０とステップＳ２１が付加された結果、初期設定処理の中で、まずステップＳ２０により画角検出処理が実行される。
上記したように、カメラ１の画角が変わって、例えば画角が広がってしまったとすると、図９(a)に示すように、左右にある現マーク３Ｂの間隔が狭まって、初期マーク３Ａの内側にずれてしまう。
【００６０】
従って、この内側へのずれにより画角が広がってしまったことが検出でき、ずれの大きさにより、拡がりの度合いが算出できる。
そこで、次のステップＳ２１で画像データの取り込み範囲を調整し、このときは、図９(b)に示すように、使用画像領域Ａ１を狭くするのである。
【００６１】
一方、カメラ１の画角が狭まってしまったとすると、今度は図９(a)とは反対に、左右にある現マーク３Ｂの間隔が広がって、初期マーク３Ａの外側にずれてしまう。
そこで、このときは、外側へのずれにより画角が狭まってしまったことが検出でき、同じくずれの大きさにより、狭まりの度合いが算出できるので、ステップＳ２１では、図９(b)とは反対に、使用画像領域Ａ１を広くするのである。
【００６２】
このときのステップＳ２１による調整処理、つまり使用画像領域Ａ１を拡げる処理と狭める処理については、これも既に説明してあるように、撮像デバイス１１の光電変換面における画素の中で、実際に画像データを取込む画素を部分的に選択することにより実行すればよい。
【００６３】
そして、この後、ステップＳ３に進むので、以後は図４の場合と同じ動作になる。
従って、この第４の実施形態によれば、上記した第１の実施形態による効果に加えて、カメラ１の画角の変化にも自動的に対応することができる。
【００６４】
次に、本発明の第５の実施形態について説明する。
ここで、この第５の実施形態は、カメラ１の画角を切換え、広い視野と狭い視野の２種の画像データを取込み、車両の走行環境を認識するようにした装置に、本発明を適用したものである。
【００６５】
従って、この第５の実施形態の場合、図３のブロック構成において、画像処理部１５が、図１０に示す画像処理部１５Ａに置き換えてある点を除けば、全体の構成は、図１〜図３で説明した第１の実施形態と同じであり、そして、この画像処理部１５Ａが、画像処理部１５と異なっている点は、隣接レーン認識部１５５と隣接車動作演算部１５６が付加されている点だけである。
【００６６】
従って、この第５の実施形態でも、マーク３による画像の位置が初期位置からずれた場合、このずれ量に応じて画像データが補正される点は、第１の実施形態と同じであるが、この後、図４のステップＳ６において、画像処理部１５による処理の実行と共に、隣接レーン認識部１５５と隣接車動作演算部１５６による処理が、図１１に示すようにして実行されることになる。
【００６７】
そこで、以下、この図１１による処理について、図１２を併用しながら説明する。
まず、ステップＳ６１では、隣接レーン認識部１５５により広角画像取得処理を実行し、隣接車が認識されるか否かを調べる。
このため、まず、図１２(a)に示すように、取得可能画像領域Ａ０の中に、かなり広い使用画像領域Ａ１(Ｗ)を選択する。
【００６８】
そして、画像データ補正部１４から与えられる１フレーム分の画像データの中から、この広角使用画像領域Ａ１(Ｗ)内にある画像データを取込む。
そうすると、図１２(a)から明らかなように、広角の画像になった結果、隣接車線も視野に入り、そこからの情報も取得できるようになるので、ここで隣接車線の車両、すなわち隣接車を認識するのである。
【００６９】
次に、ステップＳ６２では、隣接車動作演算部１５６により画像処理を実行させ、隣接車有りの場合、認識した隣接車の動きを画像処理により解析し、この隣接車が自車両レーンに割込んでくるか否かを判断する。
次に、ステップＳ６３では、先行車認識部１５１により、今度は狭角画像取得処理を実行し、先行車が認識されるか否かを調べる。
すなわち、今度は、まず、図１２(b)に示すように、取得可能画像領域Ａ０の中に、比較的狭い使用画像領域Ａ１(Ｔ)を選択する。
【００７０】
そして、画像データ補正部１４から与えられる１フレーム分の画像データの中から、この狭角使用画像領域Ａ１(Ｔ)内にある画像データを取込む。
そうすると、図１２(b)から明らかなように、今度は、狭角の画像になった結果、遠方が拡大され、遠方の画像からでも詳細な情報が容易に取得できるようになるので、ここで自車に先行する車両、すなわち先行車を認識するのである。
【００７１】
次に、ステップＳ６４では、車間距離演算部１５２による画像処理を実行し、先行車ありの場合、この先行車までの距離、つまり車間距離を演算する。
なお、ここでの車間距離の演算には、例えば画像内での先行車の大きさを、予め想定されている実際の車両の大きさと比較する方法を用いてやればよい。
こうして、ステップＳ６１からステップＳ６４までの処理を終えたら、ステップＳ７に進み、処理を終了する。
【００７２】
そして、この後は、ステップＳ７で、危険回避判断部１７により隣接車及び先行車と自車の状況が調べられ、その結果に応じて警報を発令するか、アクチュエータを動作させるかが判断され、次いでステップＳ８で、判断結果がデータ入出力処理部１８から出力されることになる。
【００７３】
従って、この第５の実施形態によれば、カメラ１のレンズに交換機構を用いたり、ズームレンズを用いたりすることなく、広い視野と狭い視野の２種の画像データの使い分けができることになり、この結果、カメラ１の重量とコストの低減が充分に図れることになる。
【００７４】
なお、この第５の実施形態では、例えば１００万画素の撮像デバイス１１を使用しているため、狭角画像の場合でも、標準画素撮像デバイス(例えば２５万画素)を使用しているカメラに比べ、情報量の欠落がほとんど無くてすむ。
ところで、上記の説明では、広角画像と狭角画像の２種類の画像を使用した場合の実施形態について述べたが、本発明は、２種類の画像だけではなく、複数の画像にも対応できることは言うまでもない。
【００７５】
ところで、以上の第５の実施形態において、広角画像の場合と狭角画像の場合で、撮像デバイス１１の光電変換面から画像データを取込むための画素の個数が同じになるようにしてもよく、この場合を第６の実施形態とし、以下、この第６の実施形態について説明する。
【００７６】
まず、ここで、いま撮像デバイス１１の光電変換面にある画素が、全体では、つまり取得可能画像領域Ａ０では、図１３(a)に模式的に示すようになっていたとする。
そして、この場合、広角使用画像領域Ａ１(Ｗ)のときは、画像データを取込むとき、図１３(b)に示すように、１画素おきに間引いて取込むようにし、狭角使用画像領域Ａ１(Ｔ)のときは、同図(c)に示すように、この領域Ａ１(Ｔ)内にある全ての画素から画像データを取込むようにするのである。
【００７７】
ここで、この第６の実施形態の狙いは、広角画像の場合と狭角画像の場合とで処理すべき画素数がなるべく同じになるようにする点にあり、その理由は、何れの場合でも情報量が同等で、処理時間も同等になるようにするためである。
【００７８】
本発明の実施形態では、例えば１００万画素など、画素数の多い撮像デバイスを使用するのが望ましいが、このため、上記のように、１画素おきに間引いても狭角画像と同等の情報量を取得することができ、画素を間引くことにより広角画像にかかる処理時間を狭角画像と同等のレベルにすることができる。
【００７９】
ここで、上記の場合、広角使用画像領域Ａ１(Ｗ)のときは１画素おきに間引いた画像を用いたが、本発明では、使用画像サイズに応じて間引き数を変更してもよく、狭角画像と広角画像の中間の画像でも同等の効果を得ることができることは言うまでもない。
【００８０】
【発明の効果】
本発明によれば、車載撮像装置で使用するカメラに広角のレンズと画素数の多い撮像デバイスを使用するだけで、製造、取付時に発生した光軸や画角のずれ、画像の回転の補正は勿論、取付後、経時的に発生した光軸や画角のずれ、画像の回転の補正についても、自動的に修正することができる。
【００８１】
また、本発明によれば、使用画面領域を変えることもできるので、情報量を変えずに狭角画像から広角画像まで取得でき、多種多様な画像処理を容易に行うことができる。
【図面の簡単な説明】
【図１】本発明の原理を説明するための概略図である。
【図２】本発明による車載撮像装置を自動車のオートクルージング装置に適用した場合の一実施形態を示す全体構成図である。
【図３】本発明による車載撮像装置を自動車のオートクルージング装置に適用した場合の一実施形態を示すブロック図である。
【図４】本発明の第１の実施形態の動作を説明するためのフローチャートである。
【図５】本発明の第１の実施形態の動作を説明するための画像ウィンドウ図である。
【図６】本発明の第３の実施形態の動作を説明するためのフローチャートである。
【図７】本発明の第３の実施形態の動作を説明するため画像ウィンドウ図である。
【図８】本発明の第４の実施形態の動作を説明するためのフローチャートである。
【図９】本発明の第４の実施形態の動作を説明するための画像ウィンドウ図である。
【図１０】本発明の第５の実施形態における構成の一部を示すブロック図である。
【図１１】本発明の第５の実施形態の動作を説明するためのフローチャートである。
【図１２】本発明の第５の実施形態の動作を説明するための画像ウィンドウ図である。
【図１３】本発明の第６の実施形態の動作を説明するための撮像デバイスの画素を表わす模式図である。
【符号の説明】
１ カメラ
３ マーク
３Ａ 現マーク(現マークの画像)
３Ｂ 初期マーク(初期マークの画像)
１０ レンズ
１１ 撮像デバイス
Ａ０ 取得可能画像領域
Ａ１ 使用画面領域
Claims (6)
- レンズと取得可能画像領域が使用画像領域よりも広い撮像素子とを備え、車両の車体の一部に設けられた少なくとも２個の被写体を撮像する画像入力手段と、
前記画像入力手段により撮像された画像における前記被写体の位置である現マーク位置と、前記画像入力手段の車両への取り付け時又は再設定時の前記被写体の撮像された画像上における位置である初期マーク位置と、の偏差に基づいて、前記画像入力手段の画角のずれ、若しくは画角と光軸のずれ、画角のずれ及び画像の回転、の少なくとも一つの初期状態からの変化を検出する手段とを備えた車載撮像装置。 - レンズと取得可能画像領域が使用画像領域よりも広い撮像素子とを備え、車両の車体の一部に設けられた少なくとも２個の被写体を撮像する画像入力手段と、
前記画像入力手段により撮像された画像における前記被写体の位置である現マーク位置と、前記画像入力手段の車両への取り付け時又は再設定時の前記被写体の撮像された画像上における位置である初期マーク位置と、の偏差に基づいて、前記画像入力手段の画角のずれ、若しくは画角と光軸のずれ、画角のずれ及び画像の回転、の少なくとも一つの初期状態からの変化を検出する手段と、
前記現マーク位置を前記初期マーク位置に一致させるように前記撮像素子の使用画像領域を変更する画像データ補正手段とを備えた車載撮像装置。 - 請求項１又は２において、
基準モデルにより定めた初期マーク位置を記憶する記憶手段を備えることを特徴とする車載撮像装置。 - 請求項２において、
前記初期マーク位置と前記現マーク位置との偏差が並進ずれのみであるときは、前記画像データ補正手段は、前記現マーク位置を前記初期マーク位置に一致させるように前記撮像素子の使用画像領域を変更することを特徴とする車載撮像装置。 - 請求項２において、
前記初期マーク位置と前記現マーク位置との偏差が画像の回転を含むときは、前記画像データ補正手段は、撮像したデータの回転補正量を算出することを特徴とする車載撮像装置。 - 請求項２乃至５の何れか一項において、
前記現マーク位置が、前記撮像素子の取得可能画像領域の外にあるときは、補正不可能であることを示す信号を出力する手段を有することを特徴とする車載撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000263733A JP3820342B2 (ja) | 2000-08-31 | 2000-08-31 | 車載撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000263733A JP3820342B2 (ja) | 2000-08-31 | 2000-08-31 | 車載撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002074339A JP2002074339A (ja) | 2002-03-15 |
| JP3820342B2 true JP3820342B2 (ja) | 2006-09-13 |
Family
ID=18751238
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000263733A Expired - Lifetime JP3820342B2 (ja) | 2000-08-31 | 2000-08-31 | 車載撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3820342B2 (ja) |
Families Citing this family (54)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6822563B2 (en) | 1997-09-22 | 2004-11-23 | Donnelly Corporation | Vehicle imaging system with accessory control |
| US5877897A (en) | 1993-02-26 | 1999-03-02 | Donnelly Corporation | Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array |
| US6891563B2 (en) | 1996-05-22 | 2005-05-10 | Donnelly Corporation | Vehicular vision system |
| US7655894B2 (en) | 1996-03-25 | 2010-02-02 | Donnelly Corporation | Vehicular image sensing system |
| JP2002094977A (ja) * | 2000-09-14 | 2002-03-29 | Fujitsu Ten Ltd | 画像処理装置 |
| US6882287B2 (en) | 2001-07-31 | 2005-04-19 | Donnelly Corporation | Automotive lane change aid |
| US7697027B2 (en) | 2001-07-31 | 2010-04-13 | Donnelly Corporation | Vehicular video system |
| WO2003093857A2 (en) | 2002-05-03 | 2003-11-13 | Donnelly Corporation | Object detection system for vehicle |
| US7106421B2 (en) * | 2003-04-04 | 2006-09-12 | Omron Corporation | Method of adjusting axial direction of monitoring apparatus |
| EP1584946A3 (en) * | 2004-04-02 | 2006-03-22 | Omron Corporation | Method of adjusting monitor axis of optical sensors |
| US7526103B2 (en) | 2004-04-15 | 2009-04-28 | Donnelly Corporation | Imaging system for vehicle |
| US7881496B2 (en) | 2004-09-30 | 2011-02-01 | Donnelly Corporation | Vision system for vehicle |
| US7720580B2 (en) | 2004-12-23 | 2010-05-18 | Donnelly Corporation | Object detection system for vehicle |
| JP4622637B2 (ja) * | 2005-04-04 | 2011-02-02 | トヨタ自動車株式会社 | 車載カメラ姿勢補正装置および車載カメラ姿勢補正方法 |
| JP2007256030A (ja) * | 2006-03-23 | 2007-10-04 | Clarion Co Ltd | 車載カメラのキャリブレーション装置およびキャリブレーション方法 |
| WO2008024639A2 (en) | 2006-08-11 | 2008-02-28 | Donnelly Corporation | Automatic headlamp control system |
| US7914187B2 (en) | 2007-07-12 | 2011-03-29 | Magna Electronics Inc. | Automatic lighting system with adaptive alignment function |
| US8017898B2 (en) | 2007-08-17 | 2011-09-13 | Magna Electronics Inc. | Vehicular imaging system in an automatic headlamp control system |
| JP5208790B2 (ja) * | 2009-02-04 | 2013-06-12 | アイシン精機株式会社 | 画像処理装置、画像処理方法ならびにプログラム |
| EP2473871B1 (en) | 2009-09-01 | 2015-03-11 | Magna Mirrors Of America, Inc. | Imaging and display system for vehicle |
| KR101629012B1 (ko) * | 2009-12-07 | 2016-06-10 | 엘지이노텍 주식회사 | 블랙박스용 카메라의 설치 위치 조정 장치 및 설치 위치 조정 방법 |
| US9150155B2 (en) | 2010-01-13 | 2015-10-06 | Magna Electronics Inc. | Vehicular camera and method for periodic calibration of vehicular camera |
| JP5567441B2 (ja) * | 2010-09-30 | 2014-08-06 | 本田技研工業株式会社 | 車載カメラの光軸検査方法及び光軸検査装置 |
| US9064296B2 (en) | 2010-10-22 | 2015-06-23 | Pioneer Corporation | Terminal device, image processing method and image processing program executed by a terminal device |
| JP2012093872A (ja) * | 2010-10-26 | 2012-05-17 | Fujitsu Ten Ltd | 画像認識装置、及び、画像認識方法 |
| US9900522B2 (en) | 2010-12-01 | 2018-02-20 | Magna Electronics Inc. | System and method of establishing a multi-camera image using pixel remapping |
| US9264672B2 (en) | 2010-12-22 | 2016-02-16 | Magna Mirrors Of America, Inc. | Vision display system for vehicle |
| JP5875232B2 (ja) * | 2011-02-16 | 2016-03-02 | 富士通テン株式会社 | 物体検出装置、および、物体検出方法 |
| WO2012145818A1 (en) | 2011-04-25 | 2012-11-01 | Magna International Inc. | Method and system for dynamically calibrating vehicular cameras |
| WO2012145822A1 (en) | 2011-04-25 | 2012-11-01 | Magna International Inc. | Method and system for dynamically calibrating vehicular cameras |
| US10793067B2 (en) | 2011-07-26 | 2020-10-06 | Magna Electronics Inc. | Imaging system for vehicle |
| US9491450B2 (en) | 2011-08-01 | 2016-11-08 | Magna Electronic Inc. | Vehicle camera alignment system |
| DE112012003931T5 (de) | 2011-09-21 | 2014-07-10 | Magna Electronics, Inc. | Bildverarbeitungssystem für ein Kraftfahrzeug mit Bilddatenübertragung undStromversorgung über ein Koaxialkabel |
| US9491451B2 (en) | 2011-11-15 | 2016-11-08 | Magna Electronics Inc. | Calibration system and method for vehicular surround vision system |
| US10099614B2 (en) | 2011-11-28 | 2018-10-16 | Magna Electronics Inc. | Vision system for vehicle |
| US9762880B2 (en) | 2011-12-09 | 2017-09-12 | Magna Electronics Inc. | Vehicle vision system with customized display |
| US10457209B2 (en) | 2012-02-22 | 2019-10-29 | Magna Electronics Inc. | Vehicle vision system with multi-paned view |
| WO2014054124A1 (ja) * | 2012-10-02 | 2014-04-10 | トヨタ自動車株式会社 | 路面標示検出装置及び路面標示検出方法 |
| US9723272B2 (en) | 2012-10-05 | 2017-08-01 | Magna Electronics Inc. | Multi-camera image stitching calibration system |
| JP5924227B2 (ja) * | 2012-10-16 | 2016-05-25 | 株式会社デンソー | 車載カメラの取り付け誤差検出装置 |
| US9743002B2 (en) | 2012-11-19 | 2017-08-22 | Magna Electronics Inc. | Vehicle vision system with enhanced display functions |
| US10179543B2 (en) | 2013-02-27 | 2019-01-15 | Magna Electronics Inc. | Multi-camera dynamic top view vision system |
| US9688200B2 (en) | 2013-03-04 | 2017-06-27 | Magna Electronics Inc. | Calibration system and method for multi-camera vision system |
| US9508014B2 (en) | 2013-05-06 | 2016-11-29 | Magna Electronics Inc. | Vehicular multi-camera vision system |
| US9563951B2 (en) | 2013-05-21 | 2017-02-07 | Magna Electronics Inc. | Vehicle vision system with targetless camera calibration |
| US9205776B2 (en) | 2013-05-21 | 2015-12-08 | Magna Electronics Inc. | Vehicle vision system using kinematic model of vehicle motion |
| JP6260424B2 (ja) | 2014-04-16 | 2018-01-17 | 株式会社デンソー | 車載カメラの取り付け誤差検出装置 |
| US9916660B2 (en) | 2015-01-16 | 2018-03-13 | Magna Electronics Inc. | Vehicle vision system with calibration algorithm |
| US10946799B2 (en) | 2015-04-21 | 2021-03-16 | Magna Electronics Inc. | Vehicle vision system with overlay calibration |
| US11277558B2 (en) | 2016-02-01 | 2022-03-15 | Magna Electronics Inc. | Vehicle vision system with master-slave camera configuration |
| US10300859B2 (en) | 2016-06-10 | 2019-05-28 | Magna Electronics Inc. | Multi-sensor interior mirror device with image adjustment |
| JP6868852B2 (ja) * | 2017-03-10 | 2021-05-12 | パナソニックＩｐマネジメント株式会社 | カメラ状態監視装置 |
| JP2019208253A (ja) * | 2019-07-22 | 2019-12-05 | パイオニア株式会社 | 撮影装置、制御方法、プログラム及び記憶媒体 |
| CN112572461B (zh) * | 2019-09-30 | 2022-10-21 | 阿波罗智能技术(北京)有限公司 | 控制车辆的方法、装置、设备和存储介质 |
-
2000
- 2000-08-31 JP JP2000263733A patent/JP3820342B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002074339A (ja) | 2002-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3820342B2 (ja) | 車載撮像装置 | |
| JP4861034B2 (ja) | 車載カメラのキャリブレーションシステム | |
| US10235772B2 (en) | Installation error display control apparatus and installation error detection apparatus of onboard camera | |
| JP2010152873A (ja) | 接近物体検知システム | |
| JP2009126270A (ja) | 画像処理装置及び方法、運転支援システム、車両 | |
| JP6032034B2 (ja) | 物体検知装置 | |
| US20200039435A1 (en) | Onboard camera system for eliminating a-pillar blind areas of a mobile vehicle and image processing method thereof | |
| JP7270499B2 (ja) | 異常検出装置、異常検出方法、姿勢推定装置、および、移動体制御システム | |
| WO2014045344A1 (ja) | 車載カメラのｆｏｅ設定装置及びｆｏｅ設定方法 | |
| JP2012166705A (ja) | 車載カメラレンズ用異物付着判定装置 | |
| JP5175230B2 (ja) | カメラの自動キャリブレーション装置及び自動キャリブレーション方法 | |
| JP2020068499A (ja) | 車両周囲画像表示システム及び車両周囲画像表示方法 | |
| CN109345591A (zh) | 一种车辆自身姿态检测方法和装置 | |
| WO2015190066A1 (ja) | 車載カメラの取付角度調整方法および取付角度検出装置 | |
| JP2019061303A (ja) | 車両の周辺監視装置と周辺監視方法 | |
| JP4932293B2 (ja) | 障害物認識装置 | |
| JP2008258778A (ja) | 撮像システム | |
| JP2008160635A (ja) | カメラ状態検出方法 | |
| JP3882304B2 (ja) | 自動走行用自車位置検出装置 | |
| JP2018136739A (ja) | キャリブレーション装置 | |
| JP2006178652A (ja) | 車両周辺認識システム及び画像処理装置 | |
| JP4702802B2 (ja) | 車両方位補正システム | |
| CN113396578A (zh) | 摄像装置、固态摄像元件、相机模块、驱动控制单元和摄像方法 | |
| JP2008042759A (ja) | 画像処理装置 | |
| KR20150009763A (ko) | 카메라 시스템 및 카메라 시스템의 제어 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050815 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050823 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051024 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060207 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060407 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060526 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060613 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060619 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3820342 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090623 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100623 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100623 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100623 Year of fee payment: 4 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110623 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110623 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120623 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120623 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130623 Year of fee payment: 7 |
|
| EXPY | Cancellation because of completion of term |