JP7096053B2 - 車両の車両カメラを較正するための方法および装置 - Google Patents

車両の車両カメラを較正するための方法および装置 Download PDF

Info

Publication number
JP7096053B2
JP7096053B2 JP2018075877A JP2018075877A JP7096053B2 JP 7096053 B2 JP7096053 B2 JP 7096053B2 JP 2018075877 A JP2018075877 A JP 2018075877A JP 2018075877 A JP2018075877 A JP 2018075877A JP 7096053 B2 JP7096053 B2 JP 7096053B2
Authority
JP
Japan
Prior art keywords
vehicle
camera
image
movement
calibrating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018075877A
Other languages
English (en)
Other versions
JP2019003613A (ja
Inventor
フィリップ・ドリュー
トーマス・フォッケ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of JP2019003613A publication Critical patent/JP2019003613A/ja
Application granted granted Critical
Publication of JP7096053B2 publication Critical patent/JP7096053B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/103Side slip angle of vehicle body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402Image calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Rear-View Mirror Devices That Are Mounted On The Exterior Of The Vehicle (AREA)

Description

本発明は、独立請求項の前提部分に記載の装置または方法に関する。さらに本発明の対象はコンピュータプログラムである。
既知の自動車ビデオサラウンドビューシステム、すなわち、車両周辺監視システムは、4つ以上のカメラを使用して車両の周辺を検出する。車両内のドライバが状況を直観的に把握できるようにカメラの個々の画像が全体象としてつなぎ合わされる。カメラが車両に堅固に組み付けられているという事実により、一般に個々の画像の幾何学的な相互関係に関する静的な規則が車両サラウンドビューシステム(略してVSVシステム)に保存される。このプロセスは「外部較正」とも呼ばれる。この規則は、生産ライン較正の範囲で、または車両およびカメラの構造データのみから決定される。従来技術によれば、場合によって生じる較正の変化はいわゆる「オンライン較正」によって補正される。それぞれのサラウンドビューカメラは単眼カメラとみなされ、したがってカメラを移動することによってしか較正のために不可欠な三次元の周辺モデルを計算することはできないので、補正、すなわちオンライン較正は、一般に通常の運転時に車両の移動によって時間間隔をおいて時々行われる。
独国特許出願公開第102008259551号明細書は、例えばカメラの第1画像および第2画像によってカメラシステムの位置変化を検出する方法を開示している。
独国特許出願公開第102008259551号明細書
このような背景に基づいて、ここで説明するアプローチによって、請求項1,10および11に記載の車両の車両カメラを較正する方法、さらにこの方法を用いた装置、最後に適切なコンピュータプログラムが得られる。従属請求項2~9に記載の手段によって独立請求項1に記載の方法の好ましい構成および改良が可能である。
上記アプローチにより達成可能な利点は、車両カメラの正確な較正が車両の運転時にはじめて可能となるのではなく、車両の発進前に既に可能となることである。このことは、まさに発進時、例えば駐車スペースから車を出す場合に、例えば距離を正確に推定することができるように個々の車両カメラ画像の全体象として車両周辺が正確に描写されていることがドライバにとって不可欠なので、特に重要である。
車両の車両カメラを較正する方法を説明する。この方法は少なくとも1つの読取ステップおよび設定ステップを含む。読取ステップでは、車両の停止状態で車両カメラのカメラ移動時に少なくとも車両カメラによって撮影された画像を表す少なくとも第1カメラ画像および第2カメラ画像が読み取られる。これらのカメラ画像は、例えば車両カメラとの1つ以上のインターフェイスから読み取られる信号の形式で読み取ることができる。設定ステップでは、第1カメラ画像および第2カメラ画像を使用して少なくとも車両カメラを較正するための較正パラメータが設定される。この場合、車両カメラを車両およびカメラ位置に関して設定することができる。
方法は、カメラの移動を決定する決定ステップを含む。カメラの移動は、例えば加速度センサの信号を評価することによって、またはカメラによって提供されるカメラ画像を評価することによって決定することができる。
この方法は、例えばソフトウェアまたはハードウェア、あるいはソフトウェアとハードウェアとの混合形式で、例えば制御器で実施してもよい。
車両の停止状態を検出することができるように、方法はさらに、車両の停止状態を示すか、または表す車両移動信号をさらに読み取る読取ステップを含んでいてもよい。停止状態とは、実質的に0km/hの車両の車両速度として理解することができる。設定ステップは、読取ステップおよび別の読取ステップに応答して行うことができる。
ここで説明する方法は、好ましくは、第1カメラ画像および第2カメラ画像を使用して流束ベクトルを決定する決定ステップを含んでいてもよい。設定ステップでは、流束ベクトルを使用して較正パラメータを設定することができる。
方法がさらに所定の基準ベクトルを受信する受信ステップおよび流束ベクトルと基準ベクトルとを比較する比較ステップを備える場合には、ここで説明する方法の好ましい一実施形態によれば、設定ステップで比較ステップの比較結果を使用して較正パラメータを設定することができる。基準ベクトルは、空の、または積載されていない車両における流束ベクトルに対応して決定されるベクトルであってもよい。車両に商品および/または人が積載された場合には、ショックアブゾーバーが沈む深さが変化し、ひいては道路表面に対する車両カメラの位置も変化するので、提供されている車両カメラまたはカメラシステムの外部較正はもはや無効である場合もあり、したがって新たに較正を行うことが望ましい。提供されている較正が有効であるかどうかは、好ましくは上記比較ステップによって確認することができる。比較ステップによって得られる比較結果に応じて、例えば流束ベクトルが基準ベクトルと合致しない場合には較正パラメータを設定することができる。なぜなら、このようなずれは車両カメラが正確に較正されていない、すなわち再較正されていないことを示すからである。
決定ステップでは、例えば第1カメラ画像に結像された道路表面点および第2カメラ画像に結像された道路表面点を使用して流束ベクトルを決定することができる。それぞれ同じ道路表面点を結像している2つのカメラ画像の比較および重畳することによって流束ベクトルを迅速および簡単に決定することができる。
読取ステップでは、外部ミラーおよび/または車両ドアおよび/または車両のトランクリッドの範囲に配置された車両カメラによって撮影された画像を表すカメラ画像を読み取ることができる。車両カメラの上記配置は、車両周辺監視システムでは一般的であり、有意義である。車両におけるカメラ位置は既知なので、可能なカメラ移動も予測可能である。車両ドアが開いた場合には、例えば車両ドアに取り付けられた車両カメラは所定の移動距離に沿って移動する。外部ミラーまたはトランクリッドに配置された車両カメラについても同様のことがいえる。このように、停止している車両において所定の車両カメラの移動が可能となる。
したがって、読取ステップでカメラの移動が、車両の外部ミラーの格納および/または引出しによって、および/または車両ドアの開放および/または閉鎖によって、および/または車両のトランクリッドの開放および/または閉鎖によって引き起こされる少なくとも車両カメラの移動距離を表すことは利点である。車両の構造データによりこのような移動距離は既知であり、ひいては積載されていない車両についても平面推定について正確な情報が提供されているので、このような移動距離は有意義である。
しかしながら、カメラの移動を表す移動距離を検出するためには、この方法は、カメラの移動を引き起こす調整モータの制御信号を使用してカメラの移動を表す移動距離を検出する検出ステップを備えていてもよい。
ここで説明した方法の実施は、車両がまっすぐに立っている場合に有意義なので、特に方法が車両の傾斜センサとのインターフェイスから傾斜信号を受信する別の受信ステップを備え、傾斜信号が車両の傾斜を示した場合には設定ステップが実施されないことは利点である。この場合、傾斜は、少なくともこの車両カメラの視野が車両に対して水平ではないことを表してもよい。
ここで説明するアプローチにより、さらに、ここで説明した方法の実施形態のステップを適宜な装置において、実施、制御もしくは変更するように構成された装置が得られる。装置の形式のこれらの実施形態により、本発明の基礎をなす課題を迅速に、効率的に解決することができる。
このために、信号またはデータを処理するための少なくとも1つの計算ユニット、信号またはデータを記憶するための少なくとも1つのメモリユニット、センサまたはアクチュエータとの少なくとも1つのインターフェイスであって、センサのセンサ信号を読み取り、データまたは制御信号をアクチュエータに出力するためのインターフェイス、および/または、通信プロトコルに埋め込まれたデータを読み取るかまたは出力するための少なくとも1つの通信インターフェイスを備えていてもよい。計算ユニットは、例えば信号プロセッサ、マイクロコントローラなどであってもよく、メモリユニットは、フラッシュメモリ、EPROM、または磁気メモリユニットであってもよい。通信インターフェイスは、無線および/または有線でデータを読み取るか、または出力するように構成されていてもよく、有線のデータを読み取るか、または出力することができる通信インターフェイスは、これらのデータを例えば電気的または光学的にそれぞれのデータ伝送ラインから読み取るか、またはそれぞれのデータ伝送ラインに出力することができる。
この場合には、装置はセンサ信号を処理し、センサ信号の関数として制御信号および/またはデータ信号を出力する電気機器として理解することができる。この装置は、ハードウェアおよび/またはソフトウェアに関して構成されたインターフェイスを備えていてもよい。ハードウェアに関して構成されている場合、インターフェイスは、例えば、装置の種々異なる機能を含む、いわゆる「システムASIC」の一部であってもよい。しかしながら、インターフェイスは固有の集積回路であるか、または少なくとも部分的に個別の構成部材からなっていることも可能である。ソフトウェアに関して構成されている場合には、インターフェイスは、例えば、他のソフトウェアモジュールと共にマイクロコントローラに設けられているソフトウェアモジュールであってもよい。
好ましい一構成では、車両の少なくとも1つの車両カメラを較正するための較正パラメータの設定がこの装置によって行われる。このために装置は、例えば少なくとも第1カメラ画像および第2カメラ画像を表す信号にアクセスし、随意に車両移動信号にもアクセスすることができる。制御は、例えば少なくとも第1カメラ画像および第2カメラ画像を読み取るための少なくとも1つの読取り装置ならびに較正パラメータを設定するための設定装置などのアクチュエータを介して行われる。
コンピュータプログラム製品、または機械読取り可能な担体またはメモリ媒体、例えば半導体メモリ、ハードディスクメモリ、または光学メモリなどに保存されていてもよいプログラムコードを備えるコンピュータプログラムも有利であり、プログラム製品またはプログラムがコンピュータまたは装置で実施される場合に上記いずれかの実施形態にしたがって方法ステップを実施、変更および/または制御するために使用される場合には特に有利である。
ここで説明するアプローチの実施例を図面に示し、以下に詳細に説明する。
再較正した複数の車両カメラを備える車両の概略的な平面図を示す図である。 車両のサイドドアに設けられた車両カメラの移動距離を示す概略図である。 一実施例による車両カメラを較正するための装置を備える車両を示す概略図である。 一実施例による車両の車両カメラを較正する方法を示すフロー図である。 一実施例による車両の車両カメラを較正するための装置の機能を示すブロック図である。
本発明の以下の好ましい実施例の説明では、異なる図面に示した同様に作用する要素については同じ、または同様の符号を用い、これらの要素については繰り返し説明しない。
図1は、再較正した複数の車両カメラ105を備える車両100の概略的な平面図を示す。
図1に示した車両100は停止しており、商品および/または人が積載されており、これにより車両100のショックアブゾーバーが沈む深さ、ひいては道路表面に対する車両カメラ105の位置が、車両100が積載されていない状態における道路表面に対する車両カメラ105の位置に対して変更されている。したがって、個々の車両カメラ105のカメラシステムに提供されている外部較正はもはや有効ではなく、新たに較正を行う必要がある。車両周辺監視システムは、一般には、特に駐車支援のために使用されるので、積載量が変更され、誤った較正が行われた後に駐車場から車を出すプロセスが行われ、ひいては車両周辺のサラウンドビューの描写は不適切に行われる。図1では、誤った較正が、特に車両カメラ105の個別画像がつなぎ合わされた(英語では「縫い合わされた」)箇所110,115に示されている。この場合、1つの画像から隣接する画像へ移行する場合に駐車ラインと縁石エッジとが適合しない。
マーク117は、車100のフロントカメラ105およびリアカメラ105のカメラ視野を示す。
車両100の車両リア領域にマークした箇所110は、車両100に対して平行に延在しない線を示す。フロントカメラ画像のラインはサイドカメラ画像のラインに正確に適合しない。このずれは、車両100が積載された場合に再較正された車両カメラ105によって生じたものである。
車両100の車両フロント領域にマークした箇所115は、直線の折れ曲がりを示す。フロントカメラ画像の線はサイドカメラ画像の線に正確に適合しない。このずれは、再較正段階で再較正された車両カメラ105によって生じたものである。
図3に示す装置105によって、較正の補正は、既知の装置の場合のように車両100が明らかに走行している場合にはじめて行うのではなく、既に車両100の停止状態で行うことができる。この場合、走行開始前に正確な較正が保証されることが利点である。
図2は、車両100のサイドドア205に設けられた車両カメラ105の移動距離200を示す概略図である。この場合、図1に基づいて説明した車両カメラ105を備える車両100であってもよい。
既に図1に関して述べたように、既知の車両周辺監視システムでは、まず車両カメラ105が内部で較正され、最後に外部で作業時に一回だけ較正される。車両100の走行時に、後からシステムのオンライン較正、すなわち較正の補正を行うことができ、オンライン較正では一般に車両100の下方の平面を想定し、したがって組付け許容差における約3°までの不正確さを補正することができる。これまでは、このようなオンライン補正は、サラウンドビューシステムが従来ではほとんど使用されない車両100の走行時にしか行うことができなかった。しかしながら、ここで説明する車両100の場合のように車両積載量に基づいて停止状態で既に較正のずれが生じている場合には、このずれに応じて歪められた車両カメラ105の画像は、図1に示すようにもはや相互に合致せず、ひいては周辺の全体画像も誤って変形されたままスクリーンに表示され、車両100の最終利用者はこのような全体画像を見ることになる。特に駐車場から車を出す場合や低速で発進する場合にはもはや有用性は得られない。
ここで説明するアプローチによれば、停止状態で、移動される車両カメラ105に基づいて較正が実施されることによって停止時に状態の改善が行われる。車両100のドア、ここではサイドドア205およびトランクリッドは一般に走行開始前に既に移動されるので、車両カメラ105の移動はいわば当然のこととして行われる。図示のサイドドア205の移動によって、サイドドア205に配置された図示のサイドドア車両カメラ105は移動距離200を移動し、これにより、サイドドアの車両カメラ105の視野はヨー角210を超える。車両カメラ105の移動は、例えばカメラの画像または例えば加速度センサの少なくとも1つのセンサ信号の評価によって判定することができる。
図3は、一実施例による車両カメラ105を較正するための装置300を備える車両100の概略的な平面図を示す。この場合にも車両は前出の図面に基づいて説明した積載された停止状態の車両100であってもよいが、ここで説明する装置300によって車両100の車両カメラ105が正確に較正される点が相違している。
このために、装置300は少なくともいずれか1つの車両カメラ105によって車両カメラ105の少なくとも第1カメラ画像305および車両カメラ105の第2カメラ画像310を読み取り、カメラ画像305,310は、車両100の停止状態で車両カメラ105のカメラ移動時に撮影された画像を表す。第1カメラ画像305および第2カメラ画像310を使用して、装置300は少なくとも車両カメラ105を較正するための較正パラメータ315を設定する。
装置100の次の特徴は随意である。
この実施例によれば、少なくとも1つの車両カメラ105は設定された較正パラメータ315によって較正される。
この実施例によれば、カメラの移動は、図2に示すように車両カメラ105が配置されたサイドドアの開放および/または閉鎖によって行われる車両カメラ105の移動距離である。
一実施例によれば、装置100は第1カメラ画像305および第2カメラ画像310を使用して流束ベクトルを決定し、較正パラメータ315は流速ベクトルを使用して設定される。流速ベクトルは、第1カメラ画像305に結像された道路表面点および第2カメラ画像310に結像された道路表面点を使用して、装置100によって決定される。さらに装置100によって所定の基準ベクトルが受信され、この基準ベクトルは流速ベクトルと比較され、続いてこの比較の比較結果を使用して較正パラメータ315が設定される。この実施例によれば、カメラの移動を表す車両カメラ105の移動距離は、装置100によってカメラの移動を引き起こすための調整モータの制御信号を使用して検出される。さらに、較正パラメータ315が設定される前に、装置100によって車両100の停止状態を示す車両移動信号が読み取られる。
代替的な一実施例によれば、付加的または代替的に、車両100の外部ミラーおよび/または別の車両ドアおよび/またはトランクリッドの範囲に配置された車両カメラ105によって撮影された画像を表す他のカメラ画像が装置100によって読み取られ、較正パラメータ315が、既に述べたように付加的または代替的に他のカメラ画像を使用して設定される。この代替的な実施例では、カメラの移動は、車両100の外部ミラーの格納および/または引出しによって、およびまたは他の車両ドアの開放および/または閉鎖によって、および/または車両100のトランクリッドの開放および/または閉鎖によって引き起こされる少なくとも車両カメラ105の移動距離を表す。
次に、装置100の詳細をもう一度言い換えて説明する。
図3は、ここで説明した装置100によって行われた補正後の較正された車両カメラ105を示す。箇所320は、車両100に対して平行にのみ延在する線を示す。この場合、リアカメラ画像の線とサイドカメラ画像の線とは縫い目なしに移行していることがわかる。
ここで説明した装置100は、較正値を計算するために格納および引出し可能なサイドミラーの移動を利用するように構成されている。この場合、ミラー、ドア、および随意にトランクリッドの移動距離が構造データによって既知であり、したがって積載されていない車両100の場合には平面推定値の正確なデータが提供されているという事実が重要である。トランクリッドの移動に対して代替的に、バックギアを入れた場合には自動的に引き出されるか、または降下される車両カメラの移動を利用することもできる。サイドミラーの開閉と同様にこのような所定の移動を利用することもできる。この平面推定値のそれぞれのずれは較正のエラーとして判定され、適宜に補正される。車両100が「固定したシステム」とみなされると仮定して、サイドカメラおよびリアカメラのデータからフロントカメラの較正値を推定することできる。
サイドミラーには一般に車両周辺監視システムのサイドカメラが組み込まれており、ここで説明した装置100は、格納されたサイドミラーの既知の移動を付加的に利用するように構成されている。この場合にミラー内の車両カメラ105が進んだ円形軌道(この円形軌道は前出の「移動距離」である)がわかっていることにより、好ましくは停止状態でオンライン較正、すなわちそれぞれのビデオシーケンスに基づいて得られた実際の円形軌道とそれぞれの設計に基づいた目標円形軌道との間の比較が可能である。ミラーの旋回ジョイントにより較正値を推論することが可能である。
この装置100によって走行開始前に較正が行われることによって、車両100の車両周辺の幾何学的に正確な描写が得られ、既知の装置に対して改善がなされる。
空の状態で較正された車両周辺監視システム、略してVSV(ビデオサラウンドビュー)システムが設けられている場合には、装置100の機能は次のように言い換えて説明することができる。ドア開放またはミラーの格納によって移動される個々の車両カメラ105について、車両カメラ105のこの固有の移動によって、テクスチャ形成された道路表面におけるオプティカルフローによって平面推定を行うことができる。平面における流束ベクトルの方向は、車両カメラ105の移動距離が既知の場合に特徴的であり、この場合には平面推定に相当する。この実施例によれば、メモリに保存された較正後の流束ベクトル(上記「基準ベクトル」)と検出された実際の流束ベクトルとを比較した場合には再較正時のずれが示される。このずれを全ての3つの立体角において幾何学的に決定し、アルゴリズムによって補正することができる。この補正は、装置100によってリアカメラおよびサイドカメラについて別々に行われる。3つのカメラ補正から平面に対する車両100の位置が推定され、これに基づいてフロントカメラの補正も同様に行われる。メモリに保存された平面推定値に対して代替的に、組み込まれた調整モータを介してドア/ミラー/トランクリッドの移動距離を測定/決定し、これによりそれぞれの画像における目標平面推定値を計算することができる。この目標平面推定値と画像毎の画像データから得られるそれぞれ最新の平面推定値とを比較し、補正値を計算することができる。複数の画像および2つの移動距離(格納および引出し)によって、平面推定の十分な確実性が得られる。
装置100によって提供される方法は、車両カメラ105によって照らされる視野が車両100に対して水平な場合にしか正確に機能しないので、装置100はさらに車両100の傾斜センサとのインターフェイスから傾斜信号を受信するように構成されている。受信された傾斜信号が車両100の傾斜を示した場合には、続いて較正パラメータ315は設定されない。したがって、車両100の少なくとも1つの車輪が傾斜した平面に位置している場合には、一般に組み込まれた傾斜センサによって検出することができる。この場合、較正は単純に行われない。車両100が傾斜した平面、例えば堤防に隣接している場合にも傾斜センサによる妥当性確認は失敗する。この場合には古い較正値に戻される。これは、較正が誤っているという判定を前提に行われる。
図4は、一実施例による車両の車両カメラを較正する方法400のフロー図を示す。この場合、方法400は図3に基づいて説明した装置によって実施可能である。
方法400は、少なくとも1つの読取ステップ405および設定ステップ410を含む。読取ステップ405では、車両の停止状態で車両カメラのカメラ移動時に少なくとも車両カメラによって撮影された画像を表す少なくとも第1カメラ画像および第2カメラ画像が読み取られる。設定ステップ410では、第1カメラ画像および第2カメラ画像を使用して少なくとも車両カメラを較正するための較正パラメータが設定される。
次に説明する方法400の実施形態は随意である。
一実施例によれば、読取ステップ405では、外部ミラーおよび/または車両ドアおよび/または車両のトランクリッドの範囲に配置された車両カメラによって撮影された画像を表す複数のカメラ画像が読み取られる。
この実施例によれば、読取ステップ405では、車両の外部ミラーの格納および/または引出しによって、および/または車両ドアの開放および/または閉鎖によって、および/または車両のトランクリッドの開放および/または閉鎖によって引き起こされる少なくとも車両カメラの移動距離を表すカメラの移動が複数の画像によって読み取られる。
この実施例によれば、車両の停止状態を示す車両移動信号が読み取られ、設定ステップ410が行われる。
随意に、方法400はさらに決定ステップ415、受信ステップ420、検出ステップ425、比較ステップ430、および別の受信ステップ435を含む。
決定ステップ415では、第1カメラ画像および第2カメラ画像を使用して流束ベクトルが決定され、流束ベクトルを使用して較正パラメータが設定される。この実施例によれば、決定ステップ415では、第1カメラ画像に結像された道路表面点および第2カメラ画像に結像された道路表面点を使用して流束ベクトルが決定される。
受信ステップ420では、所定の基準ベクトルが受信される。代替的な一実施例によれば、方法400は、受信ステップ420に対して付加的または代替的に検出ステップ425を含み、検出ステップ425では、カメラの移動を引き起こすモータの制御信号を使用して、カメラの移動を表す移動距離が検出される。
比較ステップ430では流束ベクトルが基準ベクトルと比較され、設定ステップ410では比較ステップ430の比較結果を使用して較正パラメータが設定される。
別の受信ステップ435では、傾斜信号が車両の傾斜センサとのインターフェイスから受信され、傾斜信号が車両の傾斜を示した場合には設定ステップ410は行われない。
ここで説明した方法ステップは繰返し行ってもよいし、上記順序とは異なる順序で行ってもよい。
図5は、一実施例による車両の車両カメラ105を較正するための装置300の機能を示すブロック図である。この場合、図3に示した装置が図4に示した方法を実施するように構成されていてもよい。車両カメラ105は、図1~図3に基づいて説明した車両の車両カメラ105であってもよい。
この実施例によれば、装置300は読取り装置500、決定装置505、比較装置510、および設定装置515を備える。
この実施例によれば、車両カメラ105は車両のサイドドア205および/または車両のミラーのミラーモータの範囲に配置されている。読取り装置500は、車両カメラ105の画像の取込みを行うように構成されており、すなわち、車両の停止状態で車両カメラ105のカメラの移動時に撮影された画像を表す少なくとも第1カメラ画像305および第2カメラ画像310を読み取るように構成されている。決定装置505は、少なくとも第1カメラ画像305および第2カメラ画像310を使用して流束ベクトル523を決定し、この実施例によれば平面推定を行うように構成されている。
比較装置510は、別の流束ベクトルまたはメモリ内の較正されたシステムのフローパターンを表す所定の基準ベクトル525を受信するように構成されている。基準ベクトル525は、この実施例によればサイドドア205の既知の移動距離を使用して検出され、代替的な実施例では、ミラーもしくはトランクリッドの既知の移動距離を使用して検出される。基準ベクトル525は、代替的な一実施例によれば、装置300に保存されていてもよい。さらに比較装置510は、流束ベクトル523を基準ベクトル525と比較するように構成されている。
設定装置515は、少なくとも車両カメラ105を較正するための較正パラメータ315を設定するように構成されている。この実施例によれば、設定装置515は、比較装置510の比較結果を使用して較正パラメータ315を設定するように構成されている。この実施例によれば、設定装置515は、較正パラメータ315の設定により車両の少なくとも車両カメラ105および/または少なくとも1つの別の車両カメラ105を較正するように構成されている。このプロセスは「アルゴリズムによる補正」と呼ぶこともできる。続いて少なくとも1つの車両カメラ105が外部で較正される。
実施例が、第1の特徴と第2の特徴との間に「および/または」の接続詞を含む場合には、この実施例は、ある実施形態では第1の特徴および第2の特徴の両方を備えており、別の実施形態では第1の特徴のみ、または第2の特徴のみを備えていると読み取られるべきである。
100 車両、装置
105 車両カメラ、サイドドア車両カメラ、フロントカメラ、リアカメラ
110,115 箇所
117 マーク
200 移動距離
205 サイドドア
210 ヨー角
300 装置
305 カメラ画像
315 較正パラメータ
320 箇所
400 方法
405 読取ステップ
410 設定ステップ
415 決定ステップ
420 受信ステップ
425 検出ステップ
430 比較ステップ
435 受信ステップ
500 装置
505 決定装置
510 比較装置
515 設定装置
523 流束ベクトル
525 基準ベクトル

Claims (10)

  1. 車両(100)の車両カメラ(105)を較正する方法(400)であって、該方法(400)が、
    前記車両(100)の停止状態で少なくとも前記車両カメラ(105)によって車両カメラ(105)のカメラ移動時に撮影された画像を表す少なくとも第1カメラ画像(305)および第2カメラ画像(310)を読み取る読取ステップ(405)と、
    前記第1カメラ画像(305)および前記第2カメラ画像(310)を使用して少なくとも前記車両カメラ(105)を較正するための較正パラメータ(315)を設定する設定ステップ(410)と、
    前記第1カメラ画像(305)および前記第2カメラ画像(310)を使用して流束ベクトル(523)を決定する決定ステップ(415)と、
    所定の基準ベクトル(525)を受信する受信ステップ(420)と、
    流束ベクトル(523)と基準ベクトル(525)とを比較する比較ステップ(430)と、
    を含む車両(100)の車両カメラ(105)を較正する方法(400)において、
    前記設定ステップ(410)では、流束ベクトル(523)と、比較ステップ(430)の比較結果をも使用して前記較正パラメータ(315)を設定する、
    ことを特徴とする車両(100)の車両カメラ(105)を較正する方法(400)
  2. 請求項に記載の方法(400)において、
    前記決定ステップ(415)で、前記第1カメラ画像(305)に結像された道路表面点および前記第2カメラ画像(310)に結像された道路表面点を使用して前記流束ベクトル(523)を決定する方法。
  3. 請求項1又は2に記載の方法(400)において、
    カメラの移動をもたらす調整モータの制御信号を使用して、カメラの移動を表す移動距離(200)を検出する検出ステップ(425)を含む方法(400)。
  4. 請求項1~のいずれか一項に記載の方法(400)において、
    前記車両(100)の停止状態を示す車両移動信号が読み取られた場合に設定ステップ(410)を実施する方法(400)。
  5. 請求項1~のいずれか一項に記載の方法(400)において、
    読取ステップ(405)で、前記車両(100)の外部ミラーおよび/または車両ドア(205;520)および/またはトランクリッドの範囲に配置された前記車両カメラ(105)によって撮影された画像を表すカメラ画像(305,310)を読み取る方法。
  6. 請求項1~のいずれか一項に記載の方法(400)において、
    読取ステップ(405)で、カメラの移動が、前記車両(100)の外部ミラーの格納および/または引出し、および/または車両ドア(205;520)の開放および/または閉鎖、および/または前記車両(100)のトランクリッドの開放および/または閉鎖によって引き起こされる少なくとも前記車両カメラ(105)の移動距離(200)を表す方法。
  7. 請求項1~のいずれか一項に記載の方法(400)において、
    前記車両(100)の傾斜センサとのインターフェイスから傾斜信号をさらに受信する受信ステップ(435)を備え、傾斜信号が前記車両(100)の傾斜を示した場合には前記設定ステップ(410)を実施しないようにする方法。
  8. 請求項1~のいずれか一項に記載の方法(400)のステップを実施するように構成されている装置(300)。
  9. 請求項1~のいずれか一項に記載の方法(400)を実施するように構成されたコンピュータプログラム。
  10. 請求項に記載のコンピュータプログラムが保存されている機械読取り可能なメモリ媒体。
JP2018075877A 2017-04-12 2018-04-11 車両の車両カメラを較正するための方法および装置 Active JP7096053B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017206295.9A DE102017206295B3 (de) 2017-04-12 2017-04-12 Verfahren, Vorrichtung und Computerprogramm zum Kalibrieren einer Fahrzeugkamera eines Fahrzeugs
DE102017206295.9 2017-04-12

Publications (2)

Publication Number Publication Date
JP2019003613A JP2019003613A (ja) 2019-01-10
JP7096053B2 true JP7096053B2 (ja) 2022-07-05

Family

ID=60890546

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018075877A Active JP7096053B2 (ja) 2017-04-12 2018-04-11 車両の車両カメラを較正するための方法および装置

Country Status (5)

Country Link
US (1) US10438374B2 (ja)
JP (1) JP7096053B2 (ja)
CN (1) CN108696719B (ja)
DE (1) DE102017206295B3 (ja)
GB (2) GB2603731B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3644279A1 (en) * 2018-10-25 2020-04-29 Continental Automotive GmbH Static camera calibration using motion of vehicle portion
DE102018219666B4 (de) * 2018-11-16 2020-12-24 Zf Friedrichshafen Ag Bildverarbeitungsverfahren und Kamerasystem zum Generieren einer Fahrzeugumsicht
KR102177878B1 (ko) * 2019-03-11 2020-11-12 현대모비스 주식회사 영상 처리 장치 및 방법
CN111223150A (zh) * 2020-01-15 2020-06-02 电子科技大学 一种基于双消失点的车载摄像头外参数标定方法
CN112706755B (zh) * 2021-01-27 2022-08-16 广州小鹏自动驾驶科技有限公司 一种车载相机的调整方法和装置
JP2022123419A (ja) * 2021-02-12 2022-08-24 本田技研工業株式会社 情報記録装置、情報記録方法、およびプログラム
US11405559B1 (en) 2021-02-19 2022-08-02 Honda Motor Co., Ltd. Systems and methods for live signal adjustment of a movable camera

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090179773A1 (en) 2005-10-28 2009-07-16 Hi-Key Limited Method and apparatus for calibrating an image capturing device, and a method and apparatus for outputting image frames from sequentially captured image frames with compensation for image capture device offset
WO2016087298A1 (en) 2014-12-04 2016-06-09 Connaught Electronics Ltd. Online calibration of a motor vehicle camera system
JP2016149711A (ja) 2015-02-13 2016-08-18 株式会社デンソー カメラ校正装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3008833B2 (ja) 1995-10-25 2000-02-14 トヨタ自動車株式会社 車体の横滑り速度推定装置
JP4861813B2 (ja) 2006-09-14 2012-01-25 株式会社豊田中央研究所 車両物理量推定装置及びプログラム
DE102008059551B4 (de) * 2008-11-28 2021-08-12 Car.Software Estonia As Verfahren zum Ermitteln der Lageänderung eines Kamerasystems und Vorrichtung zum Erfassen und Verarbeiten von Bildern
US8259174B2 (en) 2009-02-06 2012-09-04 GM Global Technology Operations LLC Camera auto-calibration by horizon estimation
KR101023275B1 (ko) 2009-04-06 2011-03-18 삼성전기주식회사 차량용 카메라 시스템의 캘리브레이션 방법 및 장치, 차량용 카메라 시스템의 각도상 오정렬을 판단하는 방법 및 이를 수행하는 전자 제어 유닛
KR101557678B1 (ko) * 2009-04-22 2015-10-19 삼성전자주식회사 휴대 단말기의 캘리브레이션 방법 및 장치
WO2012139636A1 (en) 2011-04-13 2012-10-18 Connaught Electronics Limited Online vehicle camera calibration based on road surface texture tracking and geometric properties
US9491450B2 (en) * 2011-08-01 2016-11-08 Magna Electronic Inc. Vehicle camera alignment system
JP6141601B2 (ja) 2012-05-15 2017-06-07 東芝アルパイン・オートモティブテクノロジー株式会社 車載カメラ自動キャリブレーション装置
JP5923422B2 (ja) * 2012-09-24 2016-05-24 クラリオン株式会社 カメラのキャリブレーション方法及び装置
JP6177006B2 (ja) * 2013-05-24 2017-08-09 京セラ株式会社 カメラ較正装置、およびカメラ較正方法
US9509979B2 (en) 2013-11-26 2016-11-29 Mobileye Vision Technologies Ltd. Stereo auto-calibration from structure-from-motion
CN103824346B (zh) * 2014-02-17 2016-04-13 深圳市宇恒互动科技开发有限公司 行车记录及重现方法和***
JP2016001378A (ja) * 2014-06-11 2016-01-07 株式会社デンソー 車載カメラの校正装置
KR102366402B1 (ko) * 2015-05-21 2022-02-22 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법
US10443287B2 (en) * 2015-07-29 2019-10-15 Ford Global Technologies, Llc Door position sensor and system for a vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090179773A1 (en) 2005-10-28 2009-07-16 Hi-Key Limited Method and apparatus for calibrating an image capturing device, and a method and apparatus for outputting image frames from sequentially captured image frames with compensation for image capture device offset
WO2016087298A1 (en) 2014-12-04 2016-06-09 Connaught Electronics Ltd. Online calibration of a motor vehicle camera system
JP2016149711A (ja) 2015-02-13 2016-08-18 株式会社デンソー カメラ校正装置

Also Published As

Publication number Publication date
GB2562898A (en) 2018-11-28
CN108696719B (zh) 2022-03-01
US10438374B2 (en) 2019-10-08
GB201806014D0 (en) 2018-05-23
GB2603731B (en) 2022-11-23
JP2019003613A (ja) 2019-01-10
US20180300899A1 (en) 2018-10-18
GB2603731A (en) 2022-08-10
DE102017206295B3 (de) 2018-01-25
CN108696719A (zh) 2018-10-23
GB202206240D0 (en) 2022-06-15

Similar Documents

Publication Publication Date Title
JP7096053B2 (ja) 車両の車両カメラを較正するための方法および装置
US10620000B2 (en) Calibration apparatus, calibration method, and calibration program
JP6776202B2 (ja) 車載カメラのキャリブレーション装置及び方法
WO2015029443A1 (ja) 舵角補正方法、舵角補正装置、撮像装置、および舵角補正システム
JP2002259995A (ja) 位置検出装置
JP5175230B2 (ja) カメラの自動キャリブレーション装置及び自動キャリブレーション方法
EP3644293B1 (en) Travel control method and travel control device
KR102227850B1 (ko) 차량용 후방 카메라의 영상 보정 방법
JP2014174067A (ja) 車載カメラのキャリブレーション装置
JP2016001776A (ja) 車載カメラの取付角度調整処理、取付角度検出装置
JP6314655B2 (ja) 標示線検出装置、標示線検出方法
JP2009212734A (ja) 自動校正単眼ステレオ視装置
JP2019007739A (ja) 自己位置推定方法及び自己位置推定装置
KR100844909B1 (ko) 센서 보정이 용이한 사고 정보 기록장치 및 보정방법
KR20210125583A (ko) 차량 구성요소의 움직임을 보상하기 위한 시스템 및 방법
KR102121287B1 (ko) 카메라 시스템 및 카메라 시스템의 제어 방법
TWI734648B (zh) 雷達校正系統和方法
JP2019121030A (ja) カメラずれ検出装置、カメラずれ検出方法および異常検出装置
US20220327671A1 (en) Error-Robust Capture of Vehicle Surroundings
JP6974192B2 (ja) カメラずれ検出装置およびカメラずれ検出方法
KR20160097596A (ko) Avm 영상 보정 시스템 및 그 제어방법
CN111326012A (zh) 图像处理设备和图像处理方法
JP4196211B2 (ja) 画像処理装置及び画像処理方法
JP4606861B2 (ja) 車両状態検知装置
WO2021106510A1 (ja) 障害物認識装置

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200213

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210401

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220620

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220623

R150 Certificate of patent or registration of utility model

Ref document number: 7096053

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150