JP5820787B2 - 画像処理装置、及びプログラム - Google Patents

画像処理装置、及びプログラム Download PDF

Info

Publication number
JP5820787B2
JP5820787B2 JP2012190056A JP2012190056A JP5820787B2 JP 5820787 B2 JP5820787 B2 JP 5820787B2 JP 2012190056 A JP2012190056 A JP 2012190056A JP 2012190056 A JP2012190056 A JP 2012190056A JP 5820787 B2 JP5820787 B2 JP 5820787B2
Authority
JP
Japan
Prior art keywords
image
calibration target
vehicle
processing apparatus
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012190056A
Other languages
English (en)
Other versions
JP2014048803A (ja
Inventor
丙辰 王
丙辰 王
勝之 今西
勝之 今西
博彦 柳川
博彦 柳川
真和 竹市
真和 竹市
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Soken Inc
Original Assignee
Denso Corp
Nippon Soken Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Nippon Soken Inc filed Critical Denso Corp
Priority to JP2012190056A priority Critical patent/JP5820787B2/ja
Priority to DE112013004266.5T priority patent/DE112013004266T5/de
Priority to PCT/JP2013/004988 priority patent/WO2014034064A1/ja
Priority to US14/421,204 priority patent/US9967526B2/en
Priority to CN201380044872.1A priority patent/CN104641394B/zh
Publication of JP2014048803A publication Critical patent/JP2014048803A/ja
Application granted granted Critical
Publication of JP5820787B2 publication Critical patent/JP5820787B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402Image calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、車両において使用されるカメラの設置に関するキャリブレーションを行う技術に関する。
従来、車に搭載されたカメラの設置に関するキャリブレーションを行う技術として、次の技術が知られている。すなわち、カメラで撮影した二つの画像フレームから同じ地点を表す特徴点を抽出し、その特徴点が表す地点の世界座標系上の移動量の、自車の車速から算出した自車の移動量に対する誤差が最小になるようにカメラの姿勢を算出する技術が知られている(例えば、特許文献1)。
特開2011−217233号公報
ところが、上述した技術は二つの点で問題がある。一つ目は、上述した技術は車両のヨー方向の移動を考慮していないため、測定者は正確に車両を直進させなければならず、測定者に負担を強いるという問題である。二つ目は、キャリブレーションを実行する場所として十分な直線距離が取れる場所でなければならないため、キャリブレーションを実行できる場所に制限があるという問題である。
本発明はこれらの問題に鑑みなされたものであり、車両を直進させなくてもカメラの姿勢パラメータの値を算出することができる技術を提供することを目的とする。
上記課題を解決するためになされた請求項1に記載の画像処理装置は、撮影画像入力手段と、校正ターゲット特定手段と、車両情報入力手段と、第一算出手段と、記憶制御手段と、を備える。撮影画像入力手段は、車両に搭載されたカメラより撮影画像を入力する。校正ターゲット特定手段は、撮影画像入力手段により入力された、車両が走行した少なくとも2地点で撮影された各撮影画像において、共通して含まれる校正ターゲットを特定する。車両情報入力手段は、車両の走行距離及び向き変化を特定可能な情報を入力する。第一算出手段は、校正ターゲット特定手段が特定した校正ターゲットについての各撮影画像を鳥瞰変換し、変換した各画像を、車両情報入力手段が入力した情報より特定される各画像の撮影位置及び撮影方向を反映させて世界座標系上に配置させた場合に、変換した各画像の位置差及び回転差が少なくなるようカメラの姿勢パラメータの値を算出する。記憶制御手段は、第一算出手段により算出された姿勢パラメータの値を記憶手段に記憶させる。
このような画像処理装置によれば、車両の移動に回転が含まれていても、それが反映されたカメラの姿勢パラメータ値が算出される。すなわち、測定の際に車両を旋回させても良い(直進させなくても良い)。このため測定が容易にできる。
なお、校正ターゲット特定手段は、測定を目的として車両の周辺に設置されたマーカやパネル等(既定校正ターゲット)を第一算出手段が用いる校正ターゲットとして特定してもよいが、測定に用いることを目的として配置されたものではない物体、すなわち、地表面近傍に存在する物体であって路面と区別可能な物体(疑似校正ターゲット)を第一算出手段が用いる校正ターゲットとして特定するようになっているとよい(請求項2)。
このような画像処理装置であれば、マーカ等の既定の校正ターゲットを測定前に用意することなくカメラの姿勢パラメータ値を算出することができる。
なお、請求項3に記載の画像処理装置のように、第一算出手段が算出する姿勢パラメータの値は、カメラの水平方向の取付位置、又は、カメラの取付ヨー角(水平方向の首振角)の少なくともいずれか一つであると特に良い。「カメラの水平方向の取付位置」としては、例えば、水平面上における直交座標軸の一方(X又はY)又は両方(X及びY)の方向が挙げられる。
このような姿勢パラメータであれば、その値を第一算出手段により精度良く算出できる。
ところで、請求項4に記載の画像処理装置のように、既定の校正ターゲットの本来の形状を特定可能な形状情報を記憶する既定校正ターゲット記憶手段と、既定の校正ターゲットが撮影された撮影画像を撮影画像入力手段により入力して鳥瞰変換し、その鳥瞰変換した画像に含まれる既定の校正ターゲットの形状と、既定校正ターゲット記憶手段に記憶されている形状情報により特定される既定の校正ターゲットの本来の形状との相違が少なくなるよう、第一算出手段が算出する姿勢パラメータ以外の種類の姿勢パラメータの値を算出する第二算出手段と、をさらに備えるように構成する。そして、記憶制御手段は、第二算出手段により算出された姿勢パラメータの値も記憶手段に記憶させる。「形状の相違」とは、例えば、大きさやゆがみなどが挙げられる。
このような画像処理装置によって算出されたパラメータの値を利用することにより、より適切にキャリブレーションを実現することができる。
なお、請求項5に記載の画像処理装置のように、第二算出手段が算出する姿勢パラメータの値は、カメラの取付ピッチ角(鉛直方向の首振角)、取付ロール角、又は、鉛直方向の取付位置の少なくともいずれか一つであるとよい。
このような姿勢パラメータであれば、その値を第二算出手段により精度良く算出できる。
実施形態の画像処理システムの概略構成を示すブロック図である。 (A)車両へのカメラの取付位置を示す説明図である。(B)カメラの取付位置の座標及びカメラの光軸の方向を説明するための説明図である。 姿勢パラメータ決定処理を説明するためのフローチャートである。 (A)撮影された既定校正ターゲットの鳥瞰画像である。(B)理想的な既定校正ターゲットである。 (A)第一の時点の疑似校正ターゲットの鳥瞰画像である。(B)第二の時点の疑似校正ターゲットの鳥瞰画像である。(C)第一の時点の疑似校正ターゲットの鳥瞰画像と第二の時点の疑似校正ターゲットの鳥瞰画像とを世界座標系上に配置した画像である。
以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明は、下記の実施形態によって何ら限定して解釈されない。また、下記の実施形態の構成の一部を、課題を解決できる限りにおいて省略した態様も本発明の実施形態である。また、下記の複数の実施形態を適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言のみによって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。また、下記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。
[構成の説明]
図1に示すように、実施形態の画像処理システム5は、車載カメラ11と画像処理装置21と表示装置31とを備える。
車載カメラ11は、車両に搭載されたCCDやCMOS等の撮像素子を有するカメラであり、車両周辺を撮影してその撮影画像を所定頻度(例えば、1秒間に60フレーム。)で画像処理装置21へ出力するカメラである。本実施形態では、図2(A)に示すように車両7の後端の上部に設置され、車両の後方周辺を撮影できるように設置されている。後述するが、車両の前方周辺を撮影するカメラや側方周辺を撮影するカメラを追加又は置換して設置しても良い。
ここで、本実施形態で用いる世界座標系について、図2(A)を用いて説明する。本実施形態における世界座標系の原点は、以下で説明する姿勢パラメータ決定処理のS150で選択された2つの撮影画像のうち古い時間に撮影された撮影画像の撮影時点における車載カメラ11の位置を基準とする。すなわち、その撮影時点における車載カメラ11の図示しない撮像素子の中央位置R(カメラ視点R)より地表面に下ろした垂線と地表面との交点を原点Qとし、車両後方をy方向、車両上方をz方向、車両中央から車両後方を見た場合に右方向をx方向として設定する。
次に、車載カメラ11の姿勢パラメータについて、図2(B)を用いて説明する。上述したカメラ視点Rを原点Rとするカメラ座標系(x”,y”,z”)を設定し、そのカメラ座標系について、世界座標のx軸回りの回転角をτxとし、世界座標のy軸回りの回転角をτyとし(図示せず)、世界座標のz軸回りの回転角をτzとする(図示せず)。なお、τxがピッチ角に対応し、τyがロール角、τzがヨー角に対応する。
すなわち、車載カメラ11の姿勢パラメータは、世界座標系を基準とした、カメラ座標系の原点Rの座標(測定開始時点では(0,0,H))と、ピッチ角τxと、ロール角τyと、ヨー角τzとである。そして、過去の測定によって明らかになっているこれらの値(座標及び角度)を用いて以下に説明する処理を行いこれらの値を校正する。
説明を図1に戻し、表示装置31は、液晶ディスプレイや有機ELディスプレイからなり、車載カメラ11で撮影された撮影画像に基づいて画像処理装置21で処理された画像を表示することができる。
画像処理装置21は、画像記憶部22、センサ情報入力部23、操作部24、姿勢パラメータ等記憶部25、及び、制御部26を備える。
画像記憶部22は、DRAM等の記憶デバイスからなり、車載カメラ11より逐次出力される撮影画像を所定時間分(例えば、過去10秒分)記憶する。
センサ情報入力部23は、車速パルスセンサ等から得られる車両の移動距離を把握可能な移動距離情報と、ステアリング角度センサやジャイロスコープ等から得られる車両の回転角を把握可能な回転情報とを入力する入力インターフェースである。これらの情報は、対応するセンサから直接入力してもよいし、別の情報処理装置(ECU)等から取得してもよい。
操作部24は、表示装置31の表示面に設けられたタッチパネルや、表示装置31の周囲等に設置されたメカニカルなキースイッチからなり、運転者等から各種操作指示を入力することができるデバイスである。
姿勢パラメータ等記憶部25は、フラッシュメモリ等の不揮発性の記憶デバイスからなり、車載カメラ11の上述した姿勢パラメータ、制御部26が実行するプログラム、後述する既定校正ターゲットの色彩情報及び形状情報を記憶するためのデバイスである。なお、姿勢パラメータ等記憶部25に記憶された姿勢パラメータが用いられて、車載カメラ11が撮影した映像の処理(例えば、鳥瞰画像への変換)が行われる。また、この姿勢パラメータは、車両の振動等の理由によって車載カメラ11の取付位置や取付角度が異常になっていることを警告する際の判断にも用いられる。
制御部26は、CPU、RAM、ROM及びI/O等からなるマイコンから構成され、姿勢パラメータ等記憶部25が記憶するプログラムを読み込んで各種処理を実行する。
[動作の説明]
次に画像処理装置21の動作について説明する。以下では、本発明に関する処理を中心に説明し、従来より知られたこの手の車載カメラが撮影した撮影画像を表示装置に表示させるための処理(例えば、車庫入れを補助するために撮影画像を鳥瞰画像に変換し車輪の予測軌跡などを合成して表示装置に表示させる処理等)については、説明を省略する。
画像処理装置21の制御部26が実行する姿勢パラメータ決定処理について、図3を用いて説明する。姿勢パラメータ決定処理は、車両が停止した状態において測定者が操作部24を操作して姿勢パラメータの更新を意味する指示を入力した際に、姿勢パラメータ等記憶部25からプログラムが制御部26に読み込まれて実行が開始される。なお、測定者が指示する際には、姿勢パラメータの全てを更新(完全更新)するか、一部を更新(一部更新)するかを選択することができるが、全て更新することを選択する場合は、事前に車載カメラ11の撮影範囲に既定校正ターゲットを設置した上で実行指示を入力しなければならない。既定校正ターゲットとしては、測定に用いることを目的としたターゲットであり、例えば、数10センチメートル角の正方形状のパネルが挙げられる。
制御部26は、姿勢パラメータ決定処理の実行を開始すると、まず姿勢パラメータ決定処理の開始に際し、測定者より完全更新が指示されたか否かによって処理を分岐する(S105)。完全更新が指示されていた場合はS110へ処理を移行し、一部更新が指示されていた場合はS125へ処理を移行する。
完全更新が指示されていた場合に進むS110では、制御部26は、車載カメラ11が撮影した撮影画像であって画像記憶部22が記憶している最新の撮影画像を1フレーム入力する。
続いて、制御部26は、S110で読み込んだ撮影画像に含まれる既定校正ターゲットの変形が少なく(望ましくは最小と)なるように、上述した姿勢パラメータのうち、ピッチ角、ロール角、及び、カメラ視点の座標の高さH(z座標)を決定する(S115)。この決定に関して詳細に説明する。
制御部26は、まず、S110で入力した画像を鳥瞰画像に変換する。この変換方法は周知であり、例えば特開平10−211849号に詳しい。すなわち、図2(B)におけるスクリーン平面T上の座標を、地表面上の座標に変換する。なお、図2(B)の例では、世界座標系の軸回りの回転について、x軸回りのみとなっているが、y軸回りやz軸回りの回転も考慮して変換を行う。また、変換は、姿勢パラメータ等記憶部25に記憶されている姿勢パラメータの値を用いて行う。
制御部26は、鳥瞰画像への変換を終えると、その鳥瞰画像に含まれる既定校正ターゲットを特定する。既定校正ターゲットの特定は姿勢パラメータ等記憶部25に記憶されている既定校正ターゲットの色彩情報及び形状情報を用いて行う。
続いて、制御部26は、姿勢パラメータのうちの、ピッチ角、ロール角、及び、カメラ視点の座標の高さH(z座標)について、撮影画像中の既定校正ターゲットの鳥瞰変換後の形状が、理想的な形状(姿勢パラメータ等記憶部25に記憶されている既定校正ターゲットの形状情報によって特定される形状)に最も近づく数値を探索する。探索方法は、例えば、姿勢パラメータ等記憶部25に記憶されている前回実行時の姿勢パラメータの値を中心値として各パラメータの値を順に増減させ、撮影画像を鳥瞰変換して理想的な形状と比較することにより探索する方法が考えられるが、これに限らない。
すなわち、図4(A)に例示する、撮影された2つの既定校正ターゲット61a,61bの鳥瞰画像が、図4(B)に例示する、理想的な形状の既定校正ターゲット62(鳥瞰視したもの)に近づくように、姿勢パラメータのうちの、ピッチ角、ロール角、及び、カメラ視点の座標の高さH(z座標)を探索する。なお、正方形状の既定校正ターゲットが台形に歪む場合や、既定校正ターゲットの面積が相違する場合は、ピッチ角、ロール角、及び、カメラ視点の座標の高さH(z座標)の影響が大きい。
説明を図3のフローチャートに戻し、制御部26は、S115において、姿勢パラメータの、ピッチ角、ロール角、及び、カメラ視点の座標の高さH(z座標)を決定すると、これら決定した値によって、姿勢パラメータ等記憶部25に記憶されている姿勢パラメータの値を更新する(S120)。すなわち、姿勢パラメータのうち、ピッチ角、ロール角、及び、カメラ視点の座標の高さH(z座標)が最新の値に更新される。
続いて、制御部26は、車両を移動させることを知らせることを報知する(S125)。具体的には、表示装置31に文字を表示させることによってそれを実現する。
続いて、制御部26は、車載カメラ11が撮影した撮影画像であって画像記憶部22が記憶している最新の撮影画像の逐次入力を開始する(S135)。
続いて、制御部26は、センサ情報入力部23を介して車速パルスセンサから車両の移動距離情報、及びステアリング角度センサから車両の回転情報の逐次入力を開始する(S140)。入力したこれら情報は、S135で入力した各撮影画像と対応付けて制御部26内のRAMに記憶する。例えば、等間隔で連続する各撮影画像について、それぞれ直前の撮影画像が撮影された場所からの車両の移動距離及び回転角を対応付ける。なお、ナビゲーション装置等の車両の位置及び回転角を把握している装置から移動距離及び回転角を表す情報を取得してもよい。
続いて、制御部26は、S135で入力した撮影画像を解析して画像中から疑似校正ターゲットを決定する(S145)。疑似校正ターゲットは、測定に用いることを目的として配置された物体ではなく、車両の走行路の周辺の地表面付近にある固定物体(白線等も含む移動しない物体)であって、一定以上の大きさを有し、且つ、回転具合を識別可能な物体(上方からみた場合に真円でない物体)である。具体例としては、道路上の白線、黄線、縁石、反射板、路面の模様、歩道の点字ブロック等、地表付近に存在する様々なものが考えられる。また、疑似校正ターゲットは、撮影画像中から一つのみ選択して決定してもよいし複数選択してもよい。なお、制御部26は、適当な疑似校正ターゲットを決定できるまで、本ステップ(S145)を実行する。
続いて、制御部26は、S135で入力した撮影画像の中から、S145で決定した疑似校正ターゲットが含まれる二時点の画像(異なる二地点から撮影した画像)を選択する(S150)。二時点の間隔としては、数メートル車両が移動する程度の間隔が適当である。
続いて、制御部26は、S150で選択した画像を撮影した二時点間(2地点間)の車両の移動距離及び回転角を、S140で入力して各画像に対応付けた、車両の移動距離情報及び回転情報に基づいて算出する(S155)。
続いて、制御部26は、世界座標系上における二時点の疑似校正ターゲットの位置差及び回転差が少なく(望ましくは最小と)なるように、上述した姿勢パラメータのうち、カメラ視点の座標のx、y、及びヨー角を決定する(S160)。この決定に関して詳細に説明する。
制御部26は、まず、S150で選択した二時点の撮影画像のそれぞれを鳥瞰画像に変換する。この際、姿勢パラメータ等記憶部25に記憶されている姿勢パラメータの値を用いて変換を行う。
続いて、制御部26は、変換した2つの鳥瞰画像中にそれぞれ含まれる疑似校正ターゲットの位置及び回転の相違(ずれ)が世界座標系上で少なくなるように、姿勢パラメータのうち、カメラ視点の座標のx、y、及びヨー角を探索する。探索方法は、例えば、姿勢パラメータ等記憶部25に記憶されている前回実行時の姿勢パラメータの値を中心値として各パラメータの値を順に増減させ、撮影画像を鳥瞰変換して上記相違を評価することにより探索する方法が考えられるが、これに限らない。
ここで、図5を用い、疑似校正ターゲットの位置差(位置のずれ)及び回転差(回転のずれ)について例示する。図5(A)は、S150で選択した第一の時点の撮影画像を鳥瞰画像に変換した画像であり、疑似校正ターゲット71,72付近の画像である。この図では、正方形状の2つの疑似校正ターゲット71,72が左右に並び、後述する図5(B)と比較して時計と反対回りにわずかに回転した状態に変換されている。
図5(B)は、S150で選択した第二の時点の撮影画像を鳥瞰画像に変換した画像であり、図5(A)の疑似校正ターゲットと同一の疑似校正ターゲット71,72付近の画像である。この図では、正方形状の2つの疑似校正ターゲット71,72が左右に並び、図5(A)と比較して時計回りにわずかに回転した状態(図面上では整列した状態)に変換されている。
図5(C)は、図5(A)と図5(B)とを座標系を揃えて配置した画像である。この図からわかるように、第一の時点の疑似校正ターゲット71,72と第二の時点の疑似校正ターゲット71,72とには、位置の相違(ずれ)と回転の相違(ずれ)とが存在する。この相違ができるだけ小さくなるように、姿勢パラメータのうちの、カメラ視点の座標のx、y、及びヨー角を探索する。なお、疑似校正ターゲットの位置の相違や回転の相違は、カメラ視点の座標のx、y、及びヨー角の影響によるものが大きい。
説明を図3のフローチャートに戻し、S160において、姿勢パラメータのうちの、カメラ視点の座標のx,y及びヨー角を決定すると、これら決定した値によって、姿勢パラメータ等記憶部25に記憶されている姿勢パラメータの値を更新する(S165)。すなわち、姿勢パラメータのうち、カメラ視点の座標のx,y及びヨー角が最新の値に更新される。
続いて制御部26は、姿勢パラメータの更新が完了したことを測定者に報知する(S170)。具体的には、表示装置31に文字を表示させることによってそれを実現する。制御部26は、報知を終えると、本処理(姿勢パラメータ決定処理)を終了する。
[実施形態の効果]
以上のような画像処理装置21は、要するに、異なる2地点より撮影された同一の疑似校正ターゲットを、車両の移動及び回転を反映して世界座標系上の地平面にそれぞれ配置する。そして、その配置した疑似校正ターゲットを上方から見た場合の位置ずれや回転ずれが少なくなるように、車載カメラ11の姿勢パラメータのうちの、カメラ視点の座標のx,y及びヨー角の値を見直す。したがって、車両の回転移動も反映して姿勢パラメータの値を算出するため、測定の際に車両を旋回させてもよい。
また、画像処理装置21は、疑似校正ターゲットを、車両の周辺の地表付近に存在する様々なものから選択して決定する。このため、マーカ等の既定校正ターゲットを測定前に車両の周囲に配置することなく、車両を、疑似校正ターゲットの近傍を走行させることによって、姿勢パラメータのうちの、カメラ視点の座標のx,y及びヨー角の値を見直すことができる。
また、車載カメラ11の姿勢パラメータのうちの、カメラ視点の座標のx,y及びヨー角の値を算出することに先立ち、鳥瞰画像中に含まれる既定校正ターゲット(疑似校正ターゲットではない校正ターゲット)の歪み具合によって、姿勢パラメータのうちのピッチ角、ロール角、及び、カメラ視点の座標の高さH(z座標)の値を見直すこともできる。このため、姿勢パラメータのうちの、カメラ視点の座標のx,y及びヨー角の値を算出する際の精度を高めることができるし、結果として車載カメラ11の全ての種類の姿勢パラメータ(x、y、z、ピッチ角、ロール角、及びヨー角)を算出することができる。
[他の実施形態]
(1)上記実施形態では、同一の疑似校正ターゲットが含まれる二時点の画像(異なる二地点から撮影した画像)を選択するようになっていたが(S150)、同一の疑似校正ターゲットが含まれる三以上の時点の画像(異なる三地点から撮影した画像)を選択して、以降の処理を行うようになっていてもよい。このようになっていれば、より精度の高い姿勢パラメータを算出できる。
(2)上記実施形態は車両7の後方周辺を撮影するカメラとして車載カメラ11が1台設置されたものであったが、車両7には複数台のカメラが設置されていてもよい。それらの複数台のカメラは、それぞれ車両の前方、後方、又は側方を撮影可能なように設置されているとよい。複数台のカメラが設置されている場合は、上述した姿勢パラメータ決定処理をカメラ毎に行うようになっているとよい。
(4)上記実施形態では、画像処理装置21の制御部26が姿勢パラメータ決定処理の全てのステップを行うようになっていたが、一部のステップを他の情報処理装置に行わせるようになっていてもよい。すなわち、一部のステップの実行に必要なデータを制御部26が他の情報処理装置へ送信し、結果のデータをその情報処理装置から制御部26が受信することによって姿勢パラメータ決定処理を実現してもよい。なお、他の情報処理装置は、車載の情報処理装置であってもよいし、通信ネットワークを介して通信可能な非車載の情報処理装置であってもよい。このように一部のステップを他の情報処理装置に行わせるようになっていれば、画像処理装置21の処理負荷を抑えることができ、ハードウェア構成を簡易なものにすることも可能になる。
(5)上記実施形態の姿勢パラメータ決定処理では、S145〜S160にかけて疑似校正ターゲットを用いたが、既定校正ターゲット(測定を目的として車両の周辺に設置するパネル等)を用いてもよい。すなわち、事前に車両の走行路の周囲に既定校正ターゲットを配置しておき、その付近を車両に走行させ、制御部26はそれを用いてS145〜S160の処理を行うようにしてもよい。
5…画像処理システム、7…車両、11…車載カメラ、21…画像処理装置、22…画像記憶部、23…センサ情報入力部、24…操作部、25…姿勢パラメータ等記憶部、26…制御部、31…表示装置。

Claims (7)

  1. 車両に搭載されたカメラより撮影画像を入力する撮影画像入力手段(26,S135)と、
    前記撮影画像入力手段により入力された、車両が走行した少なくとも2地点で撮影された各撮影画像において、共通して含まれる校正ターゲットを特定する校正ターゲット特定手段と、
    前記車両の走行距離及び向き変化を特定可能な情報を入力する車両情報入力手段(26,S140)と、
    前記校正ターゲット特定手段が特定した前記校正ターゲットについての各撮影画像を鳥瞰変換し、変換した各画像を、前記車両情報入力手段が入力した情報より特定される各画像の撮影位置及び撮影方向を反映させて世界座標系上に配置させた場合に、変換した各画像の位置差及び回転差が少なくなるよう前記カメラの姿勢パラメータの値を算出する第一算出手段(26,S160)と、
    前記第一算出手段により算出された前記姿勢パラメータの値を記憶手段(25)に記憶させる記憶制御手段(26,S165)と、
    を備えることを特徴とする画像処理装置。
  2. 請求項1に記載の画像処理装置において、
    前記校正ターゲット特定手段は、地表面近傍に存在する物体であって路面と区別可能な物体を前記校正ターゲットとして特定すること、
    を特徴とする画像処理装置。
  3. 請求項1又は請求項2に記載の画像処理装置において、
    前記第一算出手段が算出する前記姿勢パラメータの値は、前記カメラの水平方向の取付位置、又は、前記カメラの取付ヨー角(水平方向の首振角)の少なくともいずれか一つであること、
    を特徴とする画像処理装置。
  4. 請求項1〜請求項3のいずれかに記載の画像処理装置において、
    既定の校正ターゲットの本来の形状を特定可能な形状情報を記憶する既定校正ターゲット記憶手段(25)と、
    既定の校正ターゲットが撮影された撮影画像を前記撮影画像入力手段により入力して鳥瞰変換し、その鳥瞰変換した画像に含まれる前記既定の校正ターゲットの形状と、前記既定校正ターゲット記憶手段に記憶されている前記形状情報により特定される既定の校正ターゲットの本来の形状との相違が少なくなるよう、前記第一算出手段が算出する前記姿勢パラメータ以外の種類の姿勢パラメータの値を算出する第二算出手段(26,S115)と、
    をさらに備え、
    前記記憶制御手段は、前記第二算出手段により算出された前記姿勢パラメータの値も前記記憶手段に記憶させること、
    を特徴とする画像処理装置。
  5. 請求項4に記載の画像処理装置において、
    前記第二算出手段が算出する前記姿勢パラメータの値は、前記カメラの取付ピッチ角(鉛直方向の首振角)、取付ロール角、又は、鉛直方向の取付位置の少なくともいずれか一つであること、
    を特徴とする画像処理装置。
  6. 請求項4又は請求項5に記載の画像処理装置において、
    前記第一算出手段は、前記第二算出手段によって算出されて前記記憶手段に記憶された前記姿勢パラメータの値に基づいて前記鳥瞰変換を行うこと、
    を特徴とする画像処理装置。
  7. コンピュータを、
    車両に搭載されたカメラより撮影画像を入力する撮影画像入力手段(S135)と、
    前記撮影画像入力手段により入力された、車両が走行した少なくとも2地点で撮影された各撮影画像において、共通して含まれる校正ターゲットを特定する校正ターゲット特定手段と、
    前記車両の走行距離及び向き変化を特定可能な情報を入力する車両情報入力手段(S140)と、
    前記校正ターゲット特定手段が特定した前記校正ターゲットについての各撮影画像を鳥瞰変換し、変換した各画像を、前記車両情報入力手段が入力した情報より特定される各画像の撮影位置及び撮影方向を反映させて世界座標系上に配置させた場合に、変換した各画像の位置差及び回転差が少なくなるよう前記カメラの姿勢パラメータの値を算出する第一算出手段(S160)と、
    前記第一算出手段により算出された前記姿勢パラメータの値を記憶手段(25)に記憶させる記憶制御手段(S165)と、
    して機能させるためのプログラム。
JP2012190056A 2012-08-30 2012-08-30 画像処理装置、及びプログラム Expired - Fee Related JP5820787B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012190056A JP5820787B2 (ja) 2012-08-30 2012-08-30 画像処理装置、及びプログラム
DE112013004266.5T DE112013004266T5 (de) 2012-08-30 2013-08-23 Bildbearbeitungsvorrichtung und Speichermedium
PCT/JP2013/004988 WO2014034064A1 (ja) 2012-08-30 2013-08-23 画像処理装置、及び記憶媒体
US14/421,204 US9967526B2 (en) 2012-08-30 2013-08-23 Image processing device and storage medium
CN201380044872.1A CN104641394B (zh) 2012-08-30 2013-08-23 图像处理装置及图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012190056A JP5820787B2 (ja) 2012-08-30 2012-08-30 画像処理装置、及びプログラム

Publications (2)

Publication Number Publication Date
JP2014048803A JP2014048803A (ja) 2014-03-17
JP5820787B2 true JP5820787B2 (ja) 2015-11-24

Family

ID=50182902

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012190056A Expired - Fee Related JP5820787B2 (ja) 2012-08-30 2012-08-30 画像処理装置、及びプログラム

Country Status (5)

Country Link
US (1) US9967526B2 (ja)
JP (1) JP5820787B2 (ja)
CN (1) CN104641394B (ja)
DE (1) DE112013004266T5 (ja)
WO (1) WO2014034064A1 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6151535B2 (ja) * 2013-02-27 2017-06-21 富士通テン株式会社 パラメータ取得装置、パラメータ取得方法及びプログラム
EP2942951A1 (en) * 2014-05-06 2015-11-11 Application Solutions (Electronics and Vision) Limited Image calibration
KR101579100B1 (ko) 2014-06-10 2015-12-22 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
JP6450530B2 (ja) 2014-06-11 2019-01-09 株式会社Soken 車載カメラの取付角度調整処理、取付角度検出装置
US10091418B2 (en) * 2014-10-24 2018-10-02 Bounce Imaging, Inc. Imaging systems and methods
KR101947935B1 (ko) * 2014-12-22 2019-02-13 사이버옵틱스 코포레이션 3차원 측정 시스템의 갱신 보정 방법
JP6471522B2 (ja) * 2015-02-10 2019-02-20 株式会社デンソー カメラパラメータ調整装置
JP6413974B2 (ja) 2015-08-05 2018-10-31 株式会社デンソー キャリブレーション装置、キャリブレーション方法、及びプログラム
US10587863B2 (en) * 2015-09-30 2020-03-10 Sony Corporation Image processing apparatus, image processing method, and program
BR112018007131A2 (ja) * 2015-10-08 2018-11-06 Nissan Motor Co., Ltd. A display supporting device and a display support method
EP3176035A1 (en) * 2015-12-03 2017-06-07 Fico Mirrors S.A. A rear vision system for a motor vehicle
JP2017139612A (ja) * 2016-02-03 2017-08-10 パナソニックIpマネジメント株式会社 車載カメラ用校正システム
JP6614042B2 (ja) * 2016-06-15 2019-12-04 株式会社Jvcケンウッド 姿勢変化判定装置、俯瞰映像生成装置、俯瞰映像生成システム、姿勢変化判定方法およびプログラム
US10594934B2 (en) * 2016-11-17 2020-03-17 Bendix Commercial Vehicle Systems Llc Vehicle display
US10871380B2 (en) * 2017-03-23 2020-12-22 Hitachi Automotive Systems, Ltd. Vehicle control device
US10984555B2 (en) * 2017-03-30 2021-04-20 Mitsubishi Electric Corporation Object detection device and vehicle
CN110462678B (zh) * 2017-03-30 2023-05-02 富士胶片株式会社 图像处理装置及图像处理方法
JP6815935B2 (ja) * 2017-06-05 2021-01-20 日立オートモティブシステムズ株式会社 位置推定装置
US10466027B2 (en) 2017-06-21 2019-11-05 Fujitsu Ten Corp. Of America System and method for marker placement
US10670725B2 (en) * 2017-07-25 2020-06-02 Waymo Llc Determining yaw error from map data, lasers, and cameras
JP7019431B2 (ja) * 2018-01-22 2022-02-15 株式会社デンソーアイティーラボラトリ カメラキャリブレーション装置、カメラキャリブレーション方法、およびプログラム
JP7219561B2 (ja) * 2018-07-18 2023-02-08 日立Astemo株式会社 車載環境認識装置
JP7314486B2 (ja) * 2018-09-06 2023-07-26 株式会社アイシン カメラキャリブレーション装置
JP7270499B2 (ja) * 2018-10-10 2023-05-10 株式会社デンソーテン 異常検出装置、異常検出方法、姿勢推定装置、および、移動体制御システム
JP7148064B2 (ja) * 2018-10-25 2022-10-05 株式会社アイシン カメラパラメータ推定装置、カメラパラメータ推定方法、およびカメラパラメータ推定プログラム
WO2020121838A1 (ja) * 2018-12-12 2020-06-18 日立オートモティブシステムズ株式会社 外界認識装置
CN109782755B (zh) * 2018-12-27 2022-05-31 广东飞库科技有限公司 控制agv进行校准、agv校准位置的方法、计算机存储介质及agv
KR102297683B1 (ko) * 2019-07-01 2021-09-07 (주)베이다스 복수의 카메라들을 캘리브레이션하는 방법 및 장치
KR102277828B1 (ko) * 2019-08-13 2021-07-16 (주)베이다스 복수의 카메라들을 캘리브레이션하는 방법 및 장치
WO2021145236A1 (ja) * 2020-01-14 2021-07-22 京セラ株式会社 画像処理装置、撮像装置、情報処理装置、検出装置、路側機、画像処理方法、及び較正方法
EP3885698B1 (en) 2020-01-31 2022-09-28 NSK Ltd. Calibration method for rotation angle calculation device, calibration device for rotation angle calculation device, rotation angle calculation device, motor control equipment, electric actuator product, and electric power steering apparatus
CN113572946B (zh) * 2020-04-29 2023-05-02 杭州海康威视数字技术股份有限公司 图像显示方法、装置、***及存储介质
JP2022016908A (ja) * 2020-07-13 2022-01-25 フォルシアクラリオン・エレクトロニクス株式会社 俯瞰画像生成装置、俯瞰画像生成システム及び自動駐車装置
CN112132829A (zh) * 2020-10-23 2020-12-25 北京百度网讯科技有限公司 车辆信息的检测方法、装置、电子设备和存储介质
CN112801874B (zh) * 2021-02-03 2024-04-05 广州六环信息科技有限公司 一种车辆图像拼接方法、装置和车辆

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3663801B2 (ja) 1997-01-30 2005-06-22 いすゞ自動車株式会社 車両後方視界支援装置
JP3886376B2 (ja) 2001-12-26 2007-02-28 株式会社デンソー 車両周辺監視システム
JP4596978B2 (ja) * 2005-03-09 2010-12-15 三洋電機株式会社 運転支援システム
JP5124147B2 (ja) * 2007-02-01 2013-01-23 三洋電機株式会社 カメラ校正装置及び方法並びに車両
JP4857143B2 (ja) 2007-02-20 2012-01-18 アルパイン株式会社 カメラ姿勢算出用ターゲット装置およびこれを用いたカメラ姿勢算出方法ならびに画像表示方法
JP2009017462A (ja) * 2007-07-09 2009-01-22 Sanyo Electric Co Ltd 運転支援システム及び車両
JP2009129001A (ja) * 2007-11-20 2009-06-11 Sanyo Electric Co Ltd 運転支援システム、車両、立体物領域推定方法
RU2010122599A (ru) * 2007-12-03 2012-01-10 Панасоник Корпорэйшн (Jp) Устройство обработки изображений, устройство фотосъемки, устройство воспроизведения, интегральная схема и способ обработки изображений
US9105080B2 (en) * 2008-10-01 2015-08-11 Hi-Key Limited Method and a system for calibrating an image capture device
JP4831374B2 (ja) * 2009-03-27 2011-12-07 アイシン・エィ・ダブリュ株式会社 運転支援装置、運転支援方法、及び運転支援プログラム
JP5523730B2 (ja) * 2009-04-07 2014-06-18 アルパイン株式会社 車載周辺画像表示装置
JP5471038B2 (ja) * 2009-05-27 2014-04-16 アイシン精機株式会社 校正目標検出装置と、校正目標を検出する校正目標検出方法と、校正目標検出装置のためのプログラム
JP5491235B2 (ja) 2010-03-02 2014-05-14 東芝アルパイン・オートモティブテクノロジー株式会社 カメラキャリブレーション装置
JP2011217233A (ja) * 2010-04-01 2011-10-27 Alpine Electronics Inc 車載カメラ校正システム及びコンピュータプログラム
JP5444139B2 (ja) 2010-06-29 2014-03-19 クラリオン株式会社 画像のキャリブレーション方法および装置

Also Published As

Publication number Publication date
CN104641394B (zh) 2017-06-27
US9967526B2 (en) 2018-05-08
US20150208041A1 (en) 2015-07-23
JP2014048803A (ja) 2014-03-17
WO2014034064A1 (ja) 2014-03-06
CN104641394A (zh) 2015-05-20
DE112013004266T5 (de) 2015-09-24

Similar Documents

Publication Publication Date Title
JP5820787B2 (ja) 画像処理装置、及びプログラム
CN109767475B (zh) 一种传感器的外部参数标定方法及***
JP6009894B2 (ja) キャリブレーション方法、及びキャリブレーション装置
JP4636346B2 (ja) 車載カメラの校正装置、方法、及びプログラム
JP6277652B2 (ja) 車両周辺画像表示装置及びカメラの調整方法
JP5091902B2 (ja) 車載カメラの校正に用いられる校正指標と、当該校正指標を用いた車載カメラの校正方法と、システムと、当該システムのためのプログラム
JP6062609B1 (ja) 車両の外側寸法を監視するための方法ならびに装置
JP5240527B2 (ja) 車載カメラの校正装置、方法、及びプログラム
WO2010137364A1 (ja) 校正目標検出装置と、校正目標を検出する校正目標検出方法と、校正目標検出装置のためのプログラム
JP2009288152A (ja) 車載カメラのキャリブレーション方法
JP6471522B2 (ja) カメラパラメータ調整装置
CN105472317B (zh) 周边监视装置及周边监视***
JP2017188738A (ja) 車載カメラの取付角度検出装置、取付角度較正装置、取付角度検出方法、取付角度較正方法、およびコンピュータープログラム
JP2013154730A (ja) 画像処理装置、画像処理方法、及び、駐車支援システム
JP2007256030A (ja) 車載カメラのキャリブレーション装置およびキャリブレーション方法
US20170028917A1 (en) Driving assistance device and driving assistance method
WO2010103961A1 (ja) 駐車支援装置
JP2015194397A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム
JP2017102861A (ja) 物体認識装置
JP2007034989A (ja) 撮像装置のずれ検出方法、撮像装置のずれ補正方法及び撮像装置
JP5883275B2 (ja) 車載カメラのキャリブレーション装置
JP2016225719A (ja) ステレオカメラ装置、車両、および較正方法
JP6552192B2 (ja) ステレオカメラ装置、移動体、制御方法及び較正装置
JP2018136739A (ja) キャリブレーション装置
EP3709265A1 (en) Road surface area detection device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151005

R150 Certificate of patent or registration of utility model

Ref document number: 5820787

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees