JP2005167309A - 運転支援装置 - Google Patents
運転支援装置 Download PDFInfo
- Publication number
- JP2005167309A JP2005167309A JP2003399504A JP2003399504A JP2005167309A JP 2005167309 A JP2005167309 A JP 2005167309A JP 2003399504 A JP2003399504 A JP 2003399504A JP 2003399504 A JP2003399504 A JP 2003399504A JP 2005167309 A JP2005167309 A JP 2005167309A
- Authority
- JP
- Japan
- Prior art keywords
- bird
- eye
- viewpoint
- image
- conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】 簡易で安価な方法により、路面上の物体を3次元的に表示する。
【解決手段】 運転支援装置は、路面上の物体を平面物として見なし、カメラにより撮影された撮影画像が鳥瞰変換されて統合された統合鳥瞰画像を仮想視点で視点変換して視点変換画像を作成する。簡易で安価な方法により、路面上の物体を運転手からの視点に基づいた3次元の画像で表示することができ、車両周辺の状況を運転手に適切に確認させることができる。
【選択図】 図1
【解決手段】 運転支援装置は、路面上の物体を平面物として見なし、カメラにより撮影された撮影画像が鳥瞰変換されて統合された統合鳥瞰画像を仮想視点で視点変換して視点変換画像を作成する。簡易で安価な方法により、路面上の物体を運転手からの視点に基づいた3次元の画像で表示することができ、車両周辺の状況を運転手に適切に確認させることができる。
【選択図】 図1
Description
本発明は、車両周辺を撮影して画像を表示することにより、運転手の運転を支援するように構成された運転支援装置に関する。
運転手に車両周辺の状況を確認させることを目的として、複数のカメラにより撮影された複数の撮影画像間の視差に基づいて路面上の物体を3次元情報として検出し、路面上の物体を運転手からの視点に基づいた3次元の画像で表示することにより、車両周辺の状況を運転手に確認させるものがある(例えば特許文献1参照)。
特開2002−359838号公報
しかしながら、上記した特許文献1に記載されているものは、路面上の物体を3次元情報として検出する構成であるので、実用レベルで考えると、路面上の物体を3次元情報として検出するために複雑で高価な装置を必要とするという問題や、物体を3次元情報として安定的に検出することが困難であるという問題がある。
本発明は、上記した事情に鑑みてなされたものであり、その目的は、簡易で安価な方法により、路面上の物体を運転手からの視点に基づいた3次元の画像で表示することができ、車両周辺の状況を運転手に適切に確認させることができる運転支援装置を提供することにある。
請求項1に記載した発明によれば、車両周辺が撮影手段により撮影されると、鳥瞰変換手段は、その撮影画像を鳥瞰変換して鳥瞰画像を作成し、視点変換手段は、その鳥瞰画像を仮想視点で視点変換して視点変換画像を作成し、そして、制御手段は、その視点変換画像を表示手段に表示させる。すなわち、本発明によれば、従来のものとは異なって、路面上の物体を3次元情報として検出するのではなく、路面上の物体を平面物として見なし、撮影された撮影画像を鳥瞰変換して鳥瞰画像を作成し、次いで、その鳥瞰画像を仮想視点で視点変換して視点変換画像を作成して表示するように構成したので、簡易で安価な方法により、路面上の物体を運転手からの視点に基づいた3次元の画像で表示することができ、車両周辺の状況を運転手に適切に確認させることができる。尚、この場合、鳥瞰画像を仮想視点で視点変換して視点変換画像を作成する際に多少の歪が発生すると考えられるが、路面上の物体を3次元的に表示するという目的が十分に達成することができるので、多少の歪は一般的に許容範囲として受入れられる。
請求項2に記載した発明によれば、統合鳥瞰変換手段は、鳥瞰変換手段により作成された複数の鳥瞰画像を統合して統合鳥瞰画像を作成し、視点変換手段は、その統合鳥瞰画像を仮想視点で視点変換して視点変換画像を作成するように構成したので、例えば車両の右側方、左側方および後方の撮影画像が鳥瞰変換された鳥瞰画像を統合して統合鳥瞰画像を作成することにより、車両の右側方、左側方および後方の路面上の物体を運転手からの視点に基づいた3次元の画像で表示することができ、広範囲な車両周辺の状況を運転手に適切に確認させることができる。
請求項3に記載した発明によれば、収差補正手段は、撮影手段により撮影された撮影画像を収差補正して収差補正画像を作成し、鳥瞰変換手段は、その収差補正画像を鳥瞰変換して鳥瞰画像を作成するように構成したので、撮影手段の撮影範囲が広角な場合であれば、撮影画像にレンズ収差による歪みが発生するが、収差補正することにより、その撮影画像の歪みを除去することができ、これ以降、撮影画像の歪みによる悪影響が視点変換画像に及ぼされることを未然に回避することができ、視点変換画像を適切に作成することができ、違和感の無い視点変換画像を運転手に提供することができる。
請求項4に記載した発明によれば、制御手段は、統合鳥瞰変換手段により作成された統合鳥瞰画像が視点変換手段により仮想視点で視点変換されて作成された視点変換画像を表示手段に表示させる場合に、統合される以前の鳥瞰画像同士の境界を視点変換画像に重ねて表示手段に表示させるように構成したので、視点変換画像上で元々の撮影画像同士の境界を運転手に確認させることができる。
請求項5に記載した発明によれば、視点変換手段は、鳥瞰変換手段により作成された鳥瞰画像または統合鳥瞰変換手段により作成された統合鳥瞰画像を任意に設定された仮想視点で視点変換して視点変換画像を作成するように構成したので、例えば車両に近い箇所が視野となるように仮想視点を設定することにより、車両に近い箇所の路面上の物体を運転手からの視点に基づいた3次元の画像で表示することができ、これに対して、車両から遠い箇所が視野となるように仮想視点を設定すれば、車両から遠い箇所の路面上の物体を運転手からの視点に基づいた3次元の画像で表示することができる。
請求項6に記載した発明によれば、車両状態が車両状態入力手段に入力されると、視点変換手段は、その車両状態に基づいて仮想視点を設定し、鳥瞰変換手段により作成された鳥瞰画像または統合鳥瞰変換手段により作成された統合鳥瞰画像を当該設定された仮想視点で視点変換して視点変換画像を作成するように構成したので、車両状態として例えば車速を入力する場合では、車速が小さい(遅い)場合に車両に近い箇所が視野となるように仮想視点を設定することにより、車両に近い箇所の路面上の物体を運転手からの視点に基づいた3次元の画像で表示することができ、これに対して、車速が大きい(速い)場合に車両から遠い箇所が視野となるように仮想視点を設定することにより、車両から遠い箇所の路面上の物体を運転手からの視点に基づいた3次元の画像で表示することができる。
請求項7に記載した発明によれば、ユーザ操作が操作受付手段に受付けられると、視点変換手段は、そのユーザ操作に基づいて仮想視点を設定し、鳥瞰変換手段により作成された鳥瞰画像または統合鳥瞰変換手段により作成された統合鳥瞰画像を当該設定された仮想視点で視点変換して視点変換画像を作成するように構成したので、運転手が所望の箇所を設定することにより、運転手の所望の箇所の路面上の物体を運転手からの視点に基づいた3次元の画像で表示することができる。
以下、本発明の一実施形態について、図面を参照して説明する。図2は、運転支援装置の全体構成を機能ブロック図として示している。運転支援装置1は、CPU2(本発明でいう収差補正手段、鳥瞰変換手段、統合鳥瞰変換手段、視点変換手段、制御手段)、ワークメモリ3、第1のカメラ4a〜第3のカメラ4c(本発明でいう撮影手段)、第1のフレームメモリ5a〜第3のフレームメモリ5c、第1の収差補正用マップメモリ6a〜第3の収差補正用マップメモリ6c、第1の収差補正画像保存用メモリ7a〜第3の収差補正画像保存用メモリ7c、第1の鳥瞰変換用マップメモリ8a〜第3の鳥瞰変換用マップメモリ8c、第1の鳥瞰画像保存用メモリ9a〜第3の鳥瞰画像保存用メモリ9c、統合鳥瞰変換用マップメモリ10、統合鳥瞰画像保存用メモリ11、視点変換用マップメモリ12、視点変換画像保存用メモリ13、表示装置14(本発明でいう表示手段)、車両状態入力インタフェース15(本発明でいう車両状態入力手段)および操作受付インタフェース16(本発明でいう操作受付手段)を備えて構成されている。
CPU2は、制御プログラムを実行して運転支援装置1の動作全般を制御する。ワークメモリ3は、CPU2が制御プログラムを実行する場合にデータを一時的に記憶するなどの作業用記憶領域として機能する。第1のカメラ4a〜第3のカメラ4cは、車両周囲を撮影し、その撮影画像(カメラ画像)を第1のフレームメモリ5a〜第3のフレームメモリ5cに出力する。第1のフレームメモリ5a〜第3のフレームメモリ5cは、第1のカメラ4a〜第3のカメラ4cから入力された撮影画像を一時的に保存する。
第1の収差補正用マップメモリ6a〜第3の収差補正用マップメモリ6cは、第1のカメラ4a〜第3のカメラ4cにより撮影された撮影画像のレンズ収差に起因する歪みを収差補正するのに必要なパラメータを記憶している。第1の収差補正画像保存用メモリ7a〜第3の収差補正画像保存用メモリ7cは、収差補正画像を保存可能に構成されており、CPU2により第1の収差補正用マップメモリ6a〜第3の収差補正用マップメモリ6cのパラメータが用いられて収差補正画像が作成され、CPU2から保存指令信号が入力されると、その作成された収差補正画像を一時的に保存する。
第1の鳥瞰変換用マップメモリ8a〜第3の鳥瞰変換用マップメモリ8cは、第1の収差補正画像保存用メモリ7a〜第3の収差補正画像保存用メモリ7cに保存されている収差補正画像を鳥瞰変換するのに必要なパラメータを記憶している。第1の鳥瞰画像保存用メモリ9a〜第3の鳥瞰画像保存用メモリ9cは、鳥瞰画像を保存可能に構成されており、CPU2により第1の鳥瞰変換用マップメモリ8a〜第3の鳥瞰変換用マップメモリ8cのパラメータが用いられて鳥瞰画像が作成され、CPU2から保存指令信号が入力されると、その作成された鳥瞰画像を一時的に保存する。
統合鳥瞰変換用マップメモリ10は、第1の鳥瞰画像保存用メモリ9a〜第3の鳥瞰画像保存用メモリ9cに保存されている鳥瞰画像を統合するのに必要なパラメータを記憶している。統合鳥瞰画像保存用メモリ11は、統合鳥瞰画像を保存可能に構成されており、CPU2により統合鳥瞰変換用マップメモリ10のパラメータが用いられて統合鳥瞰画像が作成され、CPU2から保存指令信号が入力されると、その作成された統合鳥瞰画像を一時的に保存する。
視点変換用マップメモリ12は、統合鳥瞰画像保存用メモリ11に保存されている統合鳥瞰画像を視点変換するのに必要なパラメータを記憶している。視点変換画像保存用メモリ13は、視点変換画像を保存可能に構成されており、CPU2により視点変換用マップメモリ12のパラメータが用いられて視点変換画像が作成され、CPU2から保存指令信号が入力されると、その作成された視点変換画像を一時的に保存する。
表示装置14は、例えば液晶ディスプレイから構成されており、CPU2から表示指令信号が入力されると、視点変換画像保存用メモリ13に保存されている視点変換画像を表示する。車両状態入力インタフェース15は、車速や旋回方向などの車両状態を入力し、その車両状態の内容を示す車両状態信号をCPU2に出力する。操作受付インタフェース16は、ユーザ操作を受付け、そのユーザ操作の内容を示すユーザ操作信号CPU2に出力する。
尚、上記した構成において、第1のカメラ4aは、車両の右側方を撮影するように車体の右側に取付けられており、第2のカメラ4bは、車両の後方を撮影するように車体の後側に取付けられており、第3のカメラ4cは、車両の左側方を撮影するように車体の左側に取付けられている。また、運転支援装置1は、その機能ブロックの一部または全体が車両に搭載可能なナビゲーション装置から構成されていても良い。
次に、上記した構成の作用について、図2ないし図10を参照して説明する。ここで、図2は、CPU2が行う処理をフローチャートとして示している。
CPU2は、第1のカメラ4a〜第3のカメラ4cから第1のフレームメモリ5a〜第3のフレームメモリ5cを通じて撮影画像を入力すると(ステップS1)、第1の収差補正用マップメモリ6a〜第3の収差補正用マップメモリ6cからパラメータを読出し、第1のカメラ4a〜第3のカメラ4cから第1のフレームメモリ5a〜第3のフレームメモリ5cを通じて入力された撮影画像を第1の収差補正用マップメモリ6a〜第3の収差補正用マップメモリ6cから読出されたパラメータを用いて収差補正し、収差補正画像を作成する(ステップS2)。
ここで、CPU2は、撮影画像の収差補正を以下の式に準じて行う。すなわち、
(x1,y1):撮影画像の座標(収差補正前の座標)(画像中心が原点)
(x2,y2):収差補正画像の座標(収差補正後の座標)(画像中心が原点)
とすると、(x1,y1)は、以下の(1)〜(4)式で表現される収差式により計算される。
(x1,y1):撮影画像の座標(収差補正前の座標)(画像中心が原点)
(x2,y2):収差補正画像の座標(収差補正後の座標)(画像中心が原点)
とすると、(x1,y1)は、以下の(1)〜(4)式で表現される収差式により計算される。
rd2=x22+y22 …(1)
β1=1+k1×rd+k2×rd2+k3×rd3+k4×rd4 …(2)
x1=x2×β1 …(3)
y1=y2×β1 …(4)
したがって、CPU2は、(x2,y2)を、上記した収差式を逆変換した以下の(5)〜(8)式で表現される収差補正式により計算する。
β1=1+k1×rd+k2×rd2+k3×rd3+k4×rd4 …(2)
x1=x2×β1 …(3)
y1=y2×β1 …(4)
したがって、CPU2は、(x2,y2)を、上記した収差式を逆変換した以下の(5)〜(8)式で表現される収差補正式により計算する。
rd2=x12+y12 …(5)
β2=1+k1×rd+k2×rd2+k3×rd3+k4×rd4 …(6)
x2=x1×β2 …(7)
y2=y1×β2 …(8)
CPU2は、計算された(x2,y2)を座標上にマッピングし、収差補正画像を作成する。この場合、CPU2は、第1のカメラ4aから入力された撮影画像を収差補正する処理、第2のカメラ4bから入力された撮影画像を収差補正する処理および第3のカメラ4cから入力された撮影画像を収差補正する処理を、その処理能力に応じて、シリアルに(連続的に)行っても良いし、パラレルに(並列的に)行っても良い。そして、CPU2は、このようにして作成された収差補正画像を第1の収差補正画像保存用メモリ7a〜第3の収差補正画像保存用メモリ7cに一時的に保存させる。尚、図3は、上記した収差補正の原理を概略的に示している。
β2=1+k1×rd+k2×rd2+k3×rd3+k4×rd4 …(6)
x2=x1×β2 …(7)
y2=y1×β2 …(8)
CPU2は、計算された(x2,y2)を座標上にマッピングし、収差補正画像を作成する。この場合、CPU2は、第1のカメラ4aから入力された撮影画像を収差補正する処理、第2のカメラ4bから入力された撮影画像を収差補正する処理および第3のカメラ4cから入力された撮影画像を収差補正する処理を、その処理能力に応じて、シリアルに(連続的に)行っても良いし、パラレルに(並列的に)行っても良い。そして、CPU2は、このようにして作成された収差補正画像を第1の収差補正画像保存用メモリ7a〜第3の収差補正画像保存用メモリ7cに一時的に保存させる。尚、図3は、上記した収差補正の原理を概略的に示している。
次いで、CPU2は、第1の鳥瞰変換用マップメモリ8a〜第3の鳥瞰変換用マップメモリ8cからパラメータを読出し、第1の収差補正画像保存用メモリ7a〜第3の収差補正画像保存用メモリ7cに保存されている収差補正画像を鳥瞰変換用マップメモリ8a〜第3の鳥瞰変換用マップメモリ8cから読出されたパラメータを用いて鳥瞰変換し、図4〜図6に示すように、鳥瞰画像を作成する(ステップS3)。
ここで、CPU2は、収差補正画像の鳥瞰変換を以下の式に準じて行う。すなわち、
(x2,y2):収差補正画像の座標(鳥瞰変換前の座標)
(x3,y3):鳥瞰画像の座標(鳥瞰変換後の座標)
H1:第1のカメラ4a〜第3のカメラ4cの高さ
f1:第1のカメラ4a〜第3のカメラ4cの焦点距離
θ1:第1のカメラ4a〜第3のカメラ4cのアングル
とすると、CPU2は、(x3,y3)を、以下の(9),(10)式で表現される鳥瞰変換式により計算する。
(x2,y2):収差補正画像の座標(鳥瞰変換前の座標)
(x3,y3):鳥瞰画像の座標(鳥瞰変換後の座標)
H1:第1のカメラ4a〜第3のカメラ4cの高さ
f1:第1のカメラ4a〜第3のカメラ4cの焦点距離
θ1:第1のカメラ4a〜第3のカメラ4cのアングル
とすると、CPU2は、(x3,y3)を、以下の(9),(10)式で表現される鳥瞰変換式により計算する。
y3=(H1×f1×sinθ1−y2×H1×cosθ1)
/(f1×cosθ1+y2×sinθ1) …(9)
x3=(H1×x2)/(f1×cosθ1+y2×sinθ1) …(10)
この場合も、CPU2は、第1の収差補正画像保存用メモリ7aに保存されている収差補正画像を鳥瞰変換する処理、第2の収差補正画像保存用メモリ7bに保存されている収差補正画像を鳥瞰変換する処理、第3の収差補正画像保存用メモリ7cに保存されている収差補正画像を鳥瞰変換する処理を、その処理能力に応じて、シリアルに行っても良いし、パラレルに行っても良い。そして、CPU2は、このようにして作成された鳥瞰画像を第1の鳥瞰画像保存用メモリ9a〜第3の鳥瞰画像保存用メモリ9cに保存させる。
/(f1×cosθ1+y2×sinθ1) …(9)
x3=(H1×x2)/(f1×cosθ1+y2×sinθ1) …(10)
この場合も、CPU2は、第1の収差補正画像保存用メモリ7aに保存されている収差補正画像を鳥瞰変換する処理、第2の収差補正画像保存用メモリ7bに保存されている収差補正画像を鳥瞰変換する処理、第3の収差補正画像保存用メモリ7cに保存されている収差補正画像を鳥瞰変換する処理を、その処理能力に応じて、シリアルに行っても良いし、パラレルに行っても良い。そして、CPU2は、このようにして作成された鳥瞰画像を第1の鳥瞰画像保存用メモリ9a〜第3の鳥瞰画像保存用メモリ9cに保存させる。
尚、図4は、車体の右側に取付けられている第1のカメラ4aにより撮影された撮影画像が収差補正されて鳥瞰変換された鳥瞰画像を示しており、図5は、車体の後側に取付けられている第2のカメラ4bにより撮影された撮影画像が収差補正されて鳥瞰変換された鳥瞰画像を示しており、図6は、車体の左側に取付けられている第3のカメラ4cにより撮影された撮影画像が収差補正されて鳥瞰変換された鳥瞰画像を示している。
次いで、CPU2は、統合鳥瞰変換用マップメモリ10からパラメータを読出し、第1の鳥瞰画像保存用メモリ9a〜第3の鳥瞰画像保存用メモリ9cに保存されている鳥瞰画像を統合鳥瞰変換用マップメモリ10から読出されたパラメータを用いて統合し、図7に示すように、統合鳥瞰画像を作成する(ステップS4)。
ここで、CPU2は、鳥瞰画像の統合を以下の式に準じて行う。すなわち、
(x3,y3):鳥瞰画像の座標(統合前の座標)
(x4,y4):統合鳥瞰画像の座標(統合後の座標)
(x01,y01):第1のカメラ4a〜第3のカメラ4cの取付位置の座標
Φ1:第1のカメラ4a〜第3のカメラ4cの取付方向
とすると、CPU2は、(x4,y4)を、以下の(11),(12)式で表現される統合鳥瞰変換式により計算する。
ここで、CPU2は、鳥瞰画像の統合を以下の式に準じて行う。すなわち、
(x3,y3):鳥瞰画像の座標(統合前の座標)
(x4,y4):統合鳥瞰画像の座標(統合後の座標)
(x01,y01):第1のカメラ4a〜第3のカメラ4cの取付位置の座標
Φ1:第1のカメラ4a〜第3のカメラ4cの取付方向
とすると、CPU2は、(x4,y4)を、以下の(11),(12)式で表現される統合鳥瞰変換式により計算する。
x4=(x3×cosΦ1)−(y3×sinΦ1)−x01 …(11)
y4=(x3×sinΦ1)+(y3×cosΦ1)−y01 …(12)
尚、第1のカメラ4a〜第3のカメラ4cの「(x01,y01)」および「Φ1」は、具体的には、本実施形態では、図8に示すように、車体の前端中央部を原点としてxy座標を設定することにより、以下のように示される。
y4=(x3×sinΦ1)+(y3×cosΦ1)−y01 …(12)
尚、第1のカメラ4a〜第3のカメラ4cの「(x01,y01)」および「Φ1」は、具体的には、本実施形態では、図8に示すように、車体の前端中央部を原点としてxy座標を設定することにより、以下のように示される。
第1のカメラ4a:(x01,y01)=(740,1860)mm、
Φ1=90度(図8中「A」参照)
第2のカメラ4b:(x01,y01)=(0,2140)mm、
Φ1=180度(図8中「B」参照)
第3のカメラ4c:(x01,y01)=(−740,1800)mm、
Φ1=−90度(図8中「C」参照)
そして、CPU2は、このようにして作成された統合鳥瞰画像を統合鳥瞰画像保存用メモリ11に保存させる。尚、図7中「M1」は、車両図形を示しており、「L11」は、第1のカメラ4aにより撮影された撮影画像に相当する部分を示しており、「L21」は、第2のカメラ4bにより撮影された撮影画像に相当する部分を示しており、「L31」は、第3のカメラ4cにより撮影された撮影画像に相当する部分を示している。
Φ1=90度(図8中「A」参照)
第2のカメラ4b:(x01,y01)=(0,2140)mm、
Φ1=180度(図8中「B」参照)
第3のカメラ4c:(x01,y01)=(−740,1800)mm、
Φ1=−90度(図8中「C」参照)
そして、CPU2は、このようにして作成された統合鳥瞰画像を統合鳥瞰画像保存用メモリ11に保存させる。尚、図7中「M1」は、車両図形を示しており、「L11」は、第1のカメラ4aにより撮影された撮影画像に相当する部分を示しており、「L21」は、第2のカメラ4bにより撮影された撮影画像に相当する部分を示しており、「L31」は、第3のカメラ4cにより撮影された撮影画像に相当する部分を示している。
次いで、CPU2は、仮想カメラの視点(本発明でいう仮想視点)を設定する(ステップS5)。ここで、CPU2は、予め設定されている初期位置を仮想視点として設定しても良いし、車両状態入力インタフェース15から入力されている車両状態信号を解析し、車速や旋回方向などを抽出することにより、それら車速や旋回方向などに応じた位置を仮想視点として設定しても良いし、操作受付インタフェース16から入力されているユーザ操作信号を解析し、ユーザ操作を抽出することにより、そのユーザ操作に応じた位置を仮想視点として設定しても良い。
次いで、CPU2は、視点変換用マップメモリ12からパラメータを読出し、統合鳥瞰画像保存用メモリ11に保存されている統合鳥瞰画像を視点変換用マップメモリ12から読出されたパラメータを用いて、図10に示すように、仮想視点で視点変換して視点変換画像を作成する(ステップS6)。
ここで、CPU2は、統合鳥瞰画像の視点変換を以下の式に準じて行う。すなわち、
(x4,y4):統合鳥瞰画像の座標(視点変換前の座標)
(x5,y5):視点変換画像の座標(視点変換後の座標)
H2:仮想カメラの高さ
f2:仮想カメラの焦点距離
θ2:仮想カメラのアングル
(x02,y02):仮想カメラの取付位置の座標
Φ2:仮想カメラの取付方向
とすると、CPU2は、(x5,y5)を、以下の(13)〜(15)式で表現される視点変換式により計算する。尚、ここでは、Φ2=「180度」に固定されていることを前提とする。
(x4,y4):統合鳥瞰画像の座標(視点変換前の座標)
(x5,y5):視点変換画像の座標(視点変換後の座標)
H2:仮想カメラの高さ
f2:仮想カメラの焦点距離
θ2:仮想カメラのアングル
(x02,y02):仮想カメラの取付位置の座標
Φ2:仮想カメラの取付方向
とすると、CPU2は、(x5,y5)を、以下の(13)〜(15)式で表現される視点変換式により計算する。尚、ここでは、Φ2=「180度」に固定されていることを前提とする。
(x4´,y4´)=(x4−x02,y4−y02) …(13)
y5=(H2×f2×sinθ2−y4´×f2×cosθ2)
/(H2×cosθ2+y4´×sinθ2) …(14)
x5=(f2×x4´)/(H2×cosθ2+y4´×sinθ2) …(15)
尚、仮想カメラの「(x02,y02)」は、具体的には、本実施形態では、図9に示すように、車体の後端中央部を原点としてxy座標を設定することにより、以下のように示される。
y5=(H2×f2×sinθ2−y4´×f2×cosθ2)
/(H2×cosθ2+y4´×sinθ2) …(14)
x5=(f2×x4´)/(H2×cosθ2+y4´×sinθ2) …(15)
尚、仮想カメラの「(x02,y02)」は、具体的には、本実施形態では、図9に示すように、車体の後端中央部を原点としてxy座標を設定することにより、以下のように示される。
(x02,y02)=(0,−2000)mm(図9中「D」参照)
また、仮想カメラは、取付高さが「2000mm」、カメラアングルが「50度」の設定で取付けられており、例えば焦点距離が「1.8mm」、画素サイズが「7.4μm」、画素数が「640×480ドット」の性能の有している。
また、仮想カメラは、取付高さが「2000mm」、カメラアングルが「50度」の設定で取付けられており、例えば焦点距離が「1.8mm」、画素サイズが「7.4μm」、画素数が「640×480ドット」の性能の有している。
そして、CPU2は、このようにして作成された視点変換画像を視点変換画像保存用メモリ13に保存させ、視点変換画像を表示装置14に表示させる(ステップS7)。尚、図10中「M2」は、車両図形を示しており、「L12」は、第1のカメラ4aにより撮影された撮影画像に相当する部分を示しており、「L22」は、第2のカメラ4bにより撮影された撮影画像に相当する部分を示しており、「L32」は、第3のカメラ4cにより撮影された撮影画像に相当する部分を示している。
また、この場合、CPU2は、第1のカメラ4aにより撮影された撮影画像が収差補正されて鳥瞰変換された鳥瞰画像、第2のカメラ4bにより撮影された撮影画像が収差補正されて鳥瞰変換された鳥瞰画像および第3のカメラ4cにより撮影された撮影画像が収差補正されて鳥瞰変換された鳥瞰画像が統合される以前の鳥瞰画像同士の境界を視点変換画像に重ねて表示装置14に表示させる(図10中「P」,「Q」参照)。
ところで、以上は、第1のカメラ4a〜第3のカメラ4cにより撮影された撮影画像が収差補正されて鳥瞰変換される場合を説明したものであるが、レンズ収差による歪みの程度が小さい場合や、レンズ収差による歪みが許容される場合などであれば、第1のカメラ4a〜第3のカメラ4cにより撮影された撮影画像が収差補正されることなく鳥瞰変換される構成であっても良い。また、以上は、3枚の鳥瞰画像が統合された統合鳥瞰画像が仮想視点で視点変換される場合を説明したものであるが、単純に1枚の鳥瞰画像が仮想視点で視点変換される構成であっても良い。また、鳥瞰画像が統合される以前の鳥瞰画像同士の境界が表示されない構成であっても良い。
以上に説明したように本実施形態によれば、運転支援装置1において、路面上の物体を3次元情報として検出するのではなく、路面上の物体を平面物として見なし、第1のカメラ4a〜第3のカメラ4cにより撮影された撮影画像が鳥瞰変換されて統合された統合鳥瞰画像を仮想視点で視点変換して視点変換画像を作成して表示するように構成したので、複雑で高価な装置を必要とすることなく、簡易で安価な方法により、路面上の物体を運転手からの視点に基づいた3次元の画像で表示することができ、車両周辺の状況を運転手に適切に確認させることができる。
また、この場合は、第1のカメラ4a〜第3のカメラ4cにより撮影された撮影画像が鳥瞰変換された3枚の鳥瞰画像を統合して統合鳥瞰画像を作成し、その統合鳥瞰画像を仮想視点で視点変換して視点変換画像を作成して表示するように構成したので、車両の右側方、左側方および後方の路面上の物体を運転手からの視点に基づいた3次元の画像で表示することができ、広範囲な車両周辺の状況を運転手に適切に確認させることができる。
また、この場合は、撮影画像を収差補正して収差補正画像を作成し、その収差補正画像を鳥瞰変換して鳥瞰画像を作成するように構成したので、第1のカメラ4a〜第3のカメラ4cの撮影範囲が広角な場合であっても、レンズ収差による撮影画像の歪みを除去することができ、これ以降、撮影画像の歪みによる悪影響が視点変換画像に及ぼされることを未然に回避することができ、違和感の無い視点変換画像を運転手に提供することができる。
さらに、この場合は、鳥瞰画像が統合される以前の鳥瞰画像同士の境界を視点変換画像に重ねて表示するように構成したので、視点変換画像上で元々の撮影画像同士の境界を運転手に確認させることができる。
本発明は、上記した実施形態にのみ限定されるものではなく、以下のように変形または拡張することができる。
カメラの台数が3台以外の台数であっても良く、また、カメラの取付位置が車体の右側、左側および後側以外であっても良い。
各マップメモリおよび各画像保存用メモリが一体に構成されていても良い。
仮想カメラの取付位置の座標、取付方向、取付高さおよびカメラアングルなどが任意に設定される構成であっても良く、各パラメータが考慮された視点変換式により視点変換画像の座標が計算される構成であっても良い。
カメラの台数が3台以外の台数であっても良く、また、カメラの取付位置が車体の右側、左側および後側以外であっても良い。
各マップメモリおよび各画像保存用メモリが一体に構成されていても良い。
仮想カメラの取付位置の座標、取付方向、取付高さおよびカメラアングルなどが任意に設定される構成であっても良く、各パラメータが考慮された視点変換式により視点変換画像の座標が計算される構成であっても良い。
図面中、1は運転支援装置、2はCPU(収差補正手段、鳥瞰変換手段、統合鳥瞰変換手段、視点変換手段、制御手段)、4a〜4cは第1のカメラ〜第3のカメラ(撮影手段)、14は表示装置(表示手段)、15は車両状態入力インタフェース(車両状態入力手段)、16は操作受付インタフェース(操作受付手段)である。
Claims (7)
- 車両周辺を撮影する撮影手段と、
前記撮影手段により撮影された撮影画像を鳥瞰変換して鳥瞰画像を作成する鳥瞰変換手段と、
前記鳥瞰変換手段により作成された鳥瞰画像を仮想視点で視点変換して視点変換画像を作成する視点変換手段と、
前記視点変換手段により作成された視点変換画像を表示手段に表示させる制御手段とを備えたことを特徴とする運転支援装置。 - 請求項1に記載した運転支援装置において、
前記鳥瞰変換手段により作成された複数の鳥瞰画像を統合して統合鳥瞰画像を作成する統合鳥瞰変換手段を備え、
前記視点変換手段は、前記統合鳥瞰変換手段により作成された統合鳥瞰画像を仮想視点で視点変換して視点変換画像を作成することを特徴とする運転支援装置。 - 請求項1または2に記載した運転支援装置において、
前記撮影手段により撮影された撮影画像を収差補正して収差補正画像を作成する収差補正手段を備え、
前記鳥瞰変換手段は、前記収差補正手段により作成された収差補正画像を鳥瞰変換して鳥瞰画像を作成することを特徴とする運転支援装置。 - 請求項2または3に記載した運転支援装置において、
前記制御手段は、前記統合鳥瞰変換手段により作成された統合鳥瞰画像が前記視点変換手段により仮想視点で視点変換されて作成された視点変換画像を前記表示手段に表示させる場合に、統合される以前の鳥瞰画像同士の境界を視点変換画像に重ねて前記表示手段に表示させることを特徴とする運転支援装置。 - 請求項1ないし4のいずれかに記載した運転支援装置において、
前記視点変換手段は、前記鳥瞰変換手段により作成された鳥瞰画像または前記統合鳥瞰変換手段により作成された統合鳥瞰画像を任意に設定された仮想視点で視点変換して視点変換画像を作成することを特徴とする運転支援装置。 - 請求項5に記載した運転支援装置において、
車両状態を入力する車両状態入力手段を備え、
前記視点変換手段は、前記車両状態入力手段に入力された車両状態に基づいて仮想視点を設定し、前記鳥瞰変換手段により作成された鳥瞰画像または前記統合鳥瞰変換手段により作成された統合鳥瞰画像を当該車両状態に基づいて設定された仮想視点で視点変換して視点変換画像を作成することを特徴とする運転支援装置。 - 請求項5に記載した運転支援装置において、
ユーザ操作を受付ける操作受付手段を備え、
前記視点変換手段は、前記操作受付手段に受付けられたユーザ操作に基づいて仮想視点を設定し、前記鳥瞰変換手段により作成された鳥瞰画像または前記統合鳥瞰変換手段により作成された統合鳥瞰画像を当該ユーザ操作に基づいて設定された仮想視点で視点変換して視点変換画像を作成することを特徴とする運転支援装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003399504A JP2005167309A (ja) | 2003-11-28 | 2003-11-28 | 運転支援装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003399504A JP2005167309A (ja) | 2003-11-28 | 2003-11-28 | 運転支援装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005167309A true JP2005167309A (ja) | 2005-06-23 |
Family
ID=34724038
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003399504A Pending JP2005167309A (ja) | 2003-11-28 | 2003-11-28 | 運転支援装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005167309A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101075376B (zh) * | 2006-05-19 | 2010-11-03 | 无锡易斯科电子技术有限公司 | 基于多视点的智能视频交通监控***及方法 |
WO2010137265A1 (ja) | 2009-05-25 | 2010-12-02 | パナソニック株式会社 | 車両周囲監視装置 |
WO2011016368A1 (ja) * | 2009-08-03 | 2011-02-10 | アイシン精機株式会社 | 車両周辺画像生成装置 |
JP2011031808A (ja) * | 2009-08-04 | 2011-02-17 | Koito Mfg Co Ltd | 車両用前照灯の配光制御システム |
CN102055956A (zh) * | 2009-11-02 | 2011-05-11 | 通用汽车环球科技运作公司 | 车载三维视频***及用其监测车辆周围环境的方法 |
CN103959341A (zh) * | 2011-12-07 | 2014-07-30 | 罗伯特·博世有限公司 | 用于呈现车辆环境的方法 |
-
2003
- 2003-11-28 JP JP2003399504A patent/JP2005167309A/ja active Pending
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101075376B (zh) * | 2006-05-19 | 2010-11-03 | 无锡易斯科电子技术有限公司 | 基于多视点的智能视频交通监控***及方法 |
WO2010137265A1 (ja) | 2009-05-25 | 2010-12-02 | パナソニック株式会社 | 車両周囲監視装置 |
WO2011016368A1 (ja) * | 2009-08-03 | 2011-02-10 | アイシン精機株式会社 | 車両周辺画像生成装置 |
JP2011055480A (ja) * | 2009-08-03 | 2011-03-17 | Aisin Seiki Co Ltd | 車両周辺画像生成装置 |
CN102474597A (zh) * | 2009-08-03 | 2012-05-23 | 爱信精机株式会社 | 车辆周围图像生成装置 |
KR101354068B1 (ko) * | 2009-08-03 | 2014-01-22 | 아이신세이끼가부시끼가이샤 | 차량주변화상생성장치 |
US9156402B2 (en) | 2009-08-03 | 2015-10-13 | Aisin Seiki Kabushiki Kaisha | Wide view vehicle periphery image generation apparatus |
JP2011031808A (ja) * | 2009-08-04 | 2011-02-17 | Koito Mfg Co Ltd | 車両用前照灯の配光制御システム |
CN102055956A (zh) * | 2009-11-02 | 2011-05-11 | 通用汽车环球科技运作公司 | 车载三维视频***及用其监测车辆周围环境的方法 |
US8830318B2 (en) | 2009-11-02 | 2014-09-09 | GM Global Technology Operations LLC | On-vehicle three-dimensional video system and method of monitoring the surrounding environment of a vehicle using the same |
CN102055956B (zh) * | 2009-11-02 | 2017-05-10 | 通用汽车环球科技运作公司 | 车载三维视频***及用其监测车辆周围环境的方法 |
CN103959341A (zh) * | 2011-12-07 | 2014-07-30 | 罗伯特·博世有限公司 | 用于呈现车辆环境的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107026973B (zh) | 图像处理装置、图像处理方法与摄影辅助器材 | |
JP4902368B2 (ja) | 画像処理装置及び画像処理方法 | |
KR101150546B1 (ko) | 차량의 주변감시장치 | |
JP5120880B2 (ja) | 画像処理装置及び画像処理方法 | |
JP4863922B2 (ja) | 運転支援システム並びに車両 | |
JP5222597B2 (ja) | 画像処理装置及び方法、運転支援システム、車両 | |
JP4596978B2 (ja) | 運転支援システム | |
JP4975592B2 (ja) | 撮像装置 | |
JP2013214947A (ja) | 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム | |
CN111800589B (zh) | 图像处理方法、装置和***,以及机器人 | |
JP2008083786A (ja) | 画像生成装置および画像生成方法 | |
JP7150709B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JP5090496B2 (ja) | 画像生成装置及び操作支援システム | |
JP2016168877A (ja) | 車両用視認装置 | |
JP2017147682A (ja) | 全天球撮影システム | |
JP2013141120A (ja) | 画像表示装置 | |
JP2005167309A (ja) | 運転支援装置 | |
JP2018038087A (ja) | 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム | |
JP2009123131A (ja) | 撮像装置 | |
JP6029459B2 (ja) | 画像合成装置、および画像合成方法 | |
JP4945315B2 (ja) | 運転支援システム及び車両 | |
JP2005182305A (ja) | 車両走行支援装置 | |
JP2012065228A (ja) | 画像処理装置、画像表示システム及び画像表示方法 | |
JP5049304B2 (ja) | 車両の周辺を画像表示するための装置 | |
JP2007028443A (ja) | 画像表示システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080627 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080708 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081111 |