JP4642723B2 - 画像生成装置および画像生成方法 - Google Patents
画像生成装置および画像生成方法 Download PDFInfo
- Publication number
- JP4642723B2 JP4642723B2 JP2006260424A JP2006260424A JP4642723B2 JP 4642723 B2 JP4642723 B2 JP 4642723B2 JP 2006260424 A JP2006260424 A JP 2006260424A JP 2006260424 A JP2006260424 A JP 2006260424A JP 4642723 B2 JP4642723 B2 JP 4642723B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image
- virtual
- plane
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 64
- 238000003384 imaging method Methods 0.000 claims description 132
- 238000006243 chemical reaction Methods 0.000 claims description 103
- 238000012545 processing Methods 0.000 claims description 45
- 230000003287 optical effect Effects 0.000 claims description 22
- 230000009466 transformation Effects 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 10
- 239000002131 composite material Substances 0.000 claims description 9
- 238000012546 transfer Methods 0.000 claims description 3
- 229960001716 benzalkonium Drugs 0.000 claims 1
- CYDRXTMLKJDRQH-UHFFFAOYSA-N benzododecinium Chemical compound CCCCCCCCCCCC[N+](C)(C)CC1=CC=CC=C1 CYDRXTMLKJDRQH-UHFFFAOYSA-N 0.000 claims 1
- 238000001444 catalytic combustion detection Methods 0.000 description 51
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 18
- 240000004050 Pentaglottis sempervirens Species 0.000 description 17
- 238000010586 diagram Methods 0.000 description 17
- 239000013598 vector Substances 0.000 description 17
- 238000012937 correction Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000013461 design Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000007796 conventional method Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000013256 coordination polymer Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
- B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Description
さらに、1視点映像の場合も多視点映像の場合も複数のカメラ映像を用いるものであるため、合成画像や分割画像に連続性が無く、同じ画像の二重写しや画像の抜け部分が生じてしまう、という問題があった。
一方、特徴点抽出手段やキャリブレーション手段を用いないと、合成画像に連続性が無くなり、同じ画像の二重写しや画像の抜け部分が生じてしまう、という問題があった。
実撮像面に投影される画像により単独のカメラ映像データを取得する実カメラと、
前記実カメラからの前記カメラ映像データを入力し、画像処理によりモニタ画像データを生成する画像処理コントローラと、
前記画像処理コントローラからのモニタ画像データに基づいて、近景の俯瞰表示と中景から遠景のパース表示との合成画像を表示するモニタと、を備え、
前記画像処理コントローラは、前記実カメラより高い位置に、視点変換のための仮想カメラを設定し、前記実カメラの光軸側の地面上に、カメラ映像データからモニタ画像データを生成するための前記仮想カメラの仮想投影面を設定し、前記仮想カメラの仮想撮像面として、地面に平行な近景用撮像面と、該近景用撮像面の実カメラから近い側に連接すると共に所定の下向き傾斜角度を持って設定した遠景用撮像面と、を有し、近景の俯瞰映像と中景から遠景の映像を撮像するための仮想立体撮像面を設定し、前記実カメラにより取得した単独のカメラ映像データの各画素位置と、前記仮想投影面を介した前記仮想カメラの前記仮想立体撮像面上の各画素位置と、の間で座標変換し、前記座標変換にしたがって前記仮想カメラの前記仮想立体撮像面上に前記カメラ映像データの各画素を移し、前記仮想カメラから前記仮想投影面を見たときに前記仮想立体撮像面に投影される画像をモニタ画像とし、このモニタ画像を得る前記モニタ画像データを生成することを特徴とする。
図1は実施例1の車両のリアカメラに適用された画像生成装置を示す全体システム図、図2は実施例1の画像生成装置において地面による仮想投影面と仮想立体撮像面を使った視点変換手法の一例を説明する模式図である。
なお、「デコーダ」とは、一定の規則に基づいて符号化されたデータを復元し、元のデータを取り出すソフトウェアをいう。
このマッピングテーブルの作成時、リアカメラ1により取得した単独のカメラ映像データの各画素位置と、仮想投影面7を介した仮想カメラ8の仮想立体撮像面9上の各画素位置と、の間で座標変換される(座標変換手段)。
また、マッピングテーブルの作成時、歪み映像による光軸位置からの画素の距離と無歪み映像による光軸位置からの画素の距離との変換量関係特性を予め定め(図10(a)参照)、各画素の光軸位置からの距離と変換量関係特性とを用い、リアカメラ1により取得した単独のカメラ映像データの各画素位置の座標系歪みを補正変換し、仮想立体撮像面9の座標系としている。
なお、マッピングテーブルとしては、仮想カメラ8の位置(a,b)と、撮像面傾斜角度βと、に応じて、所定の位置間隔毎や角度間隔毎に複数のマッピングテーブルが記憶設定されていて、細かな位置設定や角度設定に対しては、例えば、補間法を用いて対応するようにしている。
実施例1は、マッピングテーブルを用いて座標変換処理を行う例であるが、例えば、演算処理速の速いハードウェアを搭載し、リアルタイムで座標変換を行いながらモニタ画像データを生成するような例である場合、このRAM24に、各画素等の座標変換式を記憶設定しておく。
なお、「エンコーダ」とは、データを一定の規則に基づいて符号化するソフトウェアをいう。
ここで、仮想立体撮像面9は、その遠景用撮像面92を、リアカメラ1の実撮像面11と平行に設定した状態を基準状態として設定し、この基準状態から下向き傾斜角度βを調整できるようにする。
仮想カメラ8の撮像面の立体化することで、近景の俯瞰映像と歪み補正した遠景のパース映像を、同時に連続的に表示する。
ことにあり、このために、仮想立体撮像面9を導入し、地面スクリーンによる仮想投影面7を介して視点変換を行うようにした。
図2に示す実施例1の模式図で、実カメラ映像が仮想投影面7(地面スクリーン)に射影され、その映像を仮想カメラ8の仮想立体撮像面9で撮影している構成である。この構成により、仮想立体撮像面9の近景用撮像面91に近景の俯瞰映像を撮像し、仮想立体撮像面9の遠景用撮像面92に中景から遠景の映像を撮像するという視点変換ができる。
1.背景および目的
車載周囲モニタとして、リアカメラ映像の俯瞰図表示と通常カメラ表示を同時表示させたいという要求は開発当初より存在し、商品化やデモンストレーションに際しては2画面表示により対応してきた。散発的には1画面表示手法について外部要求はあったものの、本当に見やすいのか、という疑問もあり本格的な検討は後回しにしてきた。
仮想立体撮像面(以下、「仮想立体CCD」という。)による視点変換の考え方を図2に示す。図2の矢印で示したのが概念上での光の流れである。リアカメラで撮影されて映像を外部の地面スクリーンへ投影し、その地面スクリーン上の映像を仮想立体CCDで撮影している。この図2で仮想CCD画素とリアカメラCCD画素の対応を求めることが視点変換の基本である。もし、実体と同じ形状をした仮想立体CCDを用意できれば、まさに仮想位置から実体を撮影したのと同じ映像を撮影できるはずである。もっとも、リアカメラCCDから見て死角部分の映像は失われたままではある。
変換手順は、図2の矢印の逆順である。即ち、仮想立体CCD面上の一点を指定し、地面スクリーン上での対応点、リアカメラCCD上での対応点の順番で求める。これは、出力画像の全画素分の対応点を求めるためである。なお、CCD面の座標系について、画像処理を考える場合にはエンコーダ/デコーダなどによってデジタル化した後の座標系で考えるのが実践的であるが、一方で機種依存性が出てしまい応用が効きにくい表現になる。そのため本記述では一般的な座標系を用いて一連の変換手順を示している。特定機種への対応については、次章でPICASSOについて対応例を示している。
本記述で用いる世界座標系は、図5に示す地面をスクリーンとする座標系を使う。これは、3次元グラフィックス系でよく用いられる世界座標系とはy軸とz軸が入れ替わっている。
仮想立体CCD面の定義について、最初に述べたように複数の平面CCDによる構成を示す。平面CCD内の画素位置表示にはいくつかの手法があるが、ここではuvベクトルを用いて表現する。図6(a)がその実施例である。
光学的には図中のカメラ位置より後方にある仮想立体CCDが本来のCCD面であるが、処理のしやすさなどを考慮し、本記述ではカメラ位置を中心に回転した前面仮想立体CCD面上で論じる。そのため、uvベクトルの基底{eu,ev}もその面上で定義する。また複数平面があれば、当然平面毎にuv基底ベクトルは設定され、今回の例では{eu1,ev1}と{eu2,ev2}としている。なお、これら基底ベクトルは世界座標系で定義されるベクトルである。
これらを用いて、CCDi 面上の画素位置は、
u・eu1+v・ev1+Ouv forCCD1 (1)
u・eu2+v・ev2+Ouv forCCD2 (2)
で与えられる。Ouvは世界座標系で表される原点位置を表す位置ベクトルである。モニタ表示の(x,y)座標と(u,v)座標との相互変換は、2次元映像から2次元映像への変換であり、設計者に任される。一つの実施例は次節で示す。
ある画素についてuvベクトル表現が決定されると、図6(a)に示すようにカメラ位置からの視線ベクトルが決まり、この視線ベクトルが指す地面スクリーン上の点(交点CP)が決まる。この点を求めるのは直線と平面の交点を求める作業であり特に難しくはない。
仮想立体CCDの形状によりモニタ上での見え方が変わる。仮想立体CCDの斜めに設定したCCD面とリアカメラCCDとの角度を同じにした場合、仮想立体CCDにより生成される映像は、
・指定した角度のカメラ映像として遠方映像を表示、
・近景は俯瞰映像、
・俯瞰映像と遠景映像の連続的接続、
という特徴をもつ。そして、仮想立体CCDの斜めに設定したCCD面をリアカメラCCDの角度から調整した場合、結果として、リアカメラの首振り角度を変えたのと同じ遠方画像が得られる。
地面スクリーン上の一点が指示された。次の問題は図7に示すように、リアカメラCCD上の対応点を求めることであり、具体的には直線(視線)とCCD平面との交点を求めることである。結局は平面と直線の交点を求める問題であり、3.2節の場合に比べCCDとスクリーンの立場が入れ替わっただけで、原理的には全く同じである。しかし、最終的に求めたい交点の表現が、3次元位置ベクトル形式ではなくCCD表面上の(u,v)座標系という点が異なっている。そのため、図7にあるようにCCD表面を{eu,ev}を用いて表現する。この記号は3.1節と同じであるが、今回はリアカメラCCD表面上で定義される。
ここではまず{eu,ev}の決定について、カメラ視線を指定する方法と、既に実施されてきた回転行列で指定する方法による。
図7のCCDベクトルは、上記結果により定められた{eu,ev}を用いて、
と表現できる。このとき、3.3節で求めた交点CPに対応するCCD表面上の(u,v)値を求めたい。上式と、
を連立させることで(u,v)を求める。なお、OuvはCCD面上の原点を世界座標系で表現した3次元位置ベクトルである。結果だけを記すと、
となる。なお、Prearはリアカメラ位置で、演算子×は3次元ベクトルの外積を意味している。これで得られる(u,v)値と実際のカメラ映像との対応はカメラシステムの画像座標に依存するため、一般的に記述できない。そこで次章では、特定の機種を用いた場合の変換例を示す。
本章では仮想立体CCDを用いた視点変換手法の原理とその基本式を視点変換処理の流れに沿って紹介した。本手法では、従来手法では不可能であった「俯瞰映像とパース映像の同時表示」が可能になり、表現の自由度は増している。しかしその分自由度が高く、俯瞰データ作成に際しては、より一層の理解が求められることになる。
本章で述べる相互変換処理の全体像を図8に示す。この一連の処理では、ピンホールカメラを前提とした前節の変換処理を、広角カメラの特性に合わせるための歪み補正処理も含まれる。具体的には図8内の矢印で示す6つの変換、すなわち、
・デコーダ間変換、
・y軸変換、
・歪み補正変換、
・ピンホールカメラ変換、
・視点変換、
・エンコーダ変換、
を順番の処理することで対応点計算を行っている。前節で示したのは、この中の「視点変換」に関わる内容だけである。本章ではそれ以外の変換処理について詳述する。なお、本記述では、
カメラ:CC-445(クラリオン製)、
デコーダ:PCCAP(I/O データ製)、
を用いた場合の実施例を示している。
この変換は、ビデオキャプチャカードPCCAP(I/O データ製)のデコーダ性能とPICASSO のデコーダ性能とを互換させる変換である。PCCAPは歪み補正技術を構築するときに用いたハードウエアであり、この座標系で補正係数が決定されているため、当面避けて通れない。最も簡便な変換は、縦横とも解像度比分だけ倍数をかけて、座標値を対応させることである。ただし、これは近似的な対応であり、まず間違いなくズレが生じる。
PCCAPのデコーダとPICASSOのデコーダでは、NTSC信号からの映像切り出し領域が異なるためである。これまでの経験で、数%程度の位置ズレは常識的に存在する。データが全てそろっていれば、
・デコーダ性能表を比較して割り出す、
・同じカメラ映像をデコーダで同時に取得して比較する、
という手段があるが、残念ながら、
・PCCAP及びPICASSOともにデコーダの性能表は出ていない、
・PICASSOのデジタル映像データは外部に直接取り出せない、
のため現在ともに不可能である。現在用いている対策は複雑な手順となるが、PICASSO出力系のエンコーダ性能と併せて三つの相互変換について連立方程式を解くようにして決定する手法を考案している。このときPICASSOのスーパーインポーズ機能を併用して、内部の座標系を外部から計測できるように工夫している。
現在判明している変換式は、唯一PICASSO 開発途中に評価ボード(外部デコーダ)を用いて調整した結果だけである。
これは原点を上下にする変換処理である。歪み補正技術構築時に原点を下にとる座標系を用いている。単純にy軸方向の画素数により変換するだけである。
現有の歪み補正処理技術は、PCCAP(I/O データ製)でキャプチャした歪み補正前後のビットマップ画像(解像度640×480)について無次元の画素空間で処理する技術である。この変換処理の原理は、図9(b)に示すように、各画素の光軸位置からの距離を変えるだけである。変換量は図9(a)のグラフに示すような高次の単調増加関数で表され、あらかじめ実験的に定める。なお、経験上クラリオン製カメラでは同じロットでも光軸位置が数%程度ふらついている。これだけふらつきがあると、歪率の高い画像周縁部の映像処理に影響が現れるため、周縁部はできるだけは変換しない方がよい。
前節の歪み補正映像は無次元の処理であり、得られた映像を世界座標系の仮想CCD面上の映像に対応させるために、物理量を導入する。図10はそのときの考え方を図示している。図中の歪み補正前後の映像は、前節と同じ解像度 640×480の画像としているが、それに対応するカメラモデルは異なっている様子が図10の模式図で示されている。
・仮想CCD面上での光軸位置、
・仮想CCDの焦点距離 f、
・仮想CCDのピクセルサイズ (Wx Wy)、
光軸位置については、考え易さの観点から図中では画像の中心(319.5,239.5)に設定しているが、そもそも仮想的なピンホールカメラであり、どこを中心にするかは自由である。また後の2つの項目については先述べたように、絶対値そのものはあまり重要ではない。
(Wx Wy):仮想CCDのピクセルサイズ(通常はWx=Wy)、
Oc:仮想CCD の光学中心(任意、通常は画面中央)、
とすることで変換する。なお、3.2節で述べたように基底ベクトル{eu,ev}は世界座標系の単位長さに規格化されているのが通常であり、その場合に(Wx Wy)は仮想CCDのピクセルサイズとしての意味を持つ。もし基底ベクトルが世界座標系で規格化されていなければ、この値はピクセルサイズではなく比例係数である。
−u⇒u (9)
という左右反転処理が必要である。一般にリアカメラ映像は左右反転映像が出力されているためで、CC-445の場合にも同様である。
これは第3章で論じた内容でありここでは詳述しない。
出力画像のデザインに関わる内容であり一般式は提示できないが、例えば一定スケールで単純に画像中央に表示する場合は、
α:スケール定数、
SC:出力画像系の中心(図8ではSC=(179.5, 119.5))、
で与えられる。注意するのは、リアカメラ映像を出力する場合、運転者視点用に左右反転が求められることがあり、その場合には4.4節で指摘したように左右反転処理を行う。そのときは上記処理前に、
u⇒−u (11)
とするか、処理後に左右反転処理が必要である。後者の処理の場合、左右非対称な光学軸を設定して絵作りしている場合には注意が必要である。
なお、エンコーダ性能とモニタ性能の組み合わせ次第で、必ずしもエンコーダ座標系の中心点が出力モニタ上の中心点ではないため、上式SCで調整する場合が多い。
本記述では、
・立体CCD概念、
・二平面モデルによる視点変換手法の原理、
・座標変換群の全体像、
・各変換処理の概念及び手法、
について示した。本記述で示した手続きに従えばマッピングテーブルを作成できるはずである。
実施例1の画像生成装置および画像生成方法にあっては、下記に列挙する効果を得ることができる。
2 画像処理コントローラ
21 デコーダ間変換部
22 座標変換処理部
23 ROM
24 RAM
25 エンコーダ変換部
3 モニタ
4 仮想カメラ位置調整操作ノブ
5 撮像面角度調整操作ノブ
7 仮想投影面
8 仮想カメラ
9 仮想立体撮像面
91 近景用撮像面
92 遠景用撮像面
a,b 仮想カメラ8の位置
β 撮像面傾斜角度
Claims (8)
- 仮想カメラと仮想投影面を用いた視点変換によりカメラ映像データからモニタ画像データを生成する画像生成装置において、
実撮像面に投影される画像により単独のカメラ映像データを取得する実カメラと、
前記実カメラからの前記カメラ映像データを入力し、画像処理によりモニタ画像データを生成する画像処理コントローラと、
前記画像処理コントローラからのモニタ画像データに基づいて、近景の俯瞰表示と中景から遠景のパース表示との合成画像を表示するモニタと、を備え、
前記画像処理コントローラは、前記実カメラより高い位置に、視点変換のための仮想カメラを設定し、前記実カメラの光軸側の地面上に、カメラ映像データからモニタ画像データを生成するための前記仮想カメラの仮想投影面を設定し、前記仮想カメラの仮想撮像面として、地面に平行な近景用撮像面と、該近景用撮像面の実カメラから近い側に連接すると共に所定の下向き傾斜角度を持って設定した遠景用撮像面と、を有し、近景の俯瞰映像と中景から遠景の映像を撮像するための仮想立体撮像面を設定し、前記実カメラにより取得した単独のカメラ映像データの各画素位置と、前記仮想投影面を介した前記仮想カメラの前記仮想立体撮像面上の各画素位置と、の間で座標変換し、前記座標変換にしたがって前記仮想カメラの前記仮想立体撮像面上に前記カメラ映像データの各画素を移し、前記仮想カメラから前記仮想投影面を見たときに前記仮想立体撮像面に投影される画像をモニタ画像とし、このモニタ画像を得る前記モニタ画像データを生成することを特徴とする画像生成装置。 - 請求項1に記載された画像生成装置において、
前記画像処理コントローラは、仮想立体撮像面の遠景用撮像面を、前記実カメラの実撮像面と平行に設定したことを特徴とする画像生成装置。 - 請求項1または請求項2に記載された画像生成装置において、
前記画像処理コントローラは、仮想立体撮像面上での一つの画素位置を指定し、仮想投影面上で指定した一つの画素位置に対応する第1対応位置を決め、実カメラの実撮像面上で第1対応位置に対応する第2対応位置を決めるという順番により、各画素位置の座標変換を行ってマッピングテーブルを作成することを特徴とする画像生成装置。 - 請求項3に記載された画像生成装置において、
前記画像処理コントローラは、歪み映像による光軸位置からの画素の距離と無歪み映像による光軸位置からの画素の距離との変換量関係特性を予め定め、各画素の光軸位置からの距離と前記変換量関係特性を用い、前記実カメラにより取得した単独のカメラ映像データの各画素位置の座標系歪みを補正変換し、仮想立体撮像面の座標系とすることを特徴とする画像生成装置。 - 請求項1から請求項4の何れか1項に記載された画像生成装置において、
前記画像処理コントローラは、外部からの設定操作により任意の空間位置に仮想カメラを設定できることを特徴とする画像生成装置。 - 請求項1から請求項5の何れか1項に記載された画像生成装置において、
前記画像処理コントローラは、外部からの設定操作により遠景用撮像面の近景用撮像面に対する下向き傾斜角度を任意に設定できることを特徴とする画像生成装置。 - 請求項1から請求項6の何れか1項に記載された画像生成装置において、
前記実カメラは、車両後部位置に取り付けられ、車両の後方景色を映し出すリアカメラであることを特徴とする画像生成装置。 - 仮想カメラと仮想投影面を用いた視点変換によりカメラ映像データからモニタ画像データを生成する画像生成方法において、
実カメラの実撮像面に投影される画像により単独のカメラ映像データを取得するカメラ映像データ取得手順と、
前記実カメラより高い位置に、視点変換のための仮想カメラを設定する仮想カメラ設定手順と、
前記実カメラの光軸側の地面上に、前記カメラ映像データから前記モニタ画像データを生成するための仮想投影面を設定する仮想投影面設定手順と、
前記仮想カメラの仮想撮像面として、地面に平行な近景用撮像面と、該近景用撮像面の実カメラから近い側に連接すると共に所定の下向き傾斜角度を持って設定した遠景用撮像面と、を有し、近景の俯瞰映像と中景から遠景の映像を撮像するための仮想立体撮像面を設定する仮想立体撮像面設定手順と、
前記実カメラにより取得した単独のカメラ映像データの各画素位置と、前記仮想投影面を介した前記仮想カメラの前記仮想撮像面上の各画素位置と、の間で座標変換する座標変換手順と、
前記座標変換にしたがって前記仮想カメラの前記仮想立体撮像面上に前記カメラ映像データの各画素を移し、前記仮想カメラから前記仮想投影面を見たときに前記仮想立体撮像面に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データを生成するモニタ画像データ生成手順と、
を備えたことを特徴とする画像生成方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006260424A JP4642723B2 (ja) | 2006-09-26 | 2006-09-26 | 画像生成装置および画像生成方法 |
US11/902,952 US8259173B2 (en) | 2006-09-26 | 2007-09-26 | Image generating apparatus and image generating method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006260424A JP4642723B2 (ja) | 2006-09-26 | 2006-09-26 | 画像生成装置および画像生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008085446A JP2008085446A (ja) | 2008-04-10 |
JP4642723B2 true JP4642723B2 (ja) | 2011-03-02 |
Family
ID=39355878
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006260424A Expired - Fee Related JP4642723B2 (ja) | 2006-09-26 | 2006-09-26 | 画像生成装置および画像生成方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8259173B2 (ja) |
JP (1) | JP4642723B2 (ja) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010183170A (ja) * | 2009-02-03 | 2010-08-19 | Denso Corp | 車両用表示装置 |
JP5190712B2 (ja) * | 2009-03-24 | 2013-04-24 | アイシン精機株式会社 | 障害物検出装置 |
TWI392366B (zh) | 2009-12-31 | 2013-04-01 | Ind Tech Res Inst | 全周鳥瞰影像距離介面產生方法與系統 |
JP5090496B2 (ja) * | 2010-04-12 | 2012-12-05 | 住友重機械工業株式会社 | 画像生成装置及び操作支援システム |
WO2011154987A1 (ja) * | 2010-06-07 | 2011-12-15 | 三菱電機株式会社 | カメラ距離測定装置 |
WO2012071858A1 (zh) * | 2010-12-02 | 2012-06-07 | Liu Ansheng | 一种行车安全装置 |
JP5724446B2 (ja) * | 2011-02-21 | 2015-05-27 | 日産自動車株式会社 | 車両の運転支援装置 |
JP5771508B2 (ja) * | 2011-11-10 | 2015-09-02 | オリンパス株式会社 | 表示装置、撮像装置、および映像表示システム |
US8768583B2 (en) | 2012-03-29 | 2014-07-01 | Harnischfeger Technologies, Inc. | Collision detection and mitigation systems and methods for a shovel |
US20150116494A1 (en) * | 2012-05-08 | 2015-04-30 | Toyota Jidosha Kabushiki Kaisha | Overhead view image display device |
US20140104137A1 (en) * | 2012-10-16 | 2014-04-17 | Google Inc. | Systems and methods for indirectly associating logical and physical display content |
KR102001659B1 (ko) * | 2012-11-19 | 2019-07-19 | 한국전자통신연구원 | 차량용 카메라 캘리브레이션 장치 및 방법 |
JP6255928B2 (ja) * | 2013-11-15 | 2018-01-10 | スズキ株式会社 | 俯瞰画像生成装置 |
KR102175961B1 (ko) * | 2013-11-29 | 2020-11-09 | 현대모비스 주식회사 | 차량 후방 주차 가이드 장치 |
JP6464579B2 (ja) * | 2014-06-17 | 2019-02-06 | スズキ株式会社 | 俯瞰画像生成装置 |
KR101592740B1 (ko) * | 2014-07-24 | 2016-02-15 | 현대자동차주식회사 | 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법 |
EP3193305B1 (en) * | 2016-01-12 | 2018-09-12 | Continental Automotive GmbH | Method and device for displaying a front-view of a vehicle's surrounding and respective vehicle |
DE102016211227A1 (de) | 2016-06-23 | 2017-12-28 | Conti Temic Microelectronic Gmbh | Verfahren und Fahrzeugsteuersystem zum Erzeugen von Abbildungen eines Umfeldmodells und entsprechendes Fahrzeug |
RU2638510C1 (ru) * | 2016-12-01 | 2017-12-13 | Федеральное казенное предприятие "Научно-исследовательский институт "Геодезия" (ФКП "НИИ "Геодезия") | Способ формирования атмосферной проекционной мишени для обучения боевой стрельбе и устройство для его осуществления |
DE102016225066A1 (de) * | 2016-12-15 | 2018-06-21 | Conti Temic Microelectronic Gmbh | Rundumsichtsystem für ein Fahrzeug |
GB2566279B (en) | 2017-09-06 | 2021-12-22 | Fovo Tech Limited | A method for generating and modifying images of a 3D scene |
JP6958163B2 (ja) * | 2017-09-20 | 2021-11-02 | 株式会社アイシン | 表示制御装置 |
DE102018203590A1 (de) | 2018-03-09 | 2019-09-12 | Conti Temic Microelectronic Gmbh | Surroundview-System mit angepasster Projektionsfläche |
CN108447091B (zh) * | 2018-03-27 | 2022-09-06 | 北京颂泽科技有限公司 | 目标定位方法、装置、电子设备及存储介质 |
JP2020135206A (ja) * | 2019-02-15 | 2020-08-31 | パナソニックIpマネジメント株式会社 | 画像処理装置、車載用カメラシステム及び画像処理方法 |
JP7442029B2 (ja) * | 2019-10-17 | 2024-03-04 | 株式会社東海理化電機製作所 | 画像処理装置、画像処理プログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03286306A (ja) | 1990-04-03 | 1991-12-17 | Mitsubishi Electric Corp | 数値制御装置 |
EP1115250B1 (en) | 1998-07-31 | 2012-06-06 | Panasonic Corporation | Method and apparatus for displaying image |
EP2410741A1 (en) * | 1999-04-16 | 2012-01-25 | Panasonic Corporation | Image processing apparatus and monitoring system |
JP4629839B2 (ja) * | 2000-09-07 | 2011-02-09 | クラリオン株式会社 | 画像変換装置 |
JP2002127852A (ja) * | 2000-10-27 | 2002-05-09 | Aisin Seiki Co Ltd | 車両周辺表示装置 |
JP4457690B2 (ja) | 2004-02-18 | 2010-04-28 | 日産自動車株式会社 | 運転支援装置 |
JP2005311666A (ja) * | 2004-04-21 | 2005-11-04 | Auto Network Gijutsu Kenkyusho:Kk | 車両周辺視認装置 |
JP2005311868A (ja) | 2004-04-23 | 2005-11-04 | Auto Network Gijutsu Kenkyusho:Kk | 車両周辺視認装置 |
-
2006
- 2006-09-26 JP JP2006260424A patent/JP4642723B2/ja not_active Expired - Fee Related
-
2007
- 2007-09-26 US US11/902,952 patent/US8259173B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20080136912A1 (en) | 2008-06-12 |
US8259173B2 (en) | 2012-09-04 |
JP2008085446A (ja) | 2008-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4642723B2 (ja) | 画像生成装置および画像生成方法 | |
JP4257356B2 (ja) | 画像生成装置および画像生成方法 | |
JP2883265B2 (ja) | 画像処理装置 | |
JP4596978B2 (ja) | 運転支援システム | |
US7570280B2 (en) | Image providing method and device | |
JP5320970B2 (ja) | 車両用表示装置および表示方法 | |
KR101339121B1 (ko) | 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치 | |
JP2012147149A (ja) | 画像生成装置 | |
WO2014034364A1 (ja) | 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法、およびパラメータ取得方法 | |
JP4927512B2 (ja) | 画像生成装置 | |
JP2011182236A (ja) | カメラキャリブレーション装置 | |
JP2007109166A (ja) | 運転支援システム | |
WO2011129275A1 (ja) | 処理対象画像生成装置、処理対象画像生成方法、及び操作支援システム | |
JP2016535377A (ja) | 車両の周辺部を表示するための方法と装置、並びに、ドライバー・アシスタント・システム | |
WO2011129274A1 (ja) | 画像生成装置及び操作支援システム | |
KR20110093828A (ko) | 3d 이미지 신호를 인코딩하기 위한 방법 및 시스템, 인코딩된 3d 이미지 신호, 3d 이미지 신호를 디코딩하기 위한 방법 및 시스템 | |
CN110651295B (zh) | 图像处理设备、图像处理方法和程序 | |
JP2008149878A (ja) | 運転支援装置 | |
JP2006515128A (ja) | 立体パノラマ画像取り込み装置 | |
KR20130018869A (ko) | 화상생성장치 및 조작지원 시스템 | |
JPH10155109A (ja) | 撮像方法及び装置並びに記憶媒体 | |
JP3032414B2 (ja) | 画像処理方法および画像処理装置 | |
JP2006119843A (ja) | 画像生成方法およびその装置 | |
JP2019029721A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2017199958A (ja) | 撮像装置、その制御方法、および制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071130 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20080422 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080422 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080811 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080819 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081009 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081225 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101201 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4642723 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131210 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R370 | Written measure of declining of transfer procedure |
Free format text: JAPANESE INTERMEDIATE CODE: R370 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |