JP6276719B2 - 画像生成装置、座標変換テーブル作成装置および作成方法 - Google Patents

画像生成装置、座標変換テーブル作成装置および作成方法 Download PDF

Info

Publication number
JP6276719B2
JP6276719B2 JP2015021163A JP2015021163A JP6276719B2 JP 6276719 B2 JP6276719 B2 JP 6276719B2 JP 2015021163 A JP2015021163 A JP 2015021163A JP 2015021163 A JP2015021163 A JP 2015021163A JP 6276719 B2 JP6276719 B2 JP 6276719B2
Authority
JP
Japan
Prior art keywords
image
pixels
coordinate
texture
coordinate conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015021163A
Other languages
English (en)
Other versions
JP2016143381A (ja
Inventor
樋口 晴彦
樋口  晴彦
中嶋 満雄
満雄 中嶋
勝夫 小野崎
勝夫 小野崎
吉孝 内田
吉孝 内田
崇之 塩屋
崇之 塩屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2015021163A priority Critical patent/JP6276719B2/ja
Priority to EP15881188.5A priority patent/EP3255604B1/en
Priority to US15/541,922 priority patent/US10354358B2/en
Priority to PCT/JP2015/083462 priority patent/WO2016125371A1/ja
Publication of JP2016143381A publication Critical patent/JP2016143381A/ja
Application granted granted Critical
Publication of JP6276719B2 publication Critical patent/JP6276719B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/02Affine transformations
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、画像生成装置、座標変換テーブル作成装置および作成方法に関する。
第1視点から被写体を第1の俯角で見下ろして撮像することにより取得した水平方向と垂直方向に広がりを有する二次元の第1画像に対して、座標変換テーブルにより座標変換を施し、第1視点とは異なる第2視点から第1の俯角とは異なる第2の俯角で被写体を見下ろして得られる第2画像を生成して出力する画像生成装置が知られている。(特許文献1)
特開2005−333442号公報
従来技術のものでは、第1画像を構成する複数の第1画素が画面領域の全域において水平方向、垂直方向に所定ピッチで並んでいる。車両後方に設置したカメラで撮像した画像は、カメラより高い位置から路面を観た鳥瞰画像に変換される。撮像画像を鳥瞰画像に変換する演算の速度を高速化するため、座標変換テーブルを使用する。座標変換テーブルは、撮像画像を構成する複数の第1画素の中から離散的に選択した複数の選択画素の座標を鳥瞰画像を構成する第2画素の座標に変換する。この座標変換テーブルで作成される鳥瞰画像は、車両に遠い領域ほど歪み度合が大きくなる。そのため、座標変換テーブルを作成する際、視認性の観点から許容される歪み度合を設定し、車両に遠い領域の画像の歪み度合を基準として選択画素を設定する。そのため、座標変換テーブルのデータ量が多くなるという問題がある。
(1)本発明による画像生成装置は、第1視点から被写体を第1の俯角で見下ろして撮像することにより取得した水平方向と垂直方向に広がりを有する二次元の第1画像に対して、座標変換テーブルにより座標変換を施し、第1視点とは異なる第2視点から前記第1の俯角とは異なる第2の俯角で被写体を見下ろして得られる第2画像を生成して出力する。座標変換テーブルは、第1画像を構成する複数の第1画素から選択した複数の第1選択画素の座標を、第2画像を構成する複数の第2画素に対応する第2選択画素の座標に座標変換するテーブルである。座標変換テーブルの第1選択画素は、第1画像の領域を、水平方向に延在する少なくとも一つの画素境界線により垂直方向に複数に分割したとき、第1画像の垂直方向下側の領域における第1選択画素の配列ピッチが垂直方向上側の領域の第1選択画素の配列ピッチよりも粗くなるように設定されている。
(2)本発明による座標変換テーブルの作成装置は、第1視点から被写体を第1の俯角で見下ろして撮像することにより取得した水平方向と垂直方向に広がりを有する二次元の第1画像に対して座標変換を施し、第1視点とは異なる第2視点から第1の俯角とは異なる第2の俯角で被写体を見下ろして得られる第2画像を生成する初期座標変換テーブルを記憶する記憶部と、第1画像を入力する画像入力部と、入力された第1画像を初期座標変換テーブルにより第2画像に変換する画像変換部と、画像変換前後の第1および第2画像について、三つ以上の第1画素で形成された第1テクスチャの面積と、第1テクスチャに対応して得られた三つ以上の第2画素で形成された第2テクスチャの面積との比を演算する演算部と、演算された面積の比に応じて、第1テクスチャに対する第2テクスチャの面積比が小さいほど第2画素の配列ピッチが粗くなるように初期座標変換テーブルの複数の第1画素から所定数の第1画素を選択して座標変換テーブルを作成する作成部とを備える。
(3)本発明による座標変換テーブルの作成方法は、第1画像を入力する入力ステップと、第1視点から被写体を第1の俯角で見下ろして撮像することにより取得した水平方向と垂直方向に広がりを有する二次元の第1画像に対して座標変換を施し、第1視点とは異なる第2視点から第1の俯角とは異なる第2の俯角で被写体を見下ろして得られる第2画像を生成する初期座標変換テーブルを読み込む読み込みステップと、初期座標変換テーブルにより、入力された第1画像を第2画像に変換する変換ステップと、画像変換前後の前記第1および第2画像について、三つ以上の第1画素で形成された第1テクスチャの面積と、第1テクスチャに対応して得られた三つ以上の第2画素で形成された第2テクスチャの面積との比を演算する演算ステップと、演算された前記面積の比に応じて、第1テクスチャに対する第2テクスチャの面積比が小さいほど第2画素の配列ピッチが粗くなるように初期座標変換テーブルの複数の第1画素から所定数の第1画素を選択して座標変換テーブルを作成する作成ステップとを有する。
本発明によれば、入力された画像を異なる画像に座標変換する対応テーブルのデータ量を削減することができる。
本発明の一実施の形態による画像生成装置を用いた車両用の周囲監視システムの一例を示す図である。 (A)カメラから取得された画像の一例を示す図である。(B)カメラから取得された画像を用いて作成された鳥瞰画像の一例を示す図である。 本発明の一実施の形態による画像生成装置のブロック図である。 座標対応情報に関するデータテーブルの一例を示す図である。 座標変換に関する説明に用いる図である。 データテーブルに座標対応情報が記憶されている画素、すなわち座標対応点の一例を示す図である。 テクスチャの一例を示す図である。 (A)境界線による撮像画像の一分割例を示す図である。(B)境界線による鳥瞰画像の一分割例を示す図である。 座標対応点の間引き方法の一例の説明に用いる図である。 座標対応点の間引き方法の一例の説明に用いる図である。 本発明の一実施の形態による座標変換テーブルの作成方法を用いて作成された座標変換テーブルの一例を示す図である。 本発明の一実施の形態による座標変換テーブルの作成方法の一例を示すフローチャートである。 本発明の一実施の形態による座標変換テーブル作成装置のブロック図である。
図1(a)および(b)は、画像生成装置を用いた車両用の周囲監視システムの一例を示す図である。図1(a)に例示された画像生成装置100は、乗用車、作業車両等の車両101に搭載されている。車両101の前部には、カメラ110Aが設置され、その光軸は車両101の前方の路面210に向けられている。また、図1(b)に図示されているように、車両の左部、右部および後部には、それぞれカメラ110B,カメラ110Cおよびカメラ110Dが設置され、それらの光軸は車両101の周辺の地面210に向けられている。カメラ110A〜110Dの設置位置および設置角度は、周囲監視システムの設計段階において予め定められている。
画像生成装置100は、カメラ110A〜110Dのそれぞれから車両101の周囲環境を撮像した画像を取得し、それらの画像を用いて、車両101の周囲を所定の仮想視点から鳥瞰または俯瞰したような画像を生成する。仮想視点の位置および俯角は、周囲監視システムの設計段階において予め定められており、車両101のモードごとに用意されている。俯角とは、仮想視点から車両が走行する平面方向を鳥瞰、あるいは俯瞰する角度である。
たとえば、車両101を駐車する際には駐車モードが選択され、仮想視点310Bの位置から所定の俯角で車両を撮像したと同等の俯瞰画像が作成される。車両101が路上を走行する際には走行モードが選択され、仮想視点310Aの位置から所定の俯角で車両を撮像したと同等の鳥瞰画像が作成される。
以降では、画像生成装置100の画像合成の一例として、カメラ110A〜110Cから取得した画像を用いて、仮想視点310Aから車両101の前方を鳥瞰した画像を合成する場合について説明する。
カメラ110Aは、たとえば、魚眼カメラなどの広角カメラで構成されており、車両101の前方に存在する立木401と、車両101の前方の地面210に配置されたマーカ402を含む車両101の前方環境を撮像している。カメラ110Aから取得された画像の一例を図2(A)に示す。図2(B)は、図2(A)に例示された画像70を用いて生成された画像であって、車両101の前方を仮想視点310Aから鳥瞰した画像の一例を示す図である。以降、画像生成装置100がカメラ110Aから取得した画像のことを撮像画像と呼ぶ。また、画像生成装置100により生成された車両101の周囲を仮想視点310Aから鳥瞰した画像のことを鳥瞰画像と呼ぶ。
なお、図2(B)の鳥瞰画像71の左下部および右下部の画像は、カメラ110Bおよび110Cから取得された画像の一部を利用して作成されている。カメラ110Aが撮像する被写体領域とカメラ110Bが撮像する被写体領域とが重なる領域については、たとえば、二つのカメラ110Aおよび110Bから取得した画像をαブレンディングにより合成する。
図3は、画像生成装置100のブロック図である。画像生成装置100は、CPUなどで構成される制御部10と、フラッシュメモリ、ROMなどで構成される記憶部11を備える。制御部10は、記憶部11に記憶されているプログラムを実行することにより、画像取得部20、モード取得部21、データテーブル取得部22、画像変換部23および表示制御部24として機能する。記憶部11は、制御部10により実行されるプログラム(不図示)のほか、詳細を後述するデータテーブル30を記憶している。データテーブル30は、鳥瞰画像などの俯瞰画像の生成時に用いられるルックアップテーブルであり、周囲監視システムの設計段階において、モードごとに、すなわち、仮想視点の位置および角度の組み合わせごとに予め作成されている。
画像取得部20は、カメラ110A〜110Dから画像を取得する。
モード取得部21は、CAN(不図示)を介して車両101のモードに関する情報を取得し、その情報をデータテーブル取得部22に出力する。
データテーブル取得部22は、モード取得部21により取得された車両101のモードごとに、そのモードに対応したデータテーブル30を記憶部11から取得する。すなわち、データテーブル30はモードごとに複数設けられている。
画像変換部23は、画像取得部20により取得された撮像画像70と、データテーブル取得部22により取得されたデータテーブル30を用いて鳥瞰画像71を生成する。
表示制御部24は、画像変換部23により生成された鳥瞰画像71を表示部12に出力し、表示させる。表示部12は、たとえば、車両101に搭載されたカーナビゲーション装置の表示部を用いることにすればよい。
図4は、データテーブル30の一例を示す図である。データテーブル30は、撮像画像70の離散的な画素の座標と、その座標に対応する鳥瞰画像71の画素の座標との対応関係を定義する座標対応テーブルである。図4では、対応関係番号1,2,…nの各画素の座標対応情報が示されている。画像生成装置100は、撮像画像70の各画素の座標ごとに図4のデータテーブル30を参照して、対応する鳥瞰画像71の画素の座標を演算する。
以下、座標対応情報について詳しく説明する。なお、説明を簡易化するため、撮像画像70をカメラ110Aで撮像して取得した画像として説明する。
図5には、カメラ110Aに対するカメラ座標系Xr、Yr、Zr、仮想視点310に対する仮想視点座標系Xv、Yv、Zv、World座標系Xw、Yw、Zwという三つの座標系が図示されている。
World座標系は、車両が走行する路面に関する座標系である。
カメラ座標系は、車両に搭載されたカメラ110Aの撮像素子の撮像面と平行な平面であって、カメラ110AからZr軸方向に所定の距離離れた平面上において撮影画像70を構成する各画素の位置を定義する座標系である。すなわち、撮像画像70を構成する各画素の位置は、Zr=zrに位置するXrYr平面上の座標データで表現される。
仮想視点座標系は、仮想視点310Aに仮想的に配置される撮像素子の撮像面と平行な平面であって、仮想視点310AからZv軸方向に所定の距離離れた平面上において鳥瞰画像71を構成する各画素の位置を定義する座標系である。すなわち、鳥瞰画像71を構成する各画素の位置は、Zv=zvに位置するXvYv平面上の座標データで表現される。
World座標系Xw、Yw、Zwの一つの画素を点Pwとし、点Pwの座標を(xw、yw、zw)と表す。World座標系の点Pwに対応するカメラ座標系Xr、Yr、Zrの画素が図5では点Prであり、点Prの座標は(xr、yr、zr)と表される。World座標系の点Pwに対応する仮想視点座標系Xv、Yv、Zvの画素が図5では点Pvであり、点Pvの座標は(xv、yv、zv)と表される。図4のデータテーブル30は、これらの点の対応関係、すなわちカメラ座標系と仮想視点座標系の画素の対応関係を定義したものである。
なお、図4のデータテーブル30では、カメラ110Aの焦点距離等が固定されているものとしてZr座標の情報は省略されている。
World座標系Xw、Yw、Zwの点Pwの座標(xw、yw、zw)をカメラ座標系Xr、Yr、Zrの点Prの座標(xr、yr、zr)に座標変換するには、たとえば、数式(1)に示すようなアフィン変換が用いられる。ここで、Mrは、数式(2)に示されるような4x4の透視投影変換行列である。数式(2)において、Rrは3x3の回転行列、Trは1x3の平行移動行列、0は3x1の零行列である。回転行列Rrおよび平行移動行列Trは、World座標系上でのカメラ110Aの設置位置および設置角度、カメラ110Aの内部パラメータである焦点距離および撮像素子の有効画素サイズなどに基づいて周知な方法で算出される。
Figure 0006276719
・・・(1)
Figure 0006276719
・・・(2)
また、World座標系Xw、Yw、Zwの点Pwの座標(xw、yw、zw)を仮想視点座標系Xv、Yv、Zvの点Pvの座標(xv、yv、zv)に座標変換するには、たとえば、数式(3)に示すようなアフィン変換が用いられる。ここで、Mvは、数式(4)に示されるような4x4の透視投影変換行列である。数式(4)において、Rvは3x3の回転行列、Tvは1x3の平行移動行列、0は3x1の零行列である。回転行列Rvおよび平行移動行列Tvは、World座標系上での仮想視点310の位置および角度、仮想視点310の仮想的な焦点距離および撮像素子の有効画素サイズなどに基づいて周知な方法で算出される。
Figure 0006276719
・・・(3)
Figure 0006276719
・・・(4)
上述した数式(1)と数式(3)とを組み合わせると、カメラ座標系Xr、Yr、Zrの点Prの座標を仮想視点座標系Xv、Yv、Zvの点Pvの座標に座標変換するための数式(5)が得られる。数式(5)では、透視投影変換行列Mrの逆行列によりカメラ座標系Xr、Yr、Zrの点Prの座標をWorld座標系の点Pwの座標に座標変換し、その点Pwの座標を透視投影変換行列Mvにより仮想視点座標系Xv、Yv、Zvの点Pvの座標(xv、yv、zv)に座標変換している。数式(5)による座標変換結果を用いて、鳥瞰画像71の点Pvの画素値を、対応する撮像画像70の点Prの画素値から算出することができる。
Figure 0006276719
・・・(5)
データテーブル30は、カメラ座標系Xr、Yr、Zrの所定の点Pr1の座標(xr1,yr1)、Pr2の座標(xr2,yr2)、・・・をそれぞれ上述の数式(5)で仮想視点座標系Xv、Yv、Zvの対応点への座標に変換した結果を表す。ここで、2つの座標系で対応する点同士、すなわち画素同士の対応関係を座標対応情報と呼び、この情報が図4のデータテーブル30として作成されている。データテーブル30を予め記憶部11に記憶しておき、鳥瞰画像71を作成する際に参照することで、数式(5)の演算回数を低減し、座標変換の処理時間を短縮することができる。
なお、図4に示すデータテーブル30は座標の対応関係のみを示しており、各画素の値、すなわち画素値は図示を省略している。
データテーブル30に予め記憶しておく座標対応情報が増加するほど、データテーブル30のデータ量が増加する。データテーブル30のデータ量を削減するため、撮像画像70の一部の画素についてのみ座標対応情報を予め記憶し、他の画素については補間処理により点Pvの画素値を算出する。以降の説明では、撮像画像70および鳥瞰画像71の画素のうち、データテーブル30に座標対応情報が記憶されている画素を座標対応画素、あるいは座標対応点と呼ぶ。
従来の画像生成装置の記憶部に記憶されているデータテーブル30について説明する。
図6(A)および(B)は、従来のデータテーブル30に座標対応情報が記憶されている座標対応点の一例を示す図である。図6(A)では、撮像画像70に対して複数の座標対応点403が所定間隔Intごとに配置されている。所定間隔Intは、たとえば4ピクセルである。図6(B)は、図6(A)に例示した複数の座標対応点403にそれぞれが対応する鳥瞰画像71の複数の座標対応点404を例示した図である。たとえば、図6(A)においてマーカ402の右上角近傍に位置している座標対応点403Aは、図6(B)においてマーカ402の右上角近傍に位置する座標対応点404Aと対応している。
カメラ110Aと仮想視点310Aの俯角の差により、図6(B)では、Yv軸方向の座標対応点404の間隔が等間隔になっていない。座標対応点404の間隔は、図6(B)の鳥瞰画像70の下方から上方にいくほど大きくなる。換言すると、座標対応点404の稠密度は、図6(B)の鳥瞰画像70の下方から上方にいくほど低くなる。補間処理を行ったとき、座標対応点404の稠密度が低いほど画像の歪みが大きくなる。座標対応点403の所定間隔Intは、座標対応点404の稠密度が低い鳥瞰画像70の上方であっても、ユーザが違和を感じない程度に歪みが十分小さくなるように設定されている。このとき、座標対応点404の稠密度が高い鳥瞰画像70の下方では、座標対応点404が過剰に存在する。すなわち、データテーブル量が非常に多くなり、メモリ効率の向上が望まれる。
本実施の形態による画像生成装置100の記憶部11に記憶されるデータテーブル30は、鳥瞰画像70の下方において座標対応点404が過剰に存在しないように間引くことにより、換言すると座標対応点404の稠密度が高くならないように画素対応点数を削減することによりデータテーブル30のデータ量を削減する。以下、本実施の形態による画像生成装置100の記憶部11に記憶されるデータテーブル30の作成方法について説明する。
本実施の形態では、データテーブル30は、画像生成装置100の設計段階において、設計者のPCなどのテーブル作成装置によって作成される。図13は、本発明の一実施の形態によるテーブル作成装置200のブロック図である。テーブル作成装置200は、ハードディスク、フラッシュメモリ、RAM、ROMなどで構成される記憶部25と、CPUなどで構成される制御部26とを備える。制御部26は、記憶部25に記憶されているデータ作成プログラムを実行することによりデータテーブル30を作成する。
本実施の形態によるデータテーブル30の作成方法では、まず従来と同様に図6(A)に例示したような座標対応点403を仮設定し、先述した数式(5)を用いて、それらの座標対応点403に対応する座標対応点404を算出する。
図7(A)に示すように、四つの座標対応点403を頂点とし、1辺が座標対応点403の間隔Intとなる正方形601A,602Aを設定する。本実施の形態では、このように設定された正方形のことをテクスチャと呼ぶ。たとえば、図7(A)では、テクスチャの一例として、撮像画像70の下方に位置するテクスチャ601Aと、撮像画像70の上方に位置するテクスチャ602Aが例示されている。
テクスチャ601Aを構成する四つの座標対応点403を座標変換した点が四つの座標対応点404であり、これら四つの座標対応点404により四角形601Bが形成される。四角形601Bの面積は、テクスチャ601Aよりも小さい。一方、テクスチャ602Aを構成する四つの座標対応点403を座標変換した点が四つの座標対応点404であり、これら四つの座標対応点404により四角形602Bが形成される。四角形602Bの面積は、テクスチャ602Aよりも大きく、かつ歪んでいる。なお、以降、テクスチャの各頂点に対応する座標対応点404で形成される四角形のことを対応テクスチャと呼ぶ。
本実施形態では、四角形602Aが四角形602Bのように歪む度合いを許容歪み度合いとし、これを歪み度合い閾値に設定する。そして、撮像画像70の下方領域の四角形601Aが画像変換で歪む度合いの最大値が歪み度合い閾値以内となるように、撮像画像70の下方領域を間引く。これにより、鳥瞰画像71の歪みを許容範囲内に抑制しつつデータ数の削減を図る。
前述したとおり、データテーブル30に座標対応情報がない鳥瞰画像71の画素については、周囲の座標対応点404の画素値を用いた補間処理により画素値が定められる。補間処理により生成された画像の歪み度合いは、テクスチャの面積S1に対する対応テクスチャの面積S2の比m(=S2/S1)が小さくなるほど小さくなる。対応テクスチャ601Bのように、面積がテクスチャ601Aよりも小さい画像領域では、画像の歪みは、サブピクセルレベルにまで低減されることがある。本実施の形態では、面積比mに応じて、すなわち、面積比が所定の閾値より小さく歪み度合いが所定の許容値以下の領域では、テクスチャおよび対応テクスチャを構成する座標対応点403および座標対応点404の一部を間引く。つまり、上記許容値を上限として、本来の座標変換で得られる歪み度合いよりも大きな歪み度合いとする。
データをどの程度間引くかは以下のように決定することができる。
設計仕様として、画像全体の許容歪み度合いを設定し、間引かない領域の画像の歪み度合いと間引いた領域の画像の歪み度合いとがほぼ等しくなるようにする。換言すると、面積比が所定の閾値より小さい領域では、許容歪み度合いとなるように対応点数を間引くこととする。このような間引き処理により、鳥瞰画像71の画質を維持したままデータテーブル30のデータ量が低減された画像生成装置100を提供することができる。
テクスチャは、仮設定された座標対応点403をすべて用いて、撮像画像70の全領域に作成される。たとえば、撮像画像70のすべての座標対応点(xr,yr)について、以下の四つの座標対応点P1〜P4を用いてテクスチャを作成する。座標対応点P1〜P4の一例を図7(A)に示す。なお、座標対応点P2〜P4のうちのいずれか少なくとも一つが撮像画像70の外側にはみ出す座標対応点(xr,yr)についてはテクスチャを作成しない。
座標対応点P1:(xr,yr)
座標対応点P2:(xr+Int,yr)
座標対応点P3:(xr,yr+Int)
座標対応点P4:(xr+Int,yr+Int)
以降、撮像画像70に対して作成されたテクスチャをTr(i)と表記する。iは、1からテクスチャの総数までの整数である。また、テクスチャTr(i)に対応する対応テクスチャをTv(i)と表記する。
撮像画像70に対してすべてのテクスチャTr(i)が作成されると、すべてのテクスチャTr(i)についてそれぞれ、テクスチャTr(i)と対応テクスチャTv(i)の面積比m(i)を算出する。テクスチャTr(i)の面積S1(i)は、たとえば、テクスチャを構成する各座標対応点403の座標から正方形の辺の長さを算出し、正方形の面積の公式を用いて算出される。対応テクスチャTv(i)の面積S2(i)は、たとえば、対応テクスチャTv(i)を構成する各座標対応点404の座標から四角形の四辺と少なくとも一辺の対角線の長さを算出し、対角の和を算出し、四角形の面積の公式を用いることで算出される。面積比m(i)は、対応テクスチャの面積S2(i)をテクスチャTr(i)の面積S1(i)で割ることで算出される。
テクスチャTr(i)ごとに面積比m(i)が算出されると、それらの面積比m(i)を用いて撮像画像70を複数の領域に分割する。図8(A)は、撮像画像70の分割例を示す。図8(A)では、境界線801および802により、撮像画像70が以下の三つの領域に分割されている。
分割領域R1:面積比m(i)が1以上のテクスチャで構成される。
分割領域R2:面積比m(i)が1/2以上1未満のテクスチャで構成される。
分割領域R3:面積比m(i)が1/2未満のテクスチャで構成される。
境界線801は、面積比m(i)が1/2以上の領域と1/2未満の領域との境界を表し、境界線802は、面積比m(i)が1以上の領域と1未満の境界との境界を表す。
図8(B)は、撮像画像70の分割結果に合わせて鳥瞰画像71を分割した結果を示す。境界線803は、面積比m(i)が1/2以上の領域と1/2未満の領域との境界を表し、境界線804は、面積比m(i)が1以上の領域と1未満の境界との境界を表す。
本実施の形態では、図11(A)に示すように、分割領域R1〜R3における座標対応点403の間隔が以下のようになるように座標対応点403を間引く。
分割領域R1:仮設定時の間隔Int
分割領域R2:仮設定時の間隔Intの2倍
分割領域R3:仮設定時の間隔Intの4倍
図9(A)および(B)を用いて、分割領域R2における座標対応点403の間引き方法の一例を説明する。図9(A)には、撮像画像70の画素が17x17個示されており、画素(1,1)から4画素間隔で仮設定された座標対応点403の画素にハッチングがかけられている。分割領域R2では、座標対応点403の間隔を仮設定時の2倍、たとえば8画素間隔にするため、図9(B)に例示するように、Xr座標またはYr座標が5の座標対応点403と、13の座標対応点403を間引く。各座標対応点403が間引きの対象となるか否かは、たとえば、Xr座標およびYr座標を仮設定時の2倍の間隔の値で割った剰余で判別することができる。図9(A)および(B)の例では、Xr座標を8で割った剰余またはYr座標を8で割った剰余のいずれか少なくとも一方が5となる座標対応点403が間引きの対象となる。剰余を用いた間引き対象の判定動作は、テクスチャT(i)ごとに行われる。たとえば、座標対応点403の画素(1,1)、画素(1,5)、画素(5,1)、画素(5,5)で構成されるテクスチャT1が分割領域R2に含まれると判定された場合、剰余により画素(1,5)、画素(5,1)、画素(5,5)が間引きの対象として判定される。
分割領域R3における座標対応点403の間引き方法も分割領域R2における座標対応点403の間引き方法と同様である。分割領域R3では、座標対応点403の間隔を仮設定時の4倍、たとえば16画素間隔にするため、図10に例示するように、Xr座標またはYr座標が5、9、13の座標対応点403を間引く。各座標対応点403が間引きの対象となるか否かは、たとえば、Xr座標およびYr座標を仮設定時の4倍の間隔の値で割った剰余で判別することができる。図9(A)および図10の例では、Xr座標を16で割った剰余またはYr座標を16で割った剰余のいずれか少なくとも一方が1でない座標対応点403が間引きの対象となる。剰余を用いた間引き対象の判定動作は、テクスチャT(i)ごとに行われる。
境界線801に乗っている座標対応点403には、分割領域R2における座標対応点403の間引き方法と、分割領域R3における座標対応点403の間引き方法が適用される。二つの間引き方法で間引きの対象となるか否かの結果が異なる場合は、分割領域R2における座標対応点403の間引き方法の結果を優先する。同様に、境界線802に乗っている座標対応点403には、分割領域R1における座標対応点403の間引き方法と、分割領域R2における座標対応点403の間引き方法が適用される。二つの間引き方法で間引きの対象となるか否かの結果が異なる場合は、分割領域R1における座標対応点403の間引き方法の結果を優先する。
なお、上述の方法で間引きの対象と判定された座標対応点403であっても、座標対応点403が撮像画像70の外周に位置する場合、または境界線801および境界線802の屈折部の近傍に位置する場合は、間引きの対象から除外してもよい。
図11(A)は、上述の方法で図9(A)から座標対応点403を間引いた結果を示す図である。分割領域R1の座標対応点403の個数は仮設定のときと変わらず、分割領域R2およびR3の座標対応点403の個数は仮設定のときよりも削減されている。このように座標対応点403を削減することにより、データテーブル30に含める座標対応情報の個数を削減し、データテーブル30のデータ量を従来よりも削減することができる。
図11(B)は、図11(A)に図示された座標対応点403に対応する座標対応点404が例示された図である。図11(B)に例示された対応テクスチャ603Bは、図11(A)に例示されたテクスチャ603Aに対応する。テクスチャ603Aに対する対応テクスチャ603Bの面積比mは、およそ1であり、補間処理による画像の歪みが十分小さい。
なお、上述したように、本実施形態では、四角形602Aが四角形602Bのように歪む度合いを歪み度合い閾値に設定している。したがって、図11(A)、(B)において、四角形602Bの歪み度合いは,図7(A)、(B)で説明した度合いと同様である。そして、撮像画像70の下方領域の四角形601Aが画像変換で歪む度合いの最大値が歪み度合い閾値以内となるように、撮像画像70の下方領域を間引くことにより、鳥瞰画像71の歪みを許容範囲内に抑制しつつデータ数の削減を図る。
図12は、テーブル作成装置200によるデータテーブル30の作成動作に関するフローチャートである。図12に示すデータテーブル30の作成動作は、画像生成装置100の設計段階において、仮想視点310の俯角等が定められたときに、データ作成プログラムを実行するテーブル作成装置200の制御部26により実行される。
ステップS901では、撮像画像70に対して所定間隔Intごとに座標対応点403を仮設定する。そして、数式(5)を用いて、それらの座標対応点403に対応する鳥瞰画像71の座標対応点404の座標を算出する。仮設定された座標対応点403および404は、初期座標変換テーブルとしてテーブル作成装置200の記憶部25に記憶される。座標対応点403および404の仮設定が終了すると、すなわち初期座標変換テーブルを記憶すると、ステップS902に進み、撮像画像70のすべての座標対応点403について、前述の座標対応点P1〜P4で形成されるテクスチャTr(i)をすべて作成する。
テクスチャTr(i)をすべて作成すると、ステップS903に進み、テクスチャTr(i)の面積S1(i)と、対応テクスチャTv(i)の面積S2(i)を算出し、テクスチャTr(i)に対する対応テクスチャTv(i)の面積比m(i)を算出する。すべてのテクスチャTr(i)について、面積比m(i)の算出が完了すると、ステップS904に進む。
ステップS904では、続くステップS9041〜S9047のループのため、変数iを1に初期化する。ステップS9041〜S9047のループでは、すべてのテクスチャTr(i)に対して、面積比m(i)に応じた座標対応点403の間隔を本設定する。ステップS9041〜S9047の1回のループにより、一つのテクスチャT(i)について、面積比m(i)に応じて座標対応点403の間隔が本設定される。ステップS9041〜S9047の動作は、すべてのテクスチャTr(i)について実行するまで繰り返される。
ステップS904で変数iが1に初期化されると、ステップS9041に進み、ループを開始する。ループを開始すると、ステップS9042に進み、処理対象のテクスチャTr(i)の面積比m(i)を読み出し、その値に応じて、ステップS9043、ステップS9044、ステップS9045のいずれに進むかを判定する。面積比m(i)が1以上の場合は、ステップS9043に進み、座標対応点403の間隔を仮設定時の間隔Intの1倍に本設定する。面積比m(i)が1/2以上1未満の場合は、ステップS9044に進み、座標対応点403の間隔を仮設定時の間隔Intの2倍に本設定する。面積比m(i)が1/2未満の場合は、ステップS9045に進み、座標対応点403の間隔を仮設定時の間隔Intの4倍に本設定する。
ステップS9043、ステップS9044、ステップS9045のいずれかの動作を完了すると、ステップS9046に進み、変数iを1増加させて、次のループにおいて動作の対象となるテクスチャT(i)を切り替える。変数iを1増加させると、ステップS9047に進み、変数iがテクスチャT(i)の総数Ntよりも大きいか否かを判定する。変数iがテクスチャT(i)の総数Nt以下の場合は、ステップS9041に進み、次のテクスチャT(i)に対してステップS9041〜S9047の動作を実行する。変数iがテクスチャT(i)の総数Ntよりも大きいときは、ループを脱してステップS905に進む。
以上のループ処理により、図8(A)の境界線801と802が定義される。
ステップS905では、本設定された座標対応点403の間隔に基づき、図9(A)および(B)ならびに図10に例示した方法で座標対応点403を間引く。座標対応点403の間引き動作が完了すると、ステップS906に進み、間引かれずに残ったすべての座標対応点403を座標変換して対応点404の座標位置を算出する。この算出結果を座標対応情報とするデータテーブル30が作成される。このテーブル30は、仮想視点の物理情報、すなわち俯角等の入力パラメータとともにテーブル作成装置200の記憶部25に記憶される。以上のステップS906でデータテーブル30の作成動作を終了する。
画像生成装置100で用いられる仮想視点が複数個存在する場合は、俯角等の入力パラメータを変えて、データテーブル30の作成動作を繰り返す。
以上のように、第1の実施の形態の画像生成装置100に実装するデータテーブル30は、図示しないPC内の処理装置において、図12に示す手順に従って主に以下の処理を実行することにより得ることができる。なお、撮像画像70を入力する入力ステップ、第1画像に対して座標変換を施し第2画像を生成する初期座標変換テーブルを読み込む読み込みステップは図示を省略している。
(1)変換ステップS901は、データテーブル30と同様なデータ構造の初期座標変換テーブルを用いて、入力された撮像画像70を鳥瞰画像71に変換する。
(2)演算ステップS903は、画像変換前後の撮像画像70および鳥瞰画像71について、四つの対応点403で形成されたテクスチャ601A,602Aの面積と、テクスチャ601A、602Aに対応して得られた四つの選択画素404で形成された対応テクスッチャ601B,602Bの面積との比を演算する。
(3)更新ステップS9043、S9044、S9045、S905、S906は、演算された面積の比mに応じて、テクスチャ601A、602Aに対する対応テクスチャ601B,602Bの面積比mが小さいほど対応点404の配列ピッチが粗くなるように対応点403を選択してデータテーブル30を更新する。
第1テクスチャと第2テクスチャの面積比にしたがって第1画素のいずれを間引くかを簡単に決定することができる。
上述した第1の実施の形態によれば、次の作用効果が得られる。
(1)第1の実施の形態の画像生成装置、すなわち画像生成装置100は、第1視点、すなわちカメラ110Aから被写体を第1の俯角で見下ろして撮像することにより取得した水平方向と垂直方向に広がりを有する二次元の第1画像、すなわち撮像画像70に対して、座標変換テーブル、すなわちデータテーブル30により座標変換を施し、第1視点とは異なる第2視点、すなわち仮想視点310Aから第1の俯角とは異なる第2の俯角で被写体を見下ろして得られる第2画像、すなわち鳥瞰画像71を生成して出力する。座標変換テーブル30は、第1画像70を構成する複数の第1画素から選択した複数の第1選択画素403の座標を、第2画像を構成する複数の第2画素に対応する第2選択画素404の座標に座標変換する。
座標変換テーブル30を生成する際、次のようにして第1画素を間引く。第1画像の領域を、水平方向に延在する少なくとも一つの画素境界線、たとえば境界線801、802により垂直方向に複数に分割したとき、第1画像70の垂直方向下側の領域R2、R3における第1選択画素403の配列ピッチIntが垂直方向上側の領域R1の第1選択画素403の配列ピッチよりも粗くなるように、第1画素を間引く。座標変換テーブル30の第1選択画素403は間引き後の複数の画素である。
したがって、入力された画像を異なる画像に座標変換する対応テーブルのデータ量を削減することができる。
(2)第1選択画素403は、複数の第1画素を水平方向には第1間隔Intで間引き、垂直方向には第2間隔Intで間引いて選択された画素であり、第2選択画素404は、第1選択画素403の座標を座標変換することで生成された画素である。
したがって、第1選択画素403を離散的に選択することにより、対応テーブルのデータ量を削減することができる。
(3)画像生成装置100は、三つ以上の第1選択画素403で形成された第1テクスチャ601A,602Aの面積と、第1テクスチャ601A,602Aに対応して得られた三つ以上の第2選択画素404で形成された第2テクスチャ601B,602Bの面積との比mに応じて、第1テクスチャ601A,602Aに対する第2テクスチャ601B,602Bの面積比mが小さいほど第2画素404の配列ピッチが粗くなるように第1選択画素403を選択した座標変換テーブル30を備える。
したがって、面積比mが小さいほど第2画素404の配列ピッチを粗くすることにより、データテーブル30のデータ量を低減する際に起こる鳥瞰画像71の画質の低下を抑制することができる。
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
(変形例1)
以上の実施の形態では、撮像画像70に対して境界分割線801、802で3つの領域に分割したが、少なくとも1本の境界線で二つの領域に分割してもよい。
(変形例2)
図7(A)、(B)では、テクスチャ601Aと対応テクスチャ601Bは画像領域の下側の領域に設定され、テクスチャ602Aと対応テクスチャ602Bは画像領域の上側の領域に設定されている。対応点を間引かない上側の領域の画像の歪み度合いと、対応点を間引いた下側の領域の画像の歪み度合いとがほぼ等しくなるようにすることは必須ではない。データ量が削減するのであれば、画像下側の領域の歪み度合を画像上側の領域の歪み度合より小さくしてもよい。
(変形例3)
以上の実施の形態では、撮像画像70に対して、水平方向および垂直方向の両方向で所定間隔Intごとに座標対応点403を配置したが、座標対応点403の間隔を水平方向と垂直方向とで異ならせてもよい。すなわち、水平方向については、座標対応点403を第1間隔Inthごとに配置し、垂直方向については第1間隔Inthとは異なる第2間隔Intvごとに配置することにしてもよい。換言すると、座標対応点403を水平方向には第1間隔Inthで間引き、垂直方向には第1間隔Inthとは異なる第2間隔Intvで間引くことにしてもよい。
(変形例4)
以上の実施の形態では、カメラ110A,110B,110Cの三つのカメラで撮像した画像を合成して車両前方の鳥瞰画像を生成するものとした。また、カメラ110A,110B,110C,110Dの四つのカメラで撮像した画像を合成して車両上方から俯瞰した俯瞰画像を生成するものとした。すなわち、複数の画像を合成する装置として説明した。しかし、本発明の画像生成装置は、一つのカメラで撮像した撮像画像に対して、カメラとは異なる位置に設定した仮想視点から異なる俯角で同一の被写体を観た俯瞰画像を生成する画像生成装置にも適用できる。
(変形例5)
以上の実施の形態では、テクスチャTr(i)の面積比m(i)に基づいて座標対応点403の間隔を本設定したが、テクスチャTr(i)の面積比m(i)以外のものに基づいて座標対応点403の間隔を本設定することにしてもよい。たとえば、入力画像における座標対応点403の位置、出力画像における座標対応点404の位置等に基づいて座標対応点403の間隔を本設定することにしてもよい。
たとえば、撮像画像70を以下の三つの領域に分割し、それらの分割領域ごとに座標対応点403の間隔を以下のように本設定することにしてもよい。
分割領域R11:Yr座標が所定値Y1以上のテクスチャで構成される。仮設定時の間隔の1倍に本設定。
分割領域R12:Yr座標が所定値Y1未満Y2以上のテクスチャで構成される。仮設定時の間隔の2倍に本設定。
分割領域R13:Yr座標が所定値Y2未満のテクスチャで構成される。仮設定時の間隔の4倍に本設定。
また、たとえば、鳥瞰画像71を以下の三つの領域に分割し、それらの分割領域中の座標対応点404に対応する座標対応点403の間隔を以下のように本設定することにしてもよい。
分割領域R21:Yv座標が所定値Y4以上のテクスチャで構成される。仮設定時の間隔の1倍に本設定。
分割領域R22:Yv座標が所定値Y4未満Y5以上のテクスチャで構成される。仮設定時の間隔の2倍に本設定。
分割領域R23:Yv座標が所定値Y5未満のテクスチャで構成される。仮設定時の間隔の4倍に本設定。
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
本発明の他の態様は、データテーブル30である座標変換テーブルを作成するテーブル作成装置200である。このテーブル作成装置200は、第1視点から被写体を第1の俯角で見下ろして撮像することにより取得した水平方向と垂直方向に広がりを有する二次元の第1画像である撮像画像70に対して座標変換を施し、第1視点とは異なる第2視点から第1の俯角とは異なる第2の俯角で被写体を見下ろして得られる第2画像である鳥瞰画像71を生成する初期座標変換テーブルを記憶する記憶部25(S901)と、撮像画像70を入力する画像入力部、すなわち画像取得部20と、初期座標変換テーブル30により、入力された撮像画像7070を第2画像である鳥瞰画像71に変換する画像変換部23と、画像変換前後の撮像画像70及び鳥瞰画像71について、四つの第1画素403で形成された第1テクスチャ601A,602Aの面積と、第1テクスチャ601A,602Aに対応して得られた四つの第2画素404で形成された第2テクスチャ601B,602Bの面積との比を演算する演算部S903と、演算された面積の比に応じて、第1テクスチャ601A,602Aに対する第2テクスチャ601B,602Bの面積比が小さいほど第2画素404の配列ピッチが粗くなるように初期座標変換テーブルの複数の第1画素から所定数の第1画素を選択して座標変換テーブルを作成する作成部S9043、S9044、S9045、S905、S906とを備える。
したがって、入力された画像を異なる画像に座標変換する対応テーブルのデータ量を削減することができる。
本発明のさらに他の態様は、データテーブル30である座標変換テーブルの作成方法である。この作成方法は、第1画像である撮影画像70を入力する入力ステップと、第1視点から被写体を第1の俯角で見下ろして撮像することにより取得した水平方向と垂直方向に広がりを有する二次元の撮影画像70に対して座標変換を施し、第1視点とは異なる第2視点から第1の俯角とは異なる第2の俯角で被写体を見下ろして得られる第2画像である鳥瞰画像71を生成する初期座標変換テーブルを読み込む読み込みステップと、初期座標変換テーブル30により、入力された撮像画像70を鳥瞰画像71に変換する変換ステップS901と、画像変換前後の撮像画像70および鳥瞰画像71について、四つの第1画素403で形成された第1テクスチャ601A,602Aの面積と、第1テクスチャ601A、602Aに対応して得られた四つの第2画素404で形成された第2テクスチャ601B,602Bの面積との比を演算する演算ステップS903と、演算された面積の比に応じて、第1テクスチャ601A、602Aに対する第2テクスチャ601B,602Bの面積比が小さいほど第2画素404の配列ピッチが粗くなるように初期座標変換テーブルの複数の第1画素から所定数の第1画素を選択して座標変換テーブルを作成する作成ステップS9043、S9044、S9045、S905、S906とを有する。
したがって、入力された画像を異なる画像に座標変換する対応テーブルのデータ量を削減することができる。
26 制御部
25 記憶部
30 データテーブル
100 画像生成装置
200 テーブル作成装置

Claims (5)

  1. 第1視点から被写体を第1の俯角で見下ろして撮像することにより取得した水平方向と垂直方向に広がりを有する二次元の第1画像に対して、座標変換テーブルにより座標変換を施し、前記第1視点とは異なる第2視点から前記第1の俯角とは異なる第2の俯角で前記被写体を見下ろして得られる第2画像を生成して出力する画像生成装置において、
    前記座標変換テーブルは、前記第1画像を構成する複数の第1画素から選択した複数の第1選択画素の座標を、前記第2画像を構成する複数の第2画素に対応する第2選択画素の座標に座標変換するテーブルであり、
    前記第1画像の領域を、前記水平方向に延在する少なくとも一つの画素境界線により前記垂直方向に複数に分割したとき、前記第1画像の垂直方向下側の領域における前記第1選択画素の配列ピッチが垂直方向上側の領域の前記第1選択画素の配列ピッチよりも粗くなるように、前記座標変換テーブルの前記第1選択画素を設定した画像生成装置。
  2. 請求項1に記載の画像生成装置において、
    前記第1選択画素は、前記複数の第1画素を水平方向には第1間隔で間引き、垂直方向には第2間隔で間引いて選択された画素であり、
    前記第2選択画素は、前記第1選択画素の座標を座標変換することで生成された画素である画像生成装置。
  3. 請求項1または2に記載の画像生成装置において、
    三つ以上の前記第1選択画素で形成された第1テクスチャの面積と、前記第1テクスチャに対応して得られた三つ以上の第2選択画素で形成された第2テクスチャの面積との比に応じて、前記第1テクスチャに対する第2テクスチャの面積比が小さいほど前記第2画素の配列ピッチが粗くなるように前記第1選択画素を選択した座標変換テーブルを備える画像生成装置。
  4. 請求項1乃至3のいずれか1項に記載の座標変換テーブルの作成装置において、
    前記第1視点から被写体を第1の俯角で見下ろして撮像することにより取得した水平方向と垂直方向に広がりを有する二次元の第1画像に対して座標変換を施し、前記第1視点とは異なる第2視点から前記第1の俯角とは異なる第2の俯角で前記被写体を見下ろして得られる第2画像を生成する初期座標変換テーブルを記憶する記憶部と、
    前記第1画像を入力する画像入力部と、
    前記入力された前記第1画像を前記初期座標変換テーブルにより第2画像に変換する画像変換部と、
    前記画像変換前後の前記第1および第2画像について、三つ以上の前記第1画素で形成された第1テクスチャの面積と、前記第1テクスチャに対応して得られた三つ以上の第2画素で形成された第2テクスチャの面積との比を演算する演算部と、
    前記演算された前記面積の比に応じて、前記第1テクスチャに対する第2テクスチャの面積比が小さいほど前記第2画素の配列ピッチが粗くなるように前記初期座標変換テーブルの複数の前記第1画素から所定数の前記第1画素を選択して前記座標変換テーブルを作成する作成部とを備える座標変換テーブル作成装置。
  5. 請求項1乃至3のいずれか1項に記載の座標変換テーブルの作成方法において、
    前記第1画像を入力する入力ステップと、
    前記第1視点から被写体を第1の俯角で見下ろして撮像することにより取得した水平方向と垂直方向に広がりを有する二次元の第1画像に対して座標変換を施し、前記第1視点とは異なる第2視点から前記第1の俯角とは異なる第2の俯角で前記被写体を見下ろして得られる第2画像を生成する初期座標変換テーブルを読み込む読み込みステップと、
    前記初期座標変換テーブルにより、前記入力された前記第1画像を第2画像に変換する変換ステップと、
    前記画像変換前後の前記第1および第2画像について、三つ以上の前記第1画素で形成された第1テクスチャの面積と、前記第1テクスチャに対応して得られた三つ以上の第2画素で形成された第2テクスチャの面積との比を演算する演算ステップと、
    前記演算された前記面積の比に応じて、前記第1テクスチャに対する第2テクスチャの面積比が小さいほど前記第2画素の配列ピッチが粗くなるように前記初期座標変換テーブルの複数の前記第1画素から所定数の前記第1画素を選択して前記座標変換テーブルを作成する作成ステップとを有する座標変換テーブル作成方法。
JP2015021163A 2015-02-05 2015-02-05 画像生成装置、座標変換テーブル作成装置および作成方法 Active JP6276719B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015021163A JP6276719B2 (ja) 2015-02-05 2015-02-05 画像生成装置、座標変換テーブル作成装置および作成方法
EP15881188.5A EP3255604B1 (en) 2015-02-05 2015-11-27 Image generation device, coordinate conversion table creation device and creation method
US15/541,922 US10354358B2 (en) 2015-02-05 2015-11-27 Image generation device, coordinate transformation table creation device and creation method
PCT/JP2015/083462 WO2016125371A1 (ja) 2015-02-05 2015-11-27 画像生成装置、座標変換テーブル作成装置および作成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015021163A JP6276719B2 (ja) 2015-02-05 2015-02-05 画像生成装置、座標変換テーブル作成装置および作成方法

Publications (2)

Publication Number Publication Date
JP2016143381A JP2016143381A (ja) 2016-08-08
JP6276719B2 true JP6276719B2 (ja) 2018-02-07

Family

ID=56563728

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015021163A Active JP6276719B2 (ja) 2015-02-05 2015-02-05 画像生成装置、座標変換テーブル作成装置および作成方法

Country Status (4)

Country Link
US (1) US10354358B2 (ja)
EP (1) EP3255604B1 (ja)
JP (1) JP6276719B2 (ja)
WO (1) WO2016125371A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016211227A1 (de) 2016-06-23 2017-12-28 Conti Temic Microelectronic Gmbh Verfahren und Fahrzeugsteuersystem zum Erzeugen von Abbildungen eines Umfeldmodells und entsprechendes Fahrzeug
DE102016225066A1 (de) * 2016-12-15 2018-06-21 Conti Temic Microelectronic Gmbh Rundumsichtsystem für ein Fahrzeug
JP6439233B2 (ja) 2017-03-31 2018-12-19 マツダ株式会社 車両用画像表示装置及び画像処理方法
JP6941472B2 (ja) * 2017-04-26 2021-09-29 株式会社デンソーテン 映像再生装置、映像再生システム、及び映像再生方法
JP2019012915A (ja) 2017-06-30 2019-01-24 クラリオン株式会社 画像処理装置、画像変換方法
CN108628808A (zh) * 2018-04-04 2018-10-09 华南农业大学 相机采样点的坐标转换方法
JP6937722B2 (ja) * 2018-05-18 2021-09-22 株式会社 日立産業制御ソリューションズ 画像処理装置および画像処理方法
US20240143645A1 (en) * 2022-11-01 2024-05-02 Getac Technology Corporation Item analysis and linking across multiple multimedia files
CN117934805B (zh) * 2024-03-25 2024-07-12 腾讯科技(深圳)有限公司 对象筛选方法和装置、存储介质及电子设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005333442A (ja) 2004-05-20 2005-12-02 Auto Network Gijutsu Kenkyusho:Kk 周辺視認装置
JP5013773B2 (ja) * 2006-08-18 2012-08-29 パナソニック株式会社 車載画像処理装置及びその視点変換情報生成方法
JP4861962B2 (ja) * 2007-11-12 2012-01-25 クラリオン株式会社 画像変形マップデータ補正装置および画像変形マップデータ補正方法
JP5751986B2 (ja) * 2010-12-08 2015-07-22 キヤノン株式会社 画像生成装置
JP5586545B2 (ja) * 2011-09-09 2014-09-10 任天堂株式会社 ゲームシステム、携帯型ゲーム装置、情報処理部の制御方法、および情報処理部の制御プログラム
JP6255928B2 (ja) * 2013-11-15 2018-01-10 スズキ株式会社 俯瞰画像生成装置
KR20150093048A (ko) * 2014-02-06 2015-08-17 삼성전자주식회사 그래픽스 데이터를 렌더링하는 방법 및 장치

Also Published As

Publication number Publication date
WO2016125371A1 (ja) 2016-08-11
US10354358B2 (en) 2019-07-16
EP3255604A1 (en) 2017-12-13
EP3255604A4 (en) 2018-10-03
EP3255604B1 (en) 2020-03-18
JP2016143381A (ja) 2016-08-08
US20170358056A1 (en) 2017-12-14

Similar Documents

Publication Publication Date Title
JP6276719B2 (ja) 画像生成装置、座標変換テーブル作成装置および作成方法
JP6310652B2 (ja) 映像表示システム、映像合成装置及び映像合成方法
JP5739584B2 (ja) 車両周辺視角化のための3次元映像合成装置およびその方法
JP5444338B2 (ja) 車両周囲監視装置
JP6079131B2 (ja) 画像処理装置、方法、及びプログラム
US8817079B2 (en) Image processing apparatus and computer-readable recording medium
US20100156901A1 (en) Method and apparatus for reconstructing 3d model
JP6011624B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2008083786A (ja) 画像生成装置および画像生成方法
JP2011066860A (ja) パノラマ画像生成方法及びパノラマ画像生成プログラム
CN113490879A (zh) 使用实时光线跟踪以用于透镜重新映射
US20110128286A1 (en) Image restoration apparatus and method thereof
JP7502440B2 (ja) 環境のトポグラフィを測定するための方法
JP2016225865A (ja) 俯瞰画像生成装置
JP6029459B2 (ja) 画像合成装置、および画像合成方法
WO2018016274A1 (ja) 画像処理装置
JP7196920B2 (ja) 運転支援装置および運転支援方法、プログラム
JP6967013B2 (ja) 二枚の表示画像間の移行を割り出すための方法及び装置、並びに、車両
Huo et al. Research on the auxiliary panoramic parking technology based on fast image mosaic
CN113592704B (zh) 一种图像生成方法、装置及***
WO2023095340A1 (ja) 画像処理方法、画像表示方法、画像処理装置、及び画像表示装置
JP2023111638A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2004007299A (ja) 車両用映像表示装置
JP2010268369A (ja) 周辺表示装置
JP2014142781A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20170315

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170517

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170921

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180112

R150 Certificate of patent or registration of utility model

Ref document number: 6276719

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150