JP5168580B2 - 運転模擬装置、広角カメラ映像模擬装置および画像変形合成装置 - Google Patents
運転模擬装置、広角カメラ映像模擬装置および画像変形合成装置 Download PDFInfo
- Publication number
- JP5168580B2 JP5168580B2 JP2008306768A JP2008306768A JP5168580B2 JP 5168580 B2 JP5168580 B2 JP 5168580B2 JP 2008306768 A JP2008306768 A JP 2008306768A JP 2008306768 A JP2008306768 A JP 2008306768A JP 5168580 B2 JP5168580 B2 JP 5168580B2
- Authority
- JP
- Japan
- Prior art keywords
- wide
- angle camera
- vehicle
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
- G09B9/05—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles the view from a vehicle being simulated
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Closed-Circuit Television Systems (AREA)
Description
前記動作指示の入力に応じてリアルタイムで前記仮想環境内の前記車両の位置および向きを算出する車両シミュレーション部と、
前記車両の位置および向きから前記車載広角カメラの視点位置および視方向を求めるカメラ状態算出部と、
前記車載広角カメラからの所定の視野をカバーする複数の中間投影面に対して、前記カメラ状態算出部で算出された前記車載広角カメラの視点位置および視方向から前記仮想環境を透視投影した複数の中間画像を生成する中間画像描画部と、
予め記録された前記車載広角カメラのレンズ特性に関するパラメータに基づいて、前記複数の中間画像を変形合成することで、前記車載広角カメラの映像を生成する映像描画部とを含む広角カメラ模擬部を一つないし複数備える運転模擬装置。
本実施形態は、コンピュータを用いた画像変形合成装置を組み込んだドライビングシミュレータに関する。このドライビングシミュレータは、例えば、車載カメラを用いた運転視界補助システムの検証に利用することができる。
図2Aは、ドライビングシミュレータ1の動作例を示すフローチャートである。ドライビングシミュレータ1は、初めに初期化処理を実行した後(Op1)、シーンの更新(Op1)およびシーンの描画(Op2)を繰り返す。
図3は、広角カメラ模擬部5の構成を示す機能ブロック図である。広角カメラ模擬部5は、視野を複数の90度程度の画角に分割してそれぞれについて透視投影による中間画像の生成を行い、それら中間画像をテクスチャマッピングによって一つの二次元メッシュに貼り付けて合成することで、映像生成を行う。二次元メッシュは、平面を、隙間無く、多数のポリゴンに分割したものである。分割線(ポリゴンのエッジ)が交わる点をノードと呼ぶ。1つのノードが1つないし複数のポリゴンの頂点に対応する。
ドライビングシミュレータ1は、パーソナルコンピュータやワークステーション等の汎用コンピュータに、所定のプログラムをインストールすることで構築することができる。また、コンピュータを、ドライビングシミュレータ1や広角カメラ模擬部5として機能させるプログラムおよびそれを記録した記録媒体も本発明の実施形態に含まれる。
第2の実施形態は、広角カメラ模擬部の変形例である。本実施形態における広角カメラ模擬部は、キューブマッピング機能を用いて、広角カメラの映像を生成する。
ここで、方向ベクトル付加部39による方向ベクトル算出の具体例を説明する。方向ベクトル付加部39は、二次元メッシュの各ノード(ポリゴンの頂点)に方向ベクトルを割り当てる。ここで、図13Aに示すように、広角レンズ41に入射光aおよび入射光bが入射したところを考える。入射光a、bに対応する方向ベクトルa、bは、図13Bに示すように入射光a、bの逆向きのベクトルで表すことができる。図13Cは、入射光aおよび入射光bが映像画面上に像を結ぶ点a、bを示している。このように、レンズに対しある方向から入射した光は、映像面上のある点に像を結ぶ。この時、入射光の向きを逆にした方向ベクトルを考えると、映像面M上のある点の色は対応する方向ベクトルが指す先の色である、と言い換えることができる。
dy=2.0/M
ここで、以下の手順1を実行することで、配列vertexとdirectionの各要素のベクトル値を算出する。
縦方向の繰り返し(以下を、整数mを0からMまで1ずつ増やしながら繰り返す)
横方向の繰り返し(以下を、整数nを0からNまで1ずつ増やしながら繰り返す)
画面座標vertex[n][m]=(ndx−1.0, mdy−1.0)
方向ベクトルdirection[n][m]=レンズ投影変換(vertex[n][m])
sy=vySH/2.0
次に、この座標に基づき、入射光の方位角αと画像高hが、例えば、下記式(1)(2)により求められる。
従来、テクスチャマッピングを用いる場合、中間画像を貼り付けるための二次元メッシュの辺を、中間投影面の境界線に合わせて配置する必要があった。例えば、図16Aに示すように、中心が視点位置の立方体の各面が中間投影面である場合に、中間画像を広角レンズの投影変換した出力画像では、中間画像における境界線の境界は曲線になる。そのため、図16Bに示すように、中間投影面のメッシュT1を投影変換した出力画像の二次元メッシュT2は、投影面境界Kに合わせた曲線の二次元メッシュにする設定する必要があった。なぜなら、通常のテクスチャマッピングを用いる場合、1つのポリゴンを複数のテクスチャ(中間画像)で塗り分けることはできないので、メッシュを構成するポリゴンの内部に中間投影面の境界が来ないようにする必要があるからである。しかし、このような二次元メッシュを生成するためには、三次元の中間投影面について一旦広角レンズによる投影を行って画面上での形状を求める必要がある。従って、レンズの特性を変更するたびに二次元メッシュを作り直すための投影計算を行わなければならず、計算負荷が高い。
第3の実施形態は、広角カメラ模擬部の変形例である。図17は、第3の実施形態における広角カメラ模擬部5bの構成を示す機能ブロック図である。図17において、図11と同じ機能ブロックには同じ番号を付す。
立方体型でない中間投影面の配置を実現するために、方向ベクトル変換部42が方向ベクトルの変換を行う。図20Aは、非立方体型投影面配置における前記直方体と広角各カメラの視点位置を上から見た平面図であり、視点位置を起点とする方向ベクトルの一例が示されている。図20Bは、キューブマッピング機能部36において処理される立法体系投影面配置と方向ベクトルとの位置関係を上から見た平面図である。
シーンの描画時には、広角カメラ模擬部5bにおいて、以下の手順で広角カメラ映像が生成される。
縦方向の繰り返し(以下を、整数mを0からMまで1ずつ増やしながら繰り返す)
横方向の繰り返し(以下を、整数nを0からNまで1ずつ増やしながら繰り返す)
格子の左下半分の三角形ポリゴンを描画
〔頂点1〕座標vertex[n][m]、方向ベクトルdirection[n][m]
〔頂点2〕座標vertex[n+1][m]、方向ベクトルdirection[n+1][m]
〔頂点3〕座標vertex[n][m+1]、方向ベクトルdirection[n][m+1]
格子の右上半分の三角形ポリゴンを描画
〔頂点1〕座標vertex[n+1][m]、方向ベクトルdirection[n+1][m]
〔頂点2〕座標vertex[n+1][m+1]、方向ベクトルdirection[n+1][m+1]
〔頂点3〕座標vertex[n][m+1]、方向ベクトルdirection[n][m+1]
本実施形態は、中間投影面の設定方法に関する。上記第3の実施形態では、方向ベクトル変換の副作用で、主に中間投影面の境界付近において、テクスチャの歪みが若干目立つ場合が起こり得る。本実施形態の中間投影面を用いることで中間投影面の境界付近でテクスチャの歪みを抑えることができる。
図24は、第5の実施形態における広角カメラ模擬部5cの構成を示す機能ブロック図である。図24において、図17と同じ機能ブロックには同じ番号を付す。図17に示す広角カメラ模擬部5aは、画像座標変換部43および映像変形パターン記録部44を備える。
例えば、広角カメラに内蔵されたDSPによる映像変形処理の模擬を行う場合に、さらに画面座標変換部43が追加される。DSPによる映像の変形により、例えば、魚眼レンズ映像の一部分が切り出され歪みが除去される。
まず、Op51で読み込んだメッシュのノードについて、画面座標変換部43により座標が変換される(Op53)。図画面座標変換部43は、映像変形による画面座標の対応関係を逆に辿って、映像変形後の画面(出力映像)上の座標から、映像変形前の画面上の座標を求める。図27は画面座標変換部43による変換の一例を模式的に表す図である。次に、レンズ投影変換部19が変換後の画面座標から方向ベクトルを求める(Op54)。そして、方向ベクトル変換部42を用いる場合には、方向ベクトル変換部42が方向ベクトルを変換する(Op55)。求まった方向ベクトルはメッシュのノードに付加されて二次元メッシュ記録部25に記録される(Op56)。このようにして方向ベクトルが付加されたメッシュを映像描画部17が描画すると、模擬された広角カメラ映像にさらに、DSPによる変形が加わった映像が描画される。
運転視界補助システムなどの車載カメラを用いたアプリケーションを開発するためには、計算機上の仮想環境での検証が有効である。上記の第1〜5の実施形態にかかるドライビングシミュレータによれば、この仮想環境での車載広角カメラの車載広角カメラの映像模擬をリアルタイムで実行することができる。その結果、車載カメラアプリケーションを実行する実際の車載機をシミュレータに接続して様々な検証を行うことができる。また、カメラ種別や設置位置、周辺環境、交通状況などに関するさまざまな条件を作り出したり、条件を変えながら実験を繰り返したりするためには、実車を用いた検証だけでは高いコストがかかるが、これらコストを削減できる。さらに、事故に繋がる危険な検証は実車で行うことができないが、本実施形態にかかるドライビングシミュレータによれば可能になる。
仮想環境における車両に対する動作指示の入力を受け付ける入力部と、
前記動作指示の入力に応じてリアルタイムで前記仮想環境内の前記車両の位置および向きを算出する車両シミュレーション部と、
前記車両の位置および向きから前記車載広角カメラの視点位置および視方向を求めるカメラ状態算出部と、
前記車載広角カメラからの所定の視野をカバーする複数の中間投影面に対して、前記カメラ状態算出部で算出された前記車載広角カメラの視点位置および視方向から前記仮想環境を透視投影した複数の中間画像を生成する中間画像描画部と、
予め記録された前記車載広角カメラのレンズ特性に基づいて、中間画像の変形合成に関するパラメータを生成し、前記複数の中間画像を変形合成することで、前記車載広角カメラの映像を生成する映像描画部とを含む広角カメラ模擬部を一つないし複数備える運転模擬装置。
映像描画部は、前記複数の中間投影面と前記車載広角カメラの撮像面との対応関係を示すデータを前記パラ−メタとして生成し、当該対応関係を示すデータを用いて、前記複数の中間画像のテクスチャを前記撮像面へマッピングすることにより、前記車載広角カメラの映像を生成する、付記1に記載の運転模擬装置。
前記中間画像描画部は、前記車載広角カメラの視点位置および視方向からの透視投影を行って複数の中間画像を生成する処理をハードウエアに実行させ、
前記中間画像描画部は、前記車載広角カメラのレンズ特性から得られるパラメータを用いて前記複数の中間画像を変形合成することで、前記車載広角カメラの映像を生成する処理をハードウエアにより実行させる、付記1または2に記載の運転模擬装置。
前記中間画像描画部は、前記車載広角カメラの視点を内部に含む立方体の6面のうち少なくとも2つの面を前記複数の中間投影面として、前記車載広角カメラの視点位置および視方向からの前記仮想環境を透視投影して前記複数の中間画像を生成し、
前記生成される車載広角カメラの映像の画面に配置される二次元メッシュの各ノードと、前記複数の中間投影面上の位置とを対応付ける方向ベクトルを、前記車載広角カメラのレンズ特性から得られる前記パラメータに基づいて算出する方向ベクトル付加部をさらに備え、
前記映像描画部は、前記方向ベクトルを用いて、前記複数の中間画像のテクスチャを前記二次元メッシュにマッピングすることにより前記車載広角カメラの映像を生成する、付記1〜3のいずれか1項に記載の運転模擬装置。
前記中間画像描画部は、前記車載広角カメラの視点を内部に含む直方体の6面のうち少なくとも2つの面を前記複数の中間投影面として、前記車載広角カメラの視点位置および視方向からの前記仮想環境を透視投影して前記複数の中間画像を生成し、
複数の中間投影面上の位置と、前記車載広角カメラの映像の画面に配置される二次元メッシュの各ノードとを対応付ける方向ベクトルを、前記車載広角カメラのレンズ特性から得られる前記パラメータに基づいて算出する方向ベクトル付加部と、
前記方向ベクトル付加部が算出した方向ベクトルを、前記直方体と前記車載広角カメラの視点との位置関係に基づいて、前記直方体をカメラ視点を中心とする立方体になるように変形したときの変形後の立方体の面上における位置と前記二次元メッシュの各ノードとを対応付けるベクトルに変換する、ベクトル変換部とをさらに備え、
前記映像描画部は、前記方向ベクトルを用いて、前記複数の中間画像のテクスチャを前記二次元メッシュにマッピングすることにより前記車載広角カメラの映像を生成する、付記1〜3のいずれか1項に記載の運転模擬装置。
前記方向ベクトルを用いて複数の中間画像のテクスチャを前記二次元メッシュにマッピングする処理にはキューブマッピング機能を用いる、付記4また5に記載の運転模擬装置。
あらかじめ記録された映像変形パターンに従って、画面座標を変換する画面座標変換部をさらに備える、付記1〜6のいずれか1項に記載の運転模擬装置。
前記生成される車載広角カメラの映像の画面に配置される二次元メッシュの分割線は、中間投影面の境界線のうち前記生成される車載広角カメラ映像の画面上において直線となるものに重なるように設定されている、付記4〜6のいずれか1項に記載の運転模擬装置。
仮想環境における広角カメラの視点位置および視方向を示すデータを入力するカメラ情報入力部と、
前記広角カメラからの所定の視野をカバーする複数の中間投影面に対して、前記カメラ情報入力部で入力された前記広角カメラの視点位置および視方向から前記仮想環境を透視投影した複数の中間画像を生成する中間画像描画部と、
予め記録された前記広角カメラのレンズ特性に基づいて、中間画像の変形合成に関するパラメータを生成し、前記複数の中間画像を変形合成することで、前記広角カメラの映像を生成する映像描画部とを含む広角カメラ映像模擬装置。
仮想環境における広角カメラの視点位置および視方向を示すデータを入力するカメラ情報入力部と、
前記広角カメラからの所定の視野をカバーする複数の中間投影面に対して、前記カメラ情報入力部で入力された前記広角カメラの視点位置および視方向から前記仮想環境を透視投影した複数の中間画像を生成する中間画像描画部と、
予め記録された前記広角カメラのレンズ特性に基づいて、中間画像の変形合成に関するパラメータを生成し、前記複数の中間画像を変形合成することで、前記広角カメラの映像を生成する映像描画部とを含む画像変形合成装置。
仮想環境における車両に対する動作指示の入力を受け付ける入力処理と、
前記動作指示の入力に応じてリアルタイムで前記仮想環境内の前記車両の位置および向きを算出する車両状態算出処理と、
前記車両の位置および向きから前記車載広角カメラの視点位置および視方向を求めるカメラ状態算出処理と、
前記車載広角カメラからの所定の視野をカバーする複数の中間投影面に対して、前記カメラ状態算出処理で算出された前記車載広角カメラの視点位置および視方向から前記仮想環境を透視投影した複数の中間画像を生成する中間画像描画処理と、
予め記録された前記車載広角カメラのレンズ特性に基づいて、中間画像の変形合成に関するパラメータを生成し、前記複数の中間画像を変形合成することで、前記車載広角カメラの映像を生成する映像描画処理とをコンピュータに実行させる、運転模擬プログラム。
仮想環境における広角カメラの視点位置および視方向を示すデータを入力するカメラ情報入力処理と、
前記広角カメラからの所定の視野をカバーする複数の中間投影面に対して、前記カメラ情報入力処理で入力された前記広角カメラの視点位置および視方向から前記仮想環境を透視投影した複数の中間画像を生成する中間画像描画処理と、
予め記録された前記広角カメラのレンズ特性に基づいて、中間画像の変形合成に関するパラメータを生成し、前記複数の中間画像を変形合成することで、前記広角カメラの映像を生成する映像描画処理とをコンピュータに実行させる広角カメラ映像模擬プログラムまたは画像変形合成プログラム。
仮想環境における車両に対する動作指示の入力を受け付ける入力ステップと、
前記動作指示の入力に応じてリアルタイムで前記仮想環境内の前記車両の位置および向きを算出する車両状態算出ステップと、
予め記録された前記車両の車載広角カメラの搭載位置情報を用いて、前記車両の位置および向きから前記車載広角カメラの視点位置および視方向を求めるカメラ状態算出ステップと、
前記車載広角カメラからの所定の視野をカバーする複数の中間投影面に対して、前記カメラ状態算出ステップで算出された前記車載広角カメラの視点位置および視方向から前記仮想環境を透視投影した複数の中間画像を生成する中間画像描画ステップと、
予め記録された前記車載広角カメラのレンズ特性に基づいて、中間画像の変形合成に関するパラメータを生成し、前記複数の中間画像を変形合成することで、前記車載広角カメラの映像を生成する映像描画ステップとを含む、運転模擬方法。
仮想環境における広角カメラの視点位置および視方向を示すデータを入力するカメラ情報入力ステップと、
前記広角カメラからの所定の視野をカバーする複数の中間投影面に対して、前記カメラ情報入力ステップで入力された前記広角カメラの視点位置および視方向から前記仮想環境を透視投影した複数の中間画像を生成する中間画像描画ステップと、
予め記録された前記広角カメラのレンズ特性に基づいて、中間画像の変形合成に関するパラメータを生成し、前記複数の中間画像を変形合成することで、前記広角カメラの映像を生成する映像描画ステップとを含む広角カメラ映像模擬方法または画像変形合成方法。
2 入力部
3 車両シミュレーション部
4 カメラ状態算出部
5、5a、5b、5c 広角カメラ模擬部
6 検証対象システム
7 シーン描画部
8 映像提示装置
11 シーンデータ記録部
12 カメラ位置記録部
13 カメラ視野記録部
15 中間画像描画部
16 テクスチャ参照部
17 映像描画部
18 テクスチャ割付部
19 レンズ投影変換部
21 中間画像バッファ
22 中間投影面配置情報記録部
23 直行メッシュ記録部
24 広角レンズ特性記録部
25 二次元メッシュ記録部
26 キャビティ機能部
35 立方体中間投影面配置情報
36 キューブマッピング機能部
37 交点計算部
38 テクスチャ参照部
39 方向ベクトル付加部
41 広角レンズ
41 レンズ
42 方向ベクトル変換部
44 映像変形パターン記録部
43 画像座標変換部
Claims (9)
- 仮想環境における車両に対する動作指示の入力を受け付ける入力部と、
前記動作指示の入力に応じてリアルタイムで前記仮想環境内の前記車両の位置および向きを算出する車両シミュレーション部と、
前記車両の位置および向きから前記車両の車載広角カメラの視点位置および視方向を求めるカメラ状態算出部と、
前記車載広角カメラからの所定の視野をカバーする複数の中間投影面に対して、前記カメラ状態算出部で算出された前記車載広角カメラの視点位置および視方向から前記仮想環境を透視投影した複数の中間画像を生成する中間画像描画部と、
予め記録された前記車載広角カメラのレンズ特性に基づいて、中間画像の変形合成に関するパラメータを生成し、前記複数の中間画像を変形合成することで、前記車載広角カメラの映像を生成する映像描画部とを含む広角カメラ模擬部を一つないし複数備え、
前記中間画像描画部は、前記車載広角カメラの視点を内部に含む直方体の6面のうち少なくとも2つの面を前記複数の中間投影面として、前記車載広角カメラの視点位置および視方向からの前記仮想環境を透視投影して前記複数の中間画像を生成し、
前記複数の中間投影面上の位置と、前記車載広角カメラの映像の画面に配置される二次元メッシュの各ノードとを対応付ける方向ベクトルを、前記車載広角カメラのレンズ特性から得られる前記パラメータに基づいて算出する方向ベクトル付加部と、
前記方向ベクトル付加部が算出した方向ベクトルを、前記直方体と前記車載広角カメラの視点との位置関係に基づいて、前記直方体をカメラ視点を中心とする立方体になるように変形したときの変形後の立方体の面上における位置と前記二次元メッシュの各ノードとを対応付けるベクトルに変換する、ベクトル変換部とをさらに備え、
前記映像描画部は、前記方向ベクトルを用いて、前記複数の中間画像のテクスチャを前記二次元メッシュにマッピングすることにより前記車載広角カメラの映像を生成する、運転模擬装置。 - 映像描画部は、前記複数の中間投影面と前記車載広角カメラの撮像面との対応関係を示すデータを前記パラメ−タとして生成し、当該対応関係を示すデータを用いて、前記複数の中間画像のテクスチャを前記撮像面へマッピングすることにより、前記車載広角カメラの映像を生成する、請求項1に記載の運転模擬装置。
- 仮想環境における車両に対する動作指示の入力を受け付ける入力部と、
前記動作指示の入力に応じてリアルタイムで前記仮想環境内の前記車両の位置および向きを算出する車両シミュレーション部と、
前記車両の位置および向きから前記車両の車載広角カメラの視点位置および視方向を求めるカメラ状態算出部と、
前記車載広角カメラからの所定の視野をカバーする複数の中間投影面に対して、前記カメラ状態算出部で算出された前記車載広角カメラの視点位置および視方向から前記仮想環境を透視投影した複数の中間画像を生成する中間画像描画部と、
予め記録された前記車載広角カメラのレンズ特性に基づいて、中間画像の変形合成に関するパラメータを生成し、前記複数の中間画像を変形合成することで、前記車載広角カメラの映像を生成する映像描画部とを含む広角カメラ模擬部を一つないし複数備え、
前記中間画像描画部は、前記車載広角カメラの視点を内部に含む立方体の6面のうち少なくとも2つの面を前記複数の中間投影面として、前記車載広角カメラの視点位置および視方向からの前記仮想環境を透視投影して前記複数の中間画像を生成し、
前記生成される車載広角カメラの映像の画面に配置される二次元メッシュの各ノードと、前記複数の中間投影面上の位置とを対応付ける方向ベクトルを、前記車載広角カメラのレンズ特性から得られる前記パラメータに基づいて算出する方向ベクトル付加部をさらに備え、
前記映像描画部は、前記方向ベクトルを用いて、前記複数の中間画像のテクスチャを前記二次元メッシュにマッピングすることにより前記車載広角カメラの映像を生成する、運転模擬装置。 - 前記方向ベクトルを用いて複数の中間画像のテクスチャを前記二次元メッシュにマッピングする処理にはキューブマッピング機能を用いる、請求項1〜3のいずれか1項に記載の運転模擬装置。
- あらかじめ記録された映像変形パターンに従って、画面座標を変換する画面座標変換部
をさらに備える、請求項1〜4のいずれか1項に記載の運転模擬装置。 - 前記生成される車載広角カメラの映像の画面に配置される二次元メッシュの分割線は、中間投影面の境界線のうち前記生成される車載広角カメラ映像の画面上において直線となるものに重なるように設定されている、請求項1〜5のいずれか1項に記載の運転模擬装置。
- 仮想環境における広角カメラの視点位置および視方向を示すデータを入力するカメラ情報入力部と、
前記広角カメラからの所定の視野をカバーする複数の中間投影面に対して、前記カメラ情報入力部で入力された前記広角カメラの視点位置および視方向から前記仮想環境を透視投影した複数の中間画像を生成する中間画像描画部と、
予め記録された前記広角カメラのレンズ特性に基づいて、中間画像の変形合成に関するパラメータを生成し、前記複数の中間画像を変形合成することで、前記広角カメラの映像を生成する映像描画部とを含み、
前記中間画像描画部は、前記広角カメラの視点を内部に含む直方体の6面のうち少なくとも2つの面を前記複数の中間投影面として、前記広角カメラの視点位置および視方向からの前記仮想環境を透視投影して前記複数の中間画像を生成し、
前記複数の中間投影面上の位置と、前記広角カメラの映像の画面に配置される二次元メッシュの各ノードとを対応付ける方向ベクトルを、前記広角カメラのレンズ特性から得られる前記パラメータに基づいて算出する方向ベクトル付加部と、
前記方向ベクトル付加部が算出した方向ベクトルを、前記直方体と前記広角カメラの視点との位置関係に基づいて、前記直方体をカメラ視点を中心とする立方体になるように変形したときの変形後の立方体の面上における位置と前記二次元メッシュの各ノードとを対応付けるベクトルに変換する、ベクトル変換部とをさらに備え、
前記映像描画部は、前記方向ベクトルを用いて、前記複数の中間画像のテクスチャを前記二次元メッシュにマッピングすることにより前記広角カメラの映像を生成する、広角カメラ映像模擬装置。 - 仮想環境における広角カメラの視点位置および視方向を示すデータを入力するカメラ情報入力部と、
前記広角カメラからの所定の視野をカバーする複数の中間投影面に対して、前記カメラ情報入力部で入力された前記広角カメラの視点位置および視方向から前記仮想環境を透視投影した複数の中間画像を生成する中間画像描画部と、
予め記録された前記広角カメラのレンズ特性に基づいて、中間画像の変形合成に関するパラメータを生成し、前記複数の中間画像を変形合成することで、前記広角カメラの映像を生成する映像描画部とを含み、
前記中間画像描画部は、前記広角カメラの視点を内部に含む直方体の6面のうち少なくとも2つの面を前記複数の中間投影面として、前記広角カメラの視点位置および視方向からの前記仮想環境を透視投影して前記複数の中間画像を生成し、
前記複数の中間投影面上の位置と、前記広角カメラの映像の画面に配置される二次元メッシュの各ノードとを対応付ける方向ベクトルを、前記広角カメラのレンズ特性から得られる前記パラメータに基づいて算出する方向ベクトル付加部と、
前記方向ベクトル付加部が算出した方向ベクトルを、前記直方体と前記広角カメラの視点との位置関係に基づいて、前記直方体をカメラ視点を中心とする立方体になるように変形したときの変形後の立方体の面上における位置と前記二次元メッシュの各ノードとを対応付けるベクトルに変換する、ベクトル変換部とをさらに備え、
前記映像描画部は、前記方向ベクトルを用いて、前記複数の中間画像のテクスチャを前記二次元メッシュにマッピングすることにより前記広角カメラの映像を生成する、画像変形合成装置。 - 仮想環境における車両に対する動作指示の入力を受け付ける入力処理と、
前記動作指示の入力に応じてリアルタイムで前記仮想環境内の前記車両の位置および向きを算出する車両状態算出処理と、
前記車両の位置および向きから前記車両の車載広角カメラの視点位置および視方向を求めるカメラ状態算出処理と、
前記車載広角カメラからの所定の視野をカバーする複数の中間投影面に対して、前記カメラ状態算出処理で算出された前記車載広角カメラの視点位置および視方向から前記仮想環境を透視投影した複数の中間画像を生成する中間画像描画処理と、
予め記録された前記車載広角カメラのレンズ特性に基づいて、中間画像の変形合成に関するパラメータを生成し、前記複数の中間画像を変形合成することで、前記車載広角カメラの映像を生成する映像描画処理とをコンピュータに実行させ、
前記中間画像描画処理では、前記広角カメラの視点を内部に含む直方体の6面のうち少なくとも2つの面を前記複数の中間投影面として、前記広角カメラの視点位置および視方向からの前記仮想環境を透視投影して前記複数の中間画像を生成し、
前記複数の中間投影面上の位置と、前記広角カメラの映像の画面に配置される二次元メッシュの各ノードとを対応付ける方向ベクトルを、前記広角カメラのレンズ特性から得られる前記パラメータに基づいて算出する方向ベクトル付加処理と、
前記方向ベクトル付加処理で算出した方向ベクトルを、前記直方体と前記広角カメラの視点との位置関係に基づいて、前記直方体をカメラ視点を中心とする立方体になるように変形したときの変形後の立方体の面上における位置と前記二次元メッシュの各ノードとを対応付けるベクトルに変換する、ベクトル変換処理とをさらにコンピュータに実行させ、
前記映像描画処理では、前記方向ベクトルを用いて、前記複数の中間画像のテクスチャを前記二次元メッシュにマッピングすることにより前記広角カメラの映像を生成する、運転模擬プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008306768A JP5168580B2 (ja) | 2008-12-01 | 2008-12-01 | 運転模擬装置、広角カメラ映像模擬装置および画像変形合成装置 |
DE200910041431 DE102009041431B4 (de) | 2008-12-01 | 2009-09-16 | Fahrsimulationsvorrichtung, Weitwinkelkamera-Videosimulationsvorrichtung und Bilddeformierungs-/-zusammensetzungsvorrichtung |
US12/568,841 US8907950B2 (en) | 2008-12-01 | 2009-09-29 | Driving simulation apparatus, wide-angle camera video simulation apparatus, and image deforming/compositing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008306768A JP5168580B2 (ja) | 2008-12-01 | 2008-12-01 | 運転模擬装置、広角カメラ映像模擬装置および画像変形合成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010129063A JP2010129063A (ja) | 2010-06-10 |
JP5168580B2 true JP5168580B2 (ja) | 2013-03-21 |
Family
ID=42194282
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008306768A Expired - Fee Related JP5168580B2 (ja) | 2008-12-01 | 2008-12-01 | 運転模擬装置、広角カメラ映像模擬装置および画像変形合成装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8907950B2 (ja) |
JP (1) | JP5168580B2 (ja) |
DE (1) | DE102009041431B4 (ja) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011223558A (ja) * | 2010-03-26 | 2011-11-04 | Panasonic Corp | 映像信号処理装置およびアクティブシャッターメガネ |
JP5521750B2 (ja) * | 2010-05-10 | 2014-06-18 | 富士通株式会社 | シミュレーションプログラム、シミュレーション装置及びシミュレーション方法 |
US8384770B2 (en) | 2010-06-02 | 2013-02-26 | Nintendo Co., Ltd. | Image display system, image display apparatus, and image display method |
EP2395769B1 (en) * | 2010-06-11 | 2015-03-04 | Nintendo Co., Ltd. | Image display program, image display system, and image display method |
US8451346B2 (en) * | 2010-06-30 | 2013-05-28 | Apple Inc. | Optically projected mosaic rendering |
TW201215126A (en) * | 2010-09-27 | 2012-04-01 | Hon Hai Prec Ind Co Ltd | Image dividing system for cameras and using method of the same |
JP5739674B2 (ja) | 2010-09-27 | 2015-06-24 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法 |
DE102011107458A1 (de) * | 2011-07-15 | 2013-01-17 | Audi Ag | Verfahren zum Evaluieren einer Objekterkennungseinrichtung eines Kraftfahrzeugs |
US9860520B2 (en) * | 2013-07-23 | 2018-01-02 | Sirona Dental Systems Gmbh | Method, system, apparatus, and computer program for 3D acquisition and caries detection |
US9892556B2 (en) * | 2014-03-11 | 2018-02-13 | Amazon Technologies, Inc. | Real-time exploration of video content |
KR101491423B1 (ko) * | 2014-09-24 | 2015-02-06 | 현대자동차주식회사 | 차량의 후진 보조 장치 및 그의 방법 |
US10970843B1 (en) | 2015-06-24 | 2021-04-06 | Amazon Technologies, Inc. | Generating interactive content using a media universe database |
US10096158B2 (en) | 2016-03-24 | 2018-10-09 | Ford Global Technologies, Llc | Method and system for virtual sensor data generation with depth ground truth annotation |
JP6553012B2 (ja) * | 2016-10-26 | 2019-07-31 | 株式会社タムラ製作所 | 音声調整卓 |
US10497168B2 (en) * | 2017-01-04 | 2019-12-03 | Nvidia Corporation | Cloud generation of content to be streamed to VR/AR platforms using a virtual view broadcaster |
US10497150B2 (en) * | 2017-01-11 | 2019-12-03 | Arm Limited | Graphics processing fragment shading by plural processing passes |
WO2018140013A1 (en) * | 2017-01-25 | 2018-08-02 | Ford Global Technologies, Llc | Virtual reality remote valet parking |
US10318822B2 (en) * | 2017-04-06 | 2019-06-11 | GM Global Technology Operations LLC | Object tracking |
CN107424218B (zh) * | 2017-07-25 | 2020-11-06 | 成都通甲优博科技有限责任公司 | 一种基于3d试戴的序列图校正方法及装置 |
US11042974B2 (en) | 2018-01-09 | 2021-06-22 | Robert Bosch Gmbh | Method and system for determining a degree of correlation between a simulated camera image and an actual camera image |
EP3777184A4 (en) | 2018-03-28 | 2021-12-15 | Nokia Technologies Oy | PROCESS, DEVICE AND COMPUTER PROGRAM PRODUCT FOR VIRTUAL REALITY |
KR102103418B1 (ko) * | 2018-04-06 | 2020-04-23 | 주식회사 와이즈오토모티브 | 조감도 이미지 생성 장치 및 방법 |
CN112911147B (zh) * | 2021-01-27 | 2023-04-25 | 维沃移动通信有限公司 | 显示控制方法、显示控制装置及电子设备 |
US11812153B2 (en) * | 2022-03-07 | 2023-11-07 | Volvo Car Corporation | Systems and methods for fisheye camera calibration and bird's-eye-view image generation in a simulation environment |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2450486A1 (fr) * | 1979-03-02 | 1980-09-26 | Materiel Telephonique | Procede et systemes de generation electronique d'image animee a grand angle pour ensemble d'entrainement a la conduite des navires |
US4479784A (en) * | 1981-03-03 | 1984-10-30 | The Singer Company | Eye line-of-sight responsive wide angle visual system |
JP3358169B2 (ja) * | 1996-08-30 | 2002-12-16 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 鏡面レンダリング方法及び装置 |
US7375728B2 (en) * | 2001-10-01 | 2008-05-20 | University Of Minnesota | Virtual mirror |
JP4592917B2 (ja) * | 2000-10-24 | 2010-12-08 | 株式会社バンダイナムコゲームス | 画像生成装置及びゲーム装置 |
JP2003085586A (ja) * | 2001-06-27 | 2003-03-20 | Namco Ltd | 画像表示装置、画像表示方法、情報記憶媒体および画像表示プログラム |
DE10226917A1 (de) * | 2002-06-17 | 2004-01-08 | Richard Loch | Verfahren zum Steuern eines Simulators |
US20090237396A1 (en) * | 2008-03-24 | 2009-09-24 | Harris Corporation, Corporation Of The State Of Delaware | System and method for correlating and synchronizing a three-dimensional site model and two-dimensional imagery |
-
2008
- 2008-12-01 JP JP2008306768A patent/JP5168580B2/ja not_active Expired - Fee Related
-
2009
- 2009-09-16 DE DE200910041431 patent/DE102009041431B4/de not_active Expired - Fee Related
- 2009-09-29 US US12/568,841 patent/US8907950B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20100136507A1 (en) | 2010-06-03 |
DE102009041431A1 (de) | 2010-06-24 |
DE102009041431B4 (de) | 2014-12-24 |
US8907950B2 (en) | 2014-12-09 |
JP2010129063A (ja) | 2010-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5168580B2 (ja) | 運転模擬装置、広角カメラ映像模擬装置および画像変形合成装置 | |
US5694533A (en) | 3-Dimensional model composed against textured midground image and perspective enhancing hemispherically mapped backdrop image for visual realism | |
JPH0757117A (ja) | テクスチャマップへの索引を生成する方法及びコンピュータ制御表示システム | |
JP2008287696A (ja) | 画像処理方法と装置 | |
JP3200163B2 (ja) | 3次元シミュレーション画像形成システム | |
WO2020136929A1 (ja) | 画像処理装置及び画像処理方法 | |
JP3124999B1 (ja) | レンダリング方法及び装置、ゲーム装置、並びに仮想空間内のオブジェクトの陰影に関するデータを計算するためのプログラムを格納するコンピュータ読み取り可能な記録媒体 | |
Yang et al. | Nonlinear perspective projections and magic lenses: 3D view deformation | |
KR20210087043A (ko) | 병행 텍스처 샘플링 | |
US9401044B1 (en) | Method for conformal visualization | |
JP3453119B2 (ja) | 情報記憶媒体及びゲーム装置 | |
EP3573018B1 (en) | Image generation device, and image display control device | |
KR100489572B1 (ko) | 화상 처리 방법 | |
KR100875297B1 (ko) | 영상 생성 기능을 갖는 시뮬레이션 장치 및 영상 생성단계를 갖는 시뮬레이션 방법 | |
JP3850080B2 (ja) | 画像生成表示装置 | |
JP4530214B2 (ja) | 模擬視界発生装置 | |
JP4201207B2 (ja) | プログラム、情報記憶媒体及び画像生成システム | |
JP5146054B2 (ja) | 仮想空間における音源より発生される音の生成制御プログラム | |
JP4566120B2 (ja) | プログラム、情報記憶媒体及び画像生成システム | |
JP7281782B2 (ja) | 映像投影システム | |
US20230351692A1 (en) | Image processing device | |
JP3867071B2 (ja) | 画像処理装置、画像処理方法 | |
JP3734744B2 (ja) | 3次元情報合成装置、3次元情報表示装置及び3次元情報合成方法 | |
JP2004152047A (ja) | 画像分割合成方法およびシステム、そのためのプログラムおよび記録媒体 | |
JP2010157170A (ja) | 全方向影投下レンダラー |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110907 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120828 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120830 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121029 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121212 |
|
LAPS | Cancellation because of no payment of annual fees |