JP7208356B2 - 任意の世界ビューの生成 - Google Patents
任意の世界ビューの生成 Download PDFInfo
- Publication number
- JP7208356B2 JP7208356B2 JP2021506937A JP2021506937A JP7208356B2 JP 7208356 B2 JP7208356 B2 JP 7208356B2 JP 2021506937 A JP2021506937 A JP 2021506937A JP 2021506937 A JP2021506937 A JP 2021506937A JP 7208356 B2 JP7208356 B2 JP 7208356B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- output image
- location
- view
- input images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 94
- 238000009877 rendering Methods 0.000 claims description 65
- 230000015654 memory Effects 0.000 claims description 61
- 238000013507 mapping Methods 0.000 claims description 55
- 238000003860 storage Methods 0.000 claims description 25
- 239000000203 mixture Substances 0.000 claims description 4
- 238000002156 mixing Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 66
- 238000012545 processing Methods 0.000 description 55
- 238000013461 design Methods 0.000 description 48
- 238000004422 calculation algorithm Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 26
- 238000004891 communication Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 19
- 239000002609 medium Substances 0.000 description 18
- 230000009466 transformation Effects 0.000 description 17
- 230000004927 fusion Effects 0.000 description 15
- 239000011159 matrix material Substances 0.000 description 14
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 9
- 238000003491 array Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000012546 transfer Methods 0.000 description 9
- 230000004807 localization Effects 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 239000000872 buffer Substances 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000000844 transformation Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 6
- 238000013519 translation Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 230000001934 delay Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000007717 exclusion Effects 0.000 description 4
- 238000010230 functional analysis Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000011144 upstream manufacturing Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 235000019800 disodium phosphate Nutrition 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004806 packaging method and process Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000013515 script Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 229910052710 silicon Inorganic materials 0.000 description 3
- 239000010703 silicon Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000013468 resource allocation Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000013497 data interchange Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000010894 electron beam technology Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 208000023368 generalized pustular psoriasis Diseases 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000013587 production medium Substances 0.000 description 1
- 230000024977 response to activity Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 208000035982 type 10 mucopolysaccharidosis Diseases 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/503—Blending, e.g. for anti-aliasing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/12—Shadow map, environment map
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Closed-Circuit Television Systems (AREA)
- Diaphragms For Electromechanical Transducers (AREA)
Description
以下の参照事項は、あたかも本明細書にあらゆる点で完全に示されているかのように、全体が参照により本明細書に組み入れられる。
以下は、本出願で使用する用語の解説である。
はじめに
本明細書の実施形態は、まるで浮遊しているような仮想カメラが取得したように環境の仮想描画ビデオを合成するために、多数のカメラから得た画像および/またはビデオのフレームの多視点幾何学的変換を利用する任意の世界ビュー描画出力画像および/またはビデオを作り出すためのシステムおよび方法を提示する。いくつかの実施形態では、この仮想カメラは、x、y、zの位置、方位角および高度姿勢、ならびに視野角を含む6つの自由度を有してよい。有利には、仮想カメラは、多数のカメラの場所の各々と異なる位置に配置されてよい。それに加えて、出力画像および/またはビデオを描画するために使用する投影面は、動的であってよく、仮想カメラの周りの対象物に至る距離推定値に連結されてよい。超音波測距センサもしくはミリ波測距センサ、レーダ、ライダ(lidar)のような距離測定センサを用いて、またはビデオフレームに適用するコンピュータビジョン技法を使用して、距離推定値を得てよい。本明細書の実施形態を車両先進運転支援システム(ADAS)、ドローンビデオ取得、オフィスもしくは家庭の環境、または多数のカメラを用いる他のプラットフォームのためなどのさまざまな用途で採用してよい。
図3は、いくつかの実施形態による、複数の入力画像から出力画像を描画するための方法を例示する流れ図である。いくつかの実施形態では、多重カメラシステムに連結したプロセッサを備えるコンピュータシステムにより、記述する方法を遂行してよい。記述する方法を遂行するためのプログラム命令を記憶していてよい1つまたは複数の非一時的コンピュータ可読記憶媒体にプロセッサを連結してよい。いくつかの実施形態では、第5節でより詳細に記述するように、プロセッサは、計算ステップの待ち時間を低減するために利用してよい並列処理ハードウェアシステムであってよい。さまざまな実施形態では、図示する方法の要素のいくつかを、同時に遂行してよい、図示するのと異なる順序で遂行してよい、他の方法要素と置換してよい、または省略してよい。また、追加の方法の要素を望み通りに遂行してよい。図示するように、方法は以下のように動作してよい。
図4は、いくつかの実施形態による、出力画像を描画するのを支援する投影面を決定する方法を例示する流れ図である。複数の入力画像から出力画像を描画する方法の一部として、図3および/または図5を参照して記述する方法ステップと併せて、図4に記述する方法ステップを遂行してよい。いくつかの実施形態では、多重カメラシステムに連結したプロセッサを備えるコンピュータシステムにより、記述する方法を遂行してよい。記述する方法を遂行するためのプログラム命令を記憶していてよい1つまたは複数の非一時的コンピュータ可読記憶媒体にプロセッサを連結してよい。いくつかの実施形態では、第5節により詳細に記述するように、プロセッサは、計算ステップの待ち時間を低減するために利用してよい並列処理ハードウェアシステムであってよい。さまざまな実施形態では、示す方法の要素のいくつかを、同時に遂行してよい、図示するのと異なる順序で遂行してよい、他の方法要素と置換してよい、または省略してよい。また、望み通りに追加の方法要素を遂行してよい。図示するように、方法は以下のように動作してよい。
図5は、いくつかの実施形態による、出力画像を複数の画素ブロックに分割して、出力画像を描画するのを支援するための方法を例示する流れ図である。複数の入力画像から出力画像を描画するための方法の一部として、図3および/または図4を参照して記述する方法ステップと併せて、図5に記述する方法ステップを遂行してよい。いくつかの実施形態では、多重カメラシステムに連結したプロセッサを備えるコンピュータシステムにより、記述する方法を遂行してよい。記述する方法を遂行するためのプログラム命令を記憶していてよい1つまたは複数の非一時的コンピュータ可読記憶媒体にプロセッサを連結してよい。いくつかの実施形態では、第5節により詳細に記述するように、プロセッサは、計算ステップの待ち時間を低減するために利用してよい並列処理ハードウェアシステムであってよい。さまざまな実施形態では、図示する方法の要素のいくつかを、同時に遂行してよい、図示するのと異なる順序で遂行してよい、他の方法要素と置換してよい、または省略してよい。また、望み通りに追加の方法要素を遂行してよい。図示するように、方法は以下のように動作してよい。
以下の番号付きの段落は、本明細書で記述する実施形態に関する追加の詳細および説明を提供する。参照しやすいように、段階的番号付けシステムに従って以下の段落の節および下位の節を番号付けする。具体的には、節の見出しに単一の数字(たとえば、「2」)でラベルを付けて、下位の節に2つの数字(たとえば、2.3)でラベルを付けて、さらに下位の節に3つの数字(たとえば、2.3.1)でラベルを付ける。
以下の節は、車両ADASの実施形態に関係がある追加の詳細(第2節)、較正機能およびビュー生成機能(第3.1節)および描画機能(第3.2節)を含む画像処理アルゴリズム(第3節)、パラメータおよび構成ファイル(第4.1節)ならびにソフトウェア構成要素(第4.2節)を含むソフトウェア(第4節)、並列処理ハードウェアシステム設計(第5節)、ならびにチップ設計(第6節)を提供する。
いくつかの実施形態では、多数のカメラを含むシステムを車両上に搭載して、車両の周りの任意の世界ビューを生成してよい。いくつかの実施形態では、広角視界(field of view、FOV)光学部品を伴う4つのカメラを車両の各側面に位置決めし、計算プラットフォームの中にネットワーク化してよい。計算プラットフォームは、カメラから画像を取得し、指定した窓から組み合わせたビューである(たとえば、上方などの車両の周りの場所から、車両上で見下ろす)単一表示画像を合成してよい。デジタル視覚インタフェース(digital visual interface、DVI)に基づく表示または他のタイプの表示は、4つの画像上でレンズ歪みを補正して画像を一緒につなぎ合わせた後に合成ビューを提示してよい。最終的透視変換を適用して、表示装置で提示すべき仮想の窓および/または透視図を指定してよい。
いくつかの実施形態では、任意の世界ビューシステムは、乗用車の周りの画像サンプルを取得するための魚眼レンズ(およそ180°のFOV)を伴う4つのカメラを含む。水平面内で、4つのカメラは90°ごとに配向されてよく、各カメラは180°の視界を有してよく、隣り合ったカメラ間で多くの画像の重なりを提供する。垂直軸に沿って、カメラを45°の角度で下方に配向して、乗用車の周りの地面の完全な視野を、および全方向で水平線までのビューを提供してよい。
乗用車の上にカメラを設置した後に一度、校正機能を遂行してよい。乗用車に対する仮想カメラの位置および配向を含んでよいビュー明細事項ごとに一度、ビュー生成機能を遂行してよい。これらの機能の出力は、1つのカメラから4つ(または5つ以上)のカメラまでの画像サンプルを使用して、規定されたビューを反復して生成して、ビデオ出力を形成してよい1組のパラメータであってよい。校正機能およびビュー生成機能は、標準的コンピュータ上で作動するオフライン処理であってよい。
画像の投影変換の概念は、基本的なピンホール・カメラ・モデルなどの、基礎となる投影カメラに基づいてよい。このモデルでは、光線は、中心点から直線状像平面を通って世界の中の対象物まで伸びる。世界の中の対象物の位置を、光線が像平面と交差する地点により表してよい。
rF=fFθ 式(1)
式中、rFは、魚眼画像表面内での主軸から像点までの距離であり、θは、光線と主軸の間の角度であり、fFは、焦点距離に似ている。
rP=fPtanθ 式(2)
上式は、θを通して魚眼ソース画像からその直線状表現へのマッピングを提供する。このモデルは、ソース画像が投影幾何形状変換に関与するときはいつでもこのマッピングを使用してよい。等角魚眼歪み補正の例を図8に示す。図8Aは、等角(魚眼)歪み(180°の視界)を伴うソース画像を示し、図8Bは、ピンホール・カメラ・モデル(120°の視界)を使用する再投影を示す。本明細書で使用するとき、「ソース画像」は、図3~図5を参照して記述する入力画像と同義語であると理解されてよい。
カメラ較正機能は、世界座標系に対するカメラの位置および配向を見いだしてよい。処理への入力は、図13に示すようなチェス盤パターンの画像であってよい。以下のステップを遂行してよい。
Xソース=RソースX世界+Tソース 式(3)
Xソース=KXソース 式(4)
Xソース は、ソースカメラ座標フレームでの同じ地点であり、
Kは、ソース像平面の焦点距離および主点パラメータについて記述する固有カメラ行列であり、
Xソース=s(u、v、1)T は、ソース画像の画素位置である。
いくつかの実施形態では、第3.1.2節で記述するように、投影方程式で世界座標と較正画像の間で投影変換を利用する。世界の対象物の位置は、z軸が地面に対して垂直に配向されてよい世界座標フレームで既知であってよい。投影変換は、カメラ座標フレームの配向に座標フレームを回転させ、次いでカメラの中心まで原点を移動させる並進を加えるステップを含んでよい。その場合、世界の対象物に関する変換された3D座標を、世界の対象物の画素位置をもたらす、画像の投影面内の同次座標として解釈してよい。
Xソース=RソースX世界+Tソース 式(6)
いくつかの実施形態では、任意のビューカメラの中心から対象物の深度を決定することは、自明ではないことがある。世界の中の対象物の3次元モデルを利用して、1つまたは複数のソース画像から事実上または容易には得られないことがある投影面を得てよい。
前節は、次式のようにマップ関数として要約されることがある、任意の視点に関してソース画像(すなわち、入力画像)画素をビュー画像(すなわち、出力画像)にマッピングする投影変換について概要を述べている。
Xソース=RマップXビュー+Tマップ 式(12)
x=KXソース 式(13)
ソースカメラ上の魚眼レンズは、180°の視界を提供してよい。いくつかの実施形態では、隣接するカメラが取得した画像の間にかなりの重なりが存在してよいように、4つの基本方向を向く4つのカメラが存在する。
いくつかの実施形態では、任意の世界ビュー例証システムの描画機能を反復して遂行して、所与のビュー明細事項に関して出力ビデオを作り出してよい。いくつかの実施形態では、描画機能は、仮想統合表示システム(visual integrated display system、VIDS)プラットフォーム上で、リアルタイムで作動してよいHyperX(登録商標)アプリケーションなどの並列処理システムを通して実装されてよい。
いくつかの実施形態では、単一CCDデジタルカメラから得られるカラー画像を、赤、緑、および青のサンプルのモザイクを形成する色フィルタアレイであってよいベイヤー(Bayer)フィルタを通して取得してよい。デモザイク機能は、画素あたり1つのサンプル値を、完全な赤、緑、および青のカラープレーンを表す、画素あたり3つの値に変換してよい。
いくつかの実施形態では、ワープ関数を採用して、アフィン変換を適用する。入力は、デモザイク関数から得られる、画素あたり3サンプルを伴うソース画像ブロックであってよく、出力は、16×16のビュー画像ブロックであってよい。
異なる照明条件が、異なる方向から車両の方を向くことに応答して、異なるカメラが露光および絞りの設定を独立して自動的に調節するのを保証するために、測光アラインメントシステムを利用してよい。2つのソース画像が、重なるブロックをビュー画像に提供する場合、その結果得られる融合された領域は、2つのソース画像の測光特性が互いに調和するように調節した場合、より自然に見えることがある。
いくつかの実施形態では、描画処理の最終ステップを利用して、異なるカメラソースから、重なるビュー画像を融合する。大部分のビュー画像ブロックは、単一ソース画像から得られるサンプルだけを含み、融合機能は、これらのブロックについてはパススルー機能であってよい。残りのビュー画像ブロックについては、赤、緑、および青の値を、2つの画像ソースから得られる2つの同じ場所に位置する描画されたブロックの加重平均として画素ごとに組み合わせてよい。
いくつかの実施形態では、1つから4つまでのソース画像から得られる画像サンプルに基づき所与の視点に関する単一画像を描画するために、一緒に作動する4つのソフトウェアの形をとる任意の世界ビューシステムを提供してよい。各プログラムは、独立に構築され、作動してよいが、一緒に作動可能にする共通の1組の構成およびパラメータのファイルを共有してよい。
モデル・ソフトウェア・アプリケーション・スイート内のプログラムは、多くのパラメータを利用して、ソースカメラ、所望のビュー、および描画されるビュー画像内の各16×16のブロックまたはタイルに関する情報について記述してよい。プログラムのすべては、パラメータファイルからこれらのパラメータを取り込んでよく、いくつかの実施形態では、コマンド・ライン・オプションは一般に使用されない。
ブロックレベルのパラメータは、BlockInfoと呼ばれ、第3.1節に記述するビュー生成動作と第3.2節に記述する描画動作の間の橋渡しになる。これらのパラメータは、JSON(JavaScript(登録商標) Object Notification)フォーマットファイルに包含されてよい。JSONは、人間が読むことができてよいがソフトウェアもまた容易に取り入れてよい共通のウェブ・アプリケーション・プログラミング慣行から借用した軽量なデータ交換フォーマットであってよい。
いくつかの実施形態では、CamData構成ファイルをJSONフォーマットで利用してよい。CamData構成ファイルは、ビュー生成機能により使用されなくてよく、描画するために必要ではなくてよい。camera_calibrateプログラムは、入力と出力の両方としてCamDataファイルを使用してよく、一方では、view_generateプログラムは、入力としてCamDataファイルを使用してよい。ある例のCamDataファイルは、図16に示され、表2に示すように、3つのセクションを含む。例示するように、第1のセクションは、カメラ較正に必要な最小の1組のパラメータを包含する。第2のセクションは、カメラ較正処理の結果であるビュー生成に必要なパラメータを追加する。第3のセクションは、ただ人間の読み手だけのための情報であってよく、どのプログラムによっても使用されなくてよい。CamDataファイルを読み出すソフトウェアが使用する機能は、存在するファイルをできるだけ読み出すので、第2のセクションおよび第3のセクション内の任意の未知のパラメータは、ファイルから単に省かれててよいことに留意されたい。
ViewSpecは、仮想カメラに関する所望の視点について記述する。このビューを「生成するステップ」は、ViewSpecで指定されたビューを描画するために使用するBlockInfo構造体のファイルを作り出すステップを伴う。いくつかの実施形態では、ViewSpecファイルは、ビュー生成処理だけで使用されてよく、リアルタイム描画システムにより必要とされなくてよい。
任意の世界ビューシステムに関するモデルソフトウェアは、2つのライブラリおよびいくつかのコマンド・ライン・アプリケーションを含んでよい。ライブラリは、ビュー生成および描画アルゴリズムの機能の多くを実装してよい。アプリケーションは、ライブラリの機能を呼び出して、高水準の一連の動作およびファイルI/Oを取り扱うコードを追加してよい。
OpenCV(登録商標)は、コンピュータ・ビジョン・アプリケーションをサポートするオープン・ソース・ライブラリ機能である。OpenCV(登録商標)は、すべての標準プラットフォーム用にパッケージ化された形態で利用可能であり、1組の中心的な基本データ型および機能を提供する。たとえば、投影幾何学を伴う動作のすべては、たとえベクトルおよび行列を伴う線形代数方程式を表しても、簡単な数学的演算としてC++で表現される。ビューブロックごとにアフィン変換を見いだすために使用する特異値分解(singular value decomposition、SVD)アルゴリズムなどのいくつかの機能はかなり複雑であり、OpenCV(登録商標)を使用することは、モデルの効率的実装に利益となることがある。いくつかの実装形態では、任意の世界ビューモデルは、OpenCV(登録商標)のC++ APIのバージョン2.4を使用する。
いくつかの実装形態では、ArthroCVライブラリは、モデルアルゴリズムの機能の多くを包含する。ArthroCVライブラリは、OpenCV(登録商標)から得られる、より基本的機能よりも任意の世界ビューアプリケーションに特有な共通機能にアクセスするアプリケーションのためのC++アプリケーション・プログラミング・インタフェース(application programming interface、API)を表す。たとえば、等角(魚眼)カメラモデルとピンホール・カメラ・モデル(第3.1.1節)の間でのソース画像サンプルのマッピングは、ArthroCV(登録商標) APIの一部であってよいC++クラスであってよい。
いくつかの実施形態では、デモザイクプログラムは、単一CCDカメラが取得した画像を変換する独立型プログラムであってよい。機能への入力は、色サンプルの、ベイヤーモザイクを伴う未加工の2値画像であってよい。一例として、未加工の2値画像が画素あたり10ビットを包含する場合、出力は、あらゆる画素位置に関して画素ファイルあたり32ビットであってよく、10ビットの赤、緑、および青のサンプルを伴う。
demosaic -image blockinfo_image_alignment.bin bayerInputFile.raw outfile.raw
を起動してよい。ここで、blockinfo_image_alignment.binは、ベイヤー・パターン・アラインメントを含むソース画像を記述する単一の2値BlockInfoパラメータセットを包含する。
いくつかの実施形態によるカメラ較正機能について、第3.1.2節で上記に記述した。カメラ較正の結果は、世界座標フレームでのカメラの位置および配向を示す回転行列および並進ベクトルであってよい。
camera_calilbrate cam0.json
を起動してよい。
いくつかの実施形態では、単一プログラムは、第3.1.3節~第3.1.6節に記述するビュー生成動作のすべてを包含する。入力は、仮想カメラの位置、配向、サイズ、および視界を提供するViewSpec構成ファイル(第4.1.3節を参照のこと)であってよい。出力は、描画された画像内のあらゆる16×16のタイルに関するBlockInfoパラメータセットを包含するファイルであってよい。このファイルは、リアルタイムビュー描画システムへの入力であってよい。
view_generate top_down_view.json cam1_front.json cam2_rear.json cam3_left.json cam4_right.json
ここで、view0.jsonは、ViewSpec構成ファイルであり、コマンドライン上のその他のファイルは、CamData構成ファイルである。任意の数のCamData構成ファイルを指定してよく(この実施形態では、最大4つまで)、CamData構成ファイルは、コマンドライン上で任意の順序であってよい。
いくつかの実施形態では、view_renderプログラムを第3.2節に記述する描画処理全体のモデル実装として利用する。
view_render blockinfo.json 1 front_c.png 2 rear_c.png 3 left_c.png 4 right_c.png
であり、ここで、ファイル引数は、view_generateにより作り出されるBlockInfoパラメータファイルであってよい。次の引数は、その生成されたビューで使用したカメラのすべてに関する1対の{cameraId,sourceImage}である。
以下の節は、いくつかの実施形態による、任意の世界ビューシステムおよび方法のビュー描画部分のための設計について概要を述べる。設計は、4つのGigE Visionカメラ入力およびDVI表示装置用の直接出力を含むHyperX(登録商標)開発システム内のHyperX(登録商標) hx3100プロセッサに基づいてよい、または別のタイプの並列処理ハードウェアシステムに基づいてよい。
機能分析は、上記の第3.2節で記述するように、ビュー描画アルゴリズムの計算動作を考慮してよい。この場合、機能を遂行するために何プロセッササイクルを利用してよいかに関する推定値を提供してよい基本動作数を機能ごとに推定してよい。ビュー画像の1ブロックを取り扱う機能ごとのサイクルカウントを理解することにより、システムがどれだけ多くのプロセッサ要素を利用して、リアルタイムで作動させて、特定のフレームレート(たとえば、1秒あたり30または60フレーム)で特定の解像度(たとえば、1440×900または他の解像度)のビュー画像を作り出すかを示すことが可能である。
いくつかの実施形態では、デモザイクアルゴリズムのために(たとえば、第3.2.1節に記述するように)2つの機能カーネルを利用してよく、一方の機能カーネルは、ベイヤー・モザイク・パターンで、緑の場所で赤および青の画素を補完するためにあり、第2の機能カーネルは、青/赤の場所で緑および赤/青の画素を補完するためにある。
ワーパ機能は、第3.2.2節に記述するように、ソース画像サンプルの長方形ブロックから得られる16×16のビューブロックの256画素を計算してよい。機能の2つの部分は、アフィン変換を適用して、入力サンプルブロック内の(非整数の)位置を得るステップ、およびその位置に基づき入力サンプルを補完するステップを含んでよい。測光アラインメントアルゴリズムで使用するために、ブロック平均の赤、緑、および青の値もまたワーパ内で計算してよい。
測光アラインメントアルゴリズム(第3.2.3節)を2つのセルの中に実装してよく、一方のセルは、利得推定のためにあり、他方のセルは、利得値を適用して、カラーサンプル値を調節してよい利得補正であってよい。利得推定セルは、自乗差の合計を計算し、しきい値機能を適用して、調和が不完全なブロックを不適格と判定する。各フレームの終わりで、利得推定セルはまた、記憶した自乗差値の合計を伴う連立方程式を解く。
融合されたビューブロックは、サンプル値に寄与する2つのソース画像を有する1つの融合されたビューブロックであってよい。この例示的実施形態では、ビュー画像ブロックの20%は融合されると仮定され、残りの80%は融合されない。融合計算は、融合されるビューブロックだけに適用されてよい。他のブロックは、単に単一入力から出力にコピーされてよい。
本節は、システム設計に制約を課すことがあるさまざまなアーキテクチャ考慮事項を列挙し、ハードウェアプラットフォームの詳細および高水準の機能明細事項を含む。いくつかの実施形態では、任意の世界ビューシステムは、自身の機能を遂行して、これらの考慮事項により記述される要件を満たしてよい。前節による機能分析と共にこれらの考慮事項は、システム設計の性能を決定する重要な要因となることがある。
アーキテクチャ考慮事項である高水準の機能明細事項は、システムの標的入力/出力および計算スループットを決定する明細事項であってよい。いくつかの実施形態では、任意の世界ビューシステム要件文書で以下の明細事項を確立してよい。
いくつかの実施形態では、任意の世界ビューアプリケーションのための計算プラットフォームは、チップ1、チップ2、およびチップ3というラベルのついた3つのHyperX(登録商標)プロセッサを装備したHyperX(登録商標)開発システムであってよい。チップ1およびチップ2はそれぞれ、図23に示すように、UDP/IPパケットを送受信するHyperX(登録商標)セルの形をとるソフトウェアドライバを含むギガビット・イーサネット・インタフェースを伴うボード上に提供されてよい。ソフトウェアI/Oドライバセルは、GigE Vision画像伝送プロトコルをサポートしてよく、各チップは、2つのカメラからビデオを同時に受信してよい。
いくつかの実施形態では、チップ1およびチップ2はそれぞれ、以下の追加能力および資源を有してよい。
前節は、ビデオレートでビュー画像をリアルタイムで描画するための任意の世界ビューシステムのためのシステム設計について記述している。第3.2節は、描画システムが遂行してよいアルゴリズムについて記述し、第4.2.6節は、アルゴリズムのためのソフトウェアモデルを提供している。高水準性の性能明細事項について第5.2.1節で記述し、標的プラットフォームについて第5.2.2節で記述している。
いくつかの実施形態では、開発プラットフォームにより課されるアーキテクチャ上の制約は、2つの異なるチップの各々で2つのカメラからビデオを受信することであることがある。これはまた、2つのチップ間で描画処理の主要な計算作業を等しく分割することを好都合にすることがある。いくつかの実施形態では、これは、図25に示すように、高水準作業負荷分割を通して達成されてよい。例示するように、右から左へと、HX1およびHX2というラベルのついたチップ1およびチップ2でビデオを受信および処理してよい。各チップ上での処理は、4つのカメラすべてから得られるビデオサンプルへのアクセスを利用してよいので、2つのチップは、直接受信しなかったビデオデータを交換してよい。
図26は、いくつかの実施形態による、チップ1およびチップ2に関するデータフロー設計を示す。例示するように、カメラデータのためのGigE Vision入力は、図の右上にある。処理ネットワークは、以下の要素のうち1つまたは複数を含んでよい。
demosaic_groupセルは、2つの入力および1つの出力を伴う単一セルであってよい。デモザイクグループの内部には、いくつかのデモザイクセル、および作業負荷分配専用の他のPEが存在する。いくつかの実施形態による、demosaic_groupセルの内部構造を図27に示す。ワーパグループは、ただ1つの単一入力を伴うことを除き、類似の構造を有してよい。
チップ3は、図28に示すように、チップ1およびチップ2からビューブロックのストリームを受信する。ストリームは、出力画像内のビュー画像すべてを測光アラインメントのために一緒に考慮してよいように、単一ストリームに合併されてよい。チップ3上のセルに関する機能分析は、セルが機能あたり2つ以上または3つ以上のPEを必要としなくてよいことを示す(第5.1.3節および第5.1.4節を参照のこと)。
いくつかの実施形態では、チップ3内の画像処理機能のすべては、図29に示す測光アラインメント複合セルにより包含されてよい。機能は、第3.2.3節、第3.2.4節、第5.1.3節、および第5.1.4節に記述するように、利得推定、利得補正、および融合を含んでよい。
任意の世界ビューシステムのために描画されたビュー画像を作り出してよいシステム設計は、2つ以上存在してよい。前の図および段落で記述した特定の設計は、HyperX(登録商標)技術に基づく最も高度な並列実装に共通の、いくつかの一般的な設計目標を満たすように選ばれた。しかしながら、これらの特有の設計パラメータは、例示することだけを意図され、本明細書で記述する実施形態を実装するために他の設計パラメータおよびシステムを利用することは、本開示の範囲に入ることが理解される。
前のいくつか節で遂行される異なる機能を異なるセルに分割してよい。外部メモリ・インタフェース・セルなどのいくつかのセルは、主として計算のためにではなくデータ移動のためにあってよい。局所化は、選ばれた設計分解の重要な目標(たとえば、多くのセルの間でのアルゴリズム分割)であってよい。局所化は、設計でその他のセルが遂行している機能の知識なしに各セルが自身の機能を行ってよいことを意味すると解釈されてよい。セルが自身のタスクを遂行するために利用してよい唯一の情報を自身の入力上で受信してよく、セルは、下流のセルが下流のセルのタスクを行うために利用する作業結果だけを送信してよい。
いくつかの実施形態では、設計で各セルが上流のセルからデータを受信し、データに対して自身の機能を遂行し、次いで下流のセルに結果を送信することを意味すると解釈されてよいフィードフォワード設計を利用してよい。この設計は、設計でセルが上流のセルにデータを送り返すなどの明示的フィードバック通信を有しなくてよい。
いくつかの実施形態では、分散制御の原理は、任意の大規模計算にスケール変更するHyperX(登録商標)技術に基づく並列処理用途に有利であることがある。分散制御は、セルが自身の命令を上流の隣接からだけ受信して、下流の隣接だけに命令を送信することを意味すると解釈されてよい。いくつかの実施形態では、分散制御は、局所化のある様態であってよい。
以下の段落は、いくつかの実施形態による、HyperX(登録商標)アーキテクチャまたは別のタイプのマルチ・プロセッサ・システム(multi-processor system、MPS)などのMPSのためのハードウェア構成に関する詳細を追加で補充する。
図30は、マルチ・プロセッサ・システム(MPS)の一実施形態を例示する構成図である。例示する実施形態では、MPS10は、複数の処理要素(PE)と、データおよび命令を互いに通信するように連結された、動的に構成可能なコミュニケータまたは動的に構成可能な通信要素と呼ばれることもある複数のデータ・メモリ・ルータ(data memory router、DMR)とを含む。本明細書で使用するとき、PEはまた、PEノードと呼ばれることもあり、DMRはまた、DMRノードと呼ばれることもある。
図30に例示するMPS10は、図示するように、PE間にDMRを散在させることにより、高速メモリへの十分な接続をPEに供給してよい。そのような配列は、分離した(すなわち、散在していない)配列に比べて所与のPEがDMR内のメモリにアクセスするために必要とされる時間を低減することがあり、本明細書では散在グリッド配列と呼ばれることがある。図30の実施形態では、PE対DMRの比はおおよそ1:1である。しかしながら、PE対DMRの異なる比を含んでよい、MPSの他の実施形態が企図される。
図31は、MPS接続方式の一実施形態を例示する構成図である。MPS接続方式20は、複数のDMRおよびPEを含み、図30のMPSの一部分を例証するものであってよい。MPS接続方式20では、各PEは、4つの隣接DMRに接続され、一方では、各DMRは、4つの隣接PEだけではなく4つの隣接DMRにも接続される。したがって、MPS接続方式20は、上記で論じたPlanarA接続方式を例証するものであってよい。
図32は、MPS機構の一実施形態を例示するより詳細な図である。図32では、各PEは、メモリリクエストおよびメッセージを伝達してよい4つのDMRにより取り囲まれている。各DMRは、チップI/Oポートに近接してよい、機構の縁部近くにある場所を除き、4つの他のDMRにより取り囲まれている。各DMRは、隣接するDMRまたはチップI/Oポートと通信して、通信経路をセットアップして、前記経路上でメッセージを送信/受信してよい。
図33は、図32のアーキテクチャ例と調和する9×9のDMRアレイ(円形)と共に均一に散在した8×8のPEアレイ(正方形)から構成される、ある例のMPSを例示する。PEに割り当てるタスクの中にプログラムをコンパイルしてよい。第1の例のプログラムを、タスクID=62でコンパイルして、アレイの左上隅にある特有のPEに割り当てた。変数(u,v,w)は、プログラム・ソース・コード内で宣言した通信変数であり、近接するDMR内の特有のメモリアドレスに割り当てられ、uおよびvは、I/Oポート用バッファであり、wは、タスクID=62の関連するDMRとのチップ上でのネットワーク通信用バッファである。第2の例のプログラムを、タスクID=71でコンパイルして、アレイの内部にある特有のPEに割り当てた。変数xは、宣言された通信変数であり、図示するDMRに割り当てられる。変数xに関連する通信経路は、タスクID=71の割り当てられたDMRから他のDMRを経由して最上部の行にあるI/Oポートまで伸びている。図示するように、2つの例のプログラムは、互いに通信しないが、タスク71に別の通信変数を追加し、タスク71のDMRとタスク62に近接するDMR内の変数wとの間の経路を追加することにより、容易に通信するようにできる。
Claims (18)
- 出力画像を描画するための方法であって、
異なる第1の場所から各入力画像が得られる複数の前記入力画像を受信するステップと、
前記出力画像を描画するための、第2の場所を備えるビュー明細事項を受信するステップと、
前記複数の入力画像および前記ビュー明細事項に少なくとも一部は基づき前記出力画像を投影面に描画するステップであって、前記出力画像は、前記第2の場所から見たときの領域の画像を備え、前記第2の場所は、前記第1の場所の各々と異なり、前記複数の入力画像および前記ビュー明細事項に少なくとも一部は基づき前記出力画像を描画する前記ステップは、
前記出力画像の複数の画素ブロックごとに、
それぞれの前記画素ブロックの外周に沿った複数の画素と前記入力画像の1つまたは複数の各々の対応する複数の画素との間のマッピングを決定するステップを備えるステップと、
出力画像を表示装置上に表示するステップと
を備えるステップと、
表示装置上に前記出力画像を表示するステップと
を備え、
前記複数の入力画像および前記ビュー明細事項に少なくとも一部は基づき前記出力画像を描画する前記ステップは、
前記出力画像の複数の画素ブロックごとに、
前記1つまたは複数の入力画像ごとに、
前記入力画像の前記対応する画素の外周内部に配置された画素から前記出力画像内のそれぞれの画素への投影マッピングを遂行するステップ
をさらに備え、
前記投影マッピングは、それぞれの前記画素ブロックの前記外周に沿った前記複数の画素と前記1つまたは複数の入力画像の前記対応する複数の画素との間のマッピングに少なくとも一部は基づき、
前記複数の画素ブロックの各々のサイズは、前記投影マッピングにより導入される画像歪みの程度と、前記出力画像を描画する前記ステップに関連する計算資源とを均衡させるように選択され、
より小さな前記画素ブロックのサイズは、前記画像歪みの程度を低減し、一方で、所望の待ち時間で前記出力画像を描画するためにより多数の並列の計算資源を必要とする、
方法。 - 連続したそれぞれの前記複数の入力画像に基づき、リアル・タイム・ビデオを作り出すために前記表示装置上にリアルタイムで表示される連続した前記出力画像を反復して描画するステップ
をさらに備える、請求項1に記載の方法。 - 前記投影面を決定するステップ
をさらに備え、
前記複数の入力画像に少なくとも一部は基づき前記出力画像を描画する前記ステップは、前記投影面の上に前記複数の入力画像の画素をマッピングするステップと、前記出力画像の画素に前記投影面上の場所をマッピングするステップとを備える、
請求項1に記載の方法。 - 前記第1の場所を取り囲む部位に関係がある測距情報を決定するステップ
をさらに備え、前記投影面を決定する前記ステップは、前記測距情報に少なくとも一部は基づき遂行される、
請求項3に記載の方法。 - 前記第1の場所は、車両上の場所であり、
前記投影面は、前記車両を取り囲む水平部分、および前記水平部分を取り巻く垂直部分を備える、請求項3に記載の方法。 - 前記車両の現在の速度に少なくとも一部は基づき前記水平部分のサイズを決定するステップ
をさらに備え、
前記車両のより速い現在の速度は、前記車両のより遅い現在の速度よりも広い水平部分を決定する、
請求項5に記載の方法。 - 前記投影面の前記水平部分は、前記車両を取り囲む楕円状ディスクを備え、
前記投影面の前記垂直部分は、前記楕円状ディスクを取り巻く楕円状円筒を備え、
前記投影面は、前記楕円状ディスクおよび前記楕円状円筒を滑らかに連結する中間領域をさらに備える、
請求項5に記載の方法。 - 前記楕円状ディスクの長軸は、前記車両の前方から前記車両の後方に伸び、
前記楕円状ディスクの短軸は、前記車両の左側から前記車両の右側に伸びる、
請求項7に記載の方法。 - 前記第1の場所を取り囲む環境の幾何学的配置を決定するステップ
をさらに備え、
前記投影面は、前記第1の場所を取り囲む前記環境を近似するB-スプライン表面を備える、
請求項1に記載の方法。 - 前記それぞれの画素ブロックの前記外周に沿った前記複数の画素は、前記それぞれの画素ブロックの4隅の画素を備える、請求項1に記載の方法。
- 1つまたは複数の第2のビュー明細事項を指定するユーザ入力を受信するステップと、
前記1つまたは複数の第2のビュー明細事項および前記複数の入力画像に少なくとも一部は基づき1つまたは複数の第2の出力画像を描画するステップと、
前記表示装置上に前記1つまたは複数の第2の出力画像を表示するステップと
をさらに備える、請求項1に記載の方法。 - 前記出力画像の少なくとも1つの部分は、前記複数の入力画像のうち2つ以上の入力画像から供給され、
前記出力画像の前記少なくとも1つの部分を描画する前記ステップは、前記複数の入力画像のうち前記2つ以上の入力画像からの寄与を融合するステップを備える、請求項1に記載の方法。 - 融合する前記ステップは、前記出力画像の前記少なくとも1つの部分の投影場所に前記2つ以上の入力画像の前記第1の場所が近いことに少なくとも一部は基づき重み付けされる、請求項12に記載の方法。
- 前記融合するステップは、前記2つ以上の入力画像の間にある照明の不一致を補正する、請求項12に記載の方法。
- 前記ビュー明細事項は、
前記第2の場所にある原点から測定した方位角、
前記第2の場所にある前記原点から測定した極角、
視界、
投影面深度、
1つまたは複数の投影面パラメータ、
画素解像度、および
融合幅
のうち1つまたは複数をさらに備える、請求項1に記載の方法。 - 非一時的コンピュータ可読記憶媒体であって、1つまたは複数のプロセッサにより実行されたとき、コンピューティングシステムに、
異なる第1の場所から各入力画像が得られる複数の前記入力画像を受信するステップと、
出力画像を描画するための、第2の場所を備えるビュー明細事項を受信するステップと、
投影面を決定するステップと、
前記複数の入力画像、前記ビュー明細事項、および前記投影面に少なくとも一部は基づき出力画像を描画するステップと
を実行させるプログラム命令を備え、
前記出力画像は、前記第2の場所から見たときの領域の画像を備え、前記第2の場所は、前記第1の場所の各々と異なり、前記複数の入力画像および前記ビュー明細事項に少なくとも一部は基づき前記出力画像を描画する前記ステップは、
前記出力画像の複数の画素ブロックごとに、
それぞれの前記画素ブロックの外周に沿った複数の画素と前記入力画像の1つまたは複数の各々の対応する複数の画素との間のマッピングを決定するステップ
を備え、
前記複数の入力画像および前記ビュー明細事項に少なくとも一部は基づき前記出力画像を描画する前記ステップは、
前記出力画像の複数の画素ブロックごとに、
前記1つまたは複数の入力画像ごとに、
前記入力画像の前記対応する画素の外周内部に配置された画素から前記出力画像内のそれぞれの画素への投影マッピングを遂行するステップ
をさらに備え、
前記投影マッピングは、前記それぞれの画素ブロックの前記外周に沿った前記複数の画素と前記1つまたは複数の入力画像の前記対応する複数の画素との間のマッピングに少なくとも一部は基づき、
前記複数の画素ブロックの各々のサイズは、前記投影マッピングにより導入される画像歪みの程度と、前記出力画像を描画する前記ステップに関連する計算資源とを均衡させるように選択され、
より小さな前記画素ブロックのサイズは、前記画像歪みの程度を低減し、一方で、所望の待ち時間で前記出力画像を描画するためにより多数の並列の計算資源を必要とする、
非一時的コンピュータ可読記憶媒体。 - 前記プログラム命令は、前記1つまたは複数のプロセッサにより前記コンピューティングシステムに、
前記第1の場所を取り囲む環境の幾何学的配置を決定するステップを実行させる
ようにさらに実行可能であり、
前記投影面は、前記第1の場所を取り囲む前記環境を近似するB-スプライン表面を備える、
請求項16に記載の非一時的コンピュータ可読記憶媒体。 - コンピューティングシステムであって、
1つまたは複数のメモリと、
前記1つまたは複数のメモリに結合した1つまたは複数のプロセッサと
を備え、
前記1つまたは複数のメモリは、前記1つまたは複数のプロセッサにより実行されたとき、前記コンピューティングシステムに、
異なる第1の場所から各入力画像が得られる複数の前記入力画像を受信するステップと、
出力画像を描画するための、第2の場所を備えるビュー明細事項を受信するステップと、
前記複数の入力画像および前記ビュー明細事項に少なくとも一部は基づき前記出力画像を描画するステップと
を実行させるプログラム命令を記憶し、
前記出力画像は、前記第2の場所から見たときの領域の画像を備え、前記第2の場所は、前記第1の場所の各々と異なり、
前記出力画像を描画するために、前記コンピューティングシステムは、前記出力画像の複数の画素ブロックごとに、
それぞれの前記画素ブロックの外周に沿った複数の画素と前記入力画像の1つまたは複数の各々の対応する複数の画素との間のマッピングを決定し、
前記1つまたは複数の入力画像ごとに、
前記入力画像の前記対応する画素の外周内部に配置された画素から前記出力画像内のそれぞれの画素への投影マッピングを遂行する
ように構成され、
前記投影マッピングは、それぞれの前記画素ブロックの前記外周に沿った前記複数の画素と前記1つまたは複数の入力画像の前記対応する複数の画素との間のマッピングに少なくとも一部は基づき、
前記複数の画素ブロックの各々のサイズは、前記投影マッピングにより導入される画像歪みの程度と、前記出力画像を描画する前記ステップに関連する計算資源とを均衡させるように選択され、
より小さな前記画素ブロックのサイズは、前記画像歪みの程度を低減し、一方で、所望の待ち時間で前記出力画像を描画するためにより多数の並列の計算資源を必要とする、
コンピューティングシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862737050P | 2018-09-26 | 2018-09-26 | |
US62/737,050 | 2018-09-26 | ||
PCT/US2019/052926 WO2020068960A1 (en) | 2018-09-26 | 2019-09-25 | Any world view generation |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021535464A JP2021535464A (ja) | 2021-12-16 |
JP7208356B2 true JP7208356B2 (ja) | 2023-01-18 |
Family
ID=68172275
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021506937A Active JP7208356B2 (ja) | 2018-09-26 | 2019-09-25 | 任意の世界ビューの生成 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11544895B2 (ja) |
EP (1) | EP3776485B1 (ja) |
JP (1) | JP7208356B2 (ja) |
CN (1) | CN112930557A (ja) |
TW (1) | TWI805848B (ja) |
WO (1) | WO2020068960A1 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018147329A1 (ja) * | 2017-02-10 | 2018-08-16 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 自由視点映像生成方法及び自由視点映像生成システム |
DE102018102047A1 (de) * | 2018-01-30 | 2019-08-01 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum Darstellen eines Umgebungsbereichs eines Kraftfahrzeugs mit virtuellen, länglichen Abstandsmarkierungen in einem Bild, Computerprogrammprodukt, sowie Anzeigesystem |
US11288842B2 (en) | 2019-02-15 | 2022-03-29 | Interaptix Inc. | Method and system for re-projecting and combining sensor data for visualization |
KR102653252B1 (ko) * | 2019-02-21 | 2024-04-01 | 삼성전자 주식회사 | 외부 객체의 정보에 기반하여 시각화된 인공 지능 서비스를 제공하는 전자 장치 및 전자 장치의 동작 방법 |
US11341607B2 (en) * | 2019-06-07 | 2022-05-24 | Texas Instruments Incorporated | Enhanced rendering of surround view images |
WO2021199283A1 (ja) * | 2020-03-31 | 2021-10-07 | 富士通株式会社 | 画像処理制御装置、画像処理制御プログラム、及び画像処理制御方法 |
US11263729B2 (en) * | 2020-05-26 | 2022-03-01 | Microsoft Technology Licensing, Llc | Reprojection and wobulation at head-mounted display device |
TWI740623B (zh) * | 2020-08-26 | 2021-09-21 | 財團法人資訊工業策進會 | 視訊整合裝置、方法及其電腦程式產品 |
TWI772968B (zh) * | 2020-11-17 | 2022-08-01 | 佐臻股份有限公司 | 具深度或影像監視系統的架設方法 |
US11593996B2 (en) | 2021-02-09 | 2023-02-28 | Waymo Llc | Synthesizing three-dimensional visualizations from perspectives of onboard sensors of autonomous vehicles |
US20220320042A1 (en) * | 2021-03-30 | 2022-10-06 | Advanced Micro Devices, Inc. | Die stacking for modular parallel processors |
DE102021112646A1 (de) | 2021-05-17 | 2022-11-17 | Connaught Electronics Ltd. | Erzeugen eines zusammengefügten bildes aus kameradaten |
TWI762353B (zh) * | 2021-06-09 | 2022-04-21 | 信驊科技股份有限公司 | 以縮放調整及接縫拼接來產生投影影像的方法 |
CN113115037B (zh) * | 2021-06-15 | 2021-09-14 | 深圳市中鹏教育科技股份有限公司 | 一种在线教育方法、***、设备及存储介质 |
FR3128530B1 (fr) * | 2021-10-21 | 2024-02-23 | Continental Automotive Gmbh | Procédé de calibrage géométrique extrinsèque pour un système d’acquisition de données tridimensionnelles |
US11812153B2 (en) * | 2022-03-07 | 2023-11-07 | Volvo Car Corporation | Systems and methods for fisheye camera calibration and bird's-eye-view image generation in a simulation environment |
DE102022206782A1 (de) | 2022-07-04 | 2024-01-04 | Continental Autonomous Mobility Germany GmbH | Verfahren zum Erzeugen einer Ansicht mit einem Kamerasystem sowie Kamerasystem |
TWI814680B (zh) * | 2023-02-14 | 2023-09-01 | 國立中正大學 | 三維影像處理之校正方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012227913A (ja) | 2011-04-14 | 2012-11-15 | Harman Becker Automotive Systems Gmbh | 車両のサラウンドビューシステム |
US20140278065A1 (en) | 2013-03-14 | 2014-09-18 | Robert Bosch Gmbh | System and Method for Distortion Correction in Three-Dimensional Environment Visualization |
JP2017068826A (ja) | 2015-09-30 | 2017-04-06 | アイシン精機株式会社 | 車両用画像処理装置 |
US20170195564A1 (en) | 2016-01-06 | 2017-07-06 | Texas Instruments Incorporated | Three Dimensional Rendering for Surround View Using Predetermined Viewpoint Lookup Tables |
WO2018102990A1 (en) | 2016-12-06 | 2018-06-14 | SZ DJI Technology Co., Ltd. | System and method for rectifying a wide-angle image |
Family Cites Families (225)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1994018799A1 (en) * | 1993-02-03 | 1994-08-18 | Qualcomm Incorporated | Interframe video encoding and decoding system |
US6498620B2 (en) * | 1993-02-26 | 2002-12-24 | Donnelly Corporation | Vision system for a vehicle including an image capture device and a display system having a long focal length |
DE19855885A1 (de) * | 1997-12-04 | 1999-08-05 | Fuji Photo Film Co Ltd | Bildverarbeitungsverfahren und -vorrichtung |
US6266442B1 (en) * | 1998-10-23 | 2001-07-24 | Facet Technology Corp. | Method and apparatus for identifying objects depicted in a videostream |
US6559853B1 (en) * | 2000-02-16 | 2003-05-06 | Enroute, Inc. | Environment map creation using texture projections with polygonal curved surfaces |
US7259760B1 (en) * | 2000-02-16 | 2007-08-21 | Be Here Corporation | Polygonal curvature mapping to increase texture efficiency |
US6756990B2 (en) * | 2001-04-03 | 2004-06-29 | Be Here Corporation | Image filtering on 3D objects using 2D manifolds |
KR100866450B1 (ko) * | 2001-10-15 | 2008-10-31 | 파나소닉 주식회사 | 차량 주위 감시 장치 및 그 조정 방법 |
JP3871614B2 (ja) * | 2002-06-12 | 2007-01-24 | 松下電器産業株式会社 | 運転支援装置 |
JP2005149409A (ja) * | 2003-11-19 | 2005-06-09 | Canon Inc | 画像再生方法及び装置 |
US7561966B2 (en) * | 2003-12-17 | 2009-07-14 | Denso Corporation | Vehicle information display system |
US7561751B2 (en) * | 2004-11-02 | 2009-07-14 | Panasonic Corporation | Image processing method |
US7751641B2 (en) * | 2005-04-28 | 2010-07-06 | Imagenomic, Llc | Method and system for digital image enhancement |
US20070030452A1 (en) * | 2005-08-08 | 2007-02-08 | N-Lighten Technologies | Image adaptation system and method |
JP4859652B2 (ja) * | 2006-12-15 | 2012-01-25 | アルパイン株式会社 | 画像表示装置 |
US20090087115A1 (en) * | 2007-10-02 | 2009-04-02 | Ping Wah Wong | Correction for geometric distortion in images in pipelined hardware |
JP2009100342A (ja) * | 2007-10-18 | 2009-05-07 | Sanyo Electric Co Ltd | カメラ校正装置及び方法、並びに、車両 |
JP4919978B2 (ja) * | 2008-01-26 | 2012-04-18 | 三洋電機株式会社 | 歪補正装置 |
US8063918B2 (en) * | 2008-05-28 | 2011-11-22 | Adobe Systems Incorporated | Method and apparatus for rendering images with and without radially symmetric distortions |
EP2285109B1 (en) * | 2008-05-29 | 2018-11-28 | Fujitsu Limited | Vehicle image processor, and vehicle image processing system |
JP5182042B2 (ja) * | 2008-11-28 | 2013-04-10 | 富士通株式会社 | 画像処理装置、画像処理方法及びコンピュータプログラム |
US8265422B1 (en) * | 2009-02-20 | 2012-09-11 | Adobe Systems Incorporated | Method and apparatus for removing general lens distortion from images |
US8446433B1 (en) * | 2009-06-12 | 2013-05-21 | Lucasfilm Entertainment Company Ltd. | Interactive visual distortion processing |
US8502860B2 (en) * | 2009-09-29 | 2013-08-06 | Toyota Motor Engineering & Manufacturing North America (Tema) | Electronic control system, electronic control unit and associated methodology of adapting 3D panoramic views of vehicle surroundings by predicting driver intent |
JP5593060B2 (ja) * | 2009-11-26 | 2014-09-17 | 株式会社メガチップス | 画像処理装置、および画像処理装置の動作方法 |
JP2011131678A (ja) * | 2009-12-24 | 2011-07-07 | Fujitsu Ten Ltd | 画像処理装置、画像処理システム、および、画像処理方法 |
TWI417639B (zh) * | 2009-12-30 | 2013-12-01 | Ind Tech Res Inst | 全周鳥瞰影像無縫接合方法與系統 |
TWI392366B (zh) * | 2009-12-31 | 2013-04-01 | Ind Tech Res Inst | 全周鳥瞰影像距離介面產生方法與系統 |
JP5479956B2 (ja) * | 2010-03-10 | 2014-04-23 | クラリオン株式会社 | 車両用周囲監視装置 |
JP5604146B2 (ja) * | 2010-03-25 | 2014-10-08 | 富士通テン株式会社 | 車載照明装置、画像処理装置、画像表示システム及び照明方法 |
JP5135380B2 (ja) * | 2010-04-12 | 2013-02-06 | 住友重機械工業株式会社 | 処理対象画像生成装置、処理対象画像生成方法、及び操作支援システム |
JP5550970B2 (ja) * | 2010-04-12 | 2014-07-16 | 住友重機械工業株式会社 | 画像生成装置及び操作支援システム |
TWI423659B (zh) * | 2010-11-09 | 2014-01-11 | Avisonic Technology Corp | 影像校正方法與相關影像校正系統 |
US9900522B2 (en) * | 2010-12-01 | 2018-02-20 | Magna Electronics Inc. | System and method of establishing a multi-camera image using pixel remapping |
US8447134B1 (en) * | 2010-12-20 | 2013-05-21 | Ambarella, Inc. | Image warp caching |
US8723959B2 (en) * | 2011-03-31 | 2014-05-13 | DigitalOptics Corporation Europe Limited | Face and other object tracking in off-center peripheral regions for nonlinear lens geometries |
WO2012145822A1 (en) * | 2011-04-25 | 2012-11-01 | Magna International Inc. | Method and system for dynamically calibrating vehicular cameras |
WO2012145818A1 (en) * | 2011-04-25 | 2012-11-01 | Magna International Inc. | Method and system for dynamically calibrating vehicular cameras |
EP2530647A1 (en) * | 2011-06-01 | 2012-12-05 | Harman Becker Automotive Systems GmbH | Method of calibrating a vehicle vision system and vehicle vision system |
CN103609100B (zh) * | 2011-06-09 | 2017-09-29 | 爱信精机株式会社 | 图像生成装置 |
KR101265667B1 (ko) * | 2011-06-21 | 2013-05-22 | ㈜베이다스 | 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법 |
US10793067B2 (en) * | 2011-07-26 | 2020-10-06 | Magna Electronics Inc. | Imaging system for vehicle |
JP5668857B2 (ja) * | 2011-07-29 | 2015-02-12 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
EP2554434B1 (en) * | 2011-08-05 | 2014-05-21 | Harman Becker Automotive Systems GmbH | Vehicle surround view system |
TWI478833B (zh) * | 2011-08-31 | 2015-04-01 | Autoequips Tech Co Ltd | 調校車用影像裝置之方法及其系統 |
DE102011084554A1 (de) * | 2011-10-14 | 2013-04-18 | Robert Bosch Gmbh | Verfahren zur Darstellung eines Fahrzeugumfeldes |
US9491451B2 (en) * | 2011-11-15 | 2016-11-08 | Magna Electronics Inc. | Calibration system and method for vehicular surround vision system |
KR101265711B1 (ko) * | 2011-11-30 | 2013-05-20 | 주식회사 이미지넥스트 | 3d 차량 주변 영상 생성 방법 및 장치 |
US9762880B2 (en) * | 2011-12-09 | 2017-09-12 | Magna Electronics Inc. | Vehicle vision system with customized display |
GB2499635B (en) * | 2012-02-23 | 2014-05-14 | Canon Kk | Image processing for projection on a projection screen |
JP5893445B2 (ja) * | 2012-03-07 | 2016-03-23 | 株式会社メガチップス | 画像処理装置、および画像処理装置の動作方法 |
JP6029306B2 (ja) * | 2012-03-29 | 2016-11-24 | 住友建機株式会社 | 作業機械用周辺監視装置 |
US9256961B2 (en) * | 2012-06-28 | 2016-02-09 | Here Global B.V. | Alternate viewpoint image enhancement |
JP5911775B2 (ja) * | 2012-08-21 | 2016-04-27 | 富士通テン株式会社 | 画像生成装置、画像表示システム及び画像生成方法 |
US20140067333A1 (en) * | 2012-09-04 | 2014-03-06 | Belcan Corporation | CAD-Based System for Product Definition, Inspection and Validation |
JP6014442B2 (ja) * | 2012-09-27 | 2016-10-25 | 富士通テン株式会社 | 画像生成装置、画像表示システム、および、画像生成方法 |
US20140114534A1 (en) * | 2012-10-19 | 2014-04-24 | GM Global Technology Operations LLC | Dynamic rearview mirror display features |
US9445011B2 (en) * | 2012-10-22 | 2016-09-13 | GM Global Technology Operations LLC | Dynamic rearview mirror adaptive dimming overlay through scene brightness estimation |
JP6136190B2 (ja) * | 2012-10-23 | 2017-05-31 | 株式会社ソシオネクスト | 画像処理装置、撮像装置 |
JP6079131B2 (ja) * | 2012-10-25 | 2017-02-15 | 富士通株式会社 | 画像処理装置、方法、及びプログラム |
WO2014100985A1 (en) * | 2012-12-26 | 2014-07-03 | Harman International Industries, Incorporated | Method and system for generating a surround view |
TWI517094B (zh) * | 2013-01-10 | 2016-01-11 | 瑞昱半導體股份有限公司 | 影像校正方法及影像校正電路 |
US9922356B1 (en) * | 2013-01-22 | 2018-03-20 | Carvana, LLC | Methods and systems for online transactions |
US10179543B2 (en) * | 2013-02-27 | 2019-01-15 | Magna Electronics Inc. | Multi-camera dynamic top view vision system |
JP6302624B2 (ja) * | 2013-04-24 | 2018-03-28 | 住友重機械工業株式会社 | 画像生成装置 |
TWI552897B (zh) * | 2013-05-17 | 2016-10-11 | 財團法人工業技術研究院 | 影像動態融合方法與裝置 |
TWI530157B (zh) * | 2013-06-18 | 2016-04-11 | 財團法人資訊工業策進會 | 多視角影像之顯示系統、方法及其非揮發性電腦可讀取紀錄媒體 |
KR102068992B1 (ko) * | 2013-06-20 | 2020-01-22 | 삼성전자 주식회사 | 렌즈 캘리브레이션 방법 및 영상 복원 방법 |
JP6036601B2 (ja) * | 2013-08-09 | 2016-11-30 | 株式会社デンソー | 画像処理装置及び画像処理方法 |
EP2851870B1 (en) * | 2013-09-20 | 2019-01-23 | Application Solutions (Electronics and Vision) Limited | Method for estimating ego motion of an object |
JP6347934B2 (ja) * | 2013-10-11 | 2018-06-27 | 株式会社デンソーテン | 画像表示装置、画像表示システム、画像表示方法、及び、プログラム |
US20150187224A1 (en) * | 2013-10-15 | 2015-07-02 | Mbfarr, Llc | Driving assessment and training method and apparatus |
US20150104757A1 (en) * | 2013-10-15 | 2015-04-16 | Mbfarr, Llc | Driving assessment and training method and apparatus |
TWI528325B (zh) * | 2013-10-18 | 2016-04-01 | 財團法人資訊工業策進會 | 影像處理方法及應用影像處理方法之系統 |
US20150131924A1 (en) * | 2013-11-13 | 2015-05-14 | Microsoft Corporation | Creation of Rectangular Images from Input Images |
KR101811157B1 (ko) * | 2013-12-19 | 2018-01-25 | 인텔 코포레이션 | 사발형 영상 시스템 |
JP6010870B2 (ja) * | 2013-12-24 | 2016-10-19 | カシオ計算機株式会社 | 画像補正装置、及び画像補正方法、プログラム |
US9978146B2 (en) * | 2014-01-27 | 2018-05-22 | Xylon d.o.o. | Data-processing system and method for calibration of a vehicle surround view system |
DE102014204303A1 (de) * | 2014-03-10 | 2015-09-10 | Robert Bosch Gmbh | Verfahren zum Zusammenfügen von Einzelbildern, die von einem Kamerasystem aus unterschiedlichen Positionen aufgenommen wurden, zu einem gemeinsamen Bild |
JP6330383B2 (ja) * | 2014-03-12 | 2018-05-30 | 株式会社デンソー | 合成画像生成装置、および合成画像生成プログラム |
DE102014208664A1 (de) * | 2014-05-08 | 2015-11-12 | Conti Temic Microelectronic Gmbh | Verfahren und vorrichtung zum verzerrungsfreien anzeigen einer fahrzeugumgebung eines fahrzeuges |
US9619894B2 (en) * | 2014-05-16 | 2017-04-11 | GM Global Technology Operations LLC | System and method for estimating vehicle dynamics using feature points in images from multiple cameras |
US9672593B2 (en) * | 2014-06-25 | 2017-06-06 | International Business Machines Corporation | Lens distortion correction using a neurosynaptic system |
US20180182261A1 (en) * | 2014-07-02 | 2018-06-28 | Iotmotive Ltd. | Real Time Car Driving Simulator |
US10442355B2 (en) * | 2014-09-17 | 2019-10-15 | Intel Corporation | Object visualization in bowl-shaped imaging systems |
US9437001B2 (en) * | 2014-09-18 | 2016-09-06 | Intel Corporation | Tracking objects in bowl-shaped imaging systems |
US10008027B1 (en) * | 2014-10-20 | 2018-06-26 | Henry Harlyn Baker | Techniques for determining a three-dimensional representation of a surface of an object from a set of images |
US10127463B2 (en) * | 2014-11-21 | 2018-11-13 | Magna Electronics Inc. | Vehicle vision system with multiple cameras |
DE102014117888A1 (de) * | 2014-12-04 | 2016-10-13 | Connaught Electronics Ltd. | Online-Kalibrierung eines Kraftfahrzeug-Kamerasystems |
US10255665B2 (en) * | 2014-12-04 | 2019-04-09 | Mitsubishi Electric Corporation | Image processing device and method, image capturing device, program, and record medium |
US9818201B2 (en) * | 2014-12-22 | 2017-11-14 | Lucasfilm Entertainment Company Ltd. | Efficient lens re-distortion |
US10284794B1 (en) * | 2015-01-07 | 2019-05-07 | Car360 Inc. | Three-dimensional stabilized 360-degree composite image capture |
JP6548900B2 (ja) * | 2015-01-20 | 2019-07-24 | 株式会社デンソーテン | 画像生成装置、画像生成方法及びプログラム |
EP3057061B1 (en) * | 2015-02-16 | 2017-08-30 | Application Solutions (Electronics and Vision) Limited | Method and device for the estimation of car egomotion from surround view images |
US10652466B2 (en) * | 2015-02-16 | 2020-05-12 | Applications Solutions (Electronic and Vision) Ltd | Method and device for stabilization of a surround view image |
US9582881B2 (en) * | 2015-03-18 | 2017-02-28 | Intel Corporation | Machine vision image sensor calibration |
US10013761B2 (en) * | 2015-03-24 | 2018-07-03 | Intel Corporation | Automatic orientation estimation of camera system relative to vehicle |
DE102015205507B3 (de) * | 2015-03-26 | 2016-09-29 | Zf Friedrichshafen Ag | Rundsichtsystem für ein Fahrzeug |
US20160301864A1 (en) * | 2015-04-10 | 2016-10-13 | Caterpillar Inc. | Imaging processing system for generating a surround-view image |
US10089538B2 (en) * | 2015-04-10 | 2018-10-02 | Bendix Commercial Vehicle Systems Llc | Vehicle 360° surround view system having corner placed cameras, and system and method for calibration thereof |
US20160301863A1 (en) * | 2015-04-10 | 2016-10-13 | Caterpillar Inc. | Image processing system for generating a surround-view image |
EP3086284A1 (en) * | 2015-04-23 | 2016-10-26 | Application Solutions (Electronics and Vision) Limited | Camera extrinsic parameters estimation from image lines |
US20160321940A1 (en) * | 2015-04-29 | 2016-11-03 | Ivan Banga | Driver Education and Training System and Method for Training Drivers in Simulated Emergencies |
KR101750876B1 (ko) * | 2015-05-28 | 2017-06-26 | 엘지전자 주식회사 | 차량용 디스플레이 장치 및 차량 |
US9866752B2 (en) * | 2015-06-02 | 2018-01-09 | Qualcomm Incorporated | Systems and methods for producing a combined view from fisheye cameras |
EP3308361B1 (de) * | 2015-06-11 | 2024-04-10 | Continental Autonomous Mobility Germany GmbH | Verfahren zur erzeugung eines virtuellen bildes einer fahrzeugumgebung |
US10040394B2 (en) * | 2015-06-17 | 2018-08-07 | Geo Semiconductor Inc. | Vehicle vision system |
US20160379381A1 (en) * | 2015-06-23 | 2016-12-29 | Freescale Semiconductor, Inc. | Apparatus and method for verifying the origin of texture map in graphics pipeline processing |
DE102015112289A1 (de) * | 2015-07-28 | 2017-02-02 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Identifizieren eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug |
US10015499B1 (en) * | 2015-07-30 | 2018-07-03 | Teradici Corporation | Method and apparatus for layered wavelet image compression |
EP3142066B1 (en) * | 2015-09-10 | 2024-06-12 | KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH | Image synthesizer for a surround monitoring system |
US10262466B2 (en) * | 2015-10-14 | 2019-04-16 | Qualcomm Incorporated | Systems and methods for adjusting a combined image visualization based on depth information |
US11332061B2 (en) * | 2015-10-26 | 2022-05-17 | Atnomity Ltd. | Unmanned carrier for carrying urban manned vehicles |
TWI607901B (zh) * | 2015-11-06 | 2017-12-11 | 財團法人工業技術研究院 | 影像修補系統及其方法 |
US20170132476A1 (en) * | 2015-11-08 | 2017-05-11 | Otobrite Electronics Inc. | Vehicle Imaging System |
US9955186B2 (en) * | 2016-01-11 | 2018-04-24 | Qualcomm Incorporated | Block size decision for video coding |
JP6780661B2 (ja) * | 2016-01-15 | 2020-11-04 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに画像処理システム |
EP3416377B1 (en) * | 2016-02-08 | 2021-06-16 | Ricoh Company, Ltd. | Image display apparatus and image display method |
DE102016104732A1 (de) * | 2016-03-15 | 2017-09-21 | Connaught Electronics Ltd. | Verfahren zur Bewegungsabschätzung zwischen zwei Bildern eines Umgebungsbereichs eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug |
US10922559B2 (en) * | 2016-03-25 | 2021-02-16 | Bendix Commercial Vehicle Systems Llc | Automatic surround view homography matrix adjustment, and system and method for calibration thereof |
US20170297488A1 (en) * | 2016-04-19 | 2017-10-19 | GM Global Technology Operations LLC | Surround view camera system for object detection and tracking |
US10434877B2 (en) * | 2016-05-05 | 2019-10-08 | Via Technologies, Inc. | Driver-assistance method and a driver-assistance apparatus |
JP6723820B2 (ja) * | 2016-05-18 | 2020-07-15 | 株式会社デンソーテン | 画像生成装置、画像表示システムおよび画像表示方法 |
US10699389B2 (en) * | 2016-05-24 | 2020-06-30 | Qualcomm Incorporated | Fisheye rendering with lens distortion correction for 360-degree video |
JP6868805B2 (ja) * | 2016-06-07 | 2021-05-12 | パナソニックIpマネジメント株式会社 | 画像生成装置、画像生成方法、およびプログラム |
JP2018050119A (ja) * | 2016-09-20 | 2018-03-29 | 国立大学法人 東京大学 | 作業車両の表示システム |
US10643391B2 (en) * | 2016-09-23 | 2020-05-05 | Apple Inc. | Immersive virtual display |
US10037598B2 (en) * | 2016-11-29 | 2018-07-31 | Intel Corporation | Multi-block memory reads for image de-warping |
CN106767706B (zh) * | 2016-12-09 | 2019-05-14 | 中山大学 | 一种无人机勘查交通事故现场的航拍图像采集方法及*** |
DE102016225066A1 (de) * | 2016-12-15 | 2018-06-21 | Conti Temic Microelectronic Gmbh | Rundumsichtsystem für ein Fahrzeug |
EP3565260A1 (en) * | 2016-12-28 | 2019-11-06 | Sony Corporation | Generation device, identification information generation method, reproduction device, and image generation method |
US10911745B2 (en) * | 2016-12-28 | 2021-02-02 | Texas Instruments Incorporated | Calibration of a surround view camera system |
US10194097B2 (en) * | 2017-01-13 | 2019-01-29 | Gopro, Inc. | Apparatus and methods for the storage of overlapping regions of imaging data for the generation of optimized stitched images |
US20180210442A1 (en) * | 2017-01-23 | 2018-07-26 | Qualcomm Incorporated | Systems and methods for controlling a vehicle using a mobile device |
US11298062B2 (en) * | 2017-02-01 | 2022-04-12 | Conflu3Nce Ltd | Multi-purpose interactive cognitive platform |
US20180232866A1 (en) * | 2017-02-10 | 2018-08-16 | Gentex Corporation | Vehicle display comprising projection system |
GB2559760B (en) * | 2017-02-16 | 2019-08-28 | Jaguar Land Rover Ltd | Apparatus and method for displaying information |
GB2559758B (en) * | 2017-02-16 | 2021-10-27 | Jaguar Land Rover Ltd | Apparatus and method for displaying information |
GB2559759B (en) * | 2017-02-16 | 2020-07-29 | Jaguar Land Rover Ltd | Apparatus and method for displaying information |
CN110520903B (zh) * | 2017-03-28 | 2023-11-28 | 三星电子株式会社 | 基于用户移动信息显示图像的方法和装置 |
US10223766B2 (en) * | 2017-03-31 | 2019-03-05 | Apical Ltd. | Image processing including geometric distortion adjustment |
EP3392801A1 (en) * | 2017-04-21 | 2018-10-24 | Harman International Industries, Incorporated | Systems and methods for driver assistance |
US10740972B2 (en) * | 2017-04-28 | 2020-08-11 | Harman International Industries, Incorporated | System and method for presentation and control of augmented vehicle surround views |
US11615566B2 (en) * | 2017-05-10 | 2023-03-28 | Fotonation Limited | Multi-camera vehicle vision system and method |
WO2018229549A2 (en) * | 2017-06-16 | 2018-12-20 | Nauto Global Limited | System and method for digital environment reconstruction |
US10523913B2 (en) * | 2017-06-30 | 2019-12-31 | Apple Inc. | Packed image format for multi-directional video |
JP7065383B2 (ja) * | 2017-06-30 | 2022-05-12 | パナソニックIpマネジメント株式会社 | 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体 |
US10357715B2 (en) * | 2017-07-07 | 2019-07-23 | Buxton Global Enterprises, Inc. | Racing simulation |
JP7039879B2 (ja) * | 2017-08-03 | 2022-03-23 | 株式会社アイシン | 表示制御装置 |
US10599161B2 (en) * | 2017-08-08 | 2020-03-24 | Skydio, Inc. | Image space motion planning of an autonomous vehicle |
GB201713052D0 (en) * | 2017-08-15 | 2017-09-27 | Imagination Tech Ltd | Single pass rendering for head mounted displays |
JP7091624B2 (ja) * | 2017-09-15 | 2022-06-28 | 株式会社アイシン | 画像処理装置 |
JP7080613B2 (ja) * | 2017-09-27 | 2022-06-06 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
US10621753B2 (en) * | 2017-09-29 | 2020-04-14 | Intel IP Corporation | Extrinsic calibration of camera systems |
US20190100147A1 (en) * | 2017-10-02 | 2019-04-04 | Hua-Chuang Automobile Information Technical Center Co., Ltd. | Parking assistant panoramic image system |
US10572982B2 (en) * | 2017-10-04 | 2020-02-25 | Intel Corporation | Method and system of image distortion correction for images captured by using a wide-angle lens |
DE102017123452A1 (de) * | 2017-10-10 | 2019-04-11 | Connaught Electronics Ltd. | Verfahren zum Erzeugen eines ein Kraftfahrzeug und einen Umgebungsbereich des Kraftfahrzeugs in einer vorbestimmten Zielansicht zeigenden Ausgangsbildes, Kamerasystem sowie Kraftfahrzeug |
US10560628B2 (en) * | 2017-10-30 | 2020-02-11 | Visual Supply Company | Elimination of distortion in 360-degree video playback |
JP6946963B2 (ja) * | 2017-11-17 | 2021-10-13 | 株式会社アイシン | 重畳画像表示装置及びコンピュータプログラム |
JP7106846B2 (ja) * | 2017-11-24 | 2022-07-27 | 株式会社アイシン | 周辺監視装置 |
DE102017222708A1 (de) * | 2017-12-14 | 2019-06-19 | Conti Temic Microelectronic Gmbh | 3D-Umfelderfassung mittels Projektor und Kameramodulen |
US10169678B1 (en) * | 2017-12-21 | 2019-01-01 | Luminar Technologies, Inc. | Object identification and labeling tool for training autonomous vehicle controllers |
JP2019125193A (ja) * | 2018-01-17 | 2019-07-25 | アイシン精機株式会社 | 周辺監視装置 |
US20200349367A1 (en) * | 2018-01-19 | 2020-11-05 | Sony Corporation | Image processing device, image processing method, and program |
US10726522B2 (en) * | 2018-01-24 | 2020-07-28 | Fotonation Limited | Method and system for correcting a distorted input image |
US10863154B2 (en) * | 2018-02-20 | 2020-12-08 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
US10935878B2 (en) * | 2018-02-20 | 2021-03-02 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and program |
US20190281273A1 (en) * | 2018-03-08 | 2019-09-12 | Mediatek Inc. | Adaptive loop filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection |
WO2019170154A1 (en) * | 2018-03-09 | 2019-09-12 | Mediatek Inc. | De-blocking method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection |
JP6857147B2 (ja) * | 2018-03-15 | 2021-04-14 | 株式会社日立製作所 | 三次元画像処理装置、及び三次元画像処理方法 |
JP2019156298A (ja) * | 2018-03-15 | 2019-09-19 | 株式会社デンソーテン | 車両遠隔操作装置及び車両遠隔操作方法 |
DE102019106738B4 (de) * | 2018-03-27 | 2021-11-04 | Panasonic Intellectual Property Management Co., Ltd. | Anzeigesystem, elektronisches Spiegelsystem, fahrendes Fahrzeug und Anzeigeverfahren |
CN108761777B (zh) * | 2018-03-30 | 2021-04-20 | 京东方科技集团股份有限公司 | 一种确定光学装置畸变量、畸变校正的方法及设备 |
US10854011B2 (en) * | 2018-04-09 | 2020-12-01 | Direct Current Capital LLC | Method for rendering 2D and 3D data within a 3D virtual environment |
DE102018108751B4 (de) * | 2018-04-12 | 2023-05-04 | Motherson Innovations Company Limited | Verfahren, System und Vorrichtung zum Erhalten von 3D-Information von Objekten |
EP3564917B1 (en) * | 2018-05-04 | 2020-07-01 | Axis AB | A method for detecting motion in a video sequence |
US20190349571A1 (en) * | 2018-05-11 | 2019-11-14 | Ford Global Technologies, Llc | Distortion correction for vehicle surround view camera projections |
GB2573792B (en) * | 2018-05-17 | 2022-11-09 | Denso Corp | Surround monitoring system for vehicles |
US20190378251A1 (en) * | 2018-06-07 | 2019-12-12 | Zeng Hsing Industrial Co., Ltd. | Image processing method |
US10683596B2 (en) * | 2018-06-07 | 2020-06-16 | Zeng Hsing Industrial Co., Ltd. | Method of generating an image that shows an embroidery area in an embroidery frame for computerized machine embroidery |
JP7026325B2 (ja) * | 2018-06-21 | 2022-02-28 | パナソニックIpマネジメント株式会社 | 映像表示システム、映像表示方法、プログラム、及び移動体 |
JP6987707B2 (ja) * | 2018-06-28 | 2022-01-05 | ルネサスエレクトロニクス株式会社 | 半導体装置、画像認識システム |
US10298910B1 (en) * | 2018-06-29 | 2019-05-21 | Zoox, Inc. | Infrastructure free intrinsic calibration |
US10829045B2 (en) * | 2018-07-11 | 2020-11-10 | Continental Automotive Systems, Inc. | System and method for calibrating a motion estimation algorithm using a vehicle camera |
JP7140580B2 (ja) * | 2018-07-13 | 2022-09-21 | マクセル株式会社 | ステレオ撮像装置 |
EP3599569A1 (en) * | 2018-07-24 | 2020-01-29 | Continental Automotive GmbH | Method and system for representation of vehicle surroundings with reduced artefacts |
DE102018214602B3 (de) * | 2018-08-29 | 2019-11-28 | Robert Bosch Gmbh | Verfahren zur Anzeige eines Modells einer Umgebung, Steuergerät und Fahrzeug |
US10901417B2 (en) * | 2018-08-31 | 2021-01-26 | Nissan North America, Inc. | Autonomous vehicle operational management with visual saliency perception control |
JP2020042417A (ja) * | 2018-09-07 | 2020-03-19 | アイシン精機株式会社 | 表示制御装置 |
JP7119798B2 (ja) * | 2018-09-07 | 2022-08-17 | 株式会社アイシン | 表示制御装置 |
JP7200572B2 (ja) * | 2018-09-27 | 2023-01-10 | 株式会社アイシン | 付着物検出装置 |
WO2020071703A1 (ko) * | 2018-10-01 | 2020-04-09 | 엘지전자 주식회사 | 포인트 클라우드 데이터 전송 장치, 포인트 클라우드 데이터 전송 방법, 포인트 클라우드 데이터 수신 장치 및/또는 포인트 클라우드 데이터 수신 방법 |
US11055541B2 (en) * | 2018-10-12 | 2021-07-06 | Volvo Car Corporation | Vehicle lane marking and other object detection using side fisheye cameras and three-fold de-warping |
JP7263731B2 (ja) * | 2018-10-26 | 2023-04-25 | 株式会社デンソー | 画像処理装置 |
WO2020092271A1 (en) * | 2018-10-29 | 2020-05-07 | Holosports Corporation | Racing helmet with visual and audible information exchange |
WO2020105499A1 (ja) * | 2018-11-20 | 2020-05-28 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
JP7283059B2 (ja) * | 2018-11-28 | 2023-05-30 | 株式会社アイシン | 周辺監視装置 |
US10969595B2 (en) * | 2018-11-30 | 2021-04-06 | International Business Machines Corporation | In-vehicle content display apparatus |
KR102559686B1 (ko) * | 2018-12-17 | 2023-07-27 | 현대자동차주식회사 | 차량 및 차량 영상 제어방법 |
TWI736052B (zh) * | 2018-12-21 | 2021-08-11 | 宏達國際電子股份有限公司 | 環境地圖建立方法以及其系統 |
US10896335B2 (en) * | 2019-01-07 | 2021-01-19 | Ford Global Technologies, Llc | Adaptive transparency of virtual vehicle in simulated imaging system |
BR102019000922A2 (pt) * | 2019-01-16 | 2020-10-13 | Samsung Eletrônica da Amazônia Ltda. | Método para comprimir dados de campo de luz usando transformadas de quatro dimensões de tamanho de bloco variável e decomposição por planos de bits |
JP7202903B2 (ja) * | 2019-01-23 | 2023-01-12 | 本田技研工業株式会社 | 表示システム、走行制御装置、表示制御方法およびプログラム |
US20200294194A1 (en) * | 2019-03-11 | 2020-09-17 | Nvidia Corporation | View synthesis using neural networks |
JP7261642B2 (ja) * | 2019-03-29 | 2023-04-20 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理方法、画像処理装置、およびヘッドマウントディスプレイ |
US11126001B2 (en) * | 2019-03-29 | 2021-09-21 | Sony Interactive Entertainment Inc. | Image generating apparatus, head-mounted display, content processing system and image displaying method |
US11059493B2 (en) * | 2019-04-10 | 2021-07-13 | Honda Motor Co., Ltd. | Systems and methods for estimating velocity of an autonomous vehicle and state information of a surrounding vehicle |
US10926715B1 (en) * | 2019-06-13 | 2021-02-23 | Vidal M. Soler | Vehicle camera system |
CN110264520B (zh) * | 2019-06-14 | 2021-06-08 | 北京百度网讯科技有限公司 | 车载传感器与车辆位姿关系标定方法、装置、设备和介质 |
US11104350B2 (en) * | 2019-06-28 | 2021-08-31 | GM Cruise Holdings, LLC | Wireless vehicle control of vehicle sensor calibration environment |
US11482008B2 (en) * | 2019-07-05 | 2022-10-25 | Nvidia Corporation | Directing board repositioning during sensor calibration for autonomous vehicles |
US11380046B2 (en) * | 2019-07-23 | 2022-07-05 | Texas Instruments Incorporated | Surround view |
US10909668B1 (en) * | 2019-07-31 | 2021-02-02 | Nxp Usa, Inc. | Adaptive sub-tiles for distortion correction in vision-based assistance systems and methods |
US20210042890A1 (en) * | 2019-08-05 | 2021-02-11 | Nxp Usa, Inc. | Adaptive Tiles for Geometric Correction |
US11140364B2 (en) * | 2019-09-09 | 2021-10-05 | Texas Instruments Incorporated | Sensor fusion based perceptually enhanced surround view |
US11669942B2 (en) * | 2019-09-20 | 2023-06-06 | Synaptics Incorporated | Image de-warping system |
US11244431B2 (en) * | 2019-10-18 | 2022-02-08 | Apical Limited | Image processing |
US11034298B2 (en) * | 2019-11-18 | 2021-06-15 | Continental Automotive Systems, Inc. | Vehicle surround view system for identifying unobservable regions while reversing a trailer |
US20210158493A1 (en) * | 2019-11-21 | 2021-05-27 | GM Global Technology Operations LLC | Generation of composite images using intermediate image surfaces |
US11856205B2 (en) * | 2019-11-22 | 2023-12-26 | Intel Corporation | Subjective visual quality enhancement for high spatial and temporal complexity video encode |
US11295540B2 (en) * | 2020-03-30 | 2022-04-05 | GM Cruise Holdings, LLC | Combined sensor calibration target for calibrating multiple types of sensors, including infrared cameras and visible light cameras |
US11453348B2 (en) * | 2020-04-14 | 2022-09-27 | Gm Cruise Holdings Llc | Polyhedral sensor calibration target for calibrating multiple types of sensors |
US11257231B2 (en) * | 2020-06-17 | 2022-02-22 | Toyota Research Institute, Inc. | Camera agnostic depth network |
US11443411B2 (en) * | 2020-07-08 | 2022-09-13 | Nxp Usa, Inc. | Method and system for image distortion correction using quarter and tangential lookup tables |
CN112634414B (zh) * | 2020-12-24 | 2023-09-05 | 北京百度网讯科技有限公司 | 地图显示方法及装置 |
-
2019
- 2019-09-25 CN CN201980055215.4A patent/CN112930557A/zh active Pending
- 2019-09-25 JP JP2021506937A patent/JP7208356B2/ja active Active
- 2019-09-25 US US16/582,325 patent/US11544895B2/en active Active
- 2019-09-25 EP EP19784182.8A patent/EP3776485B1/en active Active
- 2019-09-25 WO PCT/US2019/052926 patent/WO2020068960A1/en active Search and Examination
- 2019-09-26 TW TW108134959A patent/TWI805848B/zh active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012227913A (ja) | 2011-04-14 | 2012-11-15 | Harman Becker Automotive Systems Gmbh | 車両のサラウンドビューシステム |
US20140278065A1 (en) | 2013-03-14 | 2014-09-18 | Robert Bosch Gmbh | System and Method for Distortion Correction in Three-Dimensional Environment Visualization |
JP2017068826A (ja) | 2015-09-30 | 2017-04-06 | アイシン精機株式会社 | 車両用画像処理装置 |
US20170195564A1 (en) | 2016-01-06 | 2017-07-06 | Texas Instruments Incorporated | Three Dimensional Rendering for Surround View Using Predetermined Viewpoint Lookup Tables |
WO2018102990A1 (en) | 2016-12-06 | 2018-06-14 | SZ DJI Technology Co., Ltd. | System and method for rectifying a wide-angle image |
Also Published As
Publication number | Publication date |
---|---|
WO2020068960A1 (en) | 2020-04-02 |
EP3776485B1 (en) | 2022-01-26 |
TWI805848B (zh) | 2023-06-21 |
JP2021535464A (ja) | 2021-12-16 |
US20200098164A1 (en) | 2020-03-26 |
US11544895B2 (en) | 2023-01-03 |
TW202025716A (zh) | 2020-07-01 |
CN112930557A (zh) | 2021-06-08 |
EP3776485A1 (en) | 2021-02-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7208356B2 (ja) | 任意の世界ビューの生成 | |
CN110392902B (zh) | 使用稀疏体积数据的操作 | |
US10326981B2 (en) | Generating 3D images using multi-resolution camera set | |
US8817079B2 (en) | Image processing apparatus and computer-readable recording medium | |
US9900584B2 (en) | Depth map generation based on cluster hierarchy and multiple multiresolution camera clusters | |
JP7250784B2 (ja) | ボリュームデータの密度座標ハッシュ化 | |
TWI534755B (zh) | 三維立體模型之建立方法和裝置 | |
CN111698463A (zh) | 使用神经网络进行视图合成 | |
US11341607B2 (en) | Enhanced rendering of surround view images | |
KR20210087043A (ko) | 병행 텍스처 샘플링 | |
CN111161398A (zh) | 一种图像生成方法、装置、设备及存储介质 | |
Seyid et al. | A real-time multiaperture omnidirectional visual sensor based on an interconnected network of smart cameras | |
JP6719596B2 (ja) | 画像生成装置、及び画像表示制御装置 | |
US10212406B2 (en) | Image generation of a three-dimensional scene using multiple focal lengths | |
CN107845126A (zh) | 一种三维动画制作方法及装置 | |
WO2022247394A1 (zh) | 图像拼接方法及装置、存储介质及电子设备 | |
CN112184662B (zh) | 应用于无人机图像拼接中的相机外参数初始方法及*** | |
Hu et al. | 3D map reconstruction using a monocular camera for smart cities | |
WO2023048983A1 (en) | Methods and apparatus to synthesize six degree-of-freedom views from sparse rgb-depth inputs | |
CN113610930B (zh) | 一种大场景相机阵列传递标定方法、***及存储介质 | |
Jiang et al. | A Configurable Local-Expansion-Move Accelerator for Accurate Stereo Matching | |
Yi | High-quality, real-time HD video stereo matching on FPGA | |
EP4285313A1 (en) | Three-dimensional modelling from photographs in series | |
KR20230156046A (ko) | 픽셀-대-픽셀 신경망들에서 데이터의 프로세싱 | |
Seyid et al. | Real-time omnidirectional imaging system with interconnected network of cameras |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A529 | Written submission of copy of amendment under article 34 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A529 Effective date: 20210209 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220426 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220527 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221018 |
|
R155 | Notification before disposition of declining of application |
Free format text: JAPANESE INTERMEDIATE CODE: R155 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230105 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7208356 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |