JP2010239596A - 映像処理装置 - Google Patents
映像処理装置 Download PDFInfo
- Publication number
- JP2010239596A JP2010239596A JP2009088370A JP2009088370A JP2010239596A JP 2010239596 A JP2010239596 A JP 2010239596A JP 2009088370 A JP2009088370 A JP 2009088370A JP 2009088370 A JP2009088370 A JP 2009088370A JP 2010239596 A JP2010239596 A JP 2010239596A
- Authority
- JP
- Japan
- Prior art keywords
- video
- video data
- unit
- generated
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 129
- 230000009467 reduction Effects 0.000 claims abstract description 46
- 238000003860 storage Methods 0.000 claims abstract description 6
- 238000006243 chemical reaction Methods 0.000 claims description 75
- 238000003384 imaging method Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 abstract description 2
- 230000008878 coupling Effects 0.000 abstract 4
- 238000010168 coupling process Methods 0.000 abstract 4
- 238000005859 coupling reaction Methods 0.000 abstract 4
- 239000000872 buffer Substances 0.000 description 46
- 238000007726 management method Methods 0.000 description 34
- 238000000034 method Methods 0.000 description 19
- 230000008859 change Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 9
- 238000005520 cutting process Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000008707 rearrangement Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/12—Panospheric to cylindrical image transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/373—Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】 生成映像データに使用する各映像データの使用部分を示す使用部分情報と、結合映像データを座標変換して生成映像データを生成するときの画素の拡大が少なく、かつ、結合映像データの予め定義されたサイズ内に収まるように算出された各映像データの使用部分の縮小率情報を含む配置情報とを記憶する設定情報保持部252と、生成する生成映像データのパターンを選択する制御部271と、複数の映像と配置情報とに基づいて、各映像データの使用部分を縮小して記憶部に記憶させて結合映像データを生成する加工処理部220と、生成された結合映像データを座標変換データを用いて座標変換し、生成映像データを生成して表示部352に出力する映像生成部270とを有している。
【選択図】 図1
Description
第1撮影部110〜第4撮影部140は、車両に搭載されたカメラを備え、各カメラによって撮影した映像を映像入力部210にそれぞれ出力する。なお、以下では、第1撮影部110〜第4撮影部140を単にカメラ110〜140と呼ぶ。本実施例においては、図2に示すようにカメラ110は、車両の前方に配置され、車両前方の映像を撮影する。カメラ120は、車両の左側方に配置され、車両左側方の映像を撮影する。カメラ130は、車両の右側方に配置され、車両右側方の映像を撮影する。カメラ140は、車両の後方に配置され、車両後方の映像を撮影する。なお、本実施例では、車両に4つのカメラを搭載しているが、カメラの数は4つに限定されるものではなく、3つでも5つや6つであってもよい。また、カメラは、最初から車に搭載されているものでも連携動作可能であれば問題ない。
表示部32に表示される生成映像の表示例(パターン)を図3A、図3B、図4A、図4B、図5A、図5Bに示す。また、図6A〜図6Hには、カメラ110〜140で撮影された4つの映像を結合した結合映像のパターンを示す。
例えば、図6A〜図6Cに示すように2つの映像を結合した映像や、図6D、図6Eに示すように3つの映像を結合した映像や、図6F、図6Gに示すように4つの映像を結合した映像や、図6Hに示すように単体の映像が映像処理部200で映像処理され、表示部352に表示される。表示部352に表示される映像は、立体表示となるように加工された生成映像である。カメラ110〜140で撮影された複数の映像を結合して座標変換することで、立体的な生成映像が生成される(詳細は後述する)。図6A〜図6Cに示す結合映像は、例えば左折巻き込み有無を確認するために左方と後方の2つのカメラ映像のみを用いて生成映像を生成する場合などに用いられる。図6D、図6Eに示すように3つの映像を結合した映像は、例えば車線変更時の後側方を確認するため、前方を除く3つのカメラ映像から生成映像を生成する場合などに用いられる。図6F、図6Gに示すように4つの映像を結合した映像は、車両の全周囲を確認できる映像の生成に用いられるが、生成映像を生成する際の視点の位置などにより、生成映像がどのカメラ映像を多く使って生成しているかが異なるため、分割を変更している。
第1映像入力部211は、カメラ110で撮影された映像を入力するブロックである。第1映像入力部211は、入力した映像にAD変換を施し、AD変換後の映像データを、映像加工部230の第1映像加工部231に出力する。
同様に、第2映像入力部212は、カメラ120で撮影された映像を入力するブロックである。第2映像入力部212は、入力した映像にAD変換を施し、AD変換後の映像データを、映像加工部230の第2映像加工部235に出力する。
同様に、第3映像入力部213は、カメラ130で撮影された映像を入力するブロックである。第3映像入力部213は、入力した映像にAD変換を施し、AD変換後の映像データを、映像加工部230の第3映像加工部241に出力する。
同様に、第4映像入力部214は、カメラ140で撮影された映像を入力するブロックである。第4映像入力部214は、入力した映像にAD変換を施し、AD変換後の映像データを、映像加工部230の第4映像加工部245に出力する。
映像加工部230は、第1映像加工部231と、第2映像加工部235と、第3映像加工部241と、第4映像加工部245とを備えている。また、第1映像加工部231は、第1映像切出部232と、第1拡大縮小部233とを備えている。第2映像加工部235は、第2映像切出部236と、第2拡大縮小部237とを備えている。第3映像加工部241は、第1映像切出部242と、第1拡大縮小部243とを備えている。第4映像加工部245は、第4映像切出部246と、第4拡大縮小部247とを備えている。なお、第1映像加工部231〜第4映像加工部245は、同様の構成を備えているので、以下では、代表して第1映像加工部231について説明する。
キャプチャ前段処理部250は、ホストIF部251、設定保持部252、キャプチャ映像部分管理部253、書き込み制御部254、バッファ切替管理部255、結合映像フレームバッファ256(本実施例では、結合映像フレームバッファ256A〜Cの3つを備えている)、読み出し制御部257、映像出力IF部258を備えている。なお、図8に点線で示す矢印は、制御信号線を意味し、実線で示す矢印は、データ線を意味する。
また、設定情報は、図9Bに示すように、カメラ110〜140の各カメラごとに、映像切出位置と、書き込み開始座標とを記録したものであってもよい。図9Bに示す設定情報も各生成映像データの生成パターンごとに設けられている。
図10Aに、カメラ110〜140でそれぞれ撮影された前方映像データ、後方映像データ、左方映像データ、右方映像データを示す。図10Bに、キャプチャ映像部分管理部253からの指示信号によって、各映像データに部分映像の切り出し範囲を設定した様子を示す。また、図10Cに、設定した切り出し範囲に従って部分映像データを切り出した様子を示す。さらに、図11C〜図11Dに、キャプチャ映像部分管理部253からの指示信号に従って、部分映像を縮小した様子を示す。図11Dに示す例では、後方映像のX軸方向のサイズを1/2に縮小した様子を示す。図11Eに、4つの部分映像データを結合して結合映像データを生成する様子を示す。書き込み制御部254は、キャプチャ映像部分管理部253から指示された結合映像フレームバッファ256のアドレスに各部分映像データを書き込むことで、図11Eに示す結合映像データが結合映像フレームバッファ256内にでき上がる。
映像生成部270は、制御部271、描画処理部272、仮生成映像変換パターンデータ保持部273、生成映像変換パターンデータ保持部274、映像キャプチャ部275、映像キャプチャバッファ276、バッファ管理部277、生成映像バッファ278、映像出力部279を備えている。なお、図12に点線で示す矢印は、制御信号線を意味し、実線で示す矢印は、データ線を意味する。
ROM302には、CPU301が制御に使用するプログラムが記録されている。CPU301は、ROM302に記録されたプログラムを読み込んで、読み込んだプログラムに従った処理を行う。また、RAM303には、CPU301が演算に使用するデータや、演算結果のデータが記憶される。
入出力部304は、操作部31からの入力を受け付けたり、不図示の入出力ポートとして、例えば、後述する仮生成映像変換パターンデータを外部から入力して、CPU301の制御によって仮生成映像変換パターンデータ保持部273に記録する。
制御部271は、操作部351によって生成映像の生成パターンの変更指示を入力すると、描画処理部272と、キャプチャ前段処理部250とに生成映像の生成パターンの変更を指示する。なお、制御部271は、車両情報を入出力部304を介して車両側から取得して、取得した車両情報に基づいて生成映像の生成パターンの変更を描画処理部272と、キャプチャ前段処理部250とに指示してもよい。例えば、ギアがバックに入れられた場合には、後方を広く表示する生成映像に切り替える指示を描画処理部272と、キャプチャ前段処理部250とに指示して、結合映像における後方画像の面積を大きくし、広く表示された後方の解像度を確保する。
また、仮生成映像変換パターンは、図14Bに示すパターンデータであってもよい。図14Bに示す仮生成映像変換パターンは、ポリゴン番号と、ポリゴン番号が示すポリゴンの頂点番号と、各頂点の変換前の映像データ上での座標値情報と、3次元映像処理空間に定義された映像投影面上の座標値と、3次元映像処理空間の視点ベクトルデータとを含む。視点ベクトルデータとは、映像投影面をどこから見て生成映像データを作成するのかを決定するデータである(図17参照)。
まず、制御部271は、生成映像データの生成パターンの変更指示が操作部351より入力されたか否かを判定する(ステップS1)。生成パターンの変更指示を入力した場合(ステップS1:YES)、制御部271は、描画処理部272に生成パターンの変更を指示する(ステップS2)。次に、制御部271は、キャプチャ前段処理部250にも結合映像の生成パターンの変更指示を出力する(ステップS3)。次に、制御部271は、キャプチャ前段処理部250から結合映像の生成パターンの変更完了通知があったか否かを判定する(ステップS4)。制御部271は、キャプチャ前段処理部250から変更完了通知を受信するまで次の処理を待機する(ステップS4:NO)。キャプチャ前段処理部250のキャプチャ映像部分管理部253は、制御部271によって指示された生成パターンに該当する設定情報を設定保持部252から取り出す。そして、キャプチャ映像部分管理部253は、設定情報を参照して、指示された生成パターンに使用される各映像データの使用範囲を第1映像切出部232〜第4映像切出部246にそれぞれ指示する。また、キャプチャ映像部分管理部253は、設定情報を参照して、指示された生成パターンの縮小率を第1拡大縮小部233〜第4拡大縮小部247にそれぞれ指示する。
まず、事前の準備として、パソコン等の情報処理装置にインストールされたアプリケーションソフトウェアを用いて生成映像を設計する。
ユーザは、アプリケーションソフトウェアに、映像投影面形状のデータ、視点ベクトル、映像の表示範囲等のデータを入力する。アプリケーションソフトウェアは、入力されたデータに基づいて、カメラ映像から生成映像に変換するための座標変換データ(仮生成映像変換パターンデータ)を生成する。アプリケーションソフトウェアによって生成された仮生成映像変換パターンデータは、入出力部304を介して制御部271内に取り込まれ、制御部271の制御により仮生成映像変換パターンデータ保持部273に記録される。
なお、映像投影面形状のデータとは、カメラ110〜140によって撮影された複数の映像を投影させる投影面の形状を示すデータであり、カメラ映像を生成映像に変換するためのデータである(図17参照)。また、視点ベクトルデータとは、図17に示す映像投影面をどこから見て生成映像を作成するかを示すデータである。この映像投影面と視点ベクトルデータにより各カメラ110〜140によって撮影された映像の部分毎の表示時の倍率が変化する。また、映像の表示範囲のデータは、図17に示すように映像を表示させる範囲を示すデータである。
仮生成映像変換パターンデータは、複数のカメラ映像から生成映像に変換するための変換データであるので、制御部271は、仮生成映像変換パターンデータからカメラ映像の使用範囲(座標値)を算出する。具体的には、仮生成映像変換パターンデータに基づいて、生成映像データ側の表示範囲に対応する各カメラ映像の頂点座標を検出し、頂点座標の最大値と最小値(Xmin,Ymin)とを算出する。制御部271は、算出した頂点座標の最大値と最小値(Xmin,Ymin)を対角頂点とする長方形の座標値を使用範囲として出力する。図18A〜18Dに前方映像、後方映像、左方映像、右方映像の各使用範囲を決定する様子を示す。なお、図18A〜18Dに点線で示すように、使用範囲を自由形状で取り出す場合には、使用する部分の最外縁の辺を結ぶ形状として使用範囲を算出する。
制御部271は、このステップS12における処理を各カメラ映像に行う。制御部271は、生成映像を構成するすべての映像処理単位(ポリゴン)について、カメラ映像上でのポリゴンの座標値と比較し、座標変換した際の画素拡大率を求める(ステップS12)。ポリゴンが座標変換の際の処理単位(画素)であり、制御部271は、ポリゴンの座標変換前の座標値と座標変換後の座標値とを求めて画素拡大率を求める。画素拡大率の算出方法は、例えば、カメラ映像のX軸方向、Y軸方向でそれぞれに算出する方法や、変換前のカメラ映像側のポリゴンの面積と、変換後の生成映像側のポリゴンの面積との比で算出する方法などが挙げられる。図19に算出結果の一例を示す。
図20に、各カメラ映像ごとの画素拡大率代表値の一例を示す。図20に示す例では、X方向、Y方向での画素拡大率代表値を各カメラ映像にそれぞれ求めている。
また、結合映像内に部分映像が配置可能でなかった場合(ステップS16:NO)、制御部271は、画素拡大率代表値が1以上のカメラ映像について、部分映像を画素拡大率代表値倍に拡大する(ステップS17)。すなわち、拡大後の使用部分映像の画素拡大率代表値が1となるように拡大する。そして、制御部271は、画素拡大率代表値に拡大した部分映像の画素数をX軸方向、Y軸方向でそれぞれ求める(ステップS17)。
すなわち、制御部271は、ステップS14で求めた画素拡大率代表値倍に縮小した部分映像と、ステップS17で求めた画素拡大率代表値倍に拡大した部分映像(以下、これらを仮のサイズの部分映像と呼ぶ)とを図22A、図22Bに示すように結合映像の画像サイズ内で並び替える。そして、制御部271は、画素の縦横比が結合映像の縦横比に最も近く、結合映像の画像サイズに縮小する際の縮小率が最も小さい部分映像の組み合わせと、そのときの縮小率とを算出する。図22Aには、前後左右方向の仮のサイズの部分映像を示している。また、図22Bには、これら仮のサイズの部分映像を組み換えている様子を示す。
次に、制御部271は、カメラ映像の結合映像への配置情報(設定情報)を用いて仮生成映像変換パターンデータを補正する(ステップS23)。制御部271は補正した仮生成映像変換パターンデータを生成映像変換パターンデータとして生成映像変換パターンデータ保持部264に保存する。なお、仮生成映像変換パターンデータから生成映像変換パターンデータに補正する際に、カメラの車両への設置条件情報、カメラ特性データ等を用いて、カメラの設置条件に対応するための補正を合わせて行っても良い。カメラの設置条件情報には、カメラの位置座標(X,Y,Z)、取り付け角度(ヨー角、俯角、ロール角)などが含まれる。また、カメラ特性データには、カメラ映像の画素数(水平、垂直)、画角(水平、垂直)、レンズディストーションデータ等が含まれる。
例えば、上述した実施例では、すべてのポリゴンについて画素拡大率を算出していたが、車両から離れた周辺部のポリゴンについては画素拡大率を算出しないようにしてもよい。車両の近傍の映像だけが運転支援には重要と考え、それ以外の映像については高解像度化が不要と考えて処理の対象から外す。
また、図24に示すようにカメラ映像から部分映像を切り出すときに、部分映像を自由形状で切り出すようにしてもよい。図24には、自由形状で切り出された部分映像を結合した結合映像データの例を示す。
120 第21撮影部
130 第3撮影部
140 第4撮影部
200 映像処理部
210 映像入力部
220 加工処理部
230 映像加工部
250 キャプチャ前段処理部
252 設定保持部
253 キャプチャ映像部分管理部
254 書き込み制御部
256 結合映像フレームバッファ
257 読み出し制御部
270 映像生成部
271 制御部
272 描画処理部
273 仮生成映像変換パターンデータ保持部
274 生成映像変換パターンデータ保持部
277 バッファ管理部
278 生成映像バッファ
279 映像出力部
351 操作部
352 表示部
Claims (4)
- 複数の撮像装置と表示装置と連携可能であり、前記複数の撮像装置で撮像された複数の映像データを入力して、複数種類の生成映像データを生成して前記表示装置に出力可能な映像処理装置であって、
前記複数種類の生成映像データのパターン毎にあらかじめ算出しておいた座標変換データを参照して算出された、前記生成映像データに使用する各映像データの使用部分を示す使用部分情報と、前記各映像データの使用部分を結合して結合映像データを生成する際に、該結合映像データを座標変換して前記生成映像データを生成するときの画素の拡大が少なく、かつ、前記結合映像データの予め定義されたサイズ内に収まるように算出された前記各映像データの使用部分の縮小率情報を含む配置情報とを記憶するパターン情報記憶部と、
生成する生成映像データのパターンを選択する生成映像パターン選択部と、
前記複数の映像と、選択された生成映像データのパターンに応じた配置情報とに基づいて、前記各映像データの使用部分を縮小して記憶部に記憶させて前記結合映像データを生成する加工部と、
生成された前記結合映像データを前記座標変換データを用いて座標変換し、前記生成映像データを生成して前記表示装置に出力する映像出力部と、
を有する、映像処理装置。 - 更に、前記座標変換データを参照して、前記生成映像データに使用する各映像データの使用部分を示す使用部分情報を算出する座標値算出部と、
前記結合映像データを座標変換して前記生成映像データを生成する際の画素の拡大が少なく、かつ、前記結合映像データの予め定義されたサイズ内に収まるように前記各映像データの使用部分の縮小率情報を含む配置情報を求める配置算出部とを有し、
前記加工部は、前記複数の映像データを、前記使用部分情報と前記配置情報とに基づいて、各映像データの使用部分を縮小して前記記憶部に記憶させて前記結合映像データを生成する、請求項1に記載の映像処理装置。 - 前記配置情報の算出は、前記結合映像データから前記生成映像データへの座標変換の際に、該座標変換の処理単位または画素単位の画素拡大率の平均値と、中間値と、最大値または最小値とのいずれか1つが前記各映像データの使用部分間で同等となり、かつ、あらかじめ定義された前記結合映像データのサイズ内に収まるように、各映像データの使用部分の縮小率と前記結合映像データ上の配置とを算出する、請求項1乃至2に記載の映像処理装置。
- 前記配置情報の算出は、前記複数の映像のうち、予め設定された優先度の高い映像の使用部分の映像の縮小率を固定した後に行うことを特徴とする請求項1乃至3に記載の映像処理装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009088370A JP5195592B2 (ja) | 2009-03-31 | 2009-03-31 | 映像処理装置 |
US12/654,432 US8736665B2 (en) | 2009-03-31 | 2009-12-18 | Video processing apparatus |
EP09180664.6A EP2237228B1 (en) | 2009-03-31 | 2009-12-23 | Combination of videos from multiple cameras |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009088370A JP5195592B2 (ja) | 2009-03-31 | 2009-03-31 | 映像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010239596A true JP2010239596A (ja) | 2010-10-21 |
JP5195592B2 JP5195592B2 (ja) | 2013-05-08 |
Family
ID=42312826
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009088370A Active JP5195592B2 (ja) | 2009-03-31 | 2009-03-31 | 映像処理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8736665B2 (ja) |
EP (1) | EP2237228B1 (ja) |
JP (1) | JP5195592B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014033886A1 (ja) * | 2012-08-30 | 2014-03-06 | 富士通株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2014130617A (ja) * | 2011-02-08 | 2014-07-10 | Mekra Lang Gmbh & Co Kg | 商用車の視界を視覚的に描くための表示装置 |
WO2017159863A1 (ja) * | 2016-03-18 | 2017-09-21 | 株式会社デンソー | 情報処理装置 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011257940A (ja) * | 2010-06-08 | 2011-12-22 | Panasonic Corp | 逆変換テーブル生成方法、逆変換テーブル生成プログラム、画像変換装置、画像変換方法、及び画像変換プログラム |
KR101323468B1 (ko) | 2010-08-05 | 2013-10-29 | 엘지디스플레이 주식회사 | 입체영상 표시장치와 그 구동방법 |
JP6079131B2 (ja) * | 2012-10-25 | 2017-02-15 | 富士通株式会社 | 画像処理装置、方法、及びプログラム |
WO2018020751A1 (ja) * | 2016-07-26 | 2018-02-01 | 株式会社Jvcケンウッド | 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム |
CN108965919A (zh) * | 2018-07-31 | 2018-12-07 | 优视科技新加坡有限公司 | 视频处理方法、装置、设备/终端/服务器及计算机可读存储介质 |
JP7038643B2 (ja) * | 2018-11-26 | 2022-03-18 | 本田技研工業株式会社 | 映像表示装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10145777A (ja) * | 1996-11-05 | 1998-05-29 | Hitachi Denshi Ltd | 移動体におけるカメラ映像表示装置 |
WO2000064175A1 (fr) * | 1999-04-16 | 2000-10-26 | Matsushita Electric Industrial Co., Ltd. | Dispositif de traitement d'images et systeme de surveillance |
JP2008048266A (ja) * | 2006-08-18 | 2008-02-28 | Matsushita Electric Ind Co Ltd | 車載画像処理装置及びその視点変換情報生成方法 |
JP2008289091A (ja) * | 2007-05-21 | 2008-11-27 | Canon Inc | 画像表示装置及び監視カメラシステム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5670935A (en) * | 1993-02-26 | 1997-09-23 | Donnelly Corporation | Rearview vision system for vehicle including panoramic view |
EP0949818A3 (en) * | 1998-04-07 | 2000-10-25 | Matsushita Electric Industrial Co., Ltd. | On-vehicle image display apparatus, image transmission system, image transmission apparatus, and image capture apparatus |
JP3573653B2 (ja) | 1998-04-07 | 2004-10-06 | 松下電器産業株式会社 | 車載画像表示装置 |
EP1115250B1 (en) * | 1998-07-31 | 2012-06-06 | Panasonic Corporation | Method and apparatus for displaying image |
JP3300337B2 (ja) | 2000-04-28 | 2002-07-08 | 松下電器産業株式会社 | 画像処理装置および監視システム |
JP3753681B2 (ja) | 2000-07-19 | 2006-03-08 | 松下電器産業株式会社 | 監視システム |
EP1303140A4 (en) | 2000-07-19 | 2007-01-17 | Matsushita Electric Ind Co Ltd | MONITORING SYSTEM |
JP4762698B2 (ja) * | 2005-11-30 | 2011-08-31 | アルパイン株式会社 | 車両周辺画像表示装置 |
-
2009
- 2009-03-31 JP JP2009088370A patent/JP5195592B2/ja active Active
- 2009-12-18 US US12/654,432 patent/US8736665B2/en active Active
- 2009-12-23 EP EP09180664.6A patent/EP2237228B1/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10145777A (ja) * | 1996-11-05 | 1998-05-29 | Hitachi Denshi Ltd | 移動体におけるカメラ映像表示装置 |
WO2000064175A1 (fr) * | 1999-04-16 | 2000-10-26 | Matsushita Electric Industrial Co., Ltd. | Dispositif de traitement d'images et systeme de surveillance |
JP2008048266A (ja) * | 2006-08-18 | 2008-02-28 | Matsushita Electric Ind Co Ltd | 車載画像処理装置及びその視点変換情報生成方法 |
JP2008289091A (ja) * | 2007-05-21 | 2008-11-27 | Canon Inc | 画像表示装置及び監視カメラシステム |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014130617A (ja) * | 2011-02-08 | 2014-07-10 | Mekra Lang Gmbh & Co Kg | 商用車の視界を視覚的に描くための表示装置 |
WO2014033886A1 (ja) * | 2012-08-30 | 2014-03-06 | 富士通株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JPWO2014033886A1 (ja) * | 2012-08-30 | 2016-08-08 | 富士通株式会社 | 画像処理装置、画像処理方法、及びプログラム |
US9436986B2 (en) | 2012-08-30 | 2016-09-06 | Fujitsu Limited | Image processing apparatus and image processing method |
WO2017159863A1 (ja) * | 2016-03-18 | 2017-09-21 | 株式会社デンソー | 情報処理装置 |
JP2017175182A (ja) * | 2016-03-18 | 2017-09-28 | 株式会社デンソー | 情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
EP2237228A3 (en) | 2015-01-14 |
EP2237228B1 (en) | 2019-06-05 |
US8736665B2 (en) | 2014-05-27 |
US20100245607A1 (en) | 2010-09-30 |
EP2237228A2 (en) | 2010-10-06 |
JP5195592B2 (ja) | 2013-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5195592B2 (ja) | 映像処理装置 | |
TWI524306B (zh) | 圖像轉換和多視圖輸出系統及方法 | |
JP5092459B2 (ja) | 遠隔指示システム及び遠隔指示システム用のプログラム | |
JP5925579B2 (ja) | 半導体装置、電子装置、及び画像処理方法 | |
JP2004021307A (ja) | 運転支援装置 | |
JP4871820B2 (ja) | 映像表示システム及び該システムのパラメータ生成方法 | |
WO2013103115A1 (ja) | 画像表示装置 | |
JP5778177B2 (ja) | 画像撮像装置および画像提示システム | |
JP5318225B2 (ja) | 画像合成装置及び画像合成プログラム | |
JP2010258691A (ja) | 操縦支援装置 | |
US10713757B2 (en) | Image processing apparatus, control method thereof, and storage medium | |
JP4791222B2 (ja) | 表示制御装置 | |
JP2010176547A (ja) | 画像処理装置に含まれる制御装置、制御方法、及び制御処理プログラム | |
US20100283864A1 (en) | Image processing system | |
JP3642259B2 (ja) | マルチスクリーン表示装置 | |
JP5676924B2 (ja) | 投影装置及び投影方法 | |
JP2008153882A (ja) | 撮像表示システム | |
JP2007180719A (ja) | 車両運転支援装置 | |
JP5387276B2 (ja) | 画像処理装置及び画像処理方法 | |
WO2017134786A1 (ja) | 設置位置決定装置、設置位置決定方法及び設置位置決定プログラム | |
WO2017086029A1 (ja) | 画像処理装置、画像処理方法、移動体、身体装着型電子機器及びコンピュータプログラム | |
JP2011227864A (ja) | 画像視点変換装置、画像視点変換方法、画像視点変換プログラム | |
JP2017017672A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2007226362A (ja) | 画像表示方法及び装置 | |
JP6040217B2 (ja) | 投影装置及び投影方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111205 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121005 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121016 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121211 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130121 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160215 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5195592 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |