JP6029459B2 - 画像合成装置、および画像合成方法 - Google Patents
画像合成装置、および画像合成方法 Download PDFInfo
- Publication number
- JP6029459B2 JP6029459B2 JP2012282912A JP2012282912A JP6029459B2 JP 6029459 B2 JP6029459 B2 JP 6029459B2 JP 2012282912 A JP2012282912 A JP 2012282912A JP 2012282912 A JP2012282912 A JP 2012282912A JP 6029459 B2 JP6029459 B2 JP 6029459B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- distance
- projection plane
- subject
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
従って、例えば、ある投影面を定義し、カメラ画像をその投影面に投影することでパノラマ画像を作成する際、図1に示すように、カメラ中心を原点としたときの投影面と撮影対象となっている被写体の距離がおなじであれば、図2に示すように、画像合成結果は適切なものとなる。しかし、図3に示すように、カメラ中心を原点としたときの投影面と撮影対象となっている被写体の距離が異なっていると、図4の画像合成結果のように一部が欠けた状態になる場合や、逆に被写体が二重に投影される場合があるという課題があった。
このような手法では、任意の時間の静止画を生成したときには二重に表示されることを軽減させる効果があるが、2つの画像間を移動している被写体がある場合は、被写体が不連続に移動しているような画像となって見えてしまうという課題があった。
実施の形態1.
図5は、この発明の実施の形態1に係る画像合成装置100の構成図である。
図5において、画像合成装置100は、画像取得部101、カメラ情報格納部102、投影面形状算出部103、画像投影位置算出部104、視点位置格納部105、表示画像生成部106を備えている。
また、図5において、画像合成装置100は、撮影装置1から画像を取得し、距離計測装置2から被写体の距離情報を取得して、パノラマ画像(合成画像)を生成する。
画像合成装置100で生成されたパノラマ画像(合成画像)は、表示装置3に表示される。
距離計測装置2は、乗り物に搭載され、決められた方向の被写体の距離を計測する。
図6は、この発明の実施の形態1において、乗り物に搭載されたカメラの設置例を示す説明図である。
距離計測装置(距離センサ)2は、図6に示すように複数の撮影装置(カメラ)1(1−1〜1−4)の視野が重複する方向に対する物体について距離を計測する。なお、距離計測装置2としては、超音波センサ等の距離センサが考えられるが、超音波センサに限定されるものではない。
カメラ情報格納部102は、カメラ設置位置やカメラの向き、カメラの焦点距離、姿勢情報などのカメラ情報を格納している。
投影面形状算出部103は、カメラ情報格納部102からカメラ設置位置情報を取得してカメラ画像合成時に画像重畳する領域を求め、該当する領域に存在する被写体の距離情報を距離計測装置2から取得し、画像重畳する領域と被写体の距離情報とから投影面の形状を算出する。
視点位置格納部105は、画像合成装置100で生成された合成画像を表示装置3に表示する際に、運転者に認識させたい方向、位置を定義する視点位置情報を格納している。
表示画像生成部106は、画像投影位置算出部104が算出した、投影面に投影したときの画像の位置情報と、視点位置格納部105が格納している視点位置情報とに基づき、画像取得部101が撮影装置1から取得した画像を合成して合成画像を作成する。
画像を合成する準備段階の処理として、画像を合成する際に使用する撮影装置1の位置や姿勢情報やカメラの焦点距離をあらかじめカメラ情報格納部102に格納しておく。また、表示装置に表示する画像を作成する際に使用する視点位置についても、あらかじめ視点位置格納部105に格納しておくものとする。
次に、投影面形状算出部103は、画像重畳領域にある最も距離の近い被写体までの距離(d)と方向(θ)を取得する(ステップST2)。
図8は、距離計測装置2、および投影面を定義する際の中心位置から被写体までの距離と方向を示す説明図である。ステップST2の処理について、図8に従って具体的に説明する。
投影面形状算出部103は、カメラ情報格納部102からカメラの向きを受け取り、受け取ったカメラの向きから画像重畳領域を算出し、この画像重畳領域にある被写体について、距離計測装置2から受信した距離情報に基づき、最も距離の近い被写体までの距離情報を算出する。このとき、距離計測装置2が計測した値は、距離計測装置2と被写体との距離であるため、投影面を定義する際の中心となる位置(投影面の中心)から被写体のまでの距離(D)と方向(φ)は、式(1)(2)より求められる。
図8に示すように、投影面の中心から距離センサ2の先端までの右カメラ1−3方向への距離をx、前カメラ1−1方向への距離をyとすると、
図9は、この発明の実施の形態1における投影面形状の算出についての説明図である。ステップST3について、図9を参照しながら説明する。
図9において、カメラ1−1およびカメラ1−2の重畳部分にある被写体(障害物A)の距離(投影面の中心から被写体(障害物A)までの距離)をR1、カメラ1−1およびカメラ1−3の重畳部分にある被写体(障害物B)の距離(投影面の中心から被写体(障害物B)までの距離)をR2としたとき、距離を決めた部分にはさまれたカメラ1−1を投影する投影面については、式(3)より距離Rとなるようにする。
投影面の中心から見て障害物Aから障害物Bまでの角度をα、障害物Aから投影面の距離Rまでの角度をβとすると、
図10は、カメラの撮像素子平面との交点から各ポリゴンの頂点に対応するカメラ画像上の画素の3次元位置Dを求める処理を表す図である。以下、図10を参照しながら説明する。
このとき、各ポリゴン頂点P=(Px, Py, Pz)Tの3次元位置とカメラ中心C=(Cx, Cy, Cz) Tを結んだ直線上の点Qについては式(4)によって表され、カメラの撮像素子平面上の点Q'については式(5)によって表される。
t=(カメラ画像上の画素位置−カメラ中心間の距離)/(ポリゴン頂点−カメラ中心間の距離)
である。
また、式(5)は、撮像素子上の面を、u(撮像素子のx軸方向の向きと撮像素子の大きさを表すベクトル),v(撮像素子のy軸方向の向きと撮像素子の大きさを表すベクトル)と媒介変数a,bを用いて表した式である。
Dは式(4)で表される直線上、式(5)で表される平面上に存在するため、式(4)(5)を式(6)にまとめることができ、未知数a,b,tを求めることにより、最終的にDを求めることができる。
次に、表示画像生成部106は、ステップST5で作成した合成画像を表示装置3に転送し表示させる(ステップST6)。
そして、このステップST1〜ステップST6を繰り返すことで周辺画像を表示する。
実施の形態1では、距離計測装置2を使用して、複数の撮影画像が重畳する領域の被写体について距離を求め、投影面の形状を決めた。次に、被写体のある方向に対し、上下方向(鉛直方向)に被写体が有る場合について、その被写体までの距離を求める実施形態を示す。
この実施の形態2に係る画像合成装置100の構成については、実施の形態1と同様であるためここでの説明は省略する。
図11は、この発明の実施の形態2に係る画像合成装置100による合成画像生成の動作を示すフローチャートである。以下、図11を参照しながら説明する。
ステップST11〜ステップST12,ステップST14〜ST16については、図7に示すステップST1〜ST2,ステップST4〜ST6と同様であるため、ここでの説明は省略し、実施の形態1と異なるステップ(ステップST13,ステップST14)についてのみ説明する。
図12は、最短距離の被写体がある方向(θ)の断面図である。diについて、図12を用いて説明する。
まず、距離計測装置(距離センサ)2から、仰角(μ)に対する距離lを取得する。次に、これらの値により、diを、di=li*cosμiから計算する。
また、鉛直方向の位置iについては、i=li*sinμiから計算する。
実施の形態1および実施の形態2の画像合成装置100では、最終的に作成される合成画像はあらかじめ決められた視点位置の画像が表示されていた。この実施の形態3では、視点位置変更手段を加えて、操作者が見たい方向からの画像を表示する実施形態を示す。
図13は、この発明の実施の形態3に係る画像合成装置100の構成図である。
この実施の形態3に係る画像合成装置100の構成については、実施の形態1および実施の形態2と同様であるためここでの説明は省略する。
図13において、画像合成装置100は、撮影装置1から画像を取得し、距離計測装置2から被写体の距離情報を取得する他、視点位置入力装置4から入力された視点位置を取得してパノラマ画像(合成画像)を生成する点が実施の形態1,2とは異なる。視点位置入力装置4は、操作者が視点位置を入力することで表示装置に表示される合成画像の方向を操作できるようにするものである。
ステップST21〜ステップST24,ステップST28については、図7に示すステップST1〜ST4,ステップST6と同様であるため、ここでの説明は省略し、実施の形態1と異なるステップ(ステップST25〜ST27)についてのみ説明する。
視点位置入力装置4から、視点位置の入力があった場合(ステップST25の“Yes”の場合)、視点位置格納部105は、記憶している視点位置情報を、入力された視点位置に更新し(ステップST26)、表示画像生成部106は、ステップST26で更新された視点位置から見たときの合成画像を作成する(ステップST27)。
一方、視点位置入力装置4から、視点位置の入力がない場合(ステップST25の“No”の場合)、ステップST26の処理はとばされ、表示画像生成部106は、視点位置格納部105に予め記憶されている視点位置から見たときの合成画像を作成する(ステップST27)。
Claims (5)
- 乗り物に搭載され周辺状況を撮影する複数の撮影装置から画像を取得し、乗り物に搭載され決められた方向の被写体の距離を計測する距離計測装置から被写体の距離情報を取得して、パノラマ画像を生成する画像合成装置において、
前記撮影装置が撮影した画像を取得する画像取得部と、
カメラ情報を格納しているカメラ情報格納部と、
視点位置情報を格納している視点位置格納部と、
前記カメラ情報格納部に格納されているカメラ情報から画像合成時に画像重畳する領域を求め、前記画像重畳する領域と前記距離計測装置から取得する被写体の距離情報とから投影面の形状を算出する投影面形状算出部と、
前記投影面形状算出部が算出した前記投影面と、前記カメラ情報格納部に格納されているカメラ情報とに基づいて、前記画像を前記投影面に投影したときの位置を算出する画像投影位置算出部と、
前記画像投影位置算出部が算出した前記位置と、前記視点位置格納部で格納している視点位置情報とに基づいて合成画像を生成し、表示装置に表示させる表示画像生成部とを備えた
ことを特徴とする画像合成装置。 - 前記投影面形状算出部は、前記距離計測装置から取得する最も距離の近い被写体までの距離に基づいて前記投影面の形状を算出することを特徴とする請求項1記載の画像合成装置。
- 前記投影面形状算出部は、前記被写体の上下方向の距離に基づいて前記投影面の形状を算出することを特徴とする請求項2記載の画像合成装置。
- 前記視点位置格納部は、外部から入力された視点位置を取得して視点情報として格納することを特徴とする請求項1記載の画像合成装置。
- 乗り物に搭載され周辺状況を撮影する複数の撮影装置から画像を取得し、乗り物に搭載され決められた方向の被写体の距離を計測する距離計測装置から被写体の距離情報を取得して、パノラマ画像を生成する画像合成装置の画像合成方法において、
算出投影面形状算出部が、カメラ情報格納部に格納されているカメラ情報から画像合成時に画像重畳する領域を求め、前記画像重畳する領域と前記距離計測装置から取得する被写体の距離情報とから投影面の形状を算出するステップと、
画像投影位置算出部が、前記算出投影面形状算出部が算出した前記投影面と前記カメラ情報格納部に格納されているカメラ情報とに基づいて前記画像を前記投影面に投影したときの位置を算出するステップと、
表示画像生成部が、前記画像投影位置算出部が算出した前記位置と、視点位置格納部に格納されている視点位置情報とに基づいて合成画像を生成し、表示装置に表示させるステップとを備えた
ことを特徴とする画像合成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012282912A JP6029459B2 (ja) | 2012-12-26 | 2012-12-26 | 画像合成装置、および画像合成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012282912A JP6029459B2 (ja) | 2012-12-26 | 2012-12-26 | 画像合成装置、および画像合成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014127839A JP2014127839A (ja) | 2014-07-07 |
JP6029459B2 true JP6029459B2 (ja) | 2016-11-24 |
Family
ID=51407034
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012282912A Expired - Fee Related JP6029459B2 (ja) | 2012-12-26 | 2012-12-26 | 画像合成装置、および画像合成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6029459B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016185556A1 (ja) * | 2015-05-19 | 2016-11-24 | 三菱電機株式会社 | 合成画像生成装置及び合成画像生成方法及び合成画像生成プログラム |
US20180213139A1 (en) * | 2015-06-10 | 2018-07-26 | Sony Corporation | Image processing apparatus and method |
CN117643047A (zh) * | 2022-06-09 | 2024-03-01 | 北京小米移动软件有限公司 | 相机模组及图像处理方法、装置、终端、电子设备、介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6246413B1 (en) * | 1998-08-17 | 2001-06-12 | Mgi Software Corporation | Method and system for creating panoramas |
JP2006309626A (ja) * | 2005-04-28 | 2006-11-09 | Ntt Docomo Inc | 任意視点画像生成装置 |
JP5369465B2 (ja) * | 2008-03-25 | 2013-12-18 | 富士通株式会社 | 車両用画像処理装置、車両用画像処理方法、車両用画像処理プログラム |
JP5287702B2 (ja) * | 2009-12-25 | 2013-09-11 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
JP2011087319A (ja) * | 2010-12-06 | 2011-04-28 | Sanyo Electric Co Ltd | 車載パノラマカメラシステム |
JP5716389B2 (ja) * | 2010-12-24 | 2015-05-13 | 日産自動車株式会社 | 車両用表示装置 |
-
2012
- 2012-12-26 JP JP2012282912A patent/JP6029459B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014127839A (ja) | 2014-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5491235B2 (ja) | カメラキャリブレーション装置 | |
JP4257356B2 (ja) | 画像生成装置および画像生成方法 | |
WO2015194501A1 (ja) | 映像合成システムとそのための映像合成装置及び映像合成方法 | |
CN107465890B (zh) | 车辆的图像处理装置 | |
JP5668857B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2009017462A (ja) | 運転支援システム及び車両 | |
JP4902368B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2006287892A (ja) | 運転支援システム | |
JP2011040825A (ja) | 画像補正装置、画像補正方法、及びそれらに用いられる変換マップ作成方法 | |
JP6614042B2 (ja) | 姿勢変化判定装置、俯瞰映像生成装置、俯瞰映像生成システム、姿勢変化判定方法およびプログラム | |
JP2011035816A (ja) | 車両周囲画像表示制御装置 | |
JP2009239754A (ja) | 画像処理装置、画像処理プログラム、画像処理システム及び画像処理方法 | |
JP5178454B2 (ja) | 車両周囲監視装置及び車両周囲監視方法 | |
CN106104629B (zh) | 用于将由摄像机***从不同位置拍摄的单个图像合并成一个共同的图像的方法 | |
JP4679293B2 (ja) | 車載パノラマカメラシステム | |
JP2011064566A (ja) | 距離推定装置 | |
JP2016225865A (ja) | 俯瞰画像生成装置 | |
JP2010287029A (ja) | 周辺表示装置 | |
JP2017034400A (ja) | 走行状況表示プログラム、走行状況表示装置、及び走行状況表示方法 | |
JP6029459B2 (ja) | 画像合成装置、および画像合成方法 | |
JP2011024079A (ja) | 周辺表示装置 | |
JP2003346189A (ja) | 車両用映像表示装置 | |
JP2011087319A (ja) | 車載パノラマカメラシステム | |
JP5882153B2 (ja) | 三次元座標算出装置 | |
WO2018016274A1 (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160804 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160920 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161018 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6029459 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |