JP6035789B2 - 画像合成装置及びプログラム - Google Patents

Description

本発明は、複数の撮像画像を繋ぎ合わせて全方位画像を生成する画像合成装置及びプログラムに関する。

複数のカメラによる撮像画像を繋ぎ合わせて広角画像や高精細画像、３６０度を見渡せる全方位画像を生成する方法は既に知られている。例えば、特許文献１には、赤外線パターンを照射することによる対象物の三次元像を生成する発明が開示されている。

特許文献１に係る発明は、赤外線パターン（不可視光）を利用して被写体までの距離を測ることにより被写体の三次元像を生成することができる。しかし、特許文献１に記載の発明のように、これまではカメラ位置・撮像方向・光学特性から固定したパラメータで画像の繋ぎ合わせを行うため、被写体までの距離によっては正しく繋ぎ合わされず、画像が二重になってしまうという問題がある。

また、画像を認識して適応的に繋ぎ合わせる方式もあるが、画像認識は処理量が多く、また画像の種類によっては正しく認識できない場合がある。

そこで本発明は、被写体までの距離に左右されず、また画像認識によらずに、撮像画像が二重になるようなことがないように撮像画像を正しく繋ぎ合わせる画像合成装置を提供することを目的とする。

本発明は上記課題に鑑みてなされたものであり、Ｘ度以上の画角を持つ光学系を複数有し、全方位を撮像するように前記光学系に対応して配置される複数の撮像素子と、複数の撮像素子により撮像された複数の撮像画像を記録する記録部と、２つの光学系の間に配置され、光学系の光軸からＸ／２度ずれた複数の方向に基準光を照射する基準光照射部と、複数の撮像素子により撮像された複数の撮像画像を合成し全方位画像を生成する画像合成部とを備えた画像合成装置であって、画像合成部は、光学系の光軸からＸ／２度ずれた複数の方向に照射された基準光が重なるように複数の撮像画像を合成することを特徴とする。

本発明によれば、複数の画像センサによる画角の重なる領域に基準光を照射し、撮像された基準光が重なるように複数の撮像画像を合成するため画像が二重になることがないので、被写体までの距離に左右されずに撮像画像の繋ぎ合わせを正しく行うことが可能となる。

本発明の実施形態の画像合成装置の全体構成を示すブロック図である。 本発明の第１実施形態の画像合成装置に係る対向する魚眼レンズによる画像センサから全方位画像を生成する様子を示す概略図である。 本発明の第１実施形態の画像合成装置に係る対向する魚眼レンズによる画像センサを使用した場合における被写体の距離による撮影画像の違いの例を示す説明図である。 本発明の第２実施形態の画像合成装置に係る同方向を向いた２つの画像センサから広角画像を生成する様子を示す概略図である。 本発明の第２実施形態の画像合成装置に係る同方向を向いた２つの画像センサを使用した場合における被写体の距離による撮影画像の違いの例を示す説明図である。 本発明の第１実施形態と第２実施形態それぞれの画像センサによる撮像画像の重なり領域としての保存領域の例を示す説明図である。

本発明の実施の形態を説明する。本発明は、複数の撮像画像を繋ぎ合わせて３６０度を見渡せる全方位画像や、画像を生成する画像合成装置に関して以下の特徴を有する。要するに、複数のセンサの重なる領域に基準となる光を照射し、基準光の位置に合わせて撮像画像の繋ぎあわせ（合成）を行うことを特徴とするものである。本発明の実施形態の画像合成装置の特徴について、図面を用いて以下説明する。

本実施形態の画像合成装置１の全体構成について図１のブロック図を用いて説明する。本発明の実施形態の画像合成装置１は、画像センサ１１ａ（撮像素子）、画像センサ１１ｂ（撮像素子）、基準光照射ユニット１２、不揮発メモリ１３（記録部）、全体コントロール部１４より構成される。

画像センサ１１ａ及び画像センサ１１ｂは、後述する魚眼レンズ等の光学系に対応して設けられた撮像素子である。この撮像素子は、被写体の画像を撮影し、画像合成装置１の本体に撮像画像を取り込むための装置である。撮像素子には、ＣＣＤやＣＭＯＳ等に代表されるイメージセンサを用いる。なお、本実施形態では、２つの画像センサによる構成を示しているが、これに限定されず２つ以上の画像センサによる構成であってもよい。また、本実施形態の撮像素子を後述する不可視光に感度を有する素子とする。

基準光照射ユニット１２（基準光照射部）は、画像センサ１１ａ等により撮像された複数の撮像画像の重なり部分に基準光を照射する装置である。基準光とは、撮像画像の重なり部分に照射された光同士を重ねて複数の撮像画像を合成するための基準となる光のことをいう。基準光を用いて複数の撮像画像を合成することにより、複数の撮像画像の重なり部分が重複して合成されることによる二重画像の発生を防止することができる。

また、基準光に赤外線などの不可視光を用いる構成としてもよい。これは、基準光に可視光を用いた場合、撮像時に基準光が肉眼で確認でき、煩わしいからである。つまり、基準光を不可視光とすれば、撮影時に煩わしい基準光を肉眼で見えないようにすることができる。なお、基準光照射ユニット１２には、例えば、発光素子等の照射具を用いるが、これに限定されず基準光を照射できる装置であればよい。

さらに、本実施形態においては、複数の撮像画像の重なり部分に基準光を断続的に照射する構成をとってもよい。基準光を撮像画像に連続照射することにより撮像画像へ影響を及ぼすことがある。よって、基準光を断続的に照射することで撮像画像へ与える影響を軽減することが可能となる。

不揮発メモリ１３は、撮像画像を記録するメモリであり、本実施形態では、例えばハードディスクやフラッシュメモリ、ＳＤメモリ等の不揮発性記憶装置を使用する。

全体コントロール部１４は、ＣＰＵ／ＲＯＭ／ＲＡＭ等を含む画像合成装置１の全体をコントロールするためのモジュールである。全体コントロール部１４により、後述する撮像画像の合成などの各種処理、撮像画像や合成画像の不揮発性メモリ１３への入出力処理、基準光照射部１２への基準光照射命令処理などが行われる。

［第１実施形態］
次に、本発明の第１実施形態の撮像画像の合成処理について、図２を用いて説明する。本実施形態では、１８０度以上の画角を持つ魚眼レンズ１１０ａに対応した画像センサ１１ａ、同じく１８０度以上の画角を持つ魚眼レンズ１１０ｂに対応した画像センサ１１ｂを１８０度対向して配置する。ここで、２つのレンズを用いており、さらに、画像の重なりを生じさせるために、画角を１８０度以上としている。しかしながら、画像センサの増加に伴い、画角が調整される。例えば、画像センサが４つであれば、９０度以上の画角となるレンズを４つ用いることになる。

魚眼レンズ１１０ａの両端から延伸させた斜線（ａ、ｂ）同士がなす角度ｘ、魚眼レンズ１１０ｂの両端から延伸させた斜線（ｃ、ｄ）同士がなす角度ｙは各レンズの画角を示す。また、図の平行斜線によるハッチング部が双方の画像センサに映る領域（以下、重なり領域Ｃとする。）になる。重なり領域Ｃの中に、近距離の被写体Ａと遠距離の被写体Ｂを黒点で示す。

図２のような構成により、重なり領域Ｃの撮像画像を基に繋ぎあわせる（合成する）ことで、３６０度の全方位の画像を生成することができる。しかし、単にカメラ位置・撮像方向・光学特性から固定したパラメータで繋ぎあわせると、被写体までの距離によっては被写体が２重に合成されてしまうことがある。

そのため本実施形態においては、魚眼レンズ（光学系）の光軸ｅと９０度ずれた方向（基準光光軸ｆ）に基準光１２１を照射するように基準光照射ユニット１２を配置する。つまり、光学系の光軸から見て、重なり領域が生じる位置に合せて、基準光照射ユニットを設ける。図２では図の上方にだけ基準光１２１を出すように基準光光軸ｆを延伸させているが、実際には光学系光軸ｅと直交する全方向に基準光１２１を照射する。重なり領域Ｃにどのように基準光１２１が映るかによって、被写体までの距離を測ることができる。

図３は、上記説明した本実施形態の画像センサ（１１ａ、１１ｂ）により取得した撮像画像（Ｄ、Ｅ）と基準光照射ユニット１２による基準光（Ａ１、Ｂ１）を示したものである。図３（ａ）は、近距離の被写体Ａに照射した基準光Ａ１が映し出された様子を示している。基準光Ａ１は、重なり領域Ｃ上にあって撮像画像（Ｄ、Ｅ）の中心から遠い位置に映し出される。

一方、（ｂ）図は、遠距離の被写体Ｂに照射した基準光Ｂ１が映し出された様子を示している。基準光Ｂ１は、重なり領域Ｃ上にあって撮像画像（Ｄ、Ｅ）の中心から近い位置に映し出される。すなわち、被写体が近い場合は図のように画像の中心から遠い位置に、被写体が遠い場合は画像の中心から近い位置に基準光が映ることになる。

この基準光（Ａ１、Ｂ１）が重なるように２つの画像を変形して合成することで、像が二重になることがない。例えば、合成の処理については、次のようなステップが考えられる。２つの撮像画像中で、重なり領域中で等距離として認識される基準光を特定する（ステップ１）。特定の仕方としては、撮像画像Ｄ、Ｅの中心から距離で計測することが可能である。その特定された基準光が互いに重なるように画像を繋ぎ合わせる（ステップ２）。このような合成の処理以外にも、適宜に合成処理が適用できる。なお、本実施形態においては基準光を円盤状のスリット光としたが、重なり領域Ｃ全体に格子やドットパターンなどの距離が認識できるような形態で基準光を照射するようにしても良い。

［第２実施形態］
本発明の第２実施形態の撮像画像の合成処理について、図４を用いて説明する。本実施形態では、広角レンズ２１０ａに対応した画像センサ２１ａ、同じく広角レンズ２１０ｂに対応した画像センサ２１ｂを同じ方向に向けて並べて配置する。

また、図４（ａ）のように、本実施形態においては基準光照射ユニット１２０を画像センサ（２１ａ、２１ｂ）と同方向に向けて配置する。また、図のように、各画像センサの間に配置した基準光照射ユニット１２０から基準光２２１を被写体Ｇに向けて照射する。よって、基準光２２１の光軸は、画像センサ２１ａの光軸ｆおよび画像センサ２１ｂの光軸ｉと平行である。ここでも、第１実施形態と同じように、基準光照射ユニットが基準光を重なり領域に向けて照射できるような位置に設けられている。

図の平行斜線によるハッチング部が、画像センサ２１ａと画像センサ２１ｂ双方に映る領域（以下、重なり領域Ｆとする。）である。

なお、画像センサ２１ａによる被写体Ｇを含む撮像対象Ｈ、画像センサ２１ｂによる被写体Ｇを含む撮像対象Ｉ、及び基準光照射ユニット１２０による基準光２２１の被写体への照射状況を正面からみた概略図を図４（ｂ）に示す。

本実施形態の画像センサ２１ａにより取得した基準光２２１を含む撮像画像Ｈ、画像センサ２１ｂにより取得した基準光２２１を含む撮像画像Ｉの違いについて図５を用いて説明する。図のように、被写体Ｇまでの距離に応じて基準光２２１の位置が左右にずれて映し出されることになる。

すなわち、撮像画像Ｈにおいては、被写体Ｇの球面上に照射された基準光２２１が、円弧が左側になる半円部Ｇ１として映し出される。一方、撮像画像Ｉにおいては、被写体の球面上に照射された基準光２２１が、円弧が右側になる半円部Ｇ２として映し出される。半円部Ｇ１・Ｇ２は、ともに画像センサ２１ａ・２１ｂからみて、被写体を外れて撮像対象Ｈ・Ｉに映し出された基準光の直線部Ｇ３・Ｇ４より近距離となる。

本実施形態においても、第１実施形態と同様に、例えば、合成の処理については、次のようなステップが考えられる。２つの撮像画像中で、重なり領域中で等距離として認識された基準光を特定する（ステップ１）。距離の認識は、重なり領域の端部からの基準光の距離を計測することにより、等距離か否かを特定することができる。その特定された基準光が互いに重なるように画像を繋ぎ合わせる（ステップ２）。このような合成の処理以外にも、適宜に合成処理が適用できる。基準光が重なるように２つの撮像画像を変形して合成することで像が二重になることがなく、より広い領域を撮影することができる。

図６（ａ）に本発明の第１実施形態における魚眼レンズ（１１０ａ、１１０ｂ）を使用した場合の重なり領域Ｃ（平行斜線部）を保存領域とする場合について示し、図６（ｂ）に本発明の第２実施形態における広角レンズ（２１０ａ、２１０ｂ）を使用した場合の重なり領域Ｆ（平行斜線部）を保存領域とする場合について示す。

本図のように画像合成処理のための処理データとして重なり領域のみを保存することにより（つまり、重なり領域を画像センサの一部として機能させることにより、従来必要であった画像合成のためのその他のデータが不要になるので）、不揮発メモリなどの記録部に保存する保存データ容量を小さくすることができる。なお、図は一例であり焦点距離、画像センサの数、画像センサの配置方法により変化する。

また上記とは別に、画像合成処理のための処理データとして基準光が照射された位置の座標情報のみを記録部に保存する構成をとってもよい。これにより、上記同様に不揮発メモリなどの記録部に保存する保存データ容量を小さくすることができる。

本発明は、基準光照射部が断続的に基準光を照射することを特徴としてもよい。これにより、基準光の照射により撮像画像へ与える影響を軽減することが可能となる。

本発明は、基準光を撮像素子が感度を有する不可視光とすることを特徴としてもよい。基準光を不可視光とすることにより、撮影時に煩わしい基準光を肉眼で見えないようにすることができる。

本発明は、基準光が照射された複数の撮像画像の重なり部分のみ記録部に記録することを特徴としてもよい。これにより、記録部に保存（記録）する撮像画像の容量を削減することが可能となる。

本発明は、基準光が照射された位置の座標情報のみ記録部に記録することを特徴としてもよい。これにより、記録部に保存（記録）する撮像画像の容量を削減することが可能となる。

本発明は、基準光照射具により基準光を断続的に照射させる処理をコンピュータに実行させることを特徴としてもよい。これにより、基準光の照射により撮像画像へ与える影響を軽減することが可能となる。

本発明は、基準光が照射された複数の撮像画像の重なり部分のみ記録する処理を含む記録処理をコンピュータに実行させることを特徴としてもよい。これにより、保存（記録）する撮像画像の容量を削減することが可能となる。

本発明は、基準光が照射された位置の座標情報のみ記録する処理を含む記録処理をコンピュータに実行させることを特徴としてもよい。これにより、保存（記録）する撮像画像の容量を削減することが可能となる。

なお、上記、画像合成処理などの各処理を、ＣＰＵなどのプロセッサが所定の記憶領域（ＲＯＭなど）に格納された各処理プログラムを読み込んで実行してもよい。また、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。

１ 画像合成装置
１１ａ、１１ｂ、２１ａ、２１ｂ 画像センサ
１２、１２０ 基準光照射ユニット
１３ 不揮発メモリ
１４ 全体コントロール部
１１０ａ、１１０ｂ 魚眼レンズ
２１０ａ、２１０ｂ 広角レンズ

特表２００８−５３７１９０号公報

Claims (8)

1. Ｘ度以上の画角を持つ光学系を複数有し、全方位を撮像するように前記光学系に対応して配置される複数の撮像素子と、
   前記複数の撮像素子により撮像された複数の撮像画像を記録する記録部と、
   ２つの前記光学系の間に配置され、前記光学系の光軸からＸ／２度ずれた複数の方向に基準光を照射する基準光照射部と、
   前記複数の撮像素子により撮像された複数の撮像画像を合成し全方位画像を生成する画像合成部とを備えた画像合成装置であって、
   前記画像合成部は、前記光学系の光軸からＸ／２度ずれた複数の方向に照射された基準光が重なるように前記複数の撮像画像を合成することを特徴とする画像合成装置。
2. １８０度以上の画角を持つ光学系を２つ有し、全方位を撮像するように前記光学系に対応して対向配置される２つの撮像素子と、
   前記２つの撮像素子により撮像された２つの撮像画像を記録する記録部と、
   ２つの前記光学系の間に配置され、前記光学系の光軸から９０度ずれた複数の方向に基準光を照射する基準光照射部と、
   前記２つの撮像素子により撮像された２つの撮像画像を合成し全方位画像を生成する画像合成部とを備えた画像合成装置であって、
   前記画像合成部は、前記光学系の光軸から９０度ずれた複数の方向に照射された基準光が重なるように前記２つの撮像画像を合成することを特徴とする画像合成装置。
3. ９０度以上の画角を持つ光学系を４つ有し、全方位を撮像するように前記光学系に対応して２つの撮像素子が対向配置される４つの撮像素子と、
   前記４つの撮像素子により撮像された４つの撮像画像を記録する記録部と、
   ２つの前記光学系の間に配置され、前記光学系の光軸から４５度ずれた複数の方向に基準光を照射する基準光照射部と、
   前記４つの撮像素子により撮像された４つの撮像画像を合成し全方位画像を生成する画像合成部とを備えた画像合成装置であって、
   前記画像合成部は、前記光学系の光軸から４５度ずれた複数の方向に照射された基準光が重なるように前記４つの撮像画像を合成することを特徴とする画像合成装置。
4. 前記基準光照射部は、断続的に基準光を照射することを特徴とする請求項１から３の何れか１項に記載の画像合成装置。
5. 基準光を撮像素子が感度を有する不可視光とすることを特徴とする請求項１から４の何れか１項に記載の画像合成装置。
6. ２つの前記撮像画像の重なり部分のみ前記記録部に記録することを特徴とする請求項１から５の何れか１項に記載の画像合成装置。
7. 基準光が照射された位置の座標情報のみ前記記録部に記録することを特徴とする請求項１から５の何れか１項に記載の画像合成装置。
8. Ｘ度以上の画角を持つ光学系を複数有し、全方位を撮像するように前記光学系に対応して配置される複数の撮像素子により撮像された複数の撮像画像を記録する記録処理と、
   ２つの前記光学系の間に配置された基準光照射具により、前記光学系の光軸からＸ／２度ずれた複数の方向に照射した基準光が重なるように前記複数の撮像画像を合成し全方位画像を生成する画像合成処理とをコンピュータに実行させることを特徴とするプログラム。

Images