JP4608268B2 - 画像生成方法および装置 - Google Patents

Description

本発明は画像生成装置に係り、特に複数の撮像手段で撮像した画像を元にして、前記撮像手段とは別の視点からあたかも実際に撮影したかのように視点を変更した画像として合成表示させるための技術に関する。

一般に、監視カメラ等によって監視する場合、カメラ単位の撮像画像をモニタ上に表示するような構成が採られ、監視領域の所望の箇所に取り付けられたカメラからの撮影画像を監視室に配列された複数モニタにて表示させるようにしている。また、車両にカメラを搭載し、車両後方に向けられたカメラを利用して運転者が直接又は間接的に視認できない領域を撮影して運転席に設けたモニタに表示することにより安全運転に寄与させるようにしている。

しかし、これらの監視装置はカメラ単位の画像表示であるため、広い領域を撮影しようとすると設置台数が多くなってしまい、また、広角カメラを用いれば設置台数は減るがモニタに表示した画像精度が粗いため、表示画像が見にくく、監視機能が低下してしまう。このようなことから、複数のカメラの画像を合成して１つの画像として表示する技術が提案されている。例えば、特許文献１に示されているように、複数のカメラを撮影画像の一部が相互に重なるように配置しておき、重なり合う部分で画像を結合して１つの画像に合成するものや、特許文献２に示されているように、複数のカメラによる画像を座標変換して１枚の画像に合成して、任意の視点による合成画像を表示するようにしたものである。

ところで、特許文献２に開示されている方法では、複数のカメラによる画像データを一元的に取り込むようにしている。そして、この取得画像データをカメラパラメータに基づいて、カメラからの入力画像を構成する各画素を３次元空間の点に対応づけた空間データを作成する処理を全てのカメラに対して行う。このようにして独立した全てのカメラからの画像を１つの三次元空間内の点として対応づけた後、任意の位置に設定された変換視点から見た合成画像を逆変換によって再構築して表示する。

このような合成画像表示方法によれば、画像精度を低下させることなく監視領域の全体が１つの画面で表示され、監視したい領域の全体を任意の視点で一瞬に確認できる利点がある。
特開平１０−１６４５６６号公報 特許第３２８６３０６号公報

しかしながら、上記従来技術では、特に画像データというデータ量の多い処理を迅速に行う必要があるが、全カメラによる画像データを画像演算処理部に一括して取り込み、データの全てを三次元空間上の点に対応させる処理を行った後に各仮想視点に応じた画像データを選択してから合成画像を生成する手順で処理するため、処理すべきデータ量が膨大である他、実際には活用しないデータまで無駄に処理することになるという問題を抱えていた。

本発明は、上記従来の問題点に着目し、視点変換のための画像処理を無駄なく迅速に行うことができる画像生成装置を提供することを目的とする。

本発明は、多数の撮像手段を用いても、仮想視点から見た視点変換画像を合成する場合には、使用する画像データひいては使用する撮像手段が決まっているとの観点から、撮像手段の画像データを撮像手段単位あるいは仮想視点単位に用いられる画像データをまとめてバッファに取り込んでおき、仮想視点が設定された場合に即座に当該仮想視点に応じた画像データのみを選択して、画像合成処理をすることにより、処理の迅速化が図れるとの知見により得られたものである。すなわち、例えば、前方の視点変換画像の生成には前方カメラ画像バッファ装置に対して読出しコマンドを送付し、後方カメラ画像バッファ装置からは読み出さないようにし、あるいは、逆に、後方の視点変換画像の生成には後方カメラ画像バッファ装置に対して読出しコマンドを送付し、前方カメラ画像バッファ装置からは読み出さないようにすることで、高速処理を可能とするものである。

斯かる観点から、本発明に係る画像生成方法は、撮像手段配置物体に配置された１又は複数の撮像手段によって得られた画像情報を用いて仮想視点からの視点変換画像を生成する画像生成方法において、予め異なる仮想視点ごとに必要な撮像画像を個々の撮像手段から取得して一時記憶し、仮想視点切替に応じて、対応する一時記憶された撮像画像を選択し、視点変換画像を生成し出力表示させるように構成した。

また、本発明に係る画像生成装置は、撮像手段配置物体に配置された１又は複数の撮像手段によって得られた画像情報を用いて仮想視点からの視点変換画像を生成する画像生成装置において、予め異なる仮想視点ごとに必要な撮像画像を個々の撮像手段から取得して一時記憶する一時記憶手段と、仮想視点切替に応じて、対応する撮像画像をもつ一時記憶手段を選択する一時記憶選択手段と、即時に選択した一時記憶手段の撮像画像から視点変換画像を生成する視点変換画像生成手段と、生成した視点変換画像を出力表示させるように構成したものである。

上記構成において、前記一時記憶手段は仮想視点毎にグループ化して同期化させて一時記憶させればよく、プリセットする視点数に応じた一時記憶手段を確保し、視点の変更表示を高速化させるようにすればよい。さらに、前記撮像手段と、前記一時記憶手段間をアナログ回線で接続し、前記一時記憶手段と視点変換画像生成手段とをデジタル回線で接続するようにすればよく、また、前記デジタル回線は車載用ＬＡＮとすることができる。前記撮像手段配置物体は、車両、建築物、人体装着具の少なくともいずれか１つとすることができる。

上記構成によれば、走行車両周辺監視や、建築物の屋内各個所、あるいは人物に搭載してその周辺の監視などを行うに際して、各撮像手段による撮影画像を一時記憶手段にパケット送信して格納しておくことができ、画像生成手段では予め規定されている仮想視点に応じた一時記憶手段に画像データを選択記憶することができる構成となっているので、仮想視点を選択して視点変換画像を生成する際には一時記憶手段に記憶された仮想視点ごとに必要となる画像データを一時記憶手段の選択により一括選択することができ、仮想視点に対応する必要な画像データのみを選択抽出して座標変換画像により合成画像を再構築することができる。これにより無駄なデータ処理を行う必要がなくなり、膨大な画像データの活用部分だけ選択使用によるデータ変換が可能となり、処理時間を短くすることができる。特に高速移動体に搭載する場合には、合成画像の表示遅れは致命的となるのに対し、本願発明では処理能力を大幅に向上させることができる。

以下に、本発明に係る画像生成方法および装置の最良の実施形態につき、図面を参照して、詳細に説明する。
図１は実施形態に係る画像生成装置を車両に搭載して、車両運転時の補助のために周辺状況を監視できるように構成した場合の構成ブロック図である。図示のように、撮像手段配置物体としての車両１０の前後部には、撮像手段としてのカメラ１２が複数装備されている。図示の例では、説明の単純化のため、車両１０の前部に前方カメラ群１２Ｆ（１２ＦＲ、１２ＦＣ、１２ＦＬ）が装備され、各カメラは車両前方の右側４５度の向き、中央、左側４５度の向きを撮像するようにしている。また、車両の後部にも、撮像手段としての後方カメラ群１２Ｒ（１２ＲＲ、１２ＲＣ、１２ＲＬ）が装備され、同様に各カメラは車両後方における右側４５度の向き、中央、左側４５度の向きを撮像するようにしている。これによって、前方カメラ群１２Ｆによって得た画像から車両上方に設定した仮想視点から見た車両前方画像を合成して生成し表示できるようにし、また、後方カメラ群１２Ｒによって得た画像から車両上方に設定した別の仮想視点から見た車両後方画像を合成して生成し表示できるようにしている。もちろん、前方中央カメラ１２ＦＣと右カメラ１２ＦＲを用いた右前方仮想視点などもカメラの組合わせによって任意に設定できるが、ここでは省略する。

車両１０には、前記カメラ１２による撮影画像を、当該カメラ１２による視点とは別の任意の視点から撮影したように画像を合成する視点変換合成画像生成／表示装置１６が装備されている。この視点変換合成画像生成／表示装置１６には、各カメラ１２から画像データが入力されるが、これは直接入力されるのではなく、各カメラ単位に設定されたバッファ装置１４を介して入力させるようにしている。これらバッファ装置１４には各カメラ１２の画像が送信されて一時的に格納されるが、送信される画像データにＩＤを付すようにしている。更に、前述した視点変換合成画像生成／表示装置１６と前記バッファ装置１４とは車載ＬＡＮ回線１８により接続され、いわゆるＬＡＮ接続の構成となっている。また、各カメラ１２とバッファ装置１４とはアナログ回線２０にて接続された構成となっている。

このシステムはＬＡＮ回線１８を介して各カメラ１２のバッファ装置１４から撮影画像データをパケット送信するようになっており、このため、図２に示しているように、撮像手段としてのカメラに付帯しているカメラバッファ装置１４は、撮像画像にＩＤを付加するＩＤ付加手段２４と、生成したＩＤ付き画像をパケット化するパケット生成手段２６、並びに、前記パケットの連続送信制御手段２８を備えている。特に、ＩＤ付加手段２４によって撮影画像データ単位に付加されるＩＤには、タイムスタンプ２４１、撮像手段位置姿勢情報２４２、撮像手段内部パラメータ２４３、露出情報２４４の少なくとも１つを含ませるようにしている。これによって、各カメラから送られる画像データにはＩＤが付され、かつタイムスタンプ２４１のほか、撮影情報が含まれた状態でバッファ装置１４からＬＡＮ回線１８を経由し、視点変換合成画像生成／表示装置１６に向けて連続的にパケット送信されるのである。

一方、視点変換合成画像生成／表示装置１６における基本的な処理は、各カメラ１２の視点で撮影された画像を入力し、車両１０が置かれる三次元空間を設定し、この三次元空間を任意に設定した原点（仮想視点）によって規定し、当該規定された仮想視点から見た三次元空間内に画像データの画素を座標変換して対応させ、仮想視点からみた画像平面上に画素を再配置させる処理を行う。これにより、カメラ視点で得られた画像データの画素を、仮想視点によって規定される三次元空間内に再配置して合成した画像が得られ、カメラ視点ではない所望の視点からの合成画像を作成出力して表示させることができるのである。

ここで、本発明に係る実施形態では、予め規定されている仮想視点単位ごとに必要な画像をまとめて一時的に格納し、視点変換要求されたときに、該当視点に対応するデータのみ一括で読込むとともに、他のデータは読み込まないようにして、データ処理の高速化を図るようにしている。すなわち、設定される仮想視点によって、どのカメラから画像データを取得すべきであるかは一義的に決定する。このため、本実施形態の視点変換合成画像生成／表示装置１６では、図３に示すように、前記視点変換画像における仮想視点ごとに、必要な撮像手段（カメラ１２）から通信制御装置３０を介して入力されるの画像データパケットを、ＬＡＮ回線１８を介して接続されている視点バッファ装置３２（前方カメラ群バッファ装置３２Ｆまたは後方カメラ群バッファ装置３２Ｒ）に一旦格納し、これから規定された仮想視点に対応する画像データを優先取得するバッファ選択装置３４を備えている。例えば、車両１０の上方に設定された仮想視点から車両の前方画像を合成する場合、前方カメラ群１２Ｆによる画像データが必要で、後方カメラ群１２Ｒによる画像データは不要である。そこで、仮想視点の指定に合わせて前記バッファ選択装置３４は画像選択コマンドを発生させる。前方カメラ群バッファ装置３２Ｆから各仮想視点に対応して一時記憶されている複数の変換視点データから指定された変換視点に対応する必要データのみを取得して、空間再構成装置３６に送信するようにしている。同様に、後方表示の合成画像が必要な場合には前方カメラ群１２Ｆの画像データは不要である。この場合はバッファ選択装置３４によって後方カメラ群視点バッファ装置３２Ｒから後方表示するように設定された仮想視点に対応する後方カメラ群１２Ｒから入力されているバッファデータを選択してパケット送信させればよい。

また、実施形態では、バッファ選択装置３４は、プリセットされた仮想視点単位に必要データを一時格納する視点バッファ装置３２Ｆ、３２Ｒからの画像選択とは別に、任意の仮想視点に画像を生成するために必要画像データを選択し得るように、通信制御装置３０を介してカメラ１２から直接画像データを取得できるようにしている。

撮像画像はカメラ１２からカメラバッファ装置１４へはアナログ回線２０にて送信される一方、カメラバッファ装置１４以降は、ＩＤ付き画像データ単位でパケット通信によってバッファ装置３２に一時的に格納されているので、ＩＤ情報を利用して同時刻の画像データを組み合わせることができる。このため、視点変換合成画像生成／表示装置１６は、複数のカメラ１２からの撮像画像をＩＤ情報に基づいて時系列に整理する整列手段３８と、それを時系列に記憶する画像データ記憶装置４０を備えている。また、取得した画像データのパラメータの同期がとれていなければ合成画像は実体とかけ離れてしまう。そのため、前述したように、ＩＤにタイムスタンプ２４１、撮像手段位置姿勢情報２４２、撮像手段内部パラメータ２４３、露出情報２４４の少なくとも１つを含ませ、必要に応じて三次元空間に張り付ける画像データ相互の調整を行うようにすればよい。

なお、上記実施形態では、カメラ１２に付帯しているバッファ装置１４からＬＡＮ回線１８を通じて視点バッファ装置３２（前方もしくは後方カメラ画像バッファ装置３２Ｆ，３２Ｒ）にデータを送信するように構成しているが、図４に示すように、カメラ１２からＮＴＳＣなどのアナログ回線２０を通じて個々の視点バッファ装置３２に直接ビデオデータを送信して一旦格納するようにしてもよい。個々の視点バッファ装置３２はいわゆる一時記憶装置であってＬＡＮ回線１８に接続されている。各視点バッファ装置３２は、一時記憶した画像データをＡ／Ｄ変換処理してパケット送信でＬＡＮ回線１８により視点変換合成画像生成／表示装置１６に通信制御装置３０を通じて画像データを送り込みができる。したがって、バッファ選択装置の呼び出しにより、選択された視点バッファ装置３２は画像データを視点変換合成画像生成／表示装置１６に送り込むのである。

図４に示した構成とすることによって、前方カメラ群など、複数のカメラからの画像をリアルタイムにバッファ装置に取り込むことができる。これは、アナログ回線でバッファ装置に接続したほうが、２芯のＮＴＳＣビデオケーブルで画像を転送できるので有利だからである。また、ビデオレートでバッファ装置に画像を転送できる。このため、ＬＡＮ回線１８から切り離して画像の伝送ができ、伝送の高速化と省配線（主にケーブル太さ）、また、ＬＡＮ全体に流れるパケット数の抑制に効果がある。また、視点バッファ装置３２までの間は、配線長が比較的短いため、アナログ転送でもノイズの影響を最小限にすることができる利点が得られる。

このようにして視点バッファ装置３２から選択的に取り込まれた画像データの各画素は、空間再構成装置３６にて、三次元空間の点に対応付けられ、空間データとして再構成される。これは、選択された画像を構成する各物体が三次元空間のどこに存在するかを計算し、計算結果としての空間データを空間データ記憶装置４２に一旦記憶するようにしている。視点変換手段４３は、空間再構成装置３６によって作成された空間データを記憶装置４２から読み出し、指定された仮想視点から見た画像を再構成するのである。これは前記空間再構成装置３６にて行った処理の逆変換処理となる。これによって、新たな変換視点から見た画像が空間データ記憶装置４２から読み出されたデータによって生成され、一旦、視点変換画像データ記憶装置４４に格納した後、表示装置４６にて視点変換画像として表示されることになる。この実施形態では、前記視点変換画像における仮想視点の移動に応じて必要な撮像手段からの画像データパケットが視点バッファ装置３２若しくはカメラバッファ装置１４から優先取得されるので、余分なデータ処理がなくなり、本実施形態では画像合成処理速度が速くなり、即時性が要求される車両のような移動体への適用に高い効果がある。

このような画像生成装置によれば、複数のカメラ１２と視点変換合成画像生成／表示装置１６とをバッファ装置１４、３２を介在させてＬＡＮ接続し、設定される仮想視点ごとに一義的に決まる必要画像データをバッファ装置１４、３２から取捨選択してパケット送信により迅速に取り込み、画像合成して表示するようにしているため、画像表示速度が速くなり、合成画像の迅速な表示ができるため、極めて優れた画像生成装置とすることができる。

なお、上記実施形態においては、車両１０への適用例を説明したが、これは建築物内部の監視空間、例えば店舗の監視、不在室内の監視、路上の監視などのために建築物に設備することも可能である。更に、車椅子などへの適用、あるいは人の衣服その他の装着物へ装備して移動空間周辺の監視に利用することも可能である。

本発明に係る画像生成装置は、車両の運転席に装備した表示装置に車両外部の周辺情報をカメラ視点とは異なった仮想の視点から見た画像として表示させることができ、また安全警備のための監視装置として利用することができる。

実施形態に係る画像生成装置を車両に装備した場合の構成ブロック図である。 撮像手段としてのカメラ構成のブロック図である。 画像生成／表示装置のブロック図である。 他の実施形態に係る画像生成／表示装置の要部ブロック図である。

符号の説明

１０………車両、１２………カメラ、１２Ｆ………前方カメラ群、１２Ｒ………後方カメラ群、１４………カメラバッファ装置、１６………視点変換合成画像生成／表示装置、１８………ＬＡＮ回線、２０………アナログ回線、２４………ＩＤ付加手段、２４１………タイムスタンプ、２４２………撮像手段位置姿勢情報、２４３………撮像手段内部パラメータ、２４４………露出情報、２６………パケット生成手段、２８………連続送信制御手段、３０………通信制御装置、３２………視点バッファ装置、３２Ｆ………前方カメラ群バッファ装置、３２Ｒ………後方カメラ群バッファ装置、３４………バッファ選択装置、３６………空間再構成装置、３８………整列手段、４０………画像データ記憶装置、４２………空間データ記憶装置、４３………視点変換手段、４４………視点変換画像データ記憶装置、４６………表示装置、４８………障害物検出手段、５０………優先読み出し制御手段。

Claims (7)

1. 撮像手段配置物体に配置された１又は複数の撮像手段によって得られた画像情報を用いて仮想視点からの視点変換画像を生成する画像生成方法において、
   予め異なる仮想視点ごとに必要な撮像画像を個々の撮像手段から取得して一時記憶し、仮想視点切替に応じて、対応する一時記憶された撮像画像を選択し、視点変換画像を生成し出力表示させることを特徴としてなる画像生成方法。
2. 撮像手段配置物体に配置された１又は複数の撮像手段によって得られた画像情報を用いて仮想視点からの視点変換画像を生成する画像生成装置において、
   予め異なる仮想視点ごとに必要な撮像画像を個々の撮像手段から取得して一時記憶する一時記憶手段と、仮想視点切替に応じて、対応する撮像画像をもつ一時記憶手段を選択する一時記憶選択手段と、即時に選択した一時記憶手段の撮像画像から視点変換画像を生成する視点変換画像生成手段と、生成した視点変換画像を出力表示させることを特徴としてなる画像生成表示装置。
3. 前記一時記憶手段は仮想視点毎にグループ化して同期化させて一時記憶してなることを特徴とする請求項２に記載の画像生成表示装置。
4. プリセットする視点数に応じた一時記憶手段を確保し、視点の変更表示を高速化させてなることを特徴とする請求項２に記載の画像生成表示装置。
5. 前記撮像手段と、前記一時記憶手段間をアナログ回線で接続し、前記一時記憶手段と視点変換画像生成手段とをデジタル回線で接続してなることを特徴とする請求項２に記載の画像生成表示装置。
6. 前記デジタル回線は車載用ＬＡＮであることを特徴とする請求項５記載の画像生成表示装置。
7. 前記撮像手段配置物体は、車両、建築物、人体装着具の少なくともいずれか１つであることを特徴とする請求項２に記載の画像生成装置。

Images