JP2007102462A - 画像合成方法、システム、端末、および画像合成プログラム - Google Patents

Abstract

【課題】撮影機能と表示機能を持つユーザ端末と、画像認識機能と画像合成機能を持つネットワーク上の端末とからなる画像合成システムにおいて、ネットワーク上の端末からユーザ端末に送信されるデータ量を低減させる。
【解決手段】差分情報生成機能付き合成処理部１２７は、合成物生成部１２４または合成物記憶部１２５から得られた仮想物画像データを端末１１０から送られてきた撮撮影画像データ上に重畳描画して、画像合成を行ない、差分画像データと、差分画像データが撮影画像データに対してどの位置に配置されるべきかの座標を示すオフセット数値データを生成する。差分情報合成処理部１１６は差分画像データとオフセット数値データを端末１２０から受け取ると、画像処理部１１５から撮影画像データを読み出し、撮影画像データを下絵として、オフセット数値データの示す座標の位置に差分画像データを重畳描画し、合成結果画像データを生成する。
【選択図】図１

Description

本発明は、画像の撮影と画像の表示を行なう第１の端末と、画像の認識と画像の合成を行なう第２の端末とがネットワークによって接続され、撮影画像を入力し、仮想物を合成した合成画像を出力するシステムに関するものである。

ユーザが撮影機能のある端末を用いて自分の周囲の実空間の画像を撮影し、その撮影画像を画像合成システムに入力することにより、画像合成システムが仮想物体やキャラクタを合成し、その結果を出力してユーザに提示するシステムが従来より提案されている。図７（１）は撮影画像の例、図７（２）は合成結果画像の例である。

特に、撮影画像中に、認識対象となるマーカ、すなわち具体的には特定印刷物や特定形状物体が含まれている場合、システムは画像認識処理を行なって、実空間におけるマーカの位置や方向を算出し、合成する物体の大きさや向きを合成処理に反映させることができ、これにより、実空間に実在しないものが、あたかも存在するような画像合成を行なうことができる。そのような例が非特許文献１で提案されている。

さらに、ユーザが利用する端末の処理能力が小さい場合、負荷の大きい処理をネットワーク上に接続された別のサーバ端末に処理させることによって、上記の目的を達成することができる。そのような例が特許文献１、特許文献２で提案されている。

以上に述べたような従来のシステムの構成を図８に示す。端末２１０はユーザが持つカメラ付携帯電話や小型ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等で、画像取得部２１１と送信処理部２１２と受信処理部２１３と画像表示部２１４を有している。端末２２０はネットワーク（不図示）によって端末２１０と接続されたサーバ端末等で、受信処理部２２１と認識処理部２２２と合成処理部２２３と合成物生成部２２４と合成物記憶部２２５と送信処理部２２６を有している。

画像取得部２１１はユーザの指示操作により、実空間を撮影した撮影画像データを取得し、取得した撮影画像データを送信処理部２１２に送出する。送信処理部２１２は、撮影画像データを通信プロトコルに従って端末２２０に送信する。

端末２２０の受信処理部２２１は画像データを受信し、撮影画像データを復元し、それを認識処理部２２２に送出する。認識処理部２２２は、撮影画像データ中に含まれるマーカを画像認識し、実空間中におけるマーカの位置や方向を計算し、合成処理用パラメタ情報を算出し、撮影画像データと合成処理パラメタ情報を合成処理部２２３に送出する。なお、合成パラメタの内容例としては、実空間中におけるマーカ位置、方向、マーカ種別等が挙げられるが、その内容は、合成処理時の実施内容により様々な形式をとる。合成処理部２２３は、撮影画像データと合成処理用パラメタを受け取り、この２つのデータに基づいて合成処理を開始する。撮影画像データに合成する仮想物については、仮想物画像データをその段階で動的に生成する場合と、予め生成したものを記憶部に蓄積しておく場合が考えられる。仮想物画像データを動的に生成する場合、合成処理部２２３が合成物生成部２２４に仮想物画像データの画像生成を依頼し、仮想物画像データを受け取る。予め蓄積されている画像データを参照する場合、合成処理部２２３が合成物記憶部２２５に仮想物の画像の検索を依頼し、角度など検索条件に最も近い仮想物画像データを受け取る。合成処理部２２３は、合成物生成部２２４または合成物記憶部２２５から得られた仮想物画像データを撮影画像データの上に重畳描画して、画像合成を行なう。この時、仮想物画像データは拡大縮小や回転など変形処理が施されることもある。また、仮想物画像データが透過情報を持っている場合、透過な領域には背景となる撮影画像データが見えるように合成が行なわれることもある。以上のような合成処理の結果、撮影画像データと仮想物画像データが合成された合成結果画像データが生成される。合成処理部２２３は、得られた合成結果画像データを送信処理部２２６に送出する。送信処理部２２６は、合成結果画像データを通信プロトコルに従って端末２１０に送信する。

端末２１０の受信処理部２１３は合成結果画像データを受信し、合成結果画像データを復元し、それを画像表示部２１４に送出する。画像表示部２１４は、合成結果画像データをディスプレイ等のデバイスに表示し、ユーザに視覚的情報を提供する。

図９は撮影画像の送受信と合成結果画像の送受信の例を示している。

これにより、ユーザは実空間に存在していない仮想物が、あたかもそこに存在しているような画像を見ることが可能となる。

なお、撮影画像データは、画像認識の対象、および合成処理の背景として利用されるが、合成処理のアルゴリズムによっては撮影画像データ自体にも加工処理が実施される場合がある。具体的には、特許文献２において、仮想物画像データが透過情報を多段値で持つ場合、その透過具合に応じて、撮影画像データ自体にぼかし処理を実施し、その処理の実施後に合成処理の背景画像として利用されることが示されている。
Ｈ．Ｍａｔｓｕｏｋａ ｅｔ ａｌ., "Ｒｅｇｅｎｅｒａｔｉｏｎ ｏｆ Ｒｅａｌ Ｏｂｊｅｃｔｓ ｉｎ ｔｈｅ Ｒｅａｌ Ｗｏｒｌｄ"，ＳＩＧＧＲＡＰＨ ２００２，Ｓａｎ Ａｎｔｏｎｉｏ，２１−２６ ＪＵＬＹ，２００２年 特開２００２−１１１９９８号公報 特開２００４−３４１６４２号公報

上述した従来の画像合成システムでは、仮想物画像データを撮影画像データに重畳描画することにより、合成結果画像が生成されていたため、撮影画像データと合成結果画像データの画素数的なサイズは同じ大きさとなっていた。

仮想物画像データが撮影画像データに占める面積的な割合が小さい場合、撮影画像データと合成結果画像データで、差異の全くない領域が多く発生する。従来の画像合成システムでは、合成処理を実施する端末（サーバ等）が合成結果画像の全体をユーザの端末（ＰＣ、携帯電話等）に返信しているため、差異の生じない画像情報も含め、無駄なデータ通信を行なっていた。無駄なデータ通信は、通信時間の増加、通信コストの増加など、ユーザ視点で眺めた場合、利用上の欠点となっていた。

本発明の目的は、ネットワーク上の端末からユーザ端末に送信されるデータ量を低減させることができる画像合成方法、システム、および端末を提供することにある。

撮影画像データと、合成結果画像データでは仮想物の重畳描画によって影響を受けない領域もある（以降、仮想物画像データの重畳描画により、撮影画像データと差異が生じる領域の画像を差分画像、またその画像データを差分画像データと呼ぶことにする）。そこで、合成処理を実施する端末側では、仮想物画像データの拡大縮小、回転、透過再現などの処理と重畳描画を実施した結果、撮影画像データに対し影響を及ぼす領域のみについて、表示する端末側に返信する。表示する端末では、撮影画像と差分情報から合成画像を生成する。

具体的な解決手段としては、
・撮影画像データを取得する端末側に、撮影画像データを記憶しておく画像記憶部と、撮影画像データと差分画像データを合成する差分情報合成処理部を設ける。
・合成物データを生成または蓄積している端末側に、差分画像データを生成する差分情報生成機能付き合成処理部を設ける。

上記の構成により、合成物データを生成または蓄積している端末側は、合成結果画像データの全体を返信することなく、差分画像データだけを返信すればよく、通信データ量を低減させることができる。結果表示を行なう端末側では、撮影画像データの一部を差分画像データで上書きするという、単純な処理で従来技術と同じ合成結果画像データを表示することができる。

本発明は、撮影機能と表示機能を持つユーザ端末と、画像認識機能と画像合成機能を持つネットワーク上の端末が連係し、ユーザの周囲の実空間画像に対して仮想物体やキャラクタを合成表示するシステムにおいて、ネットワーク上の端末からユーザ端末に送信されるデータ量を低減させることができ、これにより、通信コストと通信時間を低減することができ、ユーザにとっての利便性を向上させることができる。

［第１の実施形態］
次に、本発明の実施の形態について図面を参照して説明する。

図１は本発明の第１の実施形態による画像合成システムの構成を示すブロック図である。

端末１１０はユーザが持つカメラ付携帯電話や小型ＰＣ等で、画像取得部１１１と送信処理部１１２と受信処理部１１３と画像表示部１１４と画像記憶部１１５と差分情報合成処理部１１６を有している。端末1２０はネットワーク(不図示)によって端末１１０と接続されたサーバ端末等で、受信処理部１２１と認識処理部１２２と合成物生成部１２４と合成物記憶部１２５と送信処理部１２６と差分情報合成機能付き合成処理部１２７を有している。

画像取得部１１１はユーザの指示操作により、実空間を撮影した撮影画像データを取得する。なお、ここでは説明を容易化するため、撮影画像データ中にマーカが１つだけ含まれる場合を想定する。画像取得部１１１は、取得した撮影画像データを画像記憶部１１５に送出する。画像記憶部１１５は、受け取った撮影画像データを一時的に記憶する。上記記憶処理の実施後、画像取得部１１１は、撮影画像データを送信処理部１１２に送出する。送信処理部１１２は、撮影画像データを通信プロトコルに従って、端末１２０に送信する。

端末１２０の受信処理部１２１は撮影画像データを受信、復元し、それを認識処理部１２２に送出する。認識処理部１２２は、撮影画像データ中に含まれるマーカを画像認識し、実空間中におけるマーカの位置や方向を計算し、合成処理用パラメタ情報を算出し、撮影画像データと合成処理パラメタ情報を差分情報生成機能付き合成処理部１２７に送出する。なお、合成パラメタの例としては、実空間中におけるマーカ位置、方向、マーカ種別等が挙げられるが、合成処理時の実施内容により様々な形式をとる。

差分情報生成機能付き合成処理部１２７は、撮影画像データと合成処理用パラメタを受け取り、この２つのデータに基づいて合成処理を開始する。撮影画像データに合成される仮想物については、仮想物画像データを合成処理の段階で動的に生成する場合と、予め生成したものを記憶部に蓄積しておく場合が考えられる。仮想物画像データを動的に生成する場合、差分情報生成機能付き合成処理部１２７が合成物生成部１２４に仮想物画像データの生成を依頼し、生成結果を受け取る。予め蓄積されている仮想物画像データを参照する場合、差分情報生成機能付き合成処理部１２７が合成物記憶部１２５に仮想物画像データの検索を依頼し、角度など検索条件に最も近い仮想物画像データを受け取る。差分情報生成機能付き合成処理部１２７は、合成物生成部１２４または合成物記憶部１２５から得られた仮想物画像データを撮影画像データの上に重畳描画して、画像合成を行なう。この時、仮想物画像データに拡大縮小、回転など変形処理が施されることもある。また、仮想物画像データが透過情報を持っている場合、透過な領域に背景となる撮影画像データが見えるように合成が行なわれることもある。あるいは、特許文献２に示された関連技術により、撮影画像データに対し、仮想物の透過率に応じてボカシや減色などの加工処理を予め実施してから仮想物を重畳描画することで、リアリティの高い合成を行なうことができる。合成処理の結果、差分情報生成機能付き合成処理部１２７は、仮想物画像データが撮影画像データに影響を与える領域のみを抽出し、全体に対して部分的な画像データとなる差分画像データを生成し、それと同時に、差分画像データが撮影画像データに対してどの位置に配置されるべきかの座標を示すオフセット数値データを生成する（図２参照）。差分情報生成機能付き合成処理部１２７は、生成した差分画像データおよびオフセット数値データを送信処理部１２６に送出する。送信処理部１２６は、差分画像データおよびオフセット数値データを通信プロトコルに従って端末１１０に送信する。

端末１１０の受信処理部１１３は、差分画像データおよびオフセット数値データを受信し、差分画像データおよびオフセット数値データを復元し、差分情報合成処理部１１６に送出する。差分情報合成処理部１１６は差分画像データとオフセット数値データを受け取ると、画像処理部１１５に一時的に記憶されていた撮影画像データを読み出す。その上で、差分情報合成処理部１１６は、撮影画像データを下絵として、オフセット数値データの示す座標の位置に差分画像データを重畳描画し、統合された合成結果画像データを生成する。差分情報合成処理部１１６は次に、生成した合成結果画像を画像表示部１１４に送出する。画像表示部１１４は、合成結果画像データをディスプレイ等のデバイスに表示し、ユーザに視覚的情報を提供する。

図３は図９と同じ撮影画像が端末１１０から端末１２０に送られ、端末１２０で差分画像とオフセット数値が生成され、端末１１０に送られる様子を示す図である。

以上に示したように本実施形態によれば、従来のシステムで得られる合成結果画像データと同品質の結果表示を実現しつつ、端末１２０から端末１１０に送信するデータ量を減らすことができ、通信時間と通信コストを低減させることができる。

なお、上記説明において差分画像データとオフセット数値データは区別して記述しているが、これらを統合した独自のデータフォーマットを利用することも可能である。

また、合成すべき仮想物を決定する方法としては、ユーザが明示的に指定する方法と、画像認識処理により自動判別する方法の両方をシステムに実装し得る。ユーザが明示的に指定する場合、端末１１０のユーザが予め与えられている候補から合成したい仮想物を選択し、その仮想物の識別ＩＤを撮影画像データの送信時に端末１２０に伝達することで、ユーザが意図する仮想物を合成することができる。画像認識処理により自動判別する場合、認識処理部１２２においてマーカ種別を認識し、その認識結果に応じて仮想物を決定することにより、ユーザは撮影時にマーカを使い分けることで意図する仮想物を合成することができる。

具体的な実装手段としては、ユーザ端末１１０としてカメラ付携帯電話を利用し、ユーザ端末１１０側の機能を携帯電話アプリケーション用のプログラム言語で実現する方法が考えられる。本発明では、画像認識処理や画像合成処理をネットワーク上に接続された処理能力の高いサーバで処理するため、ユーザ端末１１０での処理を単純なものとすることで、計算処理能力が低く、作業用メモリの容量も小さい携帯電話においても実現が容易となる。

［第２の実施形態］
第１の実施形態では、撮影画像データに認識対象となるマーカが１つだけ含まれる場合について説明を行なった。撮影画像データにマーカが複数含まれる場合については、差分情報生成機能付き合成処理部１２７は、画像認識に基づき遠方にあるマーカから順番に合成処理を実施し合成画像を生成する。これにより、遠くに配置される合成物は、近くにある合成物によって部分的に隠されるようになり、視覚的に遠近感を再現することができる。全ての合成処理が終わってから、差分情報生成機能付き合成処理部１２７は差分画像データとオフセット数値データを生成する。

ここで、複数の差分画像データに関して、その領域がお互いに重ならず独立である場合と、部分的に重複する場合がある。

差分画像データの領域が互いに独立している場合には、合成物の個数分の差分画像データおよびオフセット数値データをユーザ端末１１０側に送信する。

差分画像データの領域に重複する場合には、ユーザ端末１１０に送信する方法が複数考えられる。第１の場合として、個々の差分画像データとオフセット数値データを、互いに独立している場合と同様に個別に送信する方法が考えられる。第２の場合として、個々の差分画像データの領域を１つに内包する新規の差分画像データ領域を再設定し、その差分画像データおよびオフセット数値データを送信する方法が考えられる（図４参照）。第３の場合として、差分画像データの領域のみを一度統合し、その上で重複のない独立した矩形領域に再分割し、各矩形領域を新たな差分画像データ領域として再設定し、個々の差分画像データおよびオフセット数値データを送信する方法が考えられる（図５参照）。第４の場合として、前述の第１から第３の場合で示した方法を複合的に組み合わせ、重複領域面積の最小化、圧縮伸張の効果も含めたデータ量の最小化、ユーザ端末における処理負荷などを考慮し、最適化した送信データをユーザ端末に送信する方法が考えられる。なお、最適化アルゴリズムについては別の技術であり、ここでは触れない。

以上に述べたように、撮影画像データに画像認識対象となる複数のマーカが存在する場合にも、元の撮影画像データに対して、複数の仮想物を合成表示することが可能である。合成物の表示領域が重複する場合においても、第２の場合と示した方法で対応すれば、確実に撮影画像データ以下の画素数サイズで差分画像データを生成することができる。

［第３の実施形態］
第１の実施形態では、画像認識の対象となるマーカ位置に、１枚の仮想物画像データを重ねることで、全体として１枚の合成画像を表示する方法について述べた。ここでは、差分情報生成機能付き合成処理部１２７が、マーカ位置に対して複数の仮想物データを生成し、ユーザ端末１１０側でアニメーション表示をするような実施形態について述べる。

差分情報生成機能付き合成処理部１２７が、撮影画像データと合成処理用パラメタを受け取った後、マーカの方向に適合する仮想物画像データを合成物生成部１２４または合成物記憶部１２５から取得する。この時、マーカ面の法線を軸として、仮想物の向きを一定間隔で回転させた場合の画像も合わせて取得する。具体的な例としては、９０度間隔の場合は合計４枚、４５度間隔の場合は合計８枚の仮想物画像データを取得する。

これら取得した複数の仮想物画像データについて、それぞれ撮影画像データの合成処理を実施し、それぞれが撮影画像データに影響を与える領域を求め、差分画像データとオフセット数値データを生成する（図６参照）。生成された差分画像データとオフセット数値データの全てをユーザ側端末１１０に送信し、ユーザ側端末１１０で撮影画像データに重畳描画することにより、一定時間間隔で仮想物が回転するアニメーション表示を実施したり、ユーザの操作に応じて向きを変えるようなインタラクティブ表示を実施することができる。

なお、上記説明では複数の差分画像データに対し、オフセット数値データを一対で生成する方法を記述したが、別の方法も採りえる。具体的には、差分情報生成機能付き合成処理部１２７が、複数回ある仮想物画像データの合成処理によって影響受ける範囲の全てを内包するような矩形領域の大きさを算出し、各差分画像データをこの矩形領域の大きさで統一し、全体で共通のオフセット数値データを１つ生成する。これら、大きさが統一された複数の差分画像データと、１つのオフセット数値データをユーザ端末１１０に送信し、ユーザ端末１１０側で撮影画像データに重畳描画することにより、一定時間間隔で仮想物が回転するアニメーション表示を実施したり、ユーザの操作に応じて向きを変えるようなインタラクティブ表示を実施することができる。

[第４の実施形態]
なお、上述した端末１１０および１２０の機能は、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータ内の揮発性メモリのように、一定時間プログラムを保持しているものを含む。

本発明の第１の実施形態による画像合成システムの構成を示す図である。 本発明の第１の実施形態における差分情報生成機能付き合成処理部による差分画像データおよびオフセット数値データの生成処理過程を示す図である。 送受信データの概念図である。 本発明の第２の実施形態における、複数の仮想物が重なりあう場合に、全体で一つの差分画像データに再設定する方法を示す図である。 本発明の第２の実施形態における、複数の仮想物が重なりあう場合に、お互いが重複しないような矩形領域で、差分画像データを再設定する方法を示す図である。 本発明の第３の実施形態における、一つの認識マーカに対し、仮想物の角度を変えながら、複数の差分画像データを生成した場合の例を示す図である。 画像合成システムの入力と出力の例を示した図である。 画像合成システムの従来例の構成を示す図である。 図８の従来のシステムにおける送受信データの概念図である。

符号の説明

１１０ 端末
１１１ 画像取得部
１１２ 送信処理部
１１３ 受信処理部
１１４ 画像表示部
１１５ 画像記憶部
１１６ 差分情報合成処理部
１２０ 端末
１２１ 受信処理部
１２２ 認識処理部
１２４ 合成物生成部
１２５ 合成物記憶部
１２６ 送信処理部
１２７ 差分情報生成機能付き合成処理部

Claims (9)

1. 画像の撮影と画像の表示を行なう第１の端末と、画像の認識と画像の合成を行なう第２の端末とがネットワークによって接続され、撮影画像を入力し、仮想物を合成した合成画像を出力する画像合成方法において、
   前記第１の端末において、撮影画像を画像記憶部に記憶するとともに前記第２の端末に送信するステップと、
   前記第２の端末において、前記第１の端末から送信されてきた撮影画像と合成画像の差分情報を生成し、前記第１の端末に送信するステップと、
   前記第１の端末において、前記画像記憶部に記憶されている撮影画像と前記差分情報から合成画像を生成するステップと
   を有することを特徴とする画像合成方法。
2. 画像の撮影と画像の表示を行なう第１の端末と、画像の認識と画像の合成を行なう第２の端末とがネットワークによって接続され、撮影画像を入力し、仮想物を合成した合成画像を出力するシステムにおいて、
   前記第１の端末側に撮影画像を記憶する画像記憶部を有し、前記第２の端末側に前記第１の端末から送信されてきた撮影画像と合成画像の差分情報を生成する差分情報生成機能付き合成処理部を有し、前記第１の端末側に、前記画像記憶部に記憶されている撮影画像と前記差分情報から合成画像を生成する差分情報合成処理部を有することを特徴とする画像合成システム。
3. 前記第２の端末は、前記撮影画像中に含まれるマーカを画像認識し、合成処理用パラメタを算出し、前記撮影画像のデータと前記画像処理用パラメタのデータを前記差分情報生成機能付き合成処理部に送出する認識処理部をさらに有し、前記差分情報生成機能付き合成処理部は、前記撮影画像データ上に仮想物画像データを重畳描画して、画像合成を行ない、差分画像データと、該差分画像データが撮影画像データに対してどの位置に配置されるべきかの座標を示すオフセット数値データを生成し、前記差分情報合成処理部は、前記画像記憶部に記憶されている撮影画像のデータ上の、前記オフセット数値データが示す座標の位置に前記差分画像データを重畳し合成画像を生成する、請求項２に記載の画像合成システム。
4. 合成する仮想物の画像データが透過率の情報を有し、前記差分情報生成機能付き合成処理部は、透過率に応じて撮影画像に対し画像加工を実施し、その上で仮想物の画像データを重ねる、請求項２または３に記載の画像合成システム。
5. 前記差分情報生成機能付き合成処理部は、合成する仮想物が複数ある場合にも、差分情報を複数個生成し、あるいは一つの統合した差分情報を生成し、前記第１の端末へ送信する、請求項２から４のいずれかに記載の画像合成システム。
6. 前記差分情報生成機能付き合成処理部は、仮想物の設置方向やポーズを変えた複数の合成画像を生成し、その上で複数の差分情報を生成し、前記第１の端末へ送信する、請求項２から４のいずれかに記載の画像合成システム。
7. 撮影画像を記憶する画像記憶部と、撮影画像を取得し、該撮影画像を前記画像記憶部に記憶する画像取得部と、該画像を、撮影画像と合成画像の差分情報を生成する端末に送信する送信処理部と、前記端末から前記差分情報を受信する受信処理部と、前記画像記憶部に記憶されている撮影画像と前記差分情報から合成画像を生成する差分情報合成処理部と、前記合成画像を表示する画像表示部とを有する端末。
8. 端末から撮影画像を受信する受信処理部と、前記端末から送信されてきた撮影画像と合成画像の差分情報を生成する差分情報生成機能付き合成処理部と、前記差分情報を前記端末に送信する送信処理部とを有する端末。
9. 請求項７または８に記載の端末の機能をコンピュータで実行するためのプログラム。