JP7417827B2 - 画像編集方法、画像表示方法、画像編集システム、及び画像編集プログラム - Google Patents

Description

本発明は、拡張現実又は複合現実に好適な画像編集方法、画像表示方法、画像編集システム、及び画像編集プログラムに関する。

従来より、カメラで実空間の映像を連続的に取得して表示しつつ、この連続的に表示される映像に付加情報を重畳する拡張現実（ＡＲ）システムが知られている（例えば、特許文献１参照。）。

特開２０１０－２３８０９６号公報

ところで、上述のような拡張現実（ＡＲ）を実現するためには、予め、付加情報など、その実空間の所定位置に表示したい画像を実空間と対応付けるための画像編集を行う必要がある。また、実際の風景の中に、仮想的な画像をリアルに表示するためには、背景と仮想的な画像の前後関係を正しく反映した合成映像を生成する必要がある。しかしながら、背景と仮想的な画像の前後関係を正しく反映させ、実際の場所で意図したとおりの画像をユーザに見せるように、予め画像編集することは容易でない。

本発明の目的は、現実空間でユーザに対して意図したとおりの拡張現実（ＡＲ）又は複合現実（ＭＲ）を体験させることが容易な画像編集方法、画像表示方法、画像編集システム、及び画像編集プログラムを提供することである。

本発明に係る画像編集方法は、（Ａ１）所定の現実空間が表わされた３Ｄモデルを画像表示し、（Ａ２）前記画像表示された３Ｄモデル上における、所望の目的画像を貼り付ける位置である三次元の指定位置の入力操作を受け付け、（Ａ３）前記３Ｄモデルに対して前記指定位置に前記目的画像を対応付けた三次元貼付位置情報を生成し、（Ａ４）前記現実空間を、所定の視点位置を中心に水平方向に３６０度撮影した全周画像を含む事前実写データに基づいて前記視点位置から所定の視線方向に見た事前実写画像と、前記三次元貼付位置情報における前記目的画像を前記視点位置から前記視線方向に見たときの画像とを重ね合わせ、（Ａ５）前記重ね合わせられた画像における、前記３Ｄモデルと前記目的画像の位置関係に基づき、前記目的画像が前記３Ｄモデルの手前に位置する部分では前記事前実写画像を表示せずに前記目的画像を表示し、前記３Ｄモデルが前記目的画像の手前に位置する部分では前記目的画像を表示せずに前記事前実写画像を表示する。

また、本発明に係る画像編集システムは、上述の画像編集方法を実行する。

また、本発明に係る画像編集プログラムは、上述の画像編集方法を、コンピュータに実行させる。

これらの画像編集方法、画像編集システム、及び画像編集プログラムによれば、（Ａ２）で、編集作業者が、画像表示された３Ｄモデル上における、所望の三次元の指定位置に目的画像を張り付けた三次元貼付位置情報を生成することができる。そして、所定の視点位置を中心に水平方向に３６０度撮影した全周画像を含む事前実写データを用いて（Ａ３）～（Ａ５）が実行されるので、その三次元貼付位置情報を用いて現実空間でユーザが拡張現実（ＡＲ）又は複合現実（ＭＲ）によって体験するであろう景色の、水平方向に３６０度の範囲内で所定の視線方向からみた画像を、作業者が実際にその現実空間を訪れることなく、確認することができる。その結果、現実空間でユーザに対して意図したとおりの拡張現実（ＡＲ）又は複合現実（ＭＲ）を体験させることができる三次元貼付位置情報を生成することが容易となり、従って、現実空間でユーザに対して意図したとおりの拡張現実（ＡＲ）又は複合現実（ＭＲ）を体験させることが容易となる。

また、（Ａ６）前記（Ａ５）の後に新たな前記視線方向の入力操作を受け付け、前記新たな視点位置から前記新たな視線方向に見た３Ｄモデルを画像表示し、（Ａ７）前記（Ａ６）で表示された画像と前記新たな視線方向とに基づいて再び前記（Ａ２）～（Ａ５）を実行することが好ましい。

この構成によれば、編集作業者は、水平方向に３６０度の範囲内で、自由に視線方向を変化させて、上述のその三次元貼付位置情報を用いて現実空間でユーザが拡張現実（ＡＲ）又は複合現実（ＭＲ）によって体験するであろう景色の画像を確認することができる。その結果、現実空間でユーザが視線方向を動かした場合でも、現実空間でユーザに対して意図したとおりの拡張現実（ＡＲ）又は複合現実（ＭＲ）を体験させることができる三次元貼付位置情報を生成することが容易となる。

また、前記事前実写データは、前記視点位置を中心に水平方向に３６０度、水平方向と交差する方向に１８０度撮影した半天球画像を少なくとも含むことが好ましい。

この構成によれば、変化させることのできる視線方向の自由度が増大する。

また、前記目的画像は、静止画、動画、又はコンピュータグラフィックスであることが好ましい。

この構成によれば、現実空間の景色に、静止画、動画、又はコンピュータグラフィックスが表示された拡張現実（ＡＲ）又は複合現実（ＭＲ）をユーザに体験させることができる。

また、本発明に係る画像表示方法は、上述の画像編集方法によって生成された前記三次元貼付位置情報に基づいて拡張現実又は複合現実による表示を行う画像表示方法であって、（Ｂ１）前記現実空間を撮像する撮像部と前記撮像部で撮像された実写画像を表示する表示部とを備えた非透過型端末装置に前記三次元貼付位置情報を記憶させ、（Ｂ２）前記非透過型端末装置を前記現実空間に位置させ、（Ｂ３）前記撮像部によって前記現実空間を実写して実写画像を取得すると共に前記実写の視点位置及び前記実写の視線方向を取得し、（Ｂ４）前記三次元貼付位置情報における前記目的画像を、前記（Ｂ３）で取得された前記視点位置及び前記視線方向から見た画像に変換すると共に、前記三次元貼付位置情報における、前記３Ｄモデルと前記目的画像の位置関係に基づき、前記目的画像が前記３Ｄモデルの手前に位置する部分では前記実写画像を表示せずに前記変換された目的画像を表示し、前記３Ｄモデルが前記目的画像の手前に位置する部分では前記目的画像を表示せずに前記実写画像を表示する。

この方法によれば、上述の画像編集方法によって生成された三次元貼付位置情報を用いて、非透過型端末装置によって、ユーザに拡張現実（ＡＲ）又は複合現実（ＭＲ）を体験させることができるので、現実空間でユーザに対して意図したとおりの拡張現実（ＡＲ）又は複合現実（ＭＲ）を体験させることが容易となる。

また、本発明に係る画像表示方法は、上述の画像編集方法によって生成された三次元貼付位置情報に基づいて拡張現実又は複合現実による表示を行う画像表示方法であって、（Ｃ１）ユーザが前記現実空間を直接視認可能な直接視認型端末装置に前記三次元貼付位置情報を記憶させ、（Ｃ２）前記直接視認型端末装置を前記現実空間に位置させ、（Ｃ３）前記ユーザの視点位置及び前記ユーザの視線方向を取得し、（Ｃ４）前記三次元貼付位置情報における前記目的画像を、前記（Ｃ３）で取得された前記視点位置及び前記視線方向から見た画像に変換すると共に、前記三次元貼付位置情報における、前記３Ｄモデルと前記目的画像の位置関係に基づき、前記目的画像が前記３Ｄモデルの手前に位置する部分では前記変換された目的画像を前記ユーザに視認させ、前記３Ｄモデルが前記目的画像の手前に位置する部分では前記目的画像を前記ユーザに視認させない。

この方法によれば、上述の画像編集方法によって生成された三次元貼付位置情報を用いて、直接視認型端末装置によって、ユーザに拡張現実（ＡＲ）又は複合現実（ＭＲ）を体験させることができるので、現実空間でユーザに対して意図したとおりの拡張現実（ＡＲ）又は複合現実（ＭＲ）を体験させることが容易となる。

このような構成の画像編集方法、画像表示方法、画像編集システム、及び画像編集プログラムは、現実空間でユーザに対して意図したとおりの拡張現実（ＡＲ）又は複合現実（ＭＲ）を体験させることが容易となる。

本発明の一実施形態に係る画像編集方法を実行する画像編集システムの構成の一例を示すブロック図である。 図１に示す画像編集システムの動作の一例を示すフローチャートである。 図１に示す画像編集システムの動作の一例を示すフローチャートである。 ３Ｄモデルを、事前実写データの視点位置からみた画像の一例である。 目的画像の一例を示す説明図である。 ３Ｄモデル上の指定された三次元の位置に、目的画像を張り付けた状態を図示した説明図である。 ３Ｄモデルの表示画像に対して、視点位置と視線方向とを一致させた事前実写画像の一例を示す説明図である。 ステップＳ８でディスプレイに表示される画像の一例を示す説明図である。 非透過型端末装置を用いて、拡張現実（ＡＲ）画像又は複合現実（ＭＲ）画像を表示する場合の画像表示方法の一例を示すフローチャートである。 直接視認型端末装置を用いて、拡張現実（ＡＲ）画像又は複合現実（ＭＲ）画像を表示する場合の画像表示方法の一例を示すフローチャートである。

以下、本発明に係る実施形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、その説明を省略する。図１は、本発明の一実施形態に係る画像編集方法を実行する画像編集システムの構成の一例を示すブロック図である。図１に示す画像編集システム１は、後述する拡張現実（ＡＲ）又は複合現実（ＭＲ）に用いる画像を編集する装置である。

画像編集システム１は、例えば、いわゆるパーソナルコンピューターから構成されている。画像編集システム１は、例えば、演算部１０、ディスプレイ１１、キーボード１２、マウス１３、及び記憶部１４を備えている。

ディスプレイ１１は、例えば液晶表示装置や有機ＥＬパネル等の表示装置である。キーボード１２及びマウス１３は、作業者の入力操作を受け付ける入力操作部である。なお、ディスプレイ１１をタッチパネルディスプレイとすることによって、ディスプレイ１１が表示装置と入力操作部とを兼ねてもよい。

記憶部１４は、例えばＨＤＤ(Hard Disk Drive)やＳＳＤ(Solid State Drive)等の記憶装置である。記憶部１４には、事前実写データ１４１、３Ｄモデル１４２、目的画像１４３、及びコンピュータに本発明の一実施形態に係る画像編集方法を実行させる画像編集プログラム１４５が予め記憶されている。

事前実写データ１４１は、所定の現実空間を、所定の視点位置を中心に上下左右全方位３６０度撮影した全天球画像の画像データである。なお、事前実写データ１４１は、少なくとも所定の視点位置を中心に水平方向に３６０度撮影した全周画像を含んでいればよく、全天球画像でなくてもよい。事前実写データ１４１は、例えば、視点位置を中心に水平方向に３６０度、水平方向と交差する方向に１８０度撮影した半天球画像であってもよい。

事前実写データ１４１は、全周画像よりも半天球画像、半天球画像よりも全天球画像の方が、後述する画像編集の際に、視線方向変更の自由度が向上する点でより好ましい。

事前実写データ１４１は、例えば東京渋谷スクランブル交差点、東京タワー横、大阪駅前、京都嵐山渡月橋のたもと、建築物の内部等の現実の場所に設定された視点位置に、いわゆる全天球カメラや半天球カメラを設置して撮影したり、視野角の狭いカメラで撮影方向を全天球、半天球、又は全周に移動させて撮影したりすることができる。

３Ｄモデル１４２は、事前実写データ１４１によって撮影された現実空間と同じ空間が３Ｄモデルとして表わされたデータである。３Ｄモデル１４２としては、例えば事前実写データ１４１を撮影したのと同じ視点位置から、３Ｄスキャナでスキャンした三次元計測データを用いることができる。３Ｄモデル１４２は、対応する事前実写データ１４１が含んでいる全周画像、半天球画像、又は全天球画像の範囲の領域の三次元構造を示す情報を含んでいる。

３Ｄスキャナとしては、例えばレーザー光により三次元測量を行うLiDAR(Light Detection and Ranging)や、ミリ波レーダー、複眼カメラによる三角測量により三次元測量を行うもの、又はカメラを移動させて撮像された画像により三次元測量を行うもの等、現実の空間を三次元で測量可能な種々の三次元測量装置を用いることができる。

３Ｄモデル１４２は、必ずしも３Ｄスキャナによってスキャンされたデータそのものである必要はなく、３Ｄスキャナによってスキャンされたデータを加工等したものであってもよい。

あるいは、現実空間が建築物の内部である場合など、その背景として見える建築物等の三次元設計データを３Ｄモデル１４２として用いてもよい。

なお、同じ現実空間の事前実写データ１４１と３Ｄモデル１４２とを対にして、異なる場所の複数の現実空間に対応する複数対の事前実写データ１４１と３Ｄモデル１４２とが記憶部１４に記憶されていることが好ましい。後述するフローチャートでは、複数の場所に対応する複数対の事前実写データ１４１と３Ｄモデル１４２とが記憶部１４に記憶されている場合について示している。

また、事前実写データ１４１及び３Ｄモデル１４２は、記憶部１４に記憶される例に限らない。例えば画像編集システム１から遠隔のサーバ装置等に事前実写データ１４１及び３Ｄモデル１４２が記憶されていてもよい。そして、画像編集システム１は、ネットワーク等を介して事前実写データ１４１及び３Ｄモデル１４２を取得してもよい。

また、画像編集システム１は、ディスプレイ１１、キーボード１２、及びマウス１３を備えず、作業者は、画像編集システム１にネットワークを介して接続された操作端末を操作することによって、画像編集システム１への入力操作を行ってもよい。

目的画像１４３は、後述する拡張現実（ＡＲ）又は複合現実（ＭＲ）を実施するユーザに対して、現実空間と重なって見せようとする画像である。目的画像１４３は、静止画、動画、又はコンピュータグラフィックス（ＣＧ）であってもよい。目的画像１４３は、いわゆる画像データに限られず、プログラムによって画像が動くコンピュータグラフィックスであってもよい。

演算部１０は、例えば所定の演算処理を実行するＣＰＵ(Central Processing Unit)、データを一時的に記憶するＲＡＭ(Random Access Memory)、不揮発性の記憶素子、及びこれらの周辺回路等から構成されている。演算部１０は、画像編集プログラム１４５を実行することによって、表示制御部１０１、及び貼付位置情報生成部１０２として機能する。

次に、上述のように構成された画像編集システム１の動作について説明する。図２、図３は、図１に示す画像編集システム１の動作の一例を示すフローチャートである。まず、作業者は、マウス１３等を操作して、記憶部１４に記憶された複数対の、事前実写データ１４１及び３Ｄモデル１４２の中から、所望の場所に対応する事前実写データ１４１及び３Ｄモデル１４２を選択する（ステップＳ１）。これにより、マウス１３等によって、作業者の選択が受け付けられる。

次に、表示制御部１０１は、ステップＳ１で選択された３Ｄモデル１４２を、事前実写データ１４１の視点位置Ｐからみた画像をディスプレイ１１に表示させる（ステップＳ２：（Ａ１））。図４は、３Ｄモデル１４２を、事前実写データ１４１の視点位置からみた画像の一例である。３Ｄモデル１４２は、現実空間の三次元の奥行情報を含むデータであるが、これを特定の視点位置からみたときに人間の目に見える画像と近似するように、遠近法で表された画像がディスプレイ１１に表示される。

次に、マウス１３等によって視線方向Ｄの入力操作が受け付けられ（ステップＳ３）、表示制御部１０１は、３Ｄモデル１４２の画像を、視点位置Ｐから、視線方向Ｄに見た画像に変更してディスプレイ１１に表示させる（ステップＳ４）。これにより、作業者は、視点位置Ｐを中心にして、所望の方向を見たときの三次元構造を視覚的に確認することができる。

次に、マウス１３等によって、画像表示された３Ｄモデル１４２上への目的画像１４３の貼り付けを指示する三次元の指定位置の入力操作が受け付けられる（ステップＳ５：（Ａ２））。これにより、作業者は、所望の視線方向Ｄから見た３Ｄモデル１４２の画像を確認しつつ、目的画像１４３を表示したい三次元の位置を指定することができる。

次に、貼付位置情報生成部１０２は、３Ｄモデル１４２上の、指定された三次元の位置に、目的画像１４３を対応付けた三次元貼付位置情報１４４を生成する（ステップＳ６：（Ａ３））。

三次元貼付位置情報１４４は、３Ｄモデル１４２と、目的画像１４３と、３Ｄモデル１４２の三次元の位置に目的画像１４３を対応付ける情報とを含んでいる。三次元貼付位置情報１４４は、一塊のデータファイルとして構成される例に限らない。例えば、３Ｄモデル１４２と、目的画像１４３と、３Ｄモデル１４２の三次元の位置に目的画像１４３を対応付ける情報とが別個のデータファイルとして構成され、三次元貼付位置情報１４４は、複数のデータファイルを含んでいてもよい。

図５は、目的画像１４３の一例を示す説明図である。図５には、目的画像１４３として、四つの目的画像Ｇ１～Ｇ４が記載されている。図５に示す目的画像Ｇ１～Ｇ４は、視点位置と視線方向とを、３Ｄモデル１４２の画像と一致させた状態で示している。

図６は、３Ｄモデル１４２上の指定された三次元の位置に、目的画像１４３を貼付けた状態を図示した説明図である。この状態では、単純に３Ｄモデル１４２の画像と目的画像１４３とが重ね合わされただけであり、３Ｄモデル１４２で示される構造を透視して目的画像Ｇ１～Ｇ４が見えている。

次に、表示制御部１０１は、視点位置Ｐから視線方向Ｄに事前実写データ１４１の画像を見た事前実写画像と、三次元貼付位置情報１４４における目的画像１４３を視点位置Ｐから視線方向Ｄに見たときの画像とをデータ上で重ね合わせる（ステップＳ７：（Ａ４））。

図７は、視点位置Ｐから視線方向Ｄに事前実写データ１４１の画像を見た事前実写画像の一例を示す説明図である。図７に示す事前実写画像は、いわゆるショッピングモール内の画像であり、二階まで吹き抜けの通路Ａの両側に店舗が並んでいる。通路Ａ両側の店舗の二階同士が、通路Ａを跨いで掛け渡された連絡通路Ｂ，Ｃでつながっている。

次に、表示制御部１０１は、ステップＳ７でデータ上で重ね合わせられた画像における、３Ｄモデル１４２と目的画像１４３の位置関係に基づき、目的画像１４３が３Ｄモデル１４２の手前に位置する部分では目的画像１４３をディスプレイ１１に表示させ、３Ｄモデル１４２が目的画像１４３の手前に位置する部分では目的画像１４３を表示させずに事前実写画像をディスプレイ１１に表示させる（ステップＳ８：（Ａ５））。

図４、図７を比較して、図４に示す３Ｄモデル１４２は、三次元の構造を表しているものの、図７に示す事前実写画像の風景すなわち人間の目に見える風景とは異なっている。一方、図７に示す事前実写画像は三次元構造を有していないため、事前実写画像に直接目的画像１４３を張り付けると、背景と目的画像１４３の前後関係を表すことができない。

そこで、ステップＳ８において、三次元構造を示す３Ｄモデル１４２を含む三次元貼付位置情報１４４に基づいて背景と目的画像１４３との前後関係を特定し、人間の目に見える風景である事前実写画像に対して、立体的に見えるように目的画像１４３を重ね合わせる。

図８は、ステップＳ８でディスプレイ１１に表示される画像の一例を示す説明図である。ステップＳ８では、三次元構造を有さない事前実写画像に対して、三次元構造を有する３Ｄモデル１４２と目的画像１４３の位置関係に基づき、視点位置からみて手前に位置するのが目的画像１４３であれば目的画像１４３を表示し、視点位置からみて手前に位置するのが３Ｄモデル１４２であればその部分の事前実写画像を表示する。

これにより、図８に示す例では、目的画像Ｇ１の一部や目的画像Ｇ３の上半分が連絡通路Ｂの陰に隠れて見える。その結果、拡張現実（ＡＲ）又は複合現実（ＭＲ）によって、ユーザが、現実空間におけるこの視点位置からみることになる風景と同様の画像を、作業者がディスプレイ１１に表示される画像によって確認することができる。

次に、表示制御部１０１は、作業者による画像編集作業の終了指示の有無を確認する（ステップＳ１１）。キーボード１２又はマウス１３によって、作業者による画像編集作業の終了指示が受け付けられた場合（ステップＳ１１でＹＥＳ）、表示制御部１０１は、処理を終了する。

一方、キーボード１２又はマウス１３によって、終了指示が受け付けられることなく（ステップＳ１１でＮＯ）、かつ新たな視線方向が受け付られない場合（ステップＳ１２でＮＯ）、再びステップＳ５～Ｓ１１を繰り返す。これにより、視点方向は固定したまま、新たな目的画像１４３を３Ｄモデル１４２の指定された三次元の位置に対応付けて新たな三次元貼付位置情報１４４を生成し（ステップＳ５，Ｓ６）、事前実写データ１４１の画像に目的画像１４３を重ね合わせて三次元表示させる（ステップＳ７，Ｓ８）ことができる。

一方、新たな視線方向が受け付られた場合（ステップＳ１２でＹＥＳ）、表示制御部１０１は、受け付けられた新たな視線方向から見た３Ｄモデル１４２の画像をディスプレイ１１に表示し（ステップＳ１３：（Ａ６））、すなわち視線方向を変更して、再びステップＳ５～Ｓ１１を繰り返す。

事前実写データ１４１は全周画像、半天球画像、又は全天球画像であるので、少なくとも水平方向に３６０度視線方向を自由に変更することができ、実際に現実空間で三次元貼付位置情報１４４を用いて拡張現実（ＡＲ）又は複合現実（ＭＲ）によりユーザが見るであろう画像を、作業者は、実際に現実空間に行くことなく画像編集システム１を用いて確認することができる。その結果、現実空間でユーザに対して意図したとおりの拡張現実（ＡＲ）又は複合現実（ＭＲ）を体験させることが容易な三次元貼付位置情報１４４を編集することができる。従って、拡張現実（ＡＲ）又は複合現実（ＭＲ）によって、現実空間でユーザに対して意図したとおりの拡張現実（ＡＲ）又は複合現実（ＭＲ）を体験させることが容易となる。

次に、上述のようにして編集、生成された三次元貼付位置情報１４４を用いて、拡張現実（ＡＲ）画像又は複合現実（ＭＲ）画像を表示する画像表示方法について説明する。拡張現実（ＡＲ）画像又は複合現実（ＭＲ）画像を表示する装置としては、非透過型端末装置又は直接視認型端末装置を用いることができる。

非透過型端末装置は、現実空間を撮像する撮像部と、撮像部で撮像された実写画像を表示する表示部とを備え、撮像部によって撮像された画像と目的画像１４３とを重畳させて表示する装置である。非透過型端末装置としては、例えば、スマートフォン、タブレット端末、カメラ付きヘッドセット等を用いることができる。カメラ付きヘッドセットとしては、例えばOculus社製カメラ付きＶＲヘッドセットや、Windows Mixed Reality(登録商標)互換のヘッドセット等、種々のヘッドセットを用いることができる。

直接視認型端末装置は、例えば透過型端末装置や、網膜走査型端末装置等、ユーザが直接現実空間を視認可能な端末装置である。

透過型端末装置は、例えば眼鏡レンズ状のスクリーンを透過してユーザが現実空間を直接視認可能な透過型のディスプレイ装置である。透過型端末装置は、ユーザがスクリーンを透過してみている景色に対して、スクリーン上に画像を投影することによって、現実空間の景色と画像とを重ね合わせるようになっている。

透過型端末装置としては、例えばHoloLens(登録商標)、Magic Leap(登録商標)等、種々のＡＲ／ＭＲグラスを用いることができる。

網膜走査型端末装置は、網膜走査型ディスプレイを用いてユーザに画像を視認させる。網膜走査型ディスプレイは、網膜に直接映像を照射することで、ユーザが直接見ている現実空間の景色に、目的画像１４３を重ねて視認させることができる。

非透過型端末装置及び直接視認型端末装置は、例えばＧＰＳ等、現在位置を取得する現在位置取得部を備えている。

図９は、非透過型端末装置を用いて、拡張現実（ＡＲ）画像又は複合現実（ＭＲ）画像を表示する場合の画像表示方法の一例を示すフローチャートである。

まず、例えばユーザが三次元貼付位置情報１４４及び画像表示プログラムを、例えばネットワークを介して記憶部１４や図略のサーバ装置等からダウンロードすることによって、自分の非透過型端末装置に記憶させる（ステップＳ２１：（Ｂ１））。

次に、三次元貼付位置情報１４４に対応する現実空間に、ユーザが非透過型端末装置を持っていくことで、現実空間に、非透過型端末装置を位置させる（ステップＳ２２：（Ｂ２））。なお、ステップＳ２２，Ｓ２１の順に実行され、現実空間に位置した非透過型端末装置が、ステップＳ２１においてその現在位置に対応する三次元貼付位置情報１４４を取得する構成であってもよい。

次に、ユーザが自分の非透過型端末装置の撮像部で景色を撮像して実写画像を取得し（ステップＳ２３：（Ｂ３））、非透過型端末装置が実写の視点位置及び視線方向を取得する（ステップＳ２４：（Ｂ３））。ステップＳ２３，Ｓ２４は、以降の処理と並行して継続的に実行される。

視点位置及び視線方向は、例えばＧＰＳ、ＳＬＡＭ(登録商標：Simultaneous Localization and Mapping）、又はマーカー検出等、種々の位置検出手法により検出することができる。

次に、非透過型端末装置は、三次元貼付位置情報１４４における目的画像１４３を、ステップＳ２４で取得された視点位置及び視線方向から見た画像に変換する（ステップＳ２５：（Ｂ４））。これにより、目的画像１４３は、実写画像の視点位置から視線方向に見た目的画像１４３になるように、その大きさや傾きが調節された画像に変換される。

次に、非透過型端末装置は、三次元貼付位置情報１４４における、３Ｄモデル１４２と目的画像１４３の位置関係に基づき、目的画像１４３が３Ｄモデル１４２の手前に位置する部分では実写画像を表示せずにステップＳ２５で変換された目的画像１４３を表示し、３Ｄモデル１４２が目的画像１４３の手前に位置する部分では目的画像１４３を表示せずに実写画像を表示する（ステップＳ２６：（Ｂ４））。

これにより、現実空間の実際の景色の中に、目的画像１４３が実在しているかのようにリアルに表示され、画像編集作業者が意図したとおりの拡張現実（ＡＲ）又は複合現実（ＭＲ）を、現実空間でユーザに対して体験させることが可能となる。

次に、非透過型端末装置は、並行して継続的に実行されているステップＳ２４において取得される視点位置及び視線方向を監視し（ステップＳ２７）、視点位置及び視線方向が変化した場合（ステップＳ２７でＹＥＳ）、新たな視点位置及び視線方向に基づいて、ステップＳ２５～Ｓ２７を繰り返す。

なお、ステップＳ２５とステップＳ２６は、それぞれ独立した処理である必要はなく、ステップＳ２５，Ｓ２６（Ｂ４）が混然一体として処理されてもよい。

図１０は、直接視認型端末装置を用いて、拡張現実（ＡＲ）画像又は複合現実（ＭＲ）画像を表示する場合の画像表示方法の一例を示すフローチャートである。

まず、例えばユーザが三次元貼付位置情報１４４及び画像表示プログラムを、例えばネットワークを介して記憶部１４や図略のサーバ装置等からダウンロードすることによって、自分の直接視認型端末装置に記憶させる（ステップＳ３１：（Ｃ１））。

次に、三次元貼付位置情報１４４に対応する現実空間に、ユーザが直接視認型端末装置を持っていくことで、現実空間に、直接視認型端末装置を位置させる（ステップＳ３２：（Ｃ２））。なお、ステップＳ３２，Ｓ３１の順に実行され、現実空間に位置した直接視認型端末装置が、ステップＳ３１においてその現在位置に対応する三次元貼付位置情報１４４を取得する構成であってもよい。

次に、ユーザが自分の直接視認型端末装置で景色を視認し（ステップＳ３３）、直接視認型端末装置がユーザの視点位置及び視線方向を取得する（ステップＳ３４：（Ｃ３））。ステップＳ３３，Ｓ３４は、以降の処理と並行して継続的に実行される。

次に、直接視認型端末装置は、三次元貼付位置情報１４４における目的画像１４３を、ステップＳ３４で取得された視点位置及び視線方向から見た画像に変換する（ステップＳ３５：（Ｃ４））。これにより、目的画像１４３は、実写画像の視点位置から視線方向に見た目的画像１４３になるように、その大きさや傾きが調節された画像に変換される。

次に、直接視認型端末装置は、三次元貼付位置情報１４４における、３Ｄモデル１４２と目的画像１４３の位置関係に基づき、目的画像１４３が３Ｄモデル１４２の手前に位置する部分ではステップＳ３５で変換された目的画像１４３をユーザに視認させ、３Ｄモデル１４２が目的画像１４３の手前に位置する部分では目的画像１４３をユーザに視認させない（ステップＳ３６：（Ｃ４））。

これにより、ユーザが実際に見ている現実空間の実際の景色の中に、目的画像１４３が実在しているかのようにリアルに視認され、画像編集作業者が意図したとおりの拡張現実（ＡＲ）又は複合現実（ＭＲ）を、現実空間でユーザに対して体験させることが可能となる。

次に、直接視認型端末装置は、並行して継続的に実行されているステップＳ３４において取得される視点位置及び視線方向を監視し（ステップＳ３７）、視点位置及び視線方向が変化した場合（ステップＳ３７でＹＥＳ）、新たな視点位置及び視線方向に基づいて、ステップＳ３５～Ｓ３７を繰り返す。

なお、ステップＳ３５とステップＳ３６は、それぞれ独立した処理である必要はなく、ステップＳ３５，Ｓ３６（Ｃ４）が混然一体として処理されてもよい。

以上、ステップＳ２１～Ｓ２７，Ｓ３１～Ｓ３７によれば、作業者が上述の画像編集方法によって、実際に現実空間に行くことなく、ユーザが実際に見るであろう視点位置及び視点方向からの画像を、画像編集システム１を用いて予め確認しつつ生成された三次元貼付位置情報１４４に基づいて、現実空間においてユーザが拡張現実（ＡＲ）又は複合現実（ＭＲ）を体験することになる。その結果、作業者が意図したとおりの拡張現実（ＡＲ）又は複合現実（ＭＲ）を、ユーザに対して体験させることが容易となる。

画像編集システム１の記憶部１４に、様々な場所の事前実写データ１４１、及び３Ｄモデル１４２を予め記憶させておけば、作業者は、実際の場所を訪れることなく、ユーザに目的画像１４３を体験させたい様々な場所で、意図したとおりに拡張現実（ＡＲ）又は複合現実（ＭＲ）を体験させることが容易となる。例えば目的画像１４３を広告画像とすれば、広告主である作業者は、消費者であるユーザに対して、様々な場所で、広告主の意図したとおりの広告宣伝を行うことができるので、ユーザに対して効果的な広告宣伝活動を行うことができる。

１ 画像編集システム
１０ 演算部
１１ ディスプレイ
１２ キーボード
１３ マウス
１４ 記憶部
１０１ 表示制御部
１０２ 貼付位置情報生成部
１４１ 事前実写データ
１４２ ３Ｄモデル
１４３ 目的画像
１４４ 三次元貼付位置情報
１４５ 画像編集プログラム
Ａ 通路
Ｂ，Ｃ 連絡通路
Ｄ 視線方向
Ｇ１～Ｇ４ 目的画像
Ｐ 視点位置

Claims (8)

1. （Ａ１）所定の現実空間が表わされた３Ｄモデルを画像表示し、
   （Ａ２）前記画像表示された３Ｄモデル上における、所望の目的画像を貼り付ける位置である三次元の指定位置の入力操作を受け付け、
   （Ａ３）前記３Ｄモデルに対して前記指定位置に前記目的画像を対応付けた三次元貼付位置情報を生成し、
   （Ａ４）前記現実空間を、所定の視点位置を中心に水平方向に３６０度撮影した全周画像を含む事前実写データに基づいて前記視点位置から所定の視線方向に見た事前実写画像と、前記三次元貼付位置情報における前記目的画像を前記視点位置から前記視線方向に見たときの画像とを重ね合わせ、
   （Ａ５）前記重ね合わせられた画像における、前記３Ｄモデルと前記目的画像の位置関係に基づき、前記目的画像が前記３Ｄモデルの手前に位置する部分では前記事前実写画像を表示せずに前記目的画像を表示し、前記３Ｄモデルが前記目的画像の手前に位置する部分では前記目的画像を表示せずに前記事前実写画像を表示する画像編集方法。
2. （Ａ６）前記（Ａ５）の後に新たな前記視線方向の入力操作を受け付け、前記新たな視点位置から前記新たな視線方向に見た３Ｄモデルを画像表示し、
   （Ａ７）前記（Ａ６）で表示された画像と前記新たな視線方向とに基づいて再び前記（Ａ２）～（Ａ５）を実行する請求項１記載の画像編集方法。
3. 前記事前実写データは、前記視点位置を中心に水平方向に３６０度、水平方向と交差する方向に１８０度撮影した半天球画像を少なくとも含む請求項１又は２に記載の画像編集方法。
4. 前記目的画像は、静止画、動画、又はコンピュータグラフィックスである請求項１～３のいずれか１項に記載の画像編集方法。
5. 所定の現実空間が表わされた３Ｄモデル上における、所望の目的画像を貼り付ける位置である三次元の指定位置に、前記目的画像を対応付けた三次元貼付位置情報が予め生成され、該三次元貼付位置情報に基づいて拡張現実又は複合現実による表示を行う画像表示方法であって、
   撮像部と該撮像部で撮像された実写画像を表示する表示部とを備えた非透過型端末装置に、前記三次元貼付位置情報を記憶させ、
   前記非透過型端末装置を前記現実空間に位置させ、
   前記非透過型携帯端末の前記撮像部によって前記現実空間を実写して実写画像を取得すると共に、前記非透過型携帯端末に前記実写の視点位置及び前記実写の視線方向を取得させ、
   前記非透過型携帯装置により、前記記憶した前記三次元貼付位置情報における前記目的画像を、前記取得した前記視点位置及び前記視線方向から見た画像に変換すると共に、前記三次元貼付位置情報における前記３Ｄモデルと前記目的画像の位置関係に基づき、前記目的画像が前記３Ｄモデルの手前に位置する部分では前記実写画像を表示せずに前記変換された目的画像を前記表示部に表示し、前記３Ｄモデルが前記目的画像の手前に位置する部分では前記目的画像を表示せずに前記実写画像を前記表示部に表示する画像表示方法。
6. 所定の現実空間が表わされた３Ｄモデル上における、所望の目的画像を貼り付ける位置である三次元の指定位置に、前記目的画像を対応付けた三次元貼付位置情報が予め生成され、該三次元貼付位置情報に基づいて拡張現実又は複合現実による表示を行う画像表示方法であって、
   ユーザが前記現実空間を直接視認可能な直接視認型端末装置に、前記三次元貼付位置情報を記憶させ、
   前記直接視認型端末装置を前記現実空間に位置させ、
   前記直接視認型端末装置により、前記ユーザの視点位置及び前記ユーザの視線方向を取得させ、
   前記直接視認型端末装置により、前記記憶した前記三次元貼付位置情報における前記目的画像を、前記取得した前記視点位置及び前記視線方向から見た画像に変換すると共に、前記三次元貼付位置情報における前記３Ｄモデルと前記目的画像の位置関係に基づき、前記目的画像が前記３Ｄモデルの手前に位置する部分では前記変換された目的画像を前記ユーザに視認させ、前記３Ｄモデルが前記目的画像の手前に位置する部分では前記目的画像を前記ユーザに視認させない画像表示方法。
   
7. 請求項１～４のいずれか１項に記載の画像編集方法を実行する画像編集システム。
8. 請求項１～４のいずれか１項に記載の画像編集方法を、コンピュータに実行させる画像編集プログラム。

Images