JPWO2017159014A1 - 画像処理装置、画像処理方法及び画像処理システム - Google Patents

Abstract

画像処理装置が、第１画像及び第２画像を入力し、前記第１画像を貼り付けた３Ｄモデルに、前記第２画像を配置させて出力画像を生成することで上記課題を解決する。

Description

本発明は、画像処理装置、画像処理方法及び画像処理システムに関する。

従来、パノラマ画像を表示する方法が知られている。そして、パノラマ画像表示において、パノラマ画像の表示に対するユーザの指示を受け付けるためのユーザインタフェース（以下「ＵＩ」という。）が知られている。

例えば、通信端末が、パノラマ画像における所定領域画像に関するサムネイルを表示し、所定のサムネイルを選択する指示を受け付けることで、受け付けたサムネイルに関する所定領域画像を表示する。これにより、ユーザが所望のパノラマ画像又はパノラマ画像においてユーザが所望する所定領域画像をユーザが容易に探せるようにする方法が知られている（例えば、特許文献１等）。

また、コンピュータが、まず、画像の一部の領域であって、画像上の任意の視点を中央に含む部分画像を画像から生成し、画像と、複数の部分画像のサムネイルを一覧で示す視点一覧画像とを表示する。次に、コンピュータが、部分画像と、当該部分画像に対するユーザのコメントとを関連付けたコメント情報をサーバ装置から受信し、視点一覧画像が示す部分画像のサムネイルごとに、それぞれのコメントの件数を表示する。このようにして、注目度が高い画像内の視点をユーザが把握できるようにする方法が知られている（例えば、特許文献２等）。

他にも、ユーザが受信装置を用いて画像管理システムから画像データをダウンロードする際に、受信装置が、対応する画像識別情報に基づいて付加情報管理システムから付加情報をダウンロードする。このようにして、ユーザが画像データを補正する等の画像処理を行うのに、メタデータを用いることができるようにする方法が知られている（例えば、特許文献３等）。

しかしながら、従来の方法では、新たに画像を加えて、演出効果を出すことができないという問題がある。

本発明は、新たに画像を加えて、演出効果を出すことができる画像処理装置を提供することを目的とする。

上述した課題を解決するために、本発明の一態様における、出力画像を出力する画像処理装置は、
第１画像及び第２画像を入力する入力部と、
前記第１画像を貼り付けた３Ｄモデルに、前記第２画像を配置させて出力画像を生成する生成部と
を有することを特徴とする。

新たに画像を加えて、演出効果を出すことができる画像処理装置を提供できる。

本発明の一実施形態に係る画像処理システムの全体構成の一例を説明する図である。 本発明の一実施形態に係る撮影装置の一例を説明する図（その１）である。 本発明の一実施形態に係る撮影装置の一例を説明する図（その２）である。 本発明の一実施形態に係る撮影装置の一例を説明する図（その３）である。 本発明の一実施形態に係る撮影装置による撮影の一例を説明する図である。 本発明の一実施形態に係る撮影装置によって撮影された画像の一例を説明する図である。 本発明の一実施形態に係る撮影装置のハードウェア構成の一例を説明するブロック図である。 本発明の一実施形態に係るスマートフォンのハードウェア構成の一例を説明するブロック図である。 本発明の一実施形態に係る画像処理システムによる全体処理の一例を説明するシーケンス図である。 本発明の一実施形態に係る全天球画像の一例を説明する図（その１）である。 本発明の一実施形態に係る全天球画像の一例を説明する図（その２）である。 本発明の一実施形態に係る全天球画像の一例を説明する図（その３）である。 本発明の一実施形態に係る全天球画像の一例を説明する図（その４）である。 本発明の一実施形態に係る全天球パノラマ画像の一例を説明する図である。 本発明の一実施形態に係る初期画像の一例を説明するための図（その１）である。 本発明の一実施形態に係る初期画像の一例を説明するための図（その２）である。 本発明の一実施形態に係る初期画像の一例を説明するための図（その３）である。 本発明の一実施形態に係る初期画像の一例を説明するための図（その４）である。 本発明の一実施形態に係る別のズーム処理の一例を説明するための図である。 本発明の一実施形態に係る別のズーム処理の一例を説明するための表である。 本発明の一実施形態に係る別のズーム処理の「範囲」の一例を説明するための図（その１）である。 本発明の一実施形態に係る別のズーム処理の「範囲」の一例を説明するための図（その２）である。 本発明の一実施形態に係る別のズーム処理の「範囲」の一例を説明するための図（その３）である。 本発明の一実施形態に係る別のズーム処理の「範囲」の一例を説明するための図（その４）である。 本発明の一実施形態に係る別のズーム処理の「範囲」の一例を説明するための図（その５）である。 本発明の一実施形態に係る第１画像の一例を示す図である。 本発明の一実施形態に係る第２画像の一例を示す図である。 本発明の一実施形態に係る出力画像の一例を示す図である。 本発明の一実施形態に係る出力画像における第２画像の動きの一例を示す図である。 本発明の一実施形態に係る見下ろし視点における出力画像の一例を示す図である。 本発明の一実施形態に係る見下ろし視点の出力画像における第２画像の動きの一例を示す図である。 本発明の一実施形態に係る見上げる視点における出力画像の一例を示す図である。 本発明の一実施形態に係る見上げる視点の出力画像における第２画像の動きの一例を示す図である。 本発明の一実施形態に係るズームアウトされた出力画像の一例を示す図である。 本発明の一実施形態に係るズームインされた出力画像の一例を示す図である。 本発明の一実施形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。

以下、本発明の実施の形態について説明する。

＜画像処理システムの全体構成例＞
図１は、本発明の一実施形態に係る画像処理システムの全体構成の一例を説明する図である。図示する例では、画像処理システム１０は、撮影装置１と、画像処理装置の例であるスマートフォン２とを有する。

撮影装置１は、複数の光学系を有するカメラ等である。例えば、撮影装置１は、複数の光学系を用いて撮影した画像に基づいて、全方位等の広い範囲を示す画像（以下「全天球画像」という。）を生成する。次に、撮影装置１は、全天球画像等をスマートフォン２に出力する。そして、スマートフォン２は、全天球画像等の入力される画像を画像処理する。以下、入力される画像、すなわち、第１画像が全天球画像である例で説明する。なお、以下の説明では、パノラマ画像は、例えば、全天球画像である。

また、この例では、撮影装置１及びスマートフォン２は、有線又は無線で接続される。例えば、スマートフォン２は、撮影装置１が出力する全天球画像を示すデータ等を撮影装置１からダウンロードする。なお、接続は、ネットワーク等を介してもよい。

なお、全体構成は、図示する構成に限られない。例えば、撮影装置１及びスマートフォン２は、一体の装置であってもよい。例えば、スマートフォン２以外にもパーソナルコンピューターや携帯電話等の表示装置でもよい。画像処理システム１０は、撮影装置１及びスマートフォン２以外に更に情報処理装置等を有してもよい。

＜撮影装置例＞
撮影装置１（図１）は、例えば、以下に説明するような装置である。

図２乃至図４は、本発明の一実施形態に係る撮影装置の一例を説明する図である。なお、図２乃至図４は、撮影装置１の外観の一例を示す図である。具体的には、図２は、撮影装置１の正面図の一例である。一方で、図３は、撮影装置１の左側面図の一例である。さらに、図４は、撮影装置１の平面図の一例である。

そして、撮影装置１は、前面撮影素子１Ｈ１と、後面撮影素子１Ｈ２と、スイッチ１Ｈ３とを有する。この例では、前面撮影素子１Ｈ１及び後面撮影素子１Ｈ２等の光学系が撮影に用いられる。そして、それぞれの光学系を用いて撮影されたそれぞれの画像に基づいて、撮影装置１は、全天球画像を生成する。なお、全天球画像の生成方法の詳細は、後述する。

また、スイッチ１Ｈ３は、いわゆるシャッタボタンであり、ユーザが撮影装置１に対して撮影の指示を行うための入力装置の例である。

撮影装置１は、例えば、図２に示すように、ユーザが手で持ち、スイッチ１Ｈ３がユーザによって押されると、撮影装置１は、撮影を行う。具体的には、撮影装置１は、図５のようにして撮影に用いられる。

図５は、本発明の一実施形態に係る撮影装置による撮影の一例を説明する図である。ユーザは、撮影装置１を手で持ち、図３に示すスイッチ１Ｈ３を押すことによって撮影を行う。このようにすると、撮影装置１は、図示するように、前面撮影素子１Ｈ１（図２）と、後面撮影素子１Ｈ２（図２）とによって、撮影装置１の全方位を撮影することができる。このようにして撮影される画像は、例えば、図６のような画像である。

図６は、本発明の一実施形態に係る撮影装置によって撮影された画像の一例を説明する図である。具体的には、図６（ａ）は、前面撮影素子１Ｈ１（図２）によって撮影される画像の一例である。一方で、図６（ｂ）は、後面撮影素子１Ｈ２（図２）によって撮影される画像の一例である。そして、図６（ｃ）は、前面撮影素子１Ｈ１によって撮影される画像、すなわち、図６（ａ）に示す画像と、後面撮影素子１Ｈ２によって撮影される画像、すなわち、図６（ｂ）に示す画像とに基づいて生成される画像の一例である。

まず、前面撮影素子１Ｈ１によって撮影される画像は、図６（ａ）に示すように、撮影装置１の前方側の広い範囲、例えば、画角で１８０°の範囲を撮影範囲とする画像である。また、図示するように、前面撮影素子１Ｈ１によって撮影される画像は、前面撮影素子１Ｈ１が広い範囲を撮影するための光学系、例えば、いわゆる魚眼レンズを用いる場合には、歪曲収差を有する。すなわち、図６（ａ）に示す画像は、撮影装置１の一方の広い範囲を示し、かつ、歪曲収差を有する、いわゆる半球画像（以下「半球画像」という。）である。

なお、各光学系のそれぞれの画角は、１８０°以上かつ２００°以下の範囲が望ましい。特に、画角が１８０°以上を超える場合には、図６（ａ）に示す半球画像と、図６（ｂ）に示す半球画像とを合成する際、重畳する画像領域があるため、撮影装置は、全天球画像を生成しやすい。

一方で、後面撮影素子１Ｈ２によって撮影される画像は、図６（ｂ）に示すように、撮影装置１の後方側の広い範囲、例えば、画角で１８０°の範囲を撮影範囲とする画像である。このように、後面撮影素子１Ｈ２によって撮影される画像は、図６（ａ）と同様の半球画像である。

次に、撮影装置１は、歪補正処理及び合成処理等の処理を行い、図６（ａ）に示す前方側の半球画像と、図６（ｂ）に示す後方側の半球画像とに基づいて、図６（ｃ）に示す画像を生成する。すなわち、図６（ｃ）に示す画像は、いわゆるメルカトル（Ｍｅｒｃａｔｏｒ）図法又は正距円筒図法等の方法で生成される画像、すなわち、全天球画像の例である。

なお、第１画像は、撮影装置１によって生成される画像に限られない。例えば、第１画像は、例えば、他のカメラ等で撮影される画像又は他のカメラで撮影される画像に基づいて生成された画像でもよい。なお、第１画像は、図６に示すような、いわゆる全方位カメラ又はいわゆる広角レンズのカメラ等によって、広い視野角の範囲を撮影した画像であるのが望ましい。

また、以下の説明では、第１画像は、全天球画像を例に説明するが、第１画像は、全天球画像に限られない。例えば、第１画像は、コンパクトカメラ、一眼レフカメラ又はスマートフォン等で撮影された画像でもよい。なお、画像は、水平又は垂直に伸びるパノラマ画像等でもよい。

さらに、スイッチ１Ｈ３がユーザによって押されることでシャッタボタンを制御するものとしているが、スマートフォン２等の表示装置から遠隔でシャッタボタンを制御するように構成してもよい。

＜撮影装置のハードウェア構成例＞
図７は、本発明の一実施形態に係る撮影装置のハードウェア構成の一例を説明するブロック図である。図示するように、撮影装置１は、撮影ユニット１Ｈ４と、画像処理ユニット１Ｈ７、撮影制御ユニット１Ｈ８と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１Ｈ９と、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）１Ｈ１０とを有する。また、撮影装置１は、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１Ｈ１１と、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１Ｈ１２と、操作Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１Ｈ１３とを有する。さらに、撮影装置１は、ネットワークＩ／Ｆ１Ｈ１４と、無線Ｉ／Ｆ１Ｈ１５と、アンテナ１Ｈ１６とを有する。また、撮影装置１が有するハードウェアは、バス１Ｈ１７で接続され、バス１Ｈ１７を介してデータ又は信号を入出力する。

撮影ユニット１Ｈ４は、前面撮影素子１Ｈ１と、後面撮影素子１Ｈ２とを有する。また、前面撮影素子１Ｈ１に対応してレンズ１Ｈ５、後面撮影素子１Ｈ２に対応してレンズ１Ｈ６がそれぞれ設置される。

前面撮影素子１Ｈ１及び後面撮影素子１Ｈ２は、いわゆるカメラユニットである。具体的には、前面撮影素子１Ｈ１及び後面撮影素子１Ｈ２は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）又はＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の光学センサをそれぞれ有する。そして、前面撮影素子１Ｈ１は、レンズ１Ｈ５を通して入射する光を変換し、半球画像等を示す画像データを生成する。同様に、後面撮影素子１Ｈ２は、レンズ１Ｈ６を通して入射する光を変換し、半球画像等を示す画像データを生成する。

次に、撮影ユニット１Ｈ４は、前面撮影素子１Ｈ１及び後面撮影素子１Ｈ２が生成するそれぞれの画像データを画像処理ユニット１Ｈ７へ出力する。なお、出力される画像データは、例えば、図６（ａ）に示す前方の半球画像及び図６（ｂ）に示す後方の半球画像等である。

さらに、前面撮影素子１Ｈ１及び後面撮影素子１Ｈ２は、高画質の撮影を行うため、レンズ以外に、絞り又はローパスフィルタ等の他の光学要素を更に有してもよい。また、前面撮影素子１Ｈ１及び後面撮影素子１Ｈ２は、高画質の撮影を行うために、いわゆる欠陥画素補正又はいわゆる手振れ補正等を行ってもよい。

画像処理ユニット１Ｈ７は、撮影ユニット１Ｈ４から入力される画像データに基づいて、図６（ｃ）に示す全天球画像を生成する。なお、全天球画像を生成する処理の詳細は、後述する。

撮影制御ユニット１Ｈ８は、撮影装置１が有するハードウェアを制御する制御装置である。

ＣＰＵ１Ｈ９は、各処理を実現するための演算及びデータの加工を行う演算装置並びにハードウェアの制御を行う制御装置である。例えば、ＣＰＵ１Ｈ９は、あらかじめインストールされるプログラムに基づいて、各処理を実行する。

ＲＯＭ１Ｈ１０、ＳＲＡＭ１Ｈ１１及びＤＲＡＭ１Ｈ１２は、記憶装置の例である。具体的には、ＲＯＭ１Ｈ１０は、例えば、ＣＰＵ１Ｈ９に処理を実行させるためのプログラム、データ又はパラメータ等を記憶する。また、ＳＲＡＭ１Ｈ１１及びＤＲＡＭ１Ｈ１２は、例えば、ＣＰＵ１Ｈ９がプログラムに基づいて処理を実行するのに用いられるプログラム、プログラムが使用するデータ、プログラムが生成するデータ等を記憶する。なお、撮影装置１は、ハードディスク等の補助記憶装置を更に有してもよい。

操作Ｉ／Ｆ１Ｈ１３は、スイッチ１Ｈ３等の入力装置と接続され、撮影装置１に対するユーザの操作を入力する処理を行うインタフェースである。例えば、操作Ｉ／Ｆ１Ｈ１３は、スイッチ等の入力装置、入力装置を接続するためのコネクタ、ケーブル、入力装置から入力される信号を処理する回路、ドライバ及び制御装置等である。なお、操作Ｉ／Ｆ１Ｈ１３は、ディスプレイ等の出力装置を更に有してもよい。また、操作Ｉ／Ｆ１Ｈ１３は、入力装置と、出力装置とが一体となったいわゆるタッチパネル等でもよい。さらに、操作Ｉ／Ｆ１Ｈ１３は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のインタフェースを有し、フラッシュメモリ等の記録媒体を撮影装置１に接続してもよい。これによって、操作Ｉ／Ｆ１Ｈ１３は、撮影装置１から記録媒体にデータを入出力してもよい。

なお、スイッチ１Ｈ３は、シャッタに係る操作以外の操作を行うための電源スイッチ及びパラメータ入力スイッチ等でもよい。

ネットワークＩ／Ｆ１Ｈ１４、無線Ｉ／Ｆ１Ｈ１５及びアンテナ１Ｈ１６は、無線又は有線で、外部装置と撮影装置１を接続させる。例えば、撮影装置１は、ネットワークＩ／Ｆ１Ｈ１４によって、ネットワークに接続し、スマートフォン２（図１）へデータを送信する。なお、ネットワークＩ／Ｆ１Ｈ１４、無線Ｉ／Ｆ１Ｈ１５及びアンテナ１Ｈ１６は、ＵＳＢ等の有線で他の外部装置と接続するハードウェアでもよい。すなわちネットワークＩ／Ｆ１Ｈ１４、無線Ｉ／Ｆ１Ｈ１５及びアンテナ１Ｈ１６は、コネクタ及びケーブル等でもよい。

バス１Ｈ１７は、撮影装置１が有するハードウェア間で、データ等を入出力するのに用いられる。すなわち、バス１Ｈ１７は、いわゆる内部バスである。具体的には、バス１Ｈ１７は、例えば、ＰＣＩ Ｅｘｐｒｅｓｓ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｂｕｓ Ｅｘｐｒｅｓｓ）等である。

なお、撮影装置１は、撮影素子が２つである場合に限られない。例えば、３つ以上の撮影素子を有してもよい。さらに、撮影装置１は、１つの撮影素子の撮影角度を変えて、複数の部分画像を撮影してもよい。また、撮影装置１は、魚眼レンズを用いる光学系に限られない。例えば、広角レンズを用いてもよい。

なお、撮影装置１が行う処理は、他の装置が行ってもよい。例えば、処理の一部又は全部は、撮影装置１がデータ及びパラメータ等を送信し、スマートフォン２又はネットワークで接続される他の情報処理装置が行ってもよい。このようにして、画像処理システムは、複数の情報処理装置を有し、処理を分散、冗長又は並列に行ってもよい。

＜情報処理装置のハードウェア構成例＞
図８は、本発明の一実施形態に係るスマートフォンのハードウェア構成の一例を説明するブロック図である。図示するように、情報処理装置の一例であるスマートフォン２は、補助記憶装置２Ｈ１と、主記憶装置２Ｈ２と、入出力装置２Ｈ３と、状態センサ２Ｈ４と、ＣＰＵ２Ｈ５と、ネットワークＩ／Ｆ２Ｈ６とを有する。また、スマートフォン２が有するハードウェアは、バス２Ｈ７で接続され、バス２Ｈ７を介してデータ又は信号を入出力する。

補助記憶装置２Ｈ１は、データ、パラメータ又はプログラム等を記憶する。具体的には、補助記憶装置２Ｈ１は、例えば、ハードディスク、フラッシュＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等である。なお、補助記憶装置２Ｈ１が記憶するデータは、ネットワークＩ／Ｆ２Ｈ６で接続されるファイルサーバ等が一部又は全部を冗長又は代わりに記憶してもよい。

主記憶装置２Ｈ２は、処理を実行するためのプログラムが使用する記憶領域となる、いわゆるメモリ（Ｍｅｍｏｒｙ）等である。すなわち、主記憶装置２Ｈ２は、データ、プログラム又はパラメータ等を記憶する。具体的には、主記憶装置２Ｈ２は、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ等である。なお、主記憶装置２Ｈ２は、記憶及び取出を行う制御装置を更に有してもよい。

入出力装置２Ｈ３は、画像又は処理結果等を表示する出力装置及びユーザによる操作を入力する入力装置である。具体的には、入出力装置２Ｈ３は、いわゆるタッチパネル、周辺回路及びドライバ等である。そして、入出力装置２Ｈ３は、例えば、所定のＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）及び画像処理された画像等をユーザに表示する。一方で、入出力装置２Ｈ３は、例えば、表示されるＧＵＩ又は画像をユーザが操作すると、ユーザによる操作を入力する。

状態センサ２Ｈ４は、スマートフォン２の状態を検出するセンサである。具体的には、状態センサ２Ｈ４は、ジャイロ（ｇｙｒｏ）センサ又は角度センサ等である。例えば、状態センサ２Ｈ４は、スマートフォン２が有する辺のうち、一辺が水平に対して所定の角度以上であるか否かを判定する。すなわち、状態センサ２Ｈ４は、スマートフォン２が縦方向の姿勢の状態であるか横方向の姿勢の状態であるかを検出する。

ＣＰＵ２Ｈ５は、各処理を実現するための演算及びデータの加工を行う演算装置並びにハードウェアの制御を行う制御装置である。なお、ＣＰＵ２Ｈ５は、並列、冗長又は分散して処理するために、複数のＣＰＵ、デバイス又は複数のコア（ｃｏｒｅ）から構成されてもよい。また、スマートフォン２は、画像処理を行うため、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等を内部又は外部に有してもよい。

ネットワークＩ／Ｆ２Ｈ６は、無線又は有線で、ネットワークを介して外部装置と接続する。具体的には、ネットワークＩ／Ｆ２Ｈ６は、データ等を入出力するためのアンテナ、周辺回路及びドライバ等である。例えば、スマートフォン２は、ＣＰＵ２Ｈ５及びネットワークＩ／Ｆ２Ｈ６によって、撮影装置１（図１）等から画像データを入力する。一方で、スマートフォン２は、ＣＰＵ２Ｈ５及びネットワークＩ／Ｆ２Ｈ６によって、撮影装置１等へデータ等を出力する。

なお、情報処理装置は、スマートフォンに限られない。すなわち、情報処理装置は、スマートフォン以外のコンピュータでもよい。例えば、情報処理装置は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｃｅ）、タブレット、携帯電話器又はこれらの組み合わせ等でもよい。

＜画像処理システムによる全体処理例＞
図９は、本発明の一実施形態に係る画像処理システムによる全体処理の一例を説明するシーケンス図である。例えば、画像処理システム１０は、以下のような処理を行い、出力画像を生成する。

ステップＳ０７０１では、撮影装置１は、全天球画像を生成する処理を行う。なお、全天球画像は、例えば、撮影装置１による図１０乃至図１３に示すような処理によって、あらかじめ撮影される図６（ａ）及び図６（ｂ）に示す半球画像等から生成される。

図１０乃至図１３は、本発明の一実施形態に係る全天球画像の一例を説明する図である。なお、図１０は、図６（ａ）に示す半球画像を光軸に対して水平方向及び垂直方向の入射角が等位となる箇所を線で結んで示す図である。以下、光軸に対して水平方向の入射角を「θ」、光軸に対して垂直方向の入射角を「φ」という。さらに、図１１は、図１０と同様に、図６（ｂ）に示す半球画像を光軸に対して水平方向及び垂直方向の入射角が等位となる箇所を線で結んで示す図である。

また、図１２は、メルカトル図法によって処理された画像の一例を説明する図である。具体的には、図１２に示す画像は、例えば、図１０及び図１１に示す画像をあらかじめ生成されるＬＵＴ（ＬｏｏｋＵｐＴａｂｌｅ）等で対応させ、正距円筒図法によって処理されると、生成される画像である。そして、図１２に示す状態となった後、図１０及び図１１に示すそれぞれの画像を図１３に示すように合成すると、全天球画像が、撮影装置によって生成される。このように、合成処理は、例えば、図１２に示す状態の半球画像を２つ用いて、全天球画像を生成する処理である。なお、合成処理は、図１３に示すように、図１２に示す状態の半球画像を単に連続して配置する処理に限られない。例えば、全天球画像の水平方向中心がθ＝１８０°でない場合、合成処理において、撮影装置は、まず、図６（ａ）に示す半球画像を前処理し、全天球画像の中心に配置する。次に、撮影装置は、生成する画像の左右部分に、図６（ｂ）に示す半球画像を前処理した画像を左右部分に配置できる大きさに分割し、半球画像を合成して図６（ｃ）に示す全天球画像を生成してもよい。

なお、全天球画像を生成する処理は、正距円筒図法による処理に限られない。例えば、φ方向において、図１１に示す半球画像が有する画素の並びと、図１０に示す半球画像が有する画素並びとが、上下が逆であり、かつ、θ方向においてそれぞれの画素の並びが左右逆である天地逆転となる場合がある。このように、天地逆転の場合には、撮影装置は、前処理において、図１１に示す半球画像を図１０のφ方向及びθ方向の画素の並びと揃えるために、１８０°Ｒｏｌｌ回転させる処理等を行ってもよい。

また、全天球画像を生成する処理は、図１０及び図１１に示す半球画像が有するそれぞれの歪曲収差を補正する歪補正処理等が行われてもよい。さらに、全天球画像を生成する処理は、例えば、シェーディング補正、ガンマ補正、ホワイトバランス、手振れ補正、オプティカル・ブラック補正処理、欠陥画素補正処理、エッジ強調処理又はリニア補正処理等が行われてもよい。なお、合成処理は、例えば、半球画像の撮影範囲と、他方の半球画像の撮影範囲とが重複する場合には、重複する撮影範囲に撮影される被写体の画素を利用して補正を行うと、精度良く半球画像を合成することができる。

このような全天球画像を生成する処理によって、撮影装置１は、撮影される複数の半球画像から全天球画像を生成する。なお、全天球画像は、別の処理によって生成されてもよい。以下、図示する方法で生成される全天球画像を用いる例で説明する。

図９に戻り、ステップＳ０７０２では、スマートフォン２は、ネットワーク等を介して、ステップＳ０７０１によって生成される全天球画像を取得する。以下、スマートフォン２が、図１３に示す全天球画像を取得する場合を例に説明する。

ステップＳ０７０３では、スマートフォン２は、ステップＳ０７０２で取得される全天球画像から全天球パノラマ画像を生成する。なお、全天球パノラマ画像は、図１４のような画像である。

図１４は、本発明の一実施形態に係る全天球パノラマ画像の一例を説明する図である。例えば、図９に示すステップＳ０７０３では、スマートフォン２は、取得される図１３に示す全天球画像から図１４に示す全天球パノラマ画像を生成する。なお、全天球パノラマ画像は、全天球画像を球形状（３Ｄモデル）に貼り付けた画像である。

全天球パノラマ画像を生成する処理は、例えば、ＯｐｅｎＧＬ ＥＳ（ＯｐｅｎＧＬ（登録商標） ｆｏｒ Ｅｍｂｅｄｄｅｄ Ｓｙｓｔｅｍｓ）等のＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）で実現される。具体的には、全天球パノラマ画像は、まず、全天球画像が有する画素が三角形に分割され、次に、各三角形の頂点Ｐ（以下「頂点Ｐ」という。）をつなぎ合わせて、ポリゴンとして貼り付けて生成される。

図９に戻り、ステップＳ０７０４では、スマートフォン２は、ユーザに画像を選択させる操作を入力する。具体的には、まず、ステップＳ０７０４では、スマートフォン２は、例えば、ステップＳ０７０３で生成される全天球パノラマ画像を縮小した画像、いわゆるサムネイル（ｔｈｕｍｂｎａｉｌ）画像等を表示する。すなわち、複数の全天球パノラマ画像がスマートフォン２に記憶されている場合には、スマートフォン２は、複数の全天球パノラマ画像から以降の処理の対象とする全天球パノラマ画像をユーザに選択させるため、サムネイル画像を一覧で出力する。そして、ステップＳ０７０４では、スマートフォン２は、例えば、ユーザによるサムネイル画像の一覧から、１つのサムネイル画像を選択する操作を入力する。以下、ステップＳ０７０４で選択された全天球パノラマ画像が処理対象となって、処理が行われる。

ステップＳ０７０５では、スマートフォン２は、ステップＳ０７０４で選択される全天球パノラマ画像に基づいて、初期画像を生成する。なお、初期画像は、例えば、図１５乃至図１８のような画像である。

図１５乃至図１８は、本発明の一実施形態に係る初期画像の一例を説明するための図である。具体的には、まず、図１５は、本発明の一実施形態に係る初期画像の一例を説明するための３次元座標系を説明する図である。以下、図１５に示すようなＸＹＺ軸の３次元座標系で説明する。この例では、スマートフォン２は、原点の位置に仮想カメラ３を設置するとし、仮想カメラ３からの視点で各画像を生成する。例えば、全天球パノラマ画像は、図１５に示す座標系では、立体球ＣＳのように表現される。なお、仮想カメラ３は、設置される位置、つまり、原点から立体球ＣＳである全天球パノラマ画像に対して、全天球パノラマ画像を見るユーザの視点に相当する。

なお、図１６は、本発明の一実施形態に係る仮想カメラによる所定領域の一例を説明するための図である。具体的には、図１６は、図１５を三面図で示す例である。すなわち、図１５及び図１６は、同一の状態を示す。したがって、図１６では、図示するように、原点に仮想カメラ３が設置されるとする。

次に、図１７は、本発明の一実施形態に係る仮想カメラによる所定領域の一例を投影図である。なお、図１７では、所定領域Ｔは、仮想カメラ３の視野角を立体球ＣＳに投影した領域である。以下、図示するように、所定領域Ｔについてスマートフォン２が画像を生成する例で説明する。すなわち、スマートフォン２は、所定領域Ｔに基づいて画像を生成する。なお、所定領域Ｔは、例えば、以下のように決定される。

図１８は、本発明の一実施形態に係る仮想カメラによる所定領域を決定するための情報の一例を説明するための図である。この例では、所定領域Ｔは、例えば、所定領域情報（ｘ，ｙ，α）によって決定される。具体的には、視野角αは、図１８に示すように、仮想カメラ３の画角を示す角度である。また、視野角αによって示される所定領域Ｔにおける対角線画角２Ｌに対して、所定領域Ｔの中心点ＣＰの座標は、所定領域情報の（ｘ，ｙ）で示される。

次に、仮想カメラ３から中心点ＣＰまでの距離は、下記（１）式で示される。

初期画像は、あらかじめ設定される、いわゆる初期設定に基づいて所定領域Ｔを決定し、決定される所定領域Ｔに基づいて生成される画像である。例えば、初期設定は、（ｘ，ｙ，α）＝（０，０，３４）等のようにユーザ等によって設定される。

そして、画角を変える操作、いわゆるズーム操作が入力されると、スマートフォン２は、以下のようにズーム処理を行う。なお、ズーム処理は、入力されるユーザによる操作に基づいて、所定の領域を拡大又は縮小した画像を生成する処理である。以下、ズーム操作によって入力される操作量を「変化量ｄｚ」という。まず、ズーム操作が入力されると、スマートフォン２は、入力されるユーザによる操作に基づいて、変化量ｄｚを取得する。そして、スマートフォン２は、変化量ｄｚに基づいて、下記（２）式を計算する。

なお、上記（２）式における「α」は、図１８に示す仮想カメラ３の視野角αである。また、上記（２）式で示す「ｍ」は、ズーム量を調整するための係数であり、あらかじめユーザによって設定される値である。さらに、上記（２）式における「α０」は、初期状態における仮想カメラ３の視野角α、すなわち、ステップＳ０７０５によって生成される初期画像における視野角αである。

次に、スマートフォン２は、上記（２）式に基づいて計算される視野角αを投影行列に用いて、図１８等に示す所定領域Ｔの範囲を決定する。

なお、変化量ｄｚ２となるズーム操作をユーザが更に行うと、スマートフォン２は、下記（３）式を計算する。

上記（３）式に示すように、視野角αは、それぞれのズーム操作による変化量を合計した値に基づいて計算される。このように、複数のズーム操作が行われても、全天球の視野角αの計算から行うことで、スマートフォン２は、一貫した操作性を保つことができる。

なお、ズーム処理は、上記（２）式又は上記（３）式に基づく処理に限られない。例えば、ズーム処理は、仮想カメラ３（図１６）の視野角α及び視点位置の変更を組み合わせて実現してもよい。具体的には、図１９のようなズーム処理が行われてもよい。

図１９は、本発明の一実施形態に係る別のズーム処理の一例を説明するための図である。なお、図は、別のズーム処理を説明するためのモデル図である。また、立体球ＣＳは、図１５に示す立体球ＣＳと同様である。さらに、以下の説明では、立体球ＣＳの半径を「１」とする例で説明する。

まず、図示する原点は、仮想カメラ３の初期位置である。そして、仮想カメラ３は、光軸、すなわち、図１５に示すＺ軸上を移動して位置を変更する。次に、仮想カメラ３の移動量ｄは、原点からの距離で示す。例えば、仮想カメラ３が原点に位置する場合、すなわち、初期状態の場合では、移動量ｄは、「０」となる。

仮想カメラ３の移動量ｄ及び視野角αに基づいて、図１６に示す所定領域Ｔとなる範囲は、画角ωで示す。例えば、図示する画角ωは、仮想カメラ３が原点に位置する場合、すなわち、ｄ＝０の場合の画角である。そして、仮想カメラ３が原点に位置する場合、すなわち、ｄ＝０の場合では、画角ω及び視野角αは、一致する。一方で、仮想カメラ３が原点から離れる、すなわち、ｄの値が「０」より大きくなると、画角ω及び視野角αは、異なる範囲を示す。そして、別のズーム処理は、例えば、図２０のように、画角ωを変更する処理である。

図２０は、本発明の一実施形態に係る別のズーム処理の一例を説明するための表である。なお、説明表４は、画角ωの範囲が６０°乃至３００°の場合の例を示す。説明表４に示すように、スマートフォン２は、ズーム指定値ＺＰに基づいて、視野角α及び仮想カメラ３の移動量ｄのうち、どちらを優先的に変更するかを決定する。

なお、「範囲」は、ズーム指定値ＺＰに基づいて決定する範囲である。また、「出力倍率」は、別のズーム処理によって決定される画像パラメータに基づいて計算された画像の出力倍率である。さらに、「ズーム指定値ＺＰ」は、出力させる画角に対応する値である。

このように、別のズーム処理は、ズーム指定値ＺＰに基づいて移動量ｄ及び視野角αの決定する処理を変更する。具体的には、別のズーム処理では、説明表４に示すように、ズーム指定値ＺＰに基づいて、図示する４つの方法のうち、いずれかの方法が決定される。この例では、ズーム指定値ＺＰの範囲は、「Ａ〜Ｂ」、「Ｂ〜Ｃ」、「Ｃ〜Ｄ」及び「Ｄ〜Ｅ」の４つの範囲に区分される例である。

また、「画角ω」は、別のズーム処理によって決定した画像パラメータに対応する画角ωである。さらに、「変更するパラメータ」は、ズーム指定値ＺＰに基づいて４つの方法でそれぞれ変更するパラメータを説明する記載である。「備考」は、「変更するパラメータ」についての備考である。

説明表４において、「ｖｉｅｗＷＨ」は、出力領域の幅又は高さを示す値である。例えば、出力領域が横長であると、「ｖｉｅｗＷＨ」は、幅の値を示す。一方で、出力領域が縦長であると、「ｖｉｅｗＷＨ」は、高さの値を示す。すなわち、「ｖｉｅｗＷＨ」は、出力領域の長手方向のサイズを示す値である。

また、説明表４において「ｉｍｇＷＨ」は、出力画像の幅又は高さを示す値である。例えば、出力領域が横長であると、「ｖｉｅｗＷＨ」は、出力画像の幅の値を示す。一方で、出力領域が縦長であると、「ｖｉｅｗＷＨ」は、出力画像の高さの値を示す。すなわち、「ｖｉｅｗＷＨ」は、出力画像の長手方向のサイズを示す値である。

さらに、説明表４において、「ｉｍｇＤｅｇ」は、出力画像の表示範囲の角度を示す値である。具体的には、出力画像の幅を示す場合には、「ｉｍｇＤｅｇ」は、３６０°である。一方で、出力画像の高さを示す場合には、「ｉｍｇＤｅｇ」は、１８０°である。

図２１乃至図２５は、本発明の一実施形態に係る別のズーム処理の「範囲」の一例を説明するための図である。図示する例は、上記の別のズーム処理が行われた場合に、画像に表示される「範囲」及び画像の例を示す。以下、図示する例を用いて、いわゆるズームアウトの場合を例に説明する。なお、図２１乃至図２５における左図は、出力される画像の一例を示す。一方で、図２１乃至図２５の各図における右図は、出力される際における仮想カメラ３の状態の一例を図１９と同様のモデル図で示す図である。

具体的には、図２１は、図２０に示す説明表４における「範囲」が「Ａ〜Ｂ」となるズーム指定値ＺＰが入力されると、出力される画像及び「範囲」の例を示す。このように、ズーム指定値ＺＰが「Ａ〜Ｂ」の値となると、仮想カメラ３（図１９）の視野角αは、例えばα＝６０°と固定される。さらに、ズーム指定値ＺＰが「Ａ〜Ｂ」であり、仮想カメラ３の移動量ｄが、図２１に示すように、視野角αが固定された状態で変更されるとする。以下、視野角αが固定された状態で、仮想カメラ３の移動量ｄが大きくなるように変更する例で説明する。このようにすると、画角ωは、広がる。つまり、ズーム指定値ＺＰを「Ａ〜Ｂ」とし、かつ、視野角αを固定し、仮想カメラ３の移動量ｄを大きくすると、ズームアウト処理が実現できる。なお、ズーム指定値ＺＰが「Ａ〜Ｂ」である場合には、仮想カメラ３の移動量ｄは、「０」から立体球ＣＳの半径までである。具体的には、図２１乃至図２５に示す場合では、立体球ＣＳの半径が「１」であるため、仮想カメラ３の移動量ｄは、「０〜１」の値となる。また、仮想カメラ３の移動量ｄは、ズーム指定値ＺＰに対応する値となる。

次に、図２２は、説明表４（図２０）における「範囲」が「Ｂ〜Ｃ」となるズーム指定値ＺＰが入力されると、出力される画像及び「範囲」の例を示す。なお、「Ｂ〜Ｃ」は、「Ａ〜Ｂ」よりズーム指定値ＺＰが大きい値である。そして、ズーム指定値ＺＰを「Ｂ〜Ｃ」とし、さらに、仮想カメラ３の移動量ｄは、仮想カメラ３が立体球ＣＳの外縁に位置する値に固定されるとする。このようにすると、図２２に示すように、仮想カメラ３の移動量ｄは、立体球ＣＳの半径である「１」に固定される。また、ズーム指定値ＺＰが「Ｂ〜Ｃ」であり、仮想カメラ３の移動量ｄが固定された状態で、視野角αが変更されるとする。以下、仮想カメラ３の移動量ｄが固定された状態で視野角αが大きくなるように変更する例で説明する。このようにすると、画角ωは、図２１から、図２２に示すように、広がる。つまり、ズーム指定値ＺＰを「Ｂ〜Ｃ」とし、かつ、仮想カメラ３の移動量ｄを固定し、視野角αを大きくすると、ズームアウト処理が実現できる。なお、ズーム指定値ＺＰが「Ｂ〜Ｃ」である場合には、視野角αは、「ω／２」で計算される。また、ズーム指定値ＺＰが「Ｂ〜Ｃ」である場合には、視野角αの範囲は、「Ａ〜Ｂ」である場合に固定される値である「６０°」から、「１２０°」までとなる。

ズーム指定値ＺＰが「Ａ〜Ｂ」又は「Ｂ〜Ｃ」であると、画角ωは、ズーム指定値ＺＰと一致する。また、ズーム指定値ＺＰが「Ａ〜Ｂ」及び「Ｂ〜Ｃ」の場合には、画角ωは、値が増加する。

図２３は、説明表４（図２０）における「範囲」が「Ｃ〜Ｄ」となるズーム指定値ＺＰが入力されると、出力される画像及び「範囲」の例を示す。なお、「Ｃ〜Ｄ」は、「Ｂ〜Ｃ」よりズーム指定値ＺＰが大きい値である。そして、ズーム指定値ＺＰを「Ｃ〜Ｄ」とし、さらに、視野角αは、例えばα＝１２０°と固定されるとする。また、図２３に示すように、ズーム指定値ＺＰが「Ｃ〜Ｄ」であり、仮想カメラ３の移動量ｄが、視野角αが固定された状態で変更されるとする。以下、視野角αが固定された状態で仮想カメラ３の移動量ｄが大きくなるように変更する例で説明する。このようにすると、画角ωは、広がる。また、仮想カメラ３の移動量ｄは、説明表４（図２０）で示すズーム指定値ＺＰに基づく式によって計算される。なお、ズーム指定値ＺＰが「Ｃ〜Ｄ」の場合には、仮想カメラ３の移動量ｄは、最大表示距離ｄｍａｘ１まで変更される。なお、最大表示距離ｄｍａｘ１は、スマートフォン２（図１）における出力領域で、立体球ＣＳを最大に表示できる距離である。また、出力領域は、例えば、スマートフォン２が画像等を出力する画面のサイズ等である。さらに、最大表示距離ｄｍａｘ１は、例えば、図２４に示すような状態である。さらにまた、最大表示距離ｄｍａｘ１は、下記（４）式で計算される。

なお、上記（４）式において、「ｖｉｅｗＷ」は、スマートフォン２における出力領域の幅を示す値である。また、上記（４）式において、「ｖｉｅｗＨ」は、スマートフォン２における出力領域の高さを示す値である。以下、同様に記載する。このように、最大表示距離ｄｍａｘ１は、スマートフォン２における出力領域、すなわち、「ｖｉｅｗＷ」及び「ｖｉｅｗＨ」の値等に基づいて計算される。

図２４は、説明表４（図２０）における「範囲」が「Ｄ〜Ｅ」となるズーム指定値ＺＰが入力されると、出力される画像及び「範囲」の例を示す。なお、「Ｄ〜Ｅ」は、「Ｃ〜Ｄ」よりズーム指定値ＺＰが大きい値である。そして、ズーム指定値ＺＰを「Ｄ〜Ｅ」とし、さらに、視野角αは、例えばα＝１２０°と固定されるとする。このようにし、さらに、図２４に示すように、ズーム指定値ＺＰが「Ｃ〜Ｄ」であり、仮想カメラ３の移動量ｄが、視野角αが固定された状態で変更されるとする。また、仮想カメラ３の移動量ｄは、限界表示距離ｄｍａｘ２まで変更される。なお、限界表示距離ｄｍａｘ２は、スマートフォン２における出力領域で、立体球ＣＳが内接して表示される距離である。具体的には、限界表示距離ｄｍａｘ２は、下記（５）式で計算される。なお、限界表示距離ｄｍａｘ２は、例えば、図２５に示すような状態である。

上記（５）式で示すように、限界表示距離ｄｍａｘ２は、スマートフォン２における出力領域である「ｖｉｅｗＷ」及び「ｖｉｅｗＨ」の値に基づいて計算される。また、限界表示距離ｄｍａｘ２は、スマートフォン２が出力できる最大の範囲、すなわち、仮想カメラ３の移動量ｄを大きくできる限界の値を示す。そして、スマートフォン２は、ズーム指定値ＺＰが説明表４（図２０）で説明した範囲に収まる値、すなわち、仮想カメラ３の移動量ｄの値が限界表示距離ｄｍａｘ２以下となるように、入力される値を制限してもよい。このような制限によって、スマートフォン２は、出力領域である画面に出力画像をフィットさせた状態又は所定の出力倍率で画像をユーザに出力できる状態となり、ズームアウトを実現できる。そして、「Ｄ〜Ｅ」の処理によって、スマートフォン２は、ユーザに出力されている画像が全天球パノラマであることを認識させることができる。

なお、ズーム指定値ＺＰが「Ｃ〜Ｄ」又は「Ｄ〜Ｅ」であると、画角ωは、ズーム指定値ＺＰと異なる値となる。また、説明表４及び図２１乃至図２５で示す各範囲間では、画角ωは、連続しているが、広角側へのズームアウトによって、画角ωは、一様に増加しなくともよい。すなわち、例えば、ズーム指定値ＺＰが「Ｃ〜Ｄ」であると、画角ωは、仮想カメラ３の移動量ｄに伴い、増加する。一方で、ズーム指定値ＺＰが「Ｄ〜Ｅ」であると、画角ωは、仮想カメラ３の移動量ｄに伴い、減少する。なお、ズーム指定値ＺＰが「Ｄ〜Ｅ」である場合における仮想カメラ３の移動量ｄの減少は、立体球ＣＳが有する外側の領域が写り込むためである。このように、ズーム指定値ＺＰが２４０°以上の広視野域を指定する場合等では、スマートフォン２は、仮想カメラ３の移動量ｄを変更することによって、ユーザに違和感の少ない画像を出力し、かつ、画角ωを変化させることができる。

また、ズーム指定値ＺＰが広角方向に変更されると、画角ωは、広くなる場合が多い。このように、画角ωが広くなる場合では、スマートフォン２は、仮想カメラ３の視野角αを固定し、仮想カメラ３の移動量ｄを大きくする。このようにすると、スマートフォン２は、仮想カメラ３の視野角αを固定することによって、仮想カメラ３の視野角αの増加を少なくすることができる。さらに、仮想カメラ３の視野角αの増加を少なくすることによって、スマートフォン２は、歪みの少ない画像をユーザに出力することができる。

仮想カメラ３の視野角αを固定し、スマートフォン２が、仮想カメラ３の移動量ｄを大きくする、すなわち、仮想カメラ３を遠ざける方向に動かすと、スマートフォン２は、広角表示の開放感をユーザに与えることができる。また、仮想カメラ３を遠ざける方向に動かす動きは、人間が広範囲を確認する際の動きと類似であるため、スマートフォン２は、仮想カメラ３を遠ざける方向に動かす動きによって、違和感の少ないズームアウトを実現できる。

ズーム指定値ＺＰが「Ｄ〜Ｅ」であると、画角ωは、ズーム指定値ＺＰが広角方向に変更するに伴い、減少する。このように、ズーム指定値ＺＰが「Ｄ〜Ｅ」である場合には、スマートフォン２は、画角ωを減少させることで、ユーザに立体球ＣＳから遠ざかっていく感覚を与えることができる。そして、スマートフォン２は、ユーザに立体球ＣＳから遠ざかっていく感覚を与えることで、ユーザに違和感の少ない画像を出力することができる。

以上のように、説明表４（図２０）で説明する別のズーム処理によって、スマートフォン２は、ユーザに違和感の少ない画像を出力することができる。

なお、スマートフォン２は、説明表４で説明する仮想カメラ３の移動量ｄ又は視野角αのみに、変更する場合に限られない。すなわち、スマートフォン２は、説明表４において、優先的に仮想カメラ３の移動量ｄ又は視野角αを変更する形態であればよく、例えば、調整のため、固定となる値を十分小さい値変更してもよい。また、スマートフォン２は、ズームアウトを行うに限られない。例えば、スマートフォン２は、ズームインを行ってもよい。

以下、第１画像の例である全天球画像が図２６のような画像であるとする。

図２６は、本発明の一実施形態に係る第１画像の一例を示す図である。例えば、ユーザによる選択等によって、図示するような第１画像ＩＭＧ１１が選択されるとする。また、以下の例では、第１画像は、静止画であるとする。なお、第１画像は、動画でもよい。

図９に戻り、ステップＳ０７０６では、スマートフォン２は、第２画像を選択するユーザの操作を入力する。なお、以下の説明では、第１画像の例である全天球画像に新たに加える画像を「第２画像」という。例えば、ユーザは、ハッシュタグ（ｈａｓｈｔａｇ）等の付加情報を第１画像に対して付加させる操作をスマートフォンに入力する。そして、スマートフォン２は、第１画像に付加されるハッシュタグ等に対応する画像を特定し、第２画像とする。例えば、以下のような画像が第２画像であるとする。

図２７は、本発明の一実施形態に係る第２画像の一例を示す図である。例えば、「ｓａｋｕｒａ」（「桜」をローマ字入力する例である。）等のハッシュタグが入力された場合には、スマートフォンは、入力されたハッシュタグに対応する第２画像を特定する。具体的には、対応する第２画像ＩＭＧ２１は、図示するように、第１画像が示す花と同一の種類の「花びら」等を示す画像である。以下、第２画像が示す物体等を「オブジェクトＯＢＪ」という。ここでは、ハッシュタグ「ｓａｋｕｒａ」に対応する画像、すなわち、ハッシュタグと同一の種類の物体として第１画像には桜が含まれているものとする。このように、第２画像は、この同一種類の物体の一部（例えば、桜の花びらである。）に対応する画像、又は、この同一種類の物体の全体（例えば、桜の花びら、葉及び枝等である。）に対応する画像である。また、以下の説明ではハッシュタグを「ｓａｋｕｒａ」（桜）として第２画像を「花びら」として説明するがこれに限られるものではない。例えば、ハッシュタグを「ａｍｅ」（雨又はｒａｉｎ等でもよい。）とした場合には、第２画像は、雨に対応する「水滴」の画像となり、ハッシュタグを「ｙｕｋｉ」（雪又はｓｎｏｗ等でもよい。）とした場合には、第２画像は、「雪」の画像となる。なお、第２画像は、１つのオブジェクトを示す画像でもよい。また、第２画像は、複数選択されてもよい。

例えば、第２画像ＩＭＧ２１を示すデータは、あらかじめスマートフォン２に入力される。なお、第２画像ＩＭＧ２１を示すデータは、スマートフォン２によって、あらかじめ第２画像を登録するサーバ等からダウンロードされたり、検索エンジン等によってハッシュタグに基づいて検索され、ダウンロードされたりしてもよい。

また、スマートフォン２は、画像を認識する認識部を含む場合には、第１画像に含まれる画像を認識して、第２画像を選択してもよい。例えば、図２６に示す第１画像ＩＭＧ１１には、「花びら」を示す画像が含まれる。そのため、第１画像ＩＭＧ１１に対して、画像認識処理が行われると、スマートフォン２は、第１画像ＩＭＧ１１内に写る「花びら」を認識する。そして、認識部が認識した認識結果に基づいて、スマートフォン２は、あらかじめ入力される第２画像の中から、図２６に示す第１画像に写る「花びら」と同一の内容を示す第２画像ＩＭＧ２１を特定してもよい。また、第２画像は、第１画像に含まれる画像と同一でなくとも、図２７に図示するような類似の画像が特定されてもよい。

また、第２画像は、例えば、ＪＳＯＮ（ＪａｖａＳｃｒｉｐｔ（登録商標） Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ）形式の３Ｄモデルデータと、オブジェクトＯＢＪの色彩及び模様等を示すデータとによって示される。なお、第２画像は、他の形式で示されてもよい。

図９に戻り、ステップＳ０７０７では、スマートフォン２は、第１画像を貼り付けた３Ｄモデル、すなわち、立体球ＣＳ（図１５）等に、第２画像を配置させる。したがって、３Ｄモデルには、まず、スマートフォン２によって、第１画像が貼り付けられ、更に第２画像が示すオブジェクトＯＢＪ（図２７）が加えられる。

ステップＳ０７０８では、スマートフォン２は、ステップＳ０７０７で第２画像が配置された３Ｄモデルに基づいて、出力画像を生成する。具体的には、図１５乃至図１８に示す初期画像を生成する場合と同様に、第２画像が配置された３Ｄモデルの所定領域が、出力画像となって出力される。例えば、出力画像は、図２８のような画像となる。

図２８は、本発明の一実施形態に係る出力画像の一例を示す図である。例えば、スマートフォン２は、第１出力画像ＩＭＧＯＵＴ１を１フレーム目、次に、第２出力画像ＩＭＧＯＵＴ２を２フレーム目に出力する。図２６と比較すると、第１出力画像ＩＭＧＯＵＴ１及び第２出力画像ＩＭＧＯＵＴ２には、第２画像が示す複数のオブジェクトＯＢＪ、すなわち、「花びら」が加わる点が異なる。なお、オブジェクトＯＢＪは、コピーされ、入力される第２画像の数より多く出力されてもよい。また、出力画像では、各オブジェクトは、それぞれ異なる角度及び位置に出力される。

そして、第１出力画像ＩＭＧＯＵＴ１及び第２出力画像ＩＭＧＯＵＴ２で図示するように、各フレームにおいて、オブジェクトＯＢＪは、スマートフォン２によって、例えば、重力方向（図示する例では、Ｙ軸方向であり、第１方向ＤＲ１である。）に動くように出力される。図示する例では、画像内において、「花びら」のオブジェクトＯＢＪは、重力によって、第１方向ＤＲ１に落ちていくように見えるように出力される。したがって、図２６に示す第１画像に対して、スマートフォン２は、第２画像を新たに加えて、「花びら」が舞うような演出効果を出すことができる。なお、演出効果は、図示する例に限られない。例えば、第２画像を図２７に示すオブジェクトとは異なる物体等にして、別の演出効果が出されてもよい。

出力画像は、３Ｄモデルに基づいて、生成されるため、オブジェクトＯＢＪは、所定の方向に向かって動くように出力される。具体的には、図２８に示す場合では、例えば、第２画像は、図２９のように動くように出力される。

図２９は、本発明の一実施形態に係る出力画像における第２画像の動きの一例を示す図である。図は、図２８に示す出力画像における第２画像、すなわち、オブジェクトの動きを３Ｄモデル図で説明する図である。図示するように、３Ｄモデルの例である立体球ＣＳに、第１画像が貼り付けられた場合には、ユーザが指定するパラメータ等に基づいて、スマートフォンは、パラメータ等で特定される所定領域Ｔを示す画像を出力する。すなわち、所定領域Ｔに基づいて出力される画像が、出力画像となる。また、図２８に示す例において、図２９では、オブジェクトは、第１方向ＤＲ１に動くように、出力画像が生成される。

なお、オブジェクトが動く方向、オブジェクトが出力され始める位置、オブジェクトが動く速度又はこれらの組み合わせは、ユーザ等によって指定されてもよい。この例では、オブジェクトが動く方向は、第１方向ＤＲ１であるが、第１方向ＤＲ１に限られない。

例えば、オブジェクトが動く方向は、横方向（Ｘ軸方向、図では、第２方向ＤＲ２である。）、奥行き方向（Ｚ軸方向、図では、第３方向ＤＲ３である。）又はこれらの組み合わせた方向にされてもよい。

また、オブジェクトが出力され始める位置は、この例では、例えば、Ｙ座標値等で入力されてもよい。具体的には、図示するように、開始位置ＳＰＯＳを示す座標値等が入力されてもよい。開始位置ＳＰＯＳが定まると、オブジェクトは、開始位置ＳＰＯＳから第１方向ＤＲ１に向かって動くように出力される。さらに、オブジェクトが動く速度は、例えば、１フレームごとに、オブジェクトが動く座標数等で入力されてもよい。このようにすると、ユーザは、オブジェクトが動く様子を詳細に設定することができる。

また、出力画像は、３Ｄモデルに基づいて、生成されるため、図２９に示す所定領域Ｔが変更される、いわゆる視点変換が行われても、オブジェクトＯＢＪは、所定の方向に向かって動くように出力される。具体的には、例えば、視点変換後の出力画像は、図３０のように出力される。

図３０は、本発明の一実施形態に係る見下ろし視点における出力画像の一例を示す図である。図示する出力画像ＩＭＧＯＵＴＤＷは、出力される領域である所定領域が図２９に示す場合から変更され、Ｙ軸方向において上から下に向かう視点、いわゆる見下ろし視点に視点変換された場合に出力される画像である。そして、オブジェクトＯＢＪが動く方向は、図２８に示す場合と同様に、第１方向ＤＲ１であるとする。

出力画像ＩＭＧＯＵＴＤＷでは、オブジェクトＯＢＪが動く方向が図２８等と同一となるように設定されていても、オブジェクトＯＢＪは、画面内では、図２８と異なるように表示される。具体的には、出力画像ＩＭＧＯＵＴＤＷでは、図示するように、オブジェクトＯＢＪは、画面の外側から中央へ向かい、かつ、徐々に縮小されるように出力される。すなわち、オブジェクトＯＢＪは、画面の奥行き方向において、手前から奥へ向かって動くように出力される。すなわち、見下ろし視点となっても、「花びら」のオブジェクトＯＢＪが、重力によって、第１方向ＤＲ１に向かって、落ちていくように見えるように、オブジェクトＯＢＪが動く出力となる。このように、３Ｄモデルに基づいて、出力画像が生成されると、視点変換があっても、スマートフォンは、第２画像が所定の方向に向かって動くように出力できる。具体的には、図３０に示す場合では、例えば、第２画像は、図３１のように動くように出力される。

図３１は、本発明の一実施形態に係る見下ろし視点の出力画像における第２画像の動きの一例を示す図である。図は、図２９と同様に、図３０に示す出力画像における第２画像、すなわち、オブジェクトの動きを３Ｄモデル図で説明する図である。図示するように、図２９と比較すると、図３１は、視点変換によって、「見下ろし」の視点となり、所定領域Ｔの位置が異なる。図示するように、視点変換されても、スマートフォンは、オブジェクトが第１方向ＤＲ１に動くように、出力画像を生成する。他にも、例えば、視点変換後の出力画像は、図３２のように出力される。

図３２は、本発明の一実施形態に係る見上げる視点における出力画像の一例を示す図である。図示する出力画像ＩＭＧＯＵＴＵＰは、出力される領域である所定領域が図２９に示す場合から変更され、Ｙ軸方向において下から上に向かう視点、いわゆる見上げる視点に視点変換された場合に出力される画像である。そして、オブジェクトＯＢＪが動く方向は、図２８に示す場合と同様に、第１方向ＤＲ１であるとする。

出力画像ＩＭＧＯＵＴＵＰでは、オブジェクトＯＢＪが動く方向が図２８と同一となるように設定されていても、オブジェクトＯＢＪは、画面内では、図２８と異なるように表示される。具体的には、出力画像ＩＭＧＯＵＴＵＰでは、図示するように、オブジェクトＯＢＪは、画面の中央から画面の外側へ向かい、かつ、徐々に拡大されるように出力される。すなわち、オブジェクトＯＢＪは、画面の奥行き方向において、奥から手前へ向かって動くように出力される。すなわち、見上げる視点となっても、「花びら」のオブジェクトＯＢＪが、重力によって、第１方向ＤＲ１に向かって、落ちていくように見えるように、オブジェクトＯＢＪが動く出力となる。このように、３Ｄモデルに基づいて、出力画像が生成されると、視点変換があっても、スマートフォンは、第２画像が所定の方向に向かって動くように出力できる。

図３３は、本発明の一実施形態に係る見上げる視点の出力画像における第２画像の動きの一例を示す図である。図は、図２９と同様に、図３２に示す出力画像における第２画像、すなわち、オブジェクトの動きを３Ｄモデル図で説明する図である。図示するように、図２９と比較すると、図３３は、視点変換によって、「見上げる」の視点となり、所定領域Ｔの位置が異なる。図示するように、視点変換されても、スマートフォンは、オブジェクトが第１方向ＤＲ１に動くように、出力画像を生成する。

さらに、出力画像は、３Ｄモデルに基づいて、生成されるため、図２９に示す所定領域Ｔの範囲が変更されるズーム処理が行われると、オブジェクトＯＢＪは、ズーム倍率等に出力される。具体的には、例えば、ズームアウトのズーム処理が行われた場合の出力画像は、図３４のように出力される。

図３４は、本発明の一実施形態に係るズームアウトされた出力画像の一例を示す図である。図示するズームアウト出力画像ＩＭＧＯＵＴＺＯは、図２８に示す出力画像がズームアウトされ、図２８に示す出力画像より広い範囲を示す出力画像である。なお、他の設定は、図２８に示す場合と同様とする。具体的には、例えば、オブジェクトＯＢＪが動く方向は、第１方向ＤＲ１であるとする。そのため、図２８に示す出力画像に写る被写体より、図３４に示す出力画像内では、各被写体は、小さく出力される。そして、図示するように、オブジェクトＯＢＪも、スマートフォンによって、ズームアウトの倍率等に合わせて、小さく見えるように出力される。また、ズームインのズーム処理が行われた場合の出力画像も、同様に処理され、例えば、図３５のように出力される。

図３５は、本発明の一実施形態に係るズームインされた出力画像の一例を示す図である。図示するズームイン出力画像ＩＭＧＯＵＴＺＩは、図２８に示す出力画像がズームインされ、図２８に示す出力画像より狭い範囲を示す出力画像である。なお、他の設定は、図２８に示す場合と同様とする。具体的には、例えば、オブジェクトＯＢＪが動く方向は、第１方向ＤＲ１であるとする。そのため、図２８に示す出力画像に写る被写体より、図３４に示す出力画像内では、各被写体は、大きく出力される。なお、ズームイン出力画像ＩＭＧＯＵＴＺＩは、図２８に示す画像の中央部分が拡大された画像である。そして、図示するように、オブジェクトＯＢＪも、スマートフォンによって、ズームアウトの倍率等に合わせて、大きく見えるように出力される。

このように、出力画像が３Ｄモデルに基づいて生成されると、スマートフォンは、ズーム処理及び視点変換等があっても、連動した方向又は大きさで第２画像を出力することができる。そのため、スマートフォンは、第１画像に新たに第２画像を加えて、演出効果を出すことができる。

＜機能構成例＞
図３６は、本発明の一実施形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。図示するように、スマートフォン２は、入力部２Ｆ１と、生成部２Ｆ２とを有する。

入力部２Ｆ１は、第１画像と、第１画像に加える第２画像とを入力する。例えば、入力部２Ｆ１は、入出力装置２Ｈ３（図８）等によって実現される。

生成部２Ｆ２は、第１画像を貼り付けた３Ｄモデルに、第２画像を配置させて、３Ｄモデルに基づいて、出力画像を生成する。例えば、生成部２Ｆ２は、ＣＰＵ２Ｈ５（図８）等によって実現される。

また、スマートフォン２は、第１画像に含まれる画像を認識する認識部を更に有する構成でもよい。例えば、認識部は、ＣＰＵ２Ｈ５等によって実現される。

このように、スマートフォンが３Ｄモデルに基づいて出力画像を生成すると、スマートフォン２は、３Ｄモデルに配置される第２画像が所定の方向に動くように出力できる。すなわち、スマートフォン２は、視点変換、ズーム処理又はこれらの組み合わせが行われても、第２画像が所定の方向に動くように出力できる。

例えば、第１画像において単純に画面の上から下に動くように第２画像を重ねて出力させると、視点変換等があると、第２画像は、視点変換に連動しないため、どのような視点変換がされても、常に、画面の上から下に動くように出力される。一方で、図示するような機能構成であると、３Ｄモデルに基づいて出力画像が生成されるため、第２画像が動く方向は、視点変換等に合わせて連動する。そのため、図３０等に示すように、スマートフォン２は、視点変換等がされても、第１画像が写る画像に、新たに第２画像を加えて、花びらが舞うような演出効果を出すことができる。

なお、本発明に係る実施形態は、プログラミング言語等で記述されるプログラムによって実現されてもよい。すなわち、本発明に係る実施形態は、画像処理装置等のコンピュータに画像処理方法を実行させるためのプログラムによって実現されてもよい。なお、プログラムは、フラッシュメモリ、ＳＤ（登録商標）カード又は光学ディスク等の記録媒体に記憶して頒布することができる。また、プログラムは、インターネット等の電気通信回線を通じて頒布することができる。

また、本発明に係る実施形態において、処理の一部又は全部は、例えば、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）等のプログラマブル・デバイス（ＰＤ）で処理され、実現されてもよい。さらに、本発明に係る実施形態において、処理の一部又は全部は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）で処理され、実現されてもよい。

さらに、情報処理装置は、スマートフォンに限られず、サーバ等でもよい。また、情報処理装置は、１つの情報処理装置に限られず、複数の情報処理装置で構成されてもよい。すなわち、本発明に係る実施形態は、１以上の情報処理装置を有する画像処理システムによって実現されてもよい。

以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されない。すなわち、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

本国際出願は、２０１６年３月１５日に出願された日本国特許出願２０１６―０５１４７１号に基づく優先権を主張するものであり、その全内容を本国際出願に援用する。

１０ 画像処理システム
１ 撮影装置
２ スマートフォン
ＯＢＪ オブジェクト
ＩＭＧ１１ 第１画像
ＩＭＧ２１ 第２画像

特開２０１４−６８８０号公報 特開２０１５−１８０１３号公報 特開２０１４−３０１０４号公報

Claims (8)

1. 第１画像及び第２画像を入力する入力部と、
   前記第１画像を貼り付けた３Ｄモデルに、前記第２画像を配置させて出力画像を生成する生成部と
   を有する画像処理装置。
2. 前記第１画像は、付加情報を有し、
   前記第２画像は、前記付加情報に基づいて特定される請求項１に記載の画像処理装置。
3. 前記第１画像に含まれる画像を認識する認識部を更に有し、
   前記第２画像は、前記認識部によって認識される画像と同一又は類似の内容を示す画像である請求項１に記載の画像処理装置。
4. 前記第１画像は、撮影装置で撮影された画像又は複数の撮影装置で撮影された複数の画像に基づいて生成された画像である請求項１に記載の画像処理装置。
5. 前記第２画像は、前記第１画像の各フレームにおいて、所定の方向に向かって動くように出力される請求項１に記載の画像処理装置。
6. 前記第２画像が動く方向、前記第２画像が出力され始める位置、前記第２画像が動く速度又はこれらの組み合わせを設定する請求項５に記載の画像処理装置。
7. １以上の情報処理装置を有する画像処理システムであって、
   第１画像及び第２画像を入力する入力部と、
   前記第１画像を貼り付けた３Ｄモデルに、前記第２画像を配置させて出力画像を生成する生成部と
   を有する画像処理システム。
8. 画像処理装置が行う画像処理方法であって、
   前記画像処理装置が、第１画像及び第２画像を入力する入力手順と、
   前記画像処理装置が、前記第１画像を貼り付けた３Ｄモデルに、前記第２画像を配置させて出力画像を生成する生成手順と
   を有する画像処理方法。