JP6337907B2 - 表示制御装置、表示制御方法およびプログラム - Google Patents

Description

本開示は、表示制御装置、表示制御方法およびプログラムに関する。

近年、現実の画像に付加的な情報を重畳してユーザに呈示する、拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術が注目されている。ＡＲ技術では、例えば撮像画像に含まれるオブジェクトが認識され、認識されたオブジェクトに関連する情報が表示される。このような情報はアノテーションとも呼ばれ、例えばテキスト、アイコンまたはアニメーションなど、さまざまな形態の仮想オブジェクトとして可視化される。このようなＡＲ技術の例は、例えば特許文献１に記載されている。

特開２０１３−１０５２５３号公報

しかしながら、特許文献１では、現実のオブジェクトに関連する仮想オブジェクトをオブジェクトの位置または姿勢に合わせて適切に表示する技術が提案されているものの、現実のオブジェクト自体を活用した表示の技術については提案されていない。特許文献１に記載されているように、オブジェクトの位置や姿勢を検出することは可能なので、これを利用して、現実のオブジェクト自体を活用してより有用な情報を表示することも可能なはずである。

そこで、本開示では、画像に含まれる現実のオブジェクトの表示位置または姿勢に基づいて、現実のオブジェクト自体を活用してより有用な情報を表示することが可能な、新規かつ改良された表示制御装置、表示制御方法およびプログラムを提案する。

本開示によれば、画像と、上記画像に含まれるオブジェクトと、上記オブジェクトの上記画像における表示位置または姿勢とを関連付けるレコードを参照するレコード参照部と、上記レコードに基づいて、上記オブジェクトを含む第１の画像の表示を、上記オブジェクトを含み上記第１の画像とは異なる第２の画像の表示に、上記オブジェクトの表示位置または姿勢を維持したまま遷移させる表示制御部とを含む表示制御装置が提供される。

また、本開示によれば、画像と、上記画像に含まれるオブジェクトと、上記オブジェクトの上記画像における表示位置または姿勢とを関連付けるレコードを参照することと、上記レコードに基づいて、上記オブジェクトを含む第１の画像の表示を、上記オブジェクトを含み上記第１の画像とは異なる第２の画像の表示に、上記オブジェクトの表示位置または姿勢を維持したまま遷移させることとを含む表示制御方法が提供される。

また、本開示によれば、画像と、上記画像に含まれるオブジェクトと、上記オブジェクトの上記画像における表示位置または姿勢とを関連付けるレコードを参照する機能と、上記レコードに基づいて、上記オブジェクトを含む第１の画像の表示を、上記オブジェクトを含み上記第１の画像とは異なる第２の画像の表示に、上記オブジェクトの表示位置または姿勢を維持したまま遷移させる機能とをコンピュータに実現させるためのプログラムが提供される。

以上説明したように本開示によれば、画像に含まれる現実のオブジェクトの表示位置または姿勢に基づいて、現実のオブジェクト自体を活用してより有用な情報を表示することができる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態における装置構成の概要を示す図である。 本開示の一実施形態に係るスマートフォンの概略的な構成を示すブロック図である。 本開示の一実施形態において撮像部が生成する画像の例を示す図である。 本開示の一実施形態において画像−オブジェクトＤＢに生成されるレコードの例を示す図である。 本開示の一実施形態における第１の表示例を示す図である。 本開示の一実施形態における第２の表示例を示す図である。 本開示の一実施形態における第３の表示例を示す図である。 本開示の一実施形態における第４の表示例を示す図である。 本開示の一実施形態における第５の表示例を示す図である。 本開示の一実施形態におけるアノテーションの表示のための処理の例について説明するための図である。 本開示の一実施形態における第６の表示例を示す図である。 本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．装置構成
２．表示例
２−１．オブジェクト表示位置または姿勢の変化
２−２．画像間の遷移
２−３．アノテーションの表示
２−４．遷移先の選択肢の表示
３．ハードウェア構成
４．補足

（１．装置構成）
図１は、本開示の一実施形態における装置構成の概要を示す図である。図１を参照すると、本実施形態では、スマートフォン１００が、オブジェクト２０１を含む現実の空間２００を撮像している。スマートフォン１００の表示部１１８には、撮像によって生成されたスルー画像３００ｔが表示されている。スルー画像３００ｔには、現実のオブジェクト２０１に対応するオブジェクト３０１が含まれている。

図２は、本開示の一実施形態に係るスマートフォンの概略的な構成を示すブロック図である。図２を参照すると、スマートフォン１００は、撮像部１０２と、オブジェクト認識部１０４と、オブジェクトＤＢ１０６と、レコード生成部１０８と、レコード参照部１１０と、画像−オブジェクトＤＢ１１２と、表示制御部１１４と、画像ＤＢ１１６と、表示部１１８とを含む。スマートフォン１００は、本開示の実施形態に係る表示制御装置の一例であり、例えば後述する情報処理装置のハードウェア構成によって実現されうる。以下、それぞれの構成要素についてさらに説明する。

なお、本実施形態では、スマートフォン１００が、少なくとも、ＣＰＵ（Central Processing Unit）などのプロセッサと、メモリまたはストレージと、カメラ（撮像装置）と、ディスプレイ（出力装置）とを備える。例えば、オブジェクト認識部１０４、レコード生成部１０８、レコード参照部１１０、および表示制御部１１４は、プロセッサがメモリまたはストレージに格納されたプログラムに従って動作することによって実現されうる。オブジェクトＤＢ１０６、画像−オブジェクトＤＢ１１２、および画像ＤＢ１１６は、メモリまたはストレージによって実現されうる。撮像部１０２は、カメラによって実現されうる。表示部１１８は、ディスプレイによって実現されうる。

撮像部１０２は、現実の空間を撮像して画像を生成する。撮像部１０２は、静止画像を生成してもよいし、動画像を生成してもよい。撮像部１０２が生成した画像のデータは、オブジェクト認識部１０４に提供される他、必要に応じて画像ＤＢ１１６に格納される。また、画像のデータは、表示制御部１１４に提供されて、スルー画像またはプレビュー画像として表示部１１８に表示されてもよい。

オブジェクト認識部１０４は、撮像部１０２が生成した画像について、オブジェクト認識を実行する。オブジェクト認識部１０４は、オブジェクト認識のためにオブジェクトＤＢ１０６を参照してもよい。オブジェクトＤＢ１０６には、例えば、認識の対象になるオブジェクトの形状または外観に関するモデルデータが予め蓄積されている。モデルデータは、各オブジェクトの形状を定義するデータ、各オブジェクトに付される所定のシンボルマークもしくはテキストラベルなどの画像データ、または各オブジェクトについて既知の画像から抽出された特徴量セットのデータなどを含む。

より具体的には、例えば、オブジェクト認識部１０４は、撮像部１０２によって生成された画像を入力画像として用いて、入力画像にどのオブジェクトが含まれるかを認識する。オブジェクト認識部１０４は、例えば、入力画像から抽出される特徴点のセットを、モデルデータによって定義されるオブジェクトの形状と照合する。また、オブジェクト認識部１０４は、モデルデータによって定義されるシンボルマークまたはテキストラベルなどの画像データを、入力画像と照合してもよい。さらに、オブジェクト認識部１０４は、モデルデータによって定義される既知の物体の画像の特徴量を、入力画像から抽出される特徴量と照合してもよい。

ここで、新たな入力画像において既知のオブジェクトが認識された場合、オブジェクト認識部１０４は、認識されたオブジェクトを表す特徴量セットを、当該オブジェクトについて既知の画像から抽出された特徴量セットのデータとして追加してもよい。また、新たな入力画像において新たなオブジェクトが認識された場合、オブジェクト認識部１０４は、認識されたオブジェクトの形状や画像データ、特徴量などに基づいて、オブジェクトＤＢ１０６に新たなモデルデータを追加してもよい。

さらに、オブジェクト認識部１０４は、画像におけるオブジェクトの表示位置および姿勢を認識することが可能である。より具体的には、例えば、オブジェクト認識部１０４は、撮像部１０２によって生成された画像を入力画像として用いて、入力画像に含まれるオブジェクトの表示位置および姿勢を検出する。例えば、オブジェクトの姿勢は、オブジェクトＤＢ１０６に格納されたモデルデータでのモデル座標系と、入力画像に映っているオブジェクトの座標系との間の変換を表す４行４列の１つの同次変換行列によって統合的に表現される。オブジェクト認識部１０４は、この同次変換行列から、スマートフォン１００に対するオブジェクトの角度を抽出することができる。また、画像におけるオブジェクトの表示位置は、例えば画像内でのオブジェクトの中心座標によって表すことができる。

レコード生成部１０８は、オブジェクト認識部１０４によるオブジェクト認識の結果に基づいて、画像−オブジェクトＤＢ１１２にレコードを生成する。画像−オブジェクトＤＢ１１２には、例えば、画像と、画像に含まれるオブジェクトと、オブジェクトの画像における表示位置および姿勢を関連付けるレコードが生成される。例えば、図３に示すように、撮像部１０２が生成した画像３００ａにおいて、オブジェクト認識部１０４が２つのオブジェクト３０１ａ，３０１ｂを認識した場合、レコード生成部１０８は、画像−オブジェクトＤＢ１１２に図４に示すようなレコードを追加する。

図４は、本開示の一実施形態において画像−オブジェクトＤＢに生成されるレコードの例を示す図である。図４には、画像−オブジェクトＤＢ１１２に生成されるレコードとして、画像ＩＤ、オブジェクトＩＤ、位置、および姿勢を含むレコードが例示されている。図示された例において、レコードは、画像ＩＤとオブジェクトＩＤとの組み合わせについて一意である。上記のように、図３に示した例では、撮像部１０２が生成した画像３００ａにおいて、オブジェクト認識部１０４が２つの既知のオブジェクト３０１ａ，３０１ｂを認識している。そこで、レコード生成部１０８は、図４に示すような２つのレコード４０１ａ，４０１ｂを画像−オブジェクトＤＢ１１２に追加する。

例えば、レコード４０１ａは、画像３００ａ（画像ＩＤ＝img_000001）に含まれるオブジェクト３０１ａ（オブジェクトＩＤ＝obj_000001）についてのレコードであり、画像３００ａにオブジェクト３０１ａが含まれることと、画像３００ａにおけるオブジェクト３０１ａの表示位置（画像内の座標で（Ｘ，Ｙ）＝（０．２７６，０．８４３））と、画像３００ａにおけるオブジェクト３０１ａの姿勢（同次変換行列Ｍ_１によって表現される）とを関連付けて記録している。

上記のように、画像−オブジェクトＤＢ１１２のレコードは、画像ＩＤとオブジェクトＩＤとの組み合わせについて一意である。従って、図示されているように、同じ画像３００ａの中でも、複数のオブジェクト３０１ａ，３０１ｂが発見されれば、それぞれにオブジェクトに対応する複数のレコード４０１ａ，４０１ｂが生成されうる。さらに、別の画像３００ｂでオブジェクト３０１ａまたはオブジェクト３０１ｂの少なくともいずれかが発見されれば、また新たなレコード４０１が生成される。

再び図２を参照して、レコード参照部１１０は、オブジェクト認識部１０４によるオブジェクト認識の結果に基づいて、画像−オブジェクトＤＢ１１２のレコードを参照する。ここで参照されるのは、オブジェクト認識部１０４によって認識されたオブジェクトを含む他の画像についてのレコードである。つまり、上記の図３および図４の例のように、画像３００ａにおいてオブジェクト３０１ａが認識された場合、レコード参照部１１０は、画像３００ａ以外の画像で、オブジェクト３０１ａを含む画像についてのレコードを参照する。例えば、レコード参照部１１０は、図４に示すようなレコードを含む画像−オブジェクトＤＢ１１２において、「画像ＩＤ≠img_000001 ＡＮＤ オブジェクトＩＤ＝obj_000001」というクエリを発行してレコードを参照してもよい。

あるいは、レコード参照部１１０は、表示制御部１１４の要求に応じて画像−オブジェクトＤＢ１１２のレコードを参照してもよい。ここで参照されるのは、例えば、表示制御部１１４によって指定されたオブジェクトを含む画像についてのレコードである。例えば、上記の図４のような画像−オブジェクトＤＢ１１２のレコードが生成されている場合、レコード参照部１１０は、オブジェクトＩＤを指定してレコードを参照することによって、特定のオブジェクトを含む複数の画像についてのレコードを一括して取得することが可能である。

表示制御部１１４は、表示部１１８への画像の表示を制御する。例えば、表示制御部１１４は、撮像部１０２によって生成された画像（以下、撮像画像ともいう）を、スルー画像またはプレビュー画像として表示部１１８に表示させてもよい。また、例えば、表示制御部１１４は、スマートフォン１００のユーザの操作に応じて、画像ＤＢ１１６に格納された画像（以下、記録画像）を読み出して、表示部１１８に表示させてもよい。このとき、表示制御部１１４は、撮像画像または記録画像を必要に応じて加工して表示させてもよい。本実施形態において、撮像画像および記録画像では、例えばオブジェクト認識部１０４によって画像に含まれるオブジェクトが認識されているため、表示制御部１１４は、撮像画像または記録画像に含まれるオブジェクトの表示位置を変化させたり（画像自体を移動させてもよい）、オブジェクトの姿勢を変化させたりすることも可能である。

例えば、表示制御部１１４は、あるオブジェクトを含む第１の画像（撮像画像または記録画像）の表示を、同じオブジェクトを含む第２の画像（第１の画像とは異なる記録画像）の表示に遷移させてもよい。このとき、表示制御部１１４は、例えば第１の画像または第２の画像においてオブジェクトの表示位置または姿勢を変化させることによって、オブジェクトの表示位置または姿勢を維持したまま画像の表示を遷移させることができる。

このような表示は、例えば、表示制御部１１４が、レコード参照部１１０が参照したレコードに基づいて、遷移先の第２の画像（画像ＤＢに格納された、第１の画像と同じオブジェクトを含む画像）を特定し、さらに、第２の画像に含まれるオブジェクトの表示位置および姿勢を認識することによって可能になる。第１の画像について、表示制御部１１４は、オブジェクト認識部１０４によるオブジェクト認識の結果（第１の画像が撮像画像である場合）、またはレコード参照部１１０が取得した別のレコード（第１の画像が記録画像である場合）に基づいて表示位置および姿勢を認識する。

画像ＤＢ１１６には、例えば、撮像部１０２によって生成された画像が、スマートフォン１００のユーザの操作に応じて格納される。また、画像ＤＢ１１６には、ネットワークを介して外部装置（図示せず）から取得された画像が格納されてもよい。画像ＤＢ１１６には、画像のコンテンツ実体が格納されてもよいし、画像のコンテンツ実体へのリンク情報が格納されてもよい。

ここで、上述したようなレコード参照部１１０および表示制御部１１４の処理を可能にするために、画像ＤＢ１１６に格納される画像に与えられる画像ＩＤと、画像−オブジェクトＤＢ１１２における画像ＩＤとは共通、または変換可能であることが望ましい。同様に、オブジェクトＤＢ１０６に格納されるモデルデータに与えられるオブジェクトＩＤと、画像−オブジェクトＤＢ１１２におけるオブジェクトＩＤとも共通、または変換可能であることが望ましい。

以上、本開示の一実施形態における装置構成について説明した。なお、上記の例では表示制御装置としてスマートフォンを例示したが、本開示の実施形態はこのような例には限られない。例えば、表示制御装置は、デスクトップ型もしくはノート型のパーソナルコンピュータ、テレビ、タブレット端末、メディアプレーヤ、またはゲーム機など、ディスプレイと入力装置とを備える各種の機器でありうる。表示制御装置は、必ずしも撮像部を備えなくてもよく、例えば専らネットワークを介して共有された画像を取得したり、リムーバブルメディアからの読み込みなどによってストレージに蓄積された画像を取得したりするものであってもよい。

また、本開示の実施形態における別の装置構成として、上記の構成の少なくとも一部が、ネットワーク上のサーバにおいて実現されてもよい。例えば、スマートフォン１００（他の端末装置でもよい）は撮像部１０２と表示部１１８とを有し、他の構成要素、例えばオブジェクト認識部１０４、オブジェクトＤＢ１０６、レコード生成部１０８、レコード参照部１１０、画像−オブジェクトＤＢ１１２、表示制御部１１４、および画像ＤＢ１１６は、ネットワーク上のサーバにおいて実現されてもよい。この場合、サーバが表示制御装置の例になる。また、上記と同様の装置構成において、オブジェクトＤＢ１０６、画像−オブジェクトＤＢ１１２、および画像ＤＢ１１６のうちの一部または全部が、ネットワーク上のストレージにおいて実現されてもよい。

（２．表示例）
（２−１．オブジェクト表示位置または姿勢の変化）
図５は、本開示の一実施形態における第１の表示例を示す図である。この表示例では、まず、Ａに示すように、オブジェクト３１１ａ〜３１１ｈが含まれる画像３１０が表示されている。ここで、ユーザがタッチパネルなどを介した操作（例えばダブルタップなど）によってオブジェクト３１１ｃを指定すると、Ｂに示すように、オブジェクト３１１ｃがハイライトされた上で、オブジェクト３１１ａ〜３１１ｈの姿勢が互いの位置関係を維持したまま変化し、オブジェクト３１１ｃが画面に正対した状態になる。さらに、Ｃに示すように、正対した状態のオブジェクト３１１ｃを中心にして画像３１０がズームインすることによって、オブジェクト３１１ｃが拡大表示される。

図６は、本開示の一実施形態における第２の表示例を示す図である。この表示例では、まず、Ａに示すように、オブジェクト３１１ａ〜３１１ｈが含まれる画像３１０が表示されている（図５と同様）。ここで、ユーザがタッチパネルなどを介した操作（例えばダブルタップなど）によってオブジェクト３１１ｈを指定すると、Ｂに示すように、オブジェクト３１１ｈがハイライトされた上で、オブジェクト３１１ａ〜３１１ｈの姿勢が位置関係を維持したまま変化し、オブジェクト３１１ｈが正対した状態になる。さらに、この状態でオブジェクト３１１ｈに対してさらに所定の操作（例えばドラッグ／ピンチイン、またはダブルタップなど）が取得されると、Ｃに示すように、正対した状態のオブジェクト３１１ｈを中心にして画像３１０がズームインすることによって、オブジェクト３１１ｈが拡大される。

上記の２つの例に示されるように、本実施形態では、画像において指定されたオブジェクトの姿勢を変化させてオブジェクトを画面に正対させたり、指定されたオブジェクトが中心に表示されるように画像の表示範囲を移動させたり、指定されたオブジェクトが拡大表示されるように画像をズームインさせたりすることが可能である。

このような表示の変化は、表示制御部１１４が、レコード参照部１１０が参照した画像−オブジェクトＤＢ１１２のレコード（画像と、画像に含まれるオブジェクトと、オブジェクトの画像における表示位置または姿勢を関連付けるレコード）に基づいて、撮像部１０２または画像ＤＢ１１６から取得された画像を加工することによって可能になる。

より具体的には、例えば、表示制御部１１４は、画像に含まれる各オブジェクトの姿勢を示す情報に基づいて、各オブジェクトが画面に正対するように、オブジェクトの部分の画像を変形させる。また、表示制御部１１４は、画像における各オブジェクトの表示位置を示す情報に基づいて、変形後の各オブジェクトを、変形前の位置関係が再現されるように再配置する。さらに、表示制御部１１４は、画像における各オブジェクトの表示位置を示す情報に基づいて、指定されたオブジェクトが中心に表示されるように画像の表示範囲を移動させたり、指定されたオブジェクトが拡大されるように画像をズームインさせたりする。

（２−２．画像間の遷移）
図７は、本開示の一実施形態における第３の表示例を示す図である。この表示例では、まず、Ａに示すように、画像３１０（第１の画像）において、オブジェクト３１１ｃが正対および拡大して表示されている。この表示は、例えば上記で図５を参照して説明した一連の表示を経て表示されたものであってもよい。ここで、自動的に、またはユーザの所定の操作に応じて、Ｂに示すように、画像３１０の表示が、異なる画像３２０（第２の画像）の表示に遷移する。画像３２０は、オブジェクト３２１ｃを含む。オブジェクト３２１ｃは、オブジェクト３１１ｃと同じオブジェクト（つまり、同じオブジェクトＩＤで画像−オブジェクトＤＢ１１２に記録されている）である。なお、後述するＣに示されるように、画像３２０には、オブジェクト３２１ｃの他にオブジェクト３２１ｉ，３２１ｊが含まれる。

このとき、Ａに示す画像３１０の表示と、Ｂに示す画像３２０の表示とを通じて、オブジェクト３１１ｃ，３２１ｃの表示位置および姿勢が維持される。つまり、Ａの画像３１０ではオブジェクト３１１ｃが正対して中央付近に配置されているのに対し、Ｂの画像３２０でも、オブジェクト３２１ｃが正対して中央付近に配置されている。その後、自動的に、またはユーザの所定の操作に応じて、Ｃに示すように、画像３２０の表示が、オブジェクト３１１ｃが正対しておらず、中央にも表示されていない状態に変化する。図示された例では、これが画像３２０の元の状態である。つまり、Ｂでは、遷移前の画像３１０におけるオブジェクト３１１ｃの姿勢および表示位置が、遷移後に表示されるオブジェクト３２１ｃでも維持されるように、画像３２０が加工された上で表示されている。

このように、本実施形態では、表示制御部１１４が、第１の画像の表示においてオブジェクトの姿勢を所定の姿勢（例えば正対）に変化させ、第２の画像の表示への遷移後も所定の姿勢を少なくとも一時的に維持することによって、同じオブジェクトを含む画像間の遷移をシームレスに表現することが可能である。これによって、例えば、オブジェクト３１１ｃ，３２１ｃを媒介にして、オブジェクト３１１ａ〜３１１ｈを含む画像３１０からオブジェクト３２１ｃ，３２１ｉ，３２１ｊを含む画像３２０に表示を遷移させることができ、画像３１０には含まれていなかったオブジェクト３２１ｉ，３２１ｊに関しての情報を新たに得ることができる。

例えば、上記の図７の例で、Ｃに示した状態で今度はオブジェクト３２１ｊを選択することによって、オブジェクト３２１ｊと同じオブジェクトを含む他の画像への遷移が実行されてもよい。本実施形態では、このようにして、オブジェクトを媒介にした画像の遷移を、必要に応じて対象のオブジェクトを変更しながら繰り返すことで、新たなコンテキストによるオブジェクトまたは画像同士の情報のリンクを形成することができる。

別の例として、表示制御部１１４は、画像３１０（第１の画像）の表示において、オブジェクト３１１ｃの表示位置および姿勢を画像３２０（第２の画像）の元の状態（図７Ｃに示す状態）での表示におけるオブジェクト３２１ｃと同様の表示位置および姿勢に変化させた上で、画像３１０の表示を画像３２０の表示に遷移させてもよい。逆に表示制御部１１４は、画像３１０（第１の画像）の表示においてオブジェクト３１１ｃの表示位置および姿勢を変化させず（図５に示すような正対やズームインをせず）、代わりに、画像３２０の表示において、オブジェクト３２１ｃの表示位置および姿勢を、画像３１０での表示におけるオブジェクト３１１ｃと同様の表示位置および姿勢に変化させた上で遷移を実行してもよい。

図８は、本開示の一実施形態における第４の表示例を示す図である。この表示例では、まず、Ａに示すように、グラフィックとして表示されたオブジェクト３３１ａを含む画像３３０（ウェブページ）が表示されている。この状態で、例えば、ユーザがオブジェクト３３１ａを指定して所定の操作を実行することによって、Ｂに示すように、画像３３０の表示が、異なる画像３４０（写真）に遷移する。画像３４０は、写真に写ったオブジェクト３４１ａを含む。オブジェクト３４１ａは、オブジェクト３３１ａと同じオブジェクト（つまり、同じオブジェクトＩＤで画像−オブジェクトＤＢ１１２に記録されている）である。

このように、本実施形態において、遷移前後の画像は、ウェブページなどの仮想的に構成された画像、または撮像画像（写真）のどちらであってもよい。上記の表示例のように、仮想的に構成された画像（ウェブページ）と撮像画像（写真）との間で相互に遷移が実行されてもよいし、仮想的に構成された画像同士、または撮像画像同士の間で遷移が実行されてもよい。また、図８には示していないが、この例においても、遷移の前後でオブジェクト３３１ａ，３４１ａの表示位置または姿勢が維持されるように、画像３３０または画像３４０のいずれか、または両方が加工されうる。

（２−３．アノテーションの表示）
図９は、本開示の一実施形態における第５の表示例を示す図である。この表示例では、Ａに示すように、画像３５０に含まれるオブジェクト３５１（ポスター）に、複数のユーザによって与えられたアノテーション３５２が累積的に関連付けて表示される。なお、アノテーションもまたオブジェクトとして扱われうるが、この例では説明のためにオブジェクト３５１とアノテーション３５２とを区別する。Ｂに示すように、アノテーション３５２は、オブジェクト３５１に重畳して表示された姿勢を維持したまま、スクロールさせて表示させることが可能である（Ａではアノテーション３５２ａ〜３５２ｅが表示されているのに対して、Ｂではアノテーション３５２ｃ〜３５２ｇが表示されている）。また、Ｃに示すように、アノテーション３５２をオブジェクト３５１から独立して正対表示させることも可能である。

このような表示は、本実施形態において、複数のユーザがそれぞれ異なる画像３５０に含まれる同じオブジェクト３５１に対して入力したアノテーション３５２が、それぞれの画像３５０におけるオブジェクト３５１に対する相対的な位置関係とともに記録されていることによって可能になる。以下で、図１０を説明して、このような表示のための処理の例についてさらに説明する。

図１０は、本開示の一実施形態におけるアノテーションの表示のための処理の例について説明するための図である。図示された例では、ユーザＡによって、画像３６０ａに含まれるオブジェクト３６１ａに対して、アノテーション３６２ａが入力される。ここで、アノテーション３６２ａは、例えば、オブジェクト３６１ａのオブジェクトＩＤ、オブジェクト３６１ａに対するアノテーション３６２ａの相対的な位置、オブジェクト３６１ａに対するアノテーション３６２ａの相対的な角度、およびアノテーション３６２ａの内容（テキストまたは画像）によって記録される。

一方、別のユーザＢは、オブジェクト３６１ａと同じオブジェクト３６１ｂを含む別の画像３６０ｂを参照している。画像３６０ｂにおいて、オブジェクト３６１ｂは、画像３６０ａにおけるオブジェクト３６１ａとは異なる表示位置および姿勢で表示されているが、例えば画像−オブジェクトＤＢ１１２に同じオブジェクトＩＤで記録されていることによって、オブジェクト３６１ａと関連付けることが可能である。さらに、ユーザＡが入力したアノテーション３６２ａが、オブジェクト３６１ａに対する相対的な位置や角度とともに記録されているために、画像３６０ｂにおいても、オブジェクト３６１ｂを基準にしてアノテーション３６２ａを表示させることが可能である。

より具体的には、表示制御部１１４は、レコード参照部１１０が取得した画像−オブジェクトＤＢのレコードに基づいて、画像３６０ａにおけるオブジェクト３６１ａと、画像３６０ｂにおけるオブジェクト３６１ｂとの表示位置および姿勢の差分を算出し、算出された差分を、アノテーション３６２ａのオブジェクト３６１ａに対する相対的な位置や角度に加えることで、画像３６０ｂにおいてオブジェクト３６１ｂを基準にしてアノテーション３６２ａを表示させることができる。

ここで、ユーザＢは、画像３６０ｂに含まれるオブジェクト３６１ｂに対して、追加でアノテーション３６２ｂを入力してもよい。アノテーション３６２ｂも、アノテーション３６２ａと同様に、オブジェクト３６１ｂのオブジェクトＩＤ（オブジェクト３６１ａと同じ）、オブジェクト３６１ｂに対するアノテーション３６２ｂの相対的な位置、オブジェクト３６１ｂに対するアノテーション３６２ｂの相対的な角度、およびアノテーション３６２ｂの内容（テキストまたは画像）によって記録されうる。これによって、図示されているように、ユーザＡが参照している画像３６０ａでも、オブジェクト３６１ａを基準にしてアノテーション３６２ｂを表示することができる。

さらに、ユーザＡ，Ｂのそれぞれによって入力されたアノテーションは、さらに別のユーザＣが参照する画像３６０ｃ（ウェブページ）において表示されてもよい。この場合、オブジェクト３６１ｃと、アノテーション３６２ａ，３６２ｂとは、いずれも画像３６０ｃにおいて正対して表示されてもよい。

以上のようなオブジェクト３６１およびアノテーション３６２の表示のための処理は、例えば、ユーザＡ、ユーザＢ、およびユーザＣにサービスを提供するネットワーク上のサーバによって実行されてもよい。つまり、この場合、ネットワーク上のサーバが、表示制御装置の例であってもよい。

（２−４．遷移先の選択肢の表示）
図１１は、本開示の一実施形態における第６の表示例を示す図である。この表示例では、画像３７０において、オブジェクト３７１を媒介として遷移することが可能な画像の選択肢アイコン３７３が表示される。つまり、図示された例では、オブジェクト３７１と同じオブジェクトを含む画像が画像ＤＢ１１６に複数格納されており、そのうちのどれに遷移するかをユーザが選択肢アイコン３７３を用いて選択することが可能である。図示された例では、４つの選択肢アイコン３７３ａ〜３７３ｄが表示されている。

選択肢アイコン３７３は、例えば、ユーザがタッチパネルなどを介して、オブジェクト３７１に対する所定の操作（例えば長押しなど）を実行した場合に表示される。ユーザが複数の選択肢アイコン３７３のうちのいずれかを選択することによって、画像３７０から該当する画像への遷移が実行される。この場合の遷移でも、遷移前の画像３７０と、遷移後の画像との間で、オブジェクト３７１の表示位置または姿勢が維持されてもよい。

ここで、選択肢アイコン３７３は、例えば、遷移することが可能な画像の中からランダムに選択された所定の数の画像を表示してもよい。あるいは、選択肢アイコン３７３は、所定の条件で選択された画像を表示してもよい。図示された例では、選択肢アイコン３７３ａに最も解像度が高い画像が、選択肢アイコン３７３ｂに最も推薦度が高い画像が、選択肢アイコン３７３ｃに撮影場所が画像３７０に撮影場所に最も近い画像が、選択肢アイコン３７３ｄに最も他のユーザの評価が高い画像が、それぞれ表示されている。

上記の例のように、解像度、推薦度、撮影場所、または他のユーザの評価などの属性に基づいて選択肢アイコン３７３として表示される画像を決定する場合、例えば、画像ＤＢ１１６において、それぞれの画像の属性を示す情報が、それぞれの画像ＩＤに関連付けて格納される。

このように、画像３７０に含まれるオブジェクト３７１を媒介として遷移することが可能な画像が選択肢アイコン３７３として表示されることによって、例えば、ユーザが画像の遷移によって所望の情報に到達することがより容易になりうる。

以上で説明したような本開示の実施形態のいくつかの表示例によれば、複数のオブジェクトが同じ場所に存在している状態を１つのコンテキストと捉え、その状態を共有するアプリケーションが実現可能である。

一例として、ユーザが机上に置かれた本を撮像した画像から、同じ本をオブジェクトとして含む他の画像への遷移を実行した場合、書店で本棚に並んだその本の画像（他のユーザが撮像し、ネットワーク上で共有されている画像でありうる）に遷移することで、その本に関連する本としてどのような本が選択されているのかというコンテキストを理解することができる。

また、複数の書店やオフィス、個人の書棚などでその本が並べられている画像に次々と遷移できれば、いろいろな視点で選択された、その本に関連する他の本についての情報を得ることができる。このような遷移にあたって、オブジェクト（本）の表示位置または姿勢が維持されたままシームレスに遷移が実行されることで、ユーザは、画像の表示がオブジェクト（本）を媒介として実行されていることを容易に認識することができる。

また、例えば、ユーザが装着するウェアラブルディスプレイに搭載されたカメラなどによって継続的にユーザの視点画像が記録されているような場合、膨大な量の画像が記録されうる。例えば、ユーザがあるオブジェクト見た気がするがどこで見たか思い出せないような場合、オブジェクトのサンプル画像を撮像し、サンプル画像に含まれるオブジェクトと同じオブジェクトを検索して表示させることで、そのオブジェクトを見た際のユーザの状況を正確に思い出すことができる。また、ネットワークを介して視点画像が共有される場合、他のユーザが、オブジェクトを媒介としてユーザの視点画像にアクセスすることができる。

なお、上記の実施形態および表示例の説明では、画像の遷移にあたってオブジェクトの表示位置および姿勢の両方が維持されることとしたが、本開示の実施形態はこのような例には限られず、画像の遷移時には、表示位置または姿勢のいずれかだけが維持されてもよい。その場合でも、画像の表示がオブジェクトを媒介として実行されていることをユーザに認識させることは十分に可能でありうる。また、その場合、画像−オブジェクトＤＢには、画像と、画像に含まれるオブジェクトと、オブジェクトの画像における表示位置または姿勢のいずれか一方とを関連付けるレコードが格納されていてもよい。

（３．ハードウェア構成）
次に、図１２を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図１２は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。図示された情報処理装置９００は、例えば、上記の実施形態におけるスマートフォンやサーバなどの表示制御装置を実現しうる。

情報処理装置９００は、ＣＰＵ（Central Processing unit）９０１、ＲＯＭ（Read Only Memory）９０３、およびＲＡＭ（Random Access Memory）９０５を含む。また、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置９００は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital Signal Processor）またはＡＳＩＣ（Application Specific Integrated Circuit）と呼ばれるような処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バス９１１に接続されている。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。

出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置９１７は、情報処理装置９００の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。

ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。

接続ポート９２３は、機器を情報処理装置９００に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポートなどでありうる。また、接続ポート９２３は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００と外部接続機器９２９との間で各種のデータが交換されうる。

通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Wireless USB）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。

撮像装置９３３は、例えば、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。

センサ９３５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理装置９００の筐体の姿勢など、情報処理装置９００自体の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音など、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Global Positioning System）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。

以上、情報処理装置９００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。

（４．補足）
本開示の実施形態は、例えば、上記で説明したような表示制御装置（スマートフォンまたはサーバなど）、システム、表示制御装置またはシステムで実行される表示制御方法、表示制御装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）画像と、前記画像に含まれるオブジェクトと、前記オブジェクトの前記画像における表示位置または姿勢とを関連付けるレコードを参照するレコード参照部と、
前記レコードに基づいて、前記オブジェクトを含む第１の画像の表示を、前記オブジェクトを含み前記第１の画像とは異なる第２の画像の表示に、前記オブジェクトの表示位置または姿勢を維持したまま遷移させる表示制御部と
を備える表示制御装置。
（２）前記表示制御部は、前記第１の画像の表示において前記オブジェクトの姿勢を所定の姿勢に変化させ、前記第２の画像の表示への遷移後も前記所定の姿勢を少なくとも一時的に維持する、前記（１）に記載の表示制御装置。
（３）前記所定の姿勢は、正対姿勢である、前記（２）に記載の表示制御装置。
（４）前記表示制御部は、前記第１の画像の表示において前記オブジェクトの表示位置または姿勢を前記第２の画像の表示における前記オブジェクトの表示位置または姿勢に対応するように変化させた上で、前記第１の画像の表示を前記第２の画像の表示に遷移させる、前記（１）に記載の表示制御装置。
（５）前記表示制御部は、前記第１の画像の表示を、前記オブジェクトの表示位置または姿勢が前記第１の画像の表示における前記オブジェクトの表示位置または姿勢に対応するように変化した前記第２の画像の表示に遷移させる、前記（１）に記載の表示制御装置。
（６）前記第１の画像および前記第２の画像のうちの少なくともいずれかは、撮像画像である、前記（１）〜（５）のいずれか１項に記載の表示制御装置。
（７）前記第１の画像および前記第２の画像のうちの少なくともいずれかは、仮想的に構成された画像である、前記（１）〜（６）のいずれか１項に記載の表示制御装置。
（８）前記表示制御部は、前記第１の画像において、前記第２の画像として遷移可能な画像の選択肢を表示させる、前記（１）〜（７）のいずれか１項に記載の表示制御装置。
（９）前記表示制御部は、前記画像の属性ごとに前記選択肢を表示させる、前記（８）に記載の表示制御装置。
（１０）前記表示制御部は、前記レコードに基づいて、前記第１の画像および前記第２の画像のそれぞれにおいて前記オブジェクトに与えられたアノテーションを累積的に前記オブジェクトに関連付けて表示させる、前記（１）〜（８）のいずれか１項に記載の表示制御装置。
（１１）画像と、前記画像に含まれるオブジェクトと、前記オブジェクトの前記画像における表示位置または姿勢とを関連付けるレコードを参照することと、
前記レコードに基づいて、前記オブジェクトを含む第１の画像の表示を、前記オブジェクトを含み前記第１の画像とは異なる第２の画像の表示に、前記オブジェクトの表示位置または姿勢を維持したまま遷移させることと
を含む表示制御方法。
（１２）画像と、前記画像に含まれるオブジェクトと、前記オブジェクトの前記画像における表示位置または姿勢とを関連付けるレコードを参照する機能と、
前記レコードに基づいて、前記オブジェクトを含む第１の画像の表示を、前記オブジェクトを含み前記第１の画像とは異なる第２の画像の表示に、前記オブジェクトの表示位置または姿勢を維持したまま遷移させる機能と
をコンピュータに実現させるためのプログラム。

１００ スマートフォン
１０２ 撮像部
１０４ 認識部
１０８ 生成部
１１０ 参照部
１１４ 表示制御部
１１８ 表示部

Claims (12)

1. 画像と、前記画像に含まれるオブジェクトと、前記オブジェクトの前記画像における表示位置または姿勢とを関連付けるレコードを参照するレコード参照部と、
   前記レコードに基づいて、前記オブジェクトを含む第１の画像の表示を、前記オブジェクトを含み前記第１の画像とは異なる第２の画像の表示に、前記オブジェクトの表示位置または姿勢を維持したまま遷移させる表示制御部と
   を備える表示制御装置。
2. 前記表示制御部は、前記第１の画像の表示において前記オブジェクトの姿勢を所定の姿勢に変化させ、前記第２の画像の表示への遷移後も前記所定の姿勢を少なくとも一時的に維持する、請求項１に記載の表示制御装置。
3. 前記所定の姿勢は、正対姿勢である、請求項２に記載の表示制御装置。
4. 前記表示制御部は、前記第１の画像の表示において前記オブジェクトの表示位置または姿勢を前記第２の画像の表示における前記オブジェクトの表示位置または姿勢に対応するように変化させた上で、前記第１の画像の表示を前記第２の画像の表示に遷移させる、請求項１に記載の表示制御装置。
5. 前記表示制御部は、前記第１の画像の表示を、前記オブジェクトの表示位置または姿勢が前記第１の画像の表示における前記オブジェクトの表示位置または姿勢に対応するように変化した前記第２の画像の表示に遷移させる、請求項１に記載の表示制御装置。
6. 前記第１の画像および前記第２の画像のうちの少なくともいずれかは、撮像画像である、請求項１に記載の表示制御装置。
7. 前記第１の画像および前記第２の画像のうちの少なくともいずれかは、仮想的に構成された画像である、請求項１に記載の表示制御装置。
8. 前記表示制御部は、前記第１の画像において、前記第２の画像として遷移可能な画像の選択肢を表示させる、請求項１に記載の表示制御装置。
9. 前記表示制御部は、前記画像の属性ごとに前記選択肢を表示させる、請求項８に記載の表示制御装置。
10. 前記表示制御部は、前記レコードに基づいて、前記第１の画像および前記第２の画像のそれぞれにおいて前記オブジェクトに与えられたアノテーションを累積的に前記オブジェクトに関連付けて表示させる、請求項１に記載の表示制御装置。
11. 画像と、前記画像に含まれるオブジェクトと、前記オブジェクトの前記画像における表示位置または姿勢とを関連付けるレコードを参照することと、
    前記レコードに基づいて、前記オブジェクトを含む第１の画像の表示を、前記オブジェクトを含み前記第１の画像とは異なる第２の画像の表示に、前記オブジェクトの表示位置または姿勢を維持したまま遷移させることと
    を含む表示制御方法。
12. 画像と、前記画像に含まれるオブジェクトと、前記オブジェクトの前記画像における表示位置または姿勢とを関連付けるレコードを参照する機能と、
    前記レコードに基づいて、前記オブジェクトを含む第１の画像の表示を、前記オブジェクトを含み前記第１の画像とは異なる第２の画像の表示に、前記オブジェクトの表示位置または姿勢を維持したまま遷移させる機能と
    をコンピュータに実現させるためのプログラム。
    

Images