JP2018032381A - 位置に基づく空間物体データの構築方法、表示方法及び応用システム - Google Patents

Abstract

【課題】位置に基づく空間物体データの構築方法、表示方法及び応用システムを提供する。【解決手段】端末ユーザが携帯装置で構築する空間物体を取得し、この空間物体のある位置の空間情報、例えば、地上位置情報、空間角度情報、又は、空間物体のある位置背景を含み得る映像情報をさらに取得するクラウドサーバを提供する位置に基づく空間物体データの構築方法、表示方法及び応用システムを提供する。クラウドシステムは複数の空間物体の空間情報を収集し、可視範囲が設けられた後、複数の空間物体と空間情報で検索データベースを構築する。ユーザは携帯装置を操作し空間物体を検索し、クラウドサーバに送信される空間情報を生成することにより、照合して検索結果を形成することができ、携帯装置は対応する空間物体を表示する。【選択図】図１Ａ

Description

本発明は、空間物体データの構築と表示についての方法及びシステムに関し、特にユーザが携帯装置により、位置に基づく空間物体データを構築する方法、並びにこれらの物体が提供される表示方法及び応用システムに関する。

従来のアプリケーションにおいては、ユーザは携帯装置を操作し、所定のソフトウェアプログラムを実行し、その携帯装置の撮像モジュールを起動させることができる。携帯装置に実景が表示される場合、拡張現実（Augmented Reality）技術を組み合わせて用いて、この実景の前方にある所定の映像物体を表すことができる。

従来技術によれば、携帯装置で拡張現実の映像を表示する技術においては、ソフトウェアプログラムが識別できるあるシーンにおいて、ある映像物体をトリガーにしてマーカー（marker）を設定する場合が多い。。また、マーカーとその映像物体との関連は、すでにソフトウェアプログラムにプリセットされている。

別の方法としては、携帯装置の位置に基づき、この携帯装置のソフトウェアプログラムをトリガーして、その位置に対応する映像物体を生成させることで、携帯装置に上記位置範囲に対応する映像を表示させる。また、グローバルポジショニングシステムが生成するグローバルポジショニング信号、又は方位角（azimuth angle）と組み合わせることができる信号が、ソフトウェアプログラムをトリガーして、サーバと接続することで所定の映像物体が生成される場合もある。

拡張現実を使用して、又は地点に基づいて映像を表示する技術は、体験または娯楽の用途に用いられることがよく知られている。

本発明の明細書は、位置に基づく空間物体データの構築方法、表示方法及び応用システムを提供する。応用システムは、ユーザが携帯装置を操作しソフトウェアプログラムをダウンロードするために用いられ、このソフトウェアプログラムを実行した後、データ構築モード又は検索及び表示モードに入ることを選択できる。データ構築モードにおいて、システムにより、ユーザはこのソフトウェアプログラムを実行する各携帯装置を介して所定の実景により空間物体を構築することができるので、システム側に、実景と携帯装置の位置情報が空間物体に対応するサーチエンジンを構築することができる。そして、検索及び表示モードにおいて、ユーザは携帯装置を操作し、システム側サーバが携帯装置の位置情報を取得した後、実景の映像情報に合わせて、さらに、対応する空間物体を検索し、表示することができる。

発明が提供する位置に基づく空間物体データの構築方法では、データ構築モードにおいて、携帯装置に作動するソフトウェアプログラムは、携帯装置が生成する空間物体を選定する信号を取得し、携帯装置が選定する実景の信号を受信し、空間物体に対応する空間情報を生成する。次に、この空間物体のデータ及び空間物体に対応する空間情報をサーバにアップロードし、空間物体を検索するためのデータベースを構築する。空間物体は、文字、画像、動画像及び音声のうちの一つ又はその組合せである。

また、空間物体に対応する空間情報は、携帯装置に対応する地上位置情報と、空間角度情報と、実景の映像情報とを含む。例えば、地上位置情報は、携帯装置を操作する場合、携帯装置における地上位置決めユニットから生成され、空間角度情報は、携帯装置における空間位置決めユニットから生成される。実景の映像情報は、画像処理された後に生成するカラーブロック情報とライン情報であってもよい。以上の位置決め情報と映像情報は、空間物体を位置決めする根拠を形成する。

発明の他の実施態様によれば、位置に基づく空間物体データの表示方法は、検索及び表示モードにおいて、携帯装置に作動するソフトウェアプログラムは、携帯装置が実景の映像を取得する信号を受信することを含む。そして、携帯装置はこの実景に関連する空間情報（上記の地上位置情報と空間角度情報を少なくとも含む）を生成し、これらの空間情報はシステムが提供するサーバにアップロードし、サーバにおける演算プログラムで中のデータベースを照合した後、この空間情報に対応する検索結果を受信し、検索結果で示される空間物体を表示することができる。

照合することでこの空間情報に対応する空間物体を生成すれば、直接携帯装置に上記実景を表示する場合、同時に実景に関連する位置における空間物体を重畳して表示し、この実景に関する空間物体を検索することができる。

また、応用システムはクラウドに設けられるサーバとデータベースとを備えるのに加えて、携帯装置に搭載されるコンピュータ読み取り可能な媒体のアセンブリを更に備える。プロセッサにより実行された後、以上の位置に基づく空間物体のデータと表示のプログラムを実行することができる。

アセンブリは、実景の映像を取得して携帯装置に表示されるための映像撮影命令と、携帯装置に構築され、実景に関連する位置における空間物体を処理すると共に、サーバに送信される空間物体のデータを形成するための空間物体処理命令と、携帯装置の地上位置決めユニットと空間位置決めユニットが生成する位置決め情報を取得するための位置決め情報生成命令と、実景映像を処理すると共に、空間物体に対応する映像情報を生成するための映像情報生成命令と、携帯装置が検索及び表示モードにおいて生成する位置決め情報と映像情報を取得し、位置決め情報と映像情報をサーバに送信し、サーバが生成する検索結果を受信するための検索処理命令と、携帯装置とサーバとの間の接続を構築し、信号を送受信するためのデータ送受信命令と、検索結果に応じて空間物体を表示するための空間物体表示命令とを備える。

ユーザが携帯装置を操作し、位置に基づく空間物体を構築する状況の模式図を示す。 ユーザが携帯装置を操作し、位置に基づく空間物体を構築する状況の模式図を示す。 ユーザが携帯装置を操作し、位置に基づく空間物体を構築する状況の模式図を示す。 空間角度情報を取得する模式図を示す。 空間物体の背景映像情報を取得する模式図を示す。 本発明の位置に基づく空間物体データの構築と表示を実現するシステムネットワーク構成の実施例図を示す。 本発明の応用システムにおいて端末携帯装置中のソフトウェアモジュールの実施例図を示す。 本発明の位置に基づく空間物体データの構築方法の実施例のフローを示す。 本発明が提供する応用システムがデータベースを構築する実施例のフローを示す。 本発明の位置に基づく空間物体データの表示方法の実施例のフローを示す。 応用システムが検索結果を提供する実施例の模式図を示す。

本発明が既定の目的を達成するために採用する技術、方法及効果がさらに理解されるように、以下の本発明に関する詳細な説明、図面を参照されたい。これにより、本発明の目的、特徴と特点が深く且つ具体的に理解され得る。しかし、添付される図面は、参照と説明のために提供されるものに過ぎず、それにより本発明を制限するためのものではない。

本発明の明細書は、位置に基づく空間物体データの構築方法、表示方法及び応用システムを提供する。応用システムは、クラウドシステムと、携帯装置に搭載されるコンピュータ読み取り可能な媒体中のソフトウェアプログラムとを備える。クラウドシステムには、サーバとデータベースとが設けられる。クラウドシステムは、ユーザに管理インターフェースを提供する。ユーザが携帯装置で位置、空間に関する空間情報をアップロードすることで、応用システムは各側のユーザがアップロードした位置に基づく空間物体データを記憶し、検索サービスを提供するデータベースを形成し、ユーザが地理位置に基づき対応する空間物体を検索することができるようにサーチエンジンを構築する。

以下の状況の模式図に基づいて、ユーザが携帯装置を操作し位置に基づく空間物体を構築する方法を説明する。

図１Ａは、ユーザが携帯装置１０を操作することを模式的に示す。まず、ユーザは携帯装置１０を操作し、応用システムが提供するソフトウェアプログラム（例えばスマート携帯装置におけるＡＰＰ）をダウンロードしてインストールする。このソフトウェアプログラムを実行した後、データ構築モードに入ることができる。ユーザは、携帯装置１０の撮像モジュールを起動させ、コメントしようとする対象、例えば建物、商店、観光地、物品等の目標対象に向けるように携帯装置１０を操作する。これにより、ユーザは、携帯装置１０のディスプレイを介してこれらの目標対象の実景１０１が見える。その後、拡張現実（Augmented Reality、ＡＲ）のような技術を介して、ユーザが携帯装置１０のタッチディスプレイ、又は他の入力手段により、実景１０１のある部位に一つの情報を新規追加する。情報は、文字、画像、動画像、音声等の情報であってもよい。

この例においては、ユーザが有名な観光地である「エッフェル塔（実景１０１）」の前方に立つことが示されている。ユーザは、この実景１０１に向けるように携帯装置１０を操作し、携帯装置１０に表示される実景１０１に「エッフェル塔」であるという情報をコメントすることができる。このコメント内容は本発明が提供するシステムにおいて空間物体１０３と称する。

その後、ユーザが携帯装置１０に表示される実景１０１にコメントした情報（空間物体１０３）を確認した後、携帯装置１０におけるソフトウェアプログラムは、生成されるこの空間物体１０３に対応する空間情報を応用システムのサーバ（例えば応用システムのあるサーバのホスト）に送信してもよい。上記情報（空間物体１０３）の内容は、文字、画像、動画像又は音声、又はその組合せであってもよい。サーバにアップロードする空間情報は、空間物体１０３、この空間物体１０３を構築する際の携帯装置１０の地上位置情報、空間角度情報、及び実景１０１を撮影する映像情報等を含んでも良い。また、空間角度は、方位角（azimuth angle）と仰角（elevation angle）の組合せである。

この例においては、検索及び表示モードにおいて、実景１０１の映像情報は、例えば空間物体１０３の後ろのエッフェル塔の構成カラーブロック、及びカラーブロック間のラインである。以上の地上位置情報、空間角度情報、カラーブロック情報及びライン情報は、空間物体１０３を現すパラメータである。地上位置情報、空間角度情報、カラーブロック情報及びライン情報は、応用システム中のクラウドサーバに記憶される。ユーザが携帯装置１０を操作し上記のパラメータを生成する場合、クラウドサーバは、照合を行うことで空間物体１０３を取得して表すことができる。通常、照合を行うことで空間物体１０３を得るためには、クラウドサーバは少なくとも地上位置情報と空間角度情報とを必要とする。必要であれば、クラウドサーバは携帯装置１０から送信されるカラーブロック情報を継続して照合し、及び／又はライン情報を加えてもよい。又は、クラウドサーバは、まずライン情報を使用し、そして、空間物体１０３を確認することができない場合、カラーブロック情報を継続して参照する。最後に、クラウドサーバは、携帯装置１０に送信される検索結果を生成する。

さらに、ユーザが携帯装置１０を介して空間物体１０３を表示する場合、ソフトウェアプログラムが提供するインターフェース、例えば接続ボタン（又は空間物体１０３が表示される場合にも接続ボタンとなる）を介して、ユーザはクリックした後、この空間物体１０３に関するより多い情報を継続して得ることができる。これらの情報はシステムにより提供され、又はこの空間物体を構築する場合に加えられた情報である。例えば、空間物体は観光地の情報を示す場合、クリック後、観光地紹介、交通情報、近所のお店等を得ることができる。空間物体がお店である場合、クリック後、お店の更なる情報、例えばお店の連絡先、優遇方案を得ることができ、ソフトウェアプログラムは、連絡の機能を提供することができる。

図１Ｂは、位置に基づく空間物体を構築する別の状況の模式図を示す。この例においては、ユーザが携帯装置１０を操作しソフトウェアプログラムを始動させることが示される。データ構築モードにおいて、撮像モジュールを起動させ、実景１０２（この例ではビル）に向けて、あるフロアの範囲に正確に対向し、拡張現実の技術で空間物体１０５を重畳することができる。この例において、情報は画像情報である。この画像情報は対応するフロア又はこの実景１０２の内容を伝達することができる。例えば、「フロアには会社がある」という内容を伝達することができる。空間物体１０６は、会社を紹介する文字、ＡＶコンテンツ、画像等であってもよく、製品広告、求人情報等であってもよい。同様に、このコメントした情報（空間物体１０５）の空間情報をシステムのサーバに送信する。この例の空間情報は、空間物体１０５の映像情報、及びこの空間物体１０５を構築する時の携帯装置１０の地上位置情報、空間角度情報と実景１０２の映像情報を含んでも良い。この例における実景１０２の映像情報は、例えば、空間物体１０５の背景としてのビル構成のカラーブロック情報、及びカラーブロック間に形成されるライン情報である。

この空間物体１０５の空間情報が構築できた後、上記のこの空間物体１０５に対応する地上位置情報、空間角度情報及び映像情報が、空間物体を検索する１０５のパラメータとして応用システムのデータベースにアップロードされる。

さらに、この空間物体１０５を構築する場合、ユーザは空間物体１０５により多くの機能を与えることができる。例えば、ＵＲＬのような接続を構築することで、他のユーザがこの空間物体１０５を検索して得る場合、更なる情報を取得することができる。例えば別のホームページに接続することで、ユーザに更なるインタラクティブサービス、例えば、ＡＶ通信、メッセージチャット、購買取引のインターフェースを提供する。

さらに、図１Ｃに示す状況の模式図のように、この例の図面においては、実景１０４には室内に配置される机が示される。ユーザは携帯装置１０を操作し、実景１０４の映像を取得して表示してもよい。また、ユーザは携帯装置１０のプログラムインターフェースを操作し実景１０４の映像に空間物体１０７を重畳してもよい。この例においては、机に花瓶を置くことが示される。また、空間物体１０７は、一段落の文字情報、ＡＶコンテンツ又は画像、又は各種の情報の組合せであってもよい。同様に、ユーザが空間物体１０７のこの机における位置を確認した後、携帯装置１０のソフトウェアプログラムにより、この重畳された空間物体１０７の空間情報をシステムのサーバに送信する。この例の空間情報は、空間物体１０７の映像情報、及びこの空間物体１０７に対応する地上位置情報、空間位置情報と実景１０４の映像情報を含んでも良い。

なお、実景１０４が室内の物体である場合、携帯装置１０はグローバルポジショニングシステム（ＧＰＳ）の信号を受信しにくい場合、そのソフトウェアプログラムは、携帯装置１０の直前のグローバルポジショニング情報を用いることができる。また、応用システムは、この最近の位置情報に基づき携帯装置１０のある位置を判断することができる。応用システムは、この最近の位置情報に基づき携帯装置１０が例えばある建物内又はある観光地の範囲内にあることを判断する。しかしながら、この場合、構築される空間物体を正確に位置決めすることができないので、本発明は、実景の映像情報を位置決めの根拠とすることができる技術をさらに提供する。映像情報は、空間物体の背景（即ち、ある実景）のカラーブロック情報及び／又はライン情報であってもよい。

また、実景１０４の映像は通常、空間物体が加えられる背景映像である。図１Ｃに示すような典型例における机の表面を例として説明する。まず携帯装置１０におけるソフトウェアプログラムにより、机の表面の映像をカラーブロック情報とライン情報として前処理される。或いは、優れた演算力を有するクラウドサーバは机の表面の映像を直接映像識別することによって空間物体のある位置を正確に得ることができる。好ましくは、元の映像情報は前処理され、格納、照合しやすいデジタル情報を形成できる。これは、システムが高速検索のサービスを提供しようとすると、システムが優れた演算力を有するか否かに関わらず、実景映像全体を映像識別する必要がなく、前処理されたデジタル情報を照合するだけで済むからである。これにより対応する空間物体を正確かつ高速に検索することができる。

つまり、本発明は位置に基づく空間物体データの構築と表示機能を提供する応用システムを提供する。また、サーバ側における演算プログラムは、基本的に地上位置情報と空間角度情報から空間物体を位置決めして得ることができる。例えば、サーバ側における演算プログラムは、グローバルポジショニングシステムから地上位置情報を得て、ジャイロスコープ信号から携帯装置のこの空間における水平方位とピッチ角度等の情報を取得する。即ち、サーバ側における演算プログラムは、前記空間角度情報を形成することができる。しかし、検索及び表示モードにおいて、地上位置情報と空間角度情報で、ある空間物体を正確に位置決めすることができない場合、クラウドサーバは、カラーブロック情報を継続して照合する。また、サーバにおけるデータベースは対応してある空間物体を得ることができるかを確認する。カラーブロック情報を加えても対応する空間物体を確認することができない場合、ライン情報を継続して照合する。これにより、応用システムは、対応する唯一の空間物体、又は選択する項目を含む最終検索結果を提供する。

以上のような地上位置情報は、通常、携帯装置中のグローバルポジショニングシステム（ＧＰＳ）等の位置決め回路から読み出し、又は携帯電話基地局信号又は無線ＬＡＮ信号で位置決めを補助してもよい。携帯装置は測位衛星の信号を受信することができない場合、他の信号で位置決めを補助することができるほかに、応用システムは、前記携帯装置から受信される最後位置決め信号を前記地上位置情報としてもよい。そして、携帯装置におけるジャイロスコープ（gyroscope）等の空間位置決め回路が生成する信号を取得し、この信号を前記空間角度情報とする。

空間角度情報の取得について、図２Ａに示す模式図を参照する。図示される空間座標系は水平方位角（azimuthal angle）φとピッチ角（vertical angle）θで位置を定義する。本発明の実施概念によれば、携帯装置２０はこの空間座標系を発展させる。この空間座標系における中間原点は、ユーザが持っている携帯装置２０である。この空間座標系は、水平的に東西南北の方位座標を表する。携帯装置２０は、基準軸（この例では北向きの軸）から携帯装置２０の向き（例えば携帯装置２０の裏面レンズが指す方向Ａ）を取得することができる。この方向Ａは、水平方位角φ及び垂直方向のピッチ角θを形成する。方位角φとピッチ角θは、携帯装置２０における空間位置決めユニットにより決められてもよい。方位角φとピッチ角θの両者の組合せは方向Ａの空間角度情報を形成する。測位衛星２０１の携帯装置２０に形成される水平位置情報に合わせて、携帯装置２０が指す位置と方向を適当に位置決めすることができる。この空間情報は、応用システムのサーバに提供される。サーバにおける演算プログラムは、空間情報を照合することで携帯装置２０に表示される空間物体を判断して得る。

図２Ｂは、空間物体背景の映像情報を取得する模式図を示す。この例の図面には空間物体２０３が示される。空間物体２０３は波線枠で表す。空間物体２０３は背景映像２０５に位置する。この空間物体２０３を構築する場合、サーバはユーザ側の携帯装置から、空間物体２０３の映像、及び位置する地上位置情報と空間角度情報を取得する。サーバは、背景映像２０５の映像情報を更に取得する。これらの空間情報はこの空間物体２０３を位置決めするパラメータを形成する。さらに、ユーザがこの空間物体２０３を構築する場合、より多い情報をコメントし、接続を構築し、後のユーザにこの空間物体２０３を検索させるようにしてもよい。この場合、ユーザは、更なる情報を取得し、別のホームページ又は購買インターフェースに接続し、より多いインタラクティブサービスを提供することができる。

この例においては、背景映像２０５の映像情報は映像前処理され形成されたカラーブロック情報とライン情報を含む。また、映像前処理は携帯装置にソフトウェアプログラム演算を実行するようにしてもよい。クラウドサーバにより映像前処理を演算するようにしてもよい。また、映像のカラーブロック間にエッジラインを形成するようにしてもよい。ラインの間にはカラーブロックが存在する。これらはすべて空間物体のある位置を識別するパラメータとなる。

前処理は、まず、背景映像２０５中のライン（図示におけるライン２２１、２２２、２２３、２２４、２２５、２２６）を識別し、ラインの間にブロックを形成し、ブロック（２１１、２１２、２１３、２１４、２１５、２１６、２１７）中の映像画素の平均値を計算し、対応するカラーブロック情報を形成することができる。別の実施例では、各ブロック（２１１、２１２、２１３、２１４、２１５、２１６、２１７）中の映像画素に対して正規化演算（normalization）を実施し、各ブロックの特性値を計算し、前記ブロックのカラーブロック情報とする。映像前処理方法は、以上に挙げられた方法に制限されず、映像のある色度空間も所定の色度空間に限られず、例えば、ＲＧＢ（赤、緑、青）、ＨＳＶ（色合い（Hue）、彩度（Saturation）、明度（Value））、ＣＭＹＫ（シアン（Cyan）、マゼンタ（Magenta）、イエロー（Yellow）、黒）等でもよい。

なお、映像が画像処理された後、上記背景映像２０５におけるライン２２１、２２２、２２３、２２４、２２５、２２６の情報を得る。ライン情報は、表示される空間物体２０３の根拠を提供する。映像が画像処理された後、現すべき平面に空間物体２０３を確実に位置させることができる。

図３は、本発明の位置に基づく空間物体データの構築と表示を実現するシステムネットワーク構成の実施例図を示す。

明細書に開示される位置に基づく空間物体データの構築と検索サービスは、ネットワークを構成する。この例においては、システム側にサーバ３０１とデータベース３０２が設けられており、クラウドシステムが形成されることが示される。データベース３０２には、空間物体と対応する空間情報とが記憶される。具体的には、データベース３０２は、ユーザが携帯装置を操作しアップロードする空間物体と、この空間物体に対応する空間情報とを含む。応用システムが自ら確立したデータを含んでも良い。データベース３０２は物体を検索するデータ源とされる。また、データベース３０２は、空間物体のデータを記憶する空間物体データベースと、空間物体の空間情報及び各空間物体に対応する検索条件を記憶する検索データベースとを備えるようにしてもよい。

サーバ３０１は、主としてユーザ側携帯装置から送信される信号を処理し、例えば空間物体を検索するパラメータを処理すると共に、データベース３０２におけるデータを照合し、検索結果を提供する。応用システムは、ネットワーク３０を介して検索サービスを提供する。クラウドシステムのデータベース３０２のデータ源は、主として端末ユーザが構築する空間物体データに由来し、ソフトウェアインターフェースを介してユーザ側がそのデータベース３０２の空間物体を検索する。

端末ユーザは、示される構築者装置３０３、３０４のように、ユーザが携帯装置を操作し、この携帯装置のタッチディスプレイにより、ジェスチャで操作する方法（又は他の入力方法）で空間物体が置かれるシーンを決める。空間物体は、例えば、文字、画像、動画像又は音声等、又はその組合せである。置かれる空間物体のシーンは、好ましくは実景である。空間物体と空間物体のシーンの両者の結合により、この空間物体を位置決めすることによって、この空間物体が置かれる地上位置情報と空間角度情報を含む空間情報が形成される。実景はこの空間物体を位置決めする映像情報、例えば前記画像処理により生成するカラーブロック情報とライン情報を形成する。

構築者装置３０３、３０４により、空間物体と関連空間情報を構築した後、ネットワーク３０を介して応用システムのサーバ３０１にアップロードする。サーバ３０１は、データをデータベース３０２に記憶する。応用システムは、ネットワーク３０によって提供される検索者装置３０６、３０７、３０８が携帯装置とソフトウェアプログラムを操作することで、データベース３０２中の空間物体を検索する。例えば、ユーザが携帯装置を操作し、ソフトウェアプログラムを始動する。ソフトウェアプログラムは携帯装置における関連位置決め回路が生成する地上位置情報と空間角度情報を取得する。これらの情報はまずサーバ３０１に送信されて照合された後、検索結果が送り返されてもよい。検索結果は地上位置情報と空間角度情報に対応する空間物体である。最後に検索結果が携帯装置のディスプレイに表示される。

地上位置情報と空間角度情報の位置決めが明確な空間物体を正確に得ていない場合、携帯装置は、撮影される実景映像を演算して得たカラーブロック情報を応用システムのサーバにアップロードし、別の照合のパラメータとなり、又は実景により形成されるライン情報を継続してアップロードすることができる。これも照合のパラメータの一つである。

なお、応用システムは、構築者装置３０３、３０４等のユーザ側がソフトウェアプログラムを介して生成する空間物体と対応する空間情報（地上位置情報、空間角度情報、カラーブロック情報とライン情報を含む）とを取得し、検索条件を設定するようにしてもよく、又はユーザによって提供されてもよく、又はシステムは構築者装置３０３、３０４と実景との間の空間関係から例えばこの空間物体が見える時間範囲、可視範囲及びユーザ範囲という検索条件のうちの一つ又はその組合せを設定することができる。

例えば、最初にこの空間物体を構築する場合の構築者装置３０３、３０４と空間物体の後方の実景（グローバルポジショニング座標値を有する）との位置差異で可視範囲を形成し、空間物体が見える距離又は領域を設定すると、応用システムは検索者装置３０６、３０７、３０８と空間物体が表示する実景との間に空間物体が見える距離限界を設けることができる。この距離限界以外では、それよりも近くても、又は遠くても、いずれも空間物体が見えない。

さらに、図４は、本発明の応用システムと端末携帯装置におけるソフトウェアモジュールの実施例図を示す。

応用システムはクラウドに設けられるサーバ４１を備える。応用システムはコンピュータシステムで実現される。異なる作業を実行するコンピュータシステムから応用システムを構成してもよい。応用システムの主な作業は、ユーザ側携帯装置４００がアップロードする空間物体データ、及び空間物体に対応する空間情報を受信し、データベース（検索データベース４３、空間物体データベース４５）を構築することにある。データベース（検索データベース４３、空間物体データベース４５）は、サーバによって取得されるユーザ側の携帯装置が生成するデータ（特に携帯装置４００が生成する所定の空間物体に対応する空間情報を含む）を記憶するためのものである。

データベースは、データ格納媒体である。また、データベースは、機能に応じて検索データベース４３と空間物体データベース４５とに区分することが可能である。検索データベース４３と空間物体データベース４５の両者は同じサーバに設けられてもよく、異なる位置に設けられてもよい。また、空間物体データベース４５は、主として携帯装置４００がアップロードする空間物体のデータを記憶するものである。空間物体は、ユーザが携帯装置４００を介して構築した文字、画像、動画像及び音声のうちの一つ又はその組合せであってもよい。また、動画像は二次元、三次元アニメーションをより広く備える。空間物体データベース４５も同時に、ユーザ携帯装置４００を操作することにより空間物体を選択するデータ源となる。検索データベース４３は、主として携帯装置４００がアップロードするデータに空間物体に対応する他の情報である。例えば、検索データベース４３は空間物体の位置決め情報（地上位置情報、空間角度情報）、及び空間物体に対応するカラーブロック情報とライン情報を記憶するものである。カラーブロック情報とライン情報は、主として空間物体の背景実景映像から取られ、空間物体を位置決めする根拠の一つとなる。サーバ４１に演算プログラムを実行し、検索データベース４３に記憶される空間情報を照合する場合、一つ又は複数の空間物体を得ることができる。各空間物体は、それぞれ識別情報（ＩＤ）を有する。また、各空間物体は、空間物体データベース４５を介してユーザ側装置に提供される。

また、ユーザが携帯装置４００を操作し空間物体の空間情報を形成すると同時に、検索条件を設定するようにしてもよい。同様に、ユーザが検索条件を検索データベース４３にアップロードするようにしてもよい。検索条件は、例えば、時間範囲、可視範囲及びユーザ範囲のうちの一つ又はその組合せである。検索条件は検索照合の根拠となる。

例えば、ユーザがある実景（実景の前方、後方及び実景に関連する他の位置を含む）に空間物体を構築する場合、時間範囲を設定するようしてもよい。つまり、ユーザが本発明に係る応用システムに情報検索を実行する場合、上記位置決め情報と映像情報外に合致する必要があるほか、この時間範囲でしかこの空間物体が検索できないように設定する。可視範囲は、ある空間物体が見える地上位置範囲と空間角度範囲を規定するか、又はある実景からのある距離範囲と空間角度範囲を設定する。ユーザが携帯装置４００を操作する場合、この可視範囲でしか対応する空間物体が見えないようにする。この可視範囲としては、ユーザが空間物体の見える対象を設定するようにしてもよい。ユーザ範囲は一人又は複数の人であってもよい。各々の人が携帯装置４００を操作し空間物体を検索するとともに、各々の人のユーザ識別データ（ｕｓｅｒ ＩＤ）も送信され、サーバは、同様にこれを検索条件の一つに含めるようにしてもよい。

このため、応用システムは多くのユーザがアップロードするデータにより、データベース（検索データベース４３、空間物体データベース４５）を構築すると共に、サーチエンジンを構築し、ユーザが携帯装置を操作し空間物体を検索するサービスを提供することができる。

本発明の位置に基づく空間物体データの構築方法と表示方法を運用する携帯装置４００は、ネットワーク４０を介してサーバ４１に接続される。携帯装置４００の主な回路部品は、例えば、各回路部品が生成する信号を処理するデータ処理ユニット４０１と、データ処理ユニット４０１と電気的に接続される回路部品（例えば外部装置）との接続を構築する通信ユニット４０２と、携帯装置４００の位置を検知する地上位置決めユニット４０３と、携帯装置４００の空間における位置を検知する空間位置決めユニット４０４と、実景映像を取得する撮影ユニット４０５と、ユーザがジェスチャ入力命令を操作するタッチ表示ユニット４０６と、を含む。

また、地上位置決めユニット４０３は、グローバルポジショニングシステムの関連回路のように、測位衛星信号を受信することにより地上位置情報を生成し、位置決めする技術は他の無線基地局の信号により位置決めを実行することができる。空間位置決めユニット４０４は、携帯装置４００に搭載されるジャイロスコープのように、ジャイロスコープにより携帯装置の空間における位置を検知し、主に方位角φとピッチ角θからなる空間角度情報を形成する。

応用システムは、携帯装置４００に搭載される記憶ユニット４０７（コンピュータ読み取り可能な媒体）のアセンブリをさらに備える。アセンブリは携帯装置４００のプロセッサ（一つ又は複数）によって実行された後、位置に基づく空間物体データの構築と表示のプログラムを実行することができる。アセンブリが主な機能を実行する命令は下記の通りである。

映像撮影命令４７１では、携帯装置４００の撮影ユニット４０５を作動し実景の映像を取得して携帯装置４００に表示される。空間物体処理命令４７２では、ユーザが携帯装置４００におけるタッチ表示ユニット４０６を操作し、ある実景の近傍の位置（前、後、上、下、左、右等）に構築される空間物体を処理するために用いられ、空間物体はユーザが自ら構築してもよく、又はシステムが提供する空間物体データベース４５から選ばれ、サーバ４１に送信される空間物体のデータを形成してもよい。空間物体は文字、画像、動画像及び音声のうちの一つ又はその組合せである。位置決め情報生成命令４７３では、携帯装置４００における位置決め回路が生成する信号を取得することができる。例えば、位置決め情報生成命令４７３では、携帯装置４００における地上位置決めユニット４０３と空間位置決めユニット４０４が生成する位置決め情報を取得する。映像情報生成命令４７４では、実景映像を処理するために用いられ、空間物体に対応する映像情報を生成し、上記実施例に開示される画像処理方法のように、空間物体を位置決めするためのカラーブロック情報とライン情報を生成することができる。検索処理命令４７５では、携帯装置４００が検索及び表示モードにおいて生成する位置決め情報と映像情報を取得するために用いられ、位置決め情報と映像情報をサーバ４１に送信した後サーバ４１が生成する検索結果を受信する。データ送受信命令４７６では、携帯装置４００とサーバ４１との間の接続を構築し、信号を送受信するために用いられ、特にユーザ側が生成する位置決め情報（又は映像情報を含む）を送信し、サーバ４１が生成する検索結果を受信する。空間物体表示命令４７７では、携帯装置４００はサーバ４１が生成する検索結果を受信した後、空間物体が検索されると、この検索結果から空間物体を表示することができる。また、携帯装置４００に表示される実景の近所にこの空間物体を重畳するようにしてもよい。

以上のような空間物体は、システムから提供され得るほかに、さらにユーザが自ら他のソフトウェアツールを介して生成してもよい。空間物体は、撮影する写真を含むようにしてもよい。また、空間物体はシステムから取得してもよい。システムは、フォトギャラリー、フィルムライブラリー、音声ギャラリー等をユーザに提供するようしてもよい。ユーザはフォトギャラリー、フィルムライブラリー、音声ギャラリー等を選択的に使用するようにしても良い。

図５は、本発明の位置に基づく空間物体データの構築方法の実施例のフロー（検索及び表示を実行することを含む）を示す。本発明に係る応用システムは、ユーザが携帯装置を操作しソフトウェアプログラムをダウンロードするために用いられ、このソフトウェアプログラムを実行した後、データ構築モードか検索及び表示モードに入ることを選択できる。

ステップＳ５０１では、ユーザが携帯装置を操作しこのソフトウェアプログラムを始動し、データ構築モードを実行することを選定できる。ステップＳ５０３では、ソフトウェアプログラムが撮影ユニットを始動し、空間物体を構築しようとする実景に向けるように携帯装置を操作する。この場合、ステップＳ５０５のように、ユーザはインターフェースを操作し空間物体を選定し、ソフトウェアプログラムはこの空間物体を選定する信号を受信する。そして、ステップＳ５０７のように、携帯装置における入力機能を介して、タッチディスプレイのように、ジェスチャでこの空間物体のある実景に関連する位置を選定する。この場合、ソフトウェアプログラムは、携帯装置から生成する、空間物体のこの実景の近所における位置を選定する信号を受信する。

空間物体及びその位置が確認された場合、ステップＳ５０９のように、ソフトウェアプログラムは、この時点における携帯装置の位置決め情報（ＧＰＳシステムから得られた地上位置情報、及びジャイロスコープが得た空間角度位置を少なくとも含む）を取得し、空間物体に対応する空間情報を生成する。同時に、ソフトウェアプログラム中の画像処理プログラムは、空間物体背景の実景映像をカラーブロック情報とライン情報に変換でき、空間物体を位置決めする根拠の一つとなる。最後に、ステップＳ５１１のように、生成する空間物体に対応するこれらの空間情報、及び空間物体自体の情報をサーバにアップロードする。

また、応用システムが取得しようとする空間物体関連情報は、携帯装置に対応する地上位置情報と空間角度情報、及び実景の映像情報のほかに、ユーザ自体の識別情報（ｕｓｅｒ ＩＤ）、及びユーザが設定する検索条件（時間、可視範囲、ユーザ範囲等）をさらに含んでも良い。

サーバ側において、図６に示すような応用システムがデータベースを構築する実施例のフローを参照してもよい。

ステップＳ６０１のように、サーバは、ユーザ側がアップロードする空間物体と対応する空間情報を受信した後、ステップＳ６０３のように、アップロード者の情報、つまりユーザの識別データを同時に取得することができる。さらに、ステップＳ６０５のように、サーバがプログラムを実行し、ユーザの需要に従い空間物体の検索条件を構築する。空間物体の検索条件は、実景の位置、携帯装置の空間物体を構築する位置等の情報に従い設定する可視範囲、また時間範囲、及びユーザが選択するか、応用システムが決定するこの空間物体が見えるユーザ範囲を含む。

このことから、ステップＳ６０７のように、空間物体、及び空間物体に対応する空間情報、ユーザ識別データ及び／又は検索条件が記憶されている検索サービスを提供するデータベースを構築する。

携帯装置が検索及び表示モードにある場合について、図７に示す位置に基づく空間物体表示方法の実施例のフローを参照する。

フローの最初に、ステップＳ７０１のように、ユーザは携帯装置を作動しソフトウェアプログラムを始動し、検索及び表示モードに入り、ステップＳ７０３のように、撮影ユニットを始動して周囲の実景を取得する。ソフトウェアプログラムは、携帯装置がある実景の映像を取得する信号を受信する。ステップＳ７０５のように、ユーザが携帯装置を操作する場合、ソフトウェアプログラムは、位置決め回路が生成する位置決め情報を継続すると共に、地上位置情報と空間角度情報、及び／又は取得される実景映像から処理し形成されるカラーブロック情報とライン情報を生成するようにしてもよい。これらの空間情報は、ステップＳ７０７のように、サーバにアップロードする。

サーバ側において、サーバには検索データベースが設けられる。演算プログラムは、携帯装置がアップロードする空間情報を照合し、及び／又は検索条件に応じて、地上位置情報と空間角度情報を照合するに加えて、検索結果を得るように、されにカラーブロック情報及び／又はライン情報を照合することができる。ステップＳ７０９のように、サーバから空間情報に対応する検索結果を受信することができる。ある空間物体を検索して得ると、各空間物体は識別情報（ＩＤ）を有し、空間物体データベースから取得した後、空間物体のデータを得て、さらに、ステップＳ７１１で、携帯装置にアップロードし、空間情報に対応する空間物体を表示することができる。

また、応用システムは、ユーザにその地理位置の近所に空間物体があることを通知するという注意機能を提供するようにしてもよい。ユーザがこのソフトウェアプログラムを始動する場合、この検索及び表示モードにあってもよい。ユーザが近所の空間物体を有する範囲に移動する場合、システムは、携帯装置の地上位置情報がすでに少なくとも一つの空間物体の一定の範囲限界内にあることが分かり、プッシュのような通知を携帯装置に発し、音声、文字、振動等の手段によりユーザに知らせる。これにより、ユーザは、携帯装置を持って近所の空間物体を検索することができる。応用システムが提供する注意機能は更に、ユーザの関連性、好みによる設定等でフィルタリングすることができる。

また、システムが提供するクラウドサーバにおいて、データベースは空間物体に対応する空間情報及び／又は検索条件を記憶する。これらの空間情報はデジタル情報としてデータベースに記憶される。特に、映像情報は画像処理された後カラーブロックとラインを形成するデジタル情報である。そこで、空間情報及び／又は検索条件を検索照合しやすい。これにより、システムは映像を直接に処理したり識別したりすることができる。それだけではなく、処理されたカラーブロックとライン情報も、リアータイム検索と結果リアータイム表示の効果をより達成しやすくなる。

図８は、応用システムが検索結果を提供する別の実施の態様を示す。

図８には、ソフトウェアプログラムにより始動されるグラフィカルユーザインタフェース８０１を生成する携帯装置８０が示されている。また、図８には、ユーザが携帯装置８０を操作しリアータイムに得られた実景映像８０３を撮影することが示されている。この状態では、ソフトウェアプログラムは、この時点に携帯装置に対応する地上位置情報と空間角度情報を生成し、実景の映像情報を含むようにしてもよい。これらの空間情報がサーバにアップロードされる場合、データベースを照合して、この実景に対応する空間物体を得ることができる。また、所定の検索条件でフィルタリングされた後、検索結果を携帯装置８０に送信し、図８に示す空間物体８０５を表示することができる。

検索を行い複数の結果を生成する場合、この図面に示すように、グラフィカルユーザインタフェース８０１の一側に検索結果選択メニュー８０７が表示される。検索結果選択メニュー８０７にはソートされた空間物体１、空間物体２、空間物体３、空間物体４及び空間物体５が含まれる。ユーザは空間物体１、空間物体２、空間物体３、空間物体４及び空間物体５を選択的に視聴することができる。また、ソートの根拠としては、ユーザのチャットグループ、好み、関連性等に応じて、検索結果を配列することができる。

以上の複数の空間物体の検索結果を表示する方法は、模式図に示す方法に制限されず、また、左右にスライドし空間物体（１、２、３、４、５、８０５）を切り替えることを備えてもよい。また、複数の空間物体の検索結果を表示する方法は、重畳の方法で複数の空間物体を表示し、ユーザがタッチディスプレイを介して選択し切り替えるようにしてもよい。更に、ユーザがクリックした後、より多い情報を得るように、各空間物体は、ユーザがすべて接続ボタン又は他のボタンを介して他の情報ページに接続し、後のインタラクティブの内容を提供するようにしてもよい。

以上説明したように、明細書に記載の実施例によれば、本発明は位置に基づく空間物体データの構築方法、空間物体表示方法及び応用システムを提供する。このシステム構成で、複数のユーザがアップロードする異なる又は同じ実景における空間物体に応じて、検索サービスを提供するデータベースを構築することができる。準拠される位置決め情報は、地上位置情報、空間角度情報、及び実景の映像情報を含み、ユーザがこの実景における空間物体を検索しようとする場合、サーバは同様に携帯装置がアップロードする位置決め情報と映像情報に基づき、空間物体を検索し、空間物体を検索して最後に表示する目的を達する。

上述したことは本発明の好ましい実施可能な実施例に過ぎず、これにより本発明の特許請求の範囲を制限するものではない。本発明の明細書及び図示した内容に基づき為された等価の構造の変化は、すべて同様に本発明の範囲に含まれる。

１０ 携帯装置
１０１、１０２、１０４ 実景
１０３、１０５、１０７ 空間物体
φ 方位角
θ ピッチ角
２０１ 測位衛星
２０ 携帯装置
２０３ 空間物体
２０５ 背景映像
２２１、２２２、２２３、２２４、２２５、２２６ ライン
２１１、２１２、２１３、２１４、２１５、２１６、２１７ ブロック
Ａ 方向
３０１ サーバ
３０２ データベース
３０３、３０４ 構築者装置
３０６、３０７、３０８ 検索者装置
３０ ネットワーク
４０ ネットワーク
４１ サーバ
４３ 検索データベース
４５ 空間物体データベース
４００ 携帯装置
４０１ データ処理ユニット
４０２ 通信ユニット
４０３ 地上位置決めユニット
４０４ 空間位置決めユニット
４０５ 撮影ユニット
４０６ タッチ表示ユニット
４０７ 記憶ユニット
４７１ 映像撮影命令
４７２ 空間物体処理命令
４７３ 位置決め情報生成命令
４７４ 映像情報生成命令
４７５ 検索処理命令
４７６ データ送受信命令
４７７ 空間物体表示命令
８０ 携帯装置
８０１ グラフィカルユーザインタフェース
８０３ 実景映像
８０５ 空間物体
８０７ 検索結果選択メニュー
１〜５ 空間物体

Claims (20)

1. データ構築モードにおいて、携帯装置が生成する空間物体を選定する信号を受信するステップと、
   前記携帯装置が生成する前記空間物体の実景に関連する位置を選定する信号を受信し、前記空間物体に対応する空間情報を生成するステップと、
   前記空間物体のデータ及び前記空間物体に対応する空間情報をサーバにアップロードし、前記空間物体を検索するデータベースを構築するステップと、
   を備えることを特徴とする、位置に基づく空間物体データの構築方法。
2. 前記空間物体に対応する空間情報は、前記携帯装置に対応する地上位置情報と空間角度情報、及び前記実景の映像情報を含むことを特徴とする、請求項１に記載の位置に基づく空間物体データの構築方法。
3. 前記地上位置情報は、前記携帯装置を操作する場合、前記携帯装置における地上位置決めユニットから生成され、
   前記空間角度情報は、前記携帯装置における空間位置決めユニットから生成されることを特徴とする、請求項２に記載の位置に基づく空間物体データの構築方法。
4. 前記実景の映像情報は、画像処理された後に生成する前記空間物体に対応するカラーブロック情報とライン情報であることを特徴とする、請求項２に記載の位置に基づく空間物体データの構築方法。
5. 前記空間物体のデータをアップロードするステップでは、前記空間物体に対応する検索条件をさらに設定することを特徴とする、請求項１に記載の位置に基づく空間物体データの構築方法。
6. 前記検索条件は、前記空間物体を検索する時間範囲、可視範囲及びユーザ範囲のうちの一つ又はその組合せであることを特徴とする、請求項５に記載の位置に基づく空間物体データの構築方法。
7. 前記空間物体は、文字、画像、動画像及び音声のうちの一つ又はその組合せであることを特徴とする、請求項１〜６のいずれか一項に記載の位置に基づく空間物体データの構築方法。
8. 検索及び表示モードにおいて、携帯装置が実景の映像を取得する信号を受信するステップと、
   前記携帯装置が前記実景に関連する空間情報を生成するステップと、
   前記空間情報をサーバにアップロードするステップと、
   前記サーバから前記空間情報に対応する検索結果を受信するステップと、を備える位置に基づく空間物体表示方法であって、
   前記サーバには、複数のユーザが操作するそれぞれの携帯装置によってアップロードされる空間物体と、前記空間物体に対応する空間情報とが記憶されるデータベースが設けられており、
   前記検索モードにおいて、前記サーバが前記携帯装置がアップロードする空間情報を受信し、前記サーバの演算プログラムが前記データベースを照合し、前記空間情報に対応する検索結果を得ることを特徴とする、位置に基づく空間物体表示方法。
9. 前記実景に関連する前記空間情報は、前記携帯装置に対応する地上位置情報と空間角度情報、及び前記実景の映像情報を含むことを特徴とする、請求項８に記載の位置に基づく空間物体表示方法。
10. 前記地上位置情報は、前記携帯装置を操作する場合、前記携帯装置における地上位置決めユニットから生成され、
    前記空間角度情報は、前記携帯装置における空間位置決めユニットから生成されることを特徴とする、請求項９に記載の位置に基づく空間物体表示方法。
11. 前記サーバが前記空間情報を受信した後、検索条件に応じて、前記地上位置情報と前記空間角度情報を照合し、前記検索結果を得ることを特徴とする、請求項１０に記載の位置に基づく空間物体表示方法。
12. 前記実景の映像情報は、画像処理された後に生成する前記空間物体のカラーブロック情報とライン情報であることを特徴とする、請求項１０に記載の位置に基づく空間物体表示方法。
13. 前記サーバが前記空間情報を受信した後、検索条件に応じて、前記地上位置情報と前記空間角度情報を照合するほかに、前記カラーブロック情報及び／又はライン情報をさらに照合し、前記検索結果を得ることを特徴とする、請求項１２に記載の位置に基づく空間物体表示方法。
14. 前記検索条件は、前記空間物体を検索する時間範囲、可視範囲及びユーザ範囲のうちの一つ又はその組合せをさらに含むことを特徴とする、請求項１１又は１３に記載の位置に基づく空間物体表示方法。
15. 前記空間物体は、文字、画像、動画像及び音声のうちの一つ又はその組合せであることを特徴とする、請求項８〜１３のいずれか一項に記載の位置に基づく空間物体表示方法。
16. データベースを備えるサーバと、
    前記携帯装置のプロセッサにより実行された後、位置に基づく空間物体データの構築と検索のプログラムを実行する、携帯装置に搭載されるコンピュータ読み取り可能な媒体のアセンブリと、
    を含み、
    前記コンピュータ読み取り可能な媒体のアセンブリは、
    実景の映像を取得して前記携帯装置に表示されるための映像撮影命令と、
    前記携帯装置に構築され、前記実景に関連する空間物体を処理すると共に、前記サーバに送信される空間物体のデータを形成するための空間物体処理命令と、
    前記携帯装置の地上位置決めユニットと空間位置決めユニットが生成する位置決め情報を取得するための位置決め情報生成命令と、
    前記実景映像を処理し、前記空間物体に対応する映像情報を生成するための映像情報生成命令と、
    前記携帯装置が検索モードにおいて生成する前記位置決め情報と前記映像情報を取得し、前記位置決め情報と前記映像情報を前記サーバに送信した後、前記サーバが生成する検索結果を受信するための検索処理命令と、
    前記携帯装置と前記サーバとの間の接続を構築し、信号を送受信するためのデータ送受信命令と、
    前記検索結果に応じて前記空間物体を表示するための空間物体表示命令と、を備えることを特徴とする、応用システム。
17. 前記データベースは、前記空間物体のデータを記憶する空間物体データベースと、前記空間物体の空間情報及び各空間物体に対応する検索条件を記憶する検索データベースと、を備えることを特徴とする、請求項１６に記載の応用システム。
18. 前記実景の映像は、画像処理された後、前記空間物体に対応する又は検索を実行するカラーブロック情報とライン情報を形成することを特徴とする、請求項１６に記載の応用システム。
19. 前記サーバに送信される空間物体のデータは、前記空間物体を検索する時間範囲、可視範囲及びユーザ範囲のうちの一つ又はその組合せを含むことを特徴とする、請求項１６に記載の応用システム。
20. 前記空間物体は、文字、画像、動画像及び音声のうちの一つ又はその組合せであることを特徴とする、請求項１６〜１９のいずれか一項に記載の応用システム。

Images