JP5055402B2 - オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法 - Google Patents

オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法 Download PDF

Info

Publication number
JP5055402B2
JP5055402B2 JP2010113309A JP2010113309A JP5055402B2 JP 5055402 B2 JP5055402 B2 JP 5055402B2 JP 2010113309 A JP2010113309 A JP 2010113309A JP 2010113309 A JP2010113309 A JP 2010113309A JP 5055402 B2 JP5055402 B2 JP 5055402B2
Authority
JP
Japan
Prior art keywords
virtual object
display
prohibition
virtual
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010113309A
Other languages
English (en)
Other versions
JP2011242934A (ja
Inventor
学 太田
康夫 森永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2010113309A priority Critical patent/JP5055402B2/ja
Priority to US13/698,463 priority patent/US20130088516A1/en
Priority to EP11783366A priority patent/EP2573737A1/en
Priority to PCT/JP2011/059862 priority patent/WO2011145429A1/ja
Priority to CN2011800243794A priority patent/CN102893307A/zh
Publication of JP2011242934A publication Critical patent/JP2011242934A/ja
Application granted granted Critical
Publication of JP5055402B2 publication Critical patent/JP5055402B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法に関する。
近年において、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）技術を用いたサービスが開発・提供されている。例えば、オブジェクト表示装置の所在位置の周辺に配置されたオブジェクトを取得し、オブジェクト表示装置に備えられたカメラにより取得した画像に種々の情報や画像を含むオブジェクトを重畳表示する技術が知られている。また、現実空間画像上に仮想空間画像を重畳させる際に、現実空間画像における所定の領域に仮想空間画像が重畳されないように制御する技術が知られている（例えば、特許文献１参照）。
特開２００９−１５６４８号公報
しかしながら、従来技術では、現実空間画像中の特定の色を有する領域を、仮想オブジェクトを重畳させない領域として抽出しているので、現実空間における優先表示させるべきオブジェクトが当該特定色を有していない場合には、当該オブジェクトに仮想オブジェクトが重畳されないように制御することができない。即ち、従来技術では、現実空間画像に捉えられたオブジェクトごとの属性に基づく仮想オブジェクトの重畳の可否判定を行った上で仮想空間画像の表示を行うといった表示制御ができない。
そこで、本発明は、上記問題点に鑑みてなされたものであり、ＡＲ技術において、現実空間の画像において優先表示させるべきオブジェクトに、仮想オブジェクトが重畳されないように適切に表示制御可能なオブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法を提供することを目的とする。
上記課題を解決するために、本発明のオブジェクト表示装置は、現実空間を捉えた画像にオブジェクトを重畳して表示するオブジェクト表示装置であって、現実空間に配置された仮想的なオブジェクトである仮想オブジェクトに関する情報であって、仮想オブジェクトの配置位置に関する情報を含む仮想オブジェクト情報を取得する仮想オブジェクト情報取得手段と、現実空間に存在し、仮想オブジェクトを重畳して表示することが禁止されたオブジェクトである重畳禁止オブジェクトに関する重畳禁止オブジェクト情報を取得する重畳禁止オブジェクト情報取得手段と、現実空間の画像を捉えるための撮影手段と、重畳禁止オブジェクト情報取得手段により受信された重畳禁止オブジェクト情報に基づき、撮影手段により撮影された現実空間の画像から重畳禁止オブジェクトを抽出する画像解析手段と、仮想オブジェクト情報取得手段により取得された仮想オブジェクト情報に基づき仮想オブジェクトを現実空間の画像に配置した場合において、画像解析手段により抽出された重畳禁止オブジェクトに重なる仮想オブジェクトが存在する場合に、当該重畳禁止オブジェクトが隠されないように当該仮想オブジェクトの表示制御をする仮想オブジェクト表示制御手段と、仮想オブジェクト表示制御手段による表示制御に基づき、現実空間の画像に仮想オブジェクトを重畳して表示する表示手段とを備えることを特徴とする。
上記課題を解決するために、本発明のオブジェクト表示システムは、現実空間を捉えた画像にオブジェクトを重畳して表示するオブジェクト表示装置と、オブジェクト表示装置と通信可能なサーバとを備えるオブジェクト表示システムであって、オブジェクト表示装置は、オブジェクト表示装置の所在位置を測位する自位置測位手段と、所在位置に関する情報である位置情報をサーバに送信する位置情報送信手段と、現実空間に配置された仮想的なオブジェクトである仮想オブジェクトに関する情報であって、仮想オブジェクトの位置に関する情報を含む仮想オブジェクト情報をサーバから取得する仮想オブジェクト情報取得手段と、現実空間に存在し、仮想オブジェクトを重畳して表示することが禁止されたオブジェクトである重畳禁止オブジェクトに関する重畳禁止オブジェクト情報をサーバから取得する重畳禁止オブジェクト情報取得手段と、現実空間の画像を捉えるための撮影手段と、重畳禁止オブジェクト情報取得手段により受信された重畳禁止オブジェクト情報に基づき、撮影手段により撮影された現実空間の画像から重畳禁止オブジェクトを抽出する画像解析手段と、仮想オブジェクト情報取得手段により受信された仮想オブジェクト情報に基づき仮想オブジェクトを現実空間の画像に配置した場合において、画像解析手段により抽出された重畳禁止オブジェクトに重なる仮想オブジェクトが存在する場合に、当該重畳禁止オブジェクトが隠されないように、仮想オブジェクトの表示制御をする仮想オブジェクト表示制御手段と、仮想オブジェクト表示制御手段による表示制御に基づき、現実空間の画像に仮想オブジェクトを重畳して表示する表示手段とを備え、サーバは、オブジェクト表示装置から位置情報を受信する位置情報受信手段と、仮想オブジェクト情報を記憶している仮想オブジェクト情報記憶手段と、位置情報受信手段により受信された位置情報に示される位置から予め設定された所定距離以内に位置する仮想オブジェクトの仮想オブジェクト情報を仮想オブジェクト情報記憶手段から抽出する仮想オブジェクト抽出手段と、重畳禁止オブジェクト情報を記憶している重畳禁止オブジェクト情報記憶手段と、位置情報受信手段により受信された位置情報に示される位置から予め設定された所定距離以内に位置する重畳禁止オブジェクトの重畳禁止オブジェクト情報を重畳禁止オブジェクト情報記憶手段から抽出する重畳禁止オブジェクト抽出手段と、仮想オブジェクト抽出手段により抽出された仮想オブジェクト情報及び重畳禁止オブジェクト抽出手段により抽出された重畳禁止オブジェクト情報をオブジェクト表示装置に送信するオブジェクト情報送信手段とを備えることを特徴とする。
また、上記課題を解決するために、本発明のオブジェクト表示方法は、現実空間を捉えた画像にオブジェクトを重畳して表示するオブジェクト表示装置におけるオブジェクト表示方法であって、現実空間に配置された仮想的なオブジェクトである仮想オブジェクトに関する情報であって、仮想オブジェクトの配置位置に関する情報を含む仮想オブジェクト情報を取得する仮想オブジェクト情報取得ステップと、現実空間に存在し、仮想オブジェクトを重畳して表示することが禁止されたオブジェクトである重畳禁止オブジェクトに関する重畳禁止オブジェクト情報を取得する重畳禁止オブジェクト情報取得ステップと、現実空間の画像を捉える撮影ステップと、重畳禁止オブジェクト情報取得ステップにおいて受信された重畳禁止オブジェクト情報に基づき、撮影ステップにおいて撮影された現実空間の画像から重畳禁止オブジェクトを抽出する画像解析ステップと、仮想オブジェクト情報取得ステップにおいて受信された仮想オブジェクト情報に基づき仮想オブジェクトを現実空間の画像に配置した場合において、画像解析ステップにおいて抽出された重畳禁止オブジェクトに重なる仮想オブジェクトが存在する場合に、当該重畳禁止オブジェクトが隠されないように当該仮想オブジェクトの表示制御をする仮想オブジェクト表示制御ステップと、仮想オブジェクト表示制御ステップにおける表示制御に基づき、現実空間の画像に仮想オブジェクトを重畳して表示する表示ステップとを有することを特徴とする。
本発明のオブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法によれば、仮想オブジェクトを当該仮想オブジェクトの配置位置の情報に従って現実空間の画像に重畳表示させた場合において、当該仮想オブジェクトが重畳禁止オブジェクトに重なって表示される場合には、当該仮想オブジェクトにより当該重畳禁止オブジェクトが隠されないように表示制御される。これにより、重畳禁止オブジェクトを優先して表示させることが可能となる。
また、本発明のオブジェクト表示装置は、オブジェクト表示装置の所在位置を測位する自位置測位手段と、所在位置に関する情報である位置情報を送信する位置情報送信手段とを更に備え、仮想オブジェクト情報取得手段は、位置情報に基づき抽出された仮想オブジェクト情報を取得し、重畳禁止オブジェクト情報取得手段は、位置情報に基づき抽出された重畳禁止オブジェクト情報を取得することを特徴とする。
この場合には、オブジェクト表示装置の所在位置の周辺に存在する仮想オブジェクトの情報及び重畳禁止オブジェクトの情報が取得される。これにより、オブジェクト表示装置は、表示させるべき仮想オブジェクトの仮想オブジェクト情報及び重畳表示の可否を考慮すべき重畳禁止オブジェクトの重畳禁止オブジェクト情報を適切に取得できる。
また、本発明のオブジェクト表示装置では、仮想オブジェクト情報は、当該仮想オブジェクトの表示を優先させる度合いを示す表示優先度を含み、重畳禁止オブジェクト情報は、当該重畳禁止オブジェクトに対する他のオブジェクトの重畳の禁止の度合いを示す重畳禁止度を含み、仮想オブジェクト表示制御手段は、重畳禁止オブジェクトの重畳禁止度が仮想オブジェクトの表示優先度より大きい場合に、当該仮想オブジェクトを透過表示させることにより、当該重畳禁止オブジェクトが隠されないように当該仮想オブジェクトの表示制御をすることを特徴とする。
この場合には、仮想オブジェクト及び重畳禁止オブジェクトの表示制御における優先関係が表示優先度及び重畳禁止度に基づき厳密に判断され、重畳禁止度が表示優先度より大きい場合に、仮想オブジェクトが透過表示される。従って、優先表示されるべき重畳禁止オブジェクトが適切に表示される。
また、本発明のオブジェクト表示装置では、仮想オブジェクト情報は、当該仮想オブジェクトの表示を優先させる度合いを示す表示優先度を含み、重畳禁止オブジェクト情報は、当該重畳禁止オブジェクトに対する他のオブジェクトの重畳の禁止の度合いを示す重畳禁止度を含み、仮想オブジェクト表示制御手段は、重畳禁止オブジェクトの重畳禁止度が仮想オブジェクトの表示優先度より大きい場合に、当該仮想オブジェクトを非表示とすることにより、当該重畳禁止オブジェクトが隠されないように当該仮想オブジェクトの表示制御をすることを特徴とする。
この場合には、仮想オブジェクト及び重畳禁止オブジェクトの表示制御における優先関係が表示優先度及び重畳禁止度に基づき厳密に判断され、重畳禁止度が表示優先度より大きい場合に、仮想オブジェクトが非表示とされる。従って、優先表示されるべき重畳禁止オブジェクトが適切に表示される。
また、本発明のオブジェクト表示装置では、仮想オブジェクト情報は、当該仮想オブジェクトの表示を優先させる度合いを示す表示優先度、及び当該仮想オブジェクトの配置位置との関連性の強さの度合いを示す表示位置重要度を含み、重畳禁止オブジェクト情報は、当該重畳禁止オブジェクトに対する他のオブジェクトの重畳の禁止の度合いを示す重畳禁止度を含み、仮想オブジェクト表示制御手段は、重畳禁止オブジェクトの重畳禁止度が仮想オブジェクトの表示優先度より大きい場合、且つ仮想オブジェクトの表示位置重要度が予め設定された所定値より大きい場合に、当該仮想オブジェクトを非表示とすることにより、当該重畳禁止オブジェクトが隠されないように当該仮想オブジェクトの表示制御をすることを特徴とする。
仮想オブジェクトの表示位置重要度が高い場合には、当該仮想オブジェクトの配置位置に対する関連性が高いことを意味するので、当該仮想オブジェクトを所定の配置位置以外の位置に表示した場合には、仮想オブジェクトがユーザに提供する情報が不適切なものとなる可能性が高い。本発明の構成では、重畳禁止オブジェクトの重畳禁止度が仮想オブジェクトの表示優先度より大きい場合、且つ仮想オブジェクトの表示位置重要度が高い場合に当該仮想オブジェクトが非表示とされるので、重畳禁止オブジェクトが優先して表示されると共に、仮想オブジェクトが不適切な位置に表示されることが防止される。
また、本発明のオブジェクト表示装置では、仮想オブジェクト情報は、当該仮想オブジェクトの表示を優先させる度合いを示す表示優先度、及び当該仮想オブジェクトの配置位置との関連性の強さの度合いを示す表示位置重要度を含み、重畳禁止オブジェクト情報は、当該重畳禁止オブジェクトに対する他のオブジェクトの重畳の禁止の度合いを示す重畳禁止度を含み、仮想オブジェクト表示制御手段は、重畳禁止オブジェクトの重畳禁止度が仮想オブジェクトの表示優先度より大きい場合、且つ仮想オブジェクトの表示位置重要度が予め設定された所定値より大きい場合に、当該仮想オブジェクトを透過表示させることにより、当該重畳禁止オブジェクトが隠されないように当該仮想オブジェクトの表示制御をすることを特徴とする。
仮想オブジェクトの表示位置重要度が高い場合には、当該仮想オブジェクトの配置位置に対する関連性が高いことを意味するので、当該仮想オブジェクトを所定の配置位置以外の位置に表示した場合には、仮想オブジェクトがユーザに提供する情報が不適切なものとなる可能性が高い。本発明の構成では、重畳禁止オブジェクトの重畳禁止度が仮想オブジェクトの表示優先度より大きい場合、且つ仮想オブジェクトの表示位置重要度が高い場合に仮想オブジェクトが透過表示されるので、重畳禁止オブジェクトが優先して表示されると共に、仮想オブジェクトを適切な位置に併せて表示することが可能となる。
また、本発明のオブジェクト表示装置では、仮想オブジェクト表示制御手段は、仮想オブジェクトの表示位置重要度が予め設定された所定値より大きくない場合に、当該仮想オブジェクトの表示位置を補正することにより、重畳禁止オブジェクトが隠されないように当該仮想オブジェクトの表示制御をすることを特徴とする。
仮想オブジェクトの表示位置重要度が高くない場合には、当該仮想オブジェクトの配置位置に対する関連性が低いことを意味するので、当該仮想オブジェクトを所定の配置位置以外の位置に表示した場合であっても、当該仮想オブジェクトがユーザに提供する情報が不適切なものとなる可能性は低い。本発明の構成では、仮想オブジェクトの表示位置重要度が高くない場合に、当該仮想オブジェクトの表示位置が補正されるので、重畳禁止オブジェクトの重畳禁止度と仮想オブジェクトの表示優先度のいずれが大きい場合であっても、重畳禁止オブジェクト及び仮想オブジェクトの両方を表示させることが可能となる。
また、本発明のオブジェクト表示装置では、仮想オブジェクト表示制御手段は、重畳禁止オブジェクトの重畳禁止度が仮想オブジェクトの表示優先度より大きくない場合、且つ仮想オブジェクトの表示位置重要度が予め設定された所定値より大きい場合に、当該仮想オブジェクトを現実空間の画像における配置位置に表示させることを特徴とする。この場合には、当該重畳禁止オブジェクトより仮想オブジェクトを優先して表示させるべきであるので、仮想オブジェクトが重畳禁止オブジェクト上に重畳して表示されることとなる。
また、本発明のオブジェクト表示装置では、仮想オブジェクト表示制御手段は、一の仮想オブジェクトが他の仮想オブジェクトに重なる場合において、一の仮想オブジェクトの表示位置重要度が他の仮想オブジェクトの表示位置重要度より大きい場合に、当該一の仮想オブジェクトを現実空間の画像における、当該一の仮想オブジェクトの配置位置に表示させることを特徴とする。
仮想オブジェクトの表示位置重要度が高い場合には、当該仮想オブジェクトの配置位置に対する関連性が高いことを意味するので、当該仮想オブジェクトを所定の配置位置以外の位置に表示した場合には、仮想オブジェクトがユーザに提供する情報が不適切なものとなる可能性が高い。本発明の構成では、一のオブジェクトと他のオブジェクトとが重なる場合であっても、一のオブジェクトの表示位置重要度が高い場合に、他のオブジェクトの表示を犠牲にして、一のオブジェクトを表示させる。従って、一のオブジェクトの適切な表示が実現される。
また、本発明のオブジェクト表示装置では、仮想オブジェクト表示制御手段は、一の仮想オブジェクトが他の仮想オブジェクトに重なる場合において、一の仮想オブジェクトの表示位置重要度が他の仮想オブジェクトの表示位置重要度より大きくない場合に、当該一の仮想オブジェクトの表示位置を補正することにより、当該他の仮想オブジェクトが隠されないように当該一の仮想オブジェクトの表示制御をすることを特徴とする。
仮想オブジェクトの表示位置重要度が高くない場合には、当該仮想オブジェクトの配置位置に対する関連性が低いことを意味するので、当該仮想オブジェクトを所定の配置位置以外の位置に表示した場合であっても、当該仮想オブジェクトがユーザに提供する情報が不適切なものとなる可能性は低い。本発明の構成では、一のオブジェクトと他のオブジェクトとが重なる場合に、一のオブジェクトの表示位置を補正することにより、他のオブジェクトを表示させると共に、一のオブジェクトの適切な表示が実現される。
また、本発明のオブジェクト表示装置では、仮想オブジェクト情報は、当該仮想オブジェクトの配置位置との関連性の強さの度合いを示す表示位置重要度を含み、重畳禁止オブジェクト情報は、当該重畳禁止オブジェクトに対する他のオブジェクトの重畳の禁止の度合いを示す重畳禁止度を含み、仮想オブジェクト表示制御手段は、重畳禁止オブジェクトの重畳禁止度が仮想オブジェクトの表示位置重要度より大きい場合に、当該仮想オブジェクトの表示位置を補正することにより、重畳禁止オブジェクトが隠されないように当該仮想オブジェクトの表示制御を実施し、重畳禁止オブジェクトの重畳禁止度が仮想オブジェクトの表示位置重要度より大きくない場合に、当該仮想オブジェクトを透過表示または非表示とすることにより、当該重畳禁止オブジェクトが隠されないように当該仮想オブジェクトの表示制御をすることを特徴とする。
仮想オブジェクトの表示位置重要度が高い場合には、当該仮想オブジェクトの配置位置に対する関連性が高いことを意味するので、当該仮想オブジェクトを所定の配置位置以外の位置に表示した場合には、仮想オブジェクトがユーザに提供する情報が不適切なものとなる可能性が高い。また、仮想オブジェクトの表示位置重要度が高くない場合には、当該仮想オブジェクトの配置位置に対する関連性が低いことを意味するので、当該仮想オブジェクトを所定の配置位置以外の位置に表示した場合であっても、当該仮想オブジェクトがユーザに提供する情報が不適切なものとなる可能性は低い。本発明の構成では、重畳禁止オブジェクトの重畳禁止度が仮想オブジェクトの表示位置重要度より大きい場合に、当該仮想オブジェクトの表示位置が補正されるので、重畳禁止オブジェクトに他のオブジェクトが重畳されることなく適切に表示されると共に、仮想オブジェクトを表示させることが可能となる。また、また、重畳禁止オブジェクトの重畳禁止度が仮想オブジェクトの表示位置重要度より大きくない場合に、当該仮想オブジェクトが透過表示または非表示とされるので、重畳禁止オブジェクトが優先して表示されると共に、仮想オブジェクトが不適切な位置に表示されることが防止される。
ＡＲ技術において、現実空間の画像において優先表示させるべきオブジェクトに、仮想オブジェクトが重畳されないような表示制御が可能となる。
オブジェクト表示システムの装置構成を示す図である。 オブジェクト表示装置の機能的構成を示すブロック図である。 オブジェクト表示装置のハードブロック図である。 サーバの機能的構成を示すブロック図である。 仮想オブジェクト情報記憶部の構成及び記憶されているデータの例を示す図である。 重畳禁止オブジェクト情報記憶部の構成及び記憶されているデータの例を示す図である。 第１実施形態におけるオブジェクト表示方法の処理内容を示すタイミングチャートである。 オブジェクト表示装置の表示部における表示画面例を示す図である。 図７における仮想オブジェクト透過判定処理の処理内容を示すフローチャートである。 第２実施形態におけるオブジェクト表示方法の処理内容を示すタイミングチャートである。 第２実施形態におけるオブジェクト表示装置の表示部の表示画面例を示す図である。 図１０における仮想オブジェクト表示位置調整処理の処理内容を示すフローチャートである。 図１０における仮想オブジェクト表示位置調整処理の処理内容の他の例を示すフローチャートである。 第３実施形態におけるオブジェクト表示方法の処理内容を示すタイミングチャートである。 第３実施形態におけるオブジェクト表示装置の表示部の表示画面例を示す図である。 図１４における仮想オブジェクト表示位置調整処理の処理内容を示すフローチャートである。
本発明に係るオブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法の実施形態について図面を参照して説明する。なお、可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
（第１実施形態）
図１は、第１実施形態に係るオブジェクト表示システム７の装置構成を示すブロック図である。図１に示すようにオブジェクト表示システム７は、オブジェクト表示装置１と、当該オブジェクト表示装置１と通信可能なサーバ３を含む。オブジェクト表示装置１は、例えば、移動体通信網を介した通信が可能な携帯端末である。従って、オブジェクト表示装置１は、移動体通信網の基地局５を介してサーバとの通信を行う。
図２は、第１実施形態に係るオブジェクト表示装置１の機能的構成を示すブロック図である。本実施形態のオブジェクト表示装置１は、例えば、現実空間又は仮想空間に配置されたオブジェクトの表示制御を行う装置であって、現実空間又は仮想空間においてオブジェクト表示装置１の所在位置の周辺に配置されたオブジェクトをサーバから取得し、オブジェクト表示装置１に備えられたカメラにより取得した現実空間の画像に種々の情報や画像を含むオブジェクトを重畳表示する機能を有する。オブジェクト表示装置１のディスプレイといった表示手段におけるオブジェクトの表示位置を高精度に制御するために、本実施形態では、オブジェクト表示装置１の所在位置を高精度に検出することが必要である。
図２に示すように、オブジェクト表示装置１は、機能的には、自位置測位部１０（自位置測位手段）、位置情報送信部１１（位置情報送信手段）、仮想オブジェクト情報取得部１２（仮想オブジェクト情報取得手段）、重畳禁止オブジェクト情報取得部１３（重畳禁止オブジェクト情報取得手段）、撮影部１４（撮影手段）、画像解析部１５（画像解析手段）、仮想オブジェクト表示制御部１６（仮想オブジェクト表示制御手段）及び表示部１７を備える。
図３は、オブジェクト表示装置１のハードウエア構成図である。オブジェクト表示装置１は、物理的には、図３に示すように、ＣＰＵ１０１、主記憶装置であるＲＡＭ１０２及びＲＯＭ１０３、データ送受信デバイスである通信モジュール１０４、ハードディスク、フラッシュメモリ等の補助記憶装置１０５、入力デバイスであるキーボード等の入力装置１０６、ディスプレイ等の出力装置１０７などを含むコンピュータシステムとして構成されている。図２に示した各機能は、図３に示すＣＰＵ１０１、ＲＡＭ１０２等のハードウエア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１０１の制御のもとで通信モジュール１０４、入力装置１０６、出力装置１０７を動作させるとともに、ＲＡＭ１０２や補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。再び、図２を参照し、オブジェクト表示装置１の各機能部について詳細に説明する。
自位置測位部１０は、オブジェクト表示装置１の所在位置を測位する部分であって、例えばＧＰＳ装置により構成される。自位置測位部１０は、測位された所在位置に関する情報を位置情報送信部１１に送出する。
位置情報送信部１１は、所在位置に関する情報を位置情報としてサーバ３に送信する部分である。
仮想オブジェクト情報取得部１２は、仮想オブジェクト情報をサーバ３から取得する部分である。仮想オブジェクト情報は、現実空間に配置された仮想的なオブジェクトである仮想オブジェクトに関する情報であって、仮想オブジェクトの配置位置に関する情報を含む。また、仮想オブジェクト情報は、当該仮想オブジェクトの表示を優先させる度合いを示す表示優先度を含む。なお、仮想オブジェクト情報の内容の詳細は、後に図５を参照して説明される。
仮想オブジェクトは、オブジェクト表示装置１において現実空間の画像に重畳表示させることにより、オブジェクト表示装置１にユーザに対して種々の情報を提供するための仮想的なオブジェクトである。なお、仮想オブジェクト情報は、サーバ３において位置情報に基づき抽出されたものである。位置情報に基づく仮想オブジェクト情報の抽出処理については後述する。仮想オブジェクト情報取得部１２は、取得した仮想オブジェクト情報を仮想オブジェクト表示制御部１６に送出する。
重畳禁止オブジェクト情報取得部１３は、重畳禁止オブジェクト情報をサーバ３から取得する部分である。重畳禁止オブジェクト情報は、現実空間に存在し仮想オブジェクトを重畳して表示することが禁止されたオブジェクトである重畳禁止オブジェクトに関する情報である。また、重畳禁止オブジェクト情報は、当該重畳禁止オブジェクトに対する他のオブジェクトの重畳の禁止の度合いを示す重畳禁止度を含む。なお、重畳禁止オブジェクト情報の内容の詳細は、後に図６を参照して説明される。ここで取得される重畳禁止オブジェクト情報は、サーバ３において位置情報に基づき抽出されたものである。重畳禁止オブジェクト情報取得部１３は、取得した重畳禁止オブジェクト情報を画像解析部１５に送出する。
撮影部１４は、現実空間の画像を捉えるための部分であり、例えばカメラにより構成される。撮影部１４は、現実空間の画像を画像解析部１５及び表示部１７に送出する。
画像解析部１５は、重畳禁止オブジェクト情報取得部１３により受信された重畳禁止オブジェクト情報に基づき、撮影部１４により撮影された現実空間の画像から重畳禁止オブジェクトを抽出する部分である。
仮想オブジェクト表示制御部１６は、仮想オブジェクト情報取得部１２により取得された仮想オブジェクト情報に基づき仮想オブジェクトを現実空間の画像に配置した場合において、画像解析部１５により抽出された重畳禁止オブジェクトに重なる仮想オブジェクトが存在する場合に、当該重畳禁止オブジェクトが隠されないように当該仮想オブジェクトの表示制御をする部分である。
具体的には、仮想オブジェクト表示制御部１６は、重畳禁止オブジェクトの重畳禁止度が仮想オブジェクトの表示優先度より大きい場合に、当該仮想オブジェクトを透過表示させることにより、当該重畳禁止オブジェクトが隠されないように当該仮想オブジェクトの表示制御をする。なお、この表示制御処理の詳細については、後に図７〜９を参照して説明する。
表示部１７は、仮想オブジェクト表示制御部１６による表示制御に基づき、現実空間の画像に仮想オブジェクトを重畳して表示する部分であり、例えば、ディスプレイ装置により構成される。
続いて、サーバ３の機能を詳細に説明する。図４は、第１実施形態に係るサーバ３の機能的構成を示すブロック図である。本実施形態のサーバ３は、位置情報受信部３０（位置情報受信手段）、仮想オブジェクト抽出部３１（仮想オブジェクト抽出手段）、仮想オブジェクト情報記憶部３２（仮想オブジェクト情報記憶手段）、重畳禁止オブジェクト抽出部３３（重畳禁止オブジェクト抽出手段）、重畳禁止オブジェクト情報記憶部３４（重畳禁止オブジェクト情報記憶手段）及びオブジェクト情報送信部３５（オブジェクト情報送信手段）を備える。また、サーバ３も、図３に示したオブジェクト表示装置１のハードウエア構成と同様のハードウエア構成を有するコンピュータである。図４を参照し、サーバ３の各機能部について詳細に説明する。
位置情報受信部３０は、オブジェクト表示装置から位置情報を受信する部分である。位置情報受信部３０は、受信した位置情報を仮想オブジェクト抽出部３１及び重畳禁止オブジェクト抽出部３３に送出する。
仮想オブジェクト抽出部３１は、仮想オブジェクト情報を仮想オブジェクト情報記憶部３２から抽出する部分である。仮想オブジェクト抽出部３１は、例えば、位置情報受信部３０により受信された位置情報に示される位置から予め設定された所定距離以内に位置する仮想オブジェクトの仮想オブジェクト情報を抽出する。
仮想オブジェクト情報記憶部３２は、仮想オブジェクト情報を記憶している部分である。図５は、仮想オブジェクト情報記憶部３２の構成及び記憶されているデータの例を示す図である。図５に示すように、仮想オブジェクト情報記憶部３２は、仮想オブジェクト情報として、位置、名称、表示優先度、表示位置重要度及び仮想オブジェクト形状を項番ごとに対応付けて記憶している。
仮想オブジェクト情報における「位置」は、仮想オブジェクトの現実空間における配置位置を示す情報であり、緯度、経度及び高さを含む。「名称」は、当該仮想オブジェクトの名称である。
仮想オブジェクト情報における「表示優先度」は、当該仮想オブジェクトの表示を優先させる度合いを示す情報であり、図５に示す例では、１−５の５段階のいずれかにより示されている。例えば、仮想オブジェクトが緊急情報を示すためのものである場合には、その仮想オブジェクトの表示優先度の値は高く設定される。
仮想オブジェクト情報における「表示位置重要度」は、当該仮想オブジェクトの配置位置との関連性の強さの度合いを示す情報であり、図５に示す例では、１−５の５段階のいずれかにより示されている。例えば、仮想オブジェクト情報が現実空間に存在する商店に関連する情報を示すためのものである場合には、その仮想オブジェクトの表示位置重要度の値は高く設定される。また、仮想オブジェクト情報が配置位置の周辺地域全体に関連する情報を示すものである場合には、その仮想オブジェクトの表示位置重要度の値は低く設定される。
仮想オブジェクト情報における「仮想オブジェクト形状」は、当該仮想オブジェクトの２次元または３次元の形状に関する情報を示す。なお、第１実施形態では、仮想オブジェクト情報記憶部３２は、表示位置重要度の情報を有していなくてもよい。表示位置重要度は、後述する第２、第３実施形態で用いられる情報である。
重畳禁止オブジェクト抽出部３３は、重畳禁止オブジェクト情報を重畳禁止オブジェクト情報記憶部３４から抽出する部分である。重畳禁止オブジェクト抽出部３３は、例えば、位置情報受信部３０により受信された位置情報に示される位置から予め設定された所定距離以内に位置する重畳禁止オブジェクトの重畳禁止オブジェクト情報を抽出する。
重畳禁止オブジェクト情報記憶部３４は、重畳禁止オブジェクト情報を記憶している部分である。図６は、重畳禁止オブジェクト情報記憶部３４の構成及び記憶されているデータの例を示す図である。図６に示すように、重畳禁止オブジェクト情報記憶部３４は、重畳禁止オブジェクト情報として、位置、名称、重畳禁止度及び重畳禁止オブジェクト形状を項番ごとに対応付けて記憶している。
重畳禁止オブジェクト情報における「位置」は重畳禁止オブジェクトの現実空間における所在位置を示す情報であり、緯度、経度及び高さを含む。「名称」は、当該重畳禁止オブジェクトの名称である。
重畳禁止オブジェクト情報における「重畳禁止度」は、当該重畳禁止オブジェクトに対する他のオブジェクトの重畳の禁止の度合いを示す情報であり、図６に示す例では、１−５の５段階のいずれかにより示されている。例えば、現実空間の画像において信号機が仮想オブジェクト等に隠された場合には、ユーザの安全性が損なわれるので、信号機は、重畳禁止度を高い値に設定すべき重畳禁止オブジェクトである。
重畳禁止オブジェクト情報における「重畳禁止オブジェクト形状」は当該重畳禁止オブジェクトの２次元または３次元の形状に関する情報を示す。
オブジェクト情報送信部３５は、仮想オブジェクト抽出部３１により抽出された仮想オブジェクト情報及び重畳禁止オブジェクト抽出部３３により抽出された重畳禁止オブジェクト情報をオブジェクト表示装置１に送信する部分である。
続いて、図７及び図８を参照して、本実施形態のオブジェクト表示方法におけるオブジェクト表示システム７の動作について説明する。図７は、オブジェクト表示システム７において実施される処理内容を示すタイミングチャートである。また、図８は、オブジェクト表示装置１の表示部１７における表示画面例を示す図である。
まず、オブジェクト表示装置１は、自位置測位部１０を起動させる（Ｓ１）。次に、自位置測位部１０は、オブジェクト表示装置１が所在する位置を測位する（Ｓ２）。そして、位置情報送信部１１は、オブジェクト表示装置１の所在位置に関する情報を位置情報としてサーバ３に送信する（Ｓ３）。
オブジェクト表示装置１から位置情報が送信されると、サーバ３の位置情報受信部３０は、位置情報を受信する（Ｓ４）。次に、仮想オブジェクト抽出部３１は、位置情報に示される位置から予め設定された所定距離以内に位置する仮想オブジェクトの仮想オブジェクト情報を仮想オブジェクト情報記憶部３２から抽出する（Ｓ５）。また、重畳禁止オブジェクト抽出部３３は、位置情報に示される位置から予め設定された所定距離以内に位置する重畳禁止オブジェクトの重畳禁止オブジェクト情報を重畳禁止オブジェクト情報記憶部３４から抽出する（Ｓ５）。
続いて、オブジェクト情報送信部３５は、仮想オブジェクト抽出部３１により抽出された仮想オブジェクト情報及び重畳禁止オブジェクト抽出部３３により抽出された重畳禁止オブジェクト情報をオブジェクト表示装置１に送信する（Ｓ６）。
続いて、仮想オブジェクト情報取得部１２及び重畳禁止オブジェクト情報取得部１３はそれぞれ、仮想オブジェクト情報及び重畳禁止オブジェクト情報をサーバ３から取得する（Ｓ７、仮想オブジェクト情報取得ステップ及び重畳禁止オブジェクト情報取得ステップ）。
次に、オブジェクト表示装置１は、撮影部１４を起動する（Ｓ８）。なお、本実施形態では、ステップＳ８において撮影部１４が起動されることとしているが、図７のフローチャートに示されるオブジェクト表示方法の処理が開始された時点や、開始される前の時点において起動されることとしてもよい。
そして、撮影部１４は、現実空間の画像を撮影し、撮影された画像を画像解析部１５及び表示部１７に送出する（Ｓ９、撮影ステップ）。
続いて、画像解析部１５は、重畳禁止オブジェクト情報取得部１３により取得された重畳禁止オブジェクト情報に基づき、撮影部１４により撮影された現実空間の画像から重畳禁止オブジェクトを抽出する（Ｓ１０、画像解析ステップ）。現実空間の画像からのオブジェクトの抽出は、重畳禁止オブジェクト情報における重畳禁止オブジェクト形状の情報に基づき、例えばパターンマッチングといった既知の画像解析技術により行われる。図８（ａ）は、現実空間の画像からのオブジェクトの抽出処理を示す図である。画像解析部１５は、図８（ａ）に示されるように、重畳禁止オブジェクトＲ１、Ｒ２を現実空間の画像から抽出する。重畳禁止オブジェクトＲ１は、図６に示される重畳禁止オブジェクト情報のうち、項番１の重畳禁止オブジェクト情報に基づき抽出されたものである。また、重畳禁止オブジェクトＲ２は、図６に示される重畳禁止オブジェクト情報のうち、項番２の重畳禁止オブジェクト情報に基づき抽出されたものである。
そして、仮想オブジェクト表示制御部１６は、仮想オブジェクト情報取得部１２により取得された仮想オブジェクト情報に基づき仮想オブジェクトを現実空間の画像に配置した場合において、画像解析部１５により抽出された重畳禁止オブジェクトに重なる仮想オブジェクトが存在する場合に、当該重畳禁止オブジェクトが隠されないように当該仮想オブジェクトの表示制御をする。本実施形態では、仮想オブジェクト表示制御部１６は、当該仮想オブジェクトに関する透過判定処理を実施する（Ｓ１１、仮想オブジェクト表示制御ステップ）。
図９は、仮想オブジェクト透過判定処理の詳細内容を示すフローチャートである。まず、仮想オブジェクト表示制御部１６は、仮想オブジェクト情報取得部１２により取得された仮想オブジェクト情報から、一の仮想オブジェクトを選択する（Ｓ２０）。
次に、仮想オブジェクト表示制御部１６は、当該一の仮想オブジェクトを仮想オブジェクト情報に示される配置位置の情報に従って現実空間の画像に配置した場合において、画像解析部１５により抽出された重畳禁止オブジェクトに重なるか否かを判定する（Ｓ２１）。一の仮想オブジェクトが重畳禁止オブジェクトに重なると判定された場合には、処理手順はステップＳ２２に進められる。一方、一の仮想オブジェクトが重畳禁止オブジェクトに重なると判定されなかった場合には、処理手順はステップＳ２４に進められる。
図８（ｂ）は、図５に示される仮想オブジェクト情報のうち、項番１，２，３の仮想オブジェクトを現実空間の画像に配置した例である。図８（ｂ）に示すように、仮想オブジェクトＶ１は、重畳禁止オブジェクトＲ１との重なりを有している。また、仮想オブジェクトＶ２は、重畳禁止オブジェクトとの重なりを有していない。また、仮想オブジェクトＶ３は、重畳禁止オブジェクトＲ２との重なりを有している。従って、仮想オブジェクトＶ１，Ｖ３に関する透過判定処理では、処理手順はステップＳ２２に進められる。また、仮想オブジェクトＶ２に関する透過判定処理では、処理手順はステップＳ２４に進められる。
ステップＳ２２において、仮想オブジェクト表示制御部１６は、仮想オブジェクトとの重なりを有する重畳禁止オブジェクトの重畳禁止度が当該一の仮想オブジェクトの表示優先度より大きいか否かを判定する（Ｓ２２）。重畳禁止度が表示優先度より大きいと判定された場合には、処理手順はステップＳ２３に進められる。一方、重畳禁止度が表示優先度より大きいと判定されなかった場合には、処理手順はステップＳ２４に進められる。例えば、図８（ｂ）における仮想オブジェクトＶ１に関する透過判定処理では、重畳禁止オブジェクトＲ１の重畳禁止度「５」が仮想オブジェクトＶ１の表示優先度「４」より大きいので、処理手順はステップＳ２３に進められる。また、仮想オブジェクトＶ３に関する透過判定処理では、重畳禁止オブジェクトＲ２の重畳禁止度「２」が仮想オブジェクトＶ３の表示優先度「３」より大きくないので、処理手順はステップＳ２４に進められる。
ステップＳ２３において、仮想オブジェクト表示制御部１６は、当該仮想オブジェクトを透過表示させることにより、当該重畳禁止オブジェクトが隠されないように表示制御をする（Ｓ２３）。図８（ｃ）は、仮想オブジェクト表示制御部１６により表示制御された仮想オブジェクトの表示例を示す図である。図８（ｂ）における仮想オブジェクトＶ１は、図８（ｃ）に示される仮想オブジェクトＶ１１のように透過表示される。これにより、重畳禁止オブジェクトＲ１は隠されないように表示されている。なお、仮想オブジェクトＶ１の表示優先度と重畳禁止オブジェクトＲ１の重畳禁止度との差の大きさに基づいて、仮想オブジェクトＶ１を透過表示させる際の透過率を変更させることとしてもよい。
なお、本実施形態では、ステップＳ２３において、仮想オブジェクトを透過表示させることにより、当該重畳禁止オブジェクトが隠されないように表示制御をすることとしたが、仮想オブジェクトを非表示とすることにより、重畳禁止オブジェクトが隠されないように表示制御をすることとしてもよい。
一方、ステップＳ２４において、仮想オブジェクト表示制御部１６は、仮想オブジェクトをそのまま表示させる。図８（ｃ）に示すように、仮想オブジェクトＶ２及び仮想オブジェクトＶ３は、そのまま表示される。
そして、仮想オブジェクト表示制御部１６は、ステップＳ７において取得された全ての仮想オブジェクトについて、仮想オブジェクト透過判定処理を実施済か否かを判定する（Ｓ２５）。全ての仮想オブジェクトについて透過判定処理済となるまで、ステップＳ２０〜ステップＳ２５の処理手順が繰り返される。
再び図７を参照して、表示部１７は、仮想オブジェクト表示制御部１６による表示制御に基づき、現実空間の画像に仮想オブジェクトを重畳して表示する（Ｓ１２、表示ステップ、図８（ｃ）参照）。こうして、本実施形態の処理を終了する。
なお、本実施形態のオブジェクト表示処理では、オブジェクト表示装置１は、サーバ３から重畳禁止オブジェクト情報を取得することとしているが、これには限られない。例えば、交通信号機に例示されるような、特定の地域に依存しない重畳禁止オブジェクトに関する情報は、予めオブジェクト表示装置１に記憶されていることとしてもよい。
また、仮想オブジェクトが表示部１７に煩雑に表示されることを防止するために、一時に表示部１７に表示される仮想オブジェクトの個数に上限を設けることとしてもよい。この場合には、仮想オブジェクトの表示優先度が高い順に所定数の仮想オブジェクトが表示されることとなる。また、仮想オブジェクトの表示部１７における表示面積に上限値を設けて、当該上限値を超えないように、表示優先度が高い順に仮想オブジェクトが表示されることとしてもよい。
さらに、仮想オブジェクト表示制御部１６は、オブジェクト表示装置１から仮想オブジェクトまでの距離を算出し、オブジェクト表示装置１に近い位置に配置された仮想オブジェクトを優先して表示制御することとしてもよい。
以上説明した第１実施形態のオブジェクト表示装置１、オブジェクト表示システム及びオブジェクト表示方法では、仮想オブジェクトを当該仮想オブジェクトの配置位置の情報に従って現実空間の画像に重畳表示させた場合において、当該仮想オブジェクトが重畳禁止オブジェクトに重なって表示される場合には、当該仮想オブジェクトにより当該重畳禁止オブジェクトが隠されないように、仮想オブジェクト表示制御部１６による表示制御が実施される。これにより、重畳禁止オブジェクトを優先して表示させることが可能となる。
（第２実施形態）
次に、図１０〜１３を参照して、第２実施形態に係るオブジェクト表示装置１におけるオブジェクト表示方法の処理内容を説明する。図１０は、オブジェクト表示システム７において実施される処理内容を示すタイミングチャートである。また、図１１は、オブジェクト表示装置１の表示部１７における表示画面例を示す図である。なお、オブジェクト表示装置１及びサーバ３の機能的構成は、第１実施形態（図１、図３）と同様である。
図１０におけるステップＳ３１〜Ｓ３９の処理内容はそれぞれ、第１実施形態（図７）におけるステップＳ１〜Ｓ９の処理内容と同様である。
続いて、画像解析部１５は、重畳禁止オブジェクト情報取得部１３により取得された重畳禁止オブジェクト情報に基づき、撮影部１４により撮影された現実空間の画像から重畳禁止オブジェクトを抽出する（Ｓ４０）。図１１（ａ）は、現実空間の画像からのオブジェクトの抽出の例を示す図である。画像解析部１５は、図１１（ａ）に示されるように、重畳禁止オブジェクトＲ１、Ｒ２を現実空間の画像から抽出する。重畳禁止オブジェクトＲ１は、図６に示される重畳禁止オブジェクト情報のうち、項番１の重畳禁止オブジェクト情報に基づき抽出されたものである。また、重畳禁止オブジェクトＲ２は、図６に示される重畳禁止オブジェクト情報のうち、項番２の重畳禁止オブジェクト情報に基づき抽出されたものである。
次に、仮想オブジェクト表示制御部１６は、仮想オブジェクト情報取得部１２により取得された仮想オブジェクト情報に基づき仮想オブジェクトを現実空間の画像に配置した場合において、画像解析部１５により抽出された重畳禁止オブジェクトに重なる仮想オブジェクトが存在する場合に、当該重畳禁止オブジェクトが隠されないように当該仮想オブジェクトの表示制御をする。本実施形態では、仮想オブジェクト表示制御部１６は、当該仮想オブジェクトに関する表示位置調整処理を実施する（Ｓ４１、仮想オブジェクト表示制御ステップ）。
図１２は、仮想オブジェクト表示位置調整処理の詳細内容を示すフローチャートである。まず、仮想オブジェクト表示制御部１６は、仮想オブジェクト情報取得部１２により取得された仮想オブジェクト情報から、一の仮想オブジェクトを選択する（Ｓ５０）。
次に、仮想オブジェクト表示制御部１６は、当該一の仮想オブジェクトを仮想オブジェクト情報に示される配置位置の情報に従って現実空間の画像に配置した場合において、画像解析部１５により抽出された重畳禁止オブジェクトに重なるか否かを判定する（Ｓ５１）。一の仮想オブジェクトが重畳禁止オブジェクトに重なると判定された場合には、処理手順はステップＳ５２に進められる。一方、一の仮想オブジェクトが重畳禁止オブジェクトに重なると判定されなかった場合には、処理手順はステップＳ５５に進められる。
図１１（ｂ）は、図５に示される仮想オブジェクト情報のうち、項番１，２，３の仮想オブジェクトを現実空間の画像に配置した例である。図１１（ｂ）に示すように、仮想オブジェクトＶ１は、重畳禁止オブジェクトＲ１との重なりを有している。また、仮想オブジェクトＶ２は、重畳禁止オブジェクトとの重なりを有していない。また、仮想オブジェクトＶ３は、重畳禁止オブジェクトＲ２との重なりを有している。従って、仮想オブジェクトＶ１，Ｖ３に関する表示位置調整処理では、処理手順はステップＳ５２に進められる。また、仮想オブジェクトＶ２に関する表示位置調整処理では、処理手順はステップＳ５５に進められる。
ステップＳ５２において、仮想オブジェクト表示制御部１６は、仮想オブジェクトとの重なりを有する重畳禁止オブジェクトの重畳禁止度が当該一の仮想オブジェクトの表示優先度より大きいか否かを判定する（Ｓ５２）。重畳禁止度が表示優先度より大きいと判定された場合には、処理手順はステップＳ５４に進められる。一方、重畳禁止度が表示優先度より大きいと判定されなかった場合には、処理手順はステップＳ５３に進められる。例えば、図１１（ｂ）における仮想オブジェクトＶ１に関する表示位置調整処理では、重畳禁止オブジェクトＲ１の重畳禁止度「５」が仮想オブジェクトＶ１の表示優先度「４」より大きいので、処理手順はステップＳ５４に進められる。また、仮想オブジェクトＶ３に関する表示位置調整処理では、重畳禁止オブジェクトＲ２の重畳禁止度「２」が仮想オブジェクトＶ３の表示優先度「３」より大きくないので、処理手順はステップＳ５３に進められる。
ステップＳ５３において、仮想オブジェクト表示制御部１６は、当該仮想オブジェクトの表示位置重要度（図５参照）が予め設定された所定値より大きいか否かを判定する（Ｓ５３）。表示位置重要度が所定値より大きいと判定された場合には、処理手順はステップＳ５５に進められる。一方、表示位置重要度が所定値より大きいと判定されなかった場合には、処理手順はステップＳ５６に進められる。図１１（ｂ）に示す例において、表示位置重要度の判定のための所定値が３であるとすると、仮想オブジェクトＶ３の表示位置重要度は「４」であるので、処理手順はステップＳ５５に進められる。
一方、ステップＳ５４において、仮想オブジェクト表示制御部１６は、当該仮想オブジェクトの表示位置重要度（図５参照）が予め設定された所定値より大きいか否かを判定する（Ｓ５３）。表示位置重要度が所定値より大きいと判定された場合には、処理手順はステップＳ５７に進められる。一方、表示位置重要度が所定値より大きいと判定されなかった場合には、処理手順はステップＳ５６に進められる。図１１（ｂ）に示す例において、表示位置重要度の判定のための所定値が３であるとすると、仮想オブジェクトＶ１の表示位置重要度は「２」であるので、処理手順はステップＳ５６に進められる。
ステップＳ５５において、仮想オブジェクト表示制御部１６は、当該仮想オブジェクトを、表示位置の補正を行わず、仮想オブジェクト情報に示される当該仮想オブジェクトの配置位置にそのまま表示させるように表示制御を実施する（Ｓ５５）。当該仮想オブジェクトは、重畳禁止オブジェクトとの重なりを有していても、当該仮想オブジェクトの表示優先度が当該重畳禁止オブジェクトの重畳禁止度より高いので、優先して表示されるべきである。また、当該仮想オブジェクトの表示位置重要度が高いことは、当該仮想オブジェクトが、配置位置に対する高い関連性を有することを意味する。このため、当該仮想オブジェクトを所定の配置位置以外の位置に表示した場合には、仮想オブジェクトがユーザに提供する情報が不適切なものとなる可能性が高い。従って、当該仮想オブジェクトは、表示位置の補正が行われずに表示される。図１１（ｃ）に示す例では、仮想オブジェクトＶ３は、重畳禁止オブジェクトＲ２に重なる位置に、位置補正されることなく表示される。
ステップＳ５６において、仮想オブジェクト表示制御部１６は、当該仮想オブジェクトの表示位置を補正することにより、重畳禁止オブジェクトが隠されないように当該仮想オブジェクトの表示制御を実施する（Ｓ５６）。仮想オブジェクトの表示位置重要度が高くない場合には（Ｓ５３，Ｓ５４）、当該仮想オブジェクトの配置位置に対する関連性が低いことを意味するので、当該仮想オブジェクトを所定の配置位置以外の位置に表示した場合であっても、当該仮想オブジェクトがユーザに提供する情報が不適切なものとなる可能性は低い。本実施形態では、重畳禁止オブジェクトの重畳禁止度が仮想オブジェクトの表示優先度より大きくない場合（Ｓ５２，ＮＯ）、且つ仮想オブジェクトの表示位置重要度が高くない場合に（Ｓ５３，ＮＯ）、当該仮想オブジェクトの表示位置が補正されるので、優先表示されるべき仮想オブジェクトの表示が可能となると共に、優先表示されるべき度合いが高くない重畳禁止オブジェクトの表示も可能となる。
また、重畳禁止オブジェクトの重畳禁止度が仮想オブジェクトの表示優先度より大きい場合（Ｓ５２，ＹＥＳ）、且つ仮想オブジェクトの表示位置重要度が高くない場合に（Ｓ５４，ＮＯ）、当該仮想オブジェクトの表示位置が補正されるので、優先表示されるべき重畳禁止オブジェクトの表示が可能となると共に、優先表示されるべき度合いが高くない仮想オブジェクトの表示も可能となる。
図１１（ｂ）における仮想オブジェクトＶ１は、図１１（ｃ）の仮想オブジェクトＶ１２に示されるように、重畳禁止オブジェクトＲ１に重ならない位置に、位置補正される。
ステップＳ５７において、仮想オブジェクト表示制御部１６は、当該仮想オブジェクトを非表示とすることにより、当該重畳禁止オブジェクトが隠されないように当該仮想オブジェクトの表示制御を実施する（Ｓ５７）。仮想オブジェクトの表示位置重要度が高い場合には、当該仮想オブジェクトの配置位置に対する関連性が高いことを意味するので、当該仮想オブジェクトを所定の配置位置以外の位置に表示した場合には、仮想オブジェクトがユーザに提供する情報が不適切なものとなる可能性が高い。本実施形態では、重畳禁止オブジェクトの重畳禁止度が仮想オブジェクトの表示優先度より大きい場合、且つ仮想オブジェクトの表示位置重要度が高い場合に当該仮想オブジェクトが非表示とされるので、重畳禁止オブジェクトが優先して表示されると共に、仮想オブジェクトが不適切な位置に表示されることが防止される。
なお、本実施形態のステップＳ５７では、仮想オブジェクト表示制御部１６は、当該仮想オブジェクトを非表示とすることにより、当該重畳禁止オブジェクトが隠されないように当該仮想オブジェクトの表示制御を実施することとしたが、仮想オブジェクト表示制御部１６は、当該仮想オブジェクトを透過表示させることにより、当該重畳禁止オブジェクトが隠されないように当該仮想オブジェクトの表示制御を実施することとしてもよい。
そして、仮想オブジェクト表示制御部１６は、ステップＳ３７において取得された全ての仮想オブジェクトについて、仮想オブジェクト表示位置調整処理を実施済か否かを判定する（Ｓ５８）。全ての仮想オブジェクトについて表示位置調整処理済となるまで、ステップＳ５０〜ステップＳ５８の処理手順が繰り返される。
再び図１０を参照して、表示部１７は、仮想オブジェクト表示制御部１６による表示制御に基づき、現実空間の画像に仮想オブジェクトを重畳して表示する（Ｓ４２、図１１（ｃ）参照）。こうして、本実施形態の処理を終了する。
なお、図１２に示したフローチャートでは、重畳禁止オブジェクトの重畳禁止度及び仮想オブジェクトの表示優先度の大きさを比較した後、仮想オブジェクトの表示位置重要度の大きさに関する判定を実施し、判定の結果に応じて仮想オブジェクトが非表示、位置補正して表示又は位置補正することなくそのまま表示されることとしたが、重畳禁止オブジェクトの重畳禁止度及び仮想オブジェクトの表示位置重要度の大きさに関する比較判定を実施し、判定の結果に応じて仮想オブジェクトの表示態様を決定する構成としてもよい。
この構成では、重畳禁止オブジェクトの重畳禁止度が仮想オブジェクトの表示位置重要度より大きい場合には、仮想オブジェクト表示制御部１６は、当該仮想オブジェクトの表示位置を補正することにより、重畳禁止オブジェクトが隠されないように当該仮想オブジェクトの表示制御を実施する。また、重畳禁止オブジェクトの重畳禁止度が仮想オブジェクトの表示位置重要度より小さい場合には、仮想オブジェクト表示制御部１６は、当該仮想オブジェクトを透過表示または非表示とすることにより、当該重畳禁止オブジェクトが隠されないように当該仮想オブジェクトの表示制御を実施する。
また、本実施形態では、重畳禁止オブジェクトの重畳禁止度及び仮想オブジェクトの表示位置重要度は共に、１〜５のいずれかの値をとり得るパラメータとしているが（図５、図６参照）、１または０のいずれかの値をとり得る２値化されたパラメータとしてもよい。かかる構成では、重畳禁止度が１であり、表示位置重要度が１である場合には、仮想オブジェクト表示制御部１６は、当該仮想オブジェクトを透過表示または非表示とすることにより、当該重畳禁止オブジェクトが隠されないように当該仮想オブジェクトの表示制御を実施する。また、重畳禁止度が１であり、表示位置重要度が０である場合には、仮想オブジェクト表示制御部１６は、当該仮想オブジェクトの表示位置を補正することにより、重畳禁止オブジェクトが隠されないように当該仮想オブジェクトの表示制御を実施する。
また、重畳禁止度が０であり、表示位置重要度が１である場合には、仮想オブジェクト表示制御部１６は、当該仮想オブジェクトを、表示位置の補正を行わず、仮想オブジェクト情報に示される当該仮想オブジェクトの配置位置にそのまま表示させるように表示制御を実施する。さらに、重畳禁止度が０であり、表示位置重要度が０である場合には、仮想オブジェクト表示制御部１６は、当該仮想オブジェクトの表示位置を補正することにより、重畳禁止オブジェクトが隠されないように当該仮想オブジェクトの表示制御を実施する。
続いて、図１３を参照して、仮想オブジェクト表示位置調整処理（Ｓ４１）の他の例を説明する。図１３は、仮想オブジェクト表示位置調整処理の他の例の詳細内容を示すフローチャートである。
ステップＳ６０〜Ｓ６７の処理内容はそれぞれ、図１２におけるステップＳ５０〜Ｓ５７の処理内容と同様である。続くステップＳ６８において、仮想オブジェクト表示制御部１６は、一の仮想オブジェクトが他の仮想オブジェクトに重なるか否かを判定する（Ｓ６８）。一の仮想オブジェクトが他の仮想オブジェクトに重なると判定された場合には、処理手順はステップＳ６９に進められる。一方、一の仮想オブジェクトが他の仮想オブジェクトに重なると判定されなかった場合には、処理手順はステップＳ７０に進められる。
ステップＳ６９において、仮想オブジェクト表示制御部１６は、一の仮想オブジェクトの表示位置重要度が他の仮想オブジェクトの表示位置重要度より大きいか否かを判定する（Ｓ６９）。一の仮想オブジェクトの表示位置重要度が他の仮想オブジェクトの表示位置重要度より大きいと判定された場合には、処理手順はステップＳ７０に進められる。一方、一の仮想オブジェクトの表示位置重要度が他の仮想オブジェクトの表示位置重要度より大きいと判定されなかった場合には、処理手順はステップＳ７１に進められる。
ステップＳ７０において、仮想オブジェクト表示制御部１６は、当該一の仮想オブジェクトを現実空間の画像における、当該一の仮想オブジェクトの配置位置に表示させる。仮想オブジェクトの表示位置重要度が高い場合には、当該仮想オブジェクトの配置位置に対する関連性が高いことを意味するので、当該仮想オブジェクトを所定の配置位置以外の位置に表示した場合には、仮想オブジェクトがユーザに提供する情報が不適切なものとなる可能性が高い。本実施形態では、一のオブジェクトと他のオブジェクトとが重なる場合であっても、一のオブジェクトの表示位置重要度が高い場合に、他のオブジェクトの表示を犠牲にして、一のオブジェクトを表示させる。従って、一のオブジェクトの適切な位置における表示が実現される。
ステップＳ７１において、仮想オブジェクト表示制御部１６は、当該一の仮想オブジェクトの表示位置を補正することにより、当該他の仮想オブジェクトが隠されないように当該一の仮想オブジェクトの表示制御を実施する（Ｓ７１）。仮想オブジェクトの表示位置重要度が高くない場合には、当該仮想オブジェクトの配置位置に対する関連性が低いことを意味するので、当該仮想オブジェクトを所定の配置位置以外の位置に表示した場合であっても、当該仮想オブジェクトがユーザに提供する情報が不適切なものとなる可能性は低い。本実施形態では、一のオブジェクトと他のオブジェクトとが重なる場合に、一のオブジェクトの表示位置を補正することにより他のオブジェクトを表示させると共に、一のオブジェクトの適切な表示が実現される。
そして、仮想オブジェクト表示制御部１６は、ステップＳ３７において取得された全ての仮想オブジェクトについて、仮想オブジェクト表示位置調整処理を実施済か否かを判定する（Ｓ７２）。全ての仮想オブジェクトについて表示位置調整処理済となるまで、ステップＳ６０〜ステップＳ７２の処理手順が繰り返される。
（第３実施形態）
次に、図１４〜１６を参照して、第３実施形態に係るオブジェクト表示装置１におけるオブジェクト表示方法の処理内容を説明する。図１４は、オブジェクト表示システム７において実施される処理内容を示すタイミングチャートである。また、図１５は、オブジェクト表示装置１の表示部１７における表示画面例を示す図である。なお、オブジェクト表示装置１及びサーバ３の機能的構成は、第１実施形態（図１、図３）と同様である。
図１４におけるステップＳ８１〜Ｓ８９の処理内容はそれぞれ、第２実施形態（図１０）におけるステップＳ３１〜Ｓ３９の処理内容と同様である。
続いて、画像解析部１５は、重畳禁止オブジェクト情報取得部１３により取得された重畳禁止オブジェクト情報に基づき、撮影部１４により撮影された現実空間の画像から重畳禁止オブジェクトを抽出する（Ｓ９０）。図１５（ａ）は、現実空間の画像からのオブジェクトの抽出の例を示す図である。画像解析部１５は、図１５（ａ）に示されるように、重畳禁止オブジェクトＲ１、Ｒ２を現実空間の画像から抽出する。重畳禁止オブジェクトＲ１は、図６に示される重畳禁止オブジェクト情報のうち、項番１の重畳禁止オブジェクト情報に基づき抽出されたものである。また、重畳禁止オブジェクトＲ２は、図６に示される重畳禁止オブジェクト情報のうち、項番２の重畳禁止オブジェクト情報に基づき抽出されたものである。
次に、仮想オブジェクト表示制御部１６は、仮想オブジェクト情報取得部１２により取得された仮想オブジェクト情報に基づき仮想オブジェクトを現実空間の画像に配置した場合において、画像解析部１５により抽出された重畳禁止オブジェクトに重なる仮想オブジェクトが存在する場合に、当該重畳禁止オブジェクトが隠されないように当該仮想オブジェクトの表示制御をする。本実施形態では、仮想オブジェクト表示制御部１６は、当該仮想オブジェクトに関する表示位置調整及び透過判定処理を実施する（Ｓ９１、仮想オブジェクト表示制御ステップ）。
図１６は、仮想オブジェクト表示位置調整及び透過判定処理の詳細内容を示すフローチャートである。ステップＳ１００〜Ｓ１０６の処理内容はそれぞれ、図１２に示したフローチャートにおけるステップＳ５０〜Ｓ５６の処理内容と同様である。
図１５（ｂ）は、ステップＳ１０１において、図５に示される仮想オブジェクト情報のうち、項番１，２，３，４の仮想オブジェクトを現実空間の画像に配置した例である。図１５（ｂ）に示すように、仮想オブジェクトＶ１は、重畳禁止オブジェクトＲ１との重なりを有している。また、仮想オブジェクトＶ２は、重畳禁止オブジェクトとの重なりを有していない。また、仮想オブジェクトＶ３，Ｖ４は、重畳禁止オブジェクトＲ２との重なりを有している。従って、仮想オブジェクトＶ１，Ｖ３，Ｖ４に関する表示位置調整及び透過判定処理では、処理手順はステップＳ１０２に進められる。また、仮想オブジェクトＶ２に関する表示位置調整及び透過判定処理では、処理手順はステップＳ１０５に進められる。
ステップＳ１０７において、仮想オブジェクト表示制御部１６は、当該仮想オブジェクトを透過表示させることにより、当該重畳禁止オブジェクトが隠されないように当該仮想オブジェクトの表示制御を実施する（Ｓ１０７）。仮想オブジェクトの表示位置重要度が高い場合には、当該仮想オブジェクトの配置位置に対する関連性が高いことを意味するので、当該仮想オブジェクトを所定の配置位置以外の位置に表示した場合には、仮想オブジェクトがユーザに提供する情報が不適切なものとなる可能性が高い。本実施形態では、重畳禁止オブジェクトの重畳禁止度が仮想オブジェクトの表示優先度より大きい場合、且つ仮想オブジェクトの表示位置重要度が高い場合に仮想オブジェクトが透過表示されるので、重畳禁止オブジェクトが優先して表示されると共に、仮想オブジェクトを適切な位置に併せて表示することが可能となる。図１５（ｂ）における仮想オブジェクトＶ４は、図１５（ｃ）の仮想オブジェクトＶ４３に示されるように、透過表示される。
そして、仮想オブジェクト表示制御部１６は、ステップＳ８７において取得された全ての仮想オブジェクトについて、仮想オブジェクト表示位置調整及び透過判定処理を実施済か否かを判定する（Ｓ１０８）。全ての仮想オブジェクトについて表示位置調整及び透過判定処理済となるまで、ステップＳ１００〜ステップＳ１０８の処理手順が繰り返される。
再び図１４を参照して、表示部１７は、仮想オブジェクト表示制御部１６による表示制御に基づき、現実空間の画像に仮想オブジェクトを重畳して表示する（Ｓ９２）。図１５（ｃ）は、表示部１７における仮想オブジェクトの表示画面例である。図１５（ｂ）における仮想オブジェクトＶ１は、図１５（ｃ）の仮想オブジェクトＶ１３に示されるように、重畳禁止オブジェクトＲ１に重ならない位置に、位置補正される。また、仮想オブジェクトＶ２は、重畳禁止オブジェクトとの重なりを有さないので、仮想オブジェクト情報の位置情報に示される配置位置に表示される。また、仮想オブジェクトＶ３は、重畳禁止オブジェクトＲ２に重なる位置に、位置補正されることなく表示される。そして、図１５（ｂ）における仮想オブジェクトＶ４は、図１５（ｃ）の仮想オブジェクトＶ４３に示されるように、透過表示される。
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
１…オブジェクト表示装置、３…サーバ、５…基地局、７…オブジェクト表示システム、１０…自位置測位部、１１…位置情報送信部、１２…仮想オブジェクト情報取得部、１３…重畳禁止オブジェクト情報取得部、１４…撮影部、１５…画像解析部、１６…仮想オブジェクト表示制御部、１７…表示部、３０…位置情報受信部、３１…仮想オブジェクト抽出部、３２…仮想オブジェクト情報記憶部、３３…重畳禁止オブジェクト抽出部、３４…重畳禁止オブジェクト情報記憶部、３５…オブジェクト情報送信部、Ｒ１，Ｒ２…重畳禁止オブジェクト、Ｖ１，Ｖ２，Ｖ３，Ｖ４，Ｖ１１，Ｖ１２，Ｖ１３，Ｖ４３…仮想オブジェクト。

Claims (13)

  1. 現実空間を捉えた画像にオブジェクトを重畳して表示するオブジェクト表示装置であって、
    前記現実空間に配置された仮想的なオブジェクトである仮想オブジェクトに関する情報であって、前記仮想オブジェクトの配置位置に関する情報を含む仮想オブジェクト情報を取得する仮想オブジェクト情報取得手段と、
    前記現実空間に存在し、前記仮想オブジェクトを重畳して表示することが禁止されたオブジェクトである重畳禁止オブジェクトに関する重畳禁止オブジェクト情報を取得する重畳禁止オブジェクト情報取得手段と、
    前記現実空間の画像を捉えるための撮影手段と、
    重畳禁止オブジェクト情報取得手段により受信された前記重畳禁止オブジェクト情報に基づき、前記撮影手段により撮影された前記現実空間の画像から前記重畳禁止オブジェクトを抽出する画像解析手段と、
    前記仮想オブジェクト情報取得手段により取得された前記仮想オブジェクト情報に基づき前記仮想オブジェクトを前記現実空間の画像に配置した場合において、前記画像解析手段により抽出された前記重畳禁止オブジェクトに重なる前記仮想オブジェクトが存在する場合に、当該重畳禁止オブジェクトが隠されないように当該仮想オブジェクトの表示制御をする仮想オブジェクト表示制御手段と、
    前記仮想オブジェクト表示制御手段による前記表示制御に基づき、前記現実空間の画像に前記仮想オブジェクトを重畳して表示する表示手段と
    を備えることを特徴とするオブジェクト表示装置。
  2. 前記オブジェクト表示装置の所在位置を測位する自位置測位手段と、
    前記所在位置に関する情報である位置情報を送信する位置情報送信手段とを更に備え、
    前記仮想オブジェクト情報取得手段は、前記位置情報に基づき抽出された前記仮想オブジェクト情報を取得し、
    前記重畳禁止オブジェクト情報取得手段は、前記位置情報に基づき抽出された前記重畳禁止オブジェクト情報を取得する
    ことを特徴とする請求項１に記載のオブジェクト表示装置。
  3. 前記仮想オブジェクト情報は、当該仮想オブジェクトの表示を優先させる度合いを示す表示優先度を含み、
    前記重畳禁止オブジェクト情報は、当該重畳禁止オブジェクトに対する他のオブジェクトの重畳の禁止の度合いを示す重畳禁止度を含み、
    前記仮想オブジェクト表示制御手段は、前記重畳禁止オブジェクトの前記重畳禁止度が前記仮想オブジェクトの表示優先度より大きい場合に、当該仮想オブジェクトを透過表示させることにより、当該重畳禁止オブジェクトが隠されないように当該仮想オブジェクトの表示制御をする
    ことを特徴とする請求項１または２に記載のオブジェクト表示装置。
  4. 前記仮想オブジェクト情報は、当該仮想オブジェクトの表示を優先させる度合いを示す表示優先度を含み、
    前記重畳禁止オブジェクト情報は、当該重畳禁止オブジェクトに対する他のオブジェクトの重畳の禁止の度合いを示す重畳禁止度を含み、
    前記仮想オブジェクト表示制御手段は、前記重畳禁止オブジェクトの前記重畳禁止度が前記仮想オブジェクトの表示優先度より大きい場合に、当該仮想オブジェクトを非表示とすることにより、当該重畳禁止オブジェクトが隠されないように当該仮想オブジェクトの表示制御をする
    ことを特徴とする請求項１または２に記載のオブジェクト表示装置。
  5. 前記仮想オブジェクト情報は、当該仮想オブジェクトの表示を優先させる度合いを示す表示優先度、及び当該仮想オブジェクトの配置位置との関連性の強さの度合いを示す表示位置重要度を含み、
    前記重畳禁止オブジェクト情報は、当該重畳禁止オブジェクトに対する他のオブジェクトの重畳の禁止の度合いを示す重畳禁止度を含み、
    前記仮想オブジェクト表示制御手段は、前記重畳禁止オブジェクトの前記重畳禁止度が前記仮想オブジェクトの表示優先度より大きい場合、且つ前記仮想オブジェクトの前記表示位置重要度が予め設定された所定値より大きい場合に、当該仮想オブジェクトを非表示とすることにより、当該重畳禁止オブジェクトが隠されないように当該仮想オブジェクトの表示制御をする
    ことを特徴とする請求項１または２に記載のオブジェクト表示装置。
  6. 前記仮想オブジェクト情報は、当該仮想オブジェクトの表示を優先させる度合いを示す表示優先度、及び当該仮想オブジェクトの配置位置との関連性の強さの度合いを示す表示位置重要度を含み、
    前記重畳禁止オブジェクト情報は、当該重畳禁止オブジェクトに対する他のオブジェクトの重畳の禁止の度合いを示す重畳禁止度を含み、
    前記仮想オブジェクト表示制御手段は、前記重畳禁止オブジェクトの前記重畳禁止度が前記仮想オブジェクトの表示優先度より大きい場合、且つ前記仮想オブジェクトの前記表示位置重要度が予め設定された所定値より大きい場合に、当該仮想オブジェクトを透過表示させることにより、当該重畳禁止オブジェクトが隠されないように当該仮想オブジェクトの表示制御をする
    ことを特徴とする請求項１または２に記載のオブジェクト表示装置。
  7. 前記仮想オブジェクト表示制御手段は、前記仮想オブジェクトの前記表示位置重要度が予め設定された所定値より大きくない場合に、当該仮想オブジェクトの表示位置を補正することにより、前記重畳禁止オブジェクトが隠されないように当該仮想オブジェクトの表示制御をする
    ことを特徴とする請求項５または６に記載のオブジェクト表示装置。
  8. 前記仮想オブジェクト表示制御手段は、前記重畳禁止オブジェクトの前記重畳禁止度が前記仮想オブジェクトの表示優先度より大きくない場合、且つ前記仮想オブジェクトの前記表示位置重要度が予め設定された所定値より大きい場合に、当該仮想オブジェクトを前記現実空間の画像における前記配置位置に表示させる
    ことを特徴とする請求項５〜７のいずれか１項に記載のオブジェクト表示装置。
  9. 前記仮想オブジェクト表示制御手段は、一の前記仮想オブジェクトが他の前記仮想オブジェクトに重なる場合において、前記一の仮想オブジェクトの前記表示位置重要度が前記他の仮想オブジェクトの前記表示位置重要度より大きい場合に、当該一の仮想オブジェクトを前記現実空間の画像における、当該一の仮想オブジェクトの前記配置位置に表示させる
    ことを特徴とする請求項５〜８のいずれか１項に記載のオブジェクト表示装置。
  10. 前記仮想オブジェクト表示制御手段は、一の前記仮想オブジェクトが他の前記仮想オブジェクトに重なる場合において、前記一の仮想オブジェクトの前記表示位置重要度が前記他の仮想オブジェクトの前記表示位置重要度より大きくない場合に、当該一の仮想オブジェクトの表示位置を補正することにより、当該他の仮想オブジェクトが隠されないように当該一の仮想オブジェクトの表示制御をする
    ことを特徴とする請求項９に記載のオブジェクト表示装置。
  11. 前記仮想オブジェクト情報は、当該仮想オブジェクトの配置位置との関連性の強さの度合いを示す表示位置重要度を含み、
    前記重畳禁止オブジェクト情報は、当該重畳禁止オブジェクトに対する他のオブジェクトの重畳の禁止の度合いを示す重畳禁止度を含み、
    前記仮想オブジェクト表示制御手段は、前記重畳禁止オブジェクトの前記重畳禁止度が前記仮想オブジェクトの前記表示位置重要度より大きい場合に、当該仮想オブジェクトの表示位置を補正することにより、前記重畳禁止オブジェクトが隠されないように当該仮想オブジェクトの表示制御を実施し、前記重畳禁止オブジェクトの前記重畳禁止度が前記仮想オブジェクトの前記表示位置重要度より大きくない場合に、当該仮想オブジェクトを透過表示または非表示とすることにより、当該重畳禁止オブジェクトが隠されないように当該仮想オブジェクトの表示制御をする
    ことを特徴とする請求項１または２に記載のオブジェクト表示装置。
  12. 現実空間を捉えた画像にオブジェクトを重畳して表示するオブジェクト表示装置と、前記オブジェクト表示装置と通信可能なサーバとを備えるオブジェクト表示システムであって、
    前記オブジェクト表示装置は、
    前記オブジェクト表示装置の所在位置を測位する自位置測位手段と、
    前記所在位置に関する情報である位置情報を前記サーバに送信する位置情報送信手段と、
    現実空間に配置された仮想的なオブジェクトである仮想オブジェクトに関する情報であって、前記仮想オブジェクトの位置に関する情報を含む仮想オブジェクト情報を前記サーバから取得する仮想オブジェクト情報取得手段と、
    現実空間に存在し、前記仮想オブジェクトを重畳して表示することが禁止されたオブジェクトである重畳禁止オブジェクトに関する重畳禁止オブジェクト情報を前記サーバから取得する重畳禁止オブジェクト情報取得手段と、
    前記現実空間の画像を捉えるための撮影手段と、
    重畳禁止オブジェクト情報取得手段により取得された前記重畳禁止オブジェクト情報に基づき、前記撮影手段により撮影された前記現実空間の画像から前記重畳禁止オブジェクトを抽出する画像解析手段と、
    前記仮想オブジェクト情報取得手段により受信された前記仮想オブジェクト情報に基づき前記仮想オブジェクトを前記現実空間の画像に配置した場合において、前記画像解析手段により抽出された前記重畳禁止オブジェクトに重なる前記仮想オブジェクトが存在する場合に、当該重畳禁止オブジェクトが隠されないように、前記仮想オブジェクトの表示制御をする仮想オブジェクト表示制御手段と、
    前記仮想オブジェクト表示制御手段による前記表示制御に基づき、前記現実空間の画像に前記仮想オブジェクトを重畳して表示する表示手段とを備え、
    前記サーバは、
    前記オブジェクト表示装置から前記位置情報を受信する位置情報受信手段と、
    前記仮想オブジェクト情報を記憶している仮想オブジェクト情報記憶手段と、
    前記位置情報受信手段により受信された前記位置情報に示される位置から予め設定された所定距離以内に位置する仮想オブジェクトの仮想オブジェクト情報を前記仮想オブジェクト情報記憶手段から抽出する仮想オブジェクト抽出手段と、
    前記重畳禁止オブジェクト情報を記憶している重畳禁止オブジェクト情報記憶手段と、
    前記位置情報受信手段により受信された前記位置情報に示される位置から予め設定された所定距離以内に位置する前記重畳禁止オブジェクトの前記重畳禁止オブジェクト情報を前記重畳禁止オブジェクト情報記憶手段から抽出する重畳禁止オブジェクト抽出手段と、
    前記仮想オブジェクト抽出手段により抽出された仮想オブジェクト情報及び前記重畳禁止オブジェクト抽出手段により抽出された重畳禁止オブジェクト情報を前記オブジェクト表示装置に送信するオブジェクト情報送信手段とを備える
    ことを特徴とするオブジェクト表示システム。
  13. 現実空間を捉えた画像にオブジェクトを重畳して表示するオブジェクト表示装置におけるオブジェクト表示方法であって、
    前記現実空間に配置された仮想的なオブジェクトである仮想オブジェクトに関する情報であって、前記仮想オブジェクトの配置位置に関する情報を含む仮想オブジェクト情報を取得する仮想オブジェクト情報取得ステップと、
    前記現実空間に存在し、前記仮想オブジェクトを重畳して表示することが禁止されたオブジェクトである重畳禁止オブジェクトに関する重畳禁止オブジェクト情報を取得する重畳禁止オブジェクト情報取得ステップと、
    前記現実空間の画像を捉える撮影ステップと、
    重畳禁止オブジェクト情報取得ステップにおいて受信された前記重畳禁止オブジェクト情報に基づき、前記撮影ステップにおいて撮影された前記現実空間の画像から前記重畳禁止オブジェクトを抽出する画像解析ステップと、
    前記仮想オブジェクト情報取得ステップにおいて受信された前記仮想オブジェクト情報に基づき前記仮想オブジェクトを前記現実空間の画像に配置した場合において、前記画像解析ステップにおいて抽出された前記重畳禁止オブジェクトに重なる前記仮想オブジェクトが存在する場合に、当該重畳禁止オブジェクトが隠されないように当該仮想オブジェクトの表示制御をする仮想オブジェクト表示制御ステップと、
    前記仮想オブジェクト表示制御ステップにおける前記表示制御に基づき、前記現実空間の画像に前記仮想オブジェクトを重畳して表示する表示ステップと
    を有することを特徴とするオブジェクト表示方法。
JP2010113309A 2010-05-17 2010-05-17 オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法 Active JP5055402B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2010113309A JP5055402B2 (ja) 2010-05-17 2010-05-17 オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法
US13/698,463 US20130088516A1 (en) 2010-05-17 2011-04-21 Object displaying apparatus, object displaying system, and object displaying method
EP11783366A EP2573737A1 (en) 2010-05-17 2011-04-21 Object displaying apparatus, object displaying system, and object displaying method
PCT/JP2011/059862 WO2011145429A1 (ja) 2010-05-17 2011-04-21 オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法
CN2011800243794A CN102893307A (zh) 2010-05-17 2011-04-21 对象显示装置、对象显示***以及对象显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010113309A JP5055402B2 (ja) 2010-05-17 2010-05-17 オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法

Publications (2)

Publication Number Publication Date
JP2011242934A JP2011242934A (ja) 2011-12-01
JP5055402B2 true JP5055402B2 (ja) 2012-10-24

Family

ID=44991544

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010113309A Active JP5055402B2 (ja) 2010-05-17 2010-05-17 オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法

Country Status (5)

Country Link
US (1) US20130088516A1 (ja)
EP (1) EP2573737A1 (ja)
JP (1) JP5055402B2 (ja)
CN (1) CN102893307A (ja)
WO (1) WO2011145429A1 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5859843B2 (ja) * 2010-12-24 2016-02-16 新日鉄住金ソリューションズ株式会社 情報処理装置、情報処理方法、及びプログラム
US9418292B2 (en) * 2011-10-04 2016-08-16 Here Global B.V. Methods, apparatuses, and computer program products for restricting overlay of an augmentation
KR101899977B1 (ko) * 2012-07-10 2018-09-19 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US9429912B2 (en) * 2012-08-17 2016-08-30 Microsoft Technology Licensing, Llc Mixed reality holographic object development
KR20150008733A (ko) * 2013-07-15 2015-01-23 엘지전자 주식회사 안경형 휴대기기 및 그의 정보 투사면 탐색방법
WO2015023630A1 (en) * 2013-08-12 2015-02-19 Airvirtise Augmented reality device
JP5884816B2 (ja) * 2013-12-16 2016-03-15 コニカミノルタ株式会社 透過型ｈｍｄを有する情報表示システム及び表示制御プログラム
JP6217437B2 (ja) * 2014-02-14 2017-10-25 富士通株式会社 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム
US10397532B2 (en) * 2014-04-09 2019-08-27 International Business Machines Corporation Device for ambience obstruction by an object
JP2016004493A (ja) * 2014-06-18 2016-01-12 キヤノン株式会社 画像処理装置およびその制御方法
US10056054B2 (en) 2014-07-03 2018-08-21 Federico Fraccaroli Method, system, and apparatus for optimising the augmentation of radio emissions
JP6164177B2 (ja) * 2014-07-31 2017-07-19 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム
KR102276847B1 (ko) * 2014-09-23 2021-07-14 삼성전자주식회사 가상 오브젝트 제공 방법 및 그 전자 장치
JP6501501B2 (ja) * 2014-11-12 2019-04-17 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム
CN105787402B (zh) 2014-12-16 2019-07-05 阿里巴巴集团控股有限公司 一种信息展示方法及装置
JP6528409B2 (ja) 2015-01-13 2019-06-12 日本電気株式会社 対象表示システム、管理装置、対象表示方法及び管理プログラム
JP6052337B2 (ja) * 2015-05-27 2016-12-27 株式会社三洋物産 遊技機
JP6362634B2 (ja) * 2016-02-05 2018-07-25 株式会社バンダイナムコエンターテインメント 画像生成システム、ゲーム装置及びプログラム
CA3015164A1 (en) 2016-02-18 2017-08-24 Edx Technologies, Inc. Systems and methods for augmented reality representations of networks
US10880716B2 (en) 2017-02-04 2020-12-29 Federico Fraccaroli Method, system, and apparatus for providing content, functionalities, and services in connection with the reception of an electromagnetic signal
US10477602B2 (en) 2017-02-04 2019-11-12 Federico Fraccaroli Method, system, and apparatus for providing content, functionalities and services in connection with the reception of an electromagnetic signal
CN107065196B (zh) 2017-06-16 2019-03-15 京东方科技集团股份有限公司 一种增强现实显示装置及增强现实显示方法
JP6794390B2 (ja) * 2018-02-22 2020-12-02 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
US20200036909A1 (en) * 2018-07-27 2020-01-30 BriefCam Ltd. System and method allowing simultaneous viewing of live and recorded video content
US10504264B1 (en) * 2018-11-06 2019-12-10 Eric Koenig Method and system for combining images
US10761694B2 (en) * 2018-12-12 2020-09-01 Lenovo (Singapore) Pte. Ltd. Extended reality content exclusion
US11972037B2 (en) 2019-03-18 2024-04-30 Maxell, Ltd. Head mounted information processing apparatus and head mounted display system
JP7001719B2 (ja) * 2020-01-29 2022-02-04 グリー株式会社 コンピュータプログラム、サーバ装置、端末装置、及び方法
JP2021157277A (ja) * 2020-03-25 2021-10-07 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
JP7096295B2 (ja) * 2020-07-27 2022-07-05 ソフトバンク株式会社 表示制御システム、プログラム、及び表示制御方法
JP7458031B2 (ja) 2020-09-10 2024-03-29 公益財団法人鉄道総合技術研究所 コンピュータシステムおよび制御方法
WO2022123750A1 (ja) * 2020-12-10 2022-06-16 マクセル株式会社 表示装置および表示方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69730262T2 (de) * 1996-04-16 2005-09-01 Xanavi Informatics Corp., Zama Karten-Anzeigegerät, Navigationsgerät und Karten-Anzeigeverfahren
JP2002157606A (ja) * 2000-11-17 2002-05-31 Canon Inc 画像表示制御装置、複合現実感提示システム、画像表示制御方法、及び処理プログラムを提供する媒体
JP4032776B2 (ja) * 2002-03-04 2008-01-16 ソニー株式会社 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム
JP2004048674A (ja) * 2002-05-24 2004-02-12 Olympus Corp 視野一致型情報呈示システム、並びに、それに用いられる携帯情報端末及びサーバ
JP3864150B2 (ja) * 2003-06-18 2006-12-27 オリンパス株式会社 情報呈示装置及び情報呈示方法
JP4026145B2 (ja) * 2004-01-20 2007-12-26 マツダ株式会社 車両用画像表示装置
US20080021632A1 (en) * 2004-06-25 2008-01-24 Kouji Amano Traffic Condition Report Device, System Thereof, Method Thereof, Program For Executing The Method, And Recording Medium Containing The Program
US20060050070A1 (en) * 2004-09-07 2006-03-09 Canon Kabushiki Kaisha Information processing apparatus and method for presenting image combined with virtual image
JP2006085375A (ja) * 2004-09-15 2006-03-30 Canon Inc 画像処理方法、画像処理装置
US7466244B2 (en) * 2005-04-21 2008-12-16 Microsoft Corporation Virtual earth rooftop overlay and bounding
KR100785067B1 (ko) * 2005-12-06 2007-12-12 삼성전자주식회사 휴대단말기의 화면 표시장치 및 방법
JP2009015648A (ja) 2007-07-05 2009-01-22 Canon Inc 画像処理装置、画像処理方法
JP4933406B2 (ja) * 2007-11-15 2012-05-16 キヤノン株式会社 画像処理装置、画像処理方法

Also Published As

Publication number Publication date
JP2011242934A (ja) 2011-12-01
WO2011145429A1 (ja) 2011-11-24
EP2573737A1 (en) 2013-03-27
US20130088516A1 (en) 2013-04-11
CN102893307A (zh) 2013-01-23

Similar Documents

Publication Publication Date Title
JP5055402B2 (ja) オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法
US10681271B2 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
US9665986B2 (en) Systems and methods for an augmented reality platform
US8103126B2 (en) Information presentation apparatus, information presentation method, imaging apparatus, and computer program
JP6411505B2 (ja) 全焦点画像を生成するための方法および装置
JP5279875B2 (ja) オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
WO2012114639A1 (ja) オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
JP4743892B2 (ja) 撮影画像に付加画像を重畳させて表示する端末及びプログラム
US20200058130A1 (en) Image processing method, electronic device and computer-readable storage medium
US9094616B2 (en) Method and system for image capture and facilitated annotation
EP2733674A1 (en) Object display device, object display method, and object display program
WO2012063594A1 (ja) オブジェクト表示装置及びオブジェクト表示方法
JP2019057903A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム
US20130278636A1 (en) Object display device, object display method, and object display program
US20190306420A1 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
JP2019057264A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム
JP5230778B2 (ja) オブジェクト情報提供装置、オブジェクト情報提供システム、端末及びオブジェクト情報提供方法
US20150130833A1 (en) Map superposition method and electronic device
JP6824143B2 (ja) 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム
US20140306998A1 (en) Computer-readable recording medium, method, and terminal apparatus for displaying land boundary
EP2909792A1 (en) Method and system for image capture and facilitated annotation
JP5405412B2 (ja) オブジェクト表示装置及びオブジェクト表示方法
JP6444981B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2005316958A (ja) 赤目検出装置および方法並びにプログラム
JP2019185757A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120717

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120730

R150 Certificate of patent or registration of utility model

Ref document number: 5055402

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150803

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250