JP5652097B2 - 画像処理装置、プログラム及び画像処理方法 - Google Patents

画像処理装置、プログラム及び画像処理方法 Download PDF

Info

Publication number
JP5652097B2
JP5652097B2 JP2010224347A JP2010224347A JP5652097B2 JP 5652097 B2 JP5652097 B2 JP 5652097B2 JP 2010224347 A JP2010224347 A JP 2010224347A JP 2010224347 A JP2010224347 A JP 2010224347A JP 5652097 B2 JP5652097 B2 JP 5652097B2
Authority
JP
Japan
Prior art keywords
image
designated
unit
designated object
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010224347A
Other languages
English (en)
Other versions
JP2012079129A (ja
Inventor
雄一郎 竹内
雄一郎 竹内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010224347A priority Critical patent/JP5652097B2/ja
Priority to EP11182368.8A priority patent/EP2437237A3/en
Priority to BRPI1106304-1A priority patent/BRPI1106304A2/pt
Priority to CN2011203658217U priority patent/CN202502670U/zh
Priority to CN201110291622.0A priority patent/CN102542905B/zh
Priority to US13/246,159 priority patent/US9536454B2/en
Publication of JP2012079129A publication Critical patent/JP2012079129A/ja
Application granted granted Critical
Publication of JP5652097B2 publication Critical patent/JP5652097B2/ja
Priority to US15/358,480 priority patent/US10636326B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10—Map spot or coordinate position indicators; Map reading aids
    • G09B29/106—Map spot or coordinate position indicators; Map reading aids using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10—Map spot or coordinate position indicators; Map reading aids
    • G09B29/102—Map spot or coordinate position indicators; Map reading aids using electrical means
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/12—Relief maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/12—Shadow map, environment map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Navigation (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、画像処理装置、プログラム及び画像処理方法に関する。
従来、実世界の地理情報をコンピュータの画面上でユーザに呈示する様々な地理情報サービスが実用化されている。例えば、Ｗｅｂ上で公開されている一般的な地図検索サービスを利用すれば、ユーザは、所望の地名、住所又はランドマーク名などに対応する位置を含む地域の地図を手軽に入手することができる。また、地図検索サービスにおいて表示される地図上で、ユーザにより指定されるキーワードに適合する施設にマーク付けすることも可能である。
さらに、近年のコンピュータ性能の飛躍的な向上の結果、２次元の平面的な地図だけではなく３次元空間の情報をユーザ端末で扱うことも可能となった。例えば、下記特許文献１は、地図案内装置からの出力画像において、現在位置の周囲の２次元の地図と３次元画像とを並列的に表示することを提案している。
特開２００５−２２７５９０号公報
しかしながら、指定された位置を俯瞰する３次元画像を単純に表示する手法では、表示される３次元画像の視点と実空間内でのユーザの視点とが異なる。そのため、ユーザが目的とする建物又は施設などを実空間内で見つけ出そうとしても、目に見える実世界の状況と３次元画像とが一致せず、目的とする建物又は施設などを容易に見つけ出せない場合があった。
そこで、本発明は、目的とする建物又は施設などのオブジェクトを実空間内で見つけることを容易にする、新規かつ改良された画像処理装置、プログラム及び画像処理方法を提供しようとするものである。
本発明のある実施形態によれば、実世界に存在するオブジェクトの３次元形状及び位置を記述する３次元モデルを記憶する記憶部と、上記実世界を映した入力画像を取得する入力画像取得部と、上記３次元モデルに含まれるオブジェクトのうちの指定オブジェクトに対応する上記入力画像内の部分画像を加工することにより、上記指定オブジェクトを強調して表示する強調画像を生成する強調処理部と、を備える画像処理装置が提供される。
また、上記強調処理部は、上記指定オブジェクトが動くアニメーションを表現する一連の上記強調画像を生成してもよい。
また、上記強調処理部は、上記部分画像のサイズ、形状、色及び明るさのうち少なくとも１つを変更することにより上記強調画像を生成してもよい。
また、上記強調処理部は、順位付けされた複数のオブジェクトが指定された場合に、複数の指定オブジェクトの各々に対応する上記部分画像のサイズを各オブジェクトの順位に応じて変化させてもよい。
また、上記画像処理装置は、自装置が揺り動かされたことを検出する検出部、をさらに備え、上記強調処理部は、自装置が揺り動かされたことを上記検出部が検出した場合に、上記指定オブジェクトが揺れ動く上記アニメーションを表現する一連の上記強調画像を生成してもよい。
また、上記画像処理装置は、自装置が揺り動かされたことを検出する検出部、をさらに備え、上記強調処理部は、第１グループに属する第１の指定オブジェクトと第２グループに属する第２の指定オブジェクトとが指定された場合に、上記第１の指定オブジェクト及び上記第２の指定オブジェクトの双方を第１の手法で強調すると共に、さらに自装置が揺り動かされたことを上記検出部が検出したときには、指定オブジェクトが揺れ動く上記アニメーションを用いる第２の手法で上記第１の指定オブジェクトのみを強調してもよい。
また、上記画像処理装置は、自装置の現在位置を計測する測位部と、上記測位部により計測される上記現在位置の周囲の上記３次元モデルに含まれるオブジェクトの特徴点と上記入力画像内の特徴点とを照合することにより、上記３次元モデルに含まれるオブジェクトと上記入力画像に映るオブジェクトとを対応付ける照合部と、をさらに備えてもよい。
また、上記照合部は、上記照合の結果として自装置の位置及び姿勢を判定し、上記強調処理部は、上記照合部により判定される位置及び姿勢に応じて上記部分画像を変換して各指定オブジェクトのためのテクスチャを取得し、取得した上記テクスチャを用いて上記強調画像を生成してもよい。
また、本発明の別の実施形態によれば、実世界に存在するオブジェクトの３次元形状及び位置を記述する３次元モデルを記憶する記憶部を備える画像処理装置を制御するコンピュータを、上記実世界を映した入力画像を取得する入力画像取得部と、上記３次元モデルに含まれるオブジェクトのうちの指定オブジェクトに対応する上記入力画像内の部分画像を加工することにより、上記指定オブジェクトを強調して表示する強調画像を生成する強調処理部と、として機能させるためのプログラムが提供される。
また、上記強調処理部は、上記指定オブジェクトが動くアニメーションを表現する一連の上記強調画像を生成してもよい。
また、上記強調処理部は、上記部分画像のサイズ、形状、色及び明るさのうち少なくとも１つを変更することにより上記強調画像を生成してもよい。
また、上記強調処理部は、順位付けされた複数のオブジェクトが指定された場合に、複数の指定オブジェクトの各々に対応する上記部分画像のサイズを各オブジェクトの順位に応じて変化させてもよい。
また、上記強調処理部は、上記画像処理装置の検出部が自装置が揺り動かされたことを検出した場合に、上記指定オブジェクトが揺れ動く上記アニメーションを表現する一連の上記強調画像を生成してもよい。
また、上記強調処理部は、第１グループに属する第１の指定オブジェクトと第２グループに属する第２の指定オブジェクトとが指定された場合に、上記第１の指定オブジェクト及び上記第２の指定オブジェクトの双方を第１の手法で強調すると共に、さらに上記画像処理装置の検出部が自装置が揺り動かされたことを検出したときには、指定オブジェクトが揺れ動く上記アニメーションを用いる第２の手法で上記第１の指定オブジェクトのみを強調してもよい。
また、上記プログラムは、上記コンピュータを、上記画像処理装置の測位部により計測される現在位置の周囲の上記３次元モデルに含まれるオブジェクトの特徴点と上記入力画像内の特徴点とを照合することにより、上記３次元モデルに含まれるオブジェクトと上記入力画像に映るオブジェクトとを対応付ける照合部、としてさらに機能させてもよい。
また、上記照合部は、上記照合の結果として自装置の位置及び姿勢を判定し、上記強調処理部は、上記照合部により判定される位置及び姿勢に応じて上記部分画像を変換して各指定オブジェクトのためのテクスチャを取得し、取得した上記テクスチャを用いて上記強調画像を生成してもよい。
また、本発明の別の実施形態によれば、実世界を映した入力画像を取得するステップと、上記実世界に存在するオブジェクトの３次元形状及び位置を記述する３次元モデルを取得するステップと、上記３次元モデルに含まれるオブジェクトのうちの指定オブジェクトに対応する上記入力画像内の部分画像を加工することにより、上記指定オブジェクトを強調して表示する強調画像を生成するステップと、を含む画像処理方法が提供される。
以上説明したように、本発明に係る画像処理装置、プログラム及び画像処理方法によれば、目的とする建物又は施設などのオブジェクトを実空間内で見つけることを容易にすることができる。
一実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。 一実施形態に係る画像処理装置の論理的な構成の一例を示すブロック図である。 入力画像の一例を示す説明図である。 ３次元モデルの一例について説明するための説明図である。 一実施形態に係る照合部による照合処理の結果の一例を示す説明図である。 一実施形態に係る強調処理部による部分画像抽出処理について説明するための説明図である。 一実施形態に係る強調処理部による強調処理の第１の例について説明するための説明図である。 一実施形態に係る強調処理部による強調処理の第２の例について説明するための説明図である。 一実施形態に係る強調処理部による強調処理の第３の例について説明するための説明図である。 一実施形態に係る画像処理の流れの一例を示すフローチャートである。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。
また、以下の順序にしたがって当該「発明を実施するための形態」を説明する。
１．画像処理装置の構成例
１−１．ハードウェア構成
１−２．論理的な構成
２．強調処理の例
２−１．第１の例
２−２．第２の例
２−３．第３の例
３．画像処理の流れの例
４．まとめ
＜１．画像処理装置の構成例＞
まず、図１〜図６を用いて、本発明の一実施形態に係る画像処理装置の構成の一例を説明する。本明細書において説明する画像処理装置は、例えば、ＰＣ（Personal Computer）、スマートフォン、携帯情報端末、デジタルカメラ、車載若しくは携帯型ナビゲーション機器、又はゲーム端末などであってよい。
［１−１．ハードウェア構成］
図１は、本実施形態に係る画像処理装置１００のハードウェア構成の一例を示すブロック図である。図１を参照すると、画像処理装置１００は、ＣＰＵ（Central Processing Unit）１０、ＲＡＭ（Random Access Memory）１２、ＲＯＭ（Read Only Memory）１４、バス１６、記憶装置２０、撮像装置２２、表示装置２４、入力装置２６、ＧＰＳ（Global Positioning System）モジュール３０、電子コンパス３２及び加速度センサ３４を備える。
ＣＰＵ１０は、画像処理装置１００の動作全般を制御する。ＲＡＭ１２は、ＣＰＵ１０により実行されるプログラム及びデータを一時的に記憶する。ＲＯＭ１４は、画像処理装置１００の動作のためのプログラムを予め記憶する。バス１６は、ＣＰＵ１０、ＲＡＭ１２、ＲＯＭ１４、記憶装置２０、撮像装置２２、表示装置２４、入力装置２６、ＧＰＳモジュール３０、電子コンパス３２及び加速度センサ３４を相互に接続する。
記憶装置２０は、ハードディスク又は半導体メモリなどの記憶媒体により構成される。記憶装置２０は、着脱可能であってもよい。記憶装置２０により記憶されるデータは、画像処理装置１００による画像処理の際に外部のデータベースから動的に取得されてもよい。撮像装置２２は、例えば、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を有するカメラモジュールとして構成される。表示装置２４は、例えば、ＬＣＤ（Liquid Crystal Display）、ＯＬＥＤ（Organic Light Emitting Diode）又はＰＤＰ（Plasma Display Panel）などの画面上に画像を表示する。入力装置２６は、画像処理装置１００のユーザが画像処理装置１００に情報を入力するためのボタン、キーパッド、タッチパネル又はポインティングデバイスなどを含む。
ＧＰＳモジュール３０は、ＧＰＳ衛星から送信されるＧＰＳ信号を受信し、画像処理装置１００が現在位置する緯度、経度及び高度などを算出する。電子コンパス３２は、画像処理装置１００が現在向いている方角を検出する。加速度センサ３４は、画像処理装置１００に加えられる力により生じる加速度を検出する。
［１−２．論理的な構成］
図２は、本実施形態に係る画像処理装置１００の論理的な構成の一例を示すブロック図である。図２を参照すると、画像処理装置１００は、入力画像取得部１１０、測位部１２０、記憶部１３０、照合部１４０、揺れ検出部１５０、アプリケーション部１６０、ユーザインタフェース部１７０及び強調処理部１８０を備える。
（１）入力画像取得部
入力画像取得部１１０は、撮像装置２２を用いて、実世界を映した一連の入力画像を取得する。そして、入力画像取得部１１０は、取得した入力画像を照合部１４０及び強調処理部１８０へ順次出力する。
図３は、入力画像取得部１１０により取得される入力画像の一例を示す説明図である。図３を参照すると、画像処理装置１００を携帯するユーザ（又は画像処理装置１００を搭載した車両など）が存在する実空間としての街が映っている。街には、複数の建物又は施設が存在する。このように入力画像に映るオブジェクトは、後に説明するアプリケーション部１６０における地理情報検索の検索対象、又はナビゲーションにおける案内の対象となり得る。
（２）測位部
測位部１２０は、ＧＰＳモジュール３０を用いて、画像処理装置１００の現在位置を計測する。また、測位部１２０は、電子コンパス３２を用いて、画像処理装置１００が現在向いている方角を計測する。そして、測位部１２０は、計測の結果として得られる画像処理装置１００の緯度、経度及び高度などの位置情報並びに方角情報を、照合部１４０へ出力する。
（３）記憶部
記憶部１３０は、実世界に存在するオブジェクトの３次元形状及び位置を記述する３次元モデルを記憶する。３次元モデルにより記述されるオブジェクトは、例えば、アプリケーション部１６０が提供する上述したアプリケーション機能の対象とされるオブジェクトを含む。例えば、街に存在するレストラン、オフィス、学校、駅、公共施設並びにランドマークなどのオブジェクトの３次元形状及び位置が、３次元モデルにより記述される。３次元モデルは、例えば、ＧＭＬ（Geography Markup Language）又はＧＭＬをベースとするＫＭＬなどの言語を用いて記述されてよい。
図４は、３次元モデルの一例について説明するための説明図である。図４を参照すると、一例としての３次元モデル１３２が部分的に表現されている。図４の例において、３次元モデル１３２は、それぞれ建物である９個のオブジェクトＢ１〜Ｂ９に関するデータを含む。３次元モデル１３２は、これらオブジェクトの各々について、例えば、オブジェクトの識別子（以下、オブジェクトＩＤという）、建物の名称、並びに建物の形状を構成する頂点の３次元位置及び既定のテクスチャを定義する。実際には、記憶部１３０により記憶される３次元モデルは、図４に例示したオブジェクト群よりも多数の（より広範囲にわたる地域内の）オブジェクトに関するデータを含んでよい。また、記憶部１３０は、これらオブジェクトと関連付けて、例えばレストラン又はホテルなどユーザにより利用される施設についてのユーザによる評価などの付加情報を記憶してもよい。
（４）照合部
照合部１４０は、測位部１２０により計測される現在位置の周囲の３次元モデルに含まれるオブジェクトの特徴点と入力画像内の特徴点とを照合することにより、３次元モデルに含まれるオブジェクトと入力画像に映るオブジェクトとを対応付ける。より具体的には、本実施形態において、照合部１４０は、まず、画像処理装置１００の現在位置の周囲のオブジェクトに関するデータを、測位部１２０から入力される位置情報及び方角情報に基づいて、記憶部１３０に記憶されている３次元モデルから抽出する。また、照合部１４０は、例えばＨａｒｒｉｓ法又はＭｏｒａｖｅｃ法などの公知のコーナー検出法に従って、入力画像内に特徴点を設定する。そして、照合部１４０は、３次元モデルから抽出されたオブジェクト群の特徴点と入力画像内に設定した特徴点とを照合する。それにより、照合部１４０は、３次元モデルに含まれるオブジェクトと入力画像に映るオブジェクトとの対応を認識することができる。また、照合部１４０は、照合の結果として、画像処理装置１００の詳細な位置及び姿勢を判定してもよい。ここで説明した照合処理により判定される画像処理装置１００の位置は、ＧＰＳモジュール３０を用いて測位部１２０が計測可能な位置よりも高い精度を有し得る。
図５は、照合部１４０による照合処理の結果の一例を示す説明図である。図５を参照すると、入力画像Ｉｍ０１に映っているオブジェクトのコーナーに三角形で示された多数の特徴点が設定されている。そして、入力画像Ｉｍ０１内のこれら特徴点が、画像処理装置１００の特定の位置及び姿勢において、３次元モデル１３２に含まれるオブジェクトの頂点に適合する。例えば、特徴点ＦＰ１は、３次元モデル１３２のオブジェクトＢ２の頂点の１つに一致している。このようにして、照合部１４０は、３次元モデルに含まれるオブジェクトが入力画像内のどの位置に映っているかを認識することができる。
（５）揺れ検出部
揺れ検出部１５０は、加速度センサ３４を用いて、画像処理装置１００が揺り動かされたことを検出する。そして、揺れ検出部１５０は、画像処理装置１００が揺り動かされたことを検出すると、強調処理部１８０へ揺れ検出信号を出力する。揺れ検出部１５０は、例えは、画像処理装置１００に加えられる加速度が所定の閾値を上回った場合に、画像処理装置１００が揺り動かされたと判定してもよい。
（６）アプリケーション部
アプリケーション部１６０は、地理情報サービスに関連する上で例示したアプリケーション機能を実現する処理ブロックである。アプリケーション部１６０が提供するアプリケーション機能は、例えば、地理情報検索機能又はナビゲーション機能などであってよい。アプリケーション部１６０は、例えば、ユーザインタフェース部１７０にアプリケーション画面を表示させる。また、アプリケーション画面を介して検索キーワードがユーザにより入力されると、アプリケーション部１６０は、入力された検索キーワードに適合するオブジェクトを記憶部１３０から検索する。そして、アプリケーション部１６０は、検索結果として特定された１つ以上のオブジェクトを指定するオブジェクト指定情報を、強調処理部１８０へ出力する。オブジェクト指定情報は、例えば、ナビゲーションの目的地としてユーザにより選択されるオブジェクトを指定する情報であってもよい。
（７）ユーザインタフェース部
ユーザインタフェース部１７０は、上述したアプリケーション機能を利用するためのユーザインタフェースをユーザに提供する。ユーザインタフェース部１７０は、例えば、入力装置２６を介して、地理情報検索機能のための検索キーワード又はナビゲーションの目的地などのユーザ入力情報を受け付ける。また、ユーザインタフェース部１７０は、アプリケーション部１６０により生成されるアプリケーション画面を表示装置２４を用いて表示する。さらに、ユーザインタフェース部１７０は、例えば、後に説明する強調処理部１８０により生成される強調画像をアプリケーション画面内で表示する。
（８）強調処理部
強調処理部１８０は、３次元モデルに含まれるオブジェクトのうちの１つ以上の指定されるオブジェクト（以下、指定オブジェクトという）に対応する入力画像内の部分画像を加工することにより、上記指定オブジェクトを強調して表示するための強調画像を生成する。本実施形態において、強調処理部１８０は、例えば、アプリケーション部１６０からオブジェクト指定情報が入力されると、オブジェクト指定情報により指定オブジェクトが入力画像に映っているか否かを判定する。次に、強調処理部１８０は、入力画像に映っているオブジェクトが存在する場合には、照合部１４０による上述した照合の結果に基づいて、当該オブジェクトに対応する入力画像内の領域を認識する。次に、強調処理部１８０は、認識した領域における部分画像を、指定オブジェクトが強調されるように加工する。ここで強調処理部１８０により加工され生成された部分画像を、本明細書では強調画像という。そして、強調処理部１８０は、強調画像を入力画像に重畳することにより出力画像を生成し、生成した出力画像をユーザインタフェース部１７０により表示させる。
図６は、本実施形態に係る強調処理部１８０による部分画像抽出処理について説明するための説明図である。図６の左上には、入力画像Ｉｍ０１が示されている。ここで、一例として、アプリケーション部１６０から入力されるオブジェクト指定情報が、入力画像Ｉｍ０１に映るオブジェクトＢ７を指定しているものとする。図６の右上には、照合部１４０による照合の結果として認識される、オブジェクトＢ７に対応する領域Ｒ１が示されている。強調処理部１８０は、入力画像Ｉｍ０１からこのような領域Ｒ１の部分画像Ｉｍ１１を抽出する（図６左下参照）。ここで、部分画像Ｉｍ１１には、入力画像Ｉｍ０１に映る動物体が重なっている可能性がある。図６の例では、人間がオブジェクトＢ７の前面に重なっている。そこで、強調処理部１８０は、例えば、複数のフレームにわたる部分画像Ｉｍ１１を平均化することにより、動物体の影響を低減させた部分画像Ｉｍ１２を生成する。
次節では、このようにして抽出される部分画像から上述した強調画像を生成するための、強調処理部１８０による強調処理の３つの例を詳細に説明する。
＜２．強調処理の例＞
図７〜図９は、それぞれ、本実施形態に係る強調処理部１８０による強調処理の一例について説明するための説明図である。
［２−１．第１の例］
強調処理の第１の例では、図４に例示した３次元モデル１３２に含まれるオブジェクトＢ４及びＢ７が、オブジェクト指定情報により指定されているものとする。図７を参照すると、第１の例において強調処理部１８０により生成される出力画像Ｉｍ２１が示されている。出力画像Ｉｍ２１と図３の入力画像Ｉｍ０１とを対比すると、オブジェクトＢ４及びＢ７のサイズ（特に、高さ）が画像内で拡大されていることが理解される。このように、強調処理部１８０は、指定オブジェクトに対応する部分画像のサイズを変更することにより、当該オブジェクトを強調してもよい。その代わりに（又は追加的に）、強調処理部１８０は、指定オブジェクトに対応する部分画像の形状、色又は明るさを変更することにより、当該オブジェクトを強調してもよい。
なお、強調処理部１８０は、各オブジェクトを強調する強調画像（図７の出力画像Ｉｍ２１内の網掛け部分）を、部分画像のサイズ、形状、色又は明るさを変化させることにより直接的に生成してもよい。その代わりに、例えば、強調処理部１８０は、部分画像のパースによる歪みを除去して各オブジェクトのテクスチャを取得し、取得したテクスチャを各オブジェクトのポリゴンの表面に貼り付けて強調画像を生成してもよい。部分画像のパースによる歪みは、照合部１４０により判定される画像処理装置１００の（撮像装置２２の）位置及び姿勢に応じて当該部分画像をアフィン変換することにより除去され得る。このように取得されるテクスチャを用いることで、例えば、指定オブジェクトの外観のうち入力画像内で他のオブジェクトに隠されている部分についても出力画像内で可視化することができる（例えば、後の図９の例において、他のオブジェクトに隠されている部分が可視化されている）。
［２−２．第２の例］
強調処理の第２の例においても、図４に例示した３次元モデル１３２に含まれるオブジェクトＢ４及びＢ７が、オブジェクト指定情報により指定されているものとする。また、一例として、オブジェクトＢ４及びＢ７は、レストラン検索の結果として指定されており、各オブジェクトに「店名」及び「評価」という２つの付加情報が関連付けられているものとする。例えば、図８を参照すると、オブジェクトＢ４の店名は「ＡＢＣ Ｃａｆｅ」、評価は星２つである。一方、オブジェクトＢ７の店名は「Ｂａｒ ＸＹＺ」、評価は星３つである。なお、付加情報は、かかる例に限定されず、例えば想定される予算、料理の種類などの任意の情報であってよい。
第２の例において、強調処理部１８０は、まず、第１の例と同様に、指定オブジェクトＢ４及びＢ７に対応する部分画像のサイズ（又は形状、色若しくは明るさ）を変更することにより、これら指定オブジェクトを強調する。さらに、強調処理部１８０は、指定オブジェクトが動くアニメーションを表現する一連の強調画像を生成する。かかるアニメーションは、例えば、オブジェクトが揺れ動くアニメーションである。強調処理部１８０は、例えば、画像処理装置１００が揺り動かされたことを示す揺れ検出信号が揺れ検出部１５０から入力された場合に、このような指定オブジェクトが揺れ動くアニメーションを生成してよい。
図８を参照すると、第２の例において強調処理部１８０により生成される出力画像Ｉｍ２２、Ｉｍ２３及びＩｍ２４が示されている。出力画像Ｉｍ２２では、揺れ検出部１５０による揺れの検出結果によらず、上述したオブジェクトＢ４及びＢ７が、サイズを拡大する手法で共に強調されている。一方、出力画像Ｉｍ２３及びＩｍ２４は、画像処理装置１００の揺れが検出された場合に表示される画像である。出力画像Ｉｍ２３及びＩｍ２４において、評価の高い（星３つ）レストランであるオブジェクトＢ７のみが、指定オブジェクトを揺り動かすアニメーションを用いる手法で強調されている。
このように、指定オブジェクトが動くアニメーションを用いることで、目的とする指定オブジェクトが入力画像内の他のオブジェクトに紛れることがない。そのため、ユーザは、出力画像を参照することで、一目瞭然に目的とするオブジェクトを見つけることができる。なお、オブジェクトが動くアニメーションは、上述した例に限定されず、例えばオブジェクトが伸縮し又は飛び跳ねるようなアニメーションであってもよい。
また、上述したように、指定オブジェクトを付加情報（例えば、星の数又は予算の範囲など）に応じて２つ以上のグループに分類し、その分類に応じて異なる手法で段階的にオブジェクトを強調することにより、ユーザに呈示すべき複数の指定オブジェクトとその中でもより注目に値する指定オブジェクト（例えば、星の数の多いレストラン、又はユーザの予算に適合するレストランなど）とを、ユーザが容易に区別し得るように表示することができる。また、ユーザが装置を揺り動かしたことをきっかけとして指定オブジェクトを揺り動かす手法により、より直感的かつユーザにとって憶え易い地理情報の呈示のための効果的なユーザインタフェースが実現される。
［２−３．第３の例］
強調処理の第３の例では、オブジェクトＢ４、Ｂ７及びＢ１０が、オブジェクト指定情報により指定されているものとする。また、第２の例と同様、各オブジェクトに「店名」及び「評価」という２つの付加情報が関連付けられているものとする。但し、第３の例においては、「評価」は数値として与えられ、数値の大小に応じたランキングが付与されているものとする。例えば、オブジェクトＢ４の評価は２．９であり、ランキングは第３位である。オブジェクトＢ７の評価は３．８であり、ランキングは第２位である。オブジェクトＢ１０の評価は４．２であり、ランキングは第１位である。
第３の例において、強調処理部１８０は、このように順位付けされた複数のオブジェクトが指定された場合に、複数の指定オブジェクトの各々に対応する部分画像のサイズを各オブジェクトの順位に応じて変化させる。図９の例では、出力画像Ｉｍ２５において、オブジェクトＢ１０が最も大きいサイズで表示され、オブジェクトＢ７は次に大きいサイズで表示され、オブジェクトＢ４は指定オブジェクトの中で最も小さくなるように縮小されている。
このように、オブジェクトに付与されるランキングなどの付加情報に応じてオブジェクトのサイズを変化させることで、指定オブジェクトに関する位置情報に加えて、付加情報をも直感的かつ容易にユーザに理解させることができる。
＜３．画像処理の流れの例＞
図１０は、本実施形態に係る画像処理装置１００による画像処理の流れの一例を示すフローチャートである。図１０を参照すると、まず、入力画像取得部１１０は、実世界を映した入力画像を取得する（ステップＳ１０２）。また、測位部１２０は、画像処理装置１００の現在位置及び方角を計測する（ステップＳ１０４）。次に、照合部１４０は、画像処理装置１００の現在位置の周囲のオブジェクトに関するデータを、記憶部１３０に記憶されている３次元モデルから取得する（ステップＳ１０６）。次に、照合部１４０は、入力画像内に設定した特徴点と取得した３次元モデルに含まれるオブジェクト群の特徴点とを照合する（ステップＳ１０８）。次に、強調処理部１８０は、アプリケーション部１６０からオブジェクト指定情報が入力されると、オブジェクト指定情報により指定された１つ以上の指定オブジェクトを識別する（ステップＳ１１０）。次に、強調処理部１８０は、指定オブジェクトに対応する入力画像内の領域の部分画像を抽出する（ステップＳ１１２）。次に、強調処理部１８０は、抽出した部分画像を加工することにより、指定オブジェクトを強調する強調画像を生成する（ステップＳ１１４）。そして、強調処理部１８０は、入力画像と生成した強調画像とを重畳することにより、出力画像を生成する（ステップＳ１１６）。このように生成された出力画像は、ユーザインタフェース部１７０を介して表示装置２４の画面上に表示される。
＜４．まとめ＞
ここまで、図１〜図１０を用いて、本発明の一実施形態について説明した。本実施形態によれば、アプリケーション機能により指定される３次元モデル内の指定オブジェクトに対応する入力画像内の部分画像を加工することにより、指定オブジェクトが強調された強調画像が生成され、表示される。従って、ユーザが利用する画像処理装置１００に設けられる撮像装置２２の視点からの入力画像に映る自然な外観を保ったまま、指定オブジェクトが強調して表示される。その結果、目的とする建物又は施設などの指定オブジェクトをユーザが実空間内で見つけることが容易となる。
また、例えば、指定オブジェクトが動くアニメーションを表現する一連の強調画像を用いることで、目的とするオブジェクトを一目瞭然にユーザに認識させることができる。また、ランキングなどの付加情報を、出力画像内のオブジェクトの変化により直感的かつ容易にユーザに認識させることもできる。
また、ユーザが装置を揺り動かしたことをきっかけとして出力画像内で指定オブジェクトを揺り動かすアニメーションを表示することで、ユーザ自身の動きと強調表示との間に関連性を持たせ、地理情報の呈示に際しての直感的かつ分かり易いユーザインタフェースが実現され得る。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
１００ 画像処理装置
１１０ 入力画像取得部
１２０ 測位部
１３０ 記憶部
１４０ 照合部
１５０ 揺れ検出部
１８０ 強調処理部

Claims (15)

  1. 実世界を映した入力画像を取得する入力画像取得部と、
    自装置が揺り動かされたことを検出する検出部と、
    前記実世界に存在するオブジェクトの３次元形状及び位置を記述する３次元モデルに含まれるオブジェクトのうちの指定オブジェクトに対応する前記入力画像内の部分画像を加工することにより、前記指定オブジェクトを強調して表示する強調画像を生成する強調処理部と、
    を備え、
    前記強調処理部は、第１グループに属する第１の指定オブジェクトと第２グループに属する第２の指定オブジェクトとが指定された場合に、前記第１の指定オブジェクト及び前記第２の指定オブジェクトの双方を第１の手法で強調し、さらに前記検出部により所定のユーザ入力が検出されたときには、前記第１の手法とは異なる第２の手法で前記第１の指定オブジェクトのみを強調する、
    画像処理装置。
  2. 前記強調処理部は、前記第２の手法において、前記第１の指定オブジェクトのみが動くアニメーションを表現する一連の前記強調画像を生成する、請求項１に記載の画像処理装置。
  3. 前記強調処理部は、前記第１の手法において、前記部分画像のサイズ、形状、色及び明るさのうち少なくとも１つを変更することにより、前記第１の指定オブジェクト及び前記第２の指定オブジェクトの双方を強調して表示する前記強調画像を生成する、請求項２に記載の画像処理装置。
  4. 前記強調処理部は、順位付けされた複数のオブジェクトが指定された場合に、複数の指定オブジェクトの各々に対応する前記部分画像のサイズを各指定オブジェクトの順位に応じて変化させる、請求項３に記載の画像処理装置。
  5. 前記第２の手法は、前記第１の指定オブジェクトのみが揺れ動く前記アニメーションを用いる手法である、請求項２〜４のいずれか１項に記載の画像処理装置。
  6. 前記画像処理装置は、
    自装置の現在位置を計測する測位部と、
    前記測位部により計測される前記現在位置の周囲の前記３次元モデルに含まれるオブジェクトの特徴点と前記入力画像内の特徴点とを照合することにより、前記３次元モデルに含まれるオブジェクトと前記入力画像に映るオブジェクトとを対応付ける照合部と、
    をさらに備える、請求項１に記載の画像処理装置。
  7. 前記照合部は、前記照合の結果として自装置の位置及び姿勢を判定し、
    前記強調処理部は、前記照合部により判定される位置及び姿勢に応じて前記部分画像を変換して各指定オブジェクトのためのテクスチャを取得し、取得した前記テクスチャを用いて前記強調画像を生成する、
    請求項６に記載の画像処理装置。
  8. 自装置が揺り動かされたことを検出する検出部を備える画像処理装置を制御するコンピュータを、
    実世界を映した入力画像を取得する入力画像取得部と、
    前記実世界に存在するオブジェクトの３次元形状及び位置を記述する３次元モデルに含まれるオブジェクトのうちの指定オブジェクトに対応する前記入力画像内の部分画像を加工することにより、前記指定オブジェクトを強調して表示する強調画像を生成する強調処理部と、
    として機能させ、
    前記強調処理部は、第１グループに属する第１の指定オブジェクトと第２グループに属する第２の指定オブジェクトとが指定された場合に、前記第１の指定オブジェクト及び前記第２の指定オブジェクトの双方を第１の手法で強調し、さらに前記検出部により所定のユーザ入力が検出されたときには、前記第１の手法とは異なる第２の手法で前記第１の指定オブジェクトのみを強調する、
    プログラム。
  9. 前記強調処理部は、前記第２の手法において、前記第１の指定オブジェクトのみが動くアニメーションを表現する一連の前記強調画像を生成する、請求項８に記載のプログラム。
  10. 前記強調処理部は、前記第１の手法において、前記部分画像のサイズ、形状、色及び明るさのうち少なくとも１つを変更することにより、前記第１の指定オブジェクト及び前記第２の指定オブジェクトの双方を強調して表示する前記強調画像を生成する、請求項９に記載のプログラム。
  11. 前記強調処理部は、順位付けされた複数のオブジェクトが指定された場合に、複数の指定オブジェクトの各々に対応する前記部分画像のサイズを各オブジェクトの順位に応じて変化させる、請求項１０に記載のプログラム。
  12. 前記第２の手法は、前記第１の指定オブジェクトのみが揺れ動く前記アニメーションを用いる手法である、請求項９〜１１のいずれか１項に記載のプログラム。
  13. 前記コンピュータを、
    前記画像処理装置の測位部により計測される現在位置の周囲の前記３次元モデルに含まれるオブジェクトの特徴点と前記入力画像内の特徴点とを照合することにより、前記３次元モデルに含まれるオブジェクトと前記入力画像に映るオブジェクトとを対応付ける照合部、
    としてさらに機能させるための、請求項８に記載のプログラム。
  14. 前記照合部は、前記照合の結果として自装置の位置及び姿勢を判定し、
    前記強調処理部は、前記照合部により判定される位置及び姿勢に応じて前記部分画像を変換して各指定オブジェクトのためのテクスチャを取得し、取得した前記テクスチャを用いて前記強調画像を生成する、
    請求項１３に記載のプログラム。
  15. 自装置が揺り動かされたことを検出する検出部を備える画像処理装置により実行される画像処理方法であって、
    実世界を映した入力画像を取得するステップと、
    前記実世界に存在するオブジェクトの３次元形状及び位置を記述する３次元モデルに含まれるオブジェクトのうちの指定オブジェクトに対応する前記入力画像内の部分画像を加工することにより、前記指定オブジェクトを強調して表示する強調画像を生成するステップと、
    を含み、
    前記強調画像を生成するステップは、
    第１グループに属する第１の指定オブジェクトと第２グループに属する第２の指定オブジェクトとが指定された場合に、前記第１の指定オブジェクト及び前記第２の指定オブジェクトの双方を第１の手法で強調することと、
    さらに前記検出部により所定のユーザ入力が検出されたときに、前記第１の手法とは異なる第２の手法で前記第１の指定オブジェクトのみを強調することと、
    を含む、画像処理方法。
JP2010224347A 2010-10-01 2010-10-01 画像処理装置、プログラム及び画像処理方法 Active JP5652097B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2010224347A JP5652097B2 (ja) 2010-10-01 2010-10-01 画像処理装置、プログラム及び画像処理方法
EP11182368.8A EP2437237A3 (en) 2010-10-01 2011-09-22 Image processing apparatus, image processing method, and computer-readable storage medium
CN2011203658217U CN202502670U (zh) 2010-10-01 2011-09-23 图像处理装置
CN201110291622.0A CN102542905B (zh) 2010-10-01 2011-09-23 图像处理装置和图像处理方法
BRPI1106304-1A BRPI1106304A2 (pt) 2010-10-01 2011-09-23 aparelho, mÉtodo, e, dispositivo de armazenamento legÍvel por computador
US13/246,159 US9536454B2 (en) 2010-10-01 2011-09-27 Image processing apparatus, image processing method, and computer-readable storage medium
US15/358,480 US10636326B2 (en) 2010-10-01 2016-11-22 Image processing apparatus, image processing method, and computer-readable storage medium for displaying three-dimensional virtual objects to modify display shapes of objects of interest in the real world

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010224347A JP5652097B2 (ja) 2010-10-01 2010-10-01 画像処理装置、プログラム及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2012079129A JP2012079129A (ja) 2012-04-19
JP5652097B2 true JP5652097B2 (ja) 2015-01-14

Family

ID=44720661

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010224347A Active JP5652097B2 (ja) 2010-10-01 2010-10-01 画像処理装置、プログラム及び画像処理方法

Country Status (5)

Country Link
US (2) US9536454B2 (ja)
EP (1) EP2437237A3 (ja)
JP (1) JP5652097B2 (ja)
CN (2) CN202502670U (ja)
BR (1) BRPI1106304A2 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9230223B2 (en) * 2011-12-05 2016-01-05 Houzz, Inc. Consistent presentation of content and passive relevance determination of content relationship in an on-line commerce system
US9069440B2 (en) * 2012-06-05 2015-06-30 Apple Inc. Method, system and apparatus for providing a three-dimensional transition animation for a map view change
US9412150B2 (en) 2012-11-12 2016-08-09 Here Global B.V. Method and apparatus for visually representing objects with a modified height
JP6064544B2 (ja) * 2012-11-27 2017-01-25 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び端末装置
JP6296056B2 (ja) 2013-06-17 2018-03-20 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
DE102013212035A1 (de) * 2013-06-25 2015-01-08 Robert Bosch Gmbh Verfahren zum Darstellen von Objekten und Navigationseinrichtung zum Durchführen des Verfahrens
DE102014110349A1 (de) * 2013-08-09 2015-02-12 Samsung Electronics Co., Ltd. Hybride visuelle Kommunikation
JP6222440B2 (ja) * 2013-10-07 2017-11-01 コニカミノルタ株式会社 Ａｒ表示システム、およびａｒ表示装置、情報処理装置、プログラム
JP2015104930A (ja) * 2013-11-28 2015-06-08 株式会社デンソー ヘッドアップディスプレイ装置
JP6332281B2 (ja) * 2013-12-17 2018-05-30 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP5762600B1 (ja) * 2014-06-06 2015-08-12 キヤノン株式会社 情報処理装置及び情報処理方法
CN104484345A (zh) * 2014-11-28 2015-04-01 广东工业大学 一种基于K-means聚类的水火弯板3D扫描模块的提取方法
US10339390B2 (en) * 2016-02-23 2019-07-02 Semiconductor Components Industries, Llc Methods and apparatus for an imaging system
CN106888316A (zh) * 2016-12-31 2017-06-23 深圳天珑无线科技有限公司 单手查找电子地图的方法及其***
KR102410840B1 (ko) 2017-01-27 2022-06-21 소니그룹주식회사 정보 처리 장치, 정보 처리 방법 및 그 프로그램
JP6976719B2 (ja) * 2017-05-25 2021-12-08 キヤノン株式会社 表示制御装置、表示制御方法及びプログラム
US10534962B2 (en) 2017-06-17 2020-01-14 Matterport, Inc. Automated classification based on photo-realistic image/model mappings

Family Cites Families (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5262856A (en) * 1992-06-04 1993-11-16 Massachusetts Institute Of Technology Video image compositing techniques
JPH06231275A (ja) * 1993-01-29 1994-08-19 Hitachi Ltd 画像シミュレーション方法
US5467441A (en) * 1993-07-21 1995-11-14 Xerox Corporation Method for operating on objects in a first image using an object-based model data structure to produce a second contextual image having added, replaced or deleted objects
JP3333319B2 (ja) * 1994-06-03 2002-10-15 三菱電機株式会社 ２次元３次元統合型ｃａｄシステム
JP4078677B2 (ja) * 1995-10-08 2008-04-23 イーサム リサーチ デヴェロップメント カンパニー オブ ザ ヘブライ ユニヴァーシティ オブ エルサレム 映画のコンピュータ化された自動オーディオビジュアルダビングのための方法
US6512857B1 (en) * 1997-05-09 2003-01-28 Sarnoff Corporation Method and apparatus for performing geo-spatial registration
US6229546B1 (en) * 1997-09-09 2001-05-08 Geosoftware, Inc. Rapid terrain model generation with 3-D object features and user customization interface
JP4025442B2 (ja) * 1998-12-01 2007-12-19 富士通株式会社 三次元モデル変換装置及び方法
US6879946B2 (en) * 1999-11-30 2005-04-12 Pattern Discovery Software Systems Ltd. Intelligent modeling, transformation and manipulation system
JP4208113B2 (ja) * 2000-04-19 2009-01-14 富士フイルム株式会社 アルバム作成方法および装置並びに記録媒体
US7193633B1 (en) * 2000-04-27 2007-03-20 Adobe Systems Incorporated Method and apparatus for image assisted modeling of three-dimensional scenes
JP2002083285A (ja) * 2000-07-07 2002-03-22 Matsushita Electric Ind Co Ltd 画像合成装置および画像合成方法
FR2814570B1 (fr) * 2000-09-27 2003-11-21 Cyber Act Procede interactif de communication d'informations a des utilisateurs d'un reseau de communication informatique, notamment de type internet
EP1356676B1 (en) * 2001-01-16 2007-04-11 Koninklijke Philips Electronics N.V. Reducing halo-like effects in motion-compensated interpolation
US6650326B1 (en) * 2001-01-22 2003-11-18 Navigation Technologies Corp. Method of handling context during scaling with a map display
US6980697B1 (en) * 2001-02-01 2005-12-27 At&T Corp. Digitally-generated lighting for video conferencing applications
ITMI20010538A1 (it) * 2001-03-14 2002-09-14 Phoenix Tools S R L Sistema per la creazione la visualizzazione e la gestione di oggetti tridimensionali su pagine web e metodo relativo
GB0114157D0 (en) * 2001-06-11 2001-08-01 Canon Kk 3D Computer modelling apparatus
US7019748B2 (en) * 2001-08-15 2006-03-28 Mitsubishi Electric Research Laboratories, Inc. Simulating motion of static objects in scenes
JP2003053027A (ja) * 2001-08-21 2003-02-25 Shinsedai Kk 音楽演奏ゲーム装置
US7046840B2 (en) * 2001-11-09 2006-05-16 Arcsoft, Inc. 3-D reconstruction engine
US20030108329A1 (en) * 2001-12-12 2003-06-12 Meric Adriansen Advertising method and system
KR100439756B1 (ko) * 2002-01-09 2004-07-12 주식회사 인피니트테크놀로지 3차원 가상내시경 화면 표시장치 및 그 방법
JP2003216977A (ja) * 2002-01-17 2003-07-31 Sony Corp 情報提供装置及び情報提供方法、記憶媒体、並びにコンピュータ・プログラム
JP2003317116A (ja) * 2002-04-25 2003-11-07 Sony Corp ３次元仮想空間における情報提示装置及び情報提示方法、並びにコンピュータ・プログラム
JP3944019B2 (ja) * 2002-07-31 2007-07-11 キヤノン株式会社 情報処理装置および方法
JP2004094773A (ja) * 2002-09-03 2004-03-25 Nec Corp 頭部装着物画像合成方法、化粧画像合成方法、頭部装着物画像合成装置、化粧画像合成装置及びプログラム
JP3748545B2 (ja) * 2002-09-19 2006-02-22 株式会社ナムコ プログラム、情報記憶媒体及び画像生成装置
JP2004271901A (ja) * 2003-03-07 2004-09-30 Matsushita Electric Ind Co Ltd 地図表示装置
JP4085918B2 (ja) * 2003-07-18 2008-05-14 ソニー株式会社 ３次元モデル処理装置、および３次元モデル処理方法、並びにコンピュータ・プログラム
JP2005227590A (ja) * 2004-02-13 2005-08-25 Nec Toshiba Space Systems Ltd 位置情報提供方法および地図案内装置
SE0401582L (sv) * 2004-06-18 2005-05-10 Totalfoersvarets Forskningsins Interaktivt förfarande för att presentera information i en bild
US20060044307A1 (en) * 2004-08-24 2006-03-02 Kyuman Song System and method for visually representing project metrics on 3-dimensional building models
US7929800B2 (en) * 2007-02-06 2011-04-19 Meadow William D Methods and apparatus for generating a continuum of image data
JP4606898B2 (ja) * 2005-02-15 2011-01-05 三菱電機株式会社 情報生成装置及び検索装置
US8213677B2 (en) * 2005-03-04 2012-07-03 National University Corporation NARA Institute of Science and Technology Motion measuring device, motion measuring system, in-vehicle device, motion measuring method, motion measurement program, and computer-readable storage medium
US20060223635A1 (en) * 2005-04-04 2006-10-05 Outland Research method and apparatus for an on-screen/off-screen first person gaming experience
WO2006105686A1 (en) * 2005-04-06 2006-10-12 Eidgenössische Technische Hochschule Zürich Method of executing an application in a mobile device
US8040361B2 (en) * 2005-04-11 2011-10-18 Systems Technology, Inc. Systems and methods for combining virtual and real-time physical environments
JP2006338092A (ja) * 2005-05-31 2006-12-14 Nec Corp パタン照合方法、パタン照合システム及びパタン照合プログラム
US7728869B2 (en) * 2005-06-14 2010-06-01 Lg Electronics Inc. Matching camera-photographed image with map data in portable terminal and travel route guidance method
US7840032B2 (en) * 2005-10-04 2010-11-23 Microsoft Corporation Street-side maps and paths
JP4246195B2 (ja) * 2005-11-01 2009-04-02 パナソニック株式会社 カーナビゲーションシステム
US8094928B2 (en) * 2005-11-14 2012-01-10 Microsoft Corporation Stereo video for gaming
JP4777786B2 (ja) * 2006-02-01 2011-09-21 クラリオン株式会社 車載地図表示装置
US8009910B2 (en) * 2006-05-05 2011-08-30 Valtion Teknillinen Tutkimuskeskus Method, a system, a computer program product and a user interface for segmenting image sets
EP1862969A1 (en) * 2006-06-02 2007-12-05 Eidgenössische Technische Hochschule Zürich Method and system for generating a representation of a dynamically changing 3D scene
US20070291034A1 (en) * 2006-06-20 2007-12-20 Dones Nelson C System for presenting a navigable virtual subway system, and method for operating and using the same
JP4926817B2 (ja) * 2006-08-11 2012-05-09 キヤノン株式会社 指標配置情報計測装置および方法
US8073213B2 (en) * 2006-10-30 2011-12-06 General Electric Company Method for generating a registered image relative to a cardiac cycle and a respiratory cycle of a person
JP5177615B2 (ja) * 2006-12-01 2013-04-03 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法
US7750825B2 (en) * 2007-03-09 2010-07-06 Adobe Systems Incorporated System and method for navigation of display data
US7941429B2 (en) * 2007-07-10 2011-05-10 Yahoo! Inc. Interface for visually searching and navigating objects
US8089522B2 (en) * 2007-09-07 2012-01-03 Regents Of The University Of Minnesota Spatial-temporal multi-resolution image sensor with adaptive frame rates for tracking movement in a region of interest
JP5053776B2 (ja) * 2007-09-14 2012-10-17 株式会社デンソー 車両用視界支援システム、車載装置、及び、情報配信装置
DE102007048320A1 (de) * 2007-10-09 2008-05-15 Daimler Ag Verfahren zur Anpassung eines Objektmodells an eine dreidimensionale Punktwolke
US20140300610A1 (en) * 2007-11-16 2014-10-09 Adobe Systems Incorporated System and method for using time re-mapping for computer-generated animation
US8134558B1 (en) * 2007-12-06 2012-03-13 Adobe Systems Incorporated Systems and methods for editing of a computer-generated animation across a plurality of keyframe pairs
US20090213270A1 (en) * 2008-02-22 2009-08-27 Ryan Ismert Video indexing and fingerprinting for video enhancement
US8743125B2 (en) * 2008-03-11 2014-06-03 Sony Computer Entertainment Inc. Method and apparatus for providing natural facial animation
US8737721B2 (en) * 2008-05-07 2014-05-27 Microsoft Corporation Procedural authoring
US8391642B1 (en) * 2008-05-12 2013-03-05 Hewlett-Packard Development Company, L.P. Method and system for creating a custom image
JP2011529568A (ja) * 2008-07-31 2011-12-08 テレ アトラス ベスローテン フエンノートシャップ ナビゲーションデータを三次元で表示する方法
AT10520U3 (de) * 2008-09-05 2013-10-15 Knapp Systemintegration Gmbh Vorrichtung und verfahren zur visuellen unterstützung von kommissioniervorgängen
WO2010036098A1 (en) * 2008-09-25 2010-04-01 Tele Atlas B.V. Method of and arrangement for blurring an image
JP5567021B2 (ja) * 2008-10-07 2014-08-06 ユークリッド・ディスカバリーズ・エルエルシー 特徴を基礎とするビデオ圧縮
JP2010118019A (ja) * 2008-11-14 2010-05-27 Sharp Corp 端末装置、配信装置、端末装置の制御方法、配信装置の制御方法、制御プログラムおよび記録媒体
CN101750072A (zh) * 2008-12-08 2010-06-23 北京龙图通信息技术有限公司 三维动画视频导航方法及***
US9098926B2 (en) * 2009-02-06 2015-08-04 The Hong Kong University Of Science And Technology Generating three-dimensional façade models from images
US8111300B2 (en) * 2009-04-22 2012-02-07 Qualcomm Incorporated System and method to selectively combine video frame image data
KR101671900B1 (ko) * 2009-05-08 2016-11-03 삼성전자주식회사 가상 세계에서의 객체를 제어하는 시스템, 방법 및 기록 매체
JP5290864B2 (ja) * 2009-05-18 2013-09-18 キヤノン株式会社 位置姿勢推定装置及び方法
US8542252B2 (en) * 2009-05-29 2013-09-24 Microsoft Corporation Target digitization, extraction, and tracking
US8698841B2 (en) * 2009-07-10 2014-04-15 Georeplica, Inc. System, method and process of identifying and advertising organizations or other entities by overlaying image files on cartographic mapping applications
US8718338B2 (en) * 2009-07-23 2014-05-06 General Electric Company System and method to compensate for respiratory motion in acquired radiography images
CN101640724A (zh) * 2009-08-21 2010-02-03 北京协进科技发展有限公司 一种控制手机地图的方法及手机
KR100982768B1 (ko) * 2009-09-21 2010-09-20 (주)올라웍스 단말기의 각도에 따라 서로 다른 영상 정보를 제공하기 위한 방법, 단말기 및 컴퓨터 판독 가능한 기록 매체
JP5340895B2 (ja) * 2009-11-24 2013-11-13 株式会社ソニー・コンピュータエンタテインメント 画像データ作成支援装置および画像データ作成支援方法
US8566020B2 (en) * 2009-12-01 2013-10-22 Nokia Corporation Method and apparatus for transforming three-dimensional map objects to present navigation information
US8907947B2 (en) * 2009-12-14 2014-12-09 Dassault Systèmes Method and system for navigating in a product structure of a product
WO2011086419A1 (en) * 2010-01-12 2011-07-21 Nokia Corporation Collaborative location/orientation estimation
US20110227919A1 (en) * 2010-03-17 2011-09-22 International Business Machines Corporation Managing object attributes in a virtual world environment
WO2012071445A2 (en) * 2010-11-24 2012-05-31 Google Inc. Guided navigation through geo-located panoramas
US8749573B2 (en) * 2011-05-26 2014-06-10 Nokia Corporation Method and apparatus for providing input through an apparatus configured to provide for display of an image
US10019962B2 (en) * 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
US9081177B2 (en) * 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
KR101923929B1 (ko) * 2012-06-06 2018-11-30 삼성전자주식회사 증강 현실 서비스를 제공하는 이동통신 단말기 및 증강 현실 서비스에 대한 화면으로의 화면 전환 방법
US8811764B1 (en) * 2012-10-25 2014-08-19 Google Inc. System and method for scene dependent multi-band blending

Also Published As

Publication number Publication date
CN102542905B (zh) 2016-01-13
US10636326B2 (en) 2020-04-28
US20120082341A1 (en) 2012-04-05
CN202502670U (zh) 2012-10-24
EP2437237A2 (en) 2012-04-04
BRPI1106304A2 (pt) 2013-02-19
US9536454B2 (en) 2017-01-03
CN102542905A (zh) 2012-07-04
JP2012079129A (ja) 2012-04-19
EP2437237A3 (en) 2015-05-27
US20170076638A1 (en) 2017-03-16

Similar Documents

Publication Publication Date Title
JP5652097B2 (ja) 画像処理装置、プログラム及び画像処理方法
US10170084B2 (en) Graphical representation generation for multiple points of interest
US9661468B2 (en) System and method for converting gestures into digital graffiti
US10025985B2 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium storing program
US9322656B2 (en) Variable density depthmap
US9874454B2 (en) Community-based data for mapping systems
US8769442B2 (en) System and method for allocating digital graffiti objects and canvasses
KR101330805B1 (ko) 증강 현실 제공 장치 및 방법
US20160063671A1 (en) A method and apparatus for updating a field of view in a user interface
US20070073475A1 (en) Navigation apparatus and map display device
KR20150075532A (ko) 증강 현실 제공 장치 및 방법
KR101568741B1 (ko) 모바일 증강현실 기반의 정보 제공 시스템
WO2013134108A1 (en) Non-photorealistic rendering of geographic features in a map
KR20210056946A (ko) 지리적 참조 정보를 위해 실제 세계에 쿼리하기 위한 이미지 센서의 사용
Liarokapis et al. User interfaces for mobile navigation
Lee et al. Zero-effort search and integration model for augmented Web applications
Klinec et al. NEXUS Acquisition of Position Information for Location Aware Applications using Multi Sensors and Mobile Photogrammetry
ITMI20091393A1 (it) Sistema per la fruizione di contenuti informativi dipendenti dalla posizione geografica.

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130820

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140527

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140805

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141021

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141103

R151 Written notification of patent or utility model registration

Ref document number: 5652097

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250