JP2003216982A - 情報提供装置及び情報提供方法、記憶媒体、並びにコンピュータ・プログラム - Google Patents

情報提供装置及び情報提供方法、記憶媒体、並びにコンピュータ・プログラム

Info

Publication number
JP2003216982A
JP2003216982A JP2002009238A JP2002009238A JP2003216982A JP 2003216982 A JP2003216982 A JP 2003216982A JP 2002009238 A JP2002009238 A JP 2002009238A JP 2002009238 A JP2002009238 A JP 2002009238A JP 2003216982 A JP2003216982 A JP 2003216982A
Authority
JP
Japan
Prior art keywords
image
information
acquired
additional information
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002009238A
Other languages
English (en)
Other versions
JP3893983B2 (ja
Inventor
Yasunori Oto
康紀 大戸
Mitsuharu Oki
光晴 大木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2002009238A priority Critical patent/JP3893983B2/ja
Priority to US10/342,759 priority patent/US7119831B2/en
Publication of JP2003216982A publication Critical patent/JP2003216982A/ja
Application granted granted Critical
Publication of JP3893983B2 publication Critical patent/JP3893983B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Instructional Devices (AREA)
  • Studio Devices (AREA)

Abstract

(57)【要約】 【課題】 カメラによる実画像に所定の情報を付加して
提供する。 【解決手段】 カメラ付き表示装置をユーザの視線方向
に挿入することによって使用する。 あるいは、自動車
のフロン・トガラスから見える風景と同じ領域を取得
し、車内に設置した情報提供装置によって表示を行うこ
ともできる。システムは、カメラによって撮像された画
像に対して、２次元乃至は３次元のコンピュータ・グラ
フィックス・オブジェクトを付加することによって、ユ
ーザに情報提示を行う。ユーザの視線方向にある景色を
そのまま利用し、これに対して情報を付加、提示するた
め、情報とそれが付加された場所との関係がつかみ易く
なる。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、カメラなどにより
撮影された実画像に関連する情報を提供する情報提供装
置及び情報提供方法、記憶媒体、並びにコンピュータ・
プログラムに係り、特に、ＧＰＳ（Global Positioning
System）などにより得られた位置情報と結び付けてカ
メラにより撮影された実画像を提供する情報提供装置及
び情報提供方法、記憶媒体、並びにコンピュータ・プロ
グラムに関する。
【０００２】さらに詳しくは、本発明は、カメラによる
実画像に所定の情報を付加して提供する情報提供装置及
び情報提供方法、記憶媒体、並びにコンピュータ・プロ
グラムに係り、特に、カメラの実画像に対してその位置
情報に関連する情報を付加して、撮影された場所と付加
された情報の関係がつかみ易い画像情報を提供する情報
提供装置及び情報提供方法、記憶媒体、並びにコンピュ
ータ・プログラムに関する。
【０００３】
【従来の技術】ＧＰＳ（Global Positioning System）
は、地球上での現在位置を算出するために開発されたシ
ステムである。すなわち、地球上を周回する３以上の低
軌道衛星から送信される電波を受信することで、現在位
置を算出する。通常、地上からは常時４〜１２個程度の
衛星の電波を受信することができ、これらの位相を計算
することで、現在位置を算出できる。１回の測定誤差は
３０ｍ〜１００ｍとされている。
【０００４】ＧＰＳは、そもそも軍事用の車両、船艦、
航空機などの位置を測定するために構築されたものであ
るが、その後民間にも解放され、最近では民間への利用
がさかんに進められている。ＧＰＳなどを利用した位置
測定サービスを他の情報処理サービスや情報提供サービ
スと結び付けたさまざまなサービスが出現してきてい
る。
【０００５】例えば、ＧＰＳなどによる位置測定結果と
地図情報システムを組み合わせることで、道路情報など
をリアルタイムに表示する車載用ナビゲーション・シス
テムは既に広範に普及している。この種のナビゲーショ
ン・システムでは、走行中の車両の位置をＧＰＳなどを
利用して検出するとともに、地図データからは該当する
区域の道路地図を読み出して、液晶ディスプレイなどの
表示画面に車両の位置をこの道路地図に重畳させて表示
させるようになっている。
【０００６】さらには、単に車両の位置を示した道路地
図を表示するだけでなく、計算機の演算能力を活用し
て、ドライバに対して注意を促したり付加価値の高い映
像表示を行なうナビゲーション・システムについても開
発がなされている。
【０００７】例えば、特開平１０−７９８９号公報に
は、３次元コンピュータ・グラフィックス技術を利用し
て、道路などの立体的画像を表示して、カーブがあると
か、道路幅が狭くなっていくとか、坂道になっていると
か、ドライバが特に注意しなければならない道路をドラ
イバが分かり易く表示することができる前方画像表示装
置について開示されている。
【０００８】また、ＧＰＳは、車両以外にも、さまざま
な情報機器と結び付いて利用されている。例えば、ＧＰ
Ｓとビデオ・カメラなどの映像情報記録装置と組み合わ
せることにより、記録映像の撮影場所の通知や撮影画像
の管理に利用することができる。
【０００９】例えば、本出願人に既に譲渡されている特
開平１１−２０５７２５号広報には、撮影位置と映像情
報の記録位置とを対応付けて記録・再生することができ
る映像情報記録再生装置について開示されている。この
ような映像情報記録再生装置によれば、位置情報を映像
の管理に利用することができる。すなわち、再生時には
撮影された映像と撮影を行った場所を示す地図を同時に
表示することによって、映像がどこで撮影されたかを示
すことができる。また、地図上で撮影位置を指定するこ
とによって、指定された場所で撮影された映像を簡単に
取り出すことができる。
【００１０】
【発明が解決しようとする課題】位置情報を利用した情
報提供サービスの一例として、携帯電話に対するニュー
ス配信を挙げることができる。すなわち、携帯電話の受
信局を同定して、それに応じた情報をニュースとして配
信している。
【００１１】しかしながら、現在行われている情報提供
サービスで配信される情報の多くは、実際にユーザが見
ている周囲の情報とはリンクされていないことから、あ
る地点で配信される情報が、実際にはどこから提供され
ているものかを同定することが難しいものとなってい
る。
【００１２】また、地図情報を用いたナビゲーション・
システムでも、情報提供装置に表示される画像情報は、
２次元地図あるいは３次元地図に配置された形として提
供されたものであるが、 実際のユーザが見ているもの
とは大いに相違するので、ユーザは提示された画像情報
の中から所望の情報オブジェクトを即座に見つけ出すこ
とは難しい。
【００１３】また、たとえ非常にリアルな仮想空間を実
現して、情報提供装置で情報を提供しえたとしても、情
報提供装置のディスプレイの方向とユーザの視線方向が
異なってしまうことから、提供された情報と実画像中の
建造物などとの対応関係を取ることは困難である。
【００１４】また、非常にリアルな仮想空間を実現する
ためには、豊富なテクスチャを用意する必要があり、ま
た、精密なモデリングも必要となる。さらに、仮想空間
の更新を頻繁に行わないと、実際に見えている風景との
差異が大きくなってしまうなどといった問題がある。
【００１５】本発明は、上述したような技術的課題を鑑
みたものであり、その主な目的は、ＧＰＳなどにより得
られた位置情報と結び付けてカメラにより撮影された実
画像を提供することができる、優れた情報提供装置及び
情報提供方法、記憶媒体、並びにコンピュータ・プログ
ラムを提供することにある。
【００１６】本発明のさらなる目的は、カメラによる実
画像に所定の情報を付加して提供することができる、優
れた情報提供装置及び情報提供方法、記憶媒体、並びに
コンピュータ・プログラムを提供することにある。
【００１７】本発明のさらなる目的は、カメラの実画像
に対してその位置情報に関連する情報を付加して、撮影
された場所と付加された情報の関係がつかみ易い画像情
報を提供することができる、優れた情報提供装置及び情
報提供方法、記憶媒体、並びにコンピュータ・プログラ
ムを提供することにある。
【００１８】
【課題を解決するための手段及び作用】本発明は、上記
課題を参酌してなされたものであり、その第１の側面
は、位置情報に関連付けられた付加情報を場所との関係
を分かり易く提示する情報提供装置又は情報提供方法で
あって、実画像を取得する実画像取得手段又はステップ
と、実画像が取得された立***置を取得する立***置取
得手段又はステップと、該取得された立***置に基づい
て、実画像に含まれる各建物の建物データを取得する建
物データ取得手段又はステップと、該取得された立***
置に基づいて、関連する付加情報を取得する付加情報取
得手段又はステップと、付加情報を実画像中に合成する
画像合成手段又はステップと、該付加情報が合成された
実画像から所定の表示ウィンドウで切り出してユーザに
提示する表示手段又はステップと、を具備することを特
徴とする情報提供装置又は情報提供方法である。
【００１９】本発明の第１の側面に係る情報提供装置又
は情報提供方法によれば、カメラ付き表示装置をユーザ
の視線方向に挿入して、カメラによって撮像された画像
に対して、２次元乃至は３次元のコンピュータ・グラフ
ィックス（ＣＧ）・オブジェクトを付加することによっ
て、ユーザに情報提示を行うことができる。
【００２０】ここで言うＣＧオブジェクトには、建物に
取り付ける看板のような広告情報や、道路に貼り付ける
道案内情報などを適用することができる。
【００２１】また、カメラの撮影画像ではなく、自動車
のフロン・トガラスから見える風景と同じ領域を取得
し、車内に設置した情報提供装置によって、同様に付加
情報のの表示を行うこともできる。
【００２２】本発明の第１の側面に係る情報提供装置又
は情報提供方法によれば、ユーザの視線方向にある景色
をそのまま利用し、これに対して情報を付加して提示す
ることができるので、情報とそれが付加された場所との
関係がつかみ易くなる。
【００２３】また、本発明の第１の側面に係る情報提供
装置又は情報提供方法によれば、付加情報の提示に実画
像を積極的に用いていることから、仮想空間による情報
提示で問題となるテクスチャやモデルの作成量の多さや
即時性を克服することができる。
【００２４】また、本発明の第１の側面に係る情報提供
装置又は情報提供方法によれば、情報提示位置が画像と
ずれないことから、バーチャル・スタジオや現実融合
（オーギュメンテッド・リアリティ）などにおいて問題
であった、カメラ移動によって生じる現実にある物体と
仮想オブジェクト間の相対位置のずれを回避することが
できる。
【００２５】ここで、前記立***置取得手段又はステッ
プでは、ジャイロ及びＧＰＳのうち少なくとも１つを用
いて、実画像を捕捉するカメラについての大まかな立体
位置を取得するようにしてもよい。
【００２６】また、実画像から抽出された特徴点列と建
物データとをマッチングして、実画像が取得された大ま
かな立***置を修正する立***置修正手段又はステップ
をさらに備えていてもよい。
【００２７】また、前記画像取得手段又はステップによ
り実画像を取得する際に、装置の手ぶれによって画像が
流れる場合には、前記表示手段又はステップは、表示ウ
ィンドウを画像のオプティカル・フローから割り出した
カメラ方向の移動に合わせて移動するようにしてもよ
い。これによって、負荷の大きな、カメラの空間位置の
補正と付加情報の合成による遅延によって生じる、実写
映像と付加情報提示位置との相対距離が変位することを
防ぐことができる。
【００２８】また、前記画像取得手段又はステップによ
り実画像を取得する際に、画像の取得位置が大きく移動
して表示ウィンドウの移動が表示フレームの範囲を越え
る場合には、前記表示手段又はステップは、該移動が充
分小さくなるまでの間、既に取得されたいる実画像をそ
のままユーザに提示し続けるようにしてもよい。カメラ
の移動に追従して付加情報を合成すると、負荷が高いの
で処理のリアルタイム性が維持されず表示に遅延を生じ
てしまうし、付加情報が画角とともに流れていくとユー
ザには見え辛くて意味がないからである。
【００２９】また、前記付加情報取得手段又はステップ
は、ユーザに近いものから一定数を選択して取得するよ
うにしてもよい。あるいは、前記付加情報取得手段又は
ステップは、ユーザからその提示が求められているもの
を優先的に取得するようにしてもよい。
【００３０】また、本発明の第２の側面は、位置情報に
関連付けられた付加情報を場所との関係を分かり易く提
示するための処理をコンピュータ・システム上で実行す
るように記述されたコンピュータ・ソフトウェアをコン
ピュータ可読形式で物理的に格納した記憶媒体であっ
て、前記コンピュータ・ソフトウェアは、実画像を取得
する実画像取得ステップと、実画像が取得された立***
置を取得する立***置取得ステップと、該取得された立
***置に基づいて、実画像に含まれる各建物の建物デー
タを取得する建物データ取得ステップと、該取得された
立***置に基づいて、関連する付加情報を取得する付加
情報取得ステップと、付加情報を実画像中に合成する画
像合成ステップと、該付加情報が合成された実画像から
所定の表示ウィンドウで切り出してユーザに提示する表
示ステップと、を具備することを特徴とする記憶媒体で
ある。
【００３１】本発明の第２の側面に係る記憶媒体は、例
えば、さまざまなプログラム・コードを実行可能な汎用
コンピュータ・システムに対して、コンピュータ・ソフ
トウェアをコンピュータ可読な形式で提供する媒体であ
る。このような媒体は、例えば、ＤＶＤ（Digital Vers
atile Disc）、ＣＤ（Compact Disc）やＦＤ（Flexible
Disk）、ＭＯ（Magneto-Optical disc）などの着脱自
在で可搬性の記憶媒体である。あるいは、ネットワーク
（ネットワークは無線、有線の区別を問わない）などの
伝送媒体などを経由してコンピュータ・ソフトウェアを
特定のコンピュータ・システムに提供することも技術的
に可能である。
【００３２】また、第２の側面に係る記憶媒体は、コン
ピュータ・システム上で所定のコンピュータ・ソフトウ
ェアの機能を実現するための、コンピュータ・ソフトウ
ェアと記憶媒体との構造上又は機能上の協働的関係を定
義したものである。換言すれば、第２の側面に係る記憶
媒体を介して所定のコンピュータ・ソフトウェアをコン
ピュータ・システムにインストールすることによって、
コンピュータ・システム上では協働的作用が発揮され、
本発明の第１の側面に係る情報提供装置又は情報提供方
法と同様の作用効果を得ることができる。
【００３３】また、本発明の第３の側面は、位置情報に
関連付けられた付加情報を場所との関係を分かり易く提
示するための処理をコンピュータ・システム上で実行す
るように記述されたコンピュータ・プログラムであっ
て、実画像を取得する実画像取得ステップと、実画像が
取得された立***置を取得する立***置取得ステップ
と、該取得された立***置に基づいて、実画像に含まれ
る各建物の建物データを取得する建物データ取得ステッ
プと、該取得された立***置に基づいて、関連する付加
情報を取得する付加情報取得ステップと、付加情報を実
画像中に合成する画像合成ステップと、該付加情報が合
成された実画像から所定の表示ウィンドウで切り出して
ユーザに提示する表示ステップと、を具備することを特
徴とするコンピュータ・プログラムである。
【００３４】本発明の第３の側面に係るコンピュータ・
プログラムは、コンピュータ・システム上で所定の処理
を実現するようにコンピュータ可読形式で記述されたコ
ンピュータ・プログラムを定義したものである。換言す
れば、本発明の第３の側面に係るコンピュータ・プログ
ラムをコンピュータ・システムにインストールすること
によって、コンピュータ・システム上では協働的作用が
発揮され、本発明の第１の側面に係る情報提供装置又は
情報提供方法と同様の作用効果を得ることができる。
【００３５】本発明のさらに他の目的、特徴や利点は、
後述する本発明の実施形態や添付する図面に基づくより
詳細な説明によって明らかになるであろう。
【００３６】
【発明の実施の形態】以下、図面を参照しながら本発明
の実施形態について詳解する。
【００３７】図１には、本発明の実施に供される情報提
供装置１００のハードウェア構成を模式的に示してい
る。以下、同図を参照しながら各部について説明する。
【００３８】メイン・コントローラであるＣＰＵ（Cent
ral Processing Unit）１０１は、オペレーティング・シ
ステム（ＯＳ）の制御下で、各種のアプリケーションを
実行する。ＣＰＵ１０１は、例えば、画像処理アプリケ
ーションなどを実行することができる。本実施形態で
は、画像処理アプリケーションは、カメラによる実画像
などユーザの視線方向にある景色に対して情報を付加し
て情報と場所との関係を理解し易く提示することができ
るが、その処理の詳細については後述に譲る。
【００３９】図示の通り、ＣＰＵ１０１は、バス１０８
によって他の機器類（後述）と相互接続されている。
【００４０】主メモリ１０２は、ＣＰＵ１０１において
実行されるプログラム・コードをロードしたり、プログ
ラム実行中の作業データを一時保管するために使用され
る記憶装置であり、例えばＤＲＡＭ（Dynamic RAM）の
ような半導体メモリが使用される。主メモリ１０２にロ
ードされるプログラムとして、例えば、カメラによる実
画像などユーザの視線方向にある景色に対して情報を付
加して情報と場所との関係を理解し易く提示する画像処
理アプリケーションを挙げることができる。また、主メ
モリ１０２に格納される作業データとして、例えば、ジ
ャイロやＧＰＳから得られたカメラの立***置情報や、
ネットワークなどを介して取得された建物データ、建物
データ（あるいは立***置情報）に関連付けられたサー
ビス情報などを挙げることができる。
【００４１】また、ＲＯＭ（Read Only Memory）１０３
は、データを恒久的に格納する半導体メモリであり、例
えば、起動時の自己診断テスト（ＰＯＳＴ：Power On S
elfTest）や、ハードウェア入出力操作用のプログラム
・コード（ＢＩＯＳ：BasicInput/Output System）など
が書き込まれている。
【００４２】ディスプレイ・コントローラ１０４は、Ｃ
ＰＵ１０１が発行する描画命令を実際に処理するための
専用コントローラである。ディスプレイ・コントローラ
１０３において処理された描画データは、例えばフレー
ム・バッファ１１２に一旦書き込まれた後、ディスプレ
イ１１１によって画面出力される。
【００４３】ディスプレイ１１１の表示画面は、一般
に、ユーザからの入力内容やその処理結果、あるいはエ
ラーその他のシステム・メッセージをユーザに視覚的に
フィードバックする役割を持つ。また、本実施形態にお
いては、ディスプレイ１１１の表示画面は、位置情報を
利用して取得されたサービス情報が画像処理により付加
されたカメラの実画像の表示に利用される。
【００４４】入力機器インターフェース１０５は、キー
ボード１１３やマウス１１４などのユーザ入力機器を情
報提供装置１００に接続するための装置である。
【００４５】キーボード１１３やマウス１１４は、デー
タやコマンドなどのユーザ入力をシステムに取り込む役
割を持つ。本実施形態では、カメラによる実画像などユ
ーザの視線方向にある景色に対して情報を付加して情報
と場所との関係を理解し易く提示する画像処理アプリケ
ーションの起動、その他のデータやコマンドの入力のた
めに使用される。
【００４６】ネットワーク・インターフェース１０６
は、Ｅｔｈｅｒｎｅｔ（登録商標）などの所定の通信プ
ロトコルに従って、システム１００をＬＡＮ（Local Ar
ea Network）などの局所的ネットワーク、さらにはイン
ターネットのような広域ネットワークに接続することが
できる。
【００４７】ネットワーク上では、複数のホスト端末
（図示しない）がトランスペアレントな状態で接続さ
れ、分散コンピューティング環境が構築されている。ネ
ットワーク上では、ソフトウェア・プログラムやデータ
・コンテンツなどの配信サービスを行うことができる。
例えば、カメラによる実画像などユーザの視線方向にあ
る景色に対して情報を付加して情報と場所との関係を理
解し易く提示する画像処理アプリケーションなどを、ネ
ットワーク経由でダウンロードすることができる。ま
た、建物データ、建物データ（あるいは立***置情報）
に関連付けられたサービス情報、本画像処理アプリケー
ションにより合成されて撮影された場所と付加情報との
関係がつかみ易い画像情報などを、ネットワーク経由で
他のホスト装置との間で配信したり配布することができ
る。
【００４８】外部機器インターフェース１０７は、ハー
ド・ディスク・ドライブ（ＨＤＤ）１１５やメディア・ド
ライブ１１６などの外部装置を本情報提供装置１００に
接続するための装置である。
【００４９】ＨＤＤ１１４は、記憶担体としての磁気デ
ィスクを固定的に搭載した外部記憶装置であり（周
知）、記憶容量やデータ転送速度などの点で他の外部記
憶装置よりも優れている。ソフトウェア・プログラムを
実行可能な状態でＨＤＤ１１４上に置くことをプログラ
ムのシステムへの「インストール」と呼ぶ。通常、ＨＤ
Ｄ１１４には、ＣＰＵ１０１が実行すべきオペレーティ
ング・システムのプログラム・コードや、アプリケーショ
ン・プログラム、デバイス・ドライバなどが不揮発的に格
納されている。例えば、カメラによる実画像などユーザ
の視線方向にある景色に対して情報を付加して情報と場
所との関係を理解し易く提示する画像処理アプリケーシ
ョンなどを、ＨＤＤ１１４上にインストールすることが
できる。また、ジャイロやＧＰＳから得られたカメラの
立***置情報や、建物データ、建物データ（あるいは立
***置情報）に関連付けられたサービス情報、本画像処
理アプリケーションにより合成されて撮影された場所と
付加情報との関係がつかみ易い画像情報などをＨＤＤ１
１４上に蓄積しておいてもよい。
【００５０】メディア・ドライブ１１５は、ＣＤ（Compa
ct Disc）やＭＯ（Magneto-Opticaldisc）、ＤＶＤ（Di
gital Versatile Disc）などの可搬型メディアを装填し
て、そのデータ記録面にアクセスするための装置であ
る。
【００５１】可搬型メディアは、主として、ソフトウェ
ア・プログラムやデータ・ファイルなどをコンピュータ可
読形式のデータとしてバックアップすることや、これら
をシステム間で移動（すなわち販売・流通・配布を含む）
する目的で使用される。例えば、カメラによる実画像な
どユーザの視線方向にある景色に対して情報を付加して
情報と場所との関係を理解し易く提示する画像処理アプ
リケーションなどを、これら可搬型メディアを利用して
複数の機器間で物理的に流通・配布することができる。
また、建物データ、建物データ（あるいは立***置情
報）に関連付けられたサービス情報、本画像処理アプリ
ケーションにより合成されて撮影された場所と付加情報
との関係がつかみ易い画像情報などを他の装置との間で
交換するために、可搬型メディアを利用する。
【００５２】ビデオ・キャプチャ・インターフェース１
２１は、カメラにより捕捉された静止画又は動画などの
画像データを、所定フォーマットのコンピュータ・デー
タ（例えばカラー表示画像であればＲＧＢ形式）として
本情報提供装置１００内に取り込むためのインターフェ
ース装置である。
【００５３】位置情報取得インターフェース１２２は、
ジャイロによるカメラの角度（姿勢）検出信号やＧＰＳ
によるカメラの位置測定信号を、コンピュータ・データ
として本情報提供装置１００内に取り込むためのインタ
ーフェース装置である。ＣＰＵ１０１では、これらの検
出信号を統合して、カメラの本装置１００の大まかな立
***置情報を取得することができる。
【００５４】なお、図１に示すような情報提供装置１０
０の一例は、米ＩＢＭ社のパーソナル・コンピュータ"Ｐ
Ｃ／ＡＴ（Personal Computer/Advanced Technology）"
の互換機又は後継機である。勿論、他のアーキテクチャ
を備えたコンピュータを、本実施形態に係る情報提供装
置１００として適用することも可能である。
【００５５】図２には、情報提供装置１００上で、位置
情報を利用して目標とする建物が分かり易く表示される
ようにカメラの実画像を処理するための処理モジュール
構成を模式的に示している。各処理モジュールの実体
は、ＣＰＵ１０１において実行されるプログラム・コー
ドや、メモリ１０２に格納されたデータなどである。
【００５６】カメラ立***置取得部６は、ジャイロ４に
よるカメラ８の角度（姿勢）検出信号やＧＰＳ５による
カメラ８の位置測定信号を統合して、カメラ８の大まか
な立***置情報を取得する。
【００５７】画像フレーム・バッファ７は、カメラ８の
撮影動作により取得された実画像を一時的に蓄積する。
画像フレーム・バッファ７に蓄積された画像フレーム
は、手ぶれ補正処理（後述）や、ユーザの視線方向にあ
る景色に対する付加情報の提示に利用される。
【００５８】情報付加対象認識部９は、カメラ立***置
取得部６により取得された大まかな位置情報に対して、
同位置（カメラの実画像内）に存在する各建物データ
を、ネットワーク３経由で地図データベース２を利用し
て取得する。そして、建物データと画像フレーム・バッ
ファ７に格納されている実画像との間で特徴点のマッチ
ングを行なうことにより、情報を付加しようとしている
各対象物を認識する。
【００５９】画像への情報合成部１０は、情報を付加し
ようとしている対象物（すなわちカメラの実画像内の各
建物）に対して付加すべきサービス情報１を、ネットワ
ーク３経由で地図データベース２を利用して取得する。
そして、画像フレーム・バッファ７に蓄積されている実
画像に対してこれらサービス情報を合成して、ユーザの
視線方向にある景色をそのまま利用した付加情報をユー
ザに提示する。
【００６０】本情報提示装置１００によれば、ユーザの
視線方向にある景色をそのまま利用し、これに対して情
報を付加して提示するので、情報とそれが付加された場
所との関係がつかみ易くなる。
【００６１】また、付加情報の提示に実画像を積極的に
用いていることから、仮想空間による情報提示で問題と
なるテクスチャやモデルの作成量の多さや即時性を克服
することができる。
【００６２】また、情報提示位置が画像とずれないこと
から、バーチャル・スタジオや現実融合（オーギュメン
テッド・リアリティ）などにおいて問題であった、カメ
ラ移動によって生じる現実にある物体と仮想オブジェク
ト間の相対位置のずれを回避することができる。
【００６３】図３には、本実施形態に係る情報提示装置
１００による付加情報の提示処理の流れを模式的に示し
ている。
【００６４】カメラ８で撮影された画像は、画像フレー
ム・バッファ７に保存される。また、その場所に存在す
る建物の３次元データをネットワーク経由で取得して、
画像フレーム内の各対象物との間でマッチングして、位
置修正を行う。
【００６５】また、システムは、ネットワーク経由で取
得されたサービス情報を、３次元ＣＧデータとして３次
元データ内に配置して、画像フレーム・バッファ７に保
存されている画像データと合成を行った後、表示フレー
ムに保存する。このとき、建物データは合成しない。
【００６６】そして、表示ウィンドウによってカリング
を行った後、サービス情報が付加された実画像をユーザ
に提示する。
【００６７】なお、カメラ８などの装置の手ぶれによっ
て画像が流れる場合には、表示ウィンドウを画像のオプ
ティカル・フローから割り出したカメラ方向の移動に合
わせて移動するようにする。このような操作によって、
負荷の大きな、カメラの空間位置の補正と付加情報の合
成による遅延によって生じる、実写映像と付加情報提示
位置との相対距離が変位することを防ぐことができる。
【００６８】また、パンやチルトなどによりカメラが大
きく移動した場合や、表示ウィンドウの移動が表示フレ
ームの範囲を越える場合には、カメラ８の移動が小さく
なるまで、画像フレーム・バッファに蓄積されている撮
影画像をそのままユーザに提示し続けるようにする。
【００６９】図４には、実画像に対してサービス情報を
合成してユーザの視線方向にある景色をそのまま利用し
た付加情報をユーザに提示するための処理手順をフロー
チャートの形式で示している。この付加情報の提示処理
は、上述したようなカメラの手ぶれ処理や、パンやチル
ト時の処理を含んでいる。また、この処理手順は、実際
には、ＣＰＵ１０１が所定のプログラム・コードを実行
するという形態で実現される。以下、このフローチャー
トを参照しながら、付加情報をユーザに提示するための
処理手順について説明する。
【００７０】まず、初期設定として、カメラ８が手ぶれ
やパン／チルトなどによりフレームアウトを生じたか否
かを示すフレームアウト・フラグをＴ（真）に設定する
（ステップＳ１）
【００７１】次いで、カメラ８から撮影画像を取得した
後（ステップＳ２）、フレームアウト・フラグのチェッ
クを行う（ステップＳ３）。
【００７２】フレームアウト・フラグがＴのとき、撮影
画像に対する提供情報の合成を行い（ステップＳ４）、
これをディスプレイ１１１の表示画面上でユーザに提示
した後（ステップＳ１０）、ステップＳ２に戻って、再
びカメラ８による画像取得を行なう。
【００７３】提供情報の合成により、ユーザの視線方向
にある景色をそのまま利用して情報を付加して提示する
ことができるので、ユーザにとっては情報とそれが付加
された場所との関係がつかみ易くなる。但し、実画像に
対する提供情報の合成処理の詳細については、後述に譲
る。
【００７４】一方、ステップＳ３においてフレームアウ
ト・フラグがＦであったときには、以前取得した画像と
の差分からオプティカル・フローを取得して（ステップ
Ｓ５）、カメラ８の移動量を計算して（ステップＳ
６）、その移動量が大きいかどうかをチェックする（ス
テップＳ７）。
【００７５】カメラ８の移動量が小さいときには、シス
テムはこのカメラ８の移動を「手ぶれ」と判断して、オ
プティカル・フローに従って表示ウィンドウの位置を移
動する（ステップＳ８）。そして、表示ウィンドウの移
動が表示フレームを越えるかどうか判断して（ステップ
Ｓ９）、これを越えない場合には移動した表示ウィンド
ウを用いて、情報が付加された画像を表示する（ステッ
プＳ１０）。その後、ステップＳ２に戻って、再びカメ
ラ８による画像取得を行なう。
【００７６】このように、表示ウィンドウを画像のオプ
ティカル・フローから割り出したカメラ方向の移動に合
わせて移動することによって、負荷の大きな、カメラの
空間位置の補正と付加情報の合成による遅延によって生
じる、実写映像と付加情報提示位置との相対距離が変位
することを防ぐことができる。
【００７７】一方、ステップＳ９において表示ウィンド
ウの移動が表示フレームを越えていると判断された場合
には、フレームアウト・フラグをＴにした後（ステップ
Ｓ１１）、ステップＳ２に戻って、再びカメラ８による
画像取得を行なう。
【００７８】また、ステップＳ７において、カメラの移
動量が大きいと判断された場合には、 システムは「カ
メラの移動（パン／チルト）」とみなして、提供情報の
合成を停止する（ステップＳ１２）。この後、カメラの
位置が停止したと判断されるまでの間（ステップＳ１
４）、取得した画像をそのままユーザに提示し続ける
（ステップＳ１５）。そして、カメラ位置が停止したと
判断されたとき（ステップＳ１４）、フレームアウト・
フラグをＴとして（ステップＳ１１）、ステップＳ２に
戻って、再びカメラ８による画像取得を行なう。
【００７９】また、図５には、図４に示したフローチャ
ート中のステップＳ４において実行される、情報付加対
象を認識して、実画像に情報の付加を行うための詳細な
処理手順の詳細をフローチャートの形式で示している。
【００８０】まず、ジャイロ４によるカメラ８の角度
（姿勢）検出信号やＧＰＳ５によるカメラ８の位置測定
信号を統合して、カメラ８の大まかな立***置情報を取
得する（ステップＳ２１）。
【００８１】次いで、ユーザの現在位置の近傍にある建
物データ１を、ネットワーク３経由で（あるいはＣＤ−
ＲＯＭやＤＶＤなどの他の配布媒体を介して）、取得す
る（ステップＳ２２）。
【００８２】次いで、画像フレーム・バッファ７に格納
されている実画像から特徴点列を抽出する（ステップＳ
２３）。
【００８３】そして、抽出された特徴点列と、ステップ
Ｓ２で取得された建物データの間でマッチングを行なう
（ステップＳ２４）。
【００８４】さらに、マッチング結果を利用して、大ま
かであったカメラの立***置を修正しておく（ステップ
Ｓ２５）。
【００８５】図６〜８には、実写画像に対して建物情報
を合わせることによってカメラ８の空間座標を修正する
様子を示している。
【００８６】図６は、カメラ８により取得された実画像
から特徴点となる要素を抽出した様子を示している。
本実施形態では、画素情報の空間差分を取り、細線化処
理を行ったものに対して、 直方体や円筒形などの建物
が多いことを利用して、 異常値を取り除いたものを用
いる。
【００８７】また、ステップＳ２１により取得した立体
位置にある建物情報がネットワーク３を介して情報提供
装置１００に送られてくる。このとき、ＧＰＳによる位
置情報の誤差を考慮して、 その周辺の建物情報も送ら
れてくる。これらの建物情報は３次元データであり、建
物の輪郭や色調の異なる部分など、実画像を画像処理す
ることによって得られるであろう特徴量を含んだものと
なっている。図７には、ネットワーク３経由で取得され
た建物情報で構成される３次元画像を示している。この
３次元画像は、ジャイロによって検出されたカメラの向
きや姿勢（すなわち視線方向）も考慮して構成される。
【００８８】そして、図８に示すように、画像処理で得
られた結果と、 ネットワークから送られてきた建物デ
ータとをマッチングすることによって、 装置の位置お
よび向きの誤差を修正する。かかる誤差は、特徴点列と
建物データに一般的な画像すり合せ（Image Registrati
on）を適用することによって、修正することができる。
また、実画像に対して、情報を付加しようとする建物の
同定も、この時点で行なう。
【００８９】再び図５に戻って、実画像に情報の付加を
行うための処理について説明する。
【００９０】情報を付加すべき建物がフレーム内に含ま
れている場合には、ネットワーク３を介して、建物への
付加情報を取得する（ステップＳ２６）。
【００９１】ここで、実画像に付加すべきサービス情報
の一例は、建物に対して付加する看板やその他の広告情
報を挙げることができる。また、サービス情報の他の例
として、道路に付加する道案内情報を挙げることができ
る。但し、本発明は、ユーザの視線方向にある景色をそ
のまま利用して情報を付加して提示することを目的とす
るものであり、付加すべき情報が何であるか、付加情報
の属性については特に限定されない。
【００９２】次いで、建物情報からカメラ８までの距離
が求められる。 これに応じて、付加情報を三次元コン
ピュータ・グラフィックス画像として表現して（ステッ
プＳ２７）、 実画像との合成処理を行なう（ステップ
Ｓ２８）。すなわち、実画像に含まれるそれぞれの建物
と、建物や道路、その他の実在するオブジェクトに付加
される付加情報オブジェクトを順次重ねるようにして陰
面処理して、表示フレーム上に投影していく。生成され
た表示フレームは、画像フレーム・バッファ７に保存さ
れる。
【００９３】付加情報が合成された画像は、画像フレー
ム・バッファ７へ転送されて、手ぶれ処理（前述）が行
なわれる（ステップＳ２９）。そして、ディスプレイ１
１１の表示が面を介して、ユーザに提示される（ステッ
プＳ３０）。
【００９４】図９には、市街地においてユーザが本情報
提供装置１００を適用している様子を示している。すな
わち、ユーザは、カメラ８を携行して市街地を散策し
て、目標とする建物を含んだ画角すなわち表示フレーム
を、カメラ８のファインダ越しに眺めている。
【００９５】また、図１０には、図９において本情報提
供装置１００を使用しているユーザの姿を示している。
ユーザは、情報が欲しいシーンに対して、カメラ８の
ファインダを視線方向を遮るようにかざすように用い
る。
【００９６】本情報提供装置１００には、ＧＰＳが装備
されており、複数のＧＰＳ衛星からの電波を用いて本装
置の位置を取得することができる（図１１を参照のこ
と）。但し、ＧＰＳで取得可能な位置情報の精度は数メ
ートル単位であり、取得された位置情報には一定の誤差
が含まれている。 本システムでは、このような誤差
を、カメラ８で撮影された実画像から抽出された特徴点
列と、ネットワーク３経由で取得された建物データとを
マッチングすることによって修正している（図５に示す
フローチャートのステップＳ２５を参照のこと）。
【００９７】なお、ＧＰＳシステムを利用する以外に
も、各建物に、ＩＤを示す標識や、電波あるいは赤外線
発信装置などを設置しておき、カメラや信号を受信する
装置を介して、情報提供装置１００の位置を取得するこ
ともできる。
【００９８】また、本情報提供装置１００には、ジャイ
ロが装備されており、本装置の姿勢や方向を取得するこ
とができる。 ジャイロは、３軸の回転を取得すること
により、本情報提供装置１００がどの方向を向いている
のか（すなわちカメラ８の視線方向）を取得することが
できる（図１２を参照のこと）。
【００９９】なお、本実施形態では、ジャイロで取得し
たカメラ方向に対しても、カメラ８で撮影された実画像
から抽出された特徴点列と、ネットワーク３経由で取得
された建物データとをマッチングすることによって、誤
差を修正している（図５に示すフローチャートのステッ
プＳ２５を参照のこと）。
【０１００】図１３には、図９において本実施形態に係
る情報提示装置１００が提示する画像情報の例を示して
いる。同図に示す例では、実際に撮影された市街地風景
には、３次元コンピュータ・グラフィックス技術を利用
して、建物に対して広告看板などのサービス情報が貼り
付けられたり、あるいは、道路には道案内用の矢印が付
加されて、ユーザに提示されている。
【０１０１】また、本実施形態では、カメラの移動量に
よっては実画像への情報の付加を抑制して、無駄な演算
の実行を節約するようにしている。図１４〜１６には、
カメラ移動に対して情報の付加が抑制された結果を示し
ている。
【０１０２】図１４に示す例では、システムが表示する
ウィンドウ５１の中に、建物情報５３や、道案内情報５
２が付加情報として合成された実画像が表示されてい
る。
【０１０３】また、図１５に示す例では、参照番号５５
で表した矢印で示しているように、カメラ８の画角が右
下方向へ移動している。このとき、システムが表示する
ウィンドウ５１の中には、システムが付加する情報は提
示されていない。カメラ８の移動に追従して付加情報を
合成すると、負荷が高いので処理のリアルタイム性が維
持されず表示に遅延を生じてしまうし、付加情報が画角
とともに流れていくとユーザには見え辛くて意味がない
からである。
【０１０４】また、図１６に示す例では、カメラの移動
が休止した状態を示しており、システムが表示するウィ
ンドウ５１の中には、建物情報５６や、道案内情報５２
などの付加情報がユーザの視線方向にある景色をそのま
ま利用して表示されている。
【０１０５】ここで、本実施形態では、参照番号５３や
５４で示されていた付加情報は、ウィンドウの位置の移
動によってフレームアウトしたと判断されて非表示状態
となり、また、参照番号５６で示す建物情報がフレーム
に入ったと判断されて表示状態となっている。
【０１０６】なお、本実実施形態における表示情報は、
ユーザに近いものから一定数のものを選択するように
している。また、道案内情報などのような、 ユーザか
らその提示が求められているものを優先的に表示するよ
うにしている。
【０１０７】［追補］以上、特定の実施形態を参照しな
がら、本発明について詳解してきた。しかしながら、本
発明の要旨を逸脱しない範囲で当業者が該実施形態の修
正や代用を成し得ることは自明である。すなわち、例示
という形態で本発明を開示してきたのであり、本明細書
の記載内容を限定的に解釈するべきではない。本発明の
要旨を判断するためには、冒頭に記載した特許請求の範
囲の欄を参酌すべきである。
【０１０８】
【発明の効果】以上詳記したように、本発明によれば、
ＧＰＳなどにより得られた位置情報と結び付けてカメラ
により撮影された実画像を提供することができる、優れ
た情報提供装置及び情報提供方法、記憶媒体、並びにコ
ンピュータ・プログラムを提供することができる。
【０１０９】また、本発明によれば、カメラによる実画
像に所定の情報を付加して提供することができる、優れ
た情報提供装置及び情報提供方法、記憶媒体、並びにコ
ンピュータ・プログラムを提供することができる。
【０１１０】また、本発明によれば、カメラの実画像に
対してその位置情報に関連する情報を付加して、撮影さ
れた場所と付加された情報の関係がつかみ易い画像情報
を提供することができる、優れた情報提供装置及び情報
提供方法、記憶媒体、並びにコンピュータ・プログラム
を提供することができる。
【０１１１】本発明によれば、ユーザの視線方向にある
景色をそのまま利用し、これに対して情報を付加して提
示するので、情報とそれが付加された場所との関係がつ
かみ易くなる。
【０１１２】また、本発明によれば、付加情報の提示に
実画像を積極的に用いていることから、仮想空間による
情報提示で問題となるテクスチャやモデルの作成量の多
さや即時性を克服することができる。
【０１１３】また、本発明によれば、情報提示位置が画
像とずれないことから、バーチャル・スタジオや現実融
合（オーギュメンテッド・リアリティ）などにおいて問
題であった、カメラ移動によって生じる現実にある物体
と仮想オブジェクト間の相対位置のずれを回避すること
ができる。
【図面の簡単な説明】
【図１】本発明の実施に供される情報提供装置１００の
ハードウェア構成を模式的に示した図である。
【図２】情報提供装置１００上で、位置情報を利用して
目標とする建物が分かり易く表示されるようにカメラの
実画像を処理するための処理モジュール構成を模式的に
示した図である。
【図３】本実施形態に係る情報提示装置１００による付
加情報の提示処理の流れを模式的に示した図である。
【図４】実画像に対してサービス情報を合成してユーザ
の視線方向にある景色をそのまま利用した付加情報をユ
ーザに提示するための処理手順を示したフローチャート
である。
【図５】図４に示したフローチャート中のステップＳ４
において実行される情報付加対象を認識して、実画像に
情報の付加を行うための詳細な処理手順の詳細を示した
フローチャートである。
【図６】カメラ８により取得された実画像から特徴点と
なる要素を抽出した様子を示した図である。
【図７】ネットワーク３経由で取得された建物情報で構
成される３次元画像を示した図である。
【図８】実写画像に対して建物情報を合わせることによ
ってカメラ８の空間座標を修正する様子を示した図であ
る。
【図９】市街地においてユーザが本情報提供装置１００
を適用している様子を示した図である。
【図１０】図９において本情報提供装置１００を使用し
ているユーザの姿を示した図である。
【図１１】ＧＰＳを用いて本情報提供装置１００の位置
を取得する様子を示した図である。
【図１２】ジャイロを用いて本情報提供装置１００の方
向を取得する様子を示した図である。
【図１３】図９において本実施形態に係る情報提示装置
１００が提示する画像情報の例を示した図である。
【図１４】カメラ移動に対して情報の付加が抑制された
結果を示した図である。
【図１５】カメラ移動に対して情報の付加が抑制された
結果を示した図である。
【図１６】カメラ移動に対して情報の付加が抑制された
結果を示した図である。
【符号の説明】
６…カメラ立***置取得部 ７…画像フレーム・バッファ ８…カメラ ９…情報付加対象認識部 １０…画像への情報合成部 １００…情報提供装置 １０１…ＣＰＵ １０２…主メモリ，１０３…ＲＯＭ １０４…ディスプレイ・コントローラ １０５…入力機器インターフェース １０６…ネットワーク・インターフェース １０７…外部機器インターフェース １０８…バス １１１…ディスプレイ，１１２…フレーム・バッファ １１３…キーボード，１１４…マウス １１５…ハード・ディスク装置 １１６…メディア・ドライブ １２１…ビデオ・キャプチャ・インターフェース １２２…位置情報取得インターフェース
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成１５年２月１２日（２００３．２．１
２）
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正内容】
【特許請求の範囲】
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2F029 AA02 AA07 AB01 AB07 AB13 AC03 AC09 AC13 AC16 5B050 AA00 BA09 BA17 CA08 DA02 EA28 FA02

Claims (16)

    【特許請求の範囲】
  1. 【請求項１】位置情報に関連付けられた付加情報を場所
    との関係を分かり易く提示する情報提供装置であって、 実画像を取得する実画像取得手段と、 実画像が取得された立***置を取得する立***置取得手
    段と、 該取得された立***置に基づいて、実画像に含まれる各
    建物の建物データを取得する建物データ取得手段と、 該取得された立***置に基づいて、関連する付加情報を
    取得する付加情報取得手段と、 付加情報を実画像中に合成する画像合成手段と、 該付加情報が合成された実画像から所定の表示ウィンド
    ウで切り出してユーザに提示する表示手段と、を具備す
    ることを特徴とする情報提供装置。
  2. 【請求項２】前記立***置取得手段は、ジャイロ及びＧ
    ＰＳのうち少なくとも１つを用いて立***置を取得す
    る、ことを特徴とする請求項１に記載の情報提供装置。
  3. 【請求項３】実画像から抽出された特徴点列と建物デー
    タとをマッチングして、実画像が取得された立***置を
    修正する立***置修正手段をさらに備える、ことを特徴
    とする請求項１に記載の情報提供装置。
  4. 【請求項４】前記画像取得手段により実画像を取得する
    際に、装置の手ぶれによって画像が流れる場合には、前
    記表示手段は、表示ウィンドウを画像のオプティカル・
    フローから割り出したカメラ方向の移動に合わせて移動
    する、ことを特徴とする請求項１に記載の情報提供装
    置。
  5. 【請求項５】前記画像取得手段により実画像を取得する
    際に、画像の取得位置が大きく移動して表示ウィンドウ
    の移動が表示フレームの範囲を越える場合には、前記表
    示手段は、該移動が充分小さくなるまでの間、既に取得
    されたいる実画像をそのままユーザに提示し続ける、こ
    とを特徴とする請求項１に記載の情報提供装置。
  6. 【請求項６】前記付加情報取得手段は、ユーザに近いも
    のから一定数を選択して取得する、ことを特徴とする請
    求項１に記載の情報提供装置。
  7. 【請求項７】前記付加情報取得手段は、ユーザからその
    提示が求められているものを優先的に取得する、ことを
    特徴とする請求項１に記載の情報提供装置。
  8. 【請求項８】位置情報に関連付けられた付加情報を場所
    との関係を分かり易く提示する情報提供方法であって、 実画像を取得する実画像取得ステップと、 実画像が取得された立***置を取得する立***置取得ス
    テップと、 該取得された立***置に基づいて、実画像に含まれる各
    建物の建物データを取得する建物データ取得ステップ
    と、 該取得された立***置に基づいて、関連する付加情報を
    取得する付加情報取得ステップと、 付加情報を実画像中に合成する画像合成ステップと、 該付加情報が合成された実画像から所定の表示ウィンド
    ウで切り出してユーザに提示する表示ステップと、を具
    備することを特徴とする情報提供方法。
  9. 【請求項９】前記立***置取得ステップでは、ジャイロ
    及びＧＰＳのうち少なくとも１つを用いて立***置を取
    得する、ことを特徴とする請求項８に記載の情報提供方
    法。
  10. 【請求項１０】実画像から抽出された特徴点列と建物デ
    ータとをマッチングして、実画像が取得された立***置
    を修正する立***置修正ステップをさらに備える、こと
    を特徴とする請求項８に記載の情報提供方法。
  11. 【請求項１１】前記画像取得ステップにおいて実画像を
    取得する際に、装置の手ぶれによって画像が流れる場合
    には、前記表示ステップでは、表示ウィンドウを画像の
    オプティカル・フローから割り出したカメラ方向の移動
    に合わせて移動する、ことを特徴とする請求項８に記載
    の情報提供方法。
  12. 【請求項１２】前記画像取得ステップにおいて実画像を
    取得する際に、画像の取得位置が大きく移動して表示ウ
    ィンドウの移動が表示フレームの範囲を越える場合に
    は、前記表示ステップでは、該移動が充分小さくなるま
    での間、既に取得されたいる実画像をそのままユーザに
    提示し続ける、ことを特徴とする請求項８に記載の情報
    提供方法。
  13. 【請求項１３】前記付加情報取得ステップでは、ユーザ
    に近いものから一定数を選択して取得する、ことを特徴
    とする請求項８に記載の情報提供方法。
  14. 【請求項１４】前記付加情報取得ステップでは、ユーザ
    からその提示が求められているものを優先的に取得す
    る、ことを特徴とする請求項８に記載の情報提供方法。
  15. 【請求項１５】位置情報に関連付けられた付加情報を場
    所との関係を分かり易く提示するための処理をコンピュ
    ータ・システム上で実行するように記述されたコンピュ
    ータ・ソフトウェアをコンピュータ可読形式で物理的に
    格納した記憶媒体であって、前記コンピュータ・ソフト
    ウェアは、 実画像を取得する実画像取得ステップと、 実画像が取得された立***置を取得する立***置取得ス
    テップと、 該取得された立***置に基づいて、実画像に含まれる各
    建物の建物データを取得する建物データ取得ステップ
    と、 該取得された立***置に基づいて、関連する付加情報を
    取得する付加情報取得ステップと、 付加情報を実画像中に合成する画像合成ステップと、 該付加情報が合成された実画像から所定の表示ウィンド
    ウで切り出してユーザに提示する表示ステップと、を具
    備することを特徴とする記憶媒体。
  16. 【請求項１６】位置情報に関連付けられた付加情報を場
    所との関係を分かり易く提示するための処理をコンピュ
    ータ・システム上で実行するように記述されたコンピュ
    ータ・プログラムであって、 実画像を取得する実画像取得ステップと、 実画像が取得された立***置を取得する立***置取得ス
    テップと、 該取得された立***置に基づいて、実画像に含まれる各
    建物の建物データを取得する建物データ取得ステップ
    と、 該取得された立***置に基づいて、関連する付加情報を
    取得する付加情報取得ステップと、 付加情報を実画像中に合成する画像合成ステップと、 該付加情報が合成された実画像から所定の表示ウィンド
    ウで切り出してユーザに提示する表示ステップと、を具
    備することを特徴とするコンピュータ・プログラム。
JP2002009238A 2002-01-17 2002-01-17 情報提供装置及び情報提供方法、記憶媒体、並びにコンピュータ・プログラム Expired - Fee Related JP3893983B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002009238A JP3893983B2 (ja) 2002-01-17 2002-01-17 情報提供装置及び情報提供方法、記憶媒体、並びにコンピュータ・プログラム
US10/342,759 US7119831B2 (en) 2002-01-17 2003-01-15 Information providing apparatus, information providing method, storage medium, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002009238A JP3893983B2 (ja) 2002-01-17 2002-01-17 情報提供装置及び情報提供方法、記憶媒体、並びにコンピュータ・プログラム

Publications (2)

Publication Number Publication Date
JP2003216982A true JP2003216982A (ja) 2003-07-31
JP3893983B2 JP3893983B2 (ja) 2007-03-14

Family

ID=27647290

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002009238A Expired - Fee Related JP3893983B2 (ja) 2002-01-17 2002-01-17 情報提供装置及び情報提供方法、記憶媒体、並びにコンピュータ・プログラム

Country Status (2)

Country Link
US (1) US7119831B2 (ja)
JP (1) JP3893983B2 (ja)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005339127A (ja) * 2004-05-26 2005-12-08 Olympus Corp 画像情報表示装置及び画像情報表示方法
JP2006105640A (ja) * 2004-10-01 2006-04-20 Hitachi Ltd ナビゲーション装置
JP2007271869A (ja) * 2006-03-31 2007-10-18 Digital Service International Co Ltd 画像処理による地図作成方法、その装置及びそのコンピュータプログラム
JP2010224745A (ja) * 2009-03-23 2010-10-07 Kddi Corp コンテンツ検索システムおよびコンテンツ検索プログラム
JP2011081431A (ja) * 2009-10-02 2011-04-21 Sony Corp 行動パターン解析システム、携帯端末、行動パターン解析方法、及びプログラム
JP2012033043A (ja) * 2010-07-30 2012-02-16 Toshiba Corp 情報表示装置及び情報表示方法
JP2012084146A (ja) * 2010-10-13 2012-04-26 Pantech Co Ltd 拡張現実（ａｒ）を提供するユーザ装置及び方法
US8180567B2 (en) 2005-06-06 2012-05-15 Tomtom International B.V. Navigation device with camera-info
JP2012123548A (ja) * 2010-12-07 2012-06-28 Casio Comput Co Ltd 情報表示システム、情報表示装置、情報提供装置、および、プログラム
JP2012242932A (ja) * 2011-05-17 2012-12-10 Hitachi Solutions Ltd 情報提供システム及び端末装置
US8423292B2 (en) 2008-08-19 2013-04-16 Tomtom International B.V. Navigation device with camera-info
JP2013083994A (ja) * 2012-11-30 2013-05-09 Sony Corp 表示装置、表示方法
JP2013183333A (ja) * 2012-03-02 2013-09-12 Alpine Electronics Inc 拡張現実システム
JP2013536402A (ja) * 2010-05-31 2013-09-19 サムスン エレクトロニクス カンパニー リミテッド 携帯用端末機の領域認識装置及びその方法
US8681256B2 (en) 2006-10-16 2014-03-25 Sony Corporation Display method and display apparatus in which a part of a screen area is in a through-state
JP2015172941A (ja) * 2010-04-02 2015-10-01 クアルコム，インコーポレイテッド 拡張現実方向方位マスク
JP2017126210A (ja) * 2016-01-14 2017-07-20 株式会社東芝 認識装置、認識システム、認識方法及びプログラム
JP2018181143A (ja) * 2017-04-19 2018-11-15 Kddi株式会社 三次元空間情報表示システム、及び三次元空間情報表示方法
JP2021114286A (ja) * 2020-01-16 2021-08-05 株式会社スクウェア・エニックス 拡張現実画像を生成するための方法
CN114459461A (zh) * 2022-01-26 2022-05-10 西安应用光学研究所 一种基于gis与实时光电视频的导航定位方法
JP7417827B2 (ja) 2020-08-24 2024-01-19 株式会社Psychic VR Lab 画像編集方法、画像表示方法、画像編集システム、及び画像編集プログラム

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7565008B2 (en) 2000-11-06 2009-07-21 Evryx Technologies, Inc. Data capture and identification system and process
US9310892B2 (en) 2000-11-06 2016-04-12 Nant Holdings Ip, Llc Object information derived from object images
US7899243B2 (en) 2000-11-06 2011-03-01 Evryx Technologies, Inc. Image capture and identification system and process
US8224078B2 (en) 2000-11-06 2012-07-17 Nant Holdings Ip, Llc Image capture and identification system and process
US7680324B2 (en) 2000-11-06 2010-03-16 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
JP2003215494A (ja) * 2002-01-22 2003-07-30 Canon Inc 複合現実感提示装置および画像処理方法
JP3989348B2 (ja) * 2002-09-27 2007-10-10 三洋電機株式会社 複数画像送信方法及び複数画像同時撮影機能付き携帯機器
US8665325B2 (en) 2003-10-08 2014-03-04 Qwest Communications International Inc. Systems and methods for location based image telegraphy
US8195386B2 (en) * 2004-09-28 2012-06-05 National University Corporation Kumamoto University Movable-body navigation information display method and movable-body navigation information display unit
JP4345651B2 (ja) * 2004-11-29 2009-10-14 セイコーエプソン株式会社 画像情報の評価方法、画像情報の評価プログラム及び画像情報評価装置
JP4632793B2 (ja) * 2005-01-12 2011-02-16 京セラ株式会社 ナビゲーション機能付き携帯型端末機
KR101058032B1 (ko) * 2005-04-01 2011-08-19 삼성전자주식회사 입체영상장치
JP2007025483A (ja) * 2005-07-20 2007-02-01 Ricoh Co Ltd 画像記憶処理装置
DE102006003363B4 (de) * 2006-01-19 2009-02-19 Dreifach Einfach - Kreative It-Systeme Gmbh Verfahren und Anordnung zur ortsabhängigen Ausgabe von Daten durch mobile Endgeräte sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium
JP4333704B2 (ja) * 2006-06-30 2009-09-16 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置
JP2008158583A (ja) * 2006-12-20 2008-07-10 Hitachi Software Eng Co Ltd 画像関連情報表示システム
US9183716B2 (en) * 2007-03-20 2015-11-10 International Business Machines Corporation System and method for managing moving surveillance cameras
US7642929B1 (en) 2007-04-19 2010-01-05 The United States Of America As Represented By The Secretary Of The Air Force Helicopter brown-out landing
US8239132B2 (en) 2008-01-22 2012-08-07 Maran Ma Systems, apparatus and methods for delivery of location-oriented information
JP4994256B2 (ja) * 2008-01-28 2012-08-08 株式会社ジオ技術研究所 経路案内データベースのデータ構造
US20100293173A1 (en) * 2009-05-13 2010-11-18 Charles Chapin System and method of searching based on orientation
KR100985737B1 (ko) * 2010-02-05 2010-10-06 (주)올라웍스 단말 장치의 시야에 포함되는 객체에 대한 정보를 제공하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
US9420251B2 (en) 2010-02-08 2016-08-16 Nikon Corporation Imaging device and information acquisition system in which an acquired image and associated information are held on a display
WO2012004622A1 (en) * 2010-07-07 2012-01-12 Vincent Daniel Piraud An augmented reality method, and a corresponding system and software
US9664527B2 (en) * 2011-02-25 2017-05-30 Nokia Technologies Oy Method and apparatus for providing route information in image media
US8203605B1 (en) 2011-05-11 2012-06-19 Google Inc. Point-of-view object selection
JP2013083553A (ja) * 2011-10-11 2013-05-09 Sony Corp 情報処理装置、情報処理方法、及びプログラム
JP6121647B2 (ja) 2011-11-11 2017-04-26 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2013105346A (ja) * 2011-11-14 2013-05-30 Sony Corp 情報提示装置、情報提示方法、情報提示システム、情報登録装置、情報登録方法、情報登録システムおよびプログラム
US9870429B2 (en) 2011-11-30 2018-01-16 Nokia Technologies Oy Method and apparatus for web-based augmented reality application viewer
US9230501B1 (en) 2012-01-06 2016-01-05 Google Inc. Device control utilizing optical flow
US9091628B2 (en) 2012-12-21 2015-07-28 L-3 Communications Security And Detection Systems, Inc. 3D mapping with two orthogonal imaging views
US9613448B1 (en) * 2014-03-14 2017-04-04 Google Inc. Augmented display of information in a device view of a display screen
WO2016002322A1 (ja) * 2014-07-02 2016-01-07 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
WO2019150668A1 (ja) * 2018-01-30 2019-08-08 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
IL267211A (en) 2019-06-10 2019-08-29 Elbit Systems Ltd System and method for video display
US20210372809A1 (en) * 2020-06-02 2021-12-02 Toyota Motor Engineering & Manufacturing North America, Inc. Travel route observation and comparison system for a vehicle
CN112486684B (zh) * 2020-11-30 2022-08-12 展讯半导体(成都)有限公司 行车影像显示方法、装置及平台、存储介质、嵌入式设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH107989A (ja) 1996-06-28 1998-01-13 Sumitomo Chem Co Ltd シラン化合物被膜の形成方法
US6917968B2 (en) * 1997-09-30 2005-07-12 Canon Kabushiki Kaisha System for providing location information from a remote terminal and displaying on a map display as a URL
JPH11205725A (ja) 1998-01-19 1999-07-30 Sony Corp 映像情報記録再生装置および映像情報再生装置
US6542824B1 (en) * 1999-01-29 2003-04-01 International Business Machines Corporation Method and system for determining position information utilizing a portable electronic device lacking global positioning system (GPS) reception capability
JP3406965B2 (ja) * 2000-11-24 2003-05-19 キヤノン株式会社 複合現実感提示装置及びその制御方法

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005339127A (ja) * 2004-05-26 2005-12-08 Olympus Corp 画像情報表示装置及び画像情報表示方法
JP2006105640A (ja) * 2004-10-01 2006-04-20 Hitachi Ltd ナビゲーション装置
US8180567B2 (en) 2005-06-06 2012-05-15 Tomtom International B.V. Navigation device with camera-info
US8352180B2 (en) 2005-06-06 2013-01-08 Tomtom International B.V. Device with camera-info
JP2007271869A (ja) * 2006-03-31 2007-10-18 Digital Service International Co Ltd 画像処理による地図作成方法、その装置及びそのコンピュータプログラム
US9846304B2 (en) 2006-10-16 2017-12-19 Sony Corporation Display method and display apparatus in which a part of a screen area is in a through-state
US8681256B2 (en) 2006-10-16 2014-03-25 Sony Corporation Display method and display apparatus in which a part of a screen area is in a through-state
US9182598B2 (en) 2006-10-16 2015-11-10 Sony Corporation Display method and display apparatus in which a part of a screen area is in a through-state
US8423292B2 (en) 2008-08-19 2013-04-16 Tomtom International B.V. Navigation device with camera-info
JP2010224745A (ja) * 2009-03-23 2010-10-07 Kddi Corp コンテンツ検索システムおよびコンテンツ検索プログラム
JP2011081431A (ja) * 2009-10-02 2011-04-21 Sony Corp 行動パターン解析システム、携帯端末、行動パターン解析方法、及びプログラム
JP2015172941A (ja) * 2010-04-02 2015-10-01 クアルコム，インコーポレイテッド 拡張現実方向方位マスク
US10187867B2 (en) 2010-05-31 2019-01-22 Samsung Electronics Co., Ltd. Apparatus and method for recognizing zone in portable terminal
JP2013536402A (ja) * 2010-05-31 2013-09-19 サムスン エレクトロニクス カンパニー リミテッド 携帯用端末機の領域認識装置及びその方法
US8466894B2 (en) 2010-07-30 2013-06-18 Kabushiki Kaisha Toshiba Apparatus and method for displaying information
JP2012033043A (ja) * 2010-07-30 2012-02-16 Toshiba Corp 情報表示装置及び情報表示方法
JP2012084146A (ja) * 2010-10-13 2012-04-26 Pantech Co Ltd 拡張現実（ａｒ）を提供するユーザ装置及び方法
US8823855B2 (en) 2010-10-13 2014-09-02 Pantech Co., Ltd. User equipment and method for providing augmented reality (AR) service
JP2012123548A (ja) * 2010-12-07 2012-06-28 Casio Comput Co Ltd 情報表示システム、情報表示装置、情報提供装置、および、プログラム
JP2012242932A (ja) * 2011-05-17 2012-12-10 Hitachi Solutions Ltd 情報提供システム及び端末装置
JP2013183333A (ja) * 2012-03-02 2013-09-12 Alpine Electronics Inc 拡張現実システム
JP2013083994A (ja) * 2012-11-30 2013-05-09 Sony Corp 表示装置、表示方法
JP2017126210A (ja) * 2016-01-14 2017-07-20 株式会社東芝 認識装置、認識システム、認識方法及びプログラム
JP2018181143A (ja) * 2017-04-19 2018-11-15 Kddi株式会社 三次元空間情報表示システム、及び三次元空間情報表示方法
JP2021114286A (ja) * 2020-01-16 2021-08-05 株式会社スクウェア・エニックス 拡張現実画像を生成するための方法
JP7043583B2 (ja) 2020-01-16 2022-03-29 株式会社スクウェア・エニックス 拡張現実画像を生成するための方法
JP7417827B2 (ja) 2020-08-24 2024-01-19 株式会社Psychic VR Lab 画像編集方法、画像表示方法、画像編集システム、及び画像編集プログラム
CN114459461A (zh) * 2022-01-26 2022-05-10 西安应用光学研究所 一种基于gis与实时光电视频的导航定位方法
CN114459461B (zh) * 2022-01-26 2023-11-28 西安应用光学研究所 一种基于gis与实时光电视频的导航定位方法

Also Published As

Publication number Publication date
US7119831B2 (en) 2006-10-10
JP3893983B2 (ja) 2007-03-14
US20030160867A1 (en) 2003-08-28

Similar Documents

Publication Publication Date Title
JP3893983B2 (ja) 情報提供装置及び情報提供方法、記憶媒体、並びにコンピュータ・プログラム
US11776185B2 (en) Server, user terminal, and service providing method, and control method thereof for displaying photo images within a map
EP3359918B1 (en) Systems and methods for orienting a user in a map display
US7612777B2 (en) Animation generating apparatus, animation generating method, and animation generating program
US7626596B2 (en) Image reproducing method and apparatus for displaying annotations on a real image in virtual space
US9171214B2 (en) Projecting location based elements over a heads up display
US8773534B2 (en) Image processing apparatus, medium recording image processing program, and image processing method
US20110211040A1 (en) System and method for creating interactive panoramic walk-through applications
US20150154803A1 (en) Method for representing virtual information in a view of a real environment
US20130318078A1 (en) System and Method for Producing Multi-Angle Views of an Object-of-Interest from Images in an Image Dataset
US20160063671A1 (en) A method and apparatus for updating a field of view in a user interface
WO2013002037A1 (ja) 駐車支援装置
US11272153B2 (en) Information processing apparatus, method for controlling the same, and recording medium
JP2011215412A (ja) 地図画像処理装置、地図画像処理方法及び地図画像処理プログラム
JP2011138258A (ja) 景観再現システム
JP4085634B2 (ja) 画像表示プログラム
JP2003216977A (ja) 情報提供装置及び情報提供方法、記憶媒体、並びにコンピュータ・プログラム
JP2005174024A (ja) 画像生成装置及び方法
EP3510440B1 (en) Electronic device and operation method thereof
US20240087157A1 (en) Image processing method, recording medium, image processing apparatus, and image processing system
CN115439635B (zh) 一种呈现目标对象的标记信息的方法与设备
JP2003337947A (ja) 画像表示方法、画像表示装置、及び画像表示方法を記録した記憶媒体
JPH1166349A (ja) 移動量予測型景観ラベリング装置およびシステム
JPH10153949A (ja) 地理情報システム
GB2612685A (en) An image generator and method for an augmented reality system

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061204

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091222

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101222

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101222

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111222

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111222

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121222

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121222

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131222

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees