JP2003323239A - 情報処理装置及び情報処理方法、記憶媒体、並びにコンピュータ・プログラム - Google Patents

Abstract

(57)【要約】 【課題】 視認性の識別情報が配置された実世界風景の
撮影画像から所望の識別情報を選択するための好適な操
作環境を提供する。 【解決手段】 情報端末上には「画像＆ＩＤ記憶部」と
「キャプチャ・ボタン」が配設されている。そして、ユ
ーザが所望の光ビーコンの方に携帯端末を向けて、携帯
端末の表示画面に光ビーコンが認識されたことが示され
たときに、「キャプチャ・ボタン」を押して、画像とＩ
Ｄ（すなわち、光ビーコンから受信した情報）を「画像
＆ＩＤ記憶部」に記録する。その後、このキャプチャ画
像を画面表示したときに、ユーザは楽な姿勢で光ビーコ
ンの選択をすることができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ユーザ操作に応答
して所定の処理を起動する情報処理装置及び情報処理方
法、記憶媒体、並びにコンピュータ・プログラムに係
り、特に、表示画面を介してユーザの選択操作を受容し
て所定の処理を起動する情報処理装置及び情報処理方
法、記憶媒体、並びにコンピュータ・プログラムに関す
る。

【０００２】さらに詳しくは、本発明は、実世界風景の
撮影画像上でのユーザ操作環境を提供する情報処理装置
及び情報処理方法、記憶媒体、並びにコンピュータ・プ
ログラムに係り、特に、視認性の識別情報が配置された
実世界風景の撮影画像から所望の識別情報を選択するた
めの操作環境を提供する情報処理装置及び情報処理方
法、記憶媒体、並びにコンピュータ・プログラムに関す
る。

【０００３】

【従来の技術】情報処理技術や情報通信技術が高度に発
達した現代においては、パーソナル・コンピュータや携
帯情報端末を始めとする情報機器がオフィスや家庭内な
どの実世界上のいたるところに遍在する。このような環
境下では、機器どうしを接続して、いつでもどこでも欲
しい情報を入手する「ユビキタス（Ubiquitous）・コン
ピューティング」や、実世界における状況（実世界の事
物やユーザの位置など）を積極的に利用した拡張現実シ
ステム（Augmented Reality：ＡＲ）の実現が期待され
る。

【０００４】ユビキタス・コンピューティングの概念
は、人がどこに移動しても利用できるコンピュータの環
境が同じであることである。すなわち、「いつでもどこ
でも」なのだから、究極のユビキタス・コンピューティ
ングは、必ずしもコンピュータやＰＤＡ（Personal Dig
ital Assistant）や携帯電話機などの情報端末を必ずし
も必要とはしない。

【０００５】ところが、ネットワーク上でデータ転送先
となるコンピュータや周辺機器（すなわちユーザ端末な
どのターゲット）を指定したり、あるいはユーザの位置
や実世界オブジェクトに関連した情報など実世界状況を
入手しようとすると、すぐ目の前にある相手であって
も、その名前（若しくは、機器固有のＩＤやネットワー
ク・アドレス、ホスト・ネーム、ＵＲＬ／ＵＲＩなどの
資源識別子）を知る必要がある。すなわち、ユーザ操作
に関して言えば、間接的な形式でしかコンピュータ間の
連携がなされておらず、直感性にやや欠ける。

【０００６】このような煩雑な手続を省略して、ユーザ
の識別情報を転送したり、ユーザの位置などの実世界状
況を取得するための技術として、「サイバーコード（Ｃ
ｙｂｅｒｃｏｄｅ）」などのビジュアルコードやＲＦタ
グのような、実世界コンピューティングを利用した手法
が提案されている。これらの手法によれば、ユーザは意
識してネットワークにアクセスする必要はなく、自動的
に拾われたオブジェクトのＩＤなどから、オブジェクト
に関連する情報を獲得することができる。

【０００７】例えば、ビジュアルコードやＲＦタグの識
別情報に対してあらかじめアプリケーションなどの機能
や、機器ＩＤ、ネットワーク・アドレス、ホスト・ネー
ム、ＵＲＬやその他のオブジェクト関連情報を登録して
おく。そして、カメラの撮影画像からサイバーコードを
認識したことに応答して、コンピュータは、登録された
アプリケーションを実行させたり（例えば「メールを起
動する」など）、認識されたＩＤを基に相手のネットワ
ーク・アドレスを探索して自動的に接続を果たしたり、
認識されたＵＲＬを基に資源アクセスを行ったりするこ
とができる。

【０００８】しかしながら、ビジュアルコードのような
視認性の識別情報を用いた場合、距離に応じてコードの
大きさが変化する。すなわち、オブジェクトが遠く離れ
るとコードが小さくなるので、遠くのものを認識するに
は大きなパターンを持つコードを形成する必要がある。
言い換えれば、この手法に基づく情報伝達手法は距離に
対するロバスト性に欠ける。例えば、遠くにあるビルを
認識するためには、ビルに巨大なコードを貼り付ける必
要があり、現実的でない。

【０００９】また、ＲＦタグの場合、ユーザはＲＦタグ
をタグ読み取り装置に向けたり接触させたりしなければ
ならない。すなわち、至近距離の物体のみ認識が可能で
あり、遠くのものを認識することはできない。

【００１０】そこで、本出願人に既に譲渡されている特
願２００２−５７８３６号明細書には、ＬＥＤの点滅パ
ターンなどからなる光学的信号をデータ伝送媒体として
用いて、距離に対してロバストなデータ通信システムが
提案されている。例えば室内の家具や電化製品あるいは
屋外のビルなどの実世界オブジェクトには、所定の物理
的な配置がなされた２以上のＬＥＤなどの発光部からな
る送信機が設置され、各発光部は所定ビット長の送信デ
ータを表す点滅パターンで明滅することによりデータ送
信が行なわれる。一方の受信機は、２次元受光面からな
る受光部を備え、受光された点滅パターンを基に送信デ
ータをデコードするとともに、２次元受光面上での点滅
位置を基にオブジェクトの空間情報を認識する。

【００１１】すなわち、このような光学的信号を利用し
たデータ通信システムによれば、実世界上のオブジェク
トからＩＤなどの情報を入手すると同時にオブジェクト
の空間的な位置を同時に認識することができ、ユビキタ
ス・コンピューティングを構築するための有効な手段と
なり得る。

【００１２】

【発明が解決しようとする課題】上述の光学的信号を利
用したデータ通信システムを拡張現実感システムに適用
すれば、ユーザの位置などの実世界情報を利用したサー
ビスを提供することができる。この場合、システムはユ
ーザの近傍や視界中にある実世界の事物に応じた情報を
光学的信号によって提示することによって、ネットワー
ク上にある膨大な情報を利用して日常生活のあらゆる局
面を支援することができる。ユーザは携帯端末を保持す
るだけで拡張現実感システムを利用することができる。
例えば、ショッピング・モールでカメラ付き携帯端末を
かざしてＣＤショップを訪ねると、お薦めの新譜が端末
上で表示される。また、レストランの看板を見ると、料
理の感想が表示される。

【００１３】このような適用例においては、光学的信号
は、ＵＲＬ／ＵＲＩやＩＰアドレスなど、情報空間から
情報コンテンツを引き出すための資源識別子である。ま
た、カメラで撮影した画像中に存在する光学的信号は、
所望の情報コンテンツの格納場所へ探索するためのリン
ク情報若しくはアンカーとしての役割を持っている。

【００１４】ところが、光学的信号をカメラで捉えて、
リンク探索あるいは光学的信号に割り当てられているそ
の他の処理を起動するとき、ユーザの使い勝手の面で問
題がある。

【００１５】このような場合、ユーザはカメラ付き情報
端末をかざして、所望の光学的信号を検出したときに一
定の選択動作を端末上で行なうことになる。例えば、カ
メラを所望の実世界オブジェクト（例えばビルの看板な
ど）にかざした姿勢で選択することができればよいが、
手を伸ばしてオブジェクトに向けている姿勢のままで
は、実際にどの光学的信号を検出したかを確認すること
はできない。何故なら、端末の表示画面を見易い場所
（例えば体の前）に端末を移動させると、光学的信号は
もはやカメラの視野外に消え去ってしまうからである。

【００１６】また、ユーザがカメラ付き情報端末を所望
の視線方向にかざして撮影したとき、同じ画像フレーム
内に複数の光学的信号を検出することもある。このよう
な場合、撮影画像の中から所望の光学的信号を選択、あ
るいは選択確定操作しなければならないが、カメラをか
ざした姿勢では複雑な端末操作を行なうことはできな
い。また、端末画面を見易い場所に移動させると、光学
的信号は画面フレームから振り切れてしまうので、正確
に選択できなくなる。

【００１７】本発明は、上述したような技術的課題を鑑
みたものであり、その主な目的は、表示画面を介してユ
ーザの選択操作を受容して所定の処理を好適に起動する
ことができる、優れた情報処理装置及び情報処理方法、
記憶媒体、並びにコンピュータ・プログラムを提供する
ことにある。

【００１８】本発明のさらなる目的は、実世界風景の撮
影画像上での好適なユーザ操作環境を提供することがで
きる、優れた情報処理装置及び情報処理方法、記憶媒
体、並びにコンピュータ・プログラムを提供することに
ある。

【００１９】本発明のさらなる目的は、視認性の識別情
報が配置された実世界風景の撮影画像から所望の識別情
報を選択するための好適な操作環境を提供することがで
きる、優れた情報処理装置及び情報処理方法、記憶媒
体、並びにコンピュータ・プログラムを提供することに
ある。

【００２０】

【課題を解決するための手段及び作用】本発明は、上記
課題を参酌してなされたものであり、その第１の側面
は、ユーザ操作に応答して所定の処理を起動する情報処
理装置又は情報処理方法であって、視認性の識別情報を
含んだ実世界上の風景画像を入力する画像入力手段又は
ステップと、入力画像に含まれる視認性の識別情報を復
号化する復号化手段と、入力画像と復号化結果を関連付
けて保存する記憶手段又はステップと、前記記憶手段又
はステップで記憶された入力画像を表示する画像表示手
段又はステップと、前記画像表示手段又はステップの表
示画面上に出現する視認性の識別情報に対するユーザ選
択操作を受容するユーザ入力手段又はステップと、ユー
ザが選択した視認性の識別情報に対応する処理サービス
を起動するサービス実行手段又はステップと、を具備す
ることを特徴とする情報処理装置又は情報処理方法であ
る。

【００２１】ここで、前記視認性の識別情報は、例え
ば、データを構成するバイト列を光学的に分別可能な１
以上のパターンとして表示されるが、勿論、ビジュアル
コードなどその他の形態の視認性データであってもよ
い。

【００２２】本発明の第１の側面に係る情報処理装置又
は情報処理方法は、光学的信号をデータ伝送媒体とする
データ通信を利用した拡張現実感システムに適用するこ
とができる。拡張現実感システムでは、ユーザの近傍や
視界中にある実世界の事物に応じた情報を光学的信号に
よって提示することによって、ネットワーク上にある膨
大な情報を利用して日常生活のあらゆる局面を支援す
る。そして、ユーザはカメラなどの光学的信号を検出す
る機能を装備した情報端末を保持するだけで、拡張現実
感システムを利用することができる。

【００２３】このような場合、ユーザはカメラ付き情報
端末をかざして、所望の光学的信号を検出したときに一
定の選択動作を端末上で行なうことになる。ところが、
カメラを所望の実世界オブジェクト（例えばビルの看板
など）にかざした姿勢では、カメラの撮影画像を確認す
ることができない。また、端末の表示画面を見ようとす
ると、光学的信号はもはやカメラの視野外に消え去って
しまう。同じ撮影画像の中に複数の光学的信号を検出し
た場合、撮影画像を見ながらでないと所望の光学的信号
を正確に選択できない。

【００２４】これに対し、本発明の第１の側面に係る情
報処理装置又は情報処理方法によれば、ユーザは、所望
の実世界風景画像をカメラなどで捕捉して、この入力画
像に含まれる視認性の識別情報が検出されて、復号化さ
れた識別情報は入力画像と対応付けて記録される。この
ようにして実世界風景の撮影を終えると、ユーザは、改
めて画面表示されている撮影画像を利用して、楽な姿勢
で視認性識別情報を取捨選択して、所望の処理サービス
を起動することが可能である。

【００２５】また、あちらこちらで、実世界風景を何枚
も記録しておいて、時間のあるときにゆっくりと撮影画
像を眺めて所望の識別情報を用いて処理サービスを起動
するといった使い方も可能である。

【００２６】また、モニタに設置された視認性の識別情
報がモニタの内容に従って識別情報のコードが変化する
ような場合には、ユーザが識別情報を確認し選択してい
る間に、情報の内容が変わってしまうことも考えられ、
ユーザにとってはとても使い勝手が悪い。これに対し、
本発明によれば、こういった場合にも、画像を撮影して
おくことで簡単に識別情報を記録することができるの
で、視認性の識別情報を確実に取得することでき、その
効力は絶大である。

【００２７】また、本発明の第２の側面は、ユーザ操作
に応答した所定の動作を起動するための処理をコンピュ
ータ・システム上で実行するように記述されたコンピュ
ータ・ソフトウェアをコンピュータ可読形式で物理的に
格納した記憶媒体であって、前記コンピュータ・ソフト
ウェアは、視認性の識別情報を含んだ実世界上の風景画
像を入力する画像入力ステップと、入力画像に含まれる
視認性の識別情報を復号化する復号化ステップと、入力
画像と復号化結果を関連付けて保存する記憶ステップ
と、前記記憶ステップにおいて記憶された入力画像を表
示する画像表示ステップと、前記画像表示ステップにお
いて表示される画面上に出現する視認性の識別情報に対
するユーザ選択操作を受容するユーザ入力ステップと、
ユーザが選択した視認性の識別情報に対応する処理サー
ビスを起動するサービス実行ステップと、を具備するこ
とを特徴とする記憶媒体である。

【００２８】本発明の第２の側面に係る記憶媒体は、例
えば、さまざまなプログラム・コードを実行可能な汎用
コンピュータ・システムに対して、コンピュータ・ソフ
トウェアをコンピュータ可読な形式で提供する媒体であ
る。このような媒体は、例えば、ＤＶＤ（Digital Vers
atile Disc）やＣＤ（Compact Disc）、ＦＤ（Flexible
Disk）、ＭＯ（Magneto-Optical disc）などの着脱自
在で可搬性の記憶媒体である。あるいは、ネットワーク
（ネットワークは無線、有線の区別を問わない）などの
伝送媒体などを経由してコンピュータ・ソフトウェアを
特定のコンピュータ・システムに提供することも技術的
に可能である。

【００２９】また、本発明の第２の側面に係る記憶媒体
は、コンピュータ・システム上で所定のコンピュータ・
ソフトウェアの機能を実現するための、コンピュータ・
ソフトウェアと記憶媒体との構造上又は機能上の協働的
関係を定義したものである。換言すれば、本発明の第２
の側面に係る記憶媒体を介して所定のコンピュータ・ソ
フトウェアをコンピュータ・システムにインストールす
ることによって、コンピュータ・システム上では協働的
作用が発揮され、本発明の第１の側面に係る情報処理装
置又は情報処理方法と同様の作用効果を得ることができ
る。

【００３０】また、本発明の第３の側面は、ユーザ操作
に応答した所定の動作を起動するための処理をコンピュ
ータ・システム上で実行するようにコンピュータ可読形
式で記述されたコンピュータ・プログラムであって、視
認性の識別情報を含んだ実世界上の風景画像を入力する
画像入力ステップと、入力画像に含まれる視認性の識別
情報を復号化する復号化ステップと、入力画像と復号化
結果を関連付けて保存する記憶ステップと、前記記憶ス
テップにおいて記憶された入力画像を表示する画像表示
ステップと、前記画像表示ステップにおいて表示される
画面上に出現する視認性の識別情報に対するユーザ選択
操作を受容するユーザ入力ステップと、ユーザが選択し
た視認性の識別情報に対応する処理サービスを起動する
サービス実行ステップと、を具備することを特徴とする
コンピュータ・プログラムである。

【００３１】本発明の第３の側面に係るコンピュータ・
プログラムは、コンピュータ・システム上で所定の処理
を実現するようにコンピュータ可読形式で記述されたコ
ンピュータ・プログラムを定義したものである。換言す
れば、本発明の第３の側面に係るコンピュータ・プログ
ラムをコンピュータ・システムにインストールすること
によって、コンピュータ・システム上では協働的作用が
発揮され、本発明の第１の側面に係る情報処理装置又は
情報処理方法と同様の作用効果を得ることができる。

【００３２】本発明のさらに他の目的、特徴や利点は、
後述する本発明の実施形態や添付する図面に基づくより
詳細な説明によって明らかになるであろう。

【００３３】

【発明の実施の形態】以下、図面を参照しながら本発明
の実施形態について詳解する。

【００３４】Ａ．データ通信システムの構成 本発明は、視認性の識別情報をカメラで撮影して認識す
ることによりデータ伝送が行なわれるというユビキタス
・ネットワークを利用して実現される。すなわち、実世
界上に存在する物理オブジェクトに対して複数の光学的
な識別情報を取り付けるとともに、これを２次元イメー
ジ・センサで撮影して画像処理・画像認識することによ
り、オブジェクトからの送信データを解釈する。

【００３５】実世界オブジェクトに取り付ける光学的な
識別情報として、色の空間パターンに符号化されたビジ
ュアルコードの他に、ＬＥＤのような点滅する光源から
なる光学的信号を利用することができる。後者の場合、
時系列的な点滅パターンで構成される信号に符号化して
データを送信することにより、距離に対してロバストな
データ通信を行なうことができる。

【００３６】また、イメージ・センサは、例えばＣＭＯ
Ｓ（Complementary Metal Oxide Semiconductor）セン
サやＣＣＤ（Charge Coupled Device）センサなどのよ
うに、無数の受光素子すなわち画素が２次元アレイ上に
配置された構成であり、光学信号並びにその空間的情報
を全画素でデコードする。イメージ・センサは、普通の
カメラとしてシーンを撮影するとともに、そのイメージ
・センサの視界中に配置された光学的信号を長距離から
受信することができる。

【００３７】まず、光学的信号をデータ伝送媒体として
用いたデータ通信システムの原理について説明する。

【００３８】図１には、光学的信号を使用するデータ通
信システム１０の構成を模式的に示している。同図に示
すように、このデータ通信システム１０は、実空間に散
在する各オブジェクトに設置された送信機２０Ａ，２０
Ｂ，２０Ｃ…と、ユーザが携行して用いる受信機５０と
で構成される。

【００３９】送信機２０は、送信データとしてのバイト
列を光学的に分別可能な１以上のパターンとして表示し
た光学的信号を送出する。一方の受信機５０は、表示さ
れた光学的パターンを受光して、その受光画像を認識し
て、光学的信号が表わす点滅パターンを基に送信された
バイト列を算出するとともに、光学的信号の受光面上で
の検出位置を算出する。そして、バイト列と受光位置の
組み合わせに応じた処理サービスを実行する。

【００４０】各送信機２０Ａ…は、ビルの外壁や看板な
ど実世界オブジェクト表面の見え易い場所に設置されて
おり、１又はそれ以上の発光部を備えている。発光部
は、例えばマイコン制御のＬＥＤで構成される。そし
て、所定ビット長のデジタル形式の送信データを所定の
変調方式により変調し、ＬＥＤの点灯でビット１を表す
とともに消灯でビット０を表すという表示形式に符号化
して、所定ビット（仮にＮビットとする）長の送信デー
タに相当する光学的信号を生成する。このような送信機
のことを、以下では、「光ビーコン」とも呼ぶ。

【００４１】各送信機２０Ａ…が送出する送信データと
しては、オブジェクトのＩＤやそのネットワーク・アド
レス、ホスト・ネーム、ＵＲＬやＵＲＩなどの資源識別
子、その他のオブジェクト関連情報などが挙げられる。

【００４２】図２には、送信機２０の内部構成を模式的
に示している。同図に示すように、送信機２０は、送信
データ生成部２１と、データ処理部２２と、パターン表
示部２３で構成される。

【００４３】送信データ生成部２１では、本システム１
０の送信用データとして任意のバイト列を生成する。こ
れは、例えば、ボタンやジョイスティックやトラック・
ボールなどのユーザからの入力を受け付ける入力回路と
Ａ/Ｄ変換回路の組み合わせで構成される。あるいは、
有線又は無線の通信媒体を介してインターフェース接続
されたパーソナル・コンピュータのような外部機器（図
示しない）から送信データを受け取ったり、不揮発性メ
モリから読み出された文字列やバイト列を送信データと
してもよい。

【００４４】情報処理部２２は、送信データ生成部から
データを読み込み、後述する手順により、パターンの系
列を生成する。生成したパターンは、パターン表示部２
３に送られる。

【００４５】パターン表示部２３では、光学的に分別可
能な時間的又は空間的な複数のパターンを表示する。例
えば、ＬＥＤの点滅を用いることで０と１のビット系列
を表示する（時間的パターンの表示）ことができる。ま
た、複数（Ｎ個）のＬＥＤを２次元の格子上に並べ、各
ＬＥＤ がオン又はオフの状態をとることによって、Ｎ
ビットの情報を空間的パターンとして表示することがで
きる。

【００４６】送信機２０のデータ転送レートは、ＬＥＤ
を点滅させる駆動速度によって決まる。例えば、現在市
販されている一般的な発光ダイオード製品であれば、４
ｋＨｚ程度の周波数で点滅駆動させることができる。但
し、これは、受信機５０側の受光ブロック５１が持つ応
答速度の制限を受ける。

【００４７】例えば、受光ブロック５１が２次元マトリ
ックス状に配設された受光部として、ＣＣＤイメージ・
センサを用いた場合、その応答速度は６０Ｈｚ程度であ
り、ＬＥＤの点滅データを送受信するには遅すぎる。他
方、前述したＣＭＯＳイメージ・センサであれば、１２
ｋＨｚ又はそれ以上の応答速度を持つので、送信機２０
側でＬＥＤを最高速で駆動させても、受信機５０側では
充分にその点滅パターンを検出することができるであろ
う。

【００４８】送信データを８ビット長とした場合、２５
５通りのデータを送信することが可能である。８ビット
長の送信データを４ｋＨｚのキャリアでマンチェスター
符号化して開始コードなどを含む２２ビット長のパケッ
トとして送信する。これにより、光学信号が障害物など
によってパケット送信中に隠れても、パケット単位でデ
ータを送ることができる。

【００４９】図３には、送信機２０内のデータ処理部２
２の内部構成を示している。図示の通り、送信データを
読み込むデータ入力部３１と、パターン生成の処理を実
行する中央処理装置（ＣＰＵ：Central Processing Uni
t）などの演算処理回路３２と、パターン生成用の実行
プログラムをロードしたりパターン生成処理時の作業デ
ータを一時的保存するためのＲＡＭ（Random Access Me
mory）３３と、演算処理回路３２で実行されるプログラ
ム・コードを保存するためのＲＯＭ（Read Only Memor
y）などのプログラム・メモリ３４と、生成されたパタ
ーンを出力するためのパターン出力部３５から構成され
る。また、演算処理回路３２と、入出力部３１，３５及
びメモリ３３，３４はバス３６によって結ばれている。

【００５０】一方の受信機５０は、図１に示したよう
に、複数（Ｍ個）の受光ブロック５１−１，５１−２，
…，５１−Ｍと、各受光ブロック５１−１…の出力を統
合処理するデータ処理部６０と、データ処理結果に従っ
て所定のサービスを実行するアプリケーション部７０と
で構成される。

【００５１】受光ブロック５１−１，５１−２…は、実
際には、図４に示すように、ｎ×ｍ（＝Ｍ）の２次元マ
トリックス状に配置されており、全体として２次元的な
受光面からなる受光部をなしている。このような受光部
は、例えばＣＭＯＳイメージ・センサを用いて構成する
ことができ、１つの画素が１つの受光ブロックに相当す
る。ＣＭＯＳイメージ・センサは、一般に、ＣＣＤセン
サに比し駆動速度が速いので、送信機側でＬＥＤを比較
的高い周波数で駆動させても、その点滅パターンを読み
取ることができる。

【００５２】図５には、受信機５０における１つの受光
ブロック５１の内部構成を模式的に示している。同図に
示すように、１つの受光ブロック５１は、受光量に応じ
た電気信号を生成する受光素子８１と、バンド・パス・
フィルタ（ＢＰＦ）８２と、フェーズ・ロック・ループ
（ＰＬＬ）８３と、Ａ／Ｄ変換器８４と、撮像データ保
存用メモリ８５と、２値化データ保存用メモリ８６と、
転送データ保存用メモリ８７と、受光ブロック５１内を
統括的にコントロールして同期駆動させるための制御部
８８とで構成される。

【００５３】受光素子８１は、ＣＭＯＳセンサ素子で構
成される。また、それ以外の受光素子駆動用、デコード
用の処理モジュールをＦＰＧＡ（Field Programmable G
ateArray）などのＩＣチップで構成することができる。
撮像データ保存用メモリ８５は、受信機５０がカメラと
して動作しているときに、受光素子８１に濃淡画素値を
一時的に保存するために使用される。

【００５４】送信機２０側からのＬＥＤの点滅データ
は、図示しない集光レンズ系を介して受光部の２次元受
光面上に結像され、２次元受光面上でＬＥＤの光軸に対
応する位置にある受光ブロックがその点滅パターンを検
出することができる。また、ＣＭＯＳイメージ・センサ
からなる受光部は、各画素すなわち受光ブロック毎に単
にＬＥＤの点滅信号を検出するだけでなく、受光面に結
像された画像を撮影するカメラとしても機能する。

【００５５】データ収集部６０は、各受光ブロック５１
−１…の出力を統合的に処理する。その処理内容は、各
画素すなわち受光ブロック毎に検出されたＬＥＤの点滅
信号の処理と、２次元マトリックス状に配設された各受
光ブロック５１−１，…，１５１−Ｍにより撮像された
画像フレームの処理の２種類に大別される。

【００５６】図６には、受信機５０内のデータ処理部６
０の内部構成を模式的に示している。同図に示すよう
に、データ処理部６０は、受光部からの画像を読み込む
画像入力部６１と、パターンの検出及び位置の算出、抽
出パターンからのバイト列の算出を行う中央処理装置
（ＣＰＵ）などの演算処理回路６２と、実行プログラム
のロードや作業データの一時的な保存に使用するＲＡＭ
などのメモリ６３と、演算処理回路６２で実行されるプ
ログラム・コードを保存するためのＲＯＭなどのプログ
ラム・メモリ６４と、認識されたパターンの種類・位置
と受信したバイト列を出力するための結果出力部６５を
備えている。また、演算処理回路６２と、入出力部６
１，６５及びメモリ６３，６４はバス６６によって結ば
れている。

【００５７】アプリケーション部７０は、データ処理部
６０によるデータ収集結果に従って所定のサービスを実
行する。例えば、アプリケーション部７０は、カメラと
して機能する受光部から得られた撮影画像に対して画像
処理や画像認識を行なう以外に、データ収集結果を基に
復号された送信機２０からの送信データに対応する処理
サービスを実行する。

【００５８】送信機２０からの送信データは、機器Ｉ
Ｄ、ネットワーク・アドレス、ホスト・ネーム、ＵＲＬ
やＵＲＩなどの資源識別子、その他のオブジェクト関連
情報などであり、アプリケーション部７０は、オブジェ
クトに関連した処理を行うことができる。例えば、受信
した光学信号から復号されたＵＲＬを基にオブジェクト
に関連する情報をＷＷＷ（World Wide Web）情報提供空
間で探索したり、探索結果を表示したり、さらにカメラ
として撮影した画像の上に探索結果をオーバーレイ表示
させたりすることができる（ＮａｖｉＣａｍ）。また、
デコードされたオブジェクトの機器ＩＤやネットワーク
・アドレスを基に、オブジェクトとユーザ端末とのネッ
トワーク接続を確立させたりすることができる（ｇａｚ
ｅ−ｌｉｎｋ）。

【００５９】受信機５０は、例えば、ＣＭＯＳイメージ
・センサを使用するデジタル・カメラをＵＳＢ（Univer
sal Serial Bus）などのインターフェース経由でコンピ
ュータに接続することによって構成される。このような
場合、アプリケーション部７０は、コンピュータ上で実
行されるアプリケーションに相当し、デジタル・カメラ
から入力される撮影（シーン）画像に、光学信号から復
号されたデジタル・データに基づくコンピュータ画像を
重畳した合成画像を表示したりすることができる。

【００６０】デジタル・カメラのようにシーンを撮影す
るイメージ・センサに受信機５０としての機能を付加的
に装備することができる。例えば高速な点滅パターンと
して光学信号を送信する場合、高速にサンプリング可能
なデバイスであるＣＭＯＳイメージ・センサを適用す
る。一般的なデジタル・カメラは３０ｆｐｓで撮影して
いるが、これ以上高速化しても人の動画認識能力を越え
てしまう。このことから、３０ｆｐｓでシーンを撮像す
る「カメラ・モード」以外の余った時間を利用して光学
信号を受信処理する「デコード・モード」を設けること
により、ＣＭＯＳイメージ・センサに付加価値を与える
ことができる。

【００６１】デコード・モードでは、例えば１２ｋＨｚ
のサンプリングを２００回繰り返し、送信機２０側で送
出するキャリア周波数４ｋＨｚの８ビットの光学信号を
イメージ・センサのすべての受光ブロックでデコードし
て、１５ｆｐｓで光学信号の受信・認識画像を作成する
ことができる。この認識画像は、画像の各画素の値がデ
コードした結果であり、光学信号が表現する送信データ
と、光学信号を発する送信機の空間的情報（すなわち実
世界オブジェクトが持つ実世界状況）の双方を含んであ
る。

【００６２】図１に示したデータ通信システム１０で
は、送信機２０は、送信データとしてのバイト列を光学
的に分別可能な１以上のパターンとして表示することに
より、データを送出する。一方の受信機５０は、表示さ
れた光学的パターンを２次元受光面で受光して、その受
光画像を認識して、光学的パターンの系列を基に送信さ
れたバイト列を算出するとともに、光学的パターンの受
光面上での位置を算出する。そして、送信機２０が出力
する表示パターンの位置が画像フレーム間で変化する場
合にも、その位置をトラッキングすることにより、任意
のバイト列の受信を可能にする。

【００６３】図７には、送信機２０側のデータ送信処理
手順をフローチャートの形式で示している。

【００６４】まず、送信すべきデータ（バイト列）の１
フレーム分のデータをデータ入力部３１より読み込む
（ステップＳ１）。

【００６５】次いで、前ステップで取得したデータを、
図８に示すようなデータ・フレームの形式（後述）に変
換して、メモリ３３上に一時保存する（ステップＳ
２）。

【００６６】次いで、生成したデータ・フレームをメモ
リ３３から読み出して、パターン表示部３５において、
ＬＥＤ光の点滅や光の強弱の変化など光学的に分別可能
なパターンを表示することによって、データ送出する
（ステップＳ３）。

【００６７】次いで、データ送信を継続するか又は中止
するか判定をする（ステップＳ４）。そして、データの
送信を続ける場合には、ステップＳ１へ戻り、上述と同
様の光学的パターンの表示処理を行なう。

【００６８】図８には、光学的信号を利用したデータ通
信システム１０においてデータ伝送に使用されるデータ
・フレームの形式を示している。

【００６９】このデータ・フレームの先頭には、フレー
ム開始を示すバイト列（開始コード）が配置される。こ
のバイト列は、ここ以外の場所では生じない固有のバイ
ト列が使用される。

【００７０】次に、送信データ（ペイロード）が所定の
長さで格納される。ペイロードを可変長にする場合に
は、先頭にペイロード（又はフレーム）のサイズを格納
するようにすればよい。

【００７１】データ・フレームの最後尾には、送信した
データ列に誤りがないかをチェックするためのチェック
サムを付加する。但し、このチェックサムは必須ではな
く、省略しても構わない。また、ペイロードやチェック
サムに、開始コードと同じバイト列が生じる場合には、
他のバイト列に変換する必要がある。

【００７２】ここで、上記の開始コードがデータ部とチ
ェックサムに生じないようにするための変換方法の一例
を説明しておく。この例では、開始コードがＡ₁，Ａ₂，
Ａ₃，Ａ₄という最小送信データの系列であるとし、Ａ₁
からＡ₄は互いに異なる値である。

【００７３】まず、ペイロードとチェックサム部のデー
タを順に調べる。そして、Ａ₁、Ａ₂、Ａ₃というパター
ンが見付かったら、これをＡ₁、Ａ₂、Ａ₃、Ｂというパ
ターンに置き換える。但し、ＢはＡ₁からＡ₄とは異なる
値である。この変換により、開始コードはペイロードや
チェックサムには生じない系列となる。

【００７４】次いで、逆変換の方法について述べる。逆
変換では、データの先頭から順にＡ ₁、Ａ₂、Ａ₃、Ｂと
いう系列を探し、これをＡ₁、Ａ₂、Ａ₃という系列に変
換する。この逆変換により、データ列は変換前のデータ
に戻る。

【００７５】図９には、図７に示したデータ送信処理の
うち、ステップＳ３におけるデータ・フレーム生成の詳
細な処理手順をフローチャートの形式で示している。

【００７６】まず、何個のパターンを送信したかを計数
するパターン・カウンタｋを、初期値０に設定する（ス
テップＳ１１）。

【００７７】次いで、データ・フレーム用のメモリ３３
から、ｋ番目の最小送信データを読み込んで、表示用の
パターンに変換する（ステップＳ１２）。最小送信デー
タは、変換テーブルを用いて、表示パターンに変換され
る。

【００７８】次いで、パターンをパターン表示部２３に
転送して、光の点滅や強弱の変化など光学的に分別可能
なパターンの表示によってデータ送出を行なう（ステッ
プＳ１３）。

【００７９】次いで、パターン・カウンタｋを１だけ増
分する（ステップＳ１４）。そして、データ・フレーム
内のデータをすべて送信したかをチェックし（ステップ
Ｓ１５）、送信していないデータがあれば、ステップＳ
１２へ戻り、次の最小単位のデータの送出を行なう。

【００８０】このようにして送信機から表示パターンを
切り替えることにより、バイト列を送信することができ
る。次に、受信機でのデータの受信方法について説明す
る。

【００８１】図１０には、パターン表示部２３から光学
的に分別可能なパターンの形式で送出されたデータを受
信機５０側で受信処理するための手順をフローチャート
の形式で示している。この受信処理は、実際には、デー
タ処理部６０が受光部５０による受光画像を認識処理す
ることによって実現される。

【００８２】まず、画像の読み込みとパターンの認識を
行う（ステップＳ２１）。パターンの認識方法は、表示
パターンとして何を用いるかによって異なる。本実施形
態では、受光画像上に存在するすべての光学的パターン
と、各光学的パターンの位置が検出される。

【００８３】次いで、認識されたパターンをＮビットの
バイト列（最小送信データ）に変換することにより送信
データを復元する（ステップＳ２２）。この変換テーブ
ルは、送信機２０側で最小送信データからパターンに変
換するために使用した変換テーブル（上述）の逆変換で
ある。

【００８４】次いで、受光面で受光したすべてのパター
ンを作業用メモリ５４内に設けられたデータ・バッファ
に登録する（ステップＳ２３）。登録方法の詳細につい
ては後述に譲る。

【００８５】次いで、終了判定を行なう（ステップＳ２
４）。そして、データの受信を続ける場合には、ステッ
プＳ２１に戻って、上述と同様の最小送信データ単位で
の送信データの復号処理を続行する。

【００８６】図１１には、作業メモリ５４内に設けられ
た受信データ・バッファの構成を模式的に示している。
同図を参照しながら、ステップＳ２３における受信パタ
ーンの登録方法について説明する。

【００８７】データ・バッファは、認識されたパターン
の系列毎、すなわち送信機毎にエントリが用意される。
図１１に示すように、各エントリは、受光面上でパター
ンが検出された位置（Ｘ，Ｙ）と、受光パターンを変換
して得たバイト系列の組み合わせで構成される。

【００８８】受光面上では、時々刻々と光学的パターン
が受光される。そして、変換テーブルを用いて光学的パ
ターンを変換してバイト系列を得ると、これを該当する
エントリに登録する。ここで言う登録は、バイト系列に
逐次連結していくことを意味する。バイト系列の連結に
より最終的に生成されたバイト系列が、該当する送信機
から送られたデータとなる。図１１に示す例では、受光
面上の各点（Ｘ₁，Ｙ₁），（Ｘ₂，Ｙ₂），（Ｘ₃，
Ｙ₃），（Ｘ₄，Ｙ₄），…で検出された光ビーコンから
の送信データ１〜４が各エントリに格納されている。

【００８９】Ｂ．拡張現実感システム 上述の光学的信号を利用したデータ通信システムを拡張
現実感システムに適用すれば、ユーザの位置などの実世
界情報を利用したサービスを提供することができる。こ
の場合、ユーザは携帯端末を保持するだけで、システム
はユーザの近傍や視界中にある実世界の事物に応じた情
報を提示して、ネットワーク上にある膨大な情報を利用
して日常生活のあらゆる局面を支援することができる。

【００９０】例えば、ＬＥＤを光源とする送信機を看板
や照明、ビルのランプ、信号機など実世界上の所定の場
所に設置されている。ユーザは、受信機としてのカメラ
が搭載された（あるいは接続された）ＰＤＡなどの情報
端末でレストランの看板を見ると、送信機から光学的信
号の形式で発信されるレストランのオブジェクトＩＤを
取得することができる。さらに、このオブジェクトＩＤ
をデータベースで検索することにより、レストランのメ
ニューなどの情報を取り出して、ＰＤＡの画面上に表示
することができる。

【００９１】また、カメラ付き情報端末で目の前の映画
のポスターを眺めると、ポスターの近傍に設置されてい
る送信機から映画のＩＤ情報を取得し、このＩＤ情報に
基づいてデータベース検索することにより、映画の予告
編動画を取り出して、情報端末の画面に表示出力する。

【００９２】また、カメラ付き情報端末で遠くのビルや
架橋などの建造物を眺めると、これら建造物に取り付け
られたランプの点滅によって建造物のＩＤ情報を抽出し
て、このＩＤ情報に基づいてデータベースを検索するこ
とにより、建造物又はその近所で催されるイベント情報
を取り出して、情報端末の画面に表示出力する。

【００９３】図１２には、本実施形態に係る拡張現実感
システム１００の構成を模式的に示している。

【００９４】この拡張現実感システム１００は、実世界
上の各オブジェクトに設置された光ビーコン１１０と、
実世界の風景を撮像するとともに光ビーコン１１０が照
射される光学的信号を認識するＩＤ認識カメラ付き情報
端末１３０と、情報端末１３０に対してさまざまな情報
サービスを提供するサービス・プロバイダ（サーバ）１
５０とで構成されている。

【００９５】光ビーコン１１０は図１に示した送信機２
０に相当し、また、ＩＤ認識カメラ付き情報端末１３０
は受信機５０に相当し、これらの間は光学的信号に基づ
くデータ通信システムによって一方向で接続されてい
る。

【００９６】また、情報端末１３０とサービス・プロバ
イダ１５０の間は、例えばインターネットのような広域
的なコンピュータ・ネットワークを介して相互接続され
ている。

【００９７】情報端末１３０は、例えばＰＤＡや携帯電
話機などのように小型に構成されて、各ユーザが所持し
ているものとする。また、図１２には、光ビーコン１１
０並びにサービス・プロバイダ１５０をそれぞれ１つず
つしか描いていないが、勿論、さまざまな実世界オブジ
ェクト（街角の広告看板やポスター、建物の外壁など）
の近傍に無数の光ビーコンが散在してそれぞれ固有のデ
ータを送出したり、無数のサービス・プロバイダ１５０
がコンピュータ・ネットワーク上に存在してさまざまな
情報サービスを提供していてもよい。

【００９８】図１３には、ＩＤ認識カメラ付き情報端末
１３０の内部構成をさらに示している。

【００９９】ＩＤ認識カメラ部１３１は、受光部５０及
びデータ処理部６０に相当し、実世界の風景を撮像する
「カメラ・モード」と、前項Ａで示したように仕組みに
従い、光ビーコン１１０からの送信信号をデコードする
「デコード・モード」という２通りの動作モードを時分
割形式で実行する。

【０１００】コンピュータ部１３２は、アプリケーショ
ン部７０に相当し、ＣＰＵとＲＡＭ、ＲＯＭなどで構成
され、ＣＰＵがオペレーティング・システム（ＯＳ）が
提供する実行環境下でコンピュータ・プログラムを起動
することによりさまざまな処理サービスを行なう。例え
ば、コンピュータ部１３２は、情報端末１３０本体の処
理サービス以外にＩＤ認識カメラ部１３１のカメラ・モ
ード下における実世界撮像画像とデコード・モード下に
おける光学的信号のデコード結果を統合した拡張処理サ
ービスを行なう。なお、ＣＰＵの実行プログラムはＲＯ
Ｍ上に恒久的に書き込まれ、あるいはコンピュータ・ネ
ットワーク経由でダウンロードされ、ＲＡＭ上にロード
して処理される。

【０１０１】コンピュータ部１３２は、情報端末１３０
本体のユーザ・インターフェースとしての表示部（例え
ば液晶ディスプレイ）１３３並びにユーザ入力部１３４
を備えている。

【０１０２】表示部１３３上では、通常の端末オペレー
ション画面以外に、ＩＤ認識カメラ部１３１において撮
像された実世界風景画像を表示したり、受信した光学的
信号のデコード結果などの拡張処理サービス画面を表示
する。

【０１０３】また、ユーザ入力部１３４は、通常の端末
入力機能以外に、キャプチャ・ボタン（後述）や拡張処
理サービス画面上で光ビーコンの選択機能を備えてい
る。ユーザ入力部１３４は、ボタンやカーソル・ボタ
ン、ジョグダイヤル、トラックボールなどの入力操作を
行なう装置で構成される。本実施形態では、これら操作
部の一部は、キャプチャ・ボタン、選択ボタン、ＥＸＩ
Ｔボタン（後述）に割り当てられている。また、カーソ
ル・ボタンは、押下操作に応答して左右方向に傾いてそ
の傾いた方向をコンピュータ部１３２に伝達するために
使用される。

【０１０４】画像＆ＩＤ記憶部１３５は、ＩＤ認識カメ
ラ部１３１において撮像された実世界風景画像、並び
に、該風景画像上で検出された１以上の光学的信号のデ
コード結果を関連付けて保存する。画像＆ＩＤ記憶部１
３５は、例えばＮＶＲＡＭやフラッシュ・メモリのよう
な不揮発性半導体メモリ、あるいはハード・ディスク装
置などで構成される。

【０１０５】コンピュータ部１３２は、ネットワーク・
インターフェース部１３６を介して外部のコンピュータ
・ネットワークに接続されている。ネットワーク・イン
ターフェース部１３６は、例えばＴＣＰ／ＩＰなどのネ
ットワーク・プロトコルを実装したり、あるいは携帯電
話網、有線又は無線ＬＡＮ、ＵＳＢ（Universal Serial
Bus）、ＩＥＥＥ１３９４、Ｂｌｕｅｔｏｏｔｈなどを
経由してコンピュータ・ネットワークに接続することが
できる。

【０１０６】ユーザは、情報端末１３０の拡張処理サー
ビスを起動後、ＩＤ認識カメラ１３１を所望の光ビーコ
ン１１０の方に向ける。この結果、表示部１３３の画面
上にはカメラの画像とともに、光ビーコン１１０から得
た情報又はその情報を基にネットワーク経由でサービス
・プロバイダ１５０から提供される情報が併せて表示さ
れる。

【０１０７】図１２に示すような拡張現実感システム１
００においては、光ビーコン１１０から送出される情報
に、実世界オブジェクトに関連する情報を提供できるサ
ービス・プロバイダ１５０のネットワーク上のアドレス
や、ＵＲＬなどの情報資源を特定する識別子などが含ま
れていれば、携帯端末のネットワーク接続機能を用いて
そのサービス・プロバイダ１５０にアクセスし、所望の
サービスを受けることが可能である。

【０１０８】すなわち、情報端末１３０に内蔵されたＩ
Ｄ認識カメラ１３１の視線方向を所望の実世界オブジェ
クト又はその光ビーコン１１０に向け、情報端末１３０
の表示部１３３に光ビーコンが認識されたことが示され
たときに、もしその情報にアクセスしたければ、選択ボ
タンを押すという操作によりサービスの起動が行なわれ
る。

【０１０９】ところが、ユーザは、ＩＤ認識カメラ付き
情報端末１３０を所望の実世界オブジェクト（例えばビ
ルの看板など）にかざした姿勢で選択することができれ
ばよいが、手を伸ばしてオブジェクトに向けている姿勢
のままでは、実際にどの光学的信号を検出したかを確認
することはできない。何故なら、端末１３０の表示画面
を見易い場所（例えば体の前）に端末を移動させると、
光ビーコン１１０はもはやＩＤ認識カメラ１３１の視野
外に消え去ってしまうからである。

【０１１０】また、ユーザがＩＤ認識カメラ付き情報端
末１３０を所望の視線方向にかざして撮影したとき、同
じ画像フレーム内に複数の光ビーコンを捕捉することも
ある。このような場合、撮影画像の中から所望の光ビー
コンを選択、あるいは選択確定操作しなければならない
が、カメラをかざした姿勢では複雑な端末操作を行なう
ことはできない。また、端末画面を見易い場所に移動さ
せると、光学的信号は画面フレームから振り切れてしま
うので、正確に選択できなくなる。

【０１１１】そこで、本実施形態に係るＩＤ認識カメラ
付き情報端末１３０においては、キャプチャ・ボタン並
びに画像＆ＩＤ記憶部１３５を備え、ＩＤ認識カメラ１
３１を光ビーコンにかざしていない状態でも光ビーコン
の選択動作を行なえるように構成した。ユーザは、所望
の実世界オブジェクトの方に情報端末１３０を向けて、
所望の光ビーコンをＩＤ認識カメラ１３１で捕捉したと
き、すなわち情報端末１３０の表示部１３３に光ビーコ
ンが認識されたことが示されたときに、キャプチャ・ボ
タンを押下操作する。情報端末１３０側では、この押下
操作に応答して、撮影画像と画像の中から検出されたＩ
Ｄ（光ビーコン１１０から受信した情報）を画像＆ＩＤ
記憶部１３５に記録する。このようにして光ビーコンの
撮影を終えると、ユーザは、改めて表示部１３３で表示
されている撮影画像を利用して、楽な姿勢で光ビーコン
の取捨選択を行なうことが可能である。

【０１１２】また、あちらこちらで、実世界風景を何枚
も記録しておいて、時間のあるときにゆっくりと撮影画
像を眺めて所望の光ビーコンの情報にアクセスするとい
った使い方も可能である。

【０１１３】また、モニタに設置された光ビーコンがモ
ニタの内容に従って光ビーコンのコードが変化するよう
な場合には、ユーザが光ビーコンを確認し選択している
間に、光ビーコンの情報が変わってしまうことも考えら
れ、ユーザにとってはとても使い勝手が悪い。これに対
し、本実施形態によれば、こういった場合にも、キャプ
チャ・ボタンを押すことで簡単に光ビーコンを記録する
ことができるので、光ビーコンの情報を確実に取得する
ことでき、その効力は絶大である。

【０１１４】図１４には、ＩＤ認識カメラ付き情報端末
１３０を用いて実世界上の光ビーコン１１０から照射さ
れる光学的信号を基に実現される情報処理サービスの様
子を図解している。但し、図示の例では、あるビル上に
設置されている３つの光ビーコン１１０−１〜１１０−
３を同時に捕捉しているものとする。また、図１５に
は、光ビーコン１１０を利用した情報処理サービスの処
理手順をフローチャートの形式で示している。この情報
処理サービスは、実際には、コンピュータ部１３２内の
ＣＰＵが所定のプログラム・コードを実行するという形
態で実現される。

【０１１５】以下、図１４及び図１５を参照しながら、
光ビーコン１１０を利用した情報処理サービスについて
説明する。

【０１１６】まず、情報端末１３０に搭載されているＩ
Ｄ認識カメラ１３１がビルや広告看板を含む実世界風景
を撮影して、その撮影画像に含まれている光ビーコン１
１０−１〜１１０−３から識別情報を取得する（ステッ
プＳ１）。ここで言う識別情報とは、光ビーコン１１０
が送出する光の点滅パターンから復号される送信データ
と、撮影画像上で光ビーコンが検出された位置（ＸＹ座
標系で表わされる）のことである。

【０１１７】次いで、表示部１３３では、ＩＤ認識カメ
ラ１３１によって撮影された実世界風景画像を表示出力
する。このとき、先行ステップＳ１により取得された識
別情報を、各光ビーコン１１０−１〜１１０−３を検出
した場所又はその近傍にオーバーレイ表示する（ステッ
プＳ２）。識別情報の表示形態は、文字、アイコンなど
特に限定されない。例えば、図１４に示すように「吹き
出し」を用いてもよい。

【０１１８】ここで、ユーザがキャプチャ・ボタン１３
３Ａを押下操作したときには（ステップＳ３）、これに
応答して、ＩＤ認識カメラ１３１による実世界の撮影画
像を、取得された識別情報と関連付けて、画像＆ＩＤ記
憶部１３５に記録する（ステップＳ４）。

【０１１９】また、キャプチャ・ボタン１３３Ａが押さ
れなければ、ステップＳ１に戻って、上述と同様に、Ｉ
Ｄ認識カメラ１３１が実世界風景を撮影して、撮影画像
に含まれる光ビーコン１１０から発される識別情報を解
析して、表示部１３３の表示画面上で解析結果を撮影画
像にオーバーレイ表示させる。

【０１２０】このように撮影画像と画像の中から検出さ
れたＩＤ（光ビーコン１１０から受信した情報）を画像
＆ＩＤ記憶部１３５に記録することにより、ステップＳ
５以降では、光ビーコンの撮影を終えた後、ユーザは、
改めて表示部１３３で表示されている撮影画像を利用し
て、楽な姿勢で光ビーコンの取捨選択を行なうことが可
能である。また、あちらこちらで、実世界風景を何枚も
記録しておいて、時間のあるときにゆっくりと撮影画像
を眺めて所望の光ビーコンの情報にアクセスするといっ
た使い方も可能である。

【０１２１】図１６には、表示部１３３の表示画面上で
提示されている拡張サービス画面の構成例を示してい
る。

【０１２２】画像＆ＩＤ記憶部１３５から所望の撮影画
像を取り出して、図１６（Ａ）に示すように、撮影画像
とこれに含まれる光ビーコン１１０−１〜１１０〜３か
ら得られた識別情報がオーバーレイ表示される（ステッ
プＳ５）。図示の画面上では、各光ビーコン１１０−１
〜１１０−３の表示位置には識別情報が表わすＵＲＬな
どのリンク先情報や、その他の情報処理サービスを起動
するためのアンカーが埋設されている。図示の例では、
各光ビーコン１１０−１〜１１０−３がそれぞれレコー
ド店Ａ、レストランＢ、エリア情報Ｃというメニューに
相当する。

【０１２３】ユーザは、このような表示画面上で、カー
ソル・ボタン１３４Ｄを用いて上下移動することによ
り、所望のメニューを選択することができる。選択状態
のメニューは、例えば強調表示（又は反転表示）に切り
替えられる。図１６（Ａ）ではレストランＢが選択され
ており、図１６（Ｂ）ではカーソル移動によりエリア店
情報Ｃが選択されている。

【０１２４】ここで、興味のあるメニューを発見できな
かった場合には、ＥＸＩＴボタン１３４Ｅを押下操作す
ることにより、表示中の実世界風景画像の処理を終了す
ることができる（ステップＳ６）。この場合、ステップ
Ｓ１に戻って、上述と同様に、ＩＤ認識カメラ１３１が
次の実世界風景を撮影して、撮影画像に含まれる光ビー
コン１１０から発される識別情報を解析して、表示部１
３３の表示画面上で解析結果を撮影画像にオーバーレイ
表示させる。あるいは、ＥＸＩＴボタン１３４Ｅの操作
により、拡張サービス自体を終了させて、ホーム画面
（又はトップ画面：図示しない）に復帰するようにして
もよい。

【０１２５】一方、ＥＸＩＴボタン１３４Ｅではなく選
択ボタン１３４Ｂを押下操作することにより、選択状態
のメニュー（光ビーコン）の選択が確定する（ステップ
Ｓ７）。

【０１２６】この選択動作に応答して、選択された識別
情報が表わすリンク先への接続動作が開始する（ステッ
プＳ８）。このとき、情報端末１３０内部では、ネット
ワーク・インターフェース部１３６を介して識別情報が
ＵＲＬやＩＰアドレスなどで表わす接続先への接続を行
ない、コンピュータ・ネットワーク上の該当するサーバ
（例えばサービス・プロバイダ１３５）から情報コンテ
ンツのダウンロードを実行する。

【０１２７】サービス・プロバイダ１３５からのダウン
ロード処理には時間を要するので、ダウンロード実行中
であることを視覚的に表わすべく、表示部１３３では図
１６（Ｃ）に示すような処理画面を表示出力させてもよ
い。

【０１２８】その後、サービス・プロバイダ１３５から
のダウンロード処理が成功裏に終了すると、受け取った
情報を表示部１３３で画面出力する。図１６（Ｄ）には
このときの画面構成例を示している。

【０１２９】サービス・プロバイダ１３５が提供する表
示情報は、例えばＨＴＭＬ（HyperText Markup Languag
e）形式で記述されている。図示の例では、エリア情報
として、レストラン情報、イベント情報、周辺エリア・
マップなどさらに詳細な情報へリンクされているメニュ
ー又はアンカーが用意されている。ユーザはさらにメニ
ュー選択することにより、同様にコンピュータ・ネット
ワーク上での情報探索処理を行なう。

【０１３０】［追補］以上、特定の実施形態を参照しな
がら、本発明について詳解してきた。しかしながら、本
発明の要旨を逸脱しない範囲で当業者が該実施形態の修
正や代用を成し得ることは自明である。すなわち、例示
という形態で本発明を開示してきたのであり、本明細書
の記載内容を限定的に解釈するべきではない。本発明の
要旨を判断するためには、冒頭に記載した特許請求の範
囲の欄を参酌すべきである。

【０１３１】

【発明の効果】以上詳記したように、本発明によれば、
表示画面を介してユーザの選択操作を受容して所定の処
理を好適に起動することができる、優れた情報処理装置
及び情報処理方法、記憶媒体、並びにコンピュータ・プ
ログラムを提供することができる。

【０１３２】また、本発明によれば、実世界風景の撮影
画像上での好適なユーザ操作環境を提供することができ
る、優れた情報処理装置及び情報処理方法、記憶媒体、
並びにコンピュータ・プログラムを提供することができ
る。

【０１３３】また、本発明によれば、視認性の識別情報
が配置された実世界風景の撮影画像から所望の識別情報
を選択するための好適な操作環境を提供することができ
る、優れた情報処理装置及び情報処理方法、記憶媒体、
並びにコンピュータ・プログラムを提供することができ
る。

【０１３４】本発明を実現した携帯型の情報端末は、例
えば「画像＆ＩＤ記憶部」と「キャプチャ・ボタン」が
配設されている。そして、ユーザが所望の光ビーコンの
方に携帯端末を向けて、携帯端末の表示画面に光ビーコ
ンが認識されたことが示されたときに、「キャプチャ・
ボタン」を押して、画像とＩＤ（すなわち、光ビーコン
から受信した情報）を「画像＆ＩＤ記憶部」に記録す
る。その後、このキャプチャ画像を画面表示したとき
に、ユーザは楽な姿勢で光ビーコンの選択をすることが
できる。

【図面の簡単な説明】

【図１】光ビーコンを使用するデータ通信システム１０
の構成を模式的に示した図である。

【図２】送信機２０の内部構成を模式的に示した図であ
る。

【図３】送信機２０内のデータ処理部２２の内部構成を
示した図である。

【図４】受信機５０の受光ブロック５１の構成を模式的
に示した図である。

【図５】受信機５０における１つの受光ブロック５１の
内部構成を模式的に示した図である。

【図６】受信機５０内のデータ処理部６０の内部構成を
模式的に示した図である。

【図７】送信機２０側のデータ送信処理手順を示したフ
ローチャートである。

【図８】光学的信号を利用したデータ通信システム１０
においてデータ伝送に使用されるデータ・フレームの形
式を示した図である。

【図９】図７に示したデータ送信処理のうち、ステップ
Ｓ３におけるデータ・フレーム生成の詳細な処理手順を
示したフローチャートである。

【図１０】パターン表示部２３から光学的に分別可能な
パターンの形式で送出されたデータを受信機５０側で受
信処理するための手順を示したフローチャートである。

【図１１】作業メモリ５４内に設けられた受信データ・
バッファの構成を模式的に示した図である。

【図１２】本実施形態に係る拡張現実感システム１００
の構成を模式的に示した図である。

【図１３】ＩＤ認識カメラ付き情報端末１３０の内部構
成を示した図である。

【図１４】ＩＤ認識カメラ付き情報端末１３０を用いて
実世界上の光ビーコン１１０から照射される光学的信号
を基に実現される情報処理サービスの様子を示した図で
ある。

【図１５】光ビーコン１１０を利用した情報処理サービ
スの処理手順を示したフローチャートである。

【図１６】表示部１３３の表示画面上で提示される拡張
サービス画面の構成例を示した図である。

【符号の説明】 １０…データ通信システム ２０…送信機 ２１…ＬＥＤ ２２…データ処理部 ２３…送信データ保存用メモリ ２４…作業用メモリ ５０…受信機 ５１…受光ブロック ６０…データ処理部 ６１…制御部 ６２…転送データ保存用メモリ ６３…転送データ処理用メモリ ６４…フレーム・メモリ ７０…アプリケーション部 ８１…受光素子 ８２…バンド・パス・フィルタ ８３…フェーズ・ロック・ループ ８４…Ａ／Ｄ変換器 ８５…撮像データ保存用メモリ ８６…２値化データ保存用メモリ ８７…転送データ保存用メモリ ８８…制御部 １００…拡張現実感システム １１０…光ビーコン １３０…ＩＤ認識カメラ付き情報端末 １３１…ＩＤ認識カメラ １３２…コンピュータ部 １３３…表示部 １３４…ユーザ入力部 １３５…画像＆ＩＤ記憶部 １３６…ネットワーク・インターフェース部 １５０…サービス・プロバイダ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 小柳津 秀紀 東京都品川区東五反田１丁目14番10号 株 式会社ソニー木原研究所内 Ｆターム(参考） 5B057 AA20 BA02 CA12 CA16 CE08 DA07 DA16 DB02 5E501 AA04 AB03 AB15 AC25 BA03 BA05 BA08 BA09 BA17 CA04 CA05 CB02 CB14 EB05 FA02 FA05 FB44

Claims (16)

【特許請求の範囲】
1. 【請求項１】ユーザ操作に応答して所定の処理を起動す
   る情報処理装置であって、 視認性の識別情報を含んだ実世界上の風景画像を入力す
   る画像入力手段と、 入力画像に含まれる視認性の識別情報を復号化する復号
   化手段と、 入力画像と復号化結果を関連付けて保存する記憶手段
   と、 前記記憶手段から読み出された入力画像を表示する画像
   表示手段と、 前記画像表示手段の表示画面上に出現する視認性の識別
   情報に対するユーザ選択操作を受容するユーザ入力手段
   と、 ユーザが選択した視認性の識別情報に対応する処理サー
   ビスを起動するサービス実行手段と、を具備することを
   特徴とする情報処理装置。
2. 【請求項２】前記視認性の識別情報は、データを構成す
   るバイト列を光学的に分別可能な１以上のパターンとし
   て表示されている、ことを特徴とする請求項１に記載の
   情報処理装置。
3. 【請求項３】前記画像入力手段は、捕捉指示に応答して
   実世界上の風景画像を入力する、ことを特徴とする請求
   項１に記載の情報処理装置。
4. 【請求項４】前記画像入力手段は、視認性の識別情報を
   検出したことに応答して実世界上の風景画像を入力す
   る、ことを特徴とする請求項１に記載の情報処理装置。
5. 【請求項５】前記記憶手段は、視認性の識別情報を含ん
   だ２以上の実世界風景画像を同時に保存可能である、こ
   とを特徴とする請求項１に記載の情報処理装置。
6. 【請求項６】前記画像表示手段は、入力画像から検出さ
   れた視認性識別情報又はその復号結果を入力画像上にオ
   ーバーレイ表示する、ことを特徴とする請求項１に記載
   の情報処理装置。
7. 【請求項７】さらにネットワーク接続手段を備え、 前記サービス実行手段は、前記視認性の識別情報が表わ
   すネットワーク上の情報資源識別子を基に、前記ネット
   ワーク接続手段を介して情報探索を行なう、ことを特徴
   とする請求項１に記載の情報処理装置。
8. 【請求項８】ユーザ操作に応答して所定の処理を起動す
   る情報処理方法であって、 視認性の識別情報を含んだ実世界上の風景画像を入力す
   る画像入力ステップと、 入力画像に含まれる視認性の識別情報を復号化する復号
   化ステップと、 入力画像と復号化結果を関連付けて保存する記憶ステッ
   プと、 前記記憶ステップにおいて記憶された入力画像を表示す
   る画像表示ステップと、 前記画像表示ステップにおいて表示される画面上に出現
   する視認性の識別情報に対するユーザ選択操作を受容す
   るユーザ入力ステップと、 ユーザが選択した視認性の識別情報に対応する処理サー
   ビスを起動するサービス実行ステップと、を具備するこ
   とを特徴とする情報処理方法。
9. 【請求項９】前記視認性の識別情報は、データを構成す
   るバイト列を光学的に分別可能な１以上のパターンとし
   て表示されている、ことを特徴とする請求項８に記載の
   情報処理方法。
10. 【請求項１０】前記画像入力ステップでは、捕捉指示に
    応答して実世界上の風景画像を入力する、ことを特徴と
    する請求項８に記載の情報処理方法。
11. 【請求項１１】前記画像入力ステップでは、視認性の識
    別情報を検出したことに応答して実世界上の風景画像を
    入力する、ことを特徴とする請求項８に記載の情報処理
    方法。
12. 【請求項１２】前記記憶ステップでは、視認性の識別情
    報を含んだ２以上の実世界風景画像を同時に保存可能で
    ある、ことを特徴とする請求項８に記載の情報処理方
    法。
13. 【請求項１３】前記画像表示ステップでは、入力画像か
    ら検出された視認性識別情報又はその復号結果を入力画
    像上にオーバーレイ表示する、ことを特徴とする請求項
    ８に記載の情報処理方法。
14. 【請求項１４】前記サービス実行ステップでは、前記視
    認性の識別情報が表わすネットワーク上の情報資源識別
    子を基に情報探索を行なう、ことを特徴とする請求項８
    に記載の情報処理方法。
15. 【請求項１５】ユーザ操作に応答した所定の動作を起動
    するための処理をコンピュータ・システム上で実行する
    ように記述されたコンピュータ・ソフトウェアをコンピ
    ュータ可読形式で物理的に格納した記憶媒体であって、
    前記コンピュータ・ソフトウェアは、 視認性の識別情報を含んだ実世界上の風景画像を入力す
    る画像入力ステップと、 入力画像に含まれる視認性の識別情報を復号化する復号
    化ステップと、 入力画像と復号化結果を関連付けて保存する記憶ステッ
    プと、 前記記憶ステップにおいて記憶された入力画像を表示す
    る画像表示ステップと、 前記画像表示ステップにおいて表示される画面上に出現
    する視認性の識別情報に対するユーザ選択操作を受容す
    るユーザ入力ステップと、 ユーザが選択した視認性の識別情報に対応する処理サー
    ビスを起動するサービス実行ステップと、を具備するこ
    とを特徴とする記憶媒体。
16. 【請求項１６】ユーザ操作に応答した所定の動作を起動
    するための処理をコンピュータ・システム上で実行する
    ようにコンピュータ可読形式で記述されたコンピュータ
    ・プログラムであって、 視認性の識別情報を含んだ実世界上の風景画像を入力す
    る画像入力ステップと、 入力画像に含まれる視認性の識別情報を復号化する復号
    化ステップと、 入力画像と復号化結果を関連付けて保存する記憶ステッ
    プと、 前記記憶ステップにおいて記憶された入力画像を表示す
    る画像表示ステップと、 前記画像表示ステップにおいて表示される画面上に出現
    する視認性の識別情報に対するユーザ選択操作を受容す
    るユーザ入力ステップと、 ユーザが選択した視認性の識別情報に対応する処理サー
    ビスを起動するサービス実行ステップと、を具備するこ
    とを特徴とするコンピュータ・プログラム。