JP3864150B2 - 情報呈示装置及び情報呈示方法 - Google Patents
情報呈示装置及び情報呈示方法 Download PDFInfo
- Publication number
- JP3864150B2 JP3864150B2 JP2003173361A JP2003173361A JP3864150B2 JP 3864150 B2 JP3864150 B2 JP 3864150B2 JP 2003173361 A JP2003173361 A JP 2003173361A JP 2003173361 A JP2003173361 A JP 2003173361A JP 3864150 B2 JP3864150 B2 JP 3864150B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- predetermined
- marker
- suggestion
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00095—Systems or arrangements for the transmission of the picture signal
- H04N1/00114—Systems or arrangements for the transmission of the picture signal with transmission of additional information signals
- H04N1/00122—Systems or arrangements for the transmission of the picture signal with transmission of additional information signals of text or character information only
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/21—Intermediate information storage
- H04N1/2104—Intermediate information storage for one or a few pictures
- H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Description
【発明の属する技術分野】
本発明は、実世界中の対象物及び/又は既定のマーカに対し、その空間定位情報を解析し、所定の関連情報を画面上に出力する情報呈示装置及び情報呈示方法に関する。
【0002】
【従来の技術】
実世界中の対象物及び/又は既定のマーカに対し、所定の関連情報を呈示する情報呈示装置としては、バーコードリーダが非常によく知られている。
【0003】
そのうち、対象物及び/又は既定のマーカの空間情報を利用して情報を呈示する装置としては、図9に示すように、名刺1上に印刷された2次元コード2をカメラで読み込み、コンピュータ内のプログラムでそのバーコード化されたIDを解析し、その解析したIDに相当する人物の顔写真画像データを画像データベースから読み出して、コンピュータディスプレイ3に表示した上記カメラで撮影した名刺1の画像上における2次元コード2の横に表示することで、あたかも名刺1上の2次元コード2の横に顔写真4あるかように表示する装置が提案されている(例えば、特許文献1参照)。
【0004】
【特許文献1】
特開2000−82107公報
【0005】
【発明が解決しようとする課題】
ところで、バーコードリーダは、一般に、既定のバーコードを正しく認識した際に音を出すなどして認識の正否を操作者に知らせている。通常、バーコードリーダは、一度認識を行えば「情報を読み取り、その意味する情報を呈示する」という目的を達成するので、このような音が鳴るなどの機能があれば、操作者に目的の達成状況が伝わるため作業上特に問題ない。
【0006】
一方、実世界中の対象物及び/又は既定のマーカに対し、その空間定位情報を解析し、所定の関連情報を出力する情報呈示装置では、対象物や既定のマーカを一度認識するだけで良い訳ではなく、継続的に認識を実施し、所定の関連情報を継続的に出力する必要がある。これは、空間定位情報を解析し、関連情報を呈示するので、例えば情報呈示装置と対象物や既定のマーカとの位置関係が時間と共に変化しても、常に適応的に正しい情報を呈示し続けなければならないからである。ここで、その対策として、バーコードリーダの考え方を踏襲し、認識の正否を示す目的で単純に音を鳴らし続けるとすると、操作者にとっては非常に煩わしい。スーパーマーケットでバーコードリーダが継続的に鳴りつづけていることを想像すれば、このことは容易に理解できるであろう。
【0007】
上記特許文献1に開示された装置は、既定のマーカに対し、その空間定位情報を解析し、所定の関連情報を出力する情報呈示装置ではあるが、操作者に対し情報呈示の正否を知らせることは何も考慮していない。そもそも、空間定位情報といっても、名刺1上の2次元コード2の横に、顔写真4を表示する目的なので、一度、コード2を認識して表示を行ってしまえば、継続的に認識の正否を操作者に知らせる必要性はない。
【0008】
また、空間定位情報の解析結果の正否は、バーコードリーダの認識正否のように、「1」か「0」といった離散的なものではなく、連続的に表現したいケースもある。例えば、空間定位情報の解析結果として、位置精度が大きくずれているのか、若干の誤差はあるがほぼ正しいのかなどを表現したいことがある。しかし、従来技術はこのことを全く考慮していない。
【0009】
本発明は、上記の点に鑑みてなされたもので、実世界中の対象物及び/又は既定のマーカに対し、その空間定位情報を解析し、所定の関連情報を画面上に出力する情報呈示装置において、呈示する所定の関連情報の正確度を、継続的に、しかも操作者にとって煩わしくなく、しかも連続的な表現で理解し易いように呈示することができる情報呈示装置及び情報呈示方法を提供することを目的とする。
【0010】
【課題を解決するための手段】
上記の目的を達成するために、請求項1に記載の発明による情報呈示装置は、実世界中の対象物及び/又は既定のマーカに対し、その空間定位情報を解析し、所定の関連情報を画面上に出力する関連情報呈示手段と、前記所定の関連情報に加えて、前記実世界中の対象物及び/又は前記既定のマーカの空間定位情報に関する示唆情報を前記画面上に出力する示唆情報呈示手段と、を具備することを特徴とする。
【0011】
なお、本明細書において、用語「実世界の対象物」とは、ビルや家屋等の建造物、樹木等の自然物、信号機、配管、家具などの人工物など、既に実世界中に存在しているものとし、「マーカ」とは情報呈示装置の出力のために人為的に設定した各種バーコードや数字や文字、記号を枠で囲んだものなどを指すものとする。ただし、前記実世界の対象物も情報呈示装置の出力のためのマーカとして登録した場合は、マーカとして扱うこととする。
【0012】
また、請求項2に記載の発明による情報呈示装置は、請求項1に記載の発明による情報呈示装置装置において、前記示唆情報は、前記実世界中の対象物及び/又は前記既定のマーカの位置・方位を示す画像及び/又は文字であることを特徴とする。
【0013】
また、請求項3に記載の発明による情報呈示装置は、請求項1又は2に記載の発明による情報呈示装置において、前記示唆情報は、前記実世界中の対象物及び/又は前記既定のマーカの空間定位情報に加えて、任意の対象物の空間定位情報にも関することを特徴とする。
【0014】
また、請求項4に記載の発明による情報呈示装置は、請求項1乃至3の何れかに記載の発明による情報呈示装置において、前記示唆情報は、前記情報呈示装置の所定の関連情報の位置から一定の相対的位置に存在する位置の情報であることを特徴とする。
【0015】
また、請求項5に記載の発明による情報呈示装置は、請求項1乃至4の何れかに記載の発明による情報呈示装置において、前記情報呈示装置の所定の関連情報は、任意の事象の空間分布状況を可視化する情報であることを特徴とする。
【0016】
また、請求項6に記載の発明による情報呈示装置は、請求項1乃至5の何れかに記載の発明による情報呈示装置において、前記情報呈示装置における前記空間定位情報の解析結果により、前記示唆情報の画面出力を変更することを特徴とする。
【0017】
また、請求項7に記載の発明による情報呈示装置は、請求項6に記載の発明による情報呈示装置において、前記画面出力の変更項目は、色、明度、点滅、透過度、形状、表示/非表示のうち、少なくとも一つ以上であることを特徴とする。
【0018】
また、請求項8に記載の発明による情報呈示装置は、請求項6又は7に記載の発明による情報呈示装置において、前記情報呈示装置は、さらに、音声等の出力機能を備え、前記画面出力の変更に伴い、前記音声等のオン/オフ、大小、高低、音色のうち、少なくとも一つ以上を変更することを特徴とする。
【0019】
また、上記の目的を達成するために、請求項9に記載の発明による情報呈示方法は、実世界中の対象物及び/又は既定のマーカに対し、その空間定位情報を解析し、所定の関連情報を画面上に出力する情報呈示方法において、前記所定の関連情報に加えて、前記実世界中の対象物及び/又は前記既定のマーカの空間定位情報に関する示唆情報を前記画面上に出力することを特徴とする。
【0020】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
【0021】
[第1の実施の形態]
図1乃至図3の(C)を用いて、本発明の第1の実施の形態を説明する。
【0022】
図1に示すように、本実施の形態に係る情報呈示装置は、カメラ付きPDA(Personal Digital Assistance)10とし、また、既定のマーカ20は、例えば英数字や記号を四角枠で囲んだものとする。
【0023】
本実施の形態においては、マーカ20と配管30をカメラ付きPDA10で撮影すると、カメラ付きPDA10内のプログラム処理により、既定のマーカ20の歪みや大きさなどの空間定位情報を画像処理によって解析し、カメラ付きPDA10の画面11に、当該カメラ付きPDA10内に予め登録された関連情報である配管名40を、該当する配管の画像30’に重ねて表示する。
【0024】
なお、上記のような撮影したマーカ20についての関連情報を重畳表示する手法は、「VRインターフェースのための単眼による長方形マーカー位置・姿勢の高精度実時間推定法」(3D Image Conference'96 予稿集 pp.167-172 高橋章、石井郁夫、牧野秀夫、中静真 1996)に開示されている基準マーク位置から画像入力手段の位置姿勢を求める方法や、特開2001−126051号公報に開示されている画像入力手段の視点に応じて関連情報を表示する手法を用いることで容易に実現できるものであり、よって、その説明は省略する。
【0025】
また、本実施の形態では、この所定の関連情報である配管名40の他に、既定のマーカ20の空間定位情報に関する示唆情報50を、カメラ付きPDA10の画面11に表示されているその解析されたマーカの画像20’の近傍に出力する。この空間定位情報に関する示唆情報50は、例えば、図2の(A)に示すような解析されたマーカ20の位置を示す座標値50Aでも良いし、図2の(B)に示すような解析されたマーカ20の位置を示す矢印の画像50Bでも良い。また、図2の(C)に示すような解析されたマーカ20の位置座標を中心とした円50Cや、図2の(D)に示すような解析されたマーカの画像20’を囲む枠の画像50D、図2の(E)に示すような解析されたマーカの画像20’を囲む枠の内部を透過させる画像50E等、様々な変形が考えられるが、以下の説明では、図2の(D)の解析されたマーカの画像20’を囲む枠の画像50Dを表示させることとする。
【0026】
この場合、図3の(A)に示すように、解析されたマーカ20の空間定位情報の示唆情報であるマーカの画像20’を囲む枠の画像50Dと画面11上における実物のマーカの画像20’の位置とが同一であれば、呈示する所定の関連情報が正確に呈示されていると言える。逆に、図3の(B)や図3の(C)に示すように、解析されたマーカ20の空間定位情報の示唆情報であるマーカの画像20’を囲む枠の画像50Dと画面11上における実物のマーカの画像20’の位置とに差異がある場合は、呈示する所定の関連情報に幾らかの不正確性が生じていることを意味する。かつ、その差異が大きければ大きいほど、正確度は小さくなり(だんだん不正確になる)、その差異が小さければ小さいほど、正確度は大きくなる(より正確になる)。この差異情報は、解析されたマーカの空間定位情報の示唆情報であるマーカの画像20’を囲む枠の画像50Dを画面11に表示するだけで、実物のマーカの画像20’との位置ずれ情報を操作者が認識可能となる。もちろん、画面11上に継続的に表示することが可能であり、また、もともと操作者が見ている画面11に表示されるので、操作者にとって何ら煩わしくない。しかも前述のように、差異と正確度は関連性があり、かつ連続的に表現が可能である。
【0027】
以上のことから、本実施の形態では、呈示する所定の関連情報の正確度を、継続的に、しかも操作者にとって煩わしくなく、しかも連続的な表現で理解し易いように知らせることが可能である。
【0028】
なお、本実施の形態中の各部、及び各部を構成する演算部分はすべて専用のプロセッサを使用しても良いし、プログラムを読み込んだCPUが計算するようにしても良い。また、本実施の形態では、既定のマーカ20に対し所定の関連情報を出力する情報呈示装置を例にとったが、実世界中の対象物に対し所定の関連情報を出力する装置において、実世界中の対象物の空間定位情報に関する示唆情報を出力しても良いし、既定のマーカ20と実世界中の対象物の両者に対し所定の関連情報を出力する装置において、既定のマーカ20と実世界中の対象物の空間定位情報に関する示唆情報を出力しても良い。
【0029】
また、情報呈示装置については、画像を入力できる入力手段を有し、入力手段で入力した画像および、内部処理によって作成される情報(画像、文字など)を画面出力できるものであれば、前述したようなカメラ付きPDA10に限らず、カメラ付き携帯電話機、カメラ付きPC、カメラ付きタブレットPC、上記機能に特化した専用機器等、様々に適用できる。これらの実際の構成は、以下に説明する他の実施の形態でも全て同様に考えて良い。
【0030】
[第2の実施の形態]
次に、図4及び図5を用いて本発明の第2の実施の形態を説明する。本実施の形態では、示唆情報が実世界中の対象物及び/又は既定のマーカ20の空間定位情報に限らず、任意の対象物の空間定位情報に関するものとなっている。具体的には、目印としてわかり易い対象物を示唆するもの、既定のマーカ20から情報呈示装置の視野角以上離れた地点の対象物を示唆するものを設定する。目印としてわかり易い対象物の一例として絵画60を、既定のマーカ20から情報呈示装置の視野角以上離れた地点の対象物として消火器70を設定する。
【0031】
図4において、既定のマーカ20と絵画60をカメラ付きPDA10で撮影すると、カメラ付きPDA10内のプログラム処理により、既定のマーカ20の歪みや大きさなどの空間定位情報を画像処理によって解析し、既定のマーカ20の空間定位情報に関する示唆情報50と、絵画60の空間定位情報に関する示唆情報51とがカメラ付きPDA10の画面11に出力される。
【0032】
次に、図5において、カメラ付きPDA10で消火器70を撮影すると、既定のマーカ20と消火器70とは、カメラ付きPDA10の視野角以上離れているために、マーカ20は撮影されない。このため、消火器70の空間定位情報に関する示唆情報52のみが、カメラ付きPDA10の画面11に出力される。
【0033】
以上のように、目印としてわかり易い対象物を示唆することにより、操作者にとって、呈示する所定の関連情報の正確度をより、わかり易く表現できる。また、既定のマーカ20から情報呈示装置の視野角以上離れた地点の対象物の位置を示唆することにより、情報呈示装置で画像入力した時に、既定のマーカ20が視野外になってしまった場合にも、呈示する所定の関連情報の正確度を、操作者にとってより理解し易いように知らせることができるようになっている。
【0034】
[第3の実施の形態]
次に、図6を用いて本発明の第3の実施の形態を説明する。本実施の形態では、示唆情報は、情報呈示装置の所定の関連情報(図6中では立方体41)の位置から一定の相対関係にある位置の情報(図6中では太字の四角枠:マーカ位置の示唆情報であるマーカの画像20’を囲む枠の画像50D)であるとする。
【0035】
このように、示唆情報が、関連情報から一定の相対位置にあるので、示唆情報と実際の対象物やマーカ20の位置との画面11上での差異を観察することにより、関連情報の正確度を、値だけでなくその方向でも評価できる。
【0036】
例えば、図6に示すように、画面11中で、示唆情報(50D)より実際のマーカの画像20’が左下にあると、所定の関連情報である立方体41の正しい位置は、表示されたものより若干左下であるという類推が可能になる。
【0037】
[第4の実施の形態]
次に、図7の(A)及び(B)を用いて本発明の第4の実施の形態を説明する。本実施の形態では、情報呈示装置の所定の関連情報として、任意の事象の空間分布状況、例えば空間上での粉塵の分布を示す情報80であるとする。
【0038】
粉塵の空間分布状況は、様々な分布をとるので、これらを画面で表示する場合、表示位置が正確かどうかは一見ではわかりにくい。ところが、図7の(A)及び(B)のようにマーカ20の実際の位置と、マーカ20を示唆する情報との差異を観察することにより、関連情報の正確度をわかり易く理解できるようになる。
【0039】
例えば、図7の(A)に示すように、マーカ位置の示唆情報(マーカの画像20’を囲む枠の画像50D)と実際のマーカの画像20’の位置とが一致すれば、表示された関連情報(空間上での粉塵の分布を示す情報80)の位置は正しいと思ってよい。しかしながら、図7の(B)に示すように、両者が大きくずれている場合の関連情報の位置は、当てにならないということが類推できる。
【0040】
なお、任意の事象の空間分布状況とは、上記のような空間上での粉塵の分布に限定されるものではなく、例えば、空間上の温度分布、空間上での放射能分布、等、各種考えられる。
【0041】
[第5の実施の形態]
次に、図8を用いて本発明の第5の実施の形態を説明する。本実施の形態では、空間定位情報の解析結果により、前記示唆情報の画面出力を変更する。
【0042】
具体的には、空間定位情報を解析した結果、例えばマーカのエッジが欠けて認識され、位置精度が悪いあるいは安定して出力ができない(本来なら安定して得られる出力が不安定に移動する)と判断した場合は、点滅出力にする。このようにすると、より操作者にとってわかり易く、呈示する所定の関連情報の正確度をよりわかり易く伝えることが可能になる。
【0043】
例えば、図8に示すように、マーカ位置の示唆情報(マーカの画像20’を囲む枠の画像50D)と実際のマーカ位置関係が同程度で、点滅していない表示(図8では実線で示す)と点滅表示(図8では破線で示す)とを比較すると、両者の関連情報位置の正確性は同程度だが、前者は位置が安定な状態で関連情報を出力し、後者は位置が不安定な状態で関連情報を出力しているということを表現できる。
【0044】
もちろん、示唆情報の画面出力を変更としては、このような点滅表示に限定するものではなく、色、明度、透過度、形状、表示/非表示の何れかであっても良いし、さらにそれらを組み合わせても良い。
【0045】
さらには、情報呈示装置が音声等の出力機能を備える場合には、そのような画面出力の変更に伴い、音声等のオン/オフ、大小、高低、音色のうち、少なくとも一つ以上を変更するようにしても良い。
【0046】
以上実施の形態に基づいて本発明を説明したが、本発明は上述した実施の形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【0047】
例えば、マーカ20の示唆情報は、マーカの画像20’のエッジを囲む表現を主な例にあげたが、一部の形状のみをなぞる(例えば枠の角だけ表示する)、一部の部分を塗りつぶす等の表現を取り入れても良い。
【0048】
また、主に画面11上に表現し、ずれを操作者に視覚的に理解させることを中心に説明したが、ずれの計測を画像処理により解析し、ずれ量、ずれ方向などをテキストや記号等の画像で表示しても良い。
【0049】
さらに、このずれ量を用いて、情報呈示装置の表示を正しくするように校正するフィードバック機能を具備させても構わない。
【0050】
(付記)
前記の具体的実施の形態から、以下のような構成の発明を抽出することができる。
【0051】
(1) 実世界中の対象物及び/又は既定のマーカに対し、その空間定位情報を解析し、所定の関連情報を画面上に出力する関連情報呈示手段と、
前記所定の関連情報に加えて、前記実世界中の対象物及び/又は前記既定のマーカの空間定位情報に関する示唆情報を前記画面上に出力する示唆情報呈示手段と、
を具備することを特徴とする情報呈示装置。
【0052】
(対応する実施の形態)
この(1)に記載の情報呈示装置に関する実施の形態は、第1の実施の形態が対応する。
【0053】
(作用効果)
図1乃至図2の(E)を用いて、この(1)に記載の情報呈示装置の作用及び効果を説明する。
情報呈示装置(例えば、カメラ付きPDA10)として、既定のマーカ20と配管30の実物をカメラ付きPDA10で撮影すると、カメラ付きPDA10内のプログラム処理によって実現される関連情報呈示手段により、既定のマーカ20の空間定位情報を画像処理によって解析し、カメラ付きPDA10の画面11において配管名40を該当する実物配管の画像30’に重ねて表示する装置を例にとって説明する。
ここで、所定の関連情報に相当するのが配管名40である。この(1)に記載の情報呈示装置では、この配管名40の他に、カメラ付きPDA10内のプログラム処理によって実現される示唆情報呈示手段により、既定のマーカ20の空間定位情報に関する示唆情報50を出力する。この示唆情報50は、図2の(A)乃至(E)に示すように、例えば、既定のマーカ20の位置を示す座標値50Aでも良いし、マーカ20の位置を示す矢印の画像50Bでも良いし、その他、マーカの画像20’を囲む画像などいろいろ考えられる。いずれの方法にしても、マーカ20の空間定位情報を示唆する情報を出力する。さて、マーカ20の空間定位情報を示唆する示唆情報と画面11上における実際のマーカの画像20’の位置情報との差異は、呈示する所定の関連情報が正確に呈示されているかどうかの正確度を表現していることになる。例えば、マーカ20の空間定位情報の示唆情報と画面11上における実際のマーカの画像20’の位置情報とが同一であれば、呈示する所定の関連情報が正確に呈示されていると言える。逆に、差異がある場合は、呈示する所定の関連情報に幾らかの不正確性が生じていることを意味する。かつ、その差異が大きければ大きいほど、正確度は小さくなり(だんだん不正確になる)、その差異が小さければ小さいほど、正確度は大きくなる(より正確になる)。この差異情報は、マーカ20の空間定位情報の示唆情報と画面11上における実際のマーカの画像20’の位置情報とを継続的に画面表示するだけで表現できるので、画面上に継続的に表示することが可能である。また、もともと操作者が確認している画面に表示されるので、操作者にとって煩わしくはない。しかも前述のように、差異と正確度は関連性があり、かつ連続的に表現ができる。
【0054】
従って、この(1)に記載の情報呈示装置によれば、呈示する所定の関連情報の正確度を、継続的に、しかも操作者にとって煩わしくなく、しかも連続的な表現で理解し易いように知らせることができる効果がある。
なお、上記説明では、内容を単純化するため、既定のマーカ20に対し所定の関連情報を出力する情報呈示装置を例にとったが、実世界中の対象物に対し所定の関連情報を出力する装置において、実世界中の対象物の空間定位情報に関する示唆情報を出力しても良いし、既定のマーカ20と実世界中の対象物の両者に対し所定の関連情報を出力する装置において、既定のマーカ20と実世界中の対象物の空間定位情報に関する示唆情報を出力しても良い。
【0055】
(2) 前記示唆情報は、前記実世界中の対象物及び/又は前記既定のマーカの位置・方位を示す画像及び/又は文字であることを特徴とする(1)に記載の情報呈示装置。
【0056】
(対応する実施の形態)
この(2)に記載の情報呈示装置に関する実施の形態は、第1の実施の形態が対応する。
【0057】
(作用効果)
この(2)に記載の情報呈示装置では、示唆情報が、前記実世界中の対象物及び/又は前記既定のマーカの位置を示す画像である。具体的には、図2の(A)乃至(E)に示すように、マーカ20及び/又は実世界の対象物の位置を示す矢印の画像50B、位置座標を中心とした円50C、エッジのみの画像、エッジを残し、内部を透過させる画像などである。いずれの方法でも既定のマーカ20の位置を画像として表現すれば良い。実際のマーカ20や実世界の対象物は画像であり、示唆情報も画像であるので、両者は画面11中で非常に比較し易く、差異も明確に把握できる。
【0058】
従って、この(2)に記載の情報呈示装置によれば、呈示する所定の関連情報の正確度を、継続的に、しかも操作者にとってより煩わしくなく、しかも連続的な表現で、操作者にとってより理解し易いように知らせることができる効果がある。
【0059】
(3) 前記示唆情報は、前記実世界中の対象物及び/又は前記既定のマーカの空間定位情報に加えて、任意の対象物の空間定位情報にも関することを特徴とする(1)又は(2)に記載の情報呈示装置。
【0060】
(対応する実施の形態)
この(3)に記載の情報呈示装置に関する実施の形態は、第2の実施の形態が対応する。
【0061】
(作用効果)
図4及び図5を用いてこの(3)に記載の情報呈示装置の作用及び効果を説明する。この(3)に記載の情報呈示装置では、示唆情報が、実世界中の対象物及び/又は既定のマーカ20の空間定位情報(示唆情報50)に限らず、任意の対象物(例えば、絵画60や消火器70)の空間定位情報に関するもの(示唆情報51,52)となっている。示唆情報が示唆する空間定位情報は、所定の関連情報を出力するために用いられる実世界中の対象物や既定のマーカだけに限らなくて良い。例えば、目印としてわかり易い対象物、あるいは示唆情報との差異がわかり易い対象物の空間定位情報を示唆するようにしても良い。
【0062】
従って、この(3)に記載の情報呈示装置によれば、このような任意の対象物の空間定位情報を示唆する情報とすることにより、操作者にとって、呈示する所定の関連情報の正確度をより、わかり易く表現できる。また、所定の関連情報を出力するために用いられる実世界中の対象物や既定のマーカから情報呈示装置の視野角以上離れた地点の対象物の空間定位情報を示唆するように設定しておけば、情報呈示装置で画像入力した時に、既定のマーカが視野外になってしまった場合にも、呈示する所定の関連情報の正確度を、操作者にとってより理解し易いように知らせることができる効果がある。
【0063】
(4) 前記示唆情報は、前記情報呈示装置の所定の関連情報の位置から一定の相対的位置に存在する位置の情報であることを特徴とする(1)乃至(3)の何れかに記載の情報呈示装置。
【0064】
(対応する実施の形態)
この(4)に記載の情報呈示装置に関する実施の形態は、第3の実施の形態が対応する。
【0065】
(作用効果)
この(4)に記載の情報呈示装置では、示唆情報は、情報呈示装置の所定の関連情報の位置から一定の相対的位置に存在する位置の情報である。図6のように、対象物やマーカの定位に関する示唆情報が関連情報(立方体41)から一定の相対関係にある位置の情報(マーカの画像20’を囲む枠の画像50D)なので、示唆情報と実際の対象物やマーカ20の位置との画面11上での差異を観察することにより、関連情報の正確度を、値だけでなく、その方向でも評価できるという効果がある。
【0066】
(5) 前記情報呈示装置の所定の関連情報は、任意の事象の空間分布状況を可視化する情報であることを特徴とする(1)乃至(4)の何れかに記載の情報呈示装置。
【0067】
(対応する実施の形態)
この(5)に記載の情報呈示装置に関する実施の形態は、第4の実施の形態が対応する。
【0068】
(作用効果)
この(5)に記載の情報呈示装置では、情報呈示装置の所定の関連情報は、任意の事象の空間分布状況を示す情報である。ここで、任意の事象の空間分布状況とは、例えば、空間上の温度分布、空間上での粉塵の分布、空間上での放射能分布などが考えられる。一般に、そのような任意の事象の空間分布状況は、様々な分布をとるので、これらを画面で表示する場合、表示位置が正確かどうかは一見ではわかりにくい。このことは例えば、矢印を表示して物品名を表示する場合などは、矢印が物品からあまりにも離れていると、表示位置は正しくない、すなわち認識エラーを起こしていることが比較的に分かり易いが、空間分布の場合はあらゆるところに分布する可能性があるので、一見してエラーを見抜くことは困難である。これまで(1)乃至(4)に記載の情報呈示装置に関して述べてきた作用、効果を考慮すると、所定の関連情報が任意の事象の空間分布状況を示す情報である場合、より操作者にとってわかり易く、呈示する所定の関連情報の正確度を知らせることができる。
【0069】
(6) 前記情報呈示装置における前記空間定位情報の解析結果により、前記示唆情報の画面出力を変更することを特徴とする(1)乃至(5)の何れかに記載の情報呈示装置。
【0070】
(対応する実施の形態)
この(6)に記載の情報呈示装置に関する実施の形態は、第5の実施の形態が対応する。
【0071】
(作用効果)
この(6)に記載の情報呈示装置では、情報呈示装置における空間定位情報の解析結果により、示唆情報の画面出力を変更する。これまで(1)乃至(5)に記載の情報呈示装置に関して述べたように、マーカ20や実世界の対象物の空間定位情報の示唆情報と、画面上での実際の位置情報との画面上での差異を見ることにより、呈示する所定の関連情報の正確度を操作者に分かり易く知らせることができるが、更に、空間定位情報の解析結果により、前記示唆情報の画面出力を変更しても良い。例えば、空間定位情報を解析した結果、明らかに認識が不可能であった場合は、画面を出力しなくても良いし、マーカ20のエッジが欠けてしまい認識の位置精度が悪いと判断した場合は、点滅出力にしたり、出力の色を変えても良い。いずれの方法でも、空間定位情報を解析した結果が示唆情報の出力に反映されるようにすれば、より操作者にとって分かり易く、呈示する所定の関連情報の正確度を伝えることが可能になる。
【0072】
(7) 前記画面出力の変更項目は、色、明度、点滅、透過度、形状、表示/非表示のうち、少なくとも一つ以上であることを特徴とする(6)に記載の情報呈示装置。
【0073】
(対応する実施の形態)
この(7)に記載の情報呈示装置に関する実施の形態は、第5の実施の形態が対応する。
【0074】
(作用効果)
この(7)に記載の情報呈示装置では、画面出力の変更項目は、色、明度、点滅、透過度、形状、表示/非表示のうち、少なくとも一つ以上である。これらの変更はどれも、操作者に対し、視覚的にわかり易く呈示できる項目なので、より操作者にとって分かり易く、呈示する所定の関連情報の正確度を伝えることが可能になる。
【0075】
(8) 前記情報呈示装置は、さらに、音声等の出力機能を備え、
前記画面出力の変更に伴い、前記音声等のオン/オフ、大小、高低、音色のうち、少なくとも一つ以上を変更することを特徴とする(6)又は(7)に記載の情報呈示装置。
【0076】
(対応する実施の形態)
この(8)に記載の情報呈示装置に関する実施の形態は、第5の実施の形態が対応する。
(作用効果)
この(8)に記載の情報呈示装置では、画面出力の変更に伴って、さらに、音声等のオン/オフ、大小、高低、音色のうち、少なくとも一つ以上を変更するものである。
【0077】
従って、この(8)に記載の情報呈示装置によれば、操作者に対し、聴覚的にもわかり易く呈示できるので、より操作者にとって分かり易く、呈示する所定の関連情報の正確度を伝えることが可能になる。
【0078】
(9) 実世界中の対象物及び/又は既定のマーカに対し、その空間定位情報を解析し、所定の関連情報を画面上に出力する情報呈示方法において、
前記所定の関連情報に加えて、前記実世界中の対象物及び/又は前記既定のマーカの空間定位情報に関する示唆情報を前記画面上に出力することを特徴とする情報呈示方法。
【0079】
(対応する実施の形態)
この(9)に記載の情報呈示方法に関する実施の形態は、第1の実施の形態が対応する。
【0080】
(作用効果)
この(9)に記載の情報呈示方法によれば、上記(1)に記載の情報呈示装置と同様に、呈示する所定の関連情報の正確度を、継続的に、しかも操作者にとって煩わしくなく、しかも連続的な表現で理解し易いように知らせることができる効果がある。
【0081】
【発明の効果】
以上詳述したように、本発明によれば、実世界中の対象物及び/又は既定のマーカに対し、その空間定位情報を解析し、所定の関連情報を画面上に出力する情報呈示装置において、呈示する所定の関連情報の正確度を、継続的に、しかも操作者にとって煩わしくなく、しかも連続的な表現で理解し易いように呈示することができる情報呈示装置及び情報呈示方法を提供することができる。
【図面の簡単な説明】
【図1】 本発明の第1の実施の形態に係る情報呈示装置を説明するための図である。
【図2】 示唆情報の各種例を示す図である。
【図3】 解析されたマーカの画像と示唆情報との位置関係に対する正確度の関係を説明するための図である。
【図4】 本発明の第2の実施の形態に係る情報呈示装置において目印としてわかり易い対象物を示唆する場合を説明するための図である。
【図5】 第2の実施の形態に係る情報呈示装置において既定のマーカから情報呈示装置の視野角以上離れた地点の対象物を示唆する場合を説明するための図である。
【図6】 本発明の第3の実施の形態に係る情報呈示装置を説明するための図である。
【図7】 本発明の第4の実施の形態に係る情報呈示装置を説明するための図である。
【図8】 本発明の第8の実施の形態に係る情報呈示装置での示唆情報の画面出力変更を説明するための図である。
【図9】 従来の情報呈示装置の動作を説明するための図である。
【符号の説明】
10…PDA、11…画面、20…マーカ、20’…マーカの画像、30…配管、30’…配管の画像、40…配管名、41…立方体、50…示唆情報、50A…マーカの位置を示す座標値、50B…矢印の画像、50C…マーカの位置座標を中心とした円、50D…マーカの画像を囲む枠の画像、50E…マーカの画像を囲む枠の内部を透過させる画像、51…示唆情報、52…示唆情報、60…絵画、70…消火器、80…空間上での粉塵の分布を示す情報。
Claims (9)
- 実世界中の対象物及び/又は既定のマーカに対し、その空間定位情報を解析し、所定の関連情報を画面上に出力する関連情報呈示手段と、
前記所定の関連情報に加えて、前記実世界中の対象物及び/又は前記既定のマーカの空間定位情報に関する示唆情報を前記画面上に出力する示唆情報呈示手段と、
を具備することを特徴とする情報呈示装置。 - 前記示唆情報は、前記実世界中の対象物及び/又は前記既定のマーカの位置・方位を示す画像及び/又は文字であることを特徴とする請求項1に記載の情報呈示装置。
- 前記示唆情報は、前記実世界中の対象物及び/又は前記既定のマーカの空間定位情報に加えて、任意の対象物の空間定位情報にも関することを特徴とする請求項1又は2に記載の情報呈示装置。
- 前記示唆情報は、前記情報呈示装置の所定の関連情報の位置から一定の相対的位置に存在する位置の情報であることを特徴とする請求項1乃至3の何れかに記載の情報呈示装置。
- 前記情報呈示装置の所定の関連情報は、任意の事象の空間分布状況を可視化する情報であることを特徴とする請求項1乃至4の何れかに記載の情報呈示装置。
- 前記情報呈示装置における前記空間定位情報の解析結果により、前記示唆情報の画面出力を変更することを特徴とする請求項1乃至5の何れかに記載の情報呈示装置。
- 前記画面出力の変更項目は、色、明度、点滅、透過度、形状、表示/非表示のうち、少なくとも一つ以上であることを特徴とする請求項6に記載の情報呈示装置。
- 前記情報呈示装置は、さらに、音声等の出力機能を備え、
前記画面出力の変更に伴い、前記音声等のオン/オフ、大小、高低、音色のうち、少なくとも一つ以上を変更することを特徴とする請求項6又は7に記載の情報呈示装置。 - 実世界中の対象物及び/又は既定のマーカに対し、その空間定位情報を解析し、所定の関連情報を画面上に出力する情報呈示方法において、
前記所定の関連情報に加えて、前記実世界中の対象物及び/又は前記既定のマーカの空間定位情報に関する示唆情報を前記画面上に出力することを特徴とする情報呈示方法。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003173361A JP3864150B2 (ja) | 2003-06-18 | 2003-06-18 | 情報呈示装置及び情報呈示方法 |
EP04745940A EP1638048A4 (en) | 2003-06-18 | 2004-06-09 | DEVICE AND METHOD FOR PRESENTING INFORMATION |
CNA2004800168261A CN1806255A (zh) | 2003-06-18 | 2004-06-09 | 信息呈现装置和信息呈现方法 |
PCT/JP2004/008388 WO2004114210A1 (ja) | 2003-06-18 | 2004-06-09 | 情報呈示装置及び情報呈示方法 |
KR1020057024047A KR100743782B1 (ko) | 2003-06-18 | 2004-06-09 | 정보 제시 장치 및 정보 제시 방법 |
US11/296,671 US7286725B2 (en) | 2003-06-18 | 2005-12-07 | Information presentation apparatus for suggesting a presentation accuracy of related information and information presentation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003173361A JP3864150B2 (ja) | 2003-06-18 | 2003-06-18 | 情報呈示装置及び情報呈示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005010998A JP2005010998A (ja) | 2005-01-13 |
JP3864150B2 true JP3864150B2 (ja) | 2006-12-27 |
Family
ID=33534718
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003173361A Expired - Fee Related JP3864150B2 (ja) | 2003-06-18 | 2003-06-18 | 情報呈示装置及び情報呈示方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US7286725B2 (ja) |
EP (1) | EP1638048A4 (ja) |
JP (1) | JP3864150B2 (ja) |
KR (1) | KR100743782B1 (ja) |
CN (1) | CN1806255A (ja) |
WO (1) | WO2004114210A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8397181B2 (en) * | 2008-11-17 | 2013-03-12 | Honeywell International Inc. | Method and apparatus for marking a position of a real world object in a see-through display |
JP4690476B2 (ja) * | 2009-03-31 | 2011-06-01 | アイシン精機株式会社 | 車載カメラの校正装置 |
JP4751939B2 (ja) * | 2009-03-31 | 2011-08-17 | アイシン精機株式会社 | 車載カメラの校正装置 |
JP5055402B2 (ja) * | 2010-05-17 | 2012-10-24 | 株式会社エヌ・ティ・ティ・ドコモ | オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法 |
JP2012128578A (ja) * | 2010-12-14 | 2012-07-05 | Ntt Docomo Inc | 携帯端末および画像処理方法 |
JP5014494B2 (ja) * | 2011-01-21 | 2012-08-29 | パナソニック株式会社 | 情報処理装置、拡張現実感システム、情報処理方法、及び情報処理プログラム |
JP5683402B2 (ja) * | 2011-07-29 | 2015-03-11 | 三菱電機株式会社 | 画像合成装置及び画像合成方法 |
DE102011080582A1 (de) | 2011-08-08 | 2013-02-14 | Robert Bosch Gmbh | Bilderfassungsvorrichtung |
JP5821526B2 (ja) | 2011-10-27 | 2015-11-24 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
EP2810430B1 (en) | 2012-02-03 | 2018-12-26 | Dealer Dot Com, Inc. | Image capture system |
WO2014128760A1 (ja) * | 2013-02-21 | 2014-08-28 | 富士通株式会社 | 表示装置、表示方法、表示プログラムおよび位置設定システム |
JP5895250B2 (ja) * | 2013-06-17 | 2016-03-30 | 株式会社 デジタルコラボレーションズ | 知識管理装置、知識管理装置の端末機および知識管理装置のプログラム |
DE112014007274T5 (de) | 2014-12-19 | 2017-12-14 | Hewlett Packard Development Company, L.P. | Bestimmen von Positionsinformationen bei der Bilderfassung, basierend auf einem quasiperiodischen Muster |
US20190313017A1 (en) * | 2016-12-01 | 2019-10-10 | Sharp Kabushiki Kaisha | Imaging adjustment information derivation apparatus, imaging apparatus, imaging adjustment information derivation method, control program, and recording medium |
JP7041497B2 (ja) * | 2017-11-09 | 2022-03-24 | 株式会社 日立産業制御ソリューションズ | 計測値読取りシステム、計測値読取り装置及び計測値読取方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6405072B1 (en) * | 1991-01-28 | 2002-06-11 | Sherwood Services Ag | Apparatus and method for determining a location of an anatomical target with reference to a medical apparatus |
JP3374547B2 (ja) * | 1994-10-20 | 2003-02-04 | 株式会社大林組 | 遠隔操作用監視装置 |
JP3225882B2 (ja) * | 1997-03-27 | 2001-11-05 | 日本電信電話株式会社 | 景観ラベリングシステム |
TW548572B (en) * | 1998-06-30 | 2003-08-21 | Sony Corp | Image processing apparatus, image processing method and storage medium |
US6578017B1 (en) * | 1999-02-26 | 2003-06-10 | Information Decision Technologies, Llc | Method to aid object detection in images by incorporating contextual information |
JP4242529B2 (ja) * | 1999-10-27 | 2009-03-25 | オリンパス株式会社 | 関連情報呈示装置及び関連情報呈示方法 |
US20020191004A1 (en) * | 2000-08-09 | 2002-12-19 | Ebersole John Franklin | Method for visualization of hazards utilizing computer-generated three-dimensional representations |
JP4593730B2 (ja) * | 2000-06-26 | 2010-12-08 | 株式会社トプコン | ステレオ画像の測定装置 |
JP4537557B2 (ja) * | 2000-09-19 | 2010-09-01 | オリンパス株式会社 | 情報呈示システム |
US6697761B2 (en) * | 2000-09-19 | 2004-02-24 | Olympus Optical Co., Ltd. | Three-dimensional position/orientation sensing apparatus, information presenting system, and model error detecting system |
EP1349114A3 (en) * | 2002-03-19 | 2011-06-15 | Canon Kabushiki Kaisha | Sensor calibration apparatus, sensor calibration method, program, storage medium, information processing method, and information processing apparatus |
JP2004048674A (ja) * | 2002-05-24 | 2004-02-12 | Olympus Corp | 視野一致型情報呈示システム、並びに、それに用いられる携帯情報端末及びサーバ |
-
2003
- 2003-06-18 JP JP2003173361A patent/JP3864150B2/ja not_active Expired - Fee Related
-
2004
- 2004-06-09 CN CNA2004800168261A patent/CN1806255A/zh active Pending
- 2004-06-09 KR KR1020057024047A patent/KR100743782B1/ko not_active IP Right Cessation
- 2004-06-09 EP EP04745940A patent/EP1638048A4/en not_active Withdrawn
- 2004-06-09 WO PCT/JP2004/008388 patent/WO2004114210A1/ja active Application Filing
-
2005
- 2005-12-07 US US11/296,671 patent/US7286725B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
EP1638048A1 (en) | 2006-03-22 |
KR20060018892A (ko) | 2006-03-02 |
CN1806255A (zh) | 2006-07-19 |
US7286725B2 (en) | 2007-10-23 |
WO2004114210A1 (ja) | 2004-12-29 |
KR100743782B1 (ko) | 2007-07-30 |
JP2005010998A (ja) | 2005-01-13 |
EP1638048A4 (en) | 2010-05-26 |
US20060086797A1 (en) | 2006-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3864150B2 (ja) | 情報呈示装置及び情報呈示方法 | |
JP6441932B2 (ja) | アイレベルスキャナ及びディスプレイのポインタ追跡 | |
EP1709519B1 (en) | A virtual control panel | |
US7053916B2 (en) | Information presentation apparatus and information processing method thereof | |
JP4137078B2 (ja) | 複合現実感情報生成装置および方法 | |
US7756364B2 (en) | Digital pen and paper system | |
CN108027654B (zh) | 输入设备、输入方法和程序 | |
JP5233709B2 (ja) | ロボットシミュレーション画像表示システム | |
CN108027656B (zh) | 输入设备、输入方法和程序 | |
JP7485140B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US20140253591A1 (en) | Information processing system, information processing apparatus, information processing method, and computer-readable recording medium recording information processing program | |
JP2016206973A (ja) | 多言語表示装置、多言語表示システム、多言語表示方法及び多言語表示プログラム | |
EP3944201A1 (en) | Maintenance assistance system, maintenance assistance method, and program | |
US9269004B2 (en) | Information processing terminal, information processing method, and program | |
JP2016122392A (ja) | 情報処理装置、情報処理システム、その制御方法及びプログラム | |
JP6915611B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
KR101845423B1 (ko) | 구조물 검사 지원 장치 및 방법 | |
US20150302784A1 (en) | Information processing system, control method, and computer-readable medium | |
KR102443299B1 (ko) | 제품 구매 서비스 제공 장치 및 방법 | |
KR20200104918A (ko) | 가상 물체 표시 제어 장치, 가상 물체 표시 시스템, 가상 물체 표시 제어 방법, 및 가상 물체 표시 제어 프로그램 | |
JP7401245B2 (ja) | 画像合成装置、画像合成装置の制御方法およびプログラム | |
JP2005318268A (ja) | 投射表示装置および投射表示システム | |
JP2022161247A (ja) | 情報提供システム、情報提供方法及びプログラム | |
TW202232285A (zh) | 虛實互動方法及虛實互動系統 | |
JP2010026882A (ja) | ナレッジ取得支援装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050602 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060926 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061002 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101006 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101006 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111006 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |