JP2005044029A - 情報呈示方法及び情報呈示システム - Google Patents
情報呈示方法及び情報呈示システム Download PDFInfo
- Publication number
- JP2005044029A JP2005044029A JP2003201055A JP2003201055A JP2005044029A JP 2005044029 A JP2005044029 A JP 2005044029A JP 2003201055 A JP2003201055 A JP 2003201055A JP 2003201055 A JP2003201055 A JP 2003201055A JP 2005044029 A JP2005044029 A JP 2005044029A
- Authority
- JP
- Japan
- Prior art keywords
- information
- marker
- series
- markers
- orientation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
- G09F3/00—Labels, tag tickets, or similar identification or indication means; Seals; Postage or like stamps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Computer Graphics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Toxicology (AREA)
- General Health & Medical Sciences (AREA)
- Electromagnetism (AREA)
- User Interface Of Digital Computer (AREA)
- Digital Computer Display Output (AREA)
Abstract
【課題】使用するマーカーの数を少なくし、誤認識率を低減させることが可能な情報呈示方法を提供する。
【解決手段】対象物を画像入力装置10により撮像し、該対象物に対応した関連情報を、画像情報表示装置40により表示画面内の該対象物上或いは表示画面内の該対象物周辺に表示する情報呈示方法であって、上記対象物の関連情報は、該対象物上或いは該対象物周辺に設置された複数の2次元的マーカーの表記内容により表わされ、上記複数の2次元的マーカーは、複数の情報系列のいずれかに属する。
【選択図】 図1
【解決手段】対象物を画像入力装置10により撮像し、該対象物に対応した関連情報を、画像情報表示装置40により表示画面内の該対象物上或いは表示画面内の該対象物周辺に表示する情報呈示方法であって、上記対象物の関連情報は、該対象物上或いは該対象物周辺に設置された複数の2次元的マーカーの表記内容により表わされ、上記複数の2次元的マーカーは、複数の情報系列のいずれかに属する。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は、マーカーを用いた情報呈示方法及び情報呈示システムに関する。
【0002】
【従来の技術】
実世界中の対象物及び/又は既定のマーカに対し、所定の関連情報を呈示する情報呈示装置としては、バーコードリーダが一般的によく知られている。そのうち、対象物及び/又は既定のマーカの空間情報を利用して、情報を呈示する装置がある。例えば特開2000−82107号公報には、名刺上に印刷された2次元コードをカメラで読み込み、コンピュータ内のプログラムでIDを解析し、このIDに相当する人物の顔写真を、あたかも名刺上の2次元コードの横にあるかのごとく、コンピュータ上のディスプレイに表示することが開示されている。図7は同公報に開示された表示の一例を示しており、1は名刺、2…2次元コード、3…コンピュータディスプレイ、4…顔写真である。
【0003】
【特許文献1】
特開2000−82107号公報
【0004】
【発明が解決しようとする課題】
バーコードリーダは、既定のバーコードを正しく認識した際に音を出すなどして認識の正否を操作者に知らせている。通常バーコードリーダは、一度認識を行えば「情報を読み取り、その意味する情報を呈示する」という目的を達成するので、音が鳴るなどの機能があれば、操作者に目的の達成状況が伝わるため作業上特に問題ない。
【0005】
一方、実世界中の対象物及び/又は既定のマーカにおいて、その空間定位情報を解析し、所定の関連情報を出力する情報呈示装置では、対象物や既定のマーカを一度認識するだけでよい訳ではなく、継続的に認識し、所定の関連情報を継続的に出力する必要がある。空間定位情報を解析し、関連情報を呈示するので、例えば情報呈示装置と対象物や既定のマーカとの位置関係が時間と共に変化しても、常に適応的に正しい情報を呈示し続けなければならないからである。
【0006】
更にバーコードの場合はスーパーのレジ等においてレーザービームで品物をスキャンする場合には相当の精細度でマーカーIDを認識可能であるが、2次元マーカーには機械装置のみでなく人間も認識できるようにするために文字や意匠・アイコン等をIDとして用いることが多い。
【0007】
それらはレーザースキャンではなく画像入力装置からの認識工程を経るため、数多くのマーカーを設定するとこれらの間での誤認識率が増大する。
【0008】
特開2000−82107号公報に開示された装置は、既定のマーカについて画像入力を行い、その空間定位情報を解析し表記されたIDを認識することで、所定の関連情報を出力する情報呈示装置であるが、単純にマーカーと所定の情報は1対1で対応させる旨が読みとられる。空間定位情報といっても、名刺上の2次元コードの横に写真を表示する程度の目的なので、画像入力装置で取り込めば多数のマーカー(2次元コード)が設定されても、ある程度の認識正答率を確保できることが多い。
【0009】
しかしながら、極めて多数(1000を越える数)のマーカー(2次元コード)が設定されしかも処理する側の装置がPDA等の携帯型端末である場合には高精度の画像処理は期待できない。マーカーが産業用に用いられる場合には前述の通り文字や意匠をマーカー(2次元コード)として使用することが多く、画像認識処理の誤認識率が高くなってしまう。
【0010】
本発明は、このような課題に着目してなされたものであり、その目的とするところは、使用するマーカーの数を少なくし、誤認識率を低減させることが可能な情報呈示方法及び情報呈示システムを提供することにある。
【0011】
【課題を解決するための手段】
上記の目的を達成するために、第1の発明は、対象物を画像入力装置により撮像し、該対象物に対応した関連情報を、表示画面内の該対象物上或いは表示画面内の該対象物周辺に表示する情報呈示方法であって、上記対象物の関連情報は、該対象物上或いは該対象物周辺に設置された複数の2次元的マーカーの表記内容により表わされ、上記複数の2次元的マーカーは、複数の情報系列のいずれかに属する。
【0012】
また、第2の発明は、対象物を画像入力装置により撮像し、該対象物上或いは該対象物周辺に配置された複数の2次元的マーカーにより該対象物の関連情報を、表示画面上の対象物に重ね合わせて表示する情報呈示方法であって、上記対象物上或いは該対象物周辺に配置された複数の2次元的マーカーは、階層的な意味構造を有する。
【0013】
また、第3の発明は、第2の発明に係る情報呈示方法において、上記2次元的マーカーの表記内容が、上位階層の情報系列を表わすものであった場合には、前記表示画面内に上記情報系列の範囲を表示する。
【0014】
また、第4の発明は、各種情報を携帯情報端末から使用者に呈示するにあたって、該携帯情報端末に画像入力手段を搭載し、該画像入力手段による撮影画像から上記携帯情報端末の位置及び向きを算出し、上記携帯情報端末の位置及び向きと、対面する対象物の特定結果とから、上記対象物に関する情報を検索して使用者に呈示する情報呈示方法であって、上記撮影画像から、対象物上或いは該対象物周辺に設置された文字、意匠あるいはコード情報を含むマーカー群であって、複数の情報系列のいずれかに対応付けられた、上記対象物を特定するためのマーカー群を検出し、上記複数の情報系列のうち上位の情報系列の指示情報に基づいて、下位の情報系列に対応したマーカーが指定する関連情報を検索する。
【0015】
また、第5の発明は、第1または第4の発明に係る情報提示方法において、上記マーカー群は、予め定められた対象場面或いは対象地域、対象時間帯内でのみ有効であるように設定される。
【0016】
また、第6の発明は、第1または第4の発明に係る情報提示方法において、上記マーカー群は、上位階層のマーカーと下位階層のマーカーとを含み、上記上位階層のマーカーが検出されることなしに上記下位階層のマーカーのみが検出された場合には、該下位階層のマーカーが単独で情報呈示に用いられる。
【0017】
また、第7の発明は、第1または第2の発明に係る情報呈示方法において、単一のマーカー表示に、複数の情報系列が含まれている。
【0018】
また、第8の発明は、第7の発明に係る情報呈示方法において、上記2次元的マーカーは、マーカー枠部と、この枠部の内部及び外部である枠周辺部とから構成され、上記マーカー枠部は、上記携帯情報端末の位置姿勢検出のために用いられ、上記枠周辺部は、表示情報を生成するために用いられる。
【0019】
また、第9の発明は、各種情報を携帯情報端末から使用者に呈示する情報呈示システムであって、該携帯情報端末に搭載された画像入力手段により撮影された撮影画像から上記携帯情報端末の位置及び向きを算出する位置姿勢計測手段と、上記位置姿勢計測手段により算出された上記携帯情報端末の位置及び向きと、対面する対象物の特定結果とから、上記対象物に関する情報を取得する情報取得手段と、上記情報取得手段により取得された上記対象物に関する情報を使用者に対して表示する表示手段と、を具備し、上記撮影画像から、対象物上或いは該対象物周辺に設置された文字、意匠あるいはコード情報を含む、上記対象物を特定するためのマーカー群を検出するマーカー検出手段を有し、上記マーカ群は、複数の情報系列のいずれかに対応し、上記複数の情報系列のうち上位の情報系列の指示情報に基づいて、下位の情報系列に対応したマーカーが指定する関連情報が検索される。
【0020】
【発明の実施の形態】
まず、本実施形態の概略を説明する。マーカーを撮像し、このマーカーから得られる情報に基づいて実世界の対象物と該対象物に関連した特定の関連情報とを同じ画面内に重畳表示することが可能である。ここで、実世界の対象物とは、ビルや家屋等の建造物、樹木等の自然物、信号機、配管、家具などの人工物など、既に実世界中に存在しているものである。
【0021】
また、マーカーとは情報呈示装置の出力のために人為的に設定した各種コード情報や数字や文字、記号を枠で囲んだものなどを指すものとする。ただし、前記実世界の対象物自体を、情報呈示装置の出力のためのマーカー(ランドマーク)として登録した場合は、同様にマーカーとして扱うこととする。
【0022】
具体的には、マーカーは、予め定められた形状の枠部と、その内部或いは外部(周辺部)に記された文字を含む記号や意匠とから構成される。そして、画像入力装置により枠部の形状を撮像しその画面内での形状の歪みから撮像位置を算出する位置姿勢算出機能と、前述の文字、記号や意匠、コード情報を認識して所定の語法や意味づけによって重畳表示すべき情報やプログラムを復号したり所望の情報を呼び出す表示情報生成機能の、主に2つの機能をマーカーに持たせることが可能である。(異なる情報系列のマーカーを認識した場合、その組み合わせで情報呈示内容が決まる。)
ところで、多数の対象物や多数の関連情報を表示したい場合がある。例えば工場などにおいては、100カ所以上もの重畳表示を提供すべきスポットがあったとすると、単純に100種類以上のマーカーを要することになる。ところが可搬型のコンピュータは一般的に処理能力が低く、またそれに搭載されるカメラも小型軽量で有り、一般的に解像度が低い。このようなシステム環境では、100種を越えるような多数のマーカーを判別することが困難になり、誤認識率が高くなってしまうという問題を生ずる。
【0023】
また、工場等においてはクロスセクショナルなコードを識別に使ったマーカーよりも、2桁あるいはそれ以上の数字や英数字を使うことで人間によるマーカーの認識率を上げることができるが、その様にすると例えばBと3や8或いはSと5と言った文字間での誤認識率が増大してしまうと言う欠点がある。
【0024】
そこで本発明では、対象物に関連情報を付加して重畳表示するシステムにおいて、対象物の関連情報を、該対象物上或いは該対象物周辺に設置された複数のマーカーの表記内容により表わし、複数のマーカーは、複数の情報系列のいずれかに属するようにする。すなわち、複数の情報系列により最終的に重畳表示される関連情報が指し示されるようにする。特に、ここでは、マーカーに階層的な意味構造をもたせ、まず、対象物を含む空間的範囲や概念的範囲を示す上位階層のマーカーを検出することで上位階層における情報(系列)を取得し、次に、下位階層のマーカーを検出する場合、該下位階層のマーカーは上位階層にて指定されている範囲、分野における情報系列を指定するようにする。このような構成によれば、下位階層のマーカーが同一であっても、先に検出された上位階層のマーカーが異なっていれば、表示あるいは指示内容が異なる情報系列から得られて表示系に送られ、重畳表示されることになる。
【0025】
言い換えると、本実施形態では、複数種類のマーカーを複数の情報系列に分類し、複数の情報系列のマーカーのうち上位階層のマーカーを用いて対象物群の大分類を行い、下位階層のマーカーを用いて個別の対象物に関する関連情報を特定して表示することで、必要なマーカー数を大幅に減らすことが可能となり、マーカーの誤認識率を低減することができる。
【0026】
例えば、工場などにおいてカメラが搭載されたコンピュータ端末によって上位階層マーカーを認識することでエリア認識をさせ、下位階層マーカーを引き続き認識することで当該エリア内における、ユーザーが興味有る対象物に関する情報を対象物に応じた位置に対象物と同じ画面内に重畳表示させる。
【0027】
この場合、上位階層マーカーの情報系列は、「部屋」や「大型装置周辺」等と言ったユーザの有る分類上の存在位置を教示するためのIDとして用いられるが、勿論「位置」に加えて、「ユーザの向き」を教示するための機能をマーカーにもたせてもよい。
【0028】
また、上記したように、マーカーは、位置姿勢算出機能と表示情報生成機能とを備えるものであるが、ここではマーカーが階層化されていることを考慮して、上位階層マーカーに対しては位置姿勢算出機能をもたせず、下位階層マーカーの位置姿勢算出機能を使用して入力装置の3次元位置姿勢を検出することとする。
【0029】
以下、図面を参照して本発明の実施の形態を詳細に説明する。図1は、本発明が適用される情報呈示システムの概略構成を示す図であり、対象物及びマーカー(ここでは第1階層マーカー及び対象物近傍に設定された下位階層マーカー)を撮像して入力する画像入力装置10と、入力された撮像画像に後述する画像処理を施す画像処理装置20と、画像処理装置20が対象物の関連情報を検索するときに用いられる上位階層対応情報データベース(DB)30a及び下位階層対応情報データベース(DB)30bと、画像処理装置20により生成された画像情報を表示するための画像情報表示装置40とを具備する。
【0030】
上記画像処理装置20は、マーカー検出部20aと、位置姿勢推定部20bと、視野内座標算出部20cと、関連情報取得部20dと、重畳画像生成部20eとを具備する。また、上位階層対応情報DB30aには、上位階層マーカー群に関する情報が格納されており、例えば、各上位階層マーカごとに、下位階層対応情報DBのリンク先を示すリンクデータ(下位階層情報系列の指定)が格納されている。また、下位階層対応情報DB30bには、下位階層マーカー群に関する情報が格納されており、例えば、各上位階層マーカーからのリンク先ごとに、下位階層マーカーと対象物の関連情報とを対応付けた情報系列が格納されている。
【0031】
なお、本実施形態では、上位階層対応情報と下位階層対応情報とは別個のDBに格納されているが、1つのDBに上位及び下位階層対応情報を格納するようにしてもよい。
【0032】
上記したシステム構成において、まず、画像入力装置10によりマーカーを撮像して画像処理装置20に入力する。画像処理装置20のマーカー検出部20aは入力されたマーカーの特徴点を検出することによりどのマーカーが入力されたのかを上位、下位の階層マーカーそれぞれについて認識する。関連情報取得部20dは、上位階層対応情報DB30aを参照して、認識された上位階層マーカーの下位階層DB30bにおけるリンク先を検索する。次に、下位階層対応情報DB30bを参照して、検索されたリンク先における下位階層マーカーを検索し、対応する関連情報を取得して重畳画像生成部20cに送る。
【0033】
一方、マーカー検出部20aでのマーカー認識結果は位置姿勢推定部20bにも入力されて画像入力装置10の位置及び向きが推定される。視野内座標算出部20cは、位置姿勢推定部20bにおける推定結果に基いて関連情報が表示される画面内の位置を決めるための視野内座標を算出して重畳画像生成部20cに送る。
【0034】
重畳画像生成部20cは、関連情報取得部20dからの関連情報と、画像入力装置10から入力された対象物の画像とを重畳して重畳画像を生成する。生成された重畳画像は画像情報表示装置40により表示される。
【0035】
図2は、本実施形態の情報呈示システムにより対象物の関連情報が重畳表示されるまでの手順を説明するためのフローチャートである。
【0036】
まず、入力された上位階層マーカーを画像処理装置20内のマーカー検出部20aにより検出する(ステップS1)。次に、関連情報取得部20dは、上位階層対応情報DB30a(または上位階層対応情報のアドレスDB30a’)を参照して、上位階層マーカーに対応する情報系列を検索する(ステップS2)。
【0037】
次に、検出された上位階層マーカーに対応する情報系列の範囲を必要に応じて重畳表示する(ステップS2−1)。次に、入力された下位階層マーカーを画像処理装置20内のマーカー検出部20aにより検出する(ステップS3)。次に、検出された下位階層マーカーに対応する関連情報を下位階層対応情報DB30bから検索する(ステップS4)。これと並行して、検出した下位階層マーカーの枠部分の画像から画像入力装置10の3次元的位置・姿勢を算出する(ステップS5)。次に、下位階層マーカーにより指定された関連情報を、画像入力装置10の3次元的位置・姿勢に応じて、画像情報表示装置40により対象物と共に表示する(ステップS6)。
【0038】
図3は、2階層マーカーの具体的な階層構造の一例について説明するための図である。上位階層マーカー100は、W,Y,Zの英数字100a、意匠100b、2次元バーコード100cからなる情報系列で構成されている。また、下位階層マーカー200は、11,12,13の英数字200a、意匠200bからなる情報系列で構成されている。さらに、上位階層マーカー100の1つである“W”と、上位階層マーカー100の他の1つである“X”とは、同一の下位階層マーカー200に対応している。
【0039】
このような階層構造において、上位階層マーカー100における英数字“W”が検出された後に、下位階層マーカー200における英数字“11”が検出された場合と、上位階層マーカー100における英数字“X”が検出された後に、下位階層マーカー200における英数字“11”が検出された場合を考えると、下位階層で検出されるマーカーはいずれも英数字“11”であるが、上位階層でのマーカーは異なっているので、英数字“11”に対して異なる関連情報を対応付けることができる。
【0040】
なお、上位階層マーカーが検出されずに、下位階層マーカーが検出された場合には、当該下位階層マーカーに対応する情報系列を表示することとする。
【0041】
図4は、本発明を情報発信基地に適用した場合の2階層マーカーの具体例を示す図である。上位階層マーカー600として、駅前広場エリア600a、夢二碑エリア600b、椿本花邸エリア600cなどの、情報発信エリアを特定するためのエリアマーカが示されている。また、下位階層マーカー700として、発信する情報を決定するために用いられるコンテンツマーカーとしての英数字マーカーA1,B1,C1,D1,E1,F1,G1が示されている。この場合、下位階層マーカー700におけるマーカーが同じであっても上位階層マーカー600を異ならせることにより、異なったコンテンツを発信することができる。
【0042】
図5は、3階層マーカーの具体的な階層構造について説明するための図である。2階層マーカーの場合には上位階層,下位階層という文言を用いたが、3階層マーカーでは、第1階層,第2階層,第3階層という文言を用いることとする。
【0043】
第1階層マーカー300は、場所や室などを表わす英数字マーカーであり、図では“A1”が展示室300a、“B1”がロビー300b、“C1”が機械室300c、“D1”が図書室300dを表わしている。
【0044】
上記した各第1階層マーカーには種々の第2階層マーカーが対応付けられるが、図5では、展示室300aに対応する第2階層マーカーのみが図示されている。展示室300a内の展示場所や収納場所を表わす英数字マーカーとして、“33”はロッカーA(400a)、“34”はロッカーB(400b)、“35”は棚1(400c)、“36”は棚2(400d)を表わしている。
【0045】
上記した各第2階層マーカーには第3階層マーカーが対応付けられるが、図5では、ロッカーA(400a)に対する第3階層マーカーのみが図示されている。各展示品を表わす意匠マーカーとして、意匠マーカー500a、500b、500cが図示されている。各意匠マーカー500a、500b、500cはそれぞれ、対象物501aとしての「造花」、対象物501bとしての「ハクセイ1」、対象物501cとしての「ハクセイ3」に対応している。
【0046】
図6は、単一のマーカーに複数の情報系列が含まれている一例を示す図である。図示されている2つのマーカー800は、マーカー枠部800aと、枠内部800cと、枠外部800bとから構成され、枠内部800cに情報系列900を有し、枠外部800bに情報系列901,902を有している。この場合、2つのマーカー800の枠内部800cの情報系列900は同一であるが、枠外部800bの情報系列901,902を異ならせる(ここでは情報系列901の色を異ならせるとともに情報系列902の位置を異ならせる)ことにより、異なる関連情報が表示されるようにすることが可能である。この場合、枠内部800cの情報系列900及び枠外部800bの情報系列901,902のうち、どちらを上位階層マーカー(または下位階層マーカー)に設定してもよい。
【0047】
なお、マーカーは、予め定められた対象場面或いは対象領域、対象時間内でのみ有効となるように設定することが可能である。
【0048】
上記した実施形態によれば、関連情報を重畳表示するのに使用するマーカー数を大幅に減らすことができ、これによって誤認識率を低減させることが可能になる。例えば、大規模プラントやショッピングモール等の施設等で、少なくとも300の情報呈示スポットを設定しようとしたとする。各マーカーに情報系列が対応付けられ、マーカーが何ら階層構造を有していない場合には当然300種のマーカーが必要となる。
【0049】
しかしながら、マーカー表記が2、3桁の英数字からなる場合には、類似する数字間での誤認識が発生しやすくなる。また、誤認識を少なくするためには画像入力装置や照明環境、認識確認工程の設定等に相当な労力を要し、これがコストアップの要因となる。また、携帯情報端末においては、そのマシンパワーから判断して、50を越える意匠マーカー間での判別は極めて困難である。
【0050】
しかしながら、上記したようにマーカーを階層化することにより、使用するマーカーの数を大幅に少なくすることが可能である。例えば、第1階層のマーカーとして8エリアのマーカー、第2階層のマーカーとして8ゾーンのマーカー、第3階層のマーカーとして6スポットのマーカーを使用して階層化した場合には、8+8+6=22個のマーカーで、8×8×6=378スポットの情報呈示スポットを確保することができる。
【0051】
【発明の効果】
本発明によれば、使用するマーカーの数が少なくなり、誤認識率を大幅に低減させることが可能になる。
【図面の簡単な説明】
【図1】本発明が適用される情報呈示システムの概略構成を示す図である。
【図2】本実施形態の情報呈示システムにより対象物の関連情報が重畳表示されるまでの手順を説明するためのフローチャートである。
【図3】2階層マーカーの具体的な階層構造の一例について説明するための図である。
【図4】本発明を情報発信基地に適用した場合の2階層マーカーの具体例を示す図である。
【図5】3階層マーカーの具体的な階層構造について説明するための図である。
【図6】単一のマーカーに複数の情報系列が含まれている一例を示す図である。
【図7】従来技術の情報呈示装置の一例を説明するための図である。
【符号の説明】
10…画像入力装置、20…画像処理装置、20a…マーカー検出部、20b…位置姿勢推定部、20c…視野内座標算出部、20d…関連情報取得部、20e…重畳画像生成部、30a…上位階層対応情報DB、30b…下位階層対応情報DB、40…画像情報表示装置。
【発明の属する技術分野】
本発明は、マーカーを用いた情報呈示方法及び情報呈示システムに関する。
【0002】
【従来の技術】
実世界中の対象物及び/又は既定のマーカに対し、所定の関連情報を呈示する情報呈示装置としては、バーコードリーダが一般的によく知られている。そのうち、対象物及び/又は既定のマーカの空間情報を利用して、情報を呈示する装置がある。例えば特開2000−82107号公報には、名刺上に印刷された2次元コードをカメラで読み込み、コンピュータ内のプログラムでIDを解析し、このIDに相当する人物の顔写真を、あたかも名刺上の2次元コードの横にあるかのごとく、コンピュータ上のディスプレイに表示することが開示されている。図7は同公報に開示された表示の一例を示しており、1は名刺、2…2次元コード、3…コンピュータディスプレイ、4…顔写真である。
【0003】
【特許文献1】
特開2000−82107号公報
【0004】
【発明が解決しようとする課題】
バーコードリーダは、既定のバーコードを正しく認識した際に音を出すなどして認識の正否を操作者に知らせている。通常バーコードリーダは、一度認識を行えば「情報を読み取り、その意味する情報を呈示する」という目的を達成するので、音が鳴るなどの機能があれば、操作者に目的の達成状況が伝わるため作業上特に問題ない。
【0005】
一方、実世界中の対象物及び/又は既定のマーカにおいて、その空間定位情報を解析し、所定の関連情報を出力する情報呈示装置では、対象物や既定のマーカを一度認識するだけでよい訳ではなく、継続的に認識し、所定の関連情報を継続的に出力する必要がある。空間定位情報を解析し、関連情報を呈示するので、例えば情報呈示装置と対象物や既定のマーカとの位置関係が時間と共に変化しても、常に適応的に正しい情報を呈示し続けなければならないからである。
【0006】
更にバーコードの場合はスーパーのレジ等においてレーザービームで品物をスキャンする場合には相当の精細度でマーカーIDを認識可能であるが、2次元マーカーには機械装置のみでなく人間も認識できるようにするために文字や意匠・アイコン等をIDとして用いることが多い。
【0007】
それらはレーザースキャンではなく画像入力装置からの認識工程を経るため、数多くのマーカーを設定するとこれらの間での誤認識率が増大する。
【0008】
特開2000−82107号公報に開示された装置は、既定のマーカについて画像入力を行い、その空間定位情報を解析し表記されたIDを認識することで、所定の関連情報を出力する情報呈示装置であるが、単純にマーカーと所定の情報は1対1で対応させる旨が読みとられる。空間定位情報といっても、名刺上の2次元コードの横に写真を表示する程度の目的なので、画像入力装置で取り込めば多数のマーカー(2次元コード)が設定されても、ある程度の認識正答率を確保できることが多い。
【0009】
しかしながら、極めて多数(1000を越える数)のマーカー(2次元コード)が設定されしかも処理する側の装置がPDA等の携帯型端末である場合には高精度の画像処理は期待できない。マーカーが産業用に用いられる場合には前述の通り文字や意匠をマーカー(2次元コード)として使用することが多く、画像認識処理の誤認識率が高くなってしまう。
【0010】
本発明は、このような課題に着目してなされたものであり、その目的とするところは、使用するマーカーの数を少なくし、誤認識率を低減させることが可能な情報呈示方法及び情報呈示システムを提供することにある。
【0011】
【課題を解決するための手段】
上記の目的を達成するために、第1の発明は、対象物を画像入力装置により撮像し、該対象物に対応した関連情報を、表示画面内の該対象物上或いは表示画面内の該対象物周辺に表示する情報呈示方法であって、上記対象物の関連情報は、該対象物上或いは該対象物周辺に設置された複数の2次元的マーカーの表記内容により表わされ、上記複数の2次元的マーカーは、複数の情報系列のいずれかに属する。
【0012】
また、第2の発明は、対象物を画像入力装置により撮像し、該対象物上或いは該対象物周辺に配置された複数の2次元的マーカーにより該対象物の関連情報を、表示画面上の対象物に重ね合わせて表示する情報呈示方法であって、上記対象物上或いは該対象物周辺に配置された複数の2次元的マーカーは、階層的な意味構造を有する。
【0013】
また、第3の発明は、第2の発明に係る情報呈示方法において、上記2次元的マーカーの表記内容が、上位階層の情報系列を表わすものであった場合には、前記表示画面内に上記情報系列の範囲を表示する。
【0014】
また、第4の発明は、各種情報を携帯情報端末から使用者に呈示するにあたって、該携帯情報端末に画像入力手段を搭載し、該画像入力手段による撮影画像から上記携帯情報端末の位置及び向きを算出し、上記携帯情報端末の位置及び向きと、対面する対象物の特定結果とから、上記対象物に関する情報を検索して使用者に呈示する情報呈示方法であって、上記撮影画像から、対象物上或いは該対象物周辺に設置された文字、意匠あるいはコード情報を含むマーカー群であって、複数の情報系列のいずれかに対応付けられた、上記対象物を特定するためのマーカー群を検出し、上記複数の情報系列のうち上位の情報系列の指示情報に基づいて、下位の情報系列に対応したマーカーが指定する関連情報を検索する。
【0015】
また、第5の発明は、第1または第4の発明に係る情報提示方法において、上記マーカー群は、予め定められた対象場面或いは対象地域、対象時間帯内でのみ有効であるように設定される。
【0016】
また、第6の発明は、第1または第4の発明に係る情報提示方法において、上記マーカー群は、上位階層のマーカーと下位階層のマーカーとを含み、上記上位階層のマーカーが検出されることなしに上記下位階層のマーカーのみが検出された場合には、該下位階層のマーカーが単独で情報呈示に用いられる。
【0017】
また、第7の発明は、第1または第2の発明に係る情報呈示方法において、単一のマーカー表示に、複数の情報系列が含まれている。
【0018】
また、第8の発明は、第7の発明に係る情報呈示方法において、上記2次元的マーカーは、マーカー枠部と、この枠部の内部及び外部である枠周辺部とから構成され、上記マーカー枠部は、上記携帯情報端末の位置姿勢検出のために用いられ、上記枠周辺部は、表示情報を生成するために用いられる。
【0019】
また、第9の発明は、各種情報を携帯情報端末から使用者に呈示する情報呈示システムであって、該携帯情報端末に搭載された画像入力手段により撮影された撮影画像から上記携帯情報端末の位置及び向きを算出する位置姿勢計測手段と、上記位置姿勢計測手段により算出された上記携帯情報端末の位置及び向きと、対面する対象物の特定結果とから、上記対象物に関する情報を取得する情報取得手段と、上記情報取得手段により取得された上記対象物に関する情報を使用者に対して表示する表示手段と、を具備し、上記撮影画像から、対象物上或いは該対象物周辺に設置された文字、意匠あるいはコード情報を含む、上記対象物を特定するためのマーカー群を検出するマーカー検出手段を有し、上記マーカ群は、複数の情報系列のいずれかに対応し、上記複数の情報系列のうち上位の情報系列の指示情報に基づいて、下位の情報系列に対応したマーカーが指定する関連情報が検索される。
【0020】
【発明の実施の形態】
まず、本実施形態の概略を説明する。マーカーを撮像し、このマーカーから得られる情報に基づいて実世界の対象物と該対象物に関連した特定の関連情報とを同じ画面内に重畳表示することが可能である。ここで、実世界の対象物とは、ビルや家屋等の建造物、樹木等の自然物、信号機、配管、家具などの人工物など、既に実世界中に存在しているものである。
【0021】
また、マーカーとは情報呈示装置の出力のために人為的に設定した各種コード情報や数字や文字、記号を枠で囲んだものなどを指すものとする。ただし、前記実世界の対象物自体を、情報呈示装置の出力のためのマーカー(ランドマーク)として登録した場合は、同様にマーカーとして扱うこととする。
【0022】
具体的には、マーカーは、予め定められた形状の枠部と、その内部或いは外部(周辺部)に記された文字を含む記号や意匠とから構成される。そして、画像入力装置により枠部の形状を撮像しその画面内での形状の歪みから撮像位置を算出する位置姿勢算出機能と、前述の文字、記号や意匠、コード情報を認識して所定の語法や意味づけによって重畳表示すべき情報やプログラムを復号したり所望の情報を呼び出す表示情報生成機能の、主に2つの機能をマーカーに持たせることが可能である。(異なる情報系列のマーカーを認識した場合、その組み合わせで情報呈示内容が決まる。)
ところで、多数の対象物や多数の関連情報を表示したい場合がある。例えば工場などにおいては、100カ所以上もの重畳表示を提供すべきスポットがあったとすると、単純に100種類以上のマーカーを要することになる。ところが可搬型のコンピュータは一般的に処理能力が低く、またそれに搭載されるカメラも小型軽量で有り、一般的に解像度が低い。このようなシステム環境では、100種を越えるような多数のマーカーを判別することが困難になり、誤認識率が高くなってしまうという問題を生ずる。
【0023】
また、工場等においてはクロスセクショナルなコードを識別に使ったマーカーよりも、2桁あるいはそれ以上の数字や英数字を使うことで人間によるマーカーの認識率を上げることができるが、その様にすると例えばBと3や8或いはSと5と言った文字間での誤認識率が増大してしまうと言う欠点がある。
【0024】
そこで本発明では、対象物に関連情報を付加して重畳表示するシステムにおいて、対象物の関連情報を、該対象物上或いは該対象物周辺に設置された複数のマーカーの表記内容により表わし、複数のマーカーは、複数の情報系列のいずれかに属するようにする。すなわち、複数の情報系列により最終的に重畳表示される関連情報が指し示されるようにする。特に、ここでは、マーカーに階層的な意味構造をもたせ、まず、対象物を含む空間的範囲や概念的範囲を示す上位階層のマーカーを検出することで上位階層における情報(系列)を取得し、次に、下位階層のマーカーを検出する場合、該下位階層のマーカーは上位階層にて指定されている範囲、分野における情報系列を指定するようにする。このような構成によれば、下位階層のマーカーが同一であっても、先に検出された上位階層のマーカーが異なっていれば、表示あるいは指示内容が異なる情報系列から得られて表示系に送られ、重畳表示されることになる。
【0025】
言い換えると、本実施形態では、複数種類のマーカーを複数の情報系列に分類し、複数の情報系列のマーカーのうち上位階層のマーカーを用いて対象物群の大分類を行い、下位階層のマーカーを用いて個別の対象物に関する関連情報を特定して表示することで、必要なマーカー数を大幅に減らすことが可能となり、マーカーの誤認識率を低減することができる。
【0026】
例えば、工場などにおいてカメラが搭載されたコンピュータ端末によって上位階層マーカーを認識することでエリア認識をさせ、下位階層マーカーを引き続き認識することで当該エリア内における、ユーザーが興味有る対象物に関する情報を対象物に応じた位置に対象物と同じ画面内に重畳表示させる。
【0027】
この場合、上位階層マーカーの情報系列は、「部屋」や「大型装置周辺」等と言ったユーザの有る分類上の存在位置を教示するためのIDとして用いられるが、勿論「位置」に加えて、「ユーザの向き」を教示するための機能をマーカーにもたせてもよい。
【0028】
また、上記したように、マーカーは、位置姿勢算出機能と表示情報生成機能とを備えるものであるが、ここではマーカーが階層化されていることを考慮して、上位階層マーカーに対しては位置姿勢算出機能をもたせず、下位階層マーカーの位置姿勢算出機能を使用して入力装置の3次元位置姿勢を検出することとする。
【0029】
以下、図面を参照して本発明の実施の形態を詳細に説明する。図1は、本発明が適用される情報呈示システムの概略構成を示す図であり、対象物及びマーカー(ここでは第1階層マーカー及び対象物近傍に設定された下位階層マーカー)を撮像して入力する画像入力装置10と、入力された撮像画像に後述する画像処理を施す画像処理装置20と、画像処理装置20が対象物の関連情報を検索するときに用いられる上位階層対応情報データベース(DB)30a及び下位階層対応情報データベース(DB)30bと、画像処理装置20により生成された画像情報を表示するための画像情報表示装置40とを具備する。
【0030】
上記画像処理装置20は、マーカー検出部20aと、位置姿勢推定部20bと、視野内座標算出部20cと、関連情報取得部20dと、重畳画像生成部20eとを具備する。また、上位階層対応情報DB30aには、上位階層マーカー群に関する情報が格納されており、例えば、各上位階層マーカごとに、下位階層対応情報DBのリンク先を示すリンクデータ(下位階層情報系列の指定)が格納されている。また、下位階層対応情報DB30bには、下位階層マーカー群に関する情報が格納されており、例えば、各上位階層マーカーからのリンク先ごとに、下位階層マーカーと対象物の関連情報とを対応付けた情報系列が格納されている。
【0031】
なお、本実施形態では、上位階層対応情報と下位階層対応情報とは別個のDBに格納されているが、1つのDBに上位及び下位階層対応情報を格納するようにしてもよい。
【0032】
上記したシステム構成において、まず、画像入力装置10によりマーカーを撮像して画像処理装置20に入力する。画像処理装置20のマーカー検出部20aは入力されたマーカーの特徴点を検出することによりどのマーカーが入力されたのかを上位、下位の階層マーカーそれぞれについて認識する。関連情報取得部20dは、上位階層対応情報DB30aを参照して、認識された上位階層マーカーの下位階層DB30bにおけるリンク先を検索する。次に、下位階層対応情報DB30bを参照して、検索されたリンク先における下位階層マーカーを検索し、対応する関連情報を取得して重畳画像生成部20cに送る。
【0033】
一方、マーカー検出部20aでのマーカー認識結果は位置姿勢推定部20bにも入力されて画像入力装置10の位置及び向きが推定される。視野内座標算出部20cは、位置姿勢推定部20bにおける推定結果に基いて関連情報が表示される画面内の位置を決めるための視野内座標を算出して重畳画像生成部20cに送る。
【0034】
重畳画像生成部20cは、関連情報取得部20dからの関連情報と、画像入力装置10から入力された対象物の画像とを重畳して重畳画像を生成する。生成された重畳画像は画像情報表示装置40により表示される。
【0035】
図2は、本実施形態の情報呈示システムにより対象物の関連情報が重畳表示されるまでの手順を説明するためのフローチャートである。
【0036】
まず、入力された上位階層マーカーを画像処理装置20内のマーカー検出部20aにより検出する(ステップS1)。次に、関連情報取得部20dは、上位階層対応情報DB30a(または上位階層対応情報のアドレスDB30a’)を参照して、上位階層マーカーに対応する情報系列を検索する(ステップS2)。
【0037】
次に、検出された上位階層マーカーに対応する情報系列の範囲を必要に応じて重畳表示する(ステップS2−1)。次に、入力された下位階層マーカーを画像処理装置20内のマーカー検出部20aにより検出する(ステップS3)。次に、検出された下位階層マーカーに対応する関連情報を下位階層対応情報DB30bから検索する(ステップS4)。これと並行して、検出した下位階層マーカーの枠部分の画像から画像入力装置10の3次元的位置・姿勢を算出する(ステップS5)。次に、下位階層マーカーにより指定された関連情報を、画像入力装置10の3次元的位置・姿勢に応じて、画像情報表示装置40により対象物と共に表示する(ステップS6)。
【0038】
図3は、2階層マーカーの具体的な階層構造の一例について説明するための図である。上位階層マーカー100は、W,Y,Zの英数字100a、意匠100b、2次元バーコード100cからなる情報系列で構成されている。また、下位階層マーカー200は、11,12,13の英数字200a、意匠200bからなる情報系列で構成されている。さらに、上位階層マーカー100の1つである“W”と、上位階層マーカー100の他の1つである“X”とは、同一の下位階層マーカー200に対応している。
【0039】
このような階層構造において、上位階層マーカー100における英数字“W”が検出された後に、下位階層マーカー200における英数字“11”が検出された場合と、上位階層マーカー100における英数字“X”が検出された後に、下位階層マーカー200における英数字“11”が検出された場合を考えると、下位階層で検出されるマーカーはいずれも英数字“11”であるが、上位階層でのマーカーは異なっているので、英数字“11”に対して異なる関連情報を対応付けることができる。
【0040】
なお、上位階層マーカーが検出されずに、下位階層マーカーが検出された場合には、当該下位階層マーカーに対応する情報系列を表示することとする。
【0041】
図4は、本発明を情報発信基地に適用した場合の2階層マーカーの具体例を示す図である。上位階層マーカー600として、駅前広場エリア600a、夢二碑エリア600b、椿本花邸エリア600cなどの、情報発信エリアを特定するためのエリアマーカが示されている。また、下位階層マーカー700として、発信する情報を決定するために用いられるコンテンツマーカーとしての英数字マーカーA1,B1,C1,D1,E1,F1,G1が示されている。この場合、下位階層マーカー700におけるマーカーが同じであっても上位階層マーカー600を異ならせることにより、異なったコンテンツを発信することができる。
【0042】
図5は、3階層マーカーの具体的な階層構造について説明するための図である。2階層マーカーの場合には上位階層,下位階層という文言を用いたが、3階層マーカーでは、第1階層,第2階層,第3階層という文言を用いることとする。
【0043】
第1階層マーカー300は、場所や室などを表わす英数字マーカーであり、図では“A1”が展示室300a、“B1”がロビー300b、“C1”が機械室300c、“D1”が図書室300dを表わしている。
【0044】
上記した各第1階層マーカーには種々の第2階層マーカーが対応付けられるが、図5では、展示室300aに対応する第2階層マーカーのみが図示されている。展示室300a内の展示場所や収納場所を表わす英数字マーカーとして、“33”はロッカーA(400a)、“34”はロッカーB(400b)、“35”は棚1(400c)、“36”は棚2(400d)を表わしている。
【0045】
上記した各第2階層マーカーには第3階層マーカーが対応付けられるが、図5では、ロッカーA(400a)に対する第3階層マーカーのみが図示されている。各展示品を表わす意匠マーカーとして、意匠マーカー500a、500b、500cが図示されている。各意匠マーカー500a、500b、500cはそれぞれ、対象物501aとしての「造花」、対象物501bとしての「ハクセイ1」、対象物501cとしての「ハクセイ3」に対応している。
【0046】
図6は、単一のマーカーに複数の情報系列が含まれている一例を示す図である。図示されている2つのマーカー800は、マーカー枠部800aと、枠内部800cと、枠外部800bとから構成され、枠内部800cに情報系列900を有し、枠外部800bに情報系列901,902を有している。この場合、2つのマーカー800の枠内部800cの情報系列900は同一であるが、枠外部800bの情報系列901,902を異ならせる(ここでは情報系列901の色を異ならせるとともに情報系列902の位置を異ならせる)ことにより、異なる関連情報が表示されるようにすることが可能である。この場合、枠内部800cの情報系列900及び枠外部800bの情報系列901,902のうち、どちらを上位階層マーカー(または下位階層マーカー)に設定してもよい。
【0047】
なお、マーカーは、予め定められた対象場面或いは対象領域、対象時間内でのみ有効となるように設定することが可能である。
【0048】
上記した実施形態によれば、関連情報を重畳表示するのに使用するマーカー数を大幅に減らすことができ、これによって誤認識率を低減させることが可能になる。例えば、大規模プラントやショッピングモール等の施設等で、少なくとも300の情報呈示スポットを設定しようとしたとする。各マーカーに情報系列が対応付けられ、マーカーが何ら階層構造を有していない場合には当然300種のマーカーが必要となる。
【0049】
しかしながら、マーカー表記が2、3桁の英数字からなる場合には、類似する数字間での誤認識が発生しやすくなる。また、誤認識を少なくするためには画像入力装置や照明環境、認識確認工程の設定等に相当な労力を要し、これがコストアップの要因となる。また、携帯情報端末においては、そのマシンパワーから判断して、50を越える意匠マーカー間での判別は極めて困難である。
【0050】
しかしながら、上記したようにマーカーを階層化することにより、使用するマーカーの数を大幅に少なくすることが可能である。例えば、第1階層のマーカーとして8エリアのマーカー、第2階層のマーカーとして8ゾーンのマーカー、第3階層のマーカーとして6スポットのマーカーを使用して階層化した場合には、8+8+6=22個のマーカーで、8×8×6=378スポットの情報呈示スポットを確保することができる。
【0051】
【発明の効果】
本発明によれば、使用するマーカーの数が少なくなり、誤認識率を大幅に低減させることが可能になる。
【図面の簡単な説明】
【図1】本発明が適用される情報呈示システムの概略構成を示す図である。
【図2】本実施形態の情報呈示システムにより対象物の関連情報が重畳表示されるまでの手順を説明するためのフローチャートである。
【図3】2階層マーカーの具体的な階層構造の一例について説明するための図である。
【図4】本発明を情報発信基地に適用した場合の2階層マーカーの具体例を示す図である。
【図5】3階層マーカーの具体的な階層構造について説明するための図である。
【図6】単一のマーカーに複数の情報系列が含まれている一例を示す図である。
【図7】従来技術の情報呈示装置の一例を説明するための図である。
【符号の説明】
10…画像入力装置、20…画像処理装置、20a…マーカー検出部、20b…位置姿勢推定部、20c…視野内座標算出部、20d…関連情報取得部、20e…重畳画像生成部、30a…上位階層対応情報DB、30b…下位階層対応情報DB、40…画像情報表示装置。
Claims (9)
- 対象物を画像入力装置により撮像し、該対象物に対応した関連情報を、表示画面内の該対象物上或いは表示画面内の該対象物周辺に表示する情報呈示方法であって、
上記対象物の関連情報は、該対象物上或いは該対象物周辺に設置された複数の2次元的マーカーの表記内容により表わされ、上記複数の2次元的マーカーは、複数の情報系列のいずれかに属することを特徴とする情報呈示方法。 - 対象物を画像入力装置により撮像し、該対象物上或いは該対象物周辺に配置された複数の2次元的マーカーにより該対象物の関連情報を、表示画面上の対象物に重ね合わせて表示する情報呈示方法であって、
上記対象物上或いは該対象物周辺に配置された複数の2次元的マーカーは、階層的な意味構造を有することを特徴とする情報呈示方法。 - 上記2次元的マーカーの表記内容が、上位階層の情報系列を表わすものであった場合には、前記表示画面内に上記情報系列の範囲を表示することを特徴とする請求項2記載の情報呈示方法。
- 各種情報を携帯情報端末から使用者に呈示するにあたって、
該携帯情報端末に画像入力手段を搭載し、該画像入力手段による撮影画像から上記携帯情報端末の位置及び向きを算出し、
上記携帯情報端末の位置及び向きと、対面する対象物の特定結果とから、上記対象物に関する情報を検索して使用者に呈示する情報呈示方法であって、
上記撮影画像から、対象物上或いは該対象物周辺に設置された文字、意匠あるいはコード情報を含むマーカー群であって、複数の情報系列のいずれかに対応付けられた、上記対象物を特定するためのマーカー群を検出し、
上記複数の情報系列のうち上位の情報系列の指示情報に基づいて、下位の情報系列に対応したマーカーが指定する関連情報を検索するようにしたことを特徴とする情報呈示方法。 - 上記マーカー群は、予め定められた対象場面或いは対象地域、対象時間帯内でのみ有効であるように設定されることを特徴とする請求項1または4記載の情報呈示方法。
- 上記マーカー群は、上位階層のマーカーと下位階層のマーカーとを含み、上記上位階層のマーカーが検出されることなしに上記下位階層のマーカーのみが検出された場合には、該下位階層のマーカーが単独で情報呈示に用いられる請求項1または4記載の情報呈示方法。
- 単一のマーカー表示に、複数の情報系列が含まれていることを特徴とする請求項1または2記載の情報呈示方法。
- 上記2次元的マーカーは、マーカー枠部と、この枠部の内部及び外部である枠周辺部とから構成され、上記マーカー枠部は、上記携帯情報端末の位置姿勢検出のために用いられ、上記枠周辺部は、表示情報を生成するために用いられる請求項7記載の情報呈示方法。
- 各種情報を携帯情報端末から使用者に呈示する情報呈示システムであって、
該携帯情報端末に搭載された画像入力手段により撮影された撮影画像から上記携帯情報端末の位置及び向きを算出する位置姿勢計測手段と、
上記位置姿勢計測手段により算出された上記携帯情報端末の位置及び向きと、対面する対象物の特定結果とから、上記対象物に関する情報を取得する情報取得手段と、
上記情報取得手段により取得された上記対象物に関する情報を使用者に対して表示する表示手段と、を具備し、
上記撮影画像から、対象物上或いは該対象物周辺に設置された文字、意匠あるいはコード情報を含む、上記対象物を特定するためのマーカー群を検出するマーカー検出手段を有し、
上記マーカ群は、複数の情報系列のいずれかに対応し、上記複数の情報系列のうち上位の情報系列の指示情報に基づいて、下位の情報系列に対応したマーカーが指定する関連情報が検索されることを特徴とする情報呈示システム。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003201055A JP2005044029A (ja) | 2003-07-24 | 2003-07-24 | 情報呈示方法及び情報呈示システム |
PCT/JP2004/010588 WO2005010807A1 (ja) | 2003-07-24 | 2004-07-20 | 情報呈示方法及び情報呈示システム |
CNB2004800213750A CN100533472C (zh) | 2003-07-24 | 2004-07-20 | 信息呈现方法和信息呈现*** |
EP04747951A EP1650695A4 (en) | 2003-07-24 | 2004-07-20 | METHOD AND SYSTEM FOR PRESENTATION OF INFORMATION |
KR1020067001488A KR100761582B1 (ko) | 2003-07-24 | 2004-07-20 | 정보 제시 방법 및 정보 제시 시스템 |
US11/337,662 US7505639B2 (en) | 2003-07-24 | 2006-01-23 | Information presentation method and information presentation system |
HK06111146.4A HK1090726A1 (en) | 2003-07-24 | 2006-10-11 | Information presentation method and information presentation system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003201055A JP2005044029A (ja) | 2003-07-24 | 2003-07-24 | 情報呈示方法及び情報呈示システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005044029A true JP2005044029A (ja) | 2005-02-17 |
Family
ID=34100471
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003201055A Pending JP2005044029A (ja) | 2003-07-24 | 2003-07-24 | 情報呈示方法及び情報呈示システム |
Country Status (7)
Country | Link |
---|---|
US (1) | US7505639B2 (ja) |
EP (1) | EP1650695A4 (ja) |
JP (1) | JP2005044029A (ja) |
KR (1) | KR100761582B1 (ja) |
CN (1) | CN100533472C (ja) |
HK (1) | HK1090726A1 (ja) |
WO (1) | WO2005010807A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007108128A1 (ja) * | 2006-03-23 | 2007-09-27 | Olympus Corporation | 情報呈示装置及び情報呈示端末 |
JP2008261755A (ja) * | 2007-04-12 | 2008-10-30 | Canon Inc | 情報処理装置、情報処理方法 |
JP5988563B2 (ja) * | 2011-10-25 | 2016-09-07 | キヤノン株式会社 | 画像処理装置と画像処理装置の制御方法およびプログラムと、情報処理装置と情報処理装置の制御方法およびプログラム |
GB201122284D0 (en) * | 2011-12-23 | 2012-02-01 | Zappar Ltd | Content identification and distribution |
JP5791690B2 (ja) * | 2013-12-03 | 2015-10-07 | 株式会社バンダイ | 情報保持媒体及び情報読取装置 |
JP6586758B2 (ja) * | 2015-03-31 | 2019-10-09 | ソニー株式会社 | 情報処理システム、情報処理方法及びプログラム |
US11182965B2 (en) | 2019-05-01 | 2021-11-23 | At&T Intellectual Property I, L.P. | Extended reality markers for enhancing social engagement |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4742558A (en) | 1984-02-14 | 1988-05-03 | Nippon Telegraph & Telephone Public Corporation | Image information retrieval/display apparatus |
JPH0386823U (ja) * | 1989-12-26 | 1991-09-03 | ||
ES2105936B1 (es) * | 1994-03-21 | 1998-06-01 | I D Tec S L | Perfeccionamientos introducidos en la patente de invencion n. p-9400595/8 por: procedimiento biometrico de seguridad y autentificacion de tarjetas de identidad y de credito, visados, pasaportes y reconocimiento facial. |
US5765561A (en) * | 1994-10-07 | 1998-06-16 | Medical Media Systems | Video-based surgical targeting system |
US6535243B1 (en) * | 1998-01-06 | 2003-03-18 | Hewlett- Packard Company | Wireless hand-held digital camera |
JP3786166B2 (ja) | 1998-06-30 | 2006-06-14 | ソニー株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
US6473522B1 (en) * | 2000-03-14 | 2002-10-29 | Intel Corporation | Estimating text color and segmentation of images |
JP2002092012A (ja) * | 2000-09-19 | 2002-03-29 | Olympus Optical Co Ltd | 特定地域内情報表示システム |
JP4464549B2 (ja) * | 2000-11-22 | 2010-05-19 | オリンパス株式会社 | 画像情報表示装置 |
JP3086823U (ja) * | 2001-12-19 | 2002-07-05 | デーティー・リサーチ・ジャパン株式会社 | コードコントロール用シート |
JP2004048674A (ja) * | 2002-05-24 | 2004-02-12 | Olympus Corp | 視野一致型情報呈示システム、並びに、それに用いられる携帯情報端末及びサーバ |
-
2003
- 2003-07-24 JP JP2003201055A patent/JP2005044029A/ja active Pending
-
2004
- 2004-07-20 KR KR1020067001488A patent/KR100761582B1/ko not_active IP Right Cessation
- 2004-07-20 CN CNB2004800213750A patent/CN100533472C/zh not_active Expired - Fee Related
- 2004-07-20 EP EP04747951A patent/EP1650695A4/en not_active Withdrawn
- 2004-07-20 WO PCT/JP2004/010588 patent/WO2005010807A1/ja active Application Filing
-
2006
- 2006-01-23 US US11/337,662 patent/US7505639B2/en not_active Expired - Fee Related
- 2006-10-11 HK HK06111146.4A patent/HK1090726A1/xx not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
CN1826606A (zh) | 2006-08-30 |
KR100761582B1 (ko) | 2007-09-27 |
WO2005010807A1 (ja) | 2005-02-03 |
EP1650695A4 (en) | 2008-04-30 |
US7505639B2 (en) | 2009-03-17 |
EP1650695A1 (en) | 2006-04-26 |
CN100533472C (zh) | 2009-08-26 |
HK1090726A1 (en) | 2006-12-29 |
KR20060031871A (ko) | 2006-04-13 |
US20060126968A1 (en) | 2006-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6821762B2 (ja) | 畳み込みニューラルネットワークを利用してpoi変化を検出するためのシステムおよび方法 | |
EP3229169B1 (en) | Code recognition device | |
JP4032776B2 (ja) | 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム | |
US20090160975A1 (en) | Methods and Apparatus for Improved Image Processing to Provide Retroactive Image Focusing and Improved Depth of Field in Retail Imaging Systems | |
EP3680813A1 (en) | Method and system for detecting objects installed within a building | |
CN102708355A (zh) | 信息处理装置、信息处理方法及程序 | |
JP2023502972A (ja) | 物品識別および追跡システム | |
CN102067175A (zh) | 图像中的自动面部检测和身份屏蔽及其应用 | |
KR20150103266A (ko) | 광학 캐릭터 인식을 사용하여 증강 현실을 제공하기 위한 방법 및 장치 | |
US7505639B2 (en) | Information presentation method and information presentation system | |
JP2010267113A (ja) | 部品管理方法、装置、プログラム、記録媒体 | |
RU2729399C1 (ru) | Способ обнаружения и распознавания визуальных маркеров большой дальности и высокой плотности | |
JP6687199B2 (ja) | 商品棚位置登録プログラム、及び情報処理装置 | |
CN111428743B (zh) | 商品识别方法、商品处理方法、装置及电子设备 | |
WO2011010705A1 (ja) | マーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びそのプログラム | |
KR101039298B1 (ko) | 다수의 특징점 기반 마커를 인식하기 위한 순차 검색 방법 및 이를 이용한 증강현실 구현 방법 | |
KR101845423B1 (ko) | 구조물 검사 지원 장치 및 방법 | |
JP6065911B2 (ja) | 配置情報登録装置、配置情報登録方法および配置情報登録プログラム | |
Uma et al. | Marker based augmented reality food menu | |
JP6304815B2 (ja) | 画像処理装置ならびにその画像特徴検出方法、プログラムおよび装置 | |
Beglov | Object information based on marker recognition | |
CN112581525A (zh) | 人体佩戴物品的状态检测方法、装置、设备及存储介质 | |
JP2016136099A (ja) | 測位システム及び測位方法 | |
Dubenova et al. | D-inloc++: Indoor localization in dynamic environments | |
Sallam Fatouh et al. | Image-based localization for augmented reality application: A review |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080819 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081020 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081111 |