JP2005044029A - 情報呈示方法及び情報呈示システム - Google Patents
情報呈示方法及び情報呈示システム Download PDFInfo
- Publication number
- JP2005044029A JP2005044029A JP2003201055A JP2003201055A JP2005044029A JP 2005044029 A JP2005044029 A JP 2005044029A JP 2003201055 A JP2003201055 A JP 2003201055A JP 2003201055 A JP2003201055 A JP 2003201055A JP 2005044029 A JP2005044029 A JP 2005044029A
- Authority
- JP
- Japan
- Prior art keywords
- information
- marker
- series
- markers
- orientation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
- G09F3/00—Labels, tag tickets, or similar identification or indication means; Seals; Postage or like stamps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Computer Graphics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Toxicology (AREA)
- General Health & Medical Sciences (AREA)
- Electromagnetism (AREA)
- User Interface Of Digital Computer (AREA)
- Digital Computer Display Output (AREA)
Abstract
【課題】使用するマーカーの数を少なくし、誤認識率を低減させることが可能な情報呈示方法を提供する。
【解決手段】対象物を画像入力装置１０により撮像し、該対象物に対応した関連情報を、画像情報表示装置４０により表示画面内の該対象物上或いは表示画面内の該対象物周辺に表示する情報呈示方法であって、上記対象物の関連情報は、該対象物上或いは該対象物周辺に設置された複数の２次元的マーカーの表記内容により表わされ、上記複数の２次元的マーカーは、複数の情報系列のいずれかに属する。
【選択図】 図１
【解決手段】対象物を画像入力装置１０により撮像し、該対象物に対応した関連情報を、画像情報表示装置４０により表示画面内の該対象物上或いは表示画面内の該対象物周辺に表示する情報呈示方法であって、上記対象物の関連情報は、該対象物上或いは該対象物周辺に設置された複数の２次元的マーカーの表記内容により表わされ、上記複数の２次元的マーカーは、複数の情報系列のいずれかに属する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、マーカーを用いた情報呈示方法及び情報呈示システムに関する。
【０００２】
【従来の技術】
実世界中の対象物及び／又は既定のマーカに対し、所定の関連情報を呈示する情報呈示装置としては、バーコードリーダが一般的によく知られている。そのうち、対象物及び／又は既定のマーカの空間情報を利用して、情報を呈示する装置がある。例えば特開２０００−８２１０７号公報には、名刺上に印刷された２次元コードをカメラで読み込み、コンピュータ内のプログラムでＩＤを解析し、このＩＤに相当する人物の顔写真を、あたかも名刺上の２次元コードの横にあるかのごとく、コンピュータ上のディスプレイに表示することが開示されている。図７は同公報に開示された表示の一例を示しており、１は名刺、２…２次元コード、３…コンピュータディスプレイ、４…顔写真である。
【０００３】
【特許文献１】
特開２０００−８２１０７号公報
【０００４】
【発明が解決しようとする課題】
バーコードリーダは、既定のバーコードを正しく認識した際に音を出すなどして認識の正否を操作者に知らせている。通常バーコードリーダは、一度認識を行えば「情報を読み取り、その意味する情報を呈示する」という目的を達成するので、音が鳴るなどの機能があれば、操作者に目的の達成状況が伝わるため作業上特に問題ない。
【０００５】
一方、実世界中の対象物及び／又は既定のマーカにおいて、その空間定位情報を解析し、所定の関連情報を出力する情報呈示装置では、対象物や既定のマーカを一度認識するだけでよい訳ではなく、継続的に認識し、所定の関連情報を継続的に出力する必要がある。空間定位情報を解析し、関連情報を呈示するので、例えば情報呈示装置と対象物や既定のマーカとの位置関係が時間と共に変化しても、常に適応的に正しい情報を呈示し続けなければならないからである。
【０００６】
更にバーコードの場合はスーパーのレジ等においてレーザービームで品物をスキャンする場合には相当の精細度でマーカーＩＤを認識可能であるが、２次元マーカーには機械装置のみでなく人間も認識できるようにするために文字や意匠・アイコン等をＩＤとして用いることが多い。
【０００７】
それらはレーザースキャンではなく画像入力装置からの認識工程を経るため、数多くのマーカーを設定するとこれらの間での誤認識率が増大する。
【０００８】
特開２０００−８２１０７号公報に開示された装置は、既定のマーカについて画像入力を行い、その空間定位情報を解析し表記されたＩＤを認識することで、所定の関連情報を出力する情報呈示装置であるが、単純にマーカーと所定の情報は１対１で対応させる旨が読みとられる。空間定位情報といっても、名刺上の２次元コードの横に写真を表示する程度の目的なので、画像入力装置で取り込めば多数のマーカー（２次元コード）が設定されても、ある程度の認識正答率を確保できることが多い。
【０００９】
しかしながら、極めて多数（１０００を越える数）のマーカー（２次元コード）が設定されしかも処理する側の装置がＰＤＡ等の携帯型端末である場合には高精度の画像処理は期待できない。マーカーが産業用に用いられる場合には前述の通り文字や意匠をマーカー（２次元コード）として使用することが多く、画像認識処理の誤認識率が高くなってしまう。
【００１０】
本発明は、このような課題に着目してなされたものであり、その目的とするところは、使用するマーカーの数を少なくし、誤認識率を低減させることが可能な情報呈示方法及び情報呈示システムを提供することにある。
【００１１】
【課題を解決するための手段】
上記の目的を達成するために、第１の発明は、対象物を画像入力装置により撮像し、該対象物に対応した関連情報を、表示画面内の該対象物上或いは表示画面内の該対象物周辺に表示する情報呈示方法であって、上記対象物の関連情報は、該対象物上或いは該対象物周辺に設置された複数の２次元的マーカーの表記内容により表わされ、上記複数の２次元的マーカーは、複数の情報系列のいずれかに属する。
【００１２】
また、第２の発明は、対象物を画像入力装置により撮像し、該対象物上或いは該対象物周辺に配置された複数の２次元的マーカーにより該対象物の関連情報を、表示画面上の対象物に重ね合わせて表示する情報呈示方法であって、上記対象物上或いは該対象物周辺に配置された複数の２次元的マーカーは、階層的な意味構造を有する。
【００１３】
また、第３の発明は、第２の発明に係る情報呈示方法において、上記２次元的マーカーの表記内容が、上位階層の情報系列を表わすものであった場合には、前記表示画面内に上記情報系列の範囲を表示する。
【００１４】
また、第４の発明は、各種情報を携帯情報端末から使用者に呈示するにあたって、該携帯情報端末に画像入力手段を搭載し、該画像入力手段による撮影画像から上記携帯情報端末の位置及び向きを算出し、上記携帯情報端末の位置及び向きと、対面する対象物の特定結果とから、上記対象物に関する情報を検索して使用者に呈示する情報呈示方法であって、上記撮影画像から、対象物上或いは該対象物周辺に設置された文字、意匠あるいはコード情報を含むマーカー群であって、複数の情報系列のいずれかに対応付けられた、上記対象物を特定するためのマーカー群を検出し、上記複数の情報系列のうち上位の情報系列の指示情報に基づいて、下位の情報系列に対応したマーカーが指定する関連情報を検索する。
【００１５】
また、第５の発明は、第１または第４の発明に係る情報提示方法において、上記マーカー群は、予め定められた対象場面或いは対象地域、対象時間帯内でのみ有効であるように設定される。
【００１６】
また、第６の発明は、第１または第４の発明に係る情報提示方法において、上記マーカー群は、上位階層のマーカーと下位階層のマーカーとを含み、上記上位階層のマーカーが検出されることなしに上記下位階層のマーカーのみが検出された場合には、該下位階層のマーカーが単独で情報呈示に用いられる。
【００１７】
また、第７の発明は、第１または第２の発明に係る情報呈示方法において、単一のマーカー表示に、複数の情報系列が含まれている。
【００１８】
また、第８の発明は、第７の発明に係る情報呈示方法において、上記２次元的マーカーは、マーカー枠部と、この枠部の内部及び外部である枠周辺部とから構成され、上記マーカー枠部は、上記携帯情報端末の位置姿勢検出のために用いられ、上記枠周辺部は、表示情報を生成するために用いられる。
【００１９】
また、第９の発明は、各種情報を携帯情報端末から使用者に呈示する情報呈示システムであって、該携帯情報端末に搭載された画像入力手段により撮影された撮影画像から上記携帯情報端末の位置及び向きを算出する位置姿勢計測手段と、上記位置姿勢計測手段により算出された上記携帯情報端末の位置及び向きと、対面する対象物の特定結果とから、上記対象物に関する情報を取得する情報取得手段と、上記情報取得手段により取得された上記対象物に関する情報を使用者に対して表示する表示手段と、を具備し、上記撮影画像から、対象物上或いは該対象物周辺に設置された文字、意匠あるいはコード情報を含む、上記対象物を特定するためのマーカー群を検出するマーカー検出手段を有し、上記マーカ群は、複数の情報系列のいずれかに対応し、上記複数の情報系列のうち上位の情報系列の指示情報に基づいて、下位の情報系列に対応したマーカーが指定する関連情報が検索される。
【００２０】
【発明の実施の形態】
まず、本実施形態の概略を説明する。マーカーを撮像し、このマーカーから得られる情報に基づいて実世界の対象物と該対象物に関連した特定の関連情報とを同じ画面内に重畳表示することが可能である。ここで、実世界の対象物とは、ビルや家屋等の建造物、樹木等の自然物、信号機、配管、家具などの人工物など、既に実世界中に存在しているものである。
【００２１】
また、マーカーとは情報呈示装置の出力のために人為的に設定した各種コード情報や数字や文字、記号を枠で囲んだものなどを指すものとする。ただし、前記実世界の対象物自体を、情報呈示装置の出力のためのマーカー（ランドマーク）として登録した場合は、同様にマーカーとして扱うこととする。
【００２２】
具体的には、マーカーは、予め定められた形状の枠部と、その内部或いは外部（周辺部）に記された文字を含む記号や意匠とから構成される。そして、画像入力装置により枠部の形状を撮像しその画面内での形状の歪みから撮像位置を算出する位置姿勢算出機能と、前述の文字、記号や意匠、コード情報を認識して所定の語法や意味づけによって重畳表示すべき情報やプログラムを復号したり所望の情報を呼び出す表示情報生成機能の、主に２つの機能をマーカーに持たせることが可能である。（異なる情報系列のマーカーを認識した場合、その組み合わせで情報呈示内容が決まる。）
ところで、多数の対象物や多数の関連情報を表示したい場合がある。例えば工場などにおいては、１００カ所以上もの重畳表示を提供すべきスポットがあったとすると、単純に１００種類以上のマーカーを要することになる。ところが可搬型のコンピュータは一般的に処理能力が低く、またそれに搭載されるカメラも小型軽量で有り、一般的に解像度が低い。このようなシステム環境では、１００種を越えるような多数のマーカーを判別することが困難になり、誤認識率が高くなってしまうという問題を生ずる。
【００２３】
また、工場等においてはクロスセクショナルなコードを識別に使ったマーカーよりも、２桁あるいはそれ以上の数字や英数字を使うことで人間によるマーカーの認識率を上げることができるが、その様にすると例えばＢと３や８或いはＳと５と言った文字間での誤認識率が増大してしまうと言う欠点がある。
【００２４】
そこで本発明では、対象物に関連情報を付加して重畳表示するシステムにおいて、対象物の関連情報を、該対象物上或いは該対象物周辺に設置された複数のマーカーの表記内容により表わし、複数のマーカーは、複数の情報系列のいずれかに属するようにする。すなわち、複数の情報系列により最終的に重畳表示される関連情報が指し示されるようにする。特に、ここでは、マーカーに階層的な意味構造をもたせ、まず、対象物を含む空間的範囲や概念的範囲を示す上位階層のマーカーを検出することで上位階層における情報（系列）を取得し、次に、下位階層のマーカーを検出する場合、該下位階層のマーカーは上位階層にて指定されている範囲、分野における情報系列を指定するようにする。このような構成によれば、下位階層のマーカーが同一であっても、先に検出された上位階層のマーカーが異なっていれば、表示あるいは指示内容が異なる情報系列から得られて表示系に送られ、重畳表示されることになる。
【００２５】
言い換えると、本実施形態では、複数種類のマーカーを複数の情報系列に分類し、複数の情報系列のマーカーのうち上位階層のマーカーを用いて対象物群の大分類を行い、下位階層のマーカーを用いて個別の対象物に関する関連情報を特定して表示することで、必要なマーカー数を大幅に減らすことが可能となり、マーカーの誤認識率を低減することができる。
【００２６】
例えば、工場などにおいてカメラが搭載されたコンピュータ端末によって上位階層マーカーを認識することでエリア認識をさせ、下位階層マーカーを引き続き認識することで当該エリア内における、ユーザーが興味有る対象物に関する情報を対象物に応じた位置に対象物と同じ画面内に重畳表示させる。
【００２７】
この場合、上位階層マーカーの情報系列は、「部屋」や「大型装置周辺」等と言ったユーザの有る分類上の存在位置を教示するためのＩＤとして用いられるが、勿論「位置」に加えて、「ユーザの向き」を教示するための機能をマーカーにもたせてもよい。
【００２８】
また、上記したように、マーカーは、位置姿勢算出機能と表示情報生成機能とを備えるものであるが、ここではマーカーが階層化されていることを考慮して、上位階層マーカーに対しては位置姿勢算出機能をもたせず、下位階層マーカーの位置姿勢算出機能を使用して入力装置の３次元位置姿勢を検出することとする。
【００２９】
以下、図面を参照して本発明の実施の形態を詳細に説明する。図１は、本発明が適用される情報呈示システムの概略構成を示す図であり、対象物及びマーカー（ここでは第１階層マーカー及び対象物近傍に設定された下位階層マーカー）を撮像して入力する画像入力装置１０と、入力された撮像画像に後述する画像処理を施す画像処理装置２０と、画像処理装置２０が対象物の関連情報を検索するときに用いられる上位階層対応情報データベース（ＤＢ）３０ａ及び下位階層対応情報データベース（ＤＢ）３０ｂと、画像処理装置２０により生成された画像情報を表示するための画像情報表示装置４０とを具備する。
【００３０】
上記画像処理装置２０は、マーカー検出部２０ａと、位置姿勢推定部２０ｂと、視野内座標算出部２０ｃと、関連情報取得部２０ｄと、重畳画像生成部２０ｅとを具備する。また、上位階層対応情報ＤＢ３０ａには、上位階層マーカー群に関する情報が格納されており、例えば、各上位階層マーカごとに、下位階層対応情報ＤＢのリンク先を示すリンクデータ（下位階層情報系列の指定）が格納されている。また、下位階層対応情報ＤＢ３０ｂには、下位階層マーカー群に関する情報が格納されており、例えば、各上位階層マーカーからのリンク先ごとに、下位階層マーカーと対象物の関連情報とを対応付けた情報系列が格納されている。
【００３１】
なお、本実施形態では、上位階層対応情報と下位階層対応情報とは別個のＤＢに格納されているが、１つのＤＢに上位及び下位階層対応情報を格納するようにしてもよい。
【００３２】
上記したシステム構成において、まず、画像入力装置１０によりマーカーを撮像して画像処理装置２０に入力する。画像処理装置２０のマーカー検出部２０ａは入力されたマーカーの特徴点を検出することによりどのマーカーが入力されたのかを上位、下位の階層マーカーそれぞれについて認識する。関連情報取得部２０ｄは、上位階層対応情報ＤＢ３０ａを参照して、認識された上位階層マーカーの下位階層ＤＢ３０ｂにおけるリンク先を検索する。次に、下位階層対応情報ＤＢ３０ｂを参照して、検索されたリンク先における下位階層マーカーを検索し、対応する関連情報を取得して重畳画像生成部２０ｃに送る。
【００３３】
一方、マーカー検出部２０ａでのマーカー認識結果は位置姿勢推定部２０ｂにも入力されて画像入力装置１０の位置及び向きが推定される。視野内座標算出部２０ｃは、位置姿勢推定部２０ｂにおける推定結果に基いて関連情報が表示される画面内の位置を決めるための視野内座標を算出して重畳画像生成部２０ｃに送る。
【００３４】
重畳画像生成部２０ｃは、関連情報取得部２０ｄからの関連情報と、画像入力装置１０から入力された対象物の画像とを重畳して重畳画像を生成する。生成された重畳画像は画像情報表示装置４０により表示される。
【００３５】
図２は、本実施形態の情報呈示システムにより対象物の関連情報が重畳表示されるまでの手順を説明するためのフローチャートである。
【００３６】
まず、入力された上位階層マーカーを画像処理装置２０内のマーカー検出部２０ａにより検出する（ステップＳ１）。次に、関連情報取得部２０ｄは、上位階層対応情報ＤＢ３０ａ（または上位階層対応情報のアドレスＤＢ３０ａ’）を参照して、上位階層マーカーに対応する情報系列を検索する（ステップＳ２）。
【００３７】
次に、検出された上位階層マーカーに対応する情報系列の範囲を必要に応じて重畳表示する（ステップＳ２−１）。次に、入力された下位階層マーカーを画像処理装置２０内のマーカー検出部２０ａにより検出する（ステップＳ３）。次に、検出された下位階層マーカーに対応する関連情報を下位階層対応情報ＤＢ３０ｂから検索する（ステップＳ４）。これと並行して、検出した下位階層マーカーの枠部分の画像から画像入力装置１０の３次元的位置・姿勢を算出する（ステップＳ５）。次に、下位階層マーカーにより指定された関連情報を、画像入力装置１０の３次元的位置・姿勢に応じて、画像情報表示装置４０により対象物と共に表示する（ステップＳ６）。
【００３８】
図３は、２階層マーカーの具体的な階層構造の一例について説明するための図である。上位階層マーカー１００は、Ｗ，Ｙ，Ｚの英数字１００ａ、意匠１００ｂ、２次元バーコード１００ｃからなる情報系列で構成されている。また、下位階層マーカー２００は、１１，１２，１３の英数字２００ａ、意匠２００ｂからなる情報系列で構成されている。さらに、上位階層マーカー１００の１つである“Ｗ”と、上位階層マーカー１００の他の１つである“Ｘ”とは、同一の下位階層マーカー２００に対応している。
【００３９】
このような階層構造において、上位階層マーカー１００における英数字“Ｗ”が検出された後に、下位階層マーカー２００における英数字“１１”が検出された場合と、上位階層マーカー１００における英数字“Ｘ”が検出された後に、下位階層マーカー２００における英数字“１１”が検出された場合を考えると、下位階層で検出されるマーカーはいずれも英数字“１１”であるが、上位階層でのマーカーは異なっているので、英数字“１１”に対して異なる関連情報を対応付けることができる。
【００４０】
なお、上位階層マーカーが検出されずに、下位階層マーカーが検出された場合には、当該下位階層マーカーに対応する情報系列を表示することとする。
【００４１】
図４は、本発明を情報発信基地に適用した場合の２階層マーカーの具体例を示す図である。上位階層マーカー６００として、駅前広場エリア６００ａ、夢二碑エリア６００ｂ、椿本花邸エリア６００ｃなどの、情報発信エリアを特定するためのエリアマーカが示されている。また、下位階層マーカー７００として、発信する情報を決定するために用いられるコンテンツマーカーとしての英数字マーカーＡ１，Ｂ１，Ｃ１，Ｄ１，Ｅ１，Ｆ１，Ｇ１が示されている。この場合、下位階層マーカー７００におけるマーカーが同じであっても上位階層マーカー６００を異ならせることにより、異なったコンテンツを発信することができる。
【００４２】
図５は、３階層マーカーの具体的な階層構造について説明するための図である。２階層マーカーの場合には上位階層，下位階層という文言を用いたが、３階層マーカーでは、第１階層，第２階層，第３階層という文言を用いることとする。
【００４３】
第１階層マーカー３００は、場所や室などを表わす英数字マーカーであり、図では“Ａ１”が展示室３００ａ、“Ｂ１”がロビー３００ｂ、“Ｃ１”が機械室３００ｃ、“Ｄ１”が図書室３００ｄを表わしている。
【００４４】
上記した各第１階層マーカーには種々の第２階層マーカーが対応付けられるが、図５では、展示室３００ａに対応する第２階層マーカーのみが図示されている。展示室３００ａ内の展示場所や収納場所を表わす英数字マーカーとして、“３３”はロッカーＡ（４００ａ）、“３４”はロッカーＢ（４００ｂ）、“３５”は棚１（４００ｃ）、“３６”は棚２（４００ｄ）を表わしている。
【００４５】
上記した各第２階層マーカーには第３階層マーカーが対応付けられるが、図５では、ロッカーＡ（４００ａ）に対する第３階層マーカーのみが図示されている。各展示品を表わす意匠マーカーとして、意匠マーカー５００ａ、５００ｂ、５００ｃが図示されている。各意匠マーカー５００ａ、５００ｂ、５００ｃはそれぞれ、対象物５０１ａとしての「造花」、対象物５０１ｂとしての「ハクセイ１」、対象物５０１ｃとしての「ハクセイ３」に対応している。
【００４６】
図６は、単一のマーカーに複数の情報系列が含まれている一例を示す図である。図示されている２つのマーカー８００は、マーカー枠部８００ａと、枠内部８００ｃと、枠外部８００ｂとから構成され、枠内部８００ｃに情報系列９００を有し、枠外部８００ｂに情報系列９０１，９０２を有している。この場合、２つのマーカー８００の枠内部８００ｃの情報系列９００は同一であるが、枠外部８００ｂの情報系列９０１，９０２を異ならせる（ここでは情報系列９０１の色を異ならせるとともに情報系列９０２の位置を異ならせる）ことにより、異なる関連情報が表示されるようにすることが可能である。この場合、枠内部８００ｃの情報系列９００及び枠外部８００ｂの情報系列９０１，９０２のうち、どちらを上位階層マーカー（または下位階層マーカー）に設定してもよい。
【００４７】
なお、マーカーは、予め定められた対象場面或いは対象領域、対象時間内でのみ有効となるように設定することが可能である。
【００４８】
上記した実施形態によれば、関連情報を重畳表示するのに使用するマーカー数を大幅に減らすことができ、これによって誤認識率を低減させることが可能になる。例えば、大規模プラントやショッピングモール等の施設等で、少なくとも３００の情報呈示スポットを設定しようとしたとする。各マーカーに情報系列が対応付けられ、マーカーが何ら階層構造を有していない場合には当然３００種のマーカーが必要となる。
【００４９】
しかしながら、マーカー表記が２、３桁の英数字からなる場合には、類似する数字間での誤認識が発生しやすくなる。また、誤認識を少なくするためには画像入力装置や照明環境、認識確認工程の設定等に相当な労力を要し、これがコストアップの要因となる。また、携帯情報端末においては、そのマシンパワーから判断して、５０を越える意匠マーカー間での判別は極めて困難である。
【００５０】
しかしながら、上記したようにマーカーを階層化することにより、使用するマーカーの数を大幅に少なくすることが可能である。例えば、第１階層のマーカーとして８エリアのマーカー、第２階層のマーカーとして８ゾーンのマーカー、第３階層のマーカーとして６スポットのマーカーを使用して階層化した場合には、８＋８＋６＝２２個のマーカーで、８×８×６＝３７８スポットの情報呈示スポットを確保することができる。
【００５１】
【発明の効果】
本発明によれば、使用するマーカーの数が少なくなり、誤認識率を大幅に低減させることが可能になる。
【図面の簡単な説明】
【図１】本発明が適用される情報呈示システムの概略構成を示す図である。
【図２】本実施形態の情報呈示システムにより対象物の関連情報が重畳表示されるまでの手順を説明するためのフローチャートである。
【図３】２階層マーカーの具体的な階層構造の一例について説明するための図である。
【図４】本発明を情報発信基地に適用した場合の２階層マーカーの具体例を示す図である。
【図５】３階層マーカーの具体的な階層構造について説明するための図である。
【図６】単一のマーカーに複数の情報系列が含まれている一例を示す図である。
【図７】従来技術の情報呈示装置の一例を説明するための図である。
【符号の説明】
１０…画像入力装置、２０…画像処理装置、２０ａ…マーカー検出部、２０ｂ…位置姿勢推定部、２０ｃ…視野内座標算出部、２０ｄ…関連情報取得部、２０ｅ…重畳画像生成部、３０ａ…上位階層対応情報ＤＢ、３０ｂ…下位階層対応情報ＤＢ、４０…画像情報表示装置。
【発明の属する技術分野】
本発明は、マーカーを用いた情報呈示方法及び情報呈示システムに関する。
【０００２】
【従来の技術】
実世界中の対象物及び／又は既定のマーカに対し、所定の関連情報を呈示する情報呈示装置としては、バーコードリーダが一般的によく知られている。そのうち、対象物及び／又は既定のマーカの空間情報を利用して、情報を呈示する装置がある。例えば特開２０００−８２１０７号公報には、名刺上に印刷された２次元コードをカメラで読み込み、コンピュータ内のプログラムでＩＤを解析し、このＩＤに相当する人物の顔写真を、あたかも名刺上の２次元コードの横にあるかのごとく、コンピュータ上のディスプレイに表示することが開示されている。図７は同公報に開示された表示の一例を示しており、１は名刺、２…２次元コード、３…コンピュータディスプレイ、４…顔写真である。
【０００３】
【特許文献１】
特開２０００−８２１０７号公報
【０００４】
【発明が解決しようとする課題】
バーコードリーダは、既定のバーコードを正しく認識した際に音を出すなどして認識の正否を操作者に知らせている。通常バーコードリーダは、一度認識を行えば「情報を読み取り、その意味する情報を呈示する」という目的を達成するので、音が鳴るなどの機能があれば、操作者に目的の達成状況が伝わるため作業上特に問題ない。
【０００５】
一方、実世界中の対象物及び／又は既定のマーカにおいて、その空間定位情報を解析し、所定の関連情報を出力する情報呈示装置では、対象物や既定のマーカを一度認識するだけでよい訳ではなく、継続的に認識し、所定の関連情報を継続的に出力する必要がある。空間定位情報を解析し、関連情報を呈示するので、例えば情報呈示装置と対象物や既定のマーカとの位置関係が時間と共に変化しても、常に適応的に正しい情報を呈示し続けなければならないからである。
【０００６】
更にバーコードの場合はスーパーのレジ等においてレーザービームで品物をスキャンする場合には相当の精細度でマーカーＩＤを認識可能であるが、２次元マーカーには機械装置のみでなく人間も認識できるようにするために文字や意匠・アイコン等をＩＤとして用いることが多い。
【０００７】
それらはレーザースキャンではなく画像入力装置からの認識工程を経るため、数多くのマーカーを設定するとこれらの間での誤認識率が増大する。
【０００８】
特開２０００−８２１０７号公報に開示された装置は、既定のマーカについて画像入力を行い、その空間定位情報を解析し表記されたＩＤを認識することで、所定の関連情報を出力する情報呈示装置であるが、単純にマーカーと所定の情報は１対１で対応させる旨が読みとられる。空間定位情報といっても、名刺上の２次元コードの横に写真を表示する程度の目的なので、画像入力装置で取り込めば多数のマーカー（２次元コード）が設定されても、ある程度の認識正答率を確保できることが多い。
【０００９】
しかしながら、極めて多数（１０００を越える数）のマーカー（２次元コード）が設定されしかも処理する側の装置がＰＤＡ等の携帯型端末である場合には高精度の画像処理は期待できない。マーカーが産業用に用いられる場合には前述の通り文字や意匠をマーカー（２次元コード）として使用することが多く、画像認識処理の誤認識率が高くなってしまう。
【００１０】
本発明は、このような課題に着目してなされたものであり、その目的とするところは、使用するマーカーの数を少なくし、誤認識率を低減させることが可能な情報呈示方法及び情報呈示システムを提供することにある。
【００１１】
【課題を解決するための手段】
上記の目的を達成するために、第１の発明は、対象物を画像入力装置により撮像し、該対象物に対応した関連情報を、表示画面内の該対象物上或いは表示画面内の該対象物周辺に表示する情報呈示方法であって、上記対象物の関連情報は、該対象物上或いは該対象物周辺に設置された複数の２次元的マーカーの表記内容により表わされ、上記複数の２次元的マーカーは、複数の情報系列のいずれかに属する。
【００１２】
また、第２の発明は、対象物を画像入力装置により撮像し、該対象物上或いは該対象物周辺に配置された複数の２次元的マーカーにより該対象物の関連情報を、表示画面上の対象物に重ね合わせて表示する情報呈示方法であって、上記対象物上或いは該対象物周辺に配置された複数の２次元的マーカーは、階層的な意味構造を有する。
【００１３】
また、第３の発明は、第２の発明に係る情報呈示方法において、上記２次元的マーカーの表記内容が、上位階層の情報系列を表わすものであった場合には、前記表示画面内に上記情報系列の範囲を表示する。
【００１４】
また、第４の発明は、各種情報を携帯情報端末から使用者に呈示するにあたって、該携帯情報端末に画像入力手段を搭載し、該画像入力手段による撮影画像から上記携帯情報端末の位置及び向きを算出し、上記携帯情報端末の位置及び向きと、対面する対象物の特定結果とから、上記対象物に関する情報を検索して使用者に呈示する情報呈示方法であって、上記撮影画像から、対象物上或いは該対象物周辺に設置された文字、意匠あるいはコード情報を含むマーカー群であって、複数の情報系列のいずれかに対応付けられた、上記対象物を特定するためのマーカー群を検出し、上記複数の情報系列のうち上位の情報系列の指示情報に基づいて、下位の情報系列に対応したマーカーが指定する関連情報を検索する。
【００１５】
また、第５の発明は、第１または第４の発明に係る情報提示方法において、上記マーカー群は、予め定められた対象場面或いは対象地域、対象時間帯内でのみ有効であるように設定される。
【００１６】
また、第６の発明は、第１または第４の発明に係る情報提示方法において、上記マーカー群は、上位階層のマーカーと下位階層のマーカーとを含み、上記上位階層のマーカーが検出されることなしに上記下位階層のマーカーのみが検出された場合には、該下位階層のマーカーが単独で情報呈示に用いられる。
【００１７】
また、第７の発明は、第１または第２の発明に係る情報呈示方法において、単一のマーカー表示に、複数の情報系列が含まれている。
【００１８】
また、第８の発明は、第７の発明に係る情報呈示方法において、上記２次元的マーカーは、マーカー枠部と、この枠部の内部及び外部である枠周辺部とから構成され、上記マーカー枠部は、上記携帯情報端末の位置姿勢検出のために用いられ、上記枠周辺部は、表示情報を生成するために用いられる。
【００１９】
また、第９の発明は、各種情報を携帯情報端末から使用者に呈示する情報呈示システムであって、該携帯情報端末に搭載された画像入力手段により撮影された撮影画像から上記携帯情報端末の位置及び向きを算出する位置姿勢計測手段と、上記位置姿勢計測手段により算出された上記携帯情報端末の位置及び向きと、対面する対象物の特定結果とから、上記対象物に関する情報を取得する情報取得手段と、上記情報取得手段により取得された上記対象物に関する情報を使用者に対して表示する表示手段と、を具備し、上記撮影画像から、対象物上或いは該対象物周辺に設置された文字、意匠あるいはコード情報を含む、上記対象物を特定するためのマーカー群を検出するマーカー検出手段を有し、上記マーカ群は、複数の情報系列のいずれかに対応し、上記複数の情報系列のうち上位の情報系列の指示情報に基づいて、下位の情報系列に対応したマーカーが指定する関連情報が検索される。
【００２０】
【発明の実施の形態】
まず、本実施形態の概略を説明する。マーカーを撮像し、このマーカーから得られる情報に基づいて実世界の対象物と該対象物に関連した特定の関連情報とを同じ画面内に重畳表示することが可能である。ここで、実世界の対象物とは、ビルや家屋等の建造物、樹木等の自然物、信号機、配管、家具などの人工物など、既に実世界中に存在しているものである。
【００２１】
また、マーカーとは情報呈示装置の出力のために人為的に設定した各種コード情報や数字や文字、記号を枠で囲んだものなどを指すものとする。ただし、前記実世界の対象物自体を、情報呈示装置の出力のためのマーカー（ランドマーク）として登録した場合は、同様にマーカーとして扱うこととする。
【００２２】
具体的には、マーカーは、予め定められた形状の枠部と、その内部或いは外部（周辺部）に記された文字を含む記号や意匠とから構成される。そして、画像入力装置により枠部の形状を撮像しその画面内での形状の歪みから撮像位置を算出する位置姿勢算出機能と、前述の文字、記号や意匠、コード情報を認識して所定の語法や意味づけによって重畳表示すべき情報やプログラムを復号したり所望の情報を呼び出す表示情報生成機能の、主に２つの機能をマーカーに持たせることが可能である。（異なる情報系列のマーカーを認識した場合、その組み合わせで情報呈示内容が決まる。）
ところで、多数の対象物や多数の関連情報を表示したい場合がある。例えば工場などにおいては、１００カ所以上もの重畳表示を提供すべきスポットがあったとすると、単純に１００種類以上のマーカーを要することになる。ところが可搬型のコンピュータは一般的に処理能力が低く、またそれに搭載されるカメラも小型軽量で有り、一般的に解像度が低い。このようなシステム環境では、１００種を越えるような多数のマーカーを判別することが困難になり、誤認識率が高くなってしまうという問題を生ずる。
【００２３】
また、工場等においてはクロスセクショナルなコードを識別に使ったマーカーよりも、２桁あるいはそれ以上の数字や英数字を使うことで人間によるマーカーの認識率を上げることができるが、その様にすると例えばＢと３や８或いはＳと５と言った文字間での誤認識率が増大してしまうと言う欠点がある。
【００２４】
そこで本発明では、対象物に関連情報を付加して重畳表示するシステムにおいて、対象物の関連情報を、該対象物上或いは該対象物周辺に設置された複数のマーカーの表記内容により表わし、複数のマーカーは、複数の情報系列のいずれかに属するようにする。すなわち、複数の情報系列により最終的に重畳表示される関連情報が指し示されるようにする。特に、ここでは、マーカーに階層的な意味構造をもたせ、まず、対象物を含む空間的範囲や概念的範囲を示す上位階層のマーカーを検出することで上位階層における情報（系列）を取得し、次に、下位階層のマーカーを検出する場合、該下位階層のマーカーは上位階層にて指定されている範囲、分野における情報系列を指定するようにする。このような構成によれば、下位階層のマーカーが同一であっても、先に検出された上位階層のマーカーが異なっていれば、表示あるいは指示内容が異なる情報系列から得られて表示系に送られ、重畳表示されることになる。
【００２５】
言い換えると、本実施形態では、複数種類のマーカーを複数の情報系列に分類し、複数の情報系列のマーカーのうち上位階層のマーカーを用いて対象物群の大分類を行い、下位階層のマーカーを用いて個別の対象物に関する関連情報を特定して表示することで、必要なマーカー数を大幅に減らすことが可能となり、マーカーの誤認識率を低減することができる。
【００２６】
例えば、工場などにおいてカメラが搭載されたコンピュータ端末によって上位階層マーカーを認識することでエリア認識をさせ、下位階層マーカーを引き続き認識することで当該エリア内における、ユーザーが興味有る対象物に関する情報を対象物に応じた位置に対象物と同じ画面内に重畳表示させる。
【００２７】
この場合、上位階層マーカーの情報系列は、「部屋」や「大型装置周辺」等と言ったユーザの有る分類上の存在位置を教示するためのＩＤとして用いられるが、勿論「位置」に加えて、「ユーザの向き」を教示するための機能をマーカーにもたせてもよい。
【００２８】
また、上記したように、マーカーは、位置姿勢算出機能と表示情報生成機能とを備えるものであるが、ここではマーカーが階層化されていることを考慮して、上位階層マーカーに対しては位置姿勢算出機能をもたせず、下位階層マーカーの位置姿勢算出機能を使用して入力装置の３次元位置姿勢を検出することとする。
【００２９】
以下、図面を参照して本発明の実施の形態を詳細に説明する。図１は、本発明が適用される情報呈示システムの概略構成を示す図であり、対象物及びマーカー（ここでは第１階層マーカー及び対象物近傍に設定された下位階層マーカー）を撮像して入力する画像入力装置１０と、入力された撮像画像に後述する画像処理を施す画像処理装置２０と、画像処理装置２０が対象物の関連情報を検索するときに用いられる上位階層対応情報データベース（ＤＢ）３０ａ及び下位階層対応情報データベース（ＤＢ）３０ｂと、画像処理装置２０により生成された画像情報を表示するための画像情報表示装置４０とを具備する。
【００３０】
上記画像処理装置２０は、マーカー検出部２０ａと、位置姿勢推定部２０ｂと、視野内座標算出部２０ｃと、関連情報取得部２０ｄと、重畳画像生成部２０ｅとを具備する。また、上位階層対応情報ＤＢ３０ａには、上位階層マーカー群に関する情報が格納されており、例えば、各上位階層マーカごとに、下位階層対応情報ＤＢのリンク先を示すリンクデータ（下位階層情報系列の指定）が格納されている。また、下位階層対応情報ＤＢ３０ｂには、下位階層マーカー群に関する情報が格納されており、例えば、各上位階層マーカーからのリンク先ごとに、下位階層マーカーと対象物の関連情報とを対応付けた情報系列が格納されている。
【００３１】
なお、本実施形態では、上位階層対応情報と下位階層対応情報とは別個のＤＢに格納されているが、１つのＤＢに上位及び下位階層対応情報を格納するようにしてもよい。
【００３２】
上記したシステム構成において、まず、画像入力装置１０によりマーカーを撮像して画像処理装置２０に入力する。画像処理装置２０のマーカー検出部２０ａは入力されたマーカーの特徴点を検出することによりどのマーカーが入力されたのかを上位、下位の階層マーカーそれぞれについて認識する。関連情報取得部２０ｄは、上位階層対応情報ＤＢ３０ａを参照して、認識された上位階層マーカーの下位階層ＤＢ３０ｂにおけるリンク先を検索する。次に、下位階層対応情報ＤＢ３０ｂを参照して、検索されたリンク先における下位階層マーカーを検索し、対応する関連情報を取得して重畳画像生成部２０ｃに送る。
【００３３】
一方、マーカー検出部２０ａでのマーカー認識結果は位置姿勢推定部２０ｂにも入力されて画像入力装置１０の位置及び向きが推定される。視野内座標算出部２０ｃは、位置姿勢推定部２０ｂにおける推定結果に基いて関連情報が表示される画面内の位置を決めるための視野内座標を算出して重畳画像生成部２０ｃに送る。
【００３４】
重畳画像生成部２０ｃは、関連情報取得部２０ｄからの関連情報と、画像入力装置１０から入力された対象物の画像とを重畳して重畳画像を生成する。生成された重畳画像は画像情報表示装置４０により表示される。
【００３５】
図２は、本実施形態の情報呈示システムにより対象物の関連情報が重畳表示されるまでの手順を説明するためのフローチャートである。
【００３６】
まず、入力された上位階層マーカーを画像処理装置２０内のマーカー検出部２０ａにより検出する（ステップＳ１）。次に、関連情報取得部２０ｄは、上位階層対応情報ＤＢ３０ａ（または上位階層対応情報のアドレスＤＢ３０ａ’）を参照して、上位階層マーカーに対応する情報系列を検索する（ステップＳ２）。
【００３７】
次に、検出された上位階層マーカーに対応する情報系列の範囲を必要に応じて重畳表示する（ステップＳ２−１）。次に、入力された下位階層マーカーを画像処理装置２０内のマーカー検出部２０ａにより検出する（ステップＳ３）。次に、検出された下位階層マーカーに対応する関連情報を下位階層対応情報ＤＢ３０ｂから検索する（ステップＳ４）。これと並行して、検出した下位階層マーカーの枠部分の画像から画像入力装置１０の３次元的位置・姿勢を算出する（ステップＳ５）。次に、下位階層マーカーにより指定された関連情報を、画像入力装置１０の３次元的位置・姿勢に応じて、画像情報表示装置４０により対象物と共に表示する（ステップＳ６）。
【００３８】
図３は、２階層マーカーの具体的な階層構造の一例について説明するための図である。上位階層マーカー１００は、Ｗ，Ｙ，Ｚの英数字１００ａ、意匠１００ｂ、２次元バーコード１００ｃからなる情報系列で構成されている。また、下位階層マーカー２００は、１１，１２，１３の英数字２００ａ、意匠２００ｂからなる情報系列で構成されている。さらに、上位階層マーカー１００の１つである“Ｗ”と、上位階層マーカー１００の他の１つである“Ｘ”とは、同一の下位階層マーカー２００に対応している。
【００３９】
このような階層構造において、上位階層マーカー１００における英数字“Ｗ”が検出された後に、下位階層マーカー２００における英数字“１１”が検出された場合と、上位階層マーカー１００における英数字“Ｘ”が検出された後に、下位階層マーカー２００における英数字“１１”が検出された場合を考えると、下位階層で検出されるマーカーはいずれも英数字“１１”であるが、上位階層でのマーカーは異なっているので、英数字“１１”に対して異なる関連情報を対応付けることができる。
【００４０】
なお、上位階層マーカーが検出されずに、下位階層マーカーが検出された場合には、当該下位階層マーカーに対応する情報系列を表示することとする。
【００４１】
図４は、本発明を情報発信基地に適用した場合の２階層マーカーの具体例を示す図である。上位階層マーカー６００として、駅前広場エリア６００ａ、夢二碑エリア６００ｂ、椿本花邸エリア６００ｃなどの、情報発信エリアを特定するためのエリアマーカが示されている。また、下位階層マーカー７００として、発信する情報を決定するために用いられるコンテンツマーカーとしての英数字マーカーＡ１，Ｂ１，Ｃ１，Ｄ１，Ｅ１，Ｆ１，Ｇ１が示されている。この場合、下位階層マーカー７００におけるマーカーが同じであっても上位階層マーカー６００を異ならせることにより、異なったコンテンツを発信することができる。
【００４２】
図５は、３階層マーカーの具体的な階層構造について説明するための図である。２階層マーカーの場合には上位階層，下位階層という文言を用いたが、３階層マーカーでは、第１階層，第２階層，第３階層という文言を用いることとする。
【００４３】
第１階層マーカー３００は、場所や室などを表わす英数字マーカーであり、図では“Ａ１”が展示室３００ａ、“Ｂ１”がロビー３００ｂ、“Ｃ１”が機械室３００ｃ、“Ｄ１”が図書室３００ｄを表わしている。
【００４４】
上記した各第１階層マーカーには種々の第２階層マーカーが対応付けられるが、図５では、展示室３００ａに対応する第２階層マーカーのみが図示されている。展示室３００ａ内の展示場所や収納場所を表わす英数字マーカーとして、“３３”はロッカーＡ（４００ａ）、“３４”はロッカーＢ（４００ｂ）、“３５”は棚１（４００ｃ）、“３６”は棚２（４００ｄ）を表わしている。
【００４５】
上記した各第２階層マーカーには第３階層マーカーが対応付けられるが、図５では、ロッカーＡ（４００ａ）に対する第３階層マーカーのみが図示されている。各展示品を表わす意匠マーカーとして、意匠マーカー５００ａ、５００ｂ、５００ｃが図示されている。各意匠マーカー５００ａ、５００ｂ、５００ｃはそれぞれ、対象物５０１ａとしての「造花」、対象物５０１ｂとしての「ハクセイ１」、対象物５０１ｃとしての「ハクセイ３」に対応している。
【００４６】
図６は、単一のマーカーに複数の情報系列が含まれている一例を示す図である。図示されている２つのマーカー８００は、マーカー枠部８００ａと、枠内部８００ｃと、枠外部８００ｂとから構成され、枠内部８００ｃに情報系列９００を有し、枠外部８００ｂに情報系列９０１，９０２を有している。この場合、２つのマーカー８００の枠内部８００ｃの情報系列９００は同一であるが、枠外部８００ｂの情報系列９０１，９０２を異ならせる（ここでは情報系列９０１の色を異ならせるとともに情報系列９０２の位置を異ならせる）ことにより、異なる関連情報が表示されるようにすることが可能である。この場合、枠内部８００ｃの情報系列９００及び枠外部８００ｂの情報系列９０１，９０２のうち、どちらを上位階層マーカー（または下位階層マーカー）に設定してもよい。
【００４７】
なお、マーカーは、予め定められた対象場面或いは対象領域、対象時間内でのみ有効となるように設定することが可能である。
【００４８】
上記した実施形態によれば、関連情報を重畳表示するのに使用するマーカー数を大幅に減らすことができ、これによって誤認識率を低減させることが可能になる。例えば、大規模プラントやショッピングモール等の施設等で、少なくとも３００の情報呈示スポットを設定しようとしたとする。各マーカーに情報系列が対応付けられ、マーカーが何ら階層構造を有していない場合には当然３００種のマーカーが必要となる。
【００４９】
しかしながら、マーカー表記が２、３桁の英数字からなる場合には、類似する数字間での誤認識が発生しやすくなる。また、誤認識を少なくするためには画像入力装置や照明環境、認識確認工程の設定等に相当な労力を要し、これがコストアップの要因となる。また、携帯情報端末においては、そのマシンパワーから判断して、５０を越える意匠マーカー間での判別は極めて困難である。
【００５０】
しかしながら、上記したようにマーカーを階層化することにより、使用するマーカーの数を大幅に少なくすることが可能である。例えば、第１階層のマーカーとして８エリアのマーカー、第２階層のマーカーとして８ゾーンのマーカー、第３階層のマーカーとして６スポットのマーカーを使用して階層化した場合には、８＋８＋６＝２２個のマーカーで、８×８×６＝３７８スポットの情報呈示スポットを確保することができる。
【００５１】
【発明の効果】
本発明によれば、使用するマーカーの数が少なくなり、誤認識率を大幅に低減させることが可能になる。
【図面の簡単な説明】
【図１】本発明が適用される情報呈示システムの概略構成を示す図である。
【図２】本実施形態の情報呈示システムにより対象物の関連情報が重畳表示されるまでの手順を説明するためのフローチャートである。
【図３】２階層マーカーの具体的な階層構造の一例について説明するための図である。
【図４】本発明を情報発信基地に適用した場合の２階層マーカーの具体例を示す図である。
【図５】３階層マーカーの具体的な階層構造について説明するための図である。
【図６】単一のマーカーに複数の情報系列が含まれている一例を示す図である。
【図７】従来技術の情報呈示装置の一例を説明するための図である。
【符号の説明】
１０…画像入力装置、２０…画像処理装置、２０ａ…マーカー検出部、２０ｂ…位置姿勢推定部、２０ｃ…視野内座標算出部、２０ｄ…関連情報取得部、２０ｅ…重畳画像生成部、３０ａ…上位階層対応情報ＤＢ、３０ｂ…下位階層対応情報ＤＢ、４０…画像情報表示装置。
Claims (9)
- 対象物を画像入力装置により撮像し、該対象物に対応した関連情報を、表示画面内の該対象物上或いは表示画面内の該対象物周辺に表示する情報呈示方法であって、
上記対象物の関連情報は、該対象物上或いは該対象物周辺に設置された複数の２次元的マーカーの表記内容により表わされ、上記複数の２次元的マーカーは、複数の情報系列のいずれかに属することを特徴とする情報呈示方法。 - 対象物を画像入力装置により撮像し、該対象物上或いは該対象物周辺に配置された複数の２次元的マーカーにより該対象物の関連情報を、表示画面上の対象物に重ね合わせて表示する情報呈示方法であって、
上記対象物上或いは該対象物周辺に配置された複数の２次元的マーカーは、階層的な意味構造を有することを特徴とする情報呈示方法。 - 上記２次元的マーカーの表記内容が、上位階層の情報系列を表わすものであった場合には、前記表示画面内に上記情報系列の範囲を表示することを特徴とする請求項２記載の情報呈示方法。
- 各種情報を携帯情報端末から使用者に呈示するにあたって、
該携帯情報端末に画像入力手段を搭載し、該画像入力手段による撮影画像から上記携帯情報端末の位置及び向きを算出し、
上記携帯情報端末の位置及び向きと、対面する対象物の特定結果とから、上記対象物に関する情報を検索して使用者に呈示する情報呈示方法であって、
上記撮影画像から、対象物上或いは該対象物周辺に設置された文字、意匠あるいはコード情報を含むマーカー群であって、複数の情報系列のいずれかに対応付けられた、上記対象物を特定するためのマーカー群を検出し、
上記複数の情報系列のうち上位の情報系列の指示情報に基づいて、下位の情報系列に対応したマーカーが指定する関連情報を検索するようにしたことを特徴とする情報呈示方法。 - 上記マーカー群は、予め定められた対象場面或いは対象地域、対象時間帯内でのみ有効であるように設定されることを特徴とする請求項１または４記載の情報呈示方法。
- 上記マーカー群は、上位階層のマーカーと下位階層のマーカーとを含み、上記上位階層のマーカーが検出されることなしに上記下位階層のマーカーのみが検出された場合には、該下位階層のマーカーが単独で情報呈示に用いられる請求項１または４記載の情報呈示方法。
- 単一のマーカー表示に、複数の情報系列が含まれていることを特徴とする請求項１または２記載の情報呈示方法。
- 上記２次元的マーカーは、マーカー枠部と、この枠部の内部及び外部である枠周辺部とから構成され、上記マーカー枠部は、上記携帯情報端末の位置姿勢検出のために用いられ、上記枠周辺部は、表示情報を生成するために用いられる請求項７記載の情報呈示方法。
- 各種情報を携帯情報端末から使用者に呈示する情報呈示システムであって、
該携帯情報端末に搭載された画像入力手段により撮影された撮影画像から上記携帯情報端末の位置及び向きを算出する位置姿勢計測手段と、
上記位置姿勢計測手段により算出された上記携帯情報端末の位置及び向きと、対面する対象物の特定結果とから、上記対象物に関する情報を取得する情報取得手段と、
上記情報取得手段により取得された上記対象物に関する情報を使用者に対して表示する表示手段と、を具備し、
上記撮影画像から、対象物上或いは該対象物周辺に設置された文字、意匠あるいはコード情報を含む、上記対象物を特定するためのマーカー群を検出するマーカー検出手段を有し、
上記マーカ群は、複数の情報系列のいずれかに対応し、上記複数の情報系列のうち上位の情報系列の指示情報に基づいて、下位の情報系列に対応したマーカーが指定する関連情報が検索されることを特徴とする情報呈示システム。
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003201055A JP2005044029A (ja) | 2003-07-24 | 2003-07-24 | 情報呈示方法及び情報呈示システム |
| PCT/JP2004/010588 WO2005010807A1 (ja) | 2003-07-24 | 2004-07-20 | 情報呈示方法及び情報呈示システム |
| CNB2004800213750A CN100533472C (zh) | 2003-07-24 | 2004-07-20 | 信息呈现方法和信息呈现*** |
| EP04747951A EP1650695A4 (en) | 2003-07-24 | 2004-07-20 | METHOD AND SYSTEM FOR PRESENTATION OF INFORMATION |
| KR1020067001488A KR100761582B1 (ko) | 2003-07-24 | 2004-07-20 | 정보 제시 방법 및 정보 제시 시스템 |
| US11/337,662 US7505639B2 (en) | 2003-07-24 | 2006-01-23 | Information presentation method and information presentation system |
| HK06111146.4A HK1090726A1 (en) | 2003-07-24 | 2006-10-11 | Information presentation method and information presentation system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003201055A JP2005044029A (ja) | 2003-07-24 | 2003-07-24 | 情報呈示方法及び情報呈示システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005044029A true JP2005044029A (ja) | 2005-02-17 |
Family
ID=34100471
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003201055A Pending JP2005044029A (ja) | 2003-07-24 | 2003-07-24 | 情報呈示方法及び情報呈示システム |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US7505639B2 (ja) |
| EP (1) | EP1650695A4 (ja) |
| JP (1) | JP2005044029A (ja) |
| KR (1) | KR100761582B1 (ja) |
| CN (1) | CN100533472C (ja) |
| HK (1) | HK1090726A1 (ja) |
| WO (1) | WO2005010807A1 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007108128A1 (ja) * | 2006-03-23 | 2007-09-27 | Olympus Corporation | 情報呈示装置及び情報呈示端末 |
| JP2008261755A (ja) * | 2007-04-12 | 2008-10-30 | Canon Inc | 情報処理装置、情報処理方法 |
| JP5988563B2 (ja) * | 2011-10-25 | 2016-09-07 | キヤノン株式会社 | 画像処理装置と画像処理装置の制御方法およびプログラムと、情報処理装置と情報処理装置の制御方法およびプログラム |
| GB201122284D0 (en) * | 2011-12-23 | 2012-02-01 | Zappar Ltd | Content identification and distribution |
| JP5791690B2 (ja) * | 2013-12-03 | 2015-10-07 | 株式会社バンダイ | 情報保持媒体及び情報読取装置 |
| JP6586758B2 (ja) * | 2015-03-31 | 2019-10-09 | ソニー株式会社 | 情報処理システム、情報処理方法及びプログラム |
| US11182965B2 (en) | 2019-05-01 | 2021-11-23 | At&T Intellectual Property I, L.P. | Extended reality markers for enhancing social engagement |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4742558A (en) | 1984-02-14 | 1988-05-03 | Nippon Telegraph & Telephone Public Corporation | Image information retrieval/display apparatus |
| JPH0386823U (ja) * | 1989-12-26 | 1991-09-03 | ||
| ES2105936B1 (es) * | 1994-03-21 | 1998-06-01 | I D Tec S L | Perfeccionamientos introducidos en la patente de invencion n. p-9400595/8 por: procedimiento biometrico de seguridad y autentificacion de tarjetas de identidad y de credito, visados, pasaportes y reconocimiento facial. |
| US5765561A (en) * | 1994-10-07 | 1998-06-16 | Medical Media Systems | Video-based surgical targeting system |
| US6535243B1 (en) * | 1998-01-06 | 2003-03-18 | Hewlett- Packard Company | Wireless hand-held digital camera |
| JP3786166B2 (ja) | 1998-06-30 | 2006-06-14 | ソニー株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
| US6473522B1 (en) * | 2000-03-14 | 2002-10-29 | Intel Corporation | Estimating text color and segmentation of images |
| JP2002092012A (ja) * | 2000-09-19 | 2002-03-29 | Olympus Optical Co Ltd | 特定地域内情報表示システム |
| JP4464549B2 (ja) * | 2000-11-22 | 2010-05-19 | オリンパス株式会社 | 画像情報表示装置 |
| JP3086823U (ja) * | 2001-12-19 | 2002-07-05 | デーティー・リサーチ・ジャパン株式会社 | コードコントロール用シート |
| JP2004048674A (ja) * | 2002-05-24 | 2004-02-12 | Olympus Corp | 視野一致型情報呈示システム、並びに、それに用いられる携帯情報端末及びサーバ |
-
2003
- 2003-07-24 JP JP2003201055A patent/JP2005044029A/ja active Pending
-
2004
- 2004-07-20 KR KR1020067001488A patent/KR100761582B1/ko not_active IP Right Cessation
- 2004-07-20 CN CNB2004800213750A patent/CN100533472C/zh not_active Expired - Fee Related
- 2004-07-20 EP EP04747951A patent/EP1650695A4/en not_active Withdrawn
- 2004-07-20 WO PCT/JP2004/010588 patent/WO2005010807A1/ja active Application Filing
-
2006
- 2006-01-23 US US11/337,662 patent/US7505639B2/en not_active Expired - Fee Related
- 2006-10-11 HK HK06111146.4A patent/HK1090726A1/xx not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| CN1826606A (zh) | 2006-08-30 |
| KR100761582B1 (ko) | 2007-09-27 |
| WO2005010807A1 (ja) | 2005-02-03 |
| EP1650695A4 (en) | 2008-04-30 |
| US7505639B2 (en) | 2009-03-17 |
| EP1650695A1 (en) | 2006-04-26 |
| CN100533472C (zh) | 2009-08-26 |
| HK1090726A1 (en) | 2006-12-29 |
| KR20060031871A (ko) | 2006-04-13 |
| US20060126968A1 (en) | 2006-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6821762B2 (ja) | 畳み込みニューラルネットワークを利用してｐｏｉ変化を検出するためのシステムおよび方法 | |
| EP3229169B1 (en) | Code recognition device | |
| JP4032776B2 (ja) | 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム | |
| US20090160975A1 (en) | Methods and Apparatus for Improved Image Processing to Provide Retroactive Image Focusing and Improved Depth of Field in Retail Imaging Systems | |
| EP3680813A1 (en) | Method and system for detecting objects installed within a building | |
| CN102708355A (zh) | 信息处理装置、信息处理方法及程序 | |
| JP2023502972A (ja) | 物品識別および追跡システム | |
| CN102067175A (zh) | 图像中的自动面部检测和身份屏蔽及其应用 | |
| KR20150103266A (ko) | 광학 캐릭터 인식을 사용하여 증강 현실을 제공하기 위한 방법 및 장치 | |
| US7505639B2 (en) | Information presentation method and information presentation system | |
| JP2010267113A (ja) | 部品管理方法、装置、プログラム、記録媒体 | |
| RU2729399C1 (ru) | Способ обнаружения и распознавания визуальных маркеров большой дальности и высокой плотности | |
| JP6687199B2 (ja) | 商品棚位置登録プログラム、及び情報処理装置 | |
| CN111428743B (zh) | 商品识别方法、商品处理方法、装置及电子设备 | |
| WO2011010705A1 (ja) | マーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びそのプログラム | |
| KR101039298B1 (ko) | 다수의 특징점 기반 마커를 인식하기 위한 순차 검색 방법 및 이를 이용한 증강현실 구현 방법 | |
| KR101845423B1 (ko) | 구조물 검사 지원 장치 및 방법 | |
| JP6065911B2 (ja) | 配置情報登録装置、配置情報登録方法および配置情報登録プログラム | |
| Uma et al. | Marker based augmented reality food menu | |
| JP6304815B2 (ja) | 画像処理装置ならびにその画像特徴検出方法、プログラムおよび装置 | |
| Beglov | Object information based on marker recognition | |
| CN112581525A (zh) | 人体佩戴物品的状态检测方法、装置、设备及存储介质 | |
| JP2016136099A (ja) | 測位システム及び測位方法 | |
| Dubenova et al. | D-inloc++: Indoor localization in dynamic environments | |
| Sallam Fatouh et al. | Image-based localization for augmented reality application: A review |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050714 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080819 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081020 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081111 |