JP5998952B2 - 標識画像配置支援装置及びプログラム - Google Patents

標識画像配置支援装置及びプログラム Download PDF

Info

Publication number
JP5998952B2
JP5998952B2 JP2013012239A JP2013012239A JP5998952B2 JP 5998952 B2 JP5998952 B2 JP 5998952B2 JP 2013012239 A JP2013012239 A JP 2013012239A JP 2013012239 A JP2013012239 A JP 2013012239A JP 5998952 B2 JP5998952 B2 JP 5998952B2
Authority
JP
Japan
Prior art keywords
image
information
marker
sign
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013012239A
Other languages
English (en)
Other versions
JP2014142884A (ja
Inventor
健一郎 福田
健一郎 福田
晋平 野田
晋平 野田
裕一 大根田
裕一 大根田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2013012239A priority Critical patent/JP5998952B2/ja
Priority to US13/943,027 priority patent/US20140215320A1/en
Priority to CN201310403284.4A priority patent/CN103970809A/zh
Publication of JP2014142884A publication Critical patent/JP2014142884A/ja
Application granted granted Critical
Publication of JP5998952B2 publication Critical patent/JP5998952B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/103Formatting, i.e. changing of presentation of documents
    • G06F40/106Display of layout of documents; Previewing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、標識画像配置支援装置及びプログラムに関する。
画像から特徴点を抽出し、抽出した特徴点を利用して画像内から選択した領域を画像処理に供することが行われている(例えば特許文献1を参照)。
また、画像の中に標識画像(マーカ)を配置し、標識画像に含まれる画像特徴を利用する場合に、標識画像を配置予定の領域に十分な画像特徴が含まれているかは、ユーザが画像を見ただけで判断することは困難である。
特開2006−329684号公報
本発明の目的は、対象画像において標識画像を配置するのに適した領域を確認できる標識画像配置支援装置及びプログラムを提供することにある。
請求項1に係る発明は、指定されたサイズの標識画像を配置する対象の画像に含まれる画像特徴情報を取得する手段と、前記対象の画像に含まれる1以上の各位置を基点とした前記指定されたサイズの領域に含まれる特徴点の数に基づいて、前記対象の画像において前記標識画像の配置に適合した領域を示す表示情報を生成する生成手段と、前記対象の画像に前記表示情報を重ね合わせて表示させる手段と、を含むことを特徴とする標識画像配置支援装置である。
請求項2に係る発明は、前記対象の画像において前記標識画像を配置する配置領域と、該標識画像に関連付ける関連情報の指定を受け付けて、該配置領域に含まれる画像特徴情報と該関連情報とを関連付けて記憶手段に記憶させる手段をさらに含むことを特徴とする請求項1に記載の標識画像配置支援装置である。
請求項3に係る発明は、前記生成手段は、前記標識画像のサイズが変更された場合に、前記表示情報を再生成し、前記表示させる手段は、前記標識画像のサイズが変更された場合に、前記対象の画像に前記再生成された表示情報を重ね合わせて表示させることを特徴とする請求項1又は2に記載の標識画像配置支援装置である。
請求項4に係る発明は、前記対象の画像に含まれる1以上の各位置を基点とした前記指定されたサイズの領域ごとに、該領域に含まれる画像特徴情報の量が閾値を超える場合には該領域に適合度を加算する手段をさらに含み、前記生成手段は、前記対象の画像における各領域の適合度に基づいて前記表示情報を生成することを特徴とする請求項1乃至3のいずれかに記載の標識画像配置支援装置である。
請求項5に係る発明は、前記生成手段は、前記対象の画像において適合度が予め定められた条件に満たない領域を少なくとも表示する前記表示情報を生成することを特徴とする請求項4に記載の標識画像配置支援装置である。
請求項6に係る発明は、前記生成手段は、前記対象の画像において適合度が予め定められた条件を満たす領域であって、前記表示画像を配置可能な大きさの領域を少なくとも表示する前記表示情報を生成することを特徴とする請求項4に記載の標識画像配置支援装置である。
請求項7に係る発明は、指定されたサイズの標識画像を配置する対象の画像に含まれる画像特徴情報を取得する手段と、前記対象の画像に含まれる1以上の各位置を基点とした前記指定されたサイズの領域に含まれる画像特徴情報に基づいて、前記対象の画像において前記標識画像の配置に適合した領域を示す表示情報を生成する生成手段と、前記対象の画像に前記表示情報を重ね合わせて表示させる手段としてコンピュータを機能させるためのプログラムである。
請求項1及び7に記載の発明によれば、対象画像において標識画像を配置するのに適した領域を確認できる。
請求項2に記載の発明によれば、対象画像に配置した標識画像に関連する情報を登録できる。
請求項3に記載の発明によれば、標識画像のサイズが更新されるごとに更新されたサイズに適した配置領域を確認できる。
請求項4に記載の発明によれば、対象画像において標識画像を配置する適合度を確認できる。
請求項5に記載の発明によれば、標識画像の配置に避けるべき領域を確認できる。
請求項6に記載の発明によれば、標識画像の配置に適した領域を確認できる。
本実施形態に係る情報処理システムのシステム構成図である。 マーカ設定画面の一例である。 マーカ設定画面の一例である。 マーカ設定画面の一例である。 マーカ設定画面の一例である。 マーカ設定画面の一例である。 クライアント装置、情報登録支援サーバ、情報管理サーバのハードウェア構成例である。 マーカ情報管理テーブルの一例を示す図である。 マーカ情報登録処理の一例を示すシーケンス図である。 マーカ配置支援情報の生成処理の一例を示すフローチャートである。 マーカ関連情報提供処理の一例を示すシーケンス図である。
以下、本発明を実施するための実施の形態(以下、実施形態という)を、図面に従って説明する。
[1.システム構成]
図1には、本実施形態に係る情報処理システム1のシステム構成図を示した。図1に示されるように、情報処理システム1は、1以上のクライアント装置10、情報登録支援サーバ20、情報管理サーバ30を含み、クライアント装置10、情報登録支援サーバ20、情報管理サーバ30はそれぞれネットワーク40を介して相互にデータ通信可能に接続されている。ここで、情報登録支援サーバ20と情報管理サーバ30とはローカルエリアネットワークを介して通信することとしてもよい。
[1−1.概要説明]
まず、本実施形態に係る情報処理システム1において行われる処理の概要を、図2〜6に示した画面遷移図を参照しながら説明する。
クライアント装置10は、図2に示されるようにマーカ設定画面50を表示する。マーカ設定画面50では、「文書選択」ボタン51が押下され、登録対象の文書(登録対象文書)が選択されると、選択された登録対象文書が文書表示領域60に表示される。また、登録対象文書の属性情報も、属性情報表示領域70に表示される。
ここで、マーカ設定画面50の「マーカ作成」ボタン52が押下されると、図3に示されるように、文書表示領域60にマーカ81と、マーカ81の外接矩形であるマーカ配置領域80とが表示される。そして、ユーザが、マーカ81のサイズを所望のサイズに変更した後に、「マーカ登録サポート」ボタン53が押下されると、クライアント装置10は、登録対象文書とマーカのサイズの情報を情報登録支援サーバ20に送信する。
情報登録支援サーバ20は、登録対象文書に含まれる画像特徴(例えば画像から抽出された特徴点)の分布に基づいて、登録対象文書内の各領域についてマーカの配置領域としての適合度を評価し、少なくともマーカの配置領域として適合する領域とそうでない領域とを認識できる態様で表示するマーカ配置支援情報を生成し、クライアント装置10に提供する。
クライアント装置10では、情報登録支援サーバ20からマーカ配置支援情報を取得すると、登録対象文書に重ね合わせてマーカ配置支援情報を表示する。
図4及び図5には、登録対象文書とマーカ配置支援情報との重ね合わせ表示例を示した。
図4に示される例は、マーカ配置支援情報がマーカ配置の適合度に応じた領域の区分けを表示する情報である場合の例である。なお、図4における網掛け領域90は適合度の低い領域を示しており、網掛けのない領域は適合度が高い(すなわち配置可能性が高い)ことを示している。また、図4の例では、網掛けの濃度は、濃度が濃いほど適合度が低いことを表しているが、表示態様はこれに限られない。
図5に示される例は、マーカ配置支援情報がマーカ配置に適したマーカの配置候補領域を表示する情報である場合の例である。図5に示した例では、第1〜3の配置候補領域91が示されている。
図6には、図4に示されたマーカ設定画面50において、マーカの配置を変更した画面例を示した。図6では、マーカの配置が網掛け領域90に重ならないようにマーカの配置を変更した例を示している。そして、図6のマーカ設定画面50において、リンク指定欄71にマーカに関連付けるリンクが入力され、「適用」ボタン72が押下されてその内容が反映された後に、「マーカ登録」ボタン54が押下されると、クライアント装置10は、マーカの配置領域とマーカの情報(リンク等)を情報登録支援サーバ20に送信する。情報登録支援サーバ20は、クライアント装置10から受信したマーカの配置領域とマーカの情報とに基づいて、情報管理サーバ30に情報を登録する。以上の画面遷移例で説明したように、本実施形態に係る情報登録支援サーバ20は、登録対象文書に対してマーカを配置する作業をサポートするものである。
[2.ハードウェア構成]
次に、上記の処理を実現するためにクライアント装置10、情報登録支援サーバ20、情報管理サーバ30にそれぞれ備えられる構成について説明する。
[2−1.クライアント装置10]
まず、クライアント装置10のハードウェア構成例について説明する。図7に示されるように、クライアント装置10は、制御部11、記憶部12、通信部13、入力部14、表示部15、撮像部16を備える。
制御部11は、CPU(Central Processing Unit)を含み、記憶部12に記憶されたプログラムに基づいて、各種の演算処理を実行するとともにクライアント装置10の各部を制御する。
記憶部12は、クライアント装置10のオペレーティングシステム等のプログラムやデータ(例えば文書データ)を記憶するほか、制御部11のワークメモリとしても用いられる。プログラムは、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等の情報記憶媒体に格納された状態でクライアント装置10に供給されてもよいし、インターネット等のデータ通信手段を介してクライアント装置10に供給されてもよい。
通信部13は、例えばネットワークインターフェースカードを含み、ネットワークインターフェースカードを介して、ネットワークに接続された情報登録支援サーバ20や情報管理サーバ30とそれぞれ通信する。
入力部14は、タッチパネル、キーボード等の入力装置により実現され、ユーザからの操作入力を受け付ける。
表示部15は、液晶ディスプレイ等の表示装置により実現され、制御部11による情報処理の結果(画面)を表示させる。
撮像部16は、例えば内蔵された又は外付け接続したカメラにより実現され、カメラにより被写体を撮像した撮像画像を取得する。
[2−2.情報登録支援サーバ20]
次に、情報登録支援サーバ20のハードウェア構成例について説明する。図7に示されるように、情報登録支援サーバ20は、制御部21、記憶部22、通信部23を備える。
制御部21は、CPU(Central Processing Unit)を含み、記憶部22に記憶されたプログラムに基づいて、各種の演算処理を実行するとともに情報登録支援サーバ20の各部を制御する。
記憶部22は、情報登録支援サーバ20のオペレーティングシステム等のプログラムやデータを記憶するほか、制御部21のワークメモリとしても用いられる。プログラムは、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等の情報記憶媒体に格納された状態で情報登録支援サーバ20に供給されてもよいし、インターネット等のデータ通信手段を介して情報登録支援サーバ20に供給されてもよい。
通信部23は、ネットワークインターフェースカードにより実現され、ネットワークインターフェースカードを介して、ネットワークに接続したクライアント装置10とデータ通信するとともに、ローカルネットワーク又はネットワークに接続した情報管理サーバ30とデータ通信する。
[2−3.情報管理サーバ30]
次に、情報管理サーバ30のハードウェア構成例について説明する。図7に示されるように、情報管理サーバ30は、制御部31、記憶部32、通信部33を備える。
制御部31は、CPU(Central Processing Unit)を含み、記憶部32に記憶されたプログラムに基づいて、各種の演算処理を実行するとともに情報管理サーバ30の各部を制御する。
記憶部32は、情報管理サーバ30のオペレーティングシステム等のプログラムやデータを記憶するほか、制御部31のワークメモリとしても用いられる。プログラムは、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等の情報記憶媒体に格納された状態で情報管理サーバ30に供給されてもよいし、インターネット等のデータ通信手段を介して情報管理サーバ30に供給されてもよい。以下、記憶部32に記憶されるデータの一例を説明する。
記憶部32には、例えば、マーカ情報管理テーブルが記憶される。図8には、マーカ情報管理テーブルの一例を示した。図8に示されるように、マーカ情報管理テーブルには、マーカを識別するマーカID、マーカ配置領域の領域サイズ、マーカ配置領域内の特徴点情報に基づく特徴点情報、マーカに関連付けられる関連情報(例えばリンク)が関連付けて記憶される。
通信部33は、ネットワークインターフェースカードにより実現され、ネットワークインターフェースカードを介して、ネットワークに接続したクライアント装置10とデータ通信するとともに、ローカルネットワーク又はネットワークに接続した情報登録支援サーバ20とデータ通信する。
[3.シーケンス]
次に、情報処理システム1に含まれる各装置において行われる処理の詳細を、図9〜11に示したシーケンス図及びフローチャートを参照しながら説明する。なお、以下に示す処理では、画像領域の画像特徴を、例えばSIFT(Scale-Invariant Feature Transform)アルゴリズムを用いて抽出した特徴点に基づく特徴量として生成する例について説明するが、画像領域の画像特徴は、画像領域における特定の空間周波数成分の量と他の空間周波数成分との比、エッジ量、隣接画素値との差の絶対値の総和等の他の手法に基づいて生成してもよいのはもちろんである。
[3−1.マーカ情報登録処理]
まず、図9を参照しながら、マーカについての情報登録時に、クライアント装置10、情報登録支援サーバ20、情報管理サーバ30間で実行される処理(マーカ情報登録処理)の詳細について説明する。
図9に示されるように、クライアント装置10は、ユーザから、情報登録の対象とする登録対象文書の対象ページと、登録対象文書の中で関連情報が付加されていることを示すマーカ(標識)のサイズの指定を受け付ける(S101)。ここで、クライアント装置10は、ユーザから、マーカのサイズとともに、マーカの配置希望位置の指定を受け付けることとしてもよい。例えば、登録対象文書、対象ページ及びマーカのサイズは図2に示したマーカ設定画面50において受け付けることとしてよい。
クライアント装置10は、S101で受け付けた、登録対象文書(少なくとも対象ページを含む)とマーカのサイズ(さらには配置希望位置)とを情報登録支援サーバ20に送信する(S102)。
情報登録支援サーバ20は、クライアント装置10から受信した登録対象文書の対象ページを画像データに変換し(S103)、変換した画像データを情報管理サーバ30に送信する(S104)。
情報管理サーバ30は、情報登録支援サーバ20から受信した画像データの特徴点を抽出し(S105)、抽出した特徴点の情報を情報登録支援サーバ20に送信する(S106)。例えば、特徴点の情報は、画像データにおける特徴点の位置座標の情報としてよい。
情報登録支援サーバ20は、情報管理サーバ30から受信した特徴点の情報と、マーカのサイズ(配置希望位置があれば配置希望位置の情報も含めてよい)の情報に基づいてマーカ配置支援情報を生成する(S107)。マーカ配置支援情報とは、登録対象文書(画像データ)において、マーカを配置するのに適した座標領域又は不適切な座標領域を示す表示情報であり、具体的には、図4に示した適合度分布表示情報や、図5に示した配置候補領域情報が該当する。このマーカ配置支援情報の生成処理の詳細については後述する。
情報登録支援サーバ20は、S107で生成したマーカ配置支援情報をクライアント装置10に送信する(S108)。
クライアント装置10は、情報登録支援サーバ20からマーカ配置支援情報を受信すると、登録対象文書にマーカ配置支援情報を重ね合わせて表示する(S109)。また、クライアント装置10は、図4,5に示したマーカ設定画面50において、「表示モード切替」ボタン55が押下されるごとに、登録対象文書にマーカ配置支援情報を重ね合わせて表示するモードと、登録対象文書を単独で表示するモードとを順次切り替えることとしてよい。
ここで、クライアント装置10は、ユーザからマーカのサイズを変更する操作を受け付けた場合には(S110:Y)、変更後のマーカのサイズを情報登録支援サーバ20に送信する(S111)。
情報登録支援サーバ20は、クライアント装置10から変更後のマーカのサイズを受信すると、S107に戻り、変更後のマーカのサイズに基づいてマーカ配置支援情報を再度生成するとともに、それ以降の処理を再度実行する。
また、クライアント装置10は、ユーザからマーカのサイズを変更する操作を受け付けない場合であって(S110:N)、ユーザからマーカの配置領域の指定を受け付け(S112)、さらにマーカに関連付ける関連情報(例えばリンク情報)の指定を受け付けると(S113)、受け付けたマーカ配置領域と関連情報とを情報登録支援サーバ20に送信する(S114)。
情報登録支援サーバ20は、クライアント装置10からマーカ配置領域と関連情報とを受信すると、受信したマーカ配置領域と関連情報とを情報管理サーバ30に送信して情報登録を要求する(S115)。
情報管理サーバ30は、情報登録支援サーバ20からマーカ配置領域と関連情報とを受信すると、マーカ配置領域に含まれる特徴点の情報と、関連情報とを関連付けてマーカ情報管理テーブルに登録する(S116)。
以上が、情報登録処理についてのシーケンス例である。
[3−2.マーカ配置支援情報の生成処理]
次に、図9で説明したシーケンスのS107で実行されるマーカ配置支援情報の生成処理の詳細を、図10に示したフローチャートを参照しながら説明する。
まず、図10に示したフローチャートにおいて、登録対象文書を画像に変換した画像データの横軸をX軸、縦軸をY軸として、画像データの座標(x,y)とする。ここで、xmin≦x≦xmax、ymin≦y≦ymaxである。
図10に示したように、まず、情報登録支援サーバ20は、画像データにおける注目座標(x,y)をx=xmin、y=yminとして初期化する(S201)。
次に、情報登録支援サーバ20は、画像データに対して、注目座標を基点として指定サイズの注目領域を設定する(S202)。ここで、指定サイズとは、クライアント装置10から受け付けた(最新の)マーカのサイズである。
情報登録支援サーバ20は、情報管理サーバ30から画像データについて抽出された特徴点の位置座標の情報に基づいて、S202で設定した注目領域に含まれる特徴点の数を計数し(S203)、計数された特徴点の数が閾値以上である場合には(S204:Y)、注目領域内の各画素の評価値(各画素の評価値の初期値=0)に1を加算する(S205)。なお、注目領域の画像特徴に、注目領域内の特徴点の情報以外の特徴量を用いる場合には、注目領域の画像特徴の情報量が閾値以上である場合に、注目領域内の各画素の評価値に1を加算することとしてもよい。
情報登録支援サーバ20は、S205の後、又は、S204において、S203で計数した特徴点の数が閾値に満たない場合には(S204:N)、注目座標のx座標をΔxだけ増加させる(S206)。Δxは固定値であってもよいし、クライアント装置10の要求に応じて変更(増加、減少)することとしてもよい。
情報登録支援サーバ20は、S206で更新したx座標がxmax(上限値)以上でない場合には(S207:N)、S202に戻り、S206で更新したx座標がxmax(上限値)以上である場合には(S207:Y)、注目座標のx座標をxminに初期化するとともに(S208)、注目座標のy座標をΔyだけ増加させる(S209)。ΔyもΔxと同様に固定値であってもよいし、クライアント装置10の要求に応じて変更(増加、減少)することとしてもよい。
情報登録支援サーバ20は、S209で更新したy座標がymax(上限値)以上でない場合には(S210:N)、S202に戻り、S209で更新したy座標がymax(上限値)以上である場合には(S210:Y)、S211に進む。
情報登録支援サーバ20は、マーカ配置支援情報の種類が適合度分布の表示情報(適合度表示情報)である場合には(S211:適合度分布)、画像データの各画素の評価値に基づいて適合度表示情報を生成する(S212)。例えば、情報登録支援サーバ20は、ランクA(THA≦評価値)、ランクB(THB≦評価値<THA)、ランクC(評価値<THB)等のように、評価値を複数のランクに分けて、各画素のランクを判断することとしてよい。そして、情報登録支援サーバ20は、画像データの各画素をそのランクごとに異なる態様(色、網掛け)で表示する情報を適合度表示情報として生成することとしてよい。なお、図4に示した適合度表示情報の例では、ランクAは網掛けをせず、ランクBは薄い網掛け、ランクCは濃い網掛けに対応している。
また、情報登録支援サーバ20は、マーカ配置支援情報の種類が配置候補領域の表示情報(配置候補領域情報)である場合には(S211:配置候補領域)、画像データの各画素の評価値に基づいて配置候補領域情報を生成する(S213)。例えば、情報登録支援サーバ20は、画像データの各画素の評価値に基づいて適合度分布を生成するとともに、生成した適合度分布において評価値が閾値以上の領域(例えばランクAの領域)を抽出する。そして、情報登録支援サーバ20は、抽出した領域のうち指定サイズのマーカが配置可能な領域(候補領域)を1以上選択し、選択した候補領域を表示する情報を配置候補領域情報として生成することとしてよい。なお、情報登録支援サーバ20は、クライアント装置10から、マーカの配置希望位置を受け付けている場合には、選択した候補領域を、マーカの配置希望位置との距離が近い順にランク付けして、候補領域をそのランクとともに表示させる情報を配置候補領域情報として生成することとしてもよい。
情報登録支援サーバ20は、S212又はS213の処理を終えると、マーカ配置支援情報の生成処理を終えて、リターンする。
[3−3.マーカ関連情報提供処理]
次に、情報管理サーバ30に登録されたマーカの情報を利用して、クライアント装置10にマーカの関連情報を提供する処理について、図11に示したシーケンス図を参照しながら説明する。
図11に示されるように、クライアント装置10は、印刷媒体等に含まれるマーカを含む画像領域を撮像し(S301)、撮像した画像(撮像画像)を情報管理サーバ30に送信する(S302)。
情報管理サーバ30は、クライアント装置10から撮像画像を受信すると、撮像画像の中からマーカを検出するとともに、検出したマーカに基づくマーカ配置領域を撮像画像から抽出する(S303)。例えば、情報管理サーバ30は、マーカの外接矩形をマーカ配置領域として抽出することとしてよい。
次に、情報管理サーバ30は、S303で抽出したマーカ配置領域に含まれる特徴点を抽出して、その特徴点の位置座標に基づく特徴点情報を取得するとともに(S304)、取得した特徴点情報をキーとしてマーカ情報管理テーブルの中から対応する特徴点情報を有するマーカ配置領域(マーカID)を検索する(S305)。例えば、情報管理サーバ30は、特徴点情報を位置座標のベクトルデータとして生成した場合には、キーとなる特徴点情報との距離が最小となる特徴点情報を検索することとしてよい。
そして、情報管理サーバ30は、S305で検索されたマーカ配置領域(マーカID)に関連付けられる関連情報(リンク)をマーカ情報管理テーブルから取得し(S306)、取得した関連情報をクライアント装置10に送信する(S307)。
クライアント装置10は、情報管理サーバ30から受信した関連情報に基づくデータを取得し(S308)、取得したデータを表示する(S309)。例えば、クライアント装置10は、関連情報がリンクである場合には、リンクにアクセスして得たデータを表示することとしてよい。
以上説明した本実施形態に係る情報処理システム1では、登録対象文書にマーカを配置する場合に、登録対象文書においてマーカの配置領域に適した領域とそうでない領域とが区別可能な態様で表示されるため、こうした表示がない場合と比べてマーカの配置が容易となる。
本発明は上記の実施形態に限定されるものではない。例えば、情報登録支援サーバ20は、適合度表示情報と配置候補領域情報との両方を生成してクライアント装置10に送信し、表示モードの切り替えが選択されるごとに、適合度表示情報に基づく重ね合わせ表示、配置候補領域情報に基づく重ね合わせ表示、重ね合わせ表示のオフのそれぞれのモードを順次切り替えるようにしてもよい。また、クライアント装置10は、マーカを配置した登録対象文書を登録した場合に、当該マーカを配置した登録対象文書を情報管理サーバ30に登録するようにしてもよい。
また、上記の実施形態では、情報登録支援サーバ20と情報管理サーバ30とを別の装置として構成した例を説明したが、情報登録支援サーバ20と情報管理サーバ30とは一体に構成されてもよい。また情報登録支援サーバ20の機能は、クライアント装置10で動作するアプリケーションとして実装されても構わない。
1 情報処理システム、10 クライアント装置、11 制御部、12 記憶部、13 通信部、14 入力部、15 表示部、16 撮像部、20 情報登録支援サーバ、21 制御部、22 記憶部、23 通信部、30 情報管理サーバ、31 制御部、32 記憶部、33 通信部、40 ネットワーク、50 マーカ設定画面、51 「文書選択」ボタン、52 「マーカ作成」ボタン、53 「マーカ登録サポート」ボタン、54 「マーカ登録」ボタン、60 文書表示領域、70 属性情報表示領域、71 リンク指定欄、72 「適用」ボタン、80 マーカ配置領域、81 マーカ、90 網掛け領域、91 配置候補領域。

Claims (7)

  1. 指定されたサイズの標識画像を配置する対象の画像に含まれる画像特徴情報を取得する手段と、
    前記対象の画像に含まれる1以上の各位置を基点とした前記指定されたサイズの領域に含まれる画像特徴情報に基づいて、前記対象の画像において前記標識画像の配置に適合した複数の領域を、前記標識画像を配置する候補位置として示す表示情報を生成する生成手段と、
    前記対象の画像に前記表示情報を重ね合わせて表示させる手段と、を含み、
    前記表示させる手段は、前記対象の画像における前記標識画像の配置を支援する、
    ことを特徴とする標識画像配置支援装置。
  2. 前記対象の画像において前記標識画像を配置する配置領域と、該標識画像に関連付ける関連情報の指定を受け付けて、該配置領域に含まれる画像特徴情報と該関連情報とを関連付けて記憶手段に記憶させる手段をさらに含む
    ことを特徴とする請求項1に記載の標識画像配置支援装置。
  3. 前記生成手段は、前記標識画像のサイズが変更された場合に、前記表示情報を再生成し、
    前記表示させる手段は、前記標識画像のサイズが変更された場合に、前記対象の画像に前記再生成された表示情報を重ね合わせて表示させる
    ことを特徴とする請求項1又は2に記載の標識画像配置支援装置。
  4. 前記対象の画像に含まれる1以上の各位置を基点とした前記指定されたサイズの領域ごとに、該領域に含まれる画像特徴情報の量が閾値を超える場合には該領域に適合度を加算する手段をさらに含み、
    前記生成手段は、前記対象の画像における各領域の適合度に基づいて前記表示情報を生成する
    ことを特徴とする請求項1乃至3のいずれかに記載の標識画像配置支援装置。
  5. 前記生成手段は、前記対象の画像において適合度が予め定められた条件に満たない領域を少なくとも表示する前記表示情報を生成する
    ことを特徴とする請求項4に記載の標識画像配置支援装置。
  6. 前記生成手段は、前記対象の画像において適合度が予め定められた条件を満たす領域であって、前記表示画像を配置可能な大きさの領域を少なくとも表示する前記表示情報を生成する
    ことを特徴とする請求項4に記載の標識画像配置支援装置。
  7. 指定されたサイズの標識画像を配置する対象の画像に含まれる画像特徴情報を取得する手段と、
    前記対象の画像に含まれる1以上の各位置を基点とした前記指定されたサイズの領域に含まれる画像特徴情報に基づいて、前記対象の画像において前記標識画像の配置に適合した複数の領域又は適合しない複数の領域、前記標識画像を配置する候補位置として示す表示情報を生成する生成手段と、
    前記対象の画像に前記表示情報を重ね合わせて表示させる手段
    としてコンピュータを機能させるためのプログラムであって、
    前記表示させる手段は、前記対象の画像における前記標識画像の配置を支援する、
    プログラム。
JP2013012239A 2013-01-25 2013-01-25 標識画像配置支援装置及びプログラム Expired - Fee Related JP5998952B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013012239A JP5998952B2 (ja) 2013-01-25 2013-01-25 標識画像配置支援装置及びプログラム
US13/943,027 US20140215320A1 (en) 2013-01-25 2013-07-16 Marker placement support apparatus, marker placement support method, and non-transitory computer readable medium
CN201310403284.4A CN103970809A (zh) 2013-01-25 2013-09-06 标记放置支持设备和标记放置支持方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013012239A JP5998952B2 (ja) 2013-01-25 2013-01-25 標識画像配置支援装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2014142884A JP2014142884A (ja) 2014-08-07
JP5998952B2 true JP5998952B2 (ja) 2016-09-28

Family

ID=51224419

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013012239A Expired - Fee Related JP5998952B2 (ja) 2013-01-25 2013-01-25 標識画像配置支援装置及びプログラム

Country Status (3)

Country Link
US (1) US20140215320A1 (ja)
JP (1) JP5998952B2 (ja)
CN (1) CN103970809A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6670918B2 (ja) * 2018-03-12 2020-03-25 東芝インフォメーションシステムズ株式会社 生成装置、生成方法及び生成プログラム
EP3904991A4 (en) * 2018-12-28 2022-07-27 Aichi Steel Corporation VEHICLE AND VEHICLE DIAGNOSTIC SYSTEM

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3109421B2 (ja) * 1995-09-08 2000-11-13 富士ゼロックス株式会社 図表処理装置
US7747943B2 (en) * 2001-09-07 2010-06-29 Microsoft Corporation Robust anchoring of annotations to content
US7454086B2 (en) * 2004-09-28 2008-11-18 Ricoh Company, Ltd. Techniques for positioning images in electronic documents
US8600989B2 (en) * 2004-10-01 2013-12-03 Ricoh Co., Ltd. Method and system for image matching in a mixed media environment
US7222830B2 (en) * 2005-07-05 2007-05-29 Métaux Satellite Inc. Right angle bracket
CN101292259B (zh) * 2005-08-23 2012-07-11 株式会社理光 用于混合介质环境中的图像匹配的方法和***
US20090060289A1 (en) * 2005-09-28 2009-03-05 Alex Shah Digital Image Search System And Method
US20090043777A1 (en) * 2006-03-01 2009-02-12 Eran Shmuel Wyler Methods and apparatus for enabling use of web content on various types of devices
US20110025855A1 (en) * 2008-03-28 2011-02-03 Pioneer Corporation Display device and image optimization method
US8711265B2 (en) * 2008-04-24 2014-04-29 Canon Kabushiki Kaisha Image processing apparatus, control method for the same, and storage medium
US20100211865A1 (en) * 2009-02-19 2010-08-19 Microsoft Corporation Cross-browser page visualization generation
US9130999B2 (en) * 2009-07-30 2015-09-08 Sk Planet Co., Ltd. Method for providing augmented reality, server for same, and portable terminal
US9245043B2 (en) * 2009-12-23 2016-01-26 Fuji Xerox Co., Ltd. Embedded media markers and systems and methods for generating and using them
KR20110091379A (ko) * 2010-02-05 2011-08-11 삼성전자주식회사 하이퍼링크 선택 방법 및 장치
JP5664346B2 (ja) * 2011-03-04 2015-02-04 富士ゼロックス株式会社 画像処理装置、情報提供システム及びプログラム
JP5113929B1 (ja) * 2011-06-24 2013-01-09 楽天株式会社 画像提供装置、画像処理方法、画像処理プログラム及び記録媒体
US20130166394A1 (en) * 2011-12-22 2013-06-27 Yahoo! Inc. Saliency-based evaluation of webpage designs and layouts

Also Published As

Publication number Publication date
CN103970809A (zh) 2014-08-06
US20140215320A1 (en) 2014-07-31
JP2014142884A (ja) 2014-08-07

Similar Documents

Publication Publication Date Title
US8751969B2 (en) Information processor, processing method and program for displaying a virtual image
US8848088B2 (en) Product identification using mobile device
US10650264B2 (en) Image recognition apparatus, processing method thereof, and program
JP5793260B1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US20120038670A1 (en) Apparatus and method for providing augmented reality information
CN109040960A (zh) 一种实现位置服务的方法和装置
US9886789B2 (en) Device, system, and process for searching image data based on a three-dimensional arrangement
KR101462473B1 (ko) 이미지상의 객체 인식을 통한 검색방법 및 그 검색방법에 의한 검색서버
US20140330814A1 (en) Method, client of retrieving information and computer storage medium
US20130229342A1 (en) Information providing system, information providing method, information processing apparatus, method of controlling the same, and control program
JP6181893B1 (ja) 閲覧確認のためのシステム、携帯端末装置、サーバ、プログラム及び方法
US9485387B2 (en) Icon arrangement drawing creation system
US10496694B2 (en) Rating and advising for selection of augmented reality markers
JP5998952B2 (ja) 標識画像配置支援装置及びプログラム
CN113128244A (zh) 扫描方法、装置及电子设备
CN112698775A (zh) 图像显示方法、装置和电子设备
JP5278093B2 (ja) 記事関連情報提供方法、装置、プログラム、記録媒体
US20170277722A1 (en) Search service providing apparatus, system, method, and computer program
CN109522429A (zh) 用于生成信息的方法和装置
JP6355256B2 (ja) メニュー画面構築装置、メニュー処理装置、メニュー画面生産方法、メニュー処理方法、及びプログラム
JP2023048730A (ja) 情報処理装置およびプログラム
KR102197885B1 (ko) 증강 현실 컨텐츠를 표시하는 단말 및 서버
US10296280B2 (en) Captured image sharing system, captured image sharing method and program
JPWO2020050354A1 (ja) 画像検索システム、画像検索方法、およびプログラム
WO2017161476A1 (en) Rating and advising for selection of augmented reality markers

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160815

R150 Certificate of patent or registration of utility model

Ref document number: 5998952

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees