JP5924035B2 - 情報処理装置及び情報処理プログラム - Google Patents

情報処理装置及び情報処理プログラム Download PDF

Info

Publication number
JP5924035B2
JP5924035B2 JP2012051310A JP2012051310A JP5924035B2 JP 5924035 B2 JP5924035 B2 JP 5924035B2 JP 2012051310 A JP2012051310 A JP 2012051310A JP 2012051310 A JP2012051310 A JP 2012051310A JP 5924035 B2 JP5924035 B2 JP 5924035B2
Authority
JP
Japan
Prior art keywords
image
information
identification information
operator
document
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012051310A
Other languages
English (en)
Other versions
JP2013186699A (ja
Inventor
仁 岡本
仁 岡本
木村 哲也
哲也 木村
篠崎 謙吾
謙吾 篠崎
晃 関根
晃 関根
久野 徹
徹 久野
敦資 平野
敦資 平野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2012051310A priority Critical patent/JP5924035B2/ja
Priority to US13/610,141 priority patent/US20130236101A1/en
Priority to CN201210447552.8A priority patent/CN103310184B/zh
Publication of JP2013186699A publication Critical patent/JP2013186699A/ja
Application granted granted Critical
Publication of JP5924035B2 publication Critical patent/JP5924035B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1439Methods for optical code recognition including a method step for retrieval of the optical code
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/19Image acquisition by sensing codes defining pattern positions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Multimedia (AREA)
  • Document Processing Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

本発明は、情報処理装置及び情報処理プログラムに関する。
特許文献1には、印刷シート上の所定範囲の情報と二次元バーコードで表記した複数の音情報と関連させ、対にして再生することを目的とし、文字情報などの情報源とその情報源の所定範囲に関連する複数の音情報を二次元バーコードで表記してなる情報とが含まれる印刷シートの情報を入出力処理する情報処理装置であって、各種情報を読み取る読取部と、各種情報を表示する表示部と、二次元バーコードで表記した複数の音情報などをデジタル情報に変換し、音情報のうち標準音情報であることを示す識別コードと標準音情報に続けて再生する付随音情報であることを示す識別コードを付加して音情報記憶部に記憶し、所定範囲の位置座標を座標指示部で指示すると、所定範囲の情報に対応する複数の音情報をそれぞれの識別コードに基づき音情報記憶部から標準音情報と付随音情報を予め定められた順序で読み出し再生出力するよう構成されることが開示されている。
特許文献2には、記録媒体に付されたコード位置及び走査方向を見ることなく確認可能とし、正確な情報再生を可能とすることを目的とし、この記録媒体は文字や写真、絵柄等を印刷すべき印刷面を複数頁有する書籍等の印刷物であり、上記各頁の印刷面上の予め設定された共通の所定位置に音声情報等を含むマルチメディア情報に対応した光学的に読取り可能なドットコードを配置しており、上記共通の所定位置を上記記録媒体の見開き時における中央の頁綴じ部を避けた位置とし、特に各頁の右下部とし、これにより操作者は当該位置を適宜走査すれば正確な情報再生が行えることになることが開示されている。
特許文献3には、視覚によるインタフェースをTVモニター等に統一し、利用者がそれのみに注視して情報入手作業を進めることができる快適な環境を実現することを目的とし、この情報再生装置は、マルチメディア情報が光学的に読み取り可能なコードで記録されている部分を備える印刷物の情報を再生する装置であって、上記印刷物を撮影するTVカメラと、上記印刷物のコードを読み取るコードリーダーと、該コードリーダーの位置を検出するコードリーダー位置検出部と、入力画像情報を出力し、さらにコードリーダーによって再生される情報を該コードリーダーの位置によって決定づけられる出力位置に出力する画像出力部とを少なくとも有した構成となっていることが開示されている。
特許文献4には、簡単な操作により、知覚情報の出力内容をユーザが希望する選択項目に応じて可変自在とし、より柔軟な知覚情報表現を実現することを課題とし、情報記録媒体は、光学的に読み取り可能に印刷記録された複数個の手動走査可能な情報選択用コードと、上記情報選択用コードそれぞれに付帯して表示され、該情報選択用コードそれぞれに係る情報選択内容を示すための各文字情報と、上記情報選択用コードとは異なる別の位置に光学的に読み取り可能に印刷記録され、上記複数個の情報選択用コードに各対応して演算される一の知覚情報を含む手動走査可能なタイマコードと、を少なくとも備えたことを特徴とすることが開示されている。
特許文献5には、従来の大きな表示装置及び入力装置に替わる小型の表示装置を提供することを課題とし、特別に印刷された用紙及び携帯型装置を用いて、計算装置の有効な使用に通常必要な大きな表示装置及びユーザインタフェースを補助又は置換するためのシステム及び方法であり、用紙には位置情報及びメッセージが符号化され、メッセージはページ全体に冗長的に分散配置され、任意の大きさをとり、機密情報を含む場合もあり、一実施形態において、この装置は符号化されたメッセージと位置情報とを1つのセンサで読み取り、装置の相対運動を測定し、特別に印刷された用紙を走査した後、ユーザはこの装置を何らかの適当な平面上に置き、引き続きスライドさせることにより、印刷物の外の領域を探索できることが開示されている。
特許文献6には、表示媒体上に印刷される表示体の位置や大きさを自由に設定することができ、従来のゲームデータ入力装置とは異なり、新規で且つ汎用性のあるゲームデータ入力装置を提供することを課題とし、ゲームの進行状況をモニターに表示するとともに、ゲーム操作入力手段を備えたゲーム機に接続されるゲームデータ入力装置であって、該ゲームデータ入力装置は、ゲームに関連した絵や文字等の視覚情報が印刷されるとともにドットコードが印刷された表示媒体と、該表示媒体に印刷されたドットコードを読み取る読取装置とを備え、該読取装置はリーダーで読み取ったドットコードを上記視覚情報を特定するデータに変換し、該データに基づいてゲームの進行に必要な上記視覚情報に関連するゲームデータをメモリから読み出して上記ゲーム機に入力することが開示されている。
特許文献7には、極小領域であってもコード情報やXY座標情報が定義可能なドットパターンを提案し、係るドットパターンに基づいた情報再生方法及び情報再生装置を提案し、具体的には種々のマルチメディア情報を認識させるためにドットコード生成アルゴリズムにより生成されたドットを所定の規則に則って配列したドットパターン部が形成された印刷物等の媒体を読取り手段で画像データとして読み取り、該画像データをコードデータ化し、該コードデータに対応したマルチメディア情報を記憶手段から読み出して再生するようにしたことが開示されている。
特許文献8には、極小領域であってもコード情報やXY座標情報が定義可能なドットパターンを提案し、係るドットパターンに基づいた情報再生方法及び情報再生装置を提案することを課題とし、種々のマルチメディア情報を認識させるためにドットコード生成アルゴリズムにより生成されたドットを所定の規則に則って配列したドットパターン部が形成された印刷物等の媒体を読取り手段で画像データとして読み取り、該画像データをコードデータ化し、該コードデータに対応したマルチメディア情報を記憶手段から読み出して再生するようにしたことが開示されている。
特許文献9には、極小領域であってもコード情報やXY座標情報が定義可能なドットパターンに関連付けられた音声情報を再生する音声情報再生装置を提供することを課題とし、媒体表面に印刷されたドットパターンを読み取り、予め所定の音声情報をドットパターンと関連付けた参照テーブルを参照して、ドットパターンに関連付けられた音声情報を読み出して出力する音声情報再生装置であって、前記所定のドットパターンは、所定間隔ごとに配置された水平基準格子点ドットと垂直基準格子点ドットと、前記水平基準格子点ドットから仮想的に設定された垂直方向基準格子線と、前記垂直方向基準格子点ドットから水平方向に仮想的に設定された水平方向基準格子線との交点を格子点とし、該格子点に囲まれた領域内に配置され、データ内容が定義された情報ドットと、からなることが開示されている。
特開平08−314486号公報 特開平08−315065号公報 特開平08−317105号公報 特開平10−111920号公報 特開2003−263605号公報 特開2005−124713号公報 国際公開WO2004/029871号公報 特開2006−190270号公報 特開2011−123883号公報
本発明は、情報画像が含まれている画像に対して操作が行われた画像を提示する場合にあって、その画像内の情報画像の位置に、その操作者を示す記号を提示するようにした情報処理装置及び情報処理プログラムを提供することを目的としている。
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項1の発明は、情報を示す画像である情報画像が含まれている文書画像を受け付ける画像受付手段と、前記画像受付手段によって受け付けられた文書画像内の情報画像から該文書画像を一意に識別し得る画像識別情報と該文書画像内の該情報画像の位置を抽出する抽出手段と、前記抽出手段によって抽出された画像識別情報と文書画像内の位置に対して、操作を行った操作者を識別する操作者識別情報を関連付ける関連付手段と、前記関連付手段による関連付けの結果を出力する出力手段と、前記出力手段によって出力された情報を記憶している記憶手段から、前記抽出手段によって抽出された画像識別情報と情報画像の位置に対応する操作者識別情報を抽出し、該操作者識別情報に基づいて操作者を示す記号を前記文書画像上に提示する提示手段を具備し、前記情報画像内には、画像識別情報と文書画像内の該情報画像の位置を示す情報が含まれており、前記操作者識別情報は、前記文書画像を操作した装置に関連付けられた操作者識別情報であることを特徴とする情報処理装置である。
請求項2の発明は、情報を示す画像である情報画像が含まれている文書画像を受け付ける画像受付手段と、前記画像受付手段によって受け付けられた文書画像内の情報画像から該文書画像を一意に識別し得る画像識別情報と該文書画像内の該情報画像の位置を抽出する抽出手段と、前記抽出手段によって抽出された画像識別情報と情報画像の位置に対して、操作を行った操作者を識別する操作者識別情報を関連付ける関連付手段と、前記関連付手段による関連付けの結果を出力する出力手段を具備し、前記情報画像内には、画像識別情報と文書画像内の該情報画像の位置を示す情報が含まれており、前記操作者識別情報は、前記文書画像を操作した装置に関連付けられた操作者識別情報であることを特徴とする情報処理装置である。
請求項3の発明は、前記抽出手段は、前記画像受付手段によって受け付けられた文書画像内の情報画像の傾きを抽出し、前記関連付手段は、さらに、前記抽出手段によって抽出された傾きを関連付けることを特徴とする請求項2に記載の情報処理装置である。
請求項4の発明は、前記関連付手段は、さらに、前記操作者の操作に基づいて電子情報を関連付けることを特徴とする請求項3に記載の情報処理装置である。
請求項5の発明は、情報を示す画像である情報画像が含まれている文書画像を受け付ける画像受付手段と、前記画像受付手段によって受け付けられた文書画像内の情報画像から該文書画像を一意に識別し得る画像識別情報と該文書画像内の該情報画像の位置を抽出する抽出手段と、画像識別情報と文書画像内の情報画像の位置に対して操作者を識別する操作者識別情報を対応付けて記憶している記憶手段から、前記抽出手段によって抽出された画像識別情報と情報画像の位置に対応する操作者識別情報を抽出し、該操作者識別情報に基づいて操作者を示す記号を前記文書画像上に提示する提示手段を具備し、前記情報画像内には、画像識別情報と文書画像内の該情報画像の位置を示す情報が含まれており、前記操作者識別情報は、前記文書画像を操作した装置に関連付けられた操作者識別情報であることを特徴とする情報処理装置である。
請求項6の発明は、前記記憶手段は、さらに、文書画像内の情報画像の傾きを対応付けて記憶しており、前記提示手段は、前記記憶手段から、前記抽出手段によって抽出された画像識別情報と文書画像内の位置に対応する傾きを抽出し、該傾きに基づいて、前記操作者を示す記号を傾かせて提示することを特徴とする請求項5に記載の情報処理装置である。
請求項7の発明は、前記記憶手段は、さらに、電子情報を対応付けて記憶しており、前記提示手段は、前記記憶手段から、前記抽出手段によって抽出された画像識別情報と文書画像内の位置に対応する電子情報と傾きを抽出し、該傾きに基づいて、該電子情報を傾かせて提示することを特徴とする請求項5又は6に記載の情報処理装置である。
請求項8の発明は、コンピュータを、情報を示す画像である情報画像が含まれている文書画像を受け付ける画像受付手段と、前記画像受付手段によって受け付けられた文書画像内の情報画像から該文書画像を一意に識別し得る画像識別情報と該文書画像内の該情報画像の位置を抽出する抽出手段と、前記抽出手段によって抽出された画像識別情報と文書画像内の位置に対して、操作を行った操作者を識別する操作者識別情報を関連付ける関連付手段と、前記関連付手段による関連付けの結果を出力する出力手段と、前記出力手段によって出力された情報を記憶している記憶手段から、前記抽出手段によって抽出された画像識別情報と情報画像の位置に対応する操作者識別情報を抽出し、該操作者識別情報に基づいて操作者を示す記号を前記文書画像上に提示する提示手段として機能させ、前記情報画像内には、画像識別情報と文書画像内の該情報画像の位置を示す情報が含まれており、前記操作者識別情報は、前記文書画像を操作した装置に関連付けられた操作者識別情報であることを特徴とする情報処理プログラムである。
請求項9の発明は、コンピュータを、情報を示す画像である情報画像が含まれている文書画像を受け付ける画像受付手段と、前記画像受付手段によって受け付けられた文書画像内の情報画像から該文書画像を一意に識別し得る画像識別情報と該文書画像内の該情報画像の位置を抽出する抽出手段と、前記抽出手段によって抽出された画像識別情報と情報画像の位置に対して、操作を行った操作者を識別する操作者識別情報を関連付ける関連付手段と、前記関連付手段による関連付けの結果を出力する出力手段として機能させ、前記情報画像内には、画像識別情報と文書画像内の該情報画像の位置を示す情報が含まれており、前記操作者識別情報は、前記文書画像を操作した装置に関連付けられた操作者識別情報であることを特徴とする情報処理プログラムである。
請求項10の発明は、コンピュータを、情報を示す画像である情報画像が含まれている文書画像を受け付ける画像受付手段と、前記画像受付手段によって受け付けられた文書画像内の情報画像から該文書画像を一意に識別し得る画像識別情報と該文書画像内の該情報画像の位置を抽出する抽出手段と、画像識別情報と文書画像内の情報画像の位置に対して操作者を識別する操作者識別情報を対応付けて記憶している記憶手段から、前記抽出手段によって抽出された画像識別情報と情報画像の位置に対応する操作者識別情報を抽出し、該操作者識別情報に基づいて操作者を示す記号を前記文書画像上に提示する提示手段として機能させ、前記情報画像内には、画像識別情報と文書画像内の該情報画像の位置を示す情報が含まれており、前記操作者識別情報は、前記文書画像を操作した装置に関連付けられた操作者識別情報であることを特徴とする情報処理プログラムである。
請求項1の情報処理装置によれば、情報画像が含まれている画像に対して操作が行われた画像を提示する場合にあって、その画像内の情報画像の位置に、その操作者を示す記号を提示することができる。
請求項2の情報処理装置によれば、画像識別情報と画像内の位置に対して、操作を行った操作者の操作者識別情報を関連付けることができる。
請求項3の情報処理装置によれば、画像識別情報と画像内の位置に対して、画像内の情報画像の傾きを関連付けることができる。
請求項4の情報処理装置によれば、画像識別情報と画像内の位置に対して、電子情報を関連付けることができる。
請求項5の情報処理装置によれば、情報画像が含まれている画像に対して操作が行われた画像を提示する場合にあって、その画像内の情報画像の位置に、その操作者を示す記号を提示することができる。
請求項6の情報処理装置によれば、傾きに基づいて、操作者を示す記号を傾かせて提示することができる。
請求項7の情報処理装置によれば、傾きに基づいて、電子情報を傾かせて提示することができる。
請求項8の情報処理プログラムによれば、情報画像が含まれている画像に対して操作が行われた画像を提示する場合にあって、その画像内の情報画像の位置に、その操作者を示す記号を提示することができる。
請求項9の情報処理プログラムによれば、画像識別情報と画像内の位置に対して、操作を行った操作者の操作者識別情報を関連付けることができる。
請求項10の情報処理プログラムによれば、情報画像が含まれている画像に対して操作が行われた画像を提示する場合にあって、その画像内の情報画像の位置に、その操作者を示す記号を提示することができる。
本実施の形態(登録情報処理装置)の構成例についての概念的なモジュール構成図である。 本実施の形態(登録情報処理装置)による処理例を示すフローチャートである。 本実施の形態(関連コンテンツ管理装置)の構成例についての概念的なモジュール構成図である。 本実施の形態(関連コンテンツ管理装置)による処理例を示すフローチャートである。 コンテンツ関連付テーブルのデータ構造例を示す説明図である。 本実施の形態(関連コンテンツ管理装置)による処理例を示すフローチャートである。 本実施の形態(提示情報処理装置)の構成例についての概念的なモジュール構成図である。 本実施の形態(提示情報処理装置)による処理例を示すフローチャートである。 ユーザ管理テーブルのデータ構造例を示す説明図である。 表示方法管理テーブルのデータ構造例を示す説明図である。 本実施の形態を実現する場合のシステム構成例を示す説明図である。 情報画像の例を示す説明図である。 本実施の形態が使用される例を示す説明図である。 本実施の形態(登録情報処理装置)の処理例を示す説明図である。 本実施の形態(提示情報処理装置)の処理例を示す説明図である。 本実施の形態(提示情報処理装置)の処理例を示す説明図である。 本実施の形態(提示情報処理装置)の処理例を示す説明図である。 本実施の形態(登録情報処理装置、関連コンテンツ管理装置)を実現するコンピュータのハードウェア構成例を示すブロック図である。 本実施の形態(提示情報処理装置)を実現するコンピュータのハードウェア構成例を示すブロック図である。
以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図1は、本実施の形態(登録情報処理装置100)の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア(コンピュータ・プログラム)、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム(コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム)、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。なお、1つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続(データの授受、指示、データ間の参照関係等)の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、2以上の値(もちろんのことながら、全ての値も含む)が同じであってもよい。また、「Aである場合、Bをする」という意味を有する記載は、「Aであるか否かを判断し、Aであると判断した場合はBをする」の意味で用いる。ただし、Aであるか否かの判断が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク(一対一対応の通信接続を含む)等の通信手段で接続されて構成されるほか、1つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」(社会システム)にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、RAM(Random Access Memory)、外部記憶媒体、通信回線を介した記憶装置、CPU(Central Processing Unit)内のレジスタ等を含んでいてもよい。
本実施の形態である登録情報処理装置100は、情報画像が含まれている画像に対して、操作者の操作に基づいて、その操作者を示す操作者識別情報(以下、操作者ID(IDentification)ともいう)の関連付けを行うものであって、図1の例に示すように、情報画像受付モジュール110、情報画像解析モジュール120、コンテンツ関連付モジュール130、コンテンツ生成・選択モジュール140、出力モジュール150を有している。なお、操作者の操作に基づいて、電子情報(静止画、動画、音声、テキスト等があり、以下、コンテンツともいう)を関連付けるようにしてもよい。そして、その関連付けの操作を行った操作者の操作者識別情報を関連付けるようにしてもよい。
なお、情報画像とは、機械可読な態様で電子データを表すために体系的に作られた画像コードをいい、具体的な例として、図12を用いて後述する。
情報画像受付モジュール110は、情報画像解析モジュール120と接続されている。情報画像受付モジュール110は、情報を示す画像である情報画像が含まれている画像を受け付ける。なお、情報画像は、受け付けた画像内の一面全体に印刷されていてもよいし、予め定められた領域に印刷されていてもよい。例えば、予め定められた領域としては、電子情報の関連付けが行われることが予定されている領域である。ここで、画像を受け付けるとは、例えば、スキャナ、カメラ(赤外カメラ等を含む)等で画像を読み込むこと、ファックス等で通信回線を介して外部機器から画像を受信すること、ハードディスク(コンピュータに内蔵されているものの他に、ネットワークを介して接続されているもの等を含む)等に記憶されている画像を読み出すこと等が含まれる。画像は、2値画像、多値画像(カラー画像を含む)であってもよい。受け付ける画像は、1枚であってもよいし、複数枚であってもよい。また、画像の内容として、ビジネスに用いられる文書、広告宣伝用のパンフレット等であってもよい。
例えば、画像として、操作者が撮影した文書内の一部分が該当する。そして、その撮影した位置に電子情報が関連付けられる。
情報画像解析モジュール120は、情報画像受付モジュール110、コンテンツ関連付モジュール130と接続されている。情報画像解析モジュール120は、情報画像受付モジュール110によって受け付けられた画像内の情報画像から、その画像を識別する画像識別情報(以下、文書IDともいう)とその画像内の位置を抽出する。情報画像内には、少なくとも画像識別情報とその画像内の位置が埋め込まれている。
また、情報画像解析モジュール120は、情報画像受付モジュール110によって受け付けられた画像内の情報画像の傾きを抽出するようにしてもよい。例えば、後述するように、情報画像内には、同期コード画像1206が含まれており、その同期コード画像1206は水平又は垂直であるので、その傾きで情報画像の傾きを検知する。
コンテンツ生成・選択モジュール140は、コンテンツ関連付モジュール130と接続されている。コンテンツ生成・選択モジュール140は、操作者の操作に基づいて、その画像の指定した位置(情報画像解析モジュール120が解析した情報画像の位置)に、関連付ける電子情報を生成又は選択する。例えば、マウス、キーボード、タッチパネル等に対する操作によって、コンテンツを生成(例えば、文字情報の入力)、コンテンツを選択(例えば、画像データベース内から画像情報を選択)する。そのコンテンツをコンテンツ関連付モジュール130が画像に関連付ける。例えば、ブラウザ等を用いて、コンテンツを選択すればよい。
また、それまでの討議内容を撮影した動画(又は、討議内容を録音した音声情報)を関連付けるコンテンツとしてもよい。ここで、「それまでの討議」とは、コンテンツ関連付モジュール130による関連付けが行われるまでに行われた討議をいう。また、討議は、情報画像が含まれている画像についての討議である。この動画は複数人の操作者による討議をビデオカメラ(又はマイク)によって撮影(又は録音)したものであり、関連付けが行われる動画は、前回関連付けが行われたときから今回関連付けが行われるまでの間の動画である。
コンテンツ関連付モジュール130は、情報画像解析モジュール120、コンテンツ生成・選択モジュール140、出力モジュール150と接続されている。コンテンツ関連付モジュール130は、情報画像解析モジュール120によって抽出された画像識別情報と画像内の位置に対して、操作を行った操作者を識別する操作者識別情報を関連付ける。なお、コンテンツ生成・選択モジュール140によって生成・選択されたコンテンツを関連付けることなく、操作者が関連付けの操作だけを行うようにしてもよい。具体的には、操作者が画像の一部を撮影したことが関連する。もちろんのことながら、撮影した画像の一部には、1つ以上の情報画像が含まれている。
コンテンツ関連付モジュール130は、さらに、情報画像解析モジュール120によって抽出された傾きを関連付けるようにしてもよい。
コンテンツ関連付モジュール130は、さらに、コンテンツ生成・選択モジュール140によって生成又は選択された電子情報を関連付けるようにしてもよい。
なお、関連付け処理は、コンテンツ生成・選択モジュール140によるコンテンツの生成、選択が行われた後に行う例を示したが、位置と操作者IDの関連付け処理を行った後に、コンテンツを関連付けるようにしてもよい。つまり、前者は、コンテンツを生成、選択した後に、画像の一部を撮影する(関連付ける位置を指定することに該当)が、後者は、画像の一部を撮影した後に、コンテンツを生成、選択することになる。
コンテンツ関連付モジュール130は、この関連付け処理によって、例えばコンテンツ関連付テーブル500を生成する。図5は、コンテンツ関連付テーブル500のデータ構造例を示す説明図である。コンテンツ関連付テーブル500は、文書ID欄510、位置欄520、操作者ID欄530、傾き角度欄540、コンテンツID欄550、日時欄560を有している。文書ID欄510は、対象とした画像の画像識別情報(文書ID)を記憶する。位置欄520は、情報画像受付モジュール110によって受け付けられた画像の位置(情報画像解析モジュール120の解析結果内の位置)を記憶する。操作者ID欄530は、操作者(情報画像受付モジュール110で撮影した者、又はコンテンツ生成・選択モジュール140で操作した者のいずれか、一般的には両者は同じ人物である)の操作者IDを記憶する。傾き角度欄540は、情報画像解析モジュール120によって解析された傾き角度を記憶する。コンテンツID欄550は、コンテンツ生成・選択モジュール140で生成又は作成されたコンテンツを識別するコンテンツIDを記憶する。日時欄560は、コンテンツ関連付モジュール130が関連付けを行った日時(年、月、日、秒、秒以下、又はこれらの組み合わせであってもよい)を記憶する。
出力モジュール150は、コンテンツ関連付モジュール130と接続されている。出力モジュール150は、コンテンツ関連付モジュール130による関連付けの結果を出力する。関連付結果を出力するとは、例えば、ディスプレイ等の表示装置に表示すること、メモリーカード等の記憶媒体に記憶すること、他の情報処理装置へ渡すこと等が含まれる。他の情報処理装置として、例えば関連コンテンツ管理装置300がある。
図2は、本実施の形態(登録情報処理装置100)による処理例を示すフローチャートである。
ステップS202では、情報画像受付モジュール110が、情報画像を受け付ける。
ステップS204では、情報画像解析モジュール120が、情報画像を解析する。具体的には、情報画像解析モジュール120が情報画像から、その情報画像が印刷されている文書を本実施の形態において一意に識別し得る情報である文書識別情報と、情報画像の傾き角度、その情報画像の位置を抽出する。
ステップS206では、コンテンツ生成・選択モジュール140が、受け付けた情報画像の位置に関連付けすべきコンテンツを生成又は選択する。
ステップS208では、コンテンツ関連付モジュール130が、コンテンツと操作者IDと傾き角度を文書IDと情報画像の位置に関連付ける。
ステップS210では、出力モジュール150が、コンテンツ、操作者ID、傾き角度を文書IDと位置に関連付けて出力する。
図3は、本実施の形態(関連コンテンツ管理装置300)の構成例についての概念的なモジュール構成図である。関連コンテンツ管理装置300は、図3の例に示すように、関連コンテンツ受付モジュール310、関連コンテンツ記憶モジュール320、関連コンテンツ要求受付モジュール330、関連コンテンツ出力モジュール340を有している。
関連コンテンツ受付モジュール310は、関連コンテンツ記憶モジュール320と接続されている。関連コンテンツ受付モジュール310は、登録情報処理装置100の出力モジュール150によって出力された関連付結果を受け付ける。例えば、コンテンツ関連付テーブル500を受け付ける。また、複数の登録情報処理装置100(例えば、複数の操作者が個々に有している登録情報処理装置100)から関連付結果を受け付けるようにしてもよい。そして、関連コンテンツ受付モジュール310が関連コンテンツ記憶モジュール320に関連付結果を記憶させる。
関連コンテンツ記憶モジュール320は、関連コンテンツ受付モジュール310、関連コンテンツ要求受付モジュール330、関連コンテンツ出力モジュール340と接続されている。関連コンテンツ記憶モジュール320は、関連コンテンツ受付モジュール310によって受け付けられた関連付結果を記憶し、関連コンテンツ出力モジュール340等からアクセスされる。
関連コンテンツ要求受付モジュール330は、関連コンテンツ記憶モジュール320と接続されている。関連コンテンツ要求受付モジュール330は、提示情報処理装置700の関連コンテンツ抽出モジュール730からの要求を受け付ける。
関連コンテンツ出力モジュール340は、関連コンテンツ記憶モジュール320と接続されている。関連コンテンツ出力モジュール340は、関連コンテンツ要求受付モジュール330によって受け付けられた要求に基づいて、関連コンテンツ記憶モジュール320から要求に該当する関連付結果を取り出し、要求を行った提示情報処理装置700の関連コンテンツ抽出モジュール730へ送信する。
図4は、本実施の形態(関連コンテンツ管理装置300)による処理例を示すフローチャートである。
ステップS402では、関連コンテンツ受付モジュール310が、コンテンツ、操作者ID、傾き角度、文書ID、位置の関連を受け付ける。
ステップS404では、関連コンテンツ受付モジュール310が、受け付けた情報を関連コンテンツ記憶モジュール320に記憶する。
図6は、本実施の形態(関連コンテンツ管理装置300)による処理例を示すフローチャートである。
ステップS602では、関連コンテンツ要求受付モジュール330が、文書IDを受け付ける。
ステップS604では、関連コンテンツ出力モジュール340が、文書IDに対応する位置、操作者ID、傾き角度、コンテンツを関連コンテンツ記憶モジュール320から抽出する。
ステップS606では、関連コンテンツ出力モジュール340が、抽出した位置、操作者ID、傾き角度、コンテンツを要求元に送信する。
図7は、本実施の形態(提示情報処理装置700)の構成例についての概念的なモジュール構成図である。提示情報処理装置700は、図7の例に示すように、情報画像受付モジュール710、情報画像解析モジュール720、関連コンテンツ抽出モジュール730、提示処理モジュール740を有している。
情報画像受付モジュール710は、情報画像解析モジュール720と接続されている。情報画像受付モジュール710は、情報画像が含まれている画像を受け付ける。
情報画像解析モジュール720は、情報画像受付モジュール710、関連コンテンツ抽出モジュール730、提示処理モジュール740と接続されている。情報画像解析モジュール720は、情報画像受付モジュール710によって受け付けられた画像内の情報画像から、その画像を識別する画像識別情報とその画像内の位置を抽出する。
関連コンテンツ抽出モジュール730は、情報画像解析モジュール720、提示処理モジュール740と接続されている。関連コンテンツ抽出モジュール730は、画像識別情報と、その画像内の位置に対して操作者を識別する操作者IDを対応付けて記憶している関連コンテンツ記憶モジュール320(登録情報処理装置100の出力モジュール150によって出力された情報を記憶している関連コンテンツ記憶モジュール320)から、情報画像解析モジュール720によって抽出された画像識別情報と、その画像内の位置に対応する操作者IDを抽出する。
提示処理モジュール740は、情報画像解析モジュール720、関連コンテンツ抽出モジュール730と接続されている。提示処理モジュール740は、操作者マーク抽出モジュール742、グループ・ユーザ対応記憶モジュール744、角度処理モジュール746、操作者マーク提示モジュール748、コンテンツ提示モジュール750を有している。提示処理モジュール740は、関連コンテンツ抽出モジュール730によって抽出された操作者IDに基づいて操作者を示す記号を画像上に提示する。例えば、後述する図15(a)の操作者ピンマーク1522等のように提示する。
また、関連コンテンツ記憶モジュール320は、さらに、画像内の情報画像の傾きを対応付けて記憶していてもよい。そして、関連コンテンツ抽出モジュール730は、関連コンテンツ記憶モジュール320から、情報画像解析モジュール720によって抽出された画像識別情報と画像内の位置に対応する傾きを抽出し、提示処理モジュール740は、その傾きに基づいて、操作者を示す記号を傾かせて提示するようにしてもよい。例えば、後述する図15(a)の操作者ピンマーク1522等のように傾けて提示する。
また、関連コンテンツ記憶モジュール320は、さらに、電子情報を対応付けて記憶していてもよい。そして、関連コンテンツ抽出モジュール730は、関連コンテンツ記憶モジュール320から、情報画像解析モジュール720によって抽出された画像識別情報と画像内の位置に対応する電子情報と傾きを抽出し、提示処理モジュール740は、その傾きに基づいて、その電子情報を傾かせて提示するようにしてもよい。例えば、後述する図15(b)の関連コンテンツ1530のように傾けて提示する。
操作者マーク抽出モジュール742は、グループ・ユーザ対応記憶モジュール744と接続されている。操作者マーク抽出モジュール742は、グループ・ユーザ対応記憶モジュール744から操作者に対応する記号(以下、操作者マークともいう)を抽出する。なお、ここでの対象となる操作者の操作者IDは、関連コンテンツ抽出モジュール730によって画像内の位置に対応付けられた操作者IDである。つまり、関連コンテンツ抽出モジュール730によって抽出された操作者IDである。
グループ・ユーザ対応記憶モジュール744は、操作者マーク抽出モジュール742と接続されている。グループ・ユーザ対応記憶モジュール744は、例えば、ユーザ管理テーブル900、表示方法管理テーブル1000を記憶している。図9は、ユーザ管理テーブル900のデータ構造例を示す説明図である。ユーザ管理テーブル900は、UID欄910、GID欄920、役割欄930を有している。UID欄910は、操作者IDを記憶している。GID欄920は、その操作者IDの操作者が属しているグループ(グループには、組織等を含んでいてもよい)を識別する情報であるグループIDを記憶している。役割欄930は、その操作者IDの操作者がそのグループ内で有している役割(例えば、リーダー、一般グループ員等)を示す情報(以下、役割情報ともいう)を記憶している。
図10は、表示方法管理テーブル1000のデータ構造例を示す説明図である。表示方法管理テーブル1000は、GID欄1010、役割欄1020、表示方法欄1030を有している。GID欄1010は、グループIDを記憶している。役割欄1020は、そのグループIDのグループにおける役割の役割情報を記憶している。表示方法欄1030は、そのグループにおけるその役割を有している操作者を示す記号を記憶している。役割毎に異なる記号を表示し得るようにしている。また、個々の操作者に個別の役割を付すことによって、操作者毎に異なる記号を表示し得るようにしてもよい。
角度処理モジュール746は、関連コンテンツ抽出モジュール730によって抽出された傾きに基づいて、操作者マーク抽出モジュール742によって抽出された操作者に対応する記号を傾ける処理を行う。また、関連コンテンツ抽出モジュール730によって抽出された傾きに基づいて、関連コンテンツ抽出モジュール730によって抽出された電子情報を傾ける処理を行う。傾ける処理とは、傾ける対象である画像等に対していわゆるアフィン変換を行えばよい。
操作者マーク提示モジュール748は、角度処理モジュール746によって傾き処理された操作者に対応する記号を提示する。
コンテンツ提示モジュール750は、角度処理モジュール746によって傾き処理された電子情報を提示する。なお、提示先は、提示情報処理装置700に備え付けられた液晶ディスプレイ等の表示装置である。また、操作者に対応する記号、電子情報は、画像上の関連付けられた位置に対応しているように提示する。
なお、登録情報処理装置100と提示情報処理装置700とを組み合わせてもよい。その場合、情報画像受付モジュール110と情報画像解析モジュール120、情報画像受付モジュール710と情報画像解析モジュール720は、いずれか1つであってもよい。
図8は、本実施の形態(提示情報処理装置700)による処理例を示すフローチャートである。
ステップS802では、情報画像受付モジュール710が、情報画像を受け付ける。
ステップS804では、情報画像解析モジュール720が、情報画像を解析する。
ステップS806では、関連コンテンツ抽出モジュール730が、情報画像に関連しているコンテンツに関する情報を抽出する。
ステップS808では、操作者マーク抽出モジュール742が、関連付を行った操作者を示すマークを抽出する。
ステップS810では、角度処理モジュール746が、操作者マークを角度にあわせて傾ける処理を行う。
ステップS812では、コンテンツを角度にあわせて傾ける処理を行う。
ステップS814では、操作者マーク提示モジュール748が、生成した操作者マークを対象画像上に提示する。
ステップS816では、コンテンツ提示モジュール750が、関連付けられたコンテンツを画面に提示する。
図11は、本実施の形態を実現する場合のシステム構成例を示す説明図である。
登録情報処理装置100A1等、登録情報処理装置100B1等、登録情報処理装置100C1等、関連コンテンツ管理装置300、提示情報処理装置700は、それぞれ通信回線1199を介して接続されている。登録情報処理装置100A1等、登録情報処理装置100B1等、登録情報処理装置100C1等は、それぞれ図1に例示の登録情報処理装置100に対応している。したがって、各登録情報処理装置100A1等、登録情報処理装置100B1等、登録情報処理装置100C1等の操作者の操作によって、画像の位置にコンテンツが関連付けられ、その関連付結果が関連コンテンツ管理装置300に記憶させられ、提示情報処理装置700によって、その画像に関連付けられたコンテンツが提示される。また、登録情報処理装置100A1、登録情報処理装置100A2、登録情報処理装置100A3は、グループA端末群1100Aを形成しており、登録情報処理装置100B1、登録情報処理装置100B2、登録情報処理装置100B3は、グループB端末群1100Bを形成しており、登録情報処理装置100C1、登録情報処理装置100C2、登録情報処理装置100C3は、グループC端末群1100Cを形成している。そして、各グループの関連付結果に応じた画像を提示する。具体的には、提示情報処理装置700は、グループA端末群1100Aによって関連付けられたコンテンツを1つの画像の上に提示する。その場合、他のグループB端末群1100B、グループC端末群1100Cによって関連付けられたコンテンツは、その画像の上には提示しない。そして、グループB端末群1100Bによって関連付けられたコンテンツを画像の上に提示する場合、他のグループA端末群1100A、グループC端末群1100Cによって関連付けられたコンテンツは、その画像の上には提示しない。
図12は、情報画像の例を示す説明図である。
この例は、米国ゼロックス社のパロアルト研究所で開発された、角度の異なる斜線でデータを表現するグリフコード(例えば、特開平6−103390号公報、特開平6−75795号公報)を情報画像であるコードシンボルとして用いた2次元コードパターン画像である。
この例では、単位領域1200は8シンボル×8シンボルの正方形領域である。各シンボルの値は、図12(b)、図12(c)に示すように斜線パターンで表現される。この例では、シンボル値0は垂直線に対して反時計回りに45度の角度をなす右下がりの斜線(図12(b)の例のパターン0)で、シンボル値1は垂直線に対して時計回りに45度の角度をなす右上がりの斜線(図12(c)の例のパターン1)で表現される。
このうち、位置コード画像1202は、単位領域1200の左上隅の6シンボル×6シンボルの正方形の画像であり、識別コード画像1204は、単位領域1200からその6×6シンボルの正方形を引いた残りの逆L字領域の画像となる。
また、この例では、単位領域1200の外周に沿って縦横の各方向に、同期コード画像1206の列及び行を設けている。この例では、同期コード画像1206は、右上がり(「1」)の斜線シンボルの連続であり、シンボルのサイズと配列ピッチは単位領域1200内のシンボルサイズ及びピッチと同じである。同期コード画像1206は、縦及び横に等間隔で設けられ、それら同期コード画像1206で囲まれる正方形領域に各単位領域1200が設けられる。同期コード画像1206は、各単位領域1200の区切りを示す。すなわち、2次元コードパターン画像を読み取った装置では、右上がりのシンボルが連続している行及び列を検出すると、それら行と列とで形成される格子の網目の内部を単位領域1200と認識することができ、その単位領域1200の左上隅の6×6のシンボルが位置コード画像1202と認識できる。
なお、同期コード画像1206は、単位領域1200又は位置コード画像1202の場所を特定することができるものであれば、図12に例示したようなものでなくてもよい。例えば、単位領域1200の四隅に斜線シンボルとは異なる特定形状のシンボルを配置したものを同期コード画像1206としてもよい。図12の例では、同期コード画像1206のためにシンボル1つ分の幅の行及び列を使ったが、同期コード画像1206を構成するマークが十分に小さいものであれば、単位領域1200を隙間なく2次元配列し、隣接する単位領域1200の余白部分にそのマークを配置するようにしてもよい。
図12の例では、1つの位置コード画像1202には合計36シンボル、すなわち36ビットのデータが格納されている。36ビットのうち、18ビットをx座標の符号化に、18ビットをy座標の符号化に使用することができる。各18ビットを全て位置の符号化に使用すると、2^18通り(約26万通り)の位置を符号化できる。各斜線パターンが、図12(b)、図12(c)の例に示したように8画素×8画素で構成されている場合、600dpi(ドット・パー・インチ)で印刷すると、600dpiの1ドットの縦横の長さは0.0423mmなので、縦横共に、図12の2次元コード(同期コード画像1206を含む)の縦、横の長さは3mm程度(=1シンボル当たり8画素×9シンボル×0.0423mm)となる。3mm間隔で26万通りの位置を符号化した場合、約786mの長さを符号化できる。読取の精度がよければ18ビット全てを位置の符号化に使用することもできるが、読取エラーが問題となる場合は、誤り検出や誤り訂正のための冗長ビットを含めることが好適である。18ビットに占める冗長ビットの割合を増やすと誤り検出や誤り訂正の能力が増えるが、表現できる位置の範囲が小さくなる。
また、図12の例では、識別コード画像1204は、2ビット×8ビットの矩形領域及び2ビット×6ビットの矩形領域に配置されており、合計28ビットの識別情報等を格納できる。識別情報等として28ビットを使用した場合は、約2億7千万通り(2^28通り)の識別情報等を表現できるが、28ビットのうちのいくつかのビットを誤り検出や誤り訂正のための冗長ビットとすることで読取エラーに対処できるようにしてもよい。なお、識別情報等とは、本実施の形態では、少なくとも第1の記入対象情報又は第2の記入対象情報を含み、他に文書ID、ページID等を含めてもよい。例えば、用紙を一意的に識別する用紙識別番号等を含めてもよい。1つの用紙の記入欄内に印刷される単位領域1200内の識別コード画像1204は同じものとなる。もちろん、単位領域1200内の位置コード画像1202によって表される位置情報は、その用紙内における位置を示す情報であるので、それぞれの単位領域1200内の位置コード画像1202は異なったものとなる。
以上の例では、互いに角度が90度異なる2つの斜線パターンをシンボルとして用いることで、1シンボルで1ビットのデータを表現したが、これは一例にすぎない。例えばシンボルに垂直線と水平線のパターンを追加すれば2ビットの情報を1シンボルで表現できる。このように、1シンボルの斜線パターンの角度種類を増やすことで、1シンボルが表現できるビット数を増加することも可能である。また、グリフコード以外の情報画像を用いてもよい。
図13は、本実施の形態が使用される例を示す説明図である。先生1310が、各グループに課題(情報画像が印刷された文書)を与え、各グループではその課題に対して、文書にコンテンツ(資料)を関連付けることによって、解答するという教育場面について説明するものである。
グループ討議の際には、各人用の教材(情報画像が印刷された文書)と登録情報処理装置100(登録情報処理装置1331A等であり、例えば、カメラとタッチパネルとコンテンツを生成・選択できるようなタブレット型計算機が該当する)が渡される。各人が予め集めたコンテンツはサーバに格納しておく。
グループ討議をしながら、教材の各項目に関係のある資料を登録情報処理装置1331A等で関連付けていく。関連付けの操作としては、登録情報処理装置1331A等のカメラで教材の一部を撮影することである。図14は、本実施の形態(登録情報処理装置100)の処理例を示す説明図である。例えば、情報画像が印刷された教材1410に対して、登録情報処理装置1420(登録情報処理装置100、登録情報処理装置1331A等)で関連付けたい位置(撮影位置1430)を撮影する。そして、関連付けすると、誰の情報かを示すピンが画面上のその位置に表示される。また、テーブルの中央に教材を置き、各人(ユーザ1321A、ユーザ1322A、ユーザ1323A、ユーザ1324A等)の位置から関連付けが行われる。したがって、各人が教材の一部を撮影する場合は、各人と教材との位置関係によって、撮影した情報画像が傾くことになる。
関連付けられた資料は、登録情報処理装置1331A等を通じてピンを開くとグループメンバからも確認できる。討議は、コンテンツ(コメント、議事録等(前述の「生成されたコンテンツ」に該当する)を含めてもよい)を関連付けながら進められる。
各グループの関連付け履歴や資料は、先生1310の登録情報処理装置1330からも見られる。必要に応じて先生から総て又はあるグループに対してコンテンツ(特に、コメント等)を関連付けることもできる。
そして、討議結果の発表の場では、提示情報処理装置700によって図15の例のように提示される。例えば、プロジェクターを用いて提示するようにしてもよい。図15(a)の例に示すように、画面1500には、コンテンツの関連付けが行われた教材1510が提示され、教材1510上には、操作者ピンマーク1522〜1528が提示される。これによって、誰が、どのような位置に対して関連付けを行ったか(発言したか)が判明するようになる。そして、操作者ピンマーク1524を選択すると、図15(b)の例に示すように、関連コンテンツ1530(操作者ピンマーク1524の位置に関連付けられたコンテンツ)を提示する。また、操作者ピンマーク1522等がクリックされると、コンテンツのサムネイルや簡単な情報を表示し、ダブルクリックされるとコンテンツを開き、再生するようにしてもよい。
図16は、本実施の形態(提示情報処理装置700)の処理例(地図へのコンテンツ登録例)を示す説明図である。
例えば、登録情報処理装置100によって、地図画像1610に写真画像コンテンツを登録する際には、撮影場所や撮影の向きに準じて地図画像1610上に関連付ける。
そして、コンテンツを登録した地図画像1610は提示情報処理装置700で管理されている。地図画像1610を表示すると、コンテンツが登録されている座標に、対応した視点の角度で操作者ピンマーク1622〜1628を表示する。
例えば、操作者ピンマーク1622等がクリックされると、コンテンツのサムネイルや簡単な情報を表示し、ダブルクリックされるとコンテンツを開き、再生するようにしてもよい。
図17は、本実施の形態(提示情報処理装置700)の処理例(立体図形の写真への登録例)を示す説明図である。
例えば、登録情報処理装置100によって、立体図形文書1710にコンテンツを登録する際には、予め定められた視点からの画像や予め定められた箇所への解説等、立体図形の方向に対応して立体図形文書1710上に関連付ける。
そして、コンテンツを登録した立体図形文書1710は提示情報処理装置700で管理されている。立体図形文書1710を表示すると、コンテンツが登録されている座標に、視点や特定箇所に対応した角度で操作者ピンマーク1722〜1728を表示する。
例えば、操作者ピンマーク1722等がクリックされると、コンテンツのサムネイルや簡単な情報を表示し、ダブルクリックされるとコンテンツを開き、再生するようにしてもよい。
なお、本実施の形態(登録情報処理装置100、関連コンテンツ管理装置300)としてのプログラムが実行されるコンピュータのハードウェア構成は、図18に例示するように、一般的なコンピュータであり、具体的にはパーソナルコンピュータ、サーバとなり得るコンピュータ等である。つまり、具体例として、処理部(演算部)としてCPU1801を用い、記憶装置としてRAM1802、ROM1803、HD1804を用いている。HD1804として、例えばハードディスクを用いてもよい。情報画像受付モジュール110、情報画像解析モジュール120、コンテンツ関連付モジュール130、コンテンツ生成・選択モジュール140、出力モジュール150、関連コンテンツ受付モジュール310、関連コンテンツ要求受付モジュール330、関連コンテンツ出力モジュール340等のプログラムを実行するCPU1801と、そのプログラムやデータを記憶するRAM1802と、本コンピュータを起動するためのプログラム等が格納されているROM1803と、補助記憶装置であるHD1804と、カメラ、スキャナ等によって画像を読み取ることによって画像データを受け付けること、又はキーボード、マウス、タッチパネル等に対する利用者の操作に基づいてデータを受け付ける受付装置1806と、CRT、液晶ディスプレイ等の出力装置1805と、ネットワークインタフェースカード等の通信ネットワークと接続するための通信回線インタフェース1807、そして、それらをつないでデータのやりとりをするためのバス1808により構成されている。これらのコンピュータが複数台互いにネットワークによって接続されていてもよい。
図19を参照して、本実施の形態(提示情報処理装置700)のハードウェア構成例について説明する。図19に示す構成は、例えばパーソナルコンピュータ(PC)などによって構成されるものであり、カメラ、スキャナ等のデータ読み取り部1917と、プリンタなどのデータ出力部1918を備えたハードウェア構成例を示している。
CPU(Central Processing Unit)1901は、前述の実施の形態において説明した各種のモジュール、すなわち、情報画像受付モジュール710、情報画像解析モジュール720、関連コンテンツ抽出モジュール730、提示処理モジュール740、操作者マーク抽出モジュール742、角度処理モジュール746、操作者マーク提示モジュール748、コンテンツ提示モジュール750等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。
ROM(Read Only Memory)1902は、CPU1901が使用するプログラムや演算パラメータ等を格納する。RAM(Random Access Memory)1903は、CPU1901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはCPUバスなどから構成されるホストバス1904により相互に接続されている。
ホストバス1904は、ブリッジ1905を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス1906に接続されている。
キーボード1908、マウス等のポインティングデバイス1909は、操作者により操作される入力デバイスである。ディスプレイ1910は、液晶表示装置、プロジェクター、又はCRT(Cathode Ray Tube)などがあり、各種情報をテキストやイメージ情報として表示する。
HDD(Hard Disk Drive)1911は、ハードディスクを内蔵し、ハードディスクを駆動し、CPU1901によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、コンテンツ、文書画像、ユーザ管理テーブル900、表示方法管理テーブル1000などが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。
ドライブ1912は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体1913に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース1907、外部バス1906、ブリッジ1905、及びホストバス1904を介して接続されているRAM1903に供給する。リムーバブル記録媒体1913も、ハードディスクと同様のデータ記録領域として利用可能である。
接続ポート1914は、外部接続機器1915を接続するポートであり、USB、IEEE1394等の接続部を持つ。接続ポート1914は、インタフェース1907、及び外部バス1906、ブリッジ1905、ホストバス1904等を介してCPU1901等に接続されている。通信部1916は、通信回線に接続され、外部とのデータ通信処理を実行する。データ読み取り部1917は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部1918は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。
前述の実施の形態のうち、コンピュータ・プログラムによるものについては、図18、19に例示するハードウェア構成のシステムにソフトウェアであるコンピュータ・プログラムを読み込ませ、ソフトウェアとハードウェア資源とが協働して、前述の実施の形態が実現される。
なお、図18、19に示す登録情報処理装置100、関連コンテンツ管理装置300、提示情報処理装置700のハードウェア構成は、1つの構成例を示すものであり、本実施の形態は、図18、19に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア(例えば特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)等)で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図18、19に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機(スキャナ、プリンタ、複写機、ファックス等のいずれか2つ以上の機能を有している画像処理装置)などに組み込まれていてもよい。
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD−R、DVD−RW、DVD−RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD−ROM)、CDレコーダブル(CD−R)、CDリライタブル(CD−RW)等、ブルーレイ・ディスク(Blu−ray Disc(登録商標))、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM(登録商標))、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)、SD(Secure Digital)メモリーカード等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。
100…登録情報処理装置
110…情報画像受付モジュール
120…情報画像解析モジュール
130…コンテンツ関連付モジュール
140…コンテンツ生成・選択モジュール
150…出力モジュール
300…関連コンテンツ管理装置
310…関連コンテンツ受付モジュール
320…関連コンテンツ記憶モジュール
330…関連コンテンツ要求受付モジュール
340…関連コンテンツ出力モジュール
700…提示情報処理装置
710…情報画像受付モジュール
720…情報画像解析モジュール
730…関連コンテンツ抽出モジュール
740…提示処理モジュール
742…操作者マーク抽出モジュール
744…グループ・ユーザ対応記憶モジュール
746…角度処理モジュール
748…操作者マーク提示モジュール
750…コンテンツ提示モジュール

Claims (10)

  1. 情報を示す画像である情報画像が含まれている文書画像を受け付ける画像受付手段と、
    前記画像受付手段によって受け付けられた文書画像内の情報画像から該文書画像を一意に識別し得る画像識別情報と該文書画像内の該情報画像の位置を抽出する抽出手段と、
    前記抽出手段によって抽出された画像識別情報と文書画像内の位置に対して、操作を行った操作者を識別する操作者識別情報を関連付ける関連付手段と、
    前記関連付手段による関連付けの結果を出力する出力手段と、
    前記出力手段によって出力された情報を記憶している記憶手段から、前記抽出手段によって抽出された画像識別情報と情報画像の位置に対応する操作者識別情報を抽出し、該操作者識別情報に基づいて操作者を示す記号を前記文書画像上に提示する提示手段
    を具備し、
    前記情報画像内には、画像識別情報と文書画像内の該情報画像の位置を示す情報が含まれており、
    前記操作者識別情報は、前記文書画像を操作した装置に関連付けられた操作者識別情報である
    ことを特徴とする情報処理装置。
  2. 情報を示す画像である情報画像が含まれている文書画像を受け付ける画像受付手段と、
    前記画像受付手段によって受け付けられた文書画像内の情報画像から該文書画像を一意に識別し得る画像識別情報と該文書画像内の該情報画像の位置を抽出する抽出手段と、
    前記抽出手段によって抽出された画像識別情報と情報画像の位置に対して、操作を行った操作者を識別する操作者識別情報を関連付ける関連付手段と、
    前記関連付手段による関連付けの結果を出力する出力手段
    を具備し、
    前記情報画像内には、画像識別情報と文書画像内の該情報画像の位置を示す情報が含まれており、
    前記操作者識別情報は、前記文書画像を操作した装置に関連付けられた操作者識別情報である
    ことを特徴とする情報処理装置。
  3. 前記抽出手段は、前記画像受付手段によって受け付けられた文書画像内の情報画像の傾きを抽出し、
    前記関連付手段は、さらに、前記抽出手段によって抽出された傾きを関連付ける
    ことを特徴とする請求項2に記載の情報処理装置。
  4. 前記関連付手段は、さらに、前記操作者の操作に基づいて電子情報を関連付ける
    ことを特徴とする請求項3に記載の情報処理装置。
  5. 情報を示す画像である情報画像が含まれている文書画像を受け付ける画像受付手段と、
    前記画像受付手段によって受け付けられた文書画像内の情報画像から該文書画像を一意に識別し得る画像識別情報と該文書画像内の該情報画像の位置を抽出する抽出手段と、
    画像識別情報と文書画像内の情報画像の位置に対して操作者を識別する操作者識別情報を対応付けて記憶している記憶手段から、前記抽出手段によって抽出された画像識別情報と情報画像の位置に対応する操作者識別情報を抽出し、該操作者識別情報に基づいて操作者を示す記号を前記文書画像上に提示する提示手段
    を具備し、
    前記情報画像内には、画像識別情報と文書画像内の該情報画像の位置を示す情報が含まれており、
    前記操作者識別情報は、前記文書画像を操作した装置に関連付けられた操作者識別情報である
    ことを特徴とする情報処理装置。
  6. 前記記憶手段は、さらに、文書画像内の情報画像の傾きを対応付けて記憶しており、
    前記提示手段は、前記記憶手段から、前記抽出手段によって抽出された画像識別情報と文書画像内の位置に対応する傾きを抽出し、該傾きに基づいて、前記操作者を示す記号を傾かせて提示する
    ことを特徴とする請求項5に記載の情報処理装置。
  7. 前記記憶手段は、さらに、電子情報を対応付けて記憶しており、
    前記提示手段は、前記記憶手段から、前記抽出手段によって抽出された画像識別情報と文書画像内の位置に対応する電子情報と傾きを抽出し、該傾きに基づいて、該電子情報を傾かせて提示する
    ことを特徴とする請求項5又は6に記載の情報処理装置。
  8. コンピュータを、
    情報を示す画像である情報画像が含まれている文書画像を受け付ける画像受付手段と、
    前記画像受付手段によって受け付けられた文書画像内の情報画像から該文書画像を一意に識別し得る画像識別情報と該文書画像内の該情報画像の位置を抽出する抽出手段と、
    前記抽出手段によって抽出された画像識別情報と文書画像内の位置に対して、操作を行った操作者を識別する操作者識別情報を関連付ける関連付手段と、
    前記関連付手段による関連付けの結果を出力する出力手段と、
    前記出力手段によって出力された情報を記憶している記憶手段から、前記抽出手段によって抽出された画像識別情報と情報画像の位置に対応する操作者識別情報を抽出し、該操作者識別情報に基づいて操作者を示す記号を前記文書画像上に提示する提示手段
    として機能させ
    前記情報画像内には、画像識別情報と文書画像内の該情報画像の位置を示す情報が含まれており、
    前記操作者識別情報は、前記文書画像を操作した装置に関連付けられた操作者識別情報である
    ことを特徴とする情報処理プログラム。
  9. コンピュータを、
    情報を示す画像である情報画像が含まれている文書画像を受け付ける画像受付手段と、
    前記画像受付手段によって受け付けられた文書画像内の情報画像から該文書画像を一意に識別し得る画像識別情報と該文書画像内の該情報画像の位置を抽出する抽出手段と、
    前記抽出手段によって抽出された画像識別情報と情報画像の位置に対して、操作を行った操作者を識別する操作者識別情報を関連付ける関連付手段と、
    前記関連付手段による関連付けの結果を出力する出力手段
    として機能させ
    前記情報画像内には、画像識別情報と文書画像内の該情報画像の位置を示す情報が含まれており、
    前記操作者識別情報は、前記文書画像を操作した装置に関連付けられた操作者識別情報である
    ことを特徴とする情報処理プログラム。
  10. コンピュータを、
    情報を示す画像である情報画像が含まれている文書画像を受け付ける画像受付手段と、
    前記画像受付手段によって受け付けられた文書画像内の情報画像から該文書画像を一意に識別し得る画像識別情報と該文書画像内の該情報画像の位置を抽出する抽出手段と、
    画像識別情報と文書画像内の情報画像の位置に対して操作者を識別する操作者識別情報を対応付けて記憶している記憶手段から、前記抽出手段によって抽出された画像識別情報と情報画像の位置に対応する操作者識別情報を抽出し、該操作者識別情報に基づいて操作者を示す記号を前記文書画像上に提示する提示手段
    として機能させ
    前記情報画像内には、画像識別情報と文書画像内の該情報画像の位置を示す情報が含まれており、
    前記操作者識別情報は、前記文書画像を操作した装置に関連付けられた操作者識別情報である
    ことを特徴とする情報処理プログラム。
JP2012051310A 2012-03-08 2012-03-08 情報処理装置及び情報処理プログラム Active JP5924035B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012051310A JP5924035B2 (ja) 2012-03-08 2012-03-08 情報処理装置及び情報処理プログラム
US13/610,141 US20130236101A1 (en) 2012-03-08 2012-09-11 Information processing apparatus, non-transitory computer readable medium, and information processing method
CN201210447552.8A CN103310184B (zh) 2012-03-08 2012-11-09 信息处理装置和信息处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012051310A JP5924035B2 (ja) 2012-03-08 2012-03-08 情報処理装置及び情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2013186699A JP2013186699A (ja) 2013-09-19
JP5924035B2 true JP5924035B2 (ja) 2016-05-25

Family

ID=49114178

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012051310A Active JP5924035B2 (ja) 2012-03-08 2012-03-08 情報処理装置及び情報処理プログラム

Country Status (3)

Country Link
US (1) US20130236101A1 (ja)
JP (1) JP5924035B2 (ja)
CN (1) CN103310184B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6306484B2 (ja) * 2014-09-26 2018-04-04 株式会社日立ソリューションズ ファイル管理サーバ装置およびメッセージ・ファイル統合サーバ装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3086151B2 (ja) * 1995-05-18 2000-09-11 シャープ株式会社 二次元バーコード処理機能付き情報処理装置
EP1107184B1 (en) * 1999-12-06 2005-10-05 Xerox Corporation Method and apparatus for registering spatial information
US6898334B2 (en) * 2002-01-17 2005-05-24 Hewlett-Packard Development Company, L.P. System and method for using printed documents
CA2952993A1 (en) * 2002-09-26 2004-04-08 Kenji Yoshida Information reproducing method, information inputting/outputting method,information reproducing device, portable information inputting/outputting device and electronic toy using dot pattern
US7535481B2 (en) * 2004-06-28 2009-05-19 Microsoft Corporation Orienting information presented to users located at different sides of a display surface
JP2007052565A (ja) * 2005-08-16 2007-03-01 Fuji Xerox Co Ltd 情報処理システム及び情報処理方法
JP4973245B2 (ja) * 2007-03-08 2012-07-11 富士ゼロックス株式会社 表示装置及びプログラム
JP4780049B2 (ja) * 2007-06-29 2011-09-28 富士ゼロックス株式会社 情報処理システム及び情報処理プログラム
JP5499393B2 (ja) * 2007-12-04 2014-05-21 国立大学法人電気通信大学 透明偏光フィルムを用いた対話システム、透明偏光フィルムを用いた対話方法及び対話システムの対話処理装置のプログラム並びに対話システムの透明偏光フィルム認識対話処理装置のプログラム
KR101527993B1 (ko) * 2008-04-05 2015-06-10 소우셜 커뮤니케이션즈 컴퍼니 가상 환경과의 인터페이스 방법
US20100083109A1 (en) * 2008-09-29 2010-04-01 Smart Technologies Ulc Method for handling interactions with multiple users of an interactive input system, and interactive input system executing the method
US8810522B2 (en) * 2008-09-29 2014-08-19 Smart Technologies Ulc Method for selecting and manipulating a graphical object in an interactive input system, and interactive input system executing the method
JP4766108B2 (ja) * 2008-12-16 2011-09-07 コニカミノルタビジネステクノロジーズ株式会社 プレゼンテーションシステム、データ管理装置およびプログラム
US20100325572A1 (en) * 2009-06-23 2010-12-23 Microsoft Corporation Multiple mouse character entry
US8416206B2 (en) * 2009-07-08 2013-04-09 Smart Technologies Ulc Method for manipulating a graphic widget in a three-dimensional environment displayed on a touch panel of an interactive input system
US8780069B2 (en) * 2009-09-25 2014-07-15 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US8502789B2 (en) * 2010-01-11 2013-08-06 Smart Technologies Ulc Method for handling user input in an interactive input system, and interactive input system executing the method
US20110271332A1 (en) * 2010-04-30 2011-11-03 American Teleconferencing Services Ltd. Participant Authentication via a Conference User Interface
US9298362B2 (en) * 2011-02-11 2016-03-29 Nokia Technologies Oy Method and apparatus for sharing media in a multi-device environment
US20130103446A1 (en) * 2011-10-20 2013-04-25 Microsoft Corporation Information sharing democratization for co-located group meetings
US9489114B2 (en) * 2013-06-24 2016-11-08 Microsoft Technology Licensing, Llc Showing interactions as they occur on a whiteboard

Also Published As

Publication number Publication date
CN103310184A (zh) 2013-09-18
CN103310184B (zh) 2018-01-05
JP2013186699A (ja) 2013-09-19
US20130236101A1 (en) 2013-09-12

Similar Documents

Publication Publication Date Title
US11336788B2 (en) Information processing apparatus and non-transitory computer readable medium for combining written information with image of document
US8854322B2 (en) Image processing apparatus, computer readable medium, and image processing method
US8687919B2 (en) Image processing apparatus, computer readable medium, and image processing method
JP5080872B2 (ja) 採点システム及び採点プログラム
JP5924035B2 (ja) 情報処理装置及び情報処理プログラム
US8649055B2 (en) Image processing apparatus and computer readable medium
JP5481965B2 (ja) 情報処理装置及び情報処理プログラム
JP5476884B2 (ja) 画像処理装置及び画像処理プログラム
JP6682827B2 (ja) 情報処理装置及び情報処理プログラム
JP2006020144A (ja) 文書処理システム
JP6241311B2 (ja) 画像処理装置及び画像処理プログラム
JP4983489B2 (ja) 情報処理装置及び情報処理プログラム
EP3113031B1 (en) Image processing device, image processing method, and program
JP2010049531A (ja) 画像処理装置及び画像処理プログラム
JP5434272B2 (ja) 情報処理装置及び情報処理プログラム
JP5531661B2 (ja) 画像処理装置及び画像処理プログラム
JP2011171786A (ja) 画像処理装置及び画像処理プログラム
JP2009065314A (ja) 情報処理装置及び情報処理プログラム
JP2010278710A (ja) 画像処理装置及び画像処理プログラム
JP2009147673A (ja) 画像形成装置及び画像処理装置
JP2009087200A (ja) 情報処理装置及び情報処理プログラム
WO2008035394A1 (fr) Dispositif d'imbrication de filigrane électronique
US20150331844A1 (en) Information processing apparatus and non-transitory computer readable medium
JP2005267160A (ja) 文字認識結果の表示方法、表示プログラムおよび表示装置
JP2011160307A (ja) 画像処理装置及び画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20150327

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160404

R150 Certificate of patent or registration of utility model

Ref document number: 5924035

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350