JP5287099B2 - SEARCH DEVICE, INFORMATION PROCESSING DEVICE, SEARCH METHOD, PROGRAM, AND RECORDING MEDIUM - Google Patents

SEARCH DEVICE, INFORMATION PROCESSING DEVICE, SEARCH METHOD, PROGRAM, AND RECORDING MEDIUM Download PDF

Info

Publication number
JP5287099B2
JP5287099B2 JP2008251779A JP2008251779A JP5287099B2 JP 5287099 B2 JP5287099 B2 JP 5287099B2 JP 2008251779 A JP2008251779 A JP 2008251779A JP 2008251779 A JP2008251779 A JP 2008251779A JP 5287099 B2 JP5287099 B2 JP 5287099B2
Authority
JP
Japan
Prior art keywords
application program
search
image data
character
date
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008251779A
Other languages
Japanese (ja)
Other versions
JP2010086075A (en
Inventor
実 黒岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2008251779A priority Critical patent/JP5287099B2/en
Publication of JP2010086075A publication Critical patent/JP2010086075A/en
Application granted granted Critical
Publication of JP5287099B2 publication Critical patent/JP5287099B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、検索装置、情報処理装置、検索方法、プログラム及び記録媒体に関し、特に、フルテキスト検索に対応していない応用プログラムも検索対象と出来る検索装置、情報処理装置、検索方法、プログラム及び記録媒体に関する。   The present invention relates to a search device, an information processing device, a search method, a program, and a recording medium, and in particular, a search device, an information processing device, a search method, a program, and a recording that can also search application programs that do not support full text search. It relates to the medium.

近年、オフィス等においてコンピュータが普及し、情報の電子化が進んでいる。大量に蓄積された電子ファイルの中から所望の電子ファイルを検索するために様々な検索方法が提案されている。   In recent years, computers have spread in offices and the like, and information has been digitized. Various search methods have been proposed to search for a desired electronic file from among a large amount of stored electronic files.

例えば、文書データベースを文字列を指定して文書の全文を対象とし、さらに補助的なファイルを用いて高速な検索処理を実現する文書検索方法が提案されている（特許文献１参照）。   For example, a document search method has been proposed in which a character string is specified in a document database and the entire text of the document is targeted, and a high-speed search process is realized using an auxiliary file (see Patent Document 1).

また、電子ファイルに対する操作の履歴を利用して検索対象を絞り込むことにより、迅速かつ適切な検索を可能とする電子ファイル検索装置が提案されている（特許文献２参照）。
特許第３３０３８８１号公報 特開２０００−１６３４３９号公報 In addition, an electronic file search apparatus has been proposed that enables a quick and appropriate search by narrowing down search targets using an operation history for an electronic file (see Patent Document 2).
Japanese Patent No. 3303881 JP 2000-163439 A

上記いずれの技術も、文書の全文を対象として検索するフルテキスト検索が可能であることを前提として、さらに効率良く検索することを目的としている。しかしながら、フルテキスト検索機能を持たない応用プログラム（Applications Program；特定の利用目的を持って作成されたソフトウエアの総称、アプリケーション、アプリとも称す）では、所望する電子ファイル等の検索をすることが出来ない。   Each of the above-described techniques aims to perform a more efficient search on the premise that a full-text search that searches the entire text of a document is possible. However, application programs that do not have a full-text search function (Applications Program; generic name of software created for a specific purpose of use, also referred to as application or application) can search for desired electronic files. Absent.

本発明はこのような状況に鑑みてなされたものであり、フルテキスト検索に対応していない応用プログラムも検索対象とすることを目的としている。   The present invention has been made in view of such a situation, and an object of the present invention is to search application programs that do not support full-text search.

本発明に係る検索装置は、表示部に表示された画面をキャプチャして画像データを取得する画像データ取得手段と、前記画像データ取得手段によって取得した画像データから文字を認識する文字認識手段と、前記認識した文字と、前記画像データがキャプチャされた日時と、を記憶する第一の記憶手段と、応用プログラムの起動状態を監視する起動状態監視手段と、前記起動状態監視手段によって取得された、起動している応用プログラムの種類と、起動日時と、前記起動している応用プログラムが実行しているファイル名若しくは前記起動している応用プログラムが接続しているＵＲＬと、を記憶する第二の記憶手段と、ユーザが、少なくとも検索キーワードを含む検索条件を入力するために用いる入力手段と、前記入力手段から入力された検索条件を満たす文字を、前記第一の記憶手段に記憶されている文字から検索し、前記検索条件を満たす文字が抽出された画像データのキャプチャ日時に基づき、前記第二の記憶手段から、前記キャプチャ日時に起動していた応用プログラムを検索し、さらに、該当する応用プログラムが実行していたファイル名若しくはＵＲＬを検索する検索手段と、を備えることを特徴とする。   The search device according to the present invention includes an image data acquisition unit that captures a screen displayed on a display unit to acquire image data, a character recognition unit that recognizes characters from the image data acquired by the image data acquisition unit, Obtained by the first storage means for storing the recognized character, the date and time when the image data was captured, the activation state monitoring means for monitoring the activation state of the application program, and the activation state monitoring means; A second type that stores the type of application program being activated, the date and time of activation, and the name of the file executed by the activated application program or the URL to which the activated application program is connected Storage means, input means used by a user to input search conditions including at least a search keyword, and input from the input means Characters satisfying the search condition are searched from the characters stored in the first storage means, and based on the capture date and time of the image data from which the characters satisfying the search conditions are extracted, from the second storage means, Search means for searching for an application program activated at the capture date and time, and further searching for a file name or URL executed by the corresponding application program.

本発明に係る第１の情報処理装置は、上記検索装置を備えることを特徴とする。   A first information processing apparatus according to the present invention includes the search device.

本発明に係る検索方法は、表示部に表示された画面をキャプチャして画像データを取得するステップと、前記取得した画像データから文字を認識するステップと、前記認識した文字と、前記画像データがキャプチャされた日時と、を第一の記憶部に記憶するステップと、応用プログラムの起動状態を監視するステップと、前記起動状態を監視するステップによって取得された、起動している応用プログラムの種類と、起動日時と、前記起動している応用プログラムが実行しているファイル名若しくは前記起動している応用プログラムが接続しているＵＲＬと、を第二の記憶部に記憶するステップと、少なくとも検索キーワードを含む検索条件の入力を受け付けるステップと、前記入力された検索条件を満たす文字を、前記第一の記憶部に記憶されている文字から検索し、前記検索条件を満たす文字が抽出された画像データのキャプチャ日時に基づき、前記第二の記憶部から、前記キャプチャ日時に起動していた応用プログラムを検索し、さらに、該当する応用プログラムが実行していたファイル名若しくはＵＲＬを検索するステップと、を備えることを特徴とする。   The search method according to the present invention includes a step of capturing a screen displayed on a display unit to acquire image data, a step of recognizing characters from the acquired image data, the recognized characters, and the image data The captured date and time, the step of storing the first storage unit in the first storage unit, the step of monitoring the activation state of the application program, and the type of the activated application program acquired by the step of monitoring the activation state; Storing a start date and time, a file name executed by the activated application program or a URL connected to the activated application program in the second storage unit, and at least a search keyword Receiving the input of the search condition including, and storing the character satisfying the input search condition in the first storage unit The application program that was running on the capture date and time is searched from the second storage unit based on the capture date and time of the image data from which the character satisfying the search condition is extracted. And a step of searching for a file name or URL executed by the corresponding application program.

本発明に係る検索プログラムは、表示部に表示された画面をキャプチャして画像データを取得する処理と、前記取得した画像データから文字を認識する処理と、前記認識した文字と、前記画像データがキャプチャされた日時と、を第一の記憶部に記憶する処理と、応用プログラムの起動状態を監視する処理と、前記起動状態を監視する処理によって取得された、起動している応用プログラムの種類と、起動日時と、前記起動している応用プログラムが実行しているファイル名若しくは前記起動している応用プログラムが接続しているＵＲＬと、を第二の記憶部に記憶する処理と、少なくとも検索キーワードを含む検索条件の入力を受け付ける処理と、前記入力された検索条件を満たす文字を、前記第一の記憶部に記憶されている文字から検索し、前記検索条件を満たす文字が抽出された画像データのキャプチャ日時に基づき、前記第二の記憶部から、前記キャプチャ日時に起動していた応用プログラムを検索し、さらに、該当する応用プログラムが実行していたファイル名若しくはＵＲＬを検索する処理と、をコンピュータに実行させることを特徴とする。   The search program according to the present invention includes a process of capturing a screen displayed on a display unit to acquire image data, a process of recognizing characters from the acquired image data, the recognized characters, and the image data The process of storing the captured date and time in the first storage unit, the process of monitoring the activation state of the application program, and the type of the activated application program acquired by the process of monitoring the activation state , A process of storing the start date and time, the file name executed by the activated application program or the URL connected to the activated application program in the second storage unit, and at least the search keyword A process for receiving an input of a search condition including, and a character stored in the first storage unit for a character that satisfies the input search condition Based on the capture date and time of the image data from which characters satisfying the search conditions are extracted, the second storage unit is searched for the application program activated at the capture date and time, and the corresponding application program is executed. And a process of searching for the file name or URL that has been stored.

本発明に係る記録媒体は、上記検索プログラムの処理を記録するコンピュータ読取り可能な記録媒体である。   The recording medium according to the present invention is a computer-readable recording medium for recording the processing of the search program.

本発明に係る第２の情報処理装置は、画面をキャプチャして画像データを取得する画像データ取得手段と、前記画像データ取得手段によって取得した画像データから文字列を認識する文字認識手段と、前記認識した文字列を示す情報と、前記画像データがキャプチャされた日時と、を記憶する第一の記憶手段と、応用プログラムの実行状態を監視する実行状態監視手段と、前記実行状態監視手段によって取得された、実行している応用プログラムの情報と、実行日時と、前記実行している応用プログラムのアクセス先のデータを示す情報と、を記憶する第二の記憶手段と、ユーザによって入力された少なくとも検索キーワードを含む検索条件を満たす文字列を、前記第一の記憶手段に記憶されている文字列を示す情報から検索し、前記検索条件を満たす文字列が抽出された画像データのキャプチャ日時に基づき、前記第二の記憶手段から、前記キャプチャ日時に実行していた応用プログラムと、該当する応用プログラムがアクセスしていたデータとを検索する検索手段と、を備えることを特徴とする。   A second information processing apparatus according to the present invention includes an image data acquisition unit that captures a screen to acquire image data, a character recognition unit that recognizes a character string from the image data acquired by the image data acquisition unit, Acquired by the first storage means for storing information indicating the recognized character string, the date and time when the image data was captured, the execution state monitoring means for monitoring the execution state of the application program, and the execution state monitoring means Second storage means for storing information on the application program being executed, execution date and time, and information indicating access destination data of the application program being executed, and at least input by the user A character string satisfying the search condition including the search keyword is searched from information indicating the character string stored in the first storage unit, and the search condition Based on the capture date / time of the image data from which the character string satisfying the condition is extracted, the application program executed at the capture date / time and the data accessed by the corresponding application program are searched from the second storage means. And a search means.

本発明によれば、フルテキスト検索に対応していない応用プログラムも検索対象とすることが出来る。   According to the present invention, an application program that does not support full text search can also be a search target.

以下に、本発明の実施形態について図面を用いて詳細に説明する。なお、以下に述べる実施形態は、本発明の好適な実施形態であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの態様に限られるものではない。   Embodiments of the present invention will be described below in detail with reference to the drawings. The embodiments described below are preferred embodiments of the present invention, and thus various technically preferable limitations are given. However, the scope of the present invention is particularly limited in the following description. As long as there is no description of the effect, it is not restricted to these aspects.

（実施形態１）
本発明の実施形態に係る検索装置について説明する。図１は、本実施形態に係る検索装置の機能ブロック図である。画面キャプチャ部１、文字認識部２、文字列ＤＢ（Database）３、応用プログラム起動状態監視部４、起動状態ＤＢ５、検索部６、入力部７、表示部８から構成される。 (Embodiment 1)
A search device according to an embodiment of the present invention will be described. FIG. 1 is a functional block diagram of the search device according to the present embodiment. It comprises a screen capture unit 1, a character recognition unit 2, a character string DB (Database) 3, an application program activation state monitoring unit 4, an activation state DB 5, a search unit 6, an input unit 7, and a display unit 8.

画面キャプチャ部１は、表示部８に表示された画面上の表示内容を、ビットマップファイルやＪＰＥＧファイル等の画像データ（広く、キャプチャ画像データとも称す）として取得する。   The screen capture unit 1 acquires the display content on the screen displayed on the display unit 8 as image data (generally referred to as capture image data) such as a bitmap file or a JPEG file.

文字認識部２は、キャプチャ画像データから文字認識を行う。文字認識によって取得した文字列と、前記文字列の位置情報とを文字列ＤＢ３へ送る。   The character recognition unit 2 performs character recognition from the captured image data. The character string acquired by character recognition and the position information of the character string are sent to the character string DB 3.

文字列ＤＢ３は、文字列と、前記文字列の位置情報と、該文字認識を行ったキャプチャ画像データがキャプチャされた日時とを、記憶する。文字列ＤＢ３が備えるデータの一例を図２に示す。   The character string DB 3 stores the character string, the position information of the character string, and the date and time when the captured image data subjected to the character recognition was captured. An example of data included in the character string DB 3 is shown in FIG.

一方、応用プログラム起動状態監視部４は、応用プログラムの起動状態を監視し、起動状態ＤＢ５に監視結果を送る。起動状態ＤＢ５は、応用プログラムが起動している日時、前記起動している応用プログラムが利用しているファイルが表示されているウィンドウの位置、該ファイルのファイル名、若しくはウィンドウに表示されているデータがインターネット上のものである場合はＵＲＬ（Uniform Resource Locators）を記憶する。起動状態ＤＢ５が備えるデータの一例を図３に示す。   On the other hand, the application program activation state monitoring unit 4 monitors the activation state of the application program and sends the monitoring result to the activation state DB 5. The activation state DB 5 includes the date and time when the application program is activated, the position of the window in which the file used by the activated application program is displayed, the file name of the file, or the data displayed in the window. Is stored on the Internet, URL (Uniform Resource Locators) is stored. An example of data included in the activation state DB 5 is shown in FIG.

画面キャプチャ部１によるキャプチャと、応用プログラム起動状態監視部４による応用プログラム起動状態の監視のタイミングとは、同時に一定時間毎に行っても良いし、画面のキャプチャは一定時間毎に行ない、応用プログラム起動状態の監視については、応用プログラムが起動・終了した場合や、ウィンドウが移動されたタイミング等で行うようにしても良い。   The capture by the screen capture unit 1 and the monitoring timing of the application program activation state by the application program activation state monitoring unit 4 may be performed simultaneously at regular intervals, or screen capture is performed at regular intervals. The activation state may be monitored when the application program is activated or terminated, or when the window is moved.

検索部６は、入力部７から入力された検索キーワードを含む検索条件に基づき、前記文字列ＤＢ３と起動状態ＤＢ５とを検索する。検索の詳細は後述する。   The search unit 6 searches the character string DB 3 and the activation state DB 5 based on the search condition including the search keyword input from the input unit 7. Details of the search will be described later.

表示部８は、ウィンドウと称される矩形領域に電子文書等を表示する。また、検索結果の表示等を行う。なお、検索結果の出力は表示部８への表示に限られることはなく、その他所定の出力方法での出力や、所定の送信先へ送信されるようにしても良い。   The display unit 8 displays an electronic document or the like in a rectangular area called a window. Also, search results are displayed. The output of the search result is not limited to display on the display unit 8, but may be output by a predetermined output method or transmitted to a predetermined transmission destination.

なお、本発明は、通常のパーソナルコンピュータ（ＰＣ）（情報処理装置）によっても実施可能である。   The present invention can also be implemented by a normal personal computer (PC) (information processing apparatus).

次に、本実施形態に係るファイル検索の動作処理について説明する。図４は、本実施形態に係る検索装置の動作処理を示すフローチャートである。   Next, file search operation processing according to the present embodiment will be described. FIG. 4 is a flowchart showing the operation process of the search device according to the present embodiment.

まず、文字列ＤＢ３と、起動状態ＤＢ５とが、それぞれ作成される。
（１）文字列ＤＢ３
画面キャプチャ部１は、表示部８に表示された画面の内容をキャプチャし、キャプチャ画像データを文字認識部２へ送る（ステップＳ１）。表示部８に表示される画面の一例を図５に示す。図５では、表示部８に複数のウィンドウを表示させることが可能なマルチウィンドウ表示システムが用いられている。 First, the character string DB 3 and the activation state DB 5 are respectively created.
(1) Character string DB3
The screen capture unit 1 captures the contents of the screen displayed on the display unit 8 and sends the captured image data to the character recognition unit 2 (step S1). An example of the screen displayed on the display unit 8 is shown in FIG. In FIG. 5, a multi-window display system capable of displaying a plurality of windows on the display unit 8 is used.

マルチウィンドウ表示システムとは、例えば特許第3478172号公報に記載されているように、多数のウィンドウないし表示窓を表示画面上に同時に表示できるグラフィカル・ユーザ・インタフェースを用いた表示システムであり、異なる適用業務プログラムが表示画面に表示されているウィンドウの各々において、これらのプログラムを並行に実行する（あるいはユーザの入力を待つ）ことができるものである。また、単一の適用業務プログラムで、多数の異なるウィンドウを生成することもできる。   The multi-window display system is a display system using a graphical user interface that can simultaneously display a large number of windows or display windows on a display screen as described in, for example, Japanese Patent No. 3478172, and has different applications. In each of the windows in which the business programs are displayed on the display screen, these programs can be executed in parallel (or wait for user input). It is also possible to generate a number of different windows with a single application program.

文字認識部２は、キャプチャされた画像データから文字認識を行う（ステップＳ２）。図５に示す表示画面をキャプチャした場合を例として説明する。本実施形態では例として「ＡＡ」、「ＢＢ」という文字を文字認識の対象とする。文字認識部２は、各文字（若しくは文字列）を認識し、（ａ）認識した文字と、（ｂ）かかる文字の位置情報（表示画面のどの位置にあるか）と、（ｃ）該画像データのキャプチャ日時とを記憶部１０へ送る。なお、文字認識部２は、認識した文字列に対して形態素解析を行って名詞だけを記憶させることで、記憶部の容量や検索速度を改善するようにしても良い。   The character recognition unit 2 performs character recognition from the captured image data (step S2). The case where the display screen shown in FIG. 5 is captured will be described as an example. In the present embodiment, as an example, the characters “AA” and “BB” are targeted for character recognition. The character recognition unit 2 recognizes each character (or character string), (a) the recognized character, (b) position information of the character (in which position on the display screen), (c) the image The data capture date and time are sent to the storage unit 10. The character recognition unit 2 may improve the capacity and search speed of the storage unit by performing morphological analysis on the recognized character string and storing only the nouns.

本実施形態では、（Ｉ）認識文字：ＡＡ、表示位置情報：（xp1,yp1）〜（xp2,yp2）
、キャプチャ日時：2008/09/12 10:30、（ＩＩ）認識文字：ＢＢ、表示位置情報：（xp3,yp3）〜（xp4,yp4）、キャプチャ日時：2008/09/12 10:30、を記憶部１０へ送る。 In the present embodiment, (I) recognized character: AA, display position information: (x p1 , y p1 ) to (x p2 , y p2 )
, Capture date: 2008/09/12 10:30, (II) recognition character: BB, display position information: ( xp3 , yp3 ) to ( xp4 , yp4 ), capture date: 2008/09/12 10 : 30 is sent to the storage unit 10.

記憶部１０は、上記認識文字と、文字表示位置情報と、キャプチャ日時とを文字列ＤＢ３として記憶する（ステップＳ３）。文字列ＤＢ３に記憶する情報の一例を図２に示す。   The storage unit 10 stores the recognized character, character display position information, and capture date and time as a character string DB 3 (step S3). An example of information stored in the character string DB 3 is shown in FIG.

（２）起動状態ＤＢ５
応用プログラム起動状態監視部４は、応用プログラムの起動状態を監視し、どの応用プログラムがいつ起動しているかを把握する（ステップＳ４）。本実施形態では例として図５に示すように２つのウィンドウが表示されている。ウィンドウ１、ウィンドウ２は、異なる応用プログラムでも良いし、単一の応用プログラムで異なるファイルを展開していても良い。本実施形態では、ウィンドウ１がアプリ１と称する応用プログラム、ウィンドウ２がアプリ２と称する応用プログラムとする。 (2) Startup state DB5
The application program activation state monitoring unit 4 monitors the activation state of the application program and grasps which application program is activated and when (step S4). In this embodiment, two windows are displayed as an example as shown in FIG. Window 1 and window 2 may be different application programs, or different files may be developed by a single application program. In the present embodiment, it is assumed that window 1 is an application program called application 1 and window 2 is an application program called application 2.

応用プログラム起動状態監視部４による応用プログラムの起動状態の監視を一定時間毎に行う場合は、（ａ）監視した日時と、（ｂ）その時に起動している応用プログラムの種類と、（ｃ）該起動応用プログラムのウィンドウ表示位置情報と、（ｄ）該起動応用プログラムで実行されているファイル名若しくはＵＲＬ（Uniform Resource Locators）とを、記憶部１０に送る。ここで、ファイル名若しくはＵＲＬは一例であり、応用プログラムがアクセスしているデータを示す情報であれば良い。また、応用プログラム起動状態監視部４は、起動し、実行中の応用プログラムも監視する。   When the application program activation state monitoring unit 4 monitors the activation state of the application program at regular intervals, (a) the date and time of monitoring, (b) the type of application program activated at that time, and (c) The window display position information of the activation application program and (d) the file name or URL (Uniform Resource Locators) executed by the activation application program are sent to the storage unit 10. Here, the file name or URL is an example, and any information indicating data accessed by the application program may be used. The application program activation state monitoring unit 4 also monitors application programs that are activated and being executed.

図５に示す起動状態の場合は、（Ｉ）監視日時：2008/09/12 10:30、起動応用プログラ
ム：アプリ１、ウィンドウ表示位置情報：（xs1,ys1）〜（xs2,ys2）、ファイル名等：設計仕様書、（ＩＩ）監視日時：2008/09/12 10:30、起動応用プログラム：アプリ２、ウィ
ンドウ表示位置情報：（xs3,ys3）〜（xs4,ys4）、ファイル名等：製品仕様書、を記憶部１０へ送る。 In the activated state shown in FIG. 5, (I) monitoring date and time: 2008/09/12 10:30, activated application program: application 1, window display position information: (x s1 , y s1 ) to (x s2 , y s2 ), file name, etc .: design specification, (II) monitoring date and time: 2008/09/12 10:30, startup application program: application 2, window display position information: (x s3 , y s3 ) to (x s4 , y s4 ), file name, etc .: product specifications are sent to the storage unit 10.

記録部１０は、上記応用プログラム起動状態監視部４から送られた、監視日時、起動応用プログラムの種類、ウィンドウ表示位置、ファイル名等、を起動状態ＤＢとして記憶する（ステップＳ５）。起動状態ＤＢ５に記憶する情報の一例を図３に示す。   The recording unit 10 stores, as the activation state DB, the monitoring date and time, the type of activation application program, the window display position, the file name, and the like sent from the application program activation state monitoring unit 4 (step S5). An example of information stored in the activation state DB 5 is shown in FIG.

なお、一定時間後に再度起動状態を監視したところ、内容が同じであれば、図３の（ｂ）に示すように時間帯毎にまとめて記憶しても良い。かかる方法は、文字列ＤＢ３でも同様である。   Note that when the activation state is monitored again after a certain period of time, if the contents are the same, they may be stored together for each time zone as shown in FIG. This method is the same for the character string DB3.

ユーザにより、入力部７から検索キーワードを入力があった場合は（ステップＳ６／Ｙｅｓ）、検索を開始する。検索部６は、入力部７から入力された検索キーワードを含む文字（若しくは文字列）を、文字列ＤＢ３に記憶されている文字から検索する（ステップＳ７）。なお、検索キーワードの入力の際に、検索対象を絞るための条件（○月、○年〜○年、去年の夏頃等の日時条件や、応用プログラムの種類条件等）を入力することも可能である。   When the user inputs a search keyword from the input unit 7 (step S6 / Yes), the search is started. The search unit 6 searches the character (or character string) including the search keyword input from the input unit 7 from the characters stored in the character string DB 3 (step S7). When entering a search keyword, it is also possible to enter conditions for narrowing down the search target (such as date / time conditions such as XX month, XX year to XX year, summer of last year, application program type conditions, etc.) It is.

ステップＳ７の検索で、文字列ＤＢ３から検索キーワードを含む文字があった場合、該文字が抽出された画像データのキャプチャ日時と、該文字の文字表示位置に基づき、起動状態ＤＢ５から、該キャプチャ日時に、該文字の文字表示位置で起動していた応用プログラムを検索する（ステップＳ８）。これにより、どの応用プログラムがどのファイル（若しくはＵＲＬ）を実行していたかが分かり、検索キーワードから所望するファイルやＵＲＬが判明する。   If there is a character including the search keyword from the character string DB 3 in the search in step S7, the capture date / time is retrieved from the activation state DB 5 based on the capture date / time of the image data from which the character is extracted and the character display position of the character. Then, an application program that has been activated at the character display position of the character is searched (step S8). Thereby, it can be understood which application (or URL) was executed by which application program, and the desired file or URL is found from the search keyword.

上記実施形態は、キャプチャした画像データから文字認識を行なっているため、フルテキスト検索に対応していない特殊な応用プログラムであっても、一度表示部８の画面上に表示されたデータであれば、検索することができ、より利便性の高い検索が実現出来る。フルテキスト検索に対応していない特殊な応用プログラムとは、例えば閲覧していたウェブサイトやテレビ映像等であっても、画面表示をキャプチャすることで検索対象とすることが出来る。   In the above embodiment, since character recognition is performed from captured image data, even if it is a special application program that does not support full text search, as long as it is data once displayed on the screen of the display unit 8. , And a more convenient search can be realized. A special application program that does not support full text search can be used as a search target by capturing a screen display even if it is, for example, a website or TV image that has been browsed.

ウィンドウに表示されたのがインターネット上のウェブサイトであっても、画像キャプチャにより画像データを取得し、文字認識をするため、どこのサイトか思い出せなくとも、本実施形態に係る検索により、そのＵＲＬが判明する。   Even if a website on the Internet is displayed on the window, image data is acquired by image capture and character recognition is performed. Becomes clear.

さらに、膨大なページ数の電子文書であっても、実際に閲覧したのは一部分である場合も多く、フルテキスト検索ではかかる電子文書の全てを検索対象とするが、本実施形態に係る検索では一度画面上に表示されてキャプチャされた画像データから認識した文字が検索の対象となるため、効率的に検索対象を絞ることが出来る。   Furthermore, even if the electronic document has a huge number of pages, it is often the case that only a part of the document is actually browsed. In full text search, all such electronic documents are targeted for search. Since the character recognized from the image data once displayed on the screen and captured is searched, the search target can be narrowed down efficiently.

上記実施形態に係る検索による検索結果の出力例について以下説明する。検索結果の出力は、例えば表示部８に時系列順に示すことが考え得る。時系列順とは、表やカレンダー表示を用いて行っても良い（図６及び図７参照）。   An output example of the search result by the search according to the embodiment will be described below. It can be considered that the output of the search result is displayed on the display unit 8 in chronological order, for example. The chronological order may be performed using a table or calendar display (see FIGS. 6 and 7).

また、画面キャプチャ部１でキャプチャした画像データを記憶し、検索結果出力の際に、キャプチャした画像データを表示しても良い。その他、検索結果に挙がったファイル等が実行されていた際に実行されていた他のファイル等も参考として表示しても良い。   Further, the image data captured by the screen capture unit 1 may be stored, and the captured image data may be displayed when the search result is output. In addition, other files that were executed when the files listed in the search results were executed may be displayed for reference.

（実施形態２）
図８に示すように、複数のウィンドウが開かれて重なり合って表示されているオーバーラップウィンドウの場合は、認識した文字の位置が、ウィンドウが重なり合った位置になる場合もある。この場合、認識した文字の文字表示位置情報と、各ウィンドウの表示位置情報とだけでは、どちらのウィンドウに表示されているかが判別できない。従って、認識した文字が表示されている可能性のあるウィンドウであれば、いずれも候補として挙げるようにしても良い。 (Embodiment 2)
As shown in FIG. 8, in the case of an overlap window in which a plurality of windows are opened and displayed in an overlapping manner, the recognized character position may be a position where the windows overlap. In this case, it is not possible to determine which window is displayed based only on the character display position information of the recognized character and the display position information of each window. Therefore, any window in which a recognized character may be displayed may be listed as a candidate.

（実施形態３）
上記各実施形態では、画面をキャプチャしたキャプチャ画像データから文字を認識しているが、他の実施形態として、キーボード等からユーザが入力した文字を認識し、その入力位置情報を記憶することも可能である。これにより、検索対象が、ユーザが一度入力したファイル等に絞られ、効率良く検索することが出来る。 (Embodiment 3)
In each of the above embodiments, characters are recognized from the captured image data obtained by capturing the screen. However, as another embodiment, it is also possible to recognize characters input by the user from a keyboard and store the input position information. It is. As a result, the search target is narrowed down to files etc. once input by the user, and the search can be performed efficiently.

（実施形態４）
上記各実施形態では、認識した文字の表示位置情報や応用プログラムのウィンドウ表示位置情報を必須としているが、これらの位置情報は取得せず、文字を認識した日時と、応用プログラムが起動している日時とから、検索条件を満たす文字が認識された日時に起動していた応用プログラムやそのファイル名等を検索結果として列挙することも可能である。これにより、表示位置に関する情報が取得できない場合でも本発明に係る検索を行うことが出来る。 (Embodiment 4)
In each of the above embodiments, the display position information of the recognized character and the window display position information of the application program are essential, but such position information is not acquired, the date and time when the character is recognized, and the application program is activated. From the date and time, it is also possible to list application programs that have been started on the date and time when characters satisfying the search condition are recognized, the file names, and the like as search results. Thereby, even when the information regarding the display position cannot be acquired, the search according to the present invention can be performed.

（実施形態５）
上記各実施形態に係る検索装置の記憶部１０に記憶する各ＤＢを、ネットワークを介して接続する少なくとも１以上の他の装置が有する記憶部に置くこと特徴とする検索システムとしても良い。これにより、各ＤＢを記憶する記憶部の容量について特に制限されることはない。 (Embodiment 5)
It is good also as a search system characterized by putting each DB memorized by storage part 10 of a search device concerning each above-mentioned embodiment in a storage part which at least one or more other devices connected via a network have. Thereby, the capacity of the storage unit for storing each DB is not particularly limited.

なお、図４のフローチャートに示す処理や、上記各実施形態に係る処理について、ＣＰＵが実行するためのプログラムは本発明によるプログラムを構成する。このプログラムを記録する記録媒体としては、半導体記憶部や光学的及び／又は磁気的な記憶部等を用いることができる。このようなプログラム及び記録媒体を、前述した各実施形態とは異なる構成のシステム等で用い、そこのＣＰＵで上記プログラムを実行させることにより、本発明と実質的に同じ効果を得ることができる。   Note that the program executed by the CPU for the processing shown in the flowchart of FIG. 4 and the processing according to each of the above embodiments constitutes a program according to the present invention. As a recording medium for recording the program, a semiconductor storage unit, an optical and / or magnetic storage unit, or the like can be used. By using such a program and a recording medium in a system having a configuration different from that of each of the above-described embodiments and causing the CPU to execute the program, substantially the same effect as the present invention can be obtained.

以上、本発明を好適な実施形態に基づき具体的に説明したが、本発明は上記のものに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。   Although the present invention has been specifically described above based on the preferred embodiments, it is needless to say that the present invention is not limited to the above-described ones and can be variously modified without departing from the gist thereof.

本発明の実施形態に係る検索装置の機能ブロック図である。It is a functional block diagram of the search device which concerns on embodiment of this invention. 本発明の実施形態に係る文字列ＤＢ３が備えるデータの一例を示す図である。It is a figure which shows an example of the data with which character string DB3 which concerns on embodiment of this invention is provided. 本発明の実施形態に係る起動状態ＤＢ５が備えるデータの一例を示す図である。It is a figure which shows an example of the data with which starting state DB5 which concerns on embodiment of this invention is provided. 本発明の実施形態に係る検索装置の動作処理を示すフローチャートである。It is a flowchart which shows the operation processing of the search device which concerns on embodiment of this invention. 本発明の実施形態に係る表示部８に表示される画面の一例を示す図である。It is a figure which shows an example of the screen displayed on the display part 8 which concerns on embodiment of this invention. 本発明の実施形態に係る検索結果の出力の一例を示す図である。It is a figure which shows an example of the output of the search result which concerns on embodiment of this invention. 本発明の実施形態に係る検索結果の出力の一例を示す図である。It is a figure which shows an example of the output of the search result which concerns on embodiment of this invention. 本発明の他の実施形態に係る表示部８に表示される画面の一例を示す図である。It is a figure which shows an example of the screen displayed on the display part 8 which concerns on other embodiment of this invention.

符号の説明Explanation of symbols

１ 画面キャプチャ部
２ 文字認識部
３ 文字列ＤＢ（Database）
４ 応用プログラム起動状態監視部
５ 起動状態ＤＢ
６ 検索部
７ 入力部
８ 表示部 1 Screen capture part 2 Character recognition part 3 Character string DB (Database)
4 Application program startup status monitoring unit 5 Startup status DB
6 Search part 7 Input part 8 Display part

Claims (8)

表示部に表示された画面をキャプチャして画像データを取得する画像データ取得手段と、
前記画像データ取得手段によって取得した画像データから文字を認識する文字認識手段
と、
前記認識した文字と、前記画像データがキャプチャされた日時と、前記認識した文字の前記画像データにおける文字表示位置情報とを記憶する第一の記憶手段と、
応用プログラムの起動状態を監視する起動状態監視手段と、
前記起動状態監視手段によって取得された、起動している応用プログラムの種類と、起
動日時と、前記起動している応用プログラムがアクセスしていたデータと、前記起動して
いる応用プログラムのウィンドウ表示位置情報とを記憶する第二の記憶手段と、
ユーザが、少なくとも検索キーワードを含む検索条件を入力するために用いる入力手段
と、
前記入力手段から入力された検索条件を満たす文字を、前記第一の記憶手段に記憶され
ている文字から検索し、前記検索条件を満たす文字が抽出された画像データのキャプチャ
日時と、前記検索条件を満たす文字の文字表示位置情報とに基づき、前記第二の記憶手段
から、前記キャプチャ日時に前記検索条件を満たす文字の文字表示位置で起動していた応
用プログラムを検索し、さらに、該当する応用プログラムがアクセスしていたデータを検
索する検索手段と、を備えることを特徴とする検索装置。 Image data acquisition means for acquiring the image data by capturing the screen displayed on the display unit;
Character recognition means for recognizing characters from the image data acquired by the image data acquisition means;
First storage means for storing the recognized character, the date and time when the image data was captured, and character display position information in the image data of the recognized character;
An activation state monitoring means for monitoring the activation state of the application program;
The type of application program being activated, the date and time of activation, the data accessed by the activated application program, and the window display position of the activated application program acquired by the activation state monitoring means Second storage means for storing information;
An input means used by a user to input a search condition including at least a search keyword;
A character that satisfies the search condition input from the input means is searched from the characters stored in the first storage means, and the capture date and time of image data from which the character satisfying the search condition is extracted, and the search condition Based on the character display position information of the characters satisfying the condition, the application program that was activated at the character display position of the characters satisfying the search condition at the capture date and time is searched from the second storage means, and the corresponding application And a search means for searching for data accessed by the program. 前記第一の記憶手段は、前記キャプチャした画像データを記憶し、前記検索手段による
検索結果として、前記検索条件を満たす文字が抽出された画像データを表示する検索結果
表示手段を備えることを特徴とする請求項１記載の検索装置。 The first storage means includes search result display means for storing the captured image data and displaying image data from which characters satisfying the search condition are extracted as a search result by the search means. The search device according to claim 1. 請求項１から２のいずれか１項記載の検索装置を備えることを特徴とする情報処理装置。   An information processing apparatus comprising the search device according to claim 1. 表示部に表示された画面をキャプチャして画像データを取得するステップと、
前記取得した画像データから文字を認識するステップと、
前記認識した文字と、前記画像データがキャプチャされた日時と、前記認識した文字の
前記画像データにおける文字表示位置情報とを第一の記憶部に記憶するステップと、
応用プログラムの起動状態を監視するステップと、
前記起動状態を監視するステップによって取得された、起動している応用プログラムの
種類と、起動日時と、前記起動している応用プログラムがアクセスしていたデータと、前
記起動している応用プログラムのウィンドウ表示位置情報とを第二の記憶部に記憶するス
テップと、
少なくとも検索キーワードを含む検索条件の入力を受け付けるステップと、
前記入力された検索条件を満たす文字を、前記第一の記憶部に記憶されている文字から
検索し、前記検索条件を満たす文字が抽出された画像データのキャプチャ日時と、前記検
索条件を満たす文字の文字表示位置情報とに基づき、前記第二の記憶部から、前記キャプ
チャ日時に前記検索条件を満たす文字の文字表示位置で起動していた応用プログラムを検
索し、さらに、該当する応用プログラムがアクセスしていたデータを検索するステップと、を備えることを特徴とする検索方法。 Capturing a screen displayed on the display unit to acquire image data;
Recognizing characters from the acquired image data;
Storing the recognized character, the date and time when the image data was captured, and the character display position information in the image data of the recognized character in a first storage unit;
A step of monitoring the activation state of the application program;
The type of the activated application program, the activation date and time, the data accessed by the activated application program, and the window of the activated application program acquired by the step of monitoring the activated state Storing the display position information in the second storage unit;
Receiving an input of a search condition including at least a search keyword;
Characters that satisfy the input search condition are searched from the characters stored in the first storage unit, and the capture date and time of image data from which the characters satisfying the search condition are extracted, and the characters that satisfy the search condition Based on the character display position information, the application program that was activated at the character display position of the character satisfying the search condition at the capture date and time is searched from the second storage unit, and the corresponding application program is accessed. And a step of searching for the data that has been processed. 表示部に表示された画面をキャプチャして画像データを取得する処理と、
前記取得した画像データから文字を認識する処理と、
前記認識した文字と、前記画像データがキャプチャされた日時と、前記認識した文字前
記画像データにおける文字表示位置情報とを第一の記憶部に記憶する処理と、
応用プログラムの起動状態を監視する処理と、
前記起動状態を監視する処理によって取得された、起動している応用プログラムの種類
と、起動日時と、前記起動している応用プログラムがアクセスしていたデータと、前記起
動している応用プログラムのウィンドウ表示位置情報とを第二の記憶部に記憶する処理と、
少なくとも検索キーワードを含む検索条件の入力を受け付ける処理と、
前記入力された検索条件を満たす文字を、前記第一の記憶部に記憶されている文字から
検索し、前記検索条件を満たす文字が抽出された画像データのキャプチャ日時と、前記検
索条件を満たす文字の文字表示位置情報とに基づき、前記第二の記憶部から、前記キャプ
チャ日時に前記検索条件を満たす文字の文字表示位置で起動していた応用プログラムを検
索し、さらに、該当する応用プログラムがアクセスしていたデータを検索する処理と、を
コンピュータに実行させることを特徴とする検索プログラム。 Processing to capture the screen displayed on the display unit and acquire image data;
Processing for recognizing characters from the acquired image data;
Processing for storing the recognized character, the date and time when the image data was captured, and the character display position information in the recognized character image data in a first storage unit;
A process for monitoring the activation state of the application program;
The type of activated application program, the activation date and time, the data accessed by the activated application program, and the window of the activated application program acquired by the process for monitoring the activation state Processing for storing the display position information in the second storage unit;
Processing to accept input of search conditions including at least a search keyword,
Characters satisfying the input search condition are searched from characters stored in the first storage unit, and the capture date and time of image data from which the characters satisfying the search condition are extracted, and the characters satisfying the search condition Based on the character display position information, the application program that was activated at the character display position of the character satisfying the search condition at the capture date and time is searched from the second storage unit, and the corresponding application program is accessed. A search program characterized by causing a computer to execute processing for searching for data that has been performed. 請求項５記載の検索プログラムを記録するコンピュータ読取り可能な記録媒体。 A computer-readable recording medium for recording the search program according to claim 5. 画面をキャプチャして画像データを取得する画像データ取得手段と、
前記画像データ取得手段によって取得した画像データから文字列を認識する文字認識手
段と、
前記認識した文字列を示す情報と、前記画像データがキャプチャされた日時と、前記認
識した文字列の前記画像データにおける文字表示位置情報と、を記憶する第一の記憶手段
と、
応用プログラムの実行状態を監視する実行状態監視手段と、
前記実行状態監視手段によって取得された、実行している応用プログラムの情報と、実
行日時と、前記実行している応用プログラムのアクセス先のデータを示す情報と、前記実
行している応用プログラムのウィンドウ表示位置情報とを記憶する第二の記憶手段と、
ユーザによって入力された少なくとも検索キーワードを含む検索条件を満たす文字列を
、前記第一の記憶手段に記憶されている文字列を示す情報から検索し、前記検索条件を満
たす文字列が抽出された画像データのキャプチャ日時と、前記検索条件を満たす文字の文
字表示位置情報とに基づき、前記第二の記憶手段から、前記キャプチャ日時に前記検索条
件を満たす文字の文字表示位置で実行していた応用プログラムと、該当する応用プログラ
ムがアクセスしていたデータとを検索する検索手段と、を備えることを特徴とする情報処
理装置。 Image data acquisition means for capturing a screen and acquiring image data;
Character recognition means for recognizing a character string from the image data acquired by the image data acquisition means;
First storage means for storing information indicating the recognized character string, date and time when the image data was captured, and character display position information in the image data of the recognized character string;
Execution state monitoring means for monitoring the execution state of the application program;
Information about the application program being executed, execution date and time, information indicating access destination data of the application program being executed, and a window of the application program being executed, acquired by the execution state monitoring means Second storage means for storing display position information;
An image in which a character string satisfying the search condition including at least the search keyword input by the user is searched from information indicating the character string stored in the first storage unit, and the character string satisfying the search condition is extracted. Based on the data capture date and the character display position information of the character satisfying the search condition, the application program executed from the second storage means at the character display position of the character satisfying the search condition at the capture date and time And a search means for searching for data accessed by the corresponding application program. 前記応用プログラムのアクセス先のデータは、前記実行している応用プログラムがアク
セスしていたファイル若しくはＵＲＬであることを特徴とする請求項７に記載の情報処理
装置。
以上 8. The information processing apparatus according to claim 7, wherein the access destination data of the application program is a file or a URL accessed by the application program being executed.
that's all
JP2008251779A 2008-09-29 2008-09-29 SEARCH DEVICE, INFORMATION PROCESSING DEVICE, SEARCH METHOD, PROGRAM, AND RECORDING MEDIUM Expired - Fee Related JP5287099B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008251779A JP5287099B2 (en) 2008-09-29 2008-09-29 SEARCH DEVICE, INFORMATION PROCESSING DEVICE, SEARCH METHOD, PROGRAM, AND RECORDING MEDIUM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008251779A JP5287099B2 (en) 2008-09-29 2008-09-29 SEARCH DEVICE, INFORMATION PROCESSING DEVICE, SEARCH METHOD, PROGRAM, AND RECORDING MEDIUM

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013111896A Division JP5585686B2 (en) 2013-05-28 2013-05-28 SEARCH DEVICE, SEARCH METHOD, AND SEARCH PROGRAM

Publications (2)

Publication Number Publication Date
JP2010086075A JP2010086075A (en) 2010-04-15
JP5287099B2 true JP5287099B2 (en) 2013-09-11

Family

ID=42250014

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008251779A Expired - Fee Related JP5287099B2 (en) 2008-09-29 2008-09-29 SEARCH DEVICE, INFORMATION PROCESSING DEVICE, SEARCH METHOD, PROGRAM, AND RECORDING MEDIUM

Country Status (1)

Country Link
JP (1) JP5287099B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104182406A (en) * 2013-05-23 2014-12-03 北京千橡网景科技发展有限公司 Electronic business card creating method, electronic business card retrieval method and relevant system
RU2598988C2 (en) * 2013-08-07 2016-10-10 Фиизер Инк. Methods and systems for searching for application software
JP6565287B2 (en) * 2015-04-10 2019-08-28 富士通株式会社 Display position acquisition program, display position acquisition device, and display position acquisition method
KR102350111B1 (en) * 2021-04-02 2022-01-12 (주)광개토연구소 Method for issuing combined web page including both at least one specific identification phrase and at least one locator capable of allowing at least one docking result data corresponding to the specific identification phrase to be accessed and server using the same

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000207263A (en) * 1998-11-12 2000-07-28 Sony Corp Processor and method for information processing and providing medium
JP2006171851A (en) * 2004-12-13 2006-06-29 Nec Corp Document file analysis system, document file analysis method, and program
JP4906072B2 (en) * 2006-05-01 2012-03-28 キヤノン株式会社 Information processing apparatus and information processing method

Also Published As

Publication number Publication date
JP2010086075A (en) 2010-04-15

Similar Documents

Publication Publication Date Title
US9195754B2 (en) Expansion of search result information
KR101335400B1 (en) Identifying comments to show in connection with a document
US8195634B2 (en) Domain-aware snippets for search results
KR101130420B1 (en) System and method for a unified and blended search
US8554768B2 (en) Automatically showing additional relevant search results based on user feedback
US7715625B2 (en) Image processing device, image processing method, and storage medium storing program therefor
US10366154B2 (en) Information processing device, information processing method, and computer program product
US8880536B1 (en) Providing book information in response to queries
JP5989170B2 (en) Search result ranking apparatus and method using reliability of representative
JP2004220215A (en) Operation guide and support system and operation guide and support method using computer
JP5287099B2 (en) SEARCH DEVICE, INFORMATION PROCESSING DEVICE, SEARCH METHOD, PROGRAM, AND RECORDING MEDIUM
TWI457775B (en) Method for sorting and managing websites and electronic device of executing the same
JP6586177B2 (en) Cumulative search processing method and apparatus, terminal, and storage medium
JP2007140603A (en) Early adapter extraction method and device and program and topic word prediction method and device and program
CN106919593B (en) Searching method and device
JP2008310514A (en) User operation history acquisition display device, user operation history acquisition display method, user operation history acquisition display program and recording medium recording that program
JP5814089B2 (en) Information display control device, information display control method, and program
JP6157965B2 (en) Electronic device, method, and program
JP2012159917A (en) Document management system, document management method and program
JP2007272465A (en) Schedule management device, document presentation method for schedule management device, and schedule management program
JP5585686B2 (en) SEARCH DEVICE, SEARCH METHOD, AND SEARCH PROGRAM
JP2006309509A (en) Browsing screen reusing device, browsing screen reusing program, and storage medium
US20130304720A1 (en) Methods and Apparatus for Presenting Search Results with Indication of Relative Position of Search Terms
JP5127553B2 (en) Information processing apparatus, information processing method, program, and recording medium
CN108038221B (en) Information capturing method and device

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20110511

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110815

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20110920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121211

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130312

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130408

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130520

LAPS Cancellation because of no payment of annual fees