JP5246496B2 - calculator - Google Patents
calculator Download PDFInfo
- Publication number
- JP5246496B2 JP5246496B2 JP2008312265A JP2008312265A JP5246496B2 JP 5246496 B2 JP5246496 B2 JP 5246496B2 JP 2008312265 A JP2008312265 A JP 2008312265A JP 2008312265 A JP2008312265 A JP 2008312265A JP 5246496 B2 JP5246496 B2 JP 5246496B2
- Authority
- JP
- Japan
- Prior art keywords
- stroke
- time
- blocking
- pen
- computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
本発明は、計算機に関し、特に、作業者による作業の中断を検出する技術に関する。 The present invention relates to a computer, and more particularly to a technique for detecting interruption of work by an operator.
作業者が作業をするとき、ふと集中力が途切れて、作業が中断する現象がある。この現象は、心理学分野では、ブロッキングといわれる。人間の集中力を調べるために多数の方法が提案されている。これらは、主に集中度の高さを観察する方法であり、集中力の散漫を捕捉する方法については存在しなかった。 When an operator works, there is a phenomenon that the concentration is suddenly interrupted and the operation is interrupted. This phenomenon is called blocking in the psychological field. A number of methods have been proposed for examining human concentration. These are mainly methods for observing the high degree of concentration, and there was no method for capturing the distraction of concentration.
例えば、内田・クレペリン検査が採用試験や性格検査に用いられており、検査の結果を効率的に評価する技術が提案されている。例えば、特許文献１には、画像処理によってクレペリン検査の判定を自動化する技術が開示されている。また、特許文献２には、細かい単位時間で処理能力の時間推移を判定する技術が開示されている。また、特許文献３には、刺激に対する反応時間を測定することによって、反応能力と作業能力を区別する技術が開示されている。 For example, the Uchida-Kraepelin test is used for recruitment tests and personality tests, and a technique for efficiently evaluating the test results has been proposed. For example, Patent Document 1 discloses a technique for automating the determination of a Kraepelin test by image processing. Patent Document 2 discloses a technique for determining a temporal transition of processing capacity in a fine unit time. Patent Document 3 discloses a technique for distinguishing between reaction ability and work ability by measuring a reaction time with respect to a stimulus.
また、被験者の筆記履歴を取得する技術として、特許文献４には、デジタルペンによって取得された時間情報を利用して採点をする技術が開示されている。
前述した内田・クレペリン検査について、検査中の被験者のブロッキングを適切に検出しないと、検査結果を適切に評価することが困難である。被験者は、検査時間中に集中力を継続することが求められる。 For the Uchida-Kraepelin test described above, it is difficult to properly evaluate the test result unless the blocking of the subject under test is properly detected. The subject is required to continue concentration during the examination time.
内田・クレペリン検査の結果の適切なパターンは広く知られている。このため、被験者が検査中に作業を中断して、適切なパターンに近づけることがある。このため、内田・クレペリン検査中の作業の中断（集中力の途切れ）を検出し、検査の結果を正確に判定することが求められている。しかし、前述した内田・クレペリン検査を効率的に解析する技術は、いずれも検査中の被験者のブロッキングを検出することを目的とするものではない。 The appropriate pattern of Uchida-Kraepelin test results is widely known. For this reason, a test subject may interrupt work during an examination and may approach an appropriate pattern. For this reason, it is required to detect the interruption of work (discontinuation of concentration) during the Uchida-Kraepelin inspection and accurately determine the result of the inspection. However, none of the techniques for efficiently analyzing the Uchida-Kraepelin test described above is intended to detect blocking of the subject under test.
本発明は、デジタルペンによって取得したストローク情報を用い、筆記作業中のブロッキングの発生を捕捉することを目的とする。 An object of the present invention is to capture occurrence of blocking during a writing operation using stroke information acquired by a digital pen.
本発明の代表的な一例を示せば以下の通りである。すなわち、作業者によって記入されたストロークを取得する座標取得装置に接続され、前記座標取得装置によって取得されたストロークを解析する計算機であって、プログラムを実行するプロセッサと、前記プロセッサによって実行されるプログラムを格納するメモリと、前記ストロークの情報を前記座標取得装置から取得するインターフェースとを備え、前記座標取得装置によって取得された複数のストロークに基づいて、前記作業者による作業が中断しているブロッキングを判定し、前記作業者によって記入された結果と、前記ブロッキングの判定結果を重畳して表示するためのデータを生成する。 A typical example of the present invention is as follows. That is, a computer that is connected to a coordinate acquisition device that acquires a stroke written by an operator and analyzes the stroke acquired by the coordinate acquisition device, a processor that executes the program, and a program that is executed by the processor And an interface for acquiring the stroke information from the coordinate acquisition device, and blocking the operation by the operator is interrupted based on a plurality of strokes acquired by the coordinate acquisition device. Determination is made, and data for displaying the result entered by the operator and the blocking determination result in an overlapping manner is generated.
本発明の実施の形態によると、作業中のブロッキングの発生を捕捉することによって、被験者による意図的な作業の中断を発見することができる。 According to an embodiment of the present invention, intentional interruption of work by a subject can be found by capturing the occurrence of blocking during work.
まず、本発明の実施の形態の概要について説明する。 First, an outline of an embodiment of the present invention will be described.
本実施の形態の計算機は、用紙内のレイアウト及び用紙内に記入されたストロークの位置に基づいて記入時のペンの接触時間及び間隔時間を計算し、計算された時間を標準的な時間と比較することによって、ブロッキング状態を捕捉する。このため、本実施の形態の計算機は、デジタルペンからストロークデータを取得するデジタルペン接続装置、ストロークデータから記入された文字を認識する文字認識部、ブロッキングを判定する演算部を備える。 The computer according to the present embodiment calculates the contact time and interval time of the pen at the time of writing based on the layout in the paper and the position of the stroke written in the paper, and compares the calculated time with the standard time. By doing so, the blocking state is captured. For this reason, the computer according to the present embodiment includes a digital pen connection device that acquires stroke data from a digital pen, a character recognition unit that recognizes characters entered from the stroke data, and a calculation unit that determines blocking.
図１は、本発明の実施の形態の計算機の論理的な構成を示すブロック図である。 FIG. 1 is a block diagram showing a logical configuration of a computer according to the embodiment of this invention.
本実施の形態の計算機は、デジタルペン接続装置１０１、演算部１０２、文字認識部１０３、記憶装置１０４及び出力装置１０７を備え、これらは、図２に示すように、一つの物理計算機（クライアント計算機１１０）に実装される。 The computer according to the present embodiment includes a digital pen connection device 101, a calculation unit 102, a character recognition unit 103, a storage device 104, and an output device 107. These computers include one physical computer (client computer) as shown in FIG. 110).
デジタルペン接続装置１０１は、デジタルペン接続装置１０１に接続されたデジタルペン１５０から情報を収集する。 The digital pen connection device 101 collects information from the digital pen 150 connected to the digital pen connection device 101.
演算部１０２は、プロセッサ及びメモリを備え、プロセッサがメモリに記憶されたプログラムを実行することによって、各種処理を行う。 The calculation unit 102 includes a processor and a memory, and performs various types of processing when the processor executes a program stored in the memory.
文字認識部１０３は、文字認識データベースを用いて、デジタルペン１５０によって取得されたストロークを文字として認識する。この文字認識には、既存の文字認識エンジンを用いることができる。 The character recognition unit 103 recognizes a stroke acquired by the digital pen 150 as a character using a character recognition database. For this character recognition, an existing character recognition engine can be used.
記憶装置１０４は、磁気ディスク装置等の不揮発性記憶装置によって構成され、出現頻度データ１０５、標準時間データベース１０６及び原稿用紙データ１０８を格納する。出現頻度データ１０５は、作業上出現しやすいストロークの情報を含む。具体的には、作業者によって記入される頻度が多い（又は、少ない）文字に関するデータ、作業の種類によって、を含む。例えば、内田・クレペリン検査では、被験者は数字を記入するので、作業上出現しやすいストロークは数字である。 The storage device 104 is configured by a non-volatile storage device such as a magnetic disk device, and stores appearance frequency data 105, a standard time database 106, and manuscript paper data 108. The appearance frequency data 105 includes information on strokes that are likely to appear during work. Specifically, it includes data relating to characters that are frequently (or few) written by the operator, and depending on the type of work. For example, in the Uchida-Kraepelin test, the subject enters a number, so the stroke that appears easily in the work is a number.
標準時間データベース１０６は、文字を記入するために必要な時間の情報を含む。具体的には、文字毎に、１画のストロークの記入に必要な時間及びストローク間のペン先の移動に必要な時間のデータを含む。原稿用紙データ１０８は、利用者が作業する用紙の情報を含む。例えば、このシステムによって内田・クレペリン検査の結果を解析する場合、内田・クレペリン検査の問題用紙である。 The standard time database 106 includes information on the time required for entering characters. Specifically, for each character, data on the time required to fill one stroke and the time required to move the pen tip between strokes is included. The original paper data 108 includes information on the paper on which the user works. For example, when analyzing the results of the Uchida-Kraepelin test by this system, it is a problem sheet for the Uchida-Kraepelin test.
出力装置１０７は、ディスプレイ、プリンタ等であって、本計算機による処理結果を出力する。なお、出力装置の代わりに記憶装置を設け、記憶装置に処理結果を格納してもよい。 The output device 107 is a display, a printer, or the like, and outputs a processing result by the computer. A storage device may be provided instead of the output device, and the processing result may be stored in the storage device.
図３は、本発明の実施の形態の計算機の別な構成を示すブロック図である。 FIG. 3 is a block diagram showing another configuration of the computer according to the embodiment of this invention.
図３に示す計算機は、図１に示した計算機と同様に、デジタルペン接続装置１０１、出力装置１０７を備える。また、本実施の形態の計算機は、クライアント計算機１２１、１２２及びサーバ１２３を含む計算機群によって構成される計算機システムである。クライアント計算機１２１は、デジタルペン接続装置１０１を備える。クライアント計算機１２２は、出力装置１０７を備える。サーバ１２３は、演算部１０２、文字認識部１０３及び記憶装置１０４を備える。 The computer shown in FIG. 3 includes a digital pen connection device 101 and an output device 107 in the same manner as the computer shown in FIG. The computer according to the present embodiment is a computer system configured by a computer group including client computers 121 and 122 and a server 123. The client computer 121 includes a digital pen connection device 101. The client computer 122 includes an output device 107. The server 123 includes a calculation unit 102, a character recognition unit 103, and a storage device 104.
クライアント計算機１２１、１２２は、各々、プロセッサ、メモリ及びサーバ１２３と接続されるインターフェースを備え、プロセッサがメモリに記憶されたプログラムを実行することによって、各種処理を行う。サーバ１２３は、プロセッサ、メモリ及びクライアント計算機１２１、１２２と接続されるインターフェースを備え、プロセッサがメモリに記憶されたプログラムを実行することによって、各種処理を行う。すなわち、図３に示す計算機システムでは、サーバ１２３は、クライアント計算機１２１と接続されるインターフェースを介して、デジタルペン１５０から情報を収集する。 Each of the client computers 121 and 122 includes an interface connected to the processor, the memory, and the server 123, and the processor performs various processes by executing a program stored in the memory. The server 123 includes an interface connected to the processor, the memory, and the client computers 121 and 122, and the processor 123 performs various processes by executing a program stored in the memory. That is, in the computer system shown in FIG. 3, the server 123 collects information from the digital pen 150 via an interface connected to the client computer 121.
デジタルペン接続装置１０１、演算部１０２、文字認識部１０３、記憶装置１０４及び出力装置１０７の構成は、図１を用いて説明した例と同じである。 The configurations of the digital pen connection device 101, the calculation unit 102, the character recognition unit 103, the storage device 104, and the output device 107 are the same as those described with reference to FIG.
クライアント計算機１２１は、デジタルペン接続装置１０１を備え、デジタルペン１５０から収集された情報をサーバ１２３に送る。サーバ１２３は、演算部１０２、文字認識部１０３及び記憶装置１０４を備え、演算部１０２のプロセッサがメモリに記憶されたプログラムを実行することによって、各種処理を行う。クライアント計算機１２２は、出力装置１０７を備え、サーバ１２３による処理結果を出力する。 The client computer 121 includes a digital pen connection device 101 and sends information collected from the digital pen 150 to the server 123. The server 123 includes a calculation unit 102, a character recognition unit 103, and a storage device 104. The processor of the calculation unit 102 performs various processes by executing a program stored in the memory. The client computer 122 includes an output device 107 and outputs a processing result by the server 123.
ここで、デジタルペンに１５０によるストローク情報の取得の原理について説明する。 Here, the principle of acquiring stroke information with the digital pen 150 will be described.
図４は、本発明の実施の形態のデジタルペン１５０による紙面上の座標取得の説明図である。 FIG. 4 is an explanatory diagram of coordinate acquisition on the paper surface by the digital pen 150 according to the embodiment of this invention.
デジタルペン１５０は、ＣＰＵ、メモリ、通信インターフェース、カメラ１５１、電池及び筆圧センサを備える。また、デジタルペン１５０は、インク又は黒鉛によって紙面上に文字、記号等を筆記可能なペン先を備える。 The digital pen 150 includes a CPU, a memory, a communication interface, a camera 151, a battery, and a pen pressure sensor. The digital pen 150 includes a pen tip that can write characters, symbols, and the like on paper with ink or graphite.
デジタルペン１５０は、位置検出用のドット２０３が印刷された用紙２０と共に用いられる。ここで、用紙２０の一部２０１を拡大して、ドット２０３について説明する。用紙２０には、複数の小さなドット２０３が印刷されている。このドット２０３は、仮想的な格子線の交点（基準点）２０２から上下左右にずれた位置に印刷されている。 The digital pen 150 is used together with the paper 20 on which dots 203 for position detection are printed. Here, a part 201 of the paper 20 is enlarged and the dots 203 will be described. A plurality of small dots 203 are printed on the paper 20. The dots 203 are printed at positions shifted vertically and horizontally from the intersection (reference point) 202 of virtual grid lines.
紙に文字、図形がデジタルペン１５０で記入されると、記入された文字等は紙に視認可能に残る。デジタルペン１５０は、筆圧センサによってペン先が紙に接したことを検出すると、カメラ１５１によって紙上に印刷されたドット２０３を撮影する。デジタルペン１５０は、例えば、６×６個のドット２０３を含む領域を撮影する。 When characters and figures are entered on the paper with the digital pen 150, the entered characters remain visible on the paper. When the digital pen 150 detects that the pen tip is in contact with the paper by the writing pressure sensor, the digital pen 150 captures the dot 203 printed on the paper by the camera 151. For example, the digital pen 150 captures an area including 6 × 6 dots 203.
デジタルペン１５０は、撮影したドットパターンのズレ量から、当該ドットパターンが存在する絶対座標を演算する。この絶対座標は、広大な平面領域における当該ドットパターンが存在する座標である。この広大な平面領域は、同じドットパターンが重複して存在しないように配置できる全領域である。 The digital pen 150 calculates absolute coordinates where the dot pattern exists from the amount of deviation of the captured dot pattern. This absolute coordinate is a coordinate where the dot pattern exists in a vast plane area. This vast plane area is an entire area that can be arranged so that the same dot pattern does not overlap.
デジタルペン１５０は、演算された絶対座標を、デジタルペン接続装置１０１を介して、サーバ１２３（又は、クライアント計算機１１０）に送信する。サーバ１２３は、デジタルペン１５０によって演算された絶対座標を位置情報サーバ（図示省略）に送信する。位置情報サーバは、サーバ１２３から送信された絶対座標に基づいて、前記広大な平面領域中の該紙面の位置（ドットパーターンＩＤ）と、ある一枚の紙面における座標（相対座標）とを特定し、特定したドットパターンＩＤ及び相対座標をサーバ１２３に送信する。 The digital pen 150 transmits the calculated absolute coordinates to the server 123 (or the client computer 110) via the digital pen connection device 101. The server 123 transmits the absolute coordinates calculated by the digital pen 150 to a position information server (not shown). Based on the absolute coordinates transmitted from the server 123, the position information server specifies the position (dot pattern ID) of the paper surface in the vast plane area and the coordinates (relative coordinates) on a certain paper surface. The identified dot pattern ID and relative coordinates are transmitted to the server 123.
このようにして、サーバ１２３は、デジタルペン１５０が撮影したドットパターンから、ドットパターンＩＤ及び相対座標を取得する。 In this way, the server 123 acquires the dot pattern ID and the relative coordinates from the dot pattern captured by the digital pen 150.
デジタルペン１５０が、ペン先が接した位置の情報を周期的（例えば、一定時間毎）に取得することによって、ペン先の動きが分かる。そして、デジタルペン１５０は、撮影したドットパターンに対応する絶対座標、当該ドットパターンの撮影時刻及びペンＩＤをクライアント計算機１２１に送信する。 The digital pen 150 can acquire the information of the position where the pen tip is in contact periodically (for example, every predetermined time), thereby knowing the movement of the pen tip. Then, the digital pen 150 transmits the absolute coordinates corresponding to the photographed dot pattern, the photographing time of the dot pattern, and the pen ID to the client computer 121.
クライアント計算機１２１は、デジタルペン１５０によって演算された絶対座標に基づいて、位置情報サーバから相対座標を取得する。サーバ１２３は、取得した相対座標及びドットパターンが撮影された時刻から、ペン先の軌跡（ストローク情報）を生成する。 The client computer 121 acquires relative coordinates from the position information server based on the absolute coordinates calculated by the digital pen 150. The server 123 generates a locus (stroke information) of the pen tip from the acquired relative coordinates and the time when the dot pattern was captured.
なお、位置情報サーバを別に設けることなく、サーバ１２３に含めてもよい。 In addition, you may include in the server 123, without providing a positional information server separately.
また、デジタルペン１５０は、ドットパターンＩＤ及び相対座標を特定するために、位置情報サーバを用いなくてもよい。例えば、紙に印刷された識別番号、紙に印刷されたバーコード、又は、紙に埋め込まれたＩＣタグによって用紙を特定してもよい。さらに、タブレットを用いて用紙上の位置（相対座標）を特定することができる。なお、ＩＣタグ等を用いる用紙の特定又はタブレットを用いる用紙上の位置の特定のいずれかと、位置情報サーバによる絶対座標の特定を組み合わせてもよい。このようにすると、書類管理システムがドットパターンＩＤ及び相対座標を特定する処理を軽減できる。 Further, the digital pen 150 may not use the position information server in order to specify the dot pattern ID and the relative coordinates. For example, the paper may be specified by an identification number printed on paper, a barcode printed on paper, or an IC tag embedded in paper. Furthermore, the position (relative coordinates) on the paper can be specified using a tablet. Note that either the specification of the paper using the IC tag or the like or the specification of the position on the paper using the tablet may be combined with the specification of the absolute coordinates by the position information server. In this way, the document management system can reduce the process of specifying the dot pattern ID and relative coordinates.
図５は、本発明の実施の形態のストロークセット２６の一例を示す。 FIG. 5 shows an example of the stroke set 26 according to the embodiment of this invention.
ストロークセット２６は、デジタルペン１５０によって記入された文字「東京」を示す。本実施の形態では、図に示すように、用紙の左上を原点とし、横方向をＸ軸とし、縦方向をＹ軸として、ストロークの位置が定められる。 The stroke set 26 indicates the characters “Tokyo” entered with the digital pen 150. In the present embodiment, as shown in the figure, the position of the stroke is determined with the upper left corner of the paper as the origin, the horizontal direction as the X axis, and the vertical direction as the Y axis.
前述したように、ストロークセットは、一纏まりの線（ストローク）の集合であり、線が記入された時間及び／又は線同士の位置関係に基づいて特定される。 As described above, the stroke set is a set of a group of lines (strokes), and is specified based on the time when the lines are written and / or the positional relationship between the lines.
図６は、本発明の実施の形態のストローク情報２３のうちストロークセット情報２４の構成図である。図６には、図５に示すストロークセット２６のストロークセット情報を示す。 FIG. 6 is a configuration diagram of the stroke set information 24 in the stroke information 23 according to the embodiment of this invention. FIG. 6 shows stroke set information of the stroke set 26 shown in FIG.
ストロークセット情報２４は、ストロークセットＩＤ２４１、ペンＩＤ２４２、記入開始日時２４３、該当矩形座標２４４、ストローク数２４５及びストローク情報２４６を含む。 The stroke set information 24 includes a stroke set ID 241, a pen ID 242, an entry start date / time 243, a corresponding rectangular coordinate 244, the number of strokes 245, and stroke information 246.
ストロークセットＩＤ２４１は、当該ストロークセットの一意な識別子である。ペンＩＤ２４２は、当該ストロークセットを記入したデジタルペン１５０の一意な識別子である。 The stroke set ID 241 is a unique identifier of the stroke set. The pen ID 242 is a unique identifier of the digital pen 150 in which the stroke set is written.
記入開始日時２４３は、当該ストロークセットを記入し始めた日時である。該当矩形領域２４４は、当該ストロークセットを含む矩形の領域である。該当矩形領域２４４は、当該ストロークセットが記入された書類における座標（相対座標）であり、矩形領域の左上端の座標及び右下端の座標で表される。 The entry start date and time 243 is the date and time when entry of the stroke set is started. The corresponding rectangular area 244 is a rectangular area including the stroke set. The corresponding rectangular area 244 is the coordinates (relative coordinates) in the document in which the stroke set is written, and is represented by the upper left coordinates and the lower right coordinates of the rectangular areas.
ストローク数２４５は、当該ストロークセットに含まれる線（ストローク）の数である。ストローク数２４５と同数のストローク情報２４６が記録される。ストローク情報２４６は、標本点数２４６Ａ及びシリアル番号２４６Ｂを含む。 The number of strokes 245 is the number of lines (strokes) included in the stroke set. The same number of stroke information 246 as the number of strokes 245 is recorded. The stroke information 246 includes a sample point number 246A and a serial number 246B.
標本点数２４６Ａは、デジタルペン１５０によって取得され、当該ストロークを構成する相対座標の数である。シリアル番号２４６Ｂは、デジタルペン１５０によって取得され、当該ストロークを構成する相対座標の一意な識別子であり、ストローク座標情報２５（図７）へのリンクである。 The number of sample points 246A is the number of relative coordinates acquired by the digital pen 150 and constituting the stroke. The serial number 246B is a unique identifier of the relative coordinates that are acquired by the digital pen 150 and constitutes the stroke, and is a link to the stroke coordinate information 25 (FIG. 7).
図７は、本発明の実施の形態のストローク情報２３のうちストローク座標情報２５の構成図である。 FIG. 7 is a configuration diagram of the stroke coordinate information 25 in the stroke information 23 according to the embodiment of this invention.
ストローク座標情報２５は、シリアル番号２５１、Ｘ座標２５２、Ｙ座標２５３及び取得時刻２５４を含む。 The stroke coordinate information 25 includes a serial number 251, an X coordinate 252, a Y coordinate 253, and an acquisition time 254.
シリアル番号２５１は、デジタルペン１５０によって取得された相対座標の一意な識別子である。Ｘ座標２５２は、図９に示すＸ軸方向の相対座標であり、例えば、ミリメートルを単位として表す。Ｙ座標２５３は、図５に示すＹ軸方向の相対座標であり、例えば、ミリメートルを単位として表す。取得時刻２５４は、デジタルペン１５０によって当該相対座標が取得された時刻を表す。なお、図７に示す例では、取得時刻２５４には、記入開始時刻２４３からの経過時間が記録されている。 The serial number 251 is a unique identifier of relative coordinates acquired by the digital pen 150. The X coordinate 252 is a relative coordinate in the X-axis direction shown in FIG. 9, and is expressed in units of millimeters, for example. The Y coordinate 253 is a relative coordinate in the Y-axis direction shown in FIG. 5 and is expressed in units of millimeters, for example. The acquisition time 254 represents the time when the relative coordinates are acquired by the digital pen 150. In the example shown in FIG. 7, an elapsed time from the entry start time 243 is recorded at the acquisition time 254.
図８は、本発明の実施の形態の計算機による処理の全体を示すフローチャートである。 FIG. 8 is a flowchart showing the entire processing by the computer according to the embodiment of this invention.
まず、デジタルペン接続装置１０１は、デジタルペン接続装置１０１に接続されたデジタルペン１５０から、取得したペン情報（ストローク情報）を取得し（Ｓ２０１）、取得したストローク情報を演算部１０２に送る。 First, the digital pen connection device 101 acquires the acquired pen information (stroke information) from the digital pen 150 connected to the digital pen connection device 101 (S201), and sends the acquired stroke information to the calculation unit 102.
演算部１０２は、取得したストローク情報から、ペンイベント（ペンが紙面に接するペンダウン及びペンが紙面から離れるペンアップ）を抽出し、ペンイベントにおいてストローク情報を分割し、一つ一つのストロークを特定する（Ｓ２０２）。 The calculation unit 102 extracts a pen event (a pen down where the pen touches the paper surface and a pen up where the pen leaves the paper surface) from the acquired stroke information, divides the stroke information in the pen event, and identifies each stroke. (S202).
また、演算部１０２は、取得したストローク情報から、利用者が記入したイメージ画像を作成し、作成されたイメージ画像を文字認識部１０３に送る。文字認識部１０３は、作成されたイメージ画像を文字認識をする（Ｓ２０３）。 In addition, the calculation unit 102 creates an image entered by the user from the acquired stroke information, and sends the created image to the character recognition unit 103. The character recognition unit 103 performs character recognition on the created image (S203).
その後、演算部１０２は、分割されたストロークと、文字として認識されたストロークとを比較する。そして、文字として認識されなかったストロークは、意味のない作業の結果なので、ノイズストロークであると判定する。判定されたノイズストロークを分割されたストロークから除去する（Ｓ２０４）。このノイズストロークの除去によって、意味のある作業によって記入されたストロークのみを抽出することができる。 Thereafter, the calculation unit 102 compares the divided stroke with the stroke recognized as a character. And since the stroke which was not recognized as a character is a result of a meaningless work, it determines with it being a noise stroke. The determined noise stroke is removed from the divided strokes (S204). By removing this noise stroke, it is possible to extract only the strokes entered by meaningful work.
また、出現頻度データ１０５を参照して、ノイズストロークであるかを特定する。例えば、後述する内田・クレペリン検査において記入されるべき文字は数字のみであることから、認識された文字のうち数字以外の文字はノイズと判定することができる。 Further, the appearance frequency data 105 is referred to and it is specified whether it is a noise stroke. For example, since the characters to be entered in the Uchida / Kraepelin test described later are only numbers, characters other than numbers among the recognized characters can be determined as noise.
その後、演算部１０２は、ノイズが除去された各ストロークの始点及び終点の時刻（記入開始時刻及び記入終了時刻）を特定して、各ストロークの継続時間及び間隔時間を算出する（Ｓ２０５）。具体的には、ストロークの記入終了時刻から記入開始時刻を減じてストロークの継続時間を求める。また、ストロークの記入開始時刻から前のストロークの記入終了時刻を減じてストロークの間隔時間を求める。 Thereafter, the calculation unit 102 specifies the start time and end time (entry start time and entry end time) of each stroke from which noise has been removed, and calculates the duration time and interval time of each stroke (S205). Specifically, the stroke start time is obtained by subtracting the entry start time from the stroke entry end time. Further, the stroke interval time is obtained by subtracting the entry end time of the previous stroke from the stroke entry start time.
さらに、演算部１０２は、ノイズが除去された各ストロークの始点及び終点の位置（Ｘ座標及びＹ座標）を特定し、特定された座標間の移動時間を求める（Ｓ２０６）。 Further, the calculation unit 102 specifies the start point and end point positions (X coordinate and Y coordinate) of each stroke from which noise has been removed, and obtains the movement time between the specified coordinates (S206).
その後、演算部１０２は、標準ストローク時間を算出する（Ｓ２０７）。具体的には、文字認識結果を用いて、標準時間データベース１０６を参照して、ストロークの継続時間及びストローク間の間隔時間を抽出して、標準ストローク時間を定める。また、ステップＳ２０６において求めた文字間のストロークの間隔時間から、文字間の標準ストローク時間を算出する。 Thereafter, the calculation unit 102 calculates a standard stroke time (S207). Specifically, using the character recognition result, the standard time database 106 is referred to, the stroke duration time and the interval time between strokes are extracted, and the standard stroke time is determined. Also, the standard stroke time between characters is calculated from the stroke interval time between characters obtained in step S206.
その後、ステップＳ２０５で計算された各ストロークの継続時間及び間隔時間と、ステップＳ２０７で計算された標準ストローク時間とを比較する（Ｓ２０８）。具体的には、文字の間のストロークの間隔時間、文字中の各ストロークの間隔時間、及び文字中の各ストロークの継続時間の各々を、算出された標準ストローク時間と比較する。そして、実際の継続時間及び間隔時間が、標準ストローク時間より大きい箇所をブロッキングと判定する。すなわち、下記の３状態がブロッキング状態と判定される。
（１）ストロークの継続時間が標準ストローク時間より長く、ペンが紙に長時間ついている状態。
（２）ストロークの間隔時間が標準ストローク時間より長く、ペンが紙から長時間離れている状態。
（３）ノイズストロークが検出されており、ペンが意味のない動作を続けている状態。
Thereafter, the duration time and interval time of each stroke calculated in step S205 are compared with the standard stroke time calculated in step S207 (S208). Specifically, each of the interval time of the stroke between characters, the interval time of each stroke in the character, and the duration of each stroke in the character is compared with the calculated standard stroke time. Then, a portion where the actual duration time and interval time are larger than the standard stroke time is determined as blocking. That is, the following three states are determined to be blocking states.
(1) The state in which the stroke duration is longer than the standard stroke time and the pen is on the paper for a long time.
(2) A state where the stroke interval time is longer than the standard stroke time and the pen is separated from the paper for a long time.
(3) A state in which a noise stroke is detected and the pen continues to operate meaninglessly.
図９は、本発明の実施の形態の標準時間データベース１０６の構成を示す説明図である。 FIG. 9 is an explanatory diagram showing a configuration of the standard time database 106 according to the embodiment of this invention.
標準時間データベース１０６は、文字１０６１と、標準時間１０６２とを含む。 The standard time database 106 includes characters 1061 and standard time 1062.
文字１０６１には、標準時間データベース１０６に登録される文字が記録されている。標準時間１０６２には、その文字を筆記するために必要な時間の標準値が記録されている。なお、文字が複数の画数によって構成されている場合、１画のストロークの標準時間と、ストローク間の標準時間が記録される。 In the character 1061, characters registered in the standard time database 106 are recorded. In the standard time 1062, a standard value of time required for writing the character is recorded. If the character is composed of a plurality of strokes, the standard time for one stroke and the standard time between strokes are recorded.
例えば、文字「４」について、１画目を記入するための標準時間は「４（１）」に記録され、２画目を記入するための標準時間は「４（２）」に記録される。また、１画目と２画目との間隔の標準時間は「４（１−２）」に記録される。 For example, for the character “4”, the standard time for filling the first stroke is recorded in “4 (1)”, and the standard time for filling the second stroke is recorded in “4 (2)”. . The standard time for the interval between the first and second strokes is recorded in “4 (1-2)”.
図１０は、本発明の実施の形態の図３に示す計算機システムにおける処理を示すシーケンス図である。 FIG. 10 is a sequence diagram showing processing in the computer system shown in FIG. 3 according to the embodiment of this invention.
デジタルペン１５０は、利用者（被験者）が試験用紙に記入した文字等のストロークデータを蓄積する（Ｓ５０１）。 The digital pen 150 accumulates stroke data such as characters entered on the test sheet by the user (subject) (S501).
デジタルペン１５０は、蓄積されたストロークデータを、デジタルペン接続装置１０１を介して、サーバ１２３に送信する（Ｓ５０２）。 The digital pen 150 transmits the accumulated stroke data to the server 123 via the digital pen connection device 101 (S502).
サーバ１２３は、デジタルペン１５０から送信されたストローク情報を用いて、利用者が筆記したイメージ画像を作成し、作成されたイメージ画像を文字認識部１０３に送る（Ｓ５０３）。文字認識部１０３は、イメージ画像に表された文字を認識し、認識結果をサーバ１２３に返信する（Ｓ５０４）。 The server 123 creates an image written by the user using the stroke information transmitted from the digital pen 150, and sends the created image to the character recognition unit 103 (S503). The character recognition unit 103 recognizes the character shown in the image and returns the recognition result to the server 123 (S504).
サーバ１２３は、文字認識結果を標準時間データベース１０６に送る（Ｓ５０５）。標準時間データベース１０６は、認識された文字の標準時間（継続時間及び間隔時間）を抽出し、抽出されたストローク毎の標準時間をサーバ１２３に送る（Ｓ５０６）。 The server 123 sends the character recognition result to the standard time database 106 (S505). The standard time database 106 extracts the standard time (duration and interval time) of the recognized character, and sends the extracted standard time for each stroke to the server 123 (S506).
サーバ１２３は、各ストロークの継続時間及び間隔時間と、実際のストロークの継続時間及び間隔時間とを比較して、ブロッキングを判定し、この判定結果をクライアント計算機１２２に送信する（Ｓ５０７）。 The server 123 compares the duration and interval time of each stroke with the actual stroke duration and interval time to determine blocking, and transmits the determination result to the client computer 122 (S507).
クライアント計算機１２２は、ブロッキングの判定結果を出力する。 The client computer 122 outputs a blocking determination result.
図１１は、本発明の実施の形態のブロッキングを判定する処理のフローチャートである。 FIG. 11 is a flowchart of processing for determining blocking according to the embodiment of this invention.
まず、イベントＩＤを２（初期値）に設定する初期設定を行う。その後、演算部１０２は、イベントと前のイベントとの間の時間差ｔと、標準時間ｔ0とを比較する（Ｓ６０１）。このブロッキング判定処理におけるイベントとは、ペンが紙面に接するペンアップ及びペンが紙面から離れるペンダウンである。また、標準時間ｔ0は、文字認識結果を用いて特定された標準ストローク時間である。 First, an initial setting for setting the event ID to 2 (initial value) is performed. Thereafter, the calculation unit 102 compares the time difference t between the event and the previous event with the standard time t 0 (S601). The events in the blocking determination process are a pen-up where the pen touches the paper surface and a pen-down where the pen leaves the paper surface. Further, the standard time t 0 is a standard stroke time specified using the character recognition result.
演算部１０２は、イベント間の時間差ｔがｋ×ｔ0より大きい場合、ペンの動きが止まっている可能性があるので、ステップＳ６０４へ進む（Ｓ６０２）。なお、ｋは比較係数であり、１以上の数である。この比較係数ｋを小さくすると、ペンの停止がブロッキングと判定されやすい。一方、比較係数ｋを大きくすると、ペンの停止がブロッキングと判定されにくい。 If the time difference t between events is greater than k × t 0 , the calculation unit 102 may stop the pen movement, and thus proceeds to step S604 (S602). K is a comparison coefficient and is a number of 1 or more. When the comparison coefficient k is reduced, it is easy to determine that the pen is stopped. On the other hand, if the comparison coefficient k is increased, it is difficult to determine that the pen is stopped.
イベント間の時間差ｔがｋ×ｔ0以下である場合、演算部１０２は、このイベントではブロッキングが生じていないと判定し、次のイベントデータの処理をするため、Ｓ６０９に進む（Ｓ６０３）。 When the time difference t between events is equal to or less than k × t 0 , the calculation unit 102 determines that no blocking has occurred in this event, and proceeds to S609 to process the next event data (S603).
ステップＳ６０４では、演算部１０２は、イベント間の時間ｔにおいて、ペンが紙面から離れているか否かを判定する。すなわち、ペンアップからペンダウンまでの間はペンが紙面から離れており、ペンダウンからペンアップまでの間はペンが紙面に接している。その結果、このイベント間において、ペンが紙面から離れていない場合、演算部１０２は、ペンを紙に付けた状態で作業が停止しているブロッキングであると判定して、Ｓ６０９に進む（Ｓ６０５）。一方、このイベント間において、ペンが紙面から離れている場合、ステップＳ６０６に進む。 In step S604, the calculation unit 102 determines whether or not the pen is away from the paper surface at a time t between events. That is, the pen is separated from the paper surface from the pen-up to the pen-down, and the pen is in contact with the paper surface from the pen-down to the pen-up. As a result, when the pen is not separated from the paper surface between the events, the calculation unit 102 determines that the work is stopped while the pen is attached to the paper, and proceeds to S609 (S605). . On the other hand, if the pen is away from the paper surface during this event, the process proceeds to step S606.
次に、演算部１０２は、イベント間の時間ｔにおいて、ノイズストロークが検出されているか否かを判定する（Ｓ６０６）。その結果、ノイズストロークが検出されていない場合、演算部１０２は、ペンを紙から離した状態で作業が停止しているブロッキングであると判定して、Ｓ６０９に進む（Ｓ６０７）。一方、ノイズストロークが検出されている場合、演算部１０２は、無意味な動作を伴って作業が停止しているブロッキングであると判定して、Ｓ６０９に進む（Ｓ６０８）。 Next, the computing unit 102 determines whether or not a noise stroke is detected at a time t between events (S606). As a result, when the noise stroke is not detected, the calculation unit 102 determines that the blocking is performed while the pen is separated from the paper, and the process proceeds to S609 (S607). On the other hand, when the noise stroke is detected, the calculation unit 102 determines that the blocking is performed with a meaningless operation and proceeds to S609 (S608).
その後、演算部１０２は、次のイベントがあるか否かを判定する（Ｓ６０９）。イベントＩＤがイベントの最大数未満である場合、次のイベントがあるので、イベントＩＤに１を加算して、ステップＳ６０１に戻る（Ｓ６１０）。一方、イベントＩＤがイベントの最大数以上である場合、次のイベントがないので、このブロッキング判定処理を終了する。 Thereafter, the calculation unit 102 determines whether there is a next event (S609). If the event ID is less than the maximum number of events, there is a next event, so 1 is added to the event ID and the process returns to step S601 (S610). On the other hand, if the event ID is equal to or greater than the maximum number of events, there is no next event, so this blocking determination process is terminated.
図１２は、本発明の実施の形態のストローク時間と標準時間との比較の説明図である。このストローク時間と標準時間との比較には、図１２に示すテーブル９００が用いられる。 FIG. 12 is an explanatory diagram for comparing the stroke time and the standard time according to the embodiment of this invention. A table 900 shown in FIG. 12 is used for comparison between the stroke time and the standard time.
図１２に示すテーブル９００は、ストロークＩＤ９０１、イベントＩＤ９０２、イベント種別９０３、文字認識結果９０４、座標９０５、時刻９０６、前のイベントとの時間差９０７、実時間差９０８、標準時間９０９及びブロッキング判定結果９１０を含む。 12 includes a stroke ID 901, an event ID 902, an event type 903, a character recognition result 904, a coordinate 905, a time 906, a time difference 907 from the previous event, a real time difference 908, a standard time 909, and a blocking determination result 910. Including.
ストロークＩＤ９０１は、ストローク毎に定められる一意の識別子である。イベントＩＤ９０２は、所定のイベント（ペンアップ及びペンダウン）の一意の識別子である。イベント種別９０３は、このイベントが、ペンが紙面に接するペンアップ（Ｏｎ）であるか、ペンが紙面から離れるペンダウン（Ｏｆｆ）であるかを示す。 The stroke ID 901 is a unique identifier determined for each stroke. The event ID 902 is a unique identifier of a predetermined event (pen-up and pen-down). The event type 903 indicates whether this event is a pen-up (On) in which the pen touches the paper surface or a pen-down (Off) in which the pen leaves the paper surface.
すなわち、一つのストロークには、一対のペンダウン及びペンアップのイベントが含まれ、ペンダウンがストロークの始点を表し、ペンアップがストロークの終点を表す。 That is, one stroke includes a pair of pen-down and pen-up events, where the pen-down represents the start point of the stroke and the pen-up represents the end point of the stroke.
文字認識結果９０４は、一つ以上のストロークから、文字認識エンジンによって認識された文字である。認識された文字が２画以上のストロークで構成される場合、画数のデータも含む。例えば、テーブル中、「４（１）」は、文字認識で「４」と判定された文字の第１画のデータであることを示し、「４（２）」は、第２画のデータであることを示す。また、このストロークが文字認識できなかった場合、意味のない記入をしていたと判断され、ノイズストロークであること（Ｎｏｉｓｅ）が記録される。 The character recognition result 904 is a character recognized by the character recognition engine from one or more strokes. If the recognized character is composed of strokes of two or more strokes, the stroke number data is also included. For example, in the table, “4 (1)” indicates that the first image data of the character determined as “4” by character recognition, and “4 (2)” indicates the second image data. Indicates that there is. If the stroke cannot be recognized, it is determined that the stroke is meaningless, and a noise stroke (Noise) is recorded.
座標９０５は、このエントリのイベントが生じた紙面上の座標である。時刻９０６は、このエントリのイベントが生じた時刻である。 A coordinate 905 is a coordinate on the page where the event of this entry has occurred. Time 906 is the time when the event of this entry occurred.
時間差９０７は、直前のイベントの発生時刻との差の時間である。すなわち、ペンダウンからペンアップまでの時間差は、このストロークを書くために使われた時間（継続時間）を表す。また、ペンアップからペンダウンまでの時間差は、前のストロークを書き終わってから、このストロークを書き始めるまでのペンの移動に使われた時間（間隔時間）を表す。実時間差９０８は、時間差９０７からノイズストロークの時間を減じた時間であり、実際の間隔時間（又は、継続時間）を表す。 A time difference 907 is a time difference from the occurrence time of the immediately preceding event. That is, the time difference from pen-down to pen-up represents the time (duration) used to write this stroke. The time difference from pen-up to pen-down represents the time (interval time) used for pen movement from the end of writing the previous stroke to the start of writing this stroke. The real time difference 908 is a time obtained by subtracting the time of the noise stroke from the time difference 907 and represents an actual interval time (or duration).
標準時間９０９は、このストロークを筆記するために必要とされる標準的な時間であり、図１３に示す標準時間算出処理によって算出される。なお、図１２に示すテーブル９００では、既に比較係数を乗じた値を標準時間に記録したが、比較係数を乗じない値を標準時間に記録してもよい。なお、前述したように、比較係数を小さくすればブロッキングは厳しく判定され、比較係数を大きくすればブロッキングは緩く判定される。 The standard time 909 is a standard time required to write this stroke, and is calculated by the standard time calculation process shown in FIG. In the table 900 shown in FIG. 12, a value that has already been multiplied by the comparison coefficient is recorded in the standard time, but a value that is not multiplied by the comparison coefficient may be recorded in the standard time. As described above, if the comparison coefficient is decreased, blocking is determined severely, and if the comparison coefficient is increased, blocking is determined loosely.
ブロッキング判定結果９１０は、実時間差９０８と標準時間９０９とを比較した結果によって判定されたブロッキングの有無が記録される。すなわち、実時間差９０８が標準時間９０９より大きい場合、作業が停止している。この場合、ブロッキングであると判定され、ブロッキング状態であることが記録される。なお、図１２に示すテーブルでは、ブロッキングの種類（Ｏｆｆが長い、Ｏｎが長い、Ｎｏｉｓｅ）も記録される。 The blocking determination result 910 records the presence or absence of blocking determined based on the result of comparing the real time difference 908 and the standard time 909. That is, when the real time difference 908 is larger than the standard time 909, the work is stopped. In this case, it is determined that it is blocking, and it is recorded that it is in a blocking state. In the table shown in FIG. 12, the type of blocking (off is long, on is long, and noise) is also recorded.
図１３は、本発明の実施の形態の標準時間算出処理のフローチャートであり、図８のステップＳ２０６及びＳ２０７に対応する。 FIG. 13 is a flowchart of standard time calculation processing according to the embodiment of this invention, and corresponds to steps S206 and S207 of FIG.
まず、イベントＩＤを２（初期値）に設定する初期設定を行う。その後、演算部１０２は、イベントと前のイベントとの間の時間差ｔを算出する（Ｓ７０１）。 First, an initial setting for setting the event ID to 2 (initial value) is performed. Thereafter, the calculation unit 102 calculates a time difference t between the event and the previous event (S701).
次に、演算部１０２は、このイベントがペンダウンか否かを判定する（Ｓ７０２）。具体的には、テーブル９００のイベント種別９０３がＯｎであるか、Ｏｆｆであるかによって、このイベントがペンダウンであルか、ペンアップであるかを判定する。 Next, the computing unit 102 determines whether or not this event is pen-down (S702). Specifically, it is determined whether the event is pen-down or pen-up depending on whether the event type 903 of the table 900 is On or Off.
判定の結果、イベントがペンダウンである場合、このエントリのデータは記入されたストロークのデータなので、ステップＳ７０６に進む。一方、イベントがペンアップである場合、このエントリのデータはストローク間のデータなので、ステップＳ７０３に進む。 If the event is pen-down as a result of the determination, the data of this entry is the data of the entered stroke, so the process proceeds to step S706. On the other hand, if the event is pen-up, the data of this entry is data between strokes, the process proceeds to step S703.
ステップＳ７０３では、演算部１０２は、このストローク間は一つの文字の中に含まれるか否かを判定する。具体的には、このエントリと次のエントリとの文字認識結果４０４が同じである場合、このエントリは同じ文字内のストローク間の間隔時間のデータなので、ステップＳ７０６に進む。一方、このエントリと次のエントリとの文字認識結果４０４が違う場合、このエントリは異なる文字間のストロークの間隔時間のデータなので、ステップＳ７０４に進む。 In step S703, the calculation unit 102 determines whether or not the stroke is included in one character. Specifically, if the character recognition result 404 of this entry is the same as that of the next entry, this entry is data of the interval time between strokes in the same character, so the process proceeds to step S706. On the other hand, if the character recognition result 404 is different between this entry and the next entry, since this entry is data of the stroke interval time between different characters, the process proceeds to step S704.
ステップＳ７０４では、演算部１０２は、文字認識結果を用いて、連続する文字の座標（ｘ1，ｙ1），（ｘ2，ｙ2）を求める（Ｓ７０４）。座標は、この文字の最後のストロークの終点の座標と、次の文字の最初のストロークの始点の座標とを用いることができる。また、文字認識に使用された文字（この文字及び次の文字）の認識枠の左上頂点の座標を用いてもよい。また、各認識枠の中心の座標や、各文字の重心の座標を用いることもできる。 In step S704, the calculation unit 102 obtains the coordinates (x 1 , y 1 ), (x 2 , y 2 ) of consecutive characters using the character recognition result (S704). As the coordinates, the coordinates of the end point of the last stroke of this character and the coordinates of the start point of the first stroke of the next character can be used. Moreover, you may use the coordinate of the upper left vertex of the recognition frame of the character (this character and the next character) used for character recognition. Also, the coordinates of the center of each recognition frame and the coordinates of the center of gravity of each character can be used.
その後、演算部１０２は、ステップＳ７０４で求めた座標間の標準ストローク時間を求める（Ｓ７０５）。この標準時間ｔ0は、各座標間の距離（（ｘ1−ｘ2）2＋（ｙ1−ｙ2）2）1/2に、距離１に対する標準移動時間ｔ1を乗じた値である。 Thereafter, the calculation unit 102 obtains the standard stroke time between the coordinates obtained in step S704 (S705). This standard time t 0 is a value obtained by multiplying the distance ((x 1 −x 2 ) 2 + (y 1 −y 2 ) 2 ) 1/2 between the coordinates by the standard movement time t 1 for the distance 1. .
一方、ステップＳ７０６では、演算部１０２は、文字認識結果を用いて、標準時間データベース１０６を参照して、ストロークの継続時間及びストローク間の間隔時間を抽出して、基本標準時間ｔsを求める（Ｓ７０６）。 On the other hand, in step S706, the calculation unit 102 uses the character recognition result, with reference to the standard time database 106, to extract the time interval between the duration and the stroke of the stroke, determining a basic standard time t s ( S706).
その後、演算部１０２は、文字の大きさによって基本標準時を補正して、標準ストローク時間ｔ0を求める（Ｓ７０７）。具体的には、基本標準時間ｔsに、Ｓ0／ＳSを乗じた値を標準ストローク時間ｔ0とする。Ｓ0は実際に記入された文字の大きさであり、ＳSは基本の文字の大きさである。文字の大きさには、文字認識時に使用した認識枠の大きさを文字認識部１０３から取得して用いるとよい。 Thereafter, the calculation unit 102 corrects the basic standard time according to the character size, and obtains the standard stroke time t 0 (S707). More specifically, the basic standard time t s, and S 0 / S standard stroke time t 0 the value obtained by multiplying the S. S 0 is the size of the character actually entered, and S S is the size of the basic character. As the character size, the size of the recognition frame used at the time of character recognition may be acquired from the character recognition unit 103 and used.
以上説明したステップＳ７０２からＳ７０７までの処理について纏めると、このストロークデータが文字間のデータである場合ステップＳ７０４に進み、このストロークデータが文字内のデータである場合ステップＳ７０６に進むことになる。その結果、ステップＳ７０４からＳ７０５では文字間の間隔時間が計算され、ステップＳ７０６からＳ７０７では、文字内の継続時間及び間隔時間が求められる。 Summarizing the processing from step S702 to S707 described above, the process proceeds to step S704 if the stroke data is data between characters, and the process proceeds to step S706 if the stroke data is data within characters. As a result, the interval time between characters is calculated in steps S704 to S705, and the duration time and interval time in the character are obtained in steps S706 to S707.
なお、ステップＳ７０３〜Ｓ７０５では、全ての文字の間について、ストローク間の標準時間を求めたが、改行があった場合（例えば、横書きで、Ｙ座標が大きく変化した場合）のみに文字の間隔を求めてもよい。 In steps S703 to S705, the standard time between strokes is obtained for all characters, but the character spacing is changed only when there is a line break (for example, when the Y coordinate changes greatly in horizontal writing). You may ask for it.
その後、演算部１０２は、次のイベントがあるか否かを判定する（Ｓ７０８）。イベントＩＤがイベントの最大数未満である場合、次のイベントがあるので、イベントＩＤに１を加算して、ステップＳ７０１に戻る（Ｓ７０９）。一方、イベントＩＤがイベントの最大数以上である場合、次のイベントがないので、この標準時間算出処理を終了する。 Thereafter, the calculation unit 102 determines whether or not there is a next event (S708). If the event ID is less than the maximum number of events, there is a next event, so 1 is added to the event ID, and the process returns to step S701 (S709). On the other hand, if the event ID is equal to or greater than the maximum number of events, there is no next event, and the standard time calculation process is terminated.
図１４は、本発明の実施の形態の、ブロッキング判定結果に基づいて意図的な操作を検出する処理のフローチャートであり、図８のステップＳ２０８の後に実行される。 FIG. 14 is a flowchart of processing for detecting an intentional operation based on the blocking determination result according to the embodiment of this invention, and is executed after step S208 of FIG.
演算部１０２は、ブロッキングの判定結果（図８のステップＳ２０８）から、ブロッキングが発生している座標を特定する（Ｓ８０１）。 The computing unit 102 identifies the coordinates where blocking has occurred from the blocking determination result (step S208 in FIG. 8) (S801).
次に、演算部１０２は、原稿用紙データ１０８を参照し、ステップＳ８０１で特定された座標から、ブロッキングが発生している問題を特定する（Ｓ８０２）。そして、演算部１０２は、問題ごとにブロッキングの発生率を計算する（Ｓ８０３）。ブロッキングの発生率とは、ブロッキングの発生回数を問題数で除したものである。 Next, the calculation unit 102 refers to the original paper data 108 and identifies a problem in which blocking has occurred from the coordinates identified in step S801 (S802). Then, the calculation unit 102 calculates the occurrence rate of blocking for each problem (S803). The occurrence rate of blocking is the number of occurrences of blocking divided by the number of problems.
また、演算部１０２は、問題の内容によって問題を分類する（Ｓ８０４）。例えば、内田・クレペリン検査の場合、問題は４２種類に分類することができる。 In addition, the calculation unit 102 classifies the problem according to the content of the problem (S804). For example, in the case of Uchida / Kraepelin test, the problems can be classified into 42 types.
その後、演算部１０２は、ステップＳ８０３によるブロッキング発生率と、ステップＳ８０４による問題の分類結果とに基づいて、問題の種類毎にブロッキング発生率を計算する。そして、演算部１０２は、計算された問題の種類毎のブロッキング発生率と予め定められた閾値とを比較して、特定の種類の問題でブロッキングが発生しているか否かを判定する（Ｓ８０５）。その結果、特定の種類の問題でブロッキングが発生している場合、作業者が特定の種類の問題が苦手であるために、作業の遅延が発生したと判定する。 Thereafter, the computing unit 102 calculates the blocking occurrence rate for each problem type based on the blocking occurrence rate in step S803 and the problem classification result in step S804. Then, the calculation unit 102 compares the calculated blocking occurrence rate for each type of problem with a predetermined threshold value, and determines whether or not blocking has occurred for a specific type of problem (S805). . As a result, when blocking occurs due to a specific type of problem, the worker determines that work delay has occurred because the operator is not good at the specific type of problem.
次に、演算部１０２は、原稿用紙データ１０８（図１５）の難易度１０８３を参照し、難易度の高い問題を選別する（Ｓ８０６）、クレペリン検査の場合、繰り上がりのある問題は難度が高い問題である。そして、演算部１０２は、選別された問題のブロッキング発生率と予め定められた閾値とを比較して、難易度の高い問題でブロッキングが発生しているか否かを判定する（Ｓ８０７）。その結果、難易度の高い問題でブロッキングが発生している場合、作業者の実力が不足しているために、作業の遅延が発生したと判定する。 Next, the calculation unit 102 refers to the difficulty level 1083 of the original paper data 108 (FIG. 15), and sorts out the problems with high difficulty level (S806). It is a problem. Then, the calculation unit 102 compares the blocking occurrence rate of the selected problem with a predetermined threshold, and determines whether blocking is occurring due to a problem with a high degree of difficulty (S807). As a result, when blocking occurs due to a problem with a high degree of difficulty, it is determined that work delay has occurred because the worker's ability is insufficient.
その後、内田・クレペリン検査の検査結果を解析する（Ｓ８０８）。具体的には、演算部１０２が、画像処理によって、検査結果が所定のパターン（例えば、定型パターン）であるかを判定することができる。この画像処理による検査結果の解析には、例えば、特開２００２−１７５４９７号公報に記載された技術を用いることができる。また、検査者による目視によって検査結果を解析してもよい。 Thereafter, the test result of the Uchida-Kraepelin test is analyzed (S808). Specifically, the calculation unit 102 can determine whether the inspection result is a predetermined pattern (for example, a fixed pattern) by image processing. For example, a technique described in Japanese Patent Laid-Open No. 2002-175497 can be used for analysis of inspection results by this image processing. Further, the inspection result may be analyzed by visual inspection by an inspector.
その後、演算部１０２は、検査結果が定型パターンであり、かつ、ブロッキングが一定回数以上発生している行があるか否かによって、作業者が検査結果を操作した可能性があるかを判定する（Ｓ８０９）。そして、検査結果が定型パターンであり、かつ、ブロッキングが一定回数以上発生している行がある場合、作業者が、検査結果を定型パターンに近づけるための操作をした可能性があると判定する。一方、そうでない場合、通常のブロッキングであると判定する。この場合のブロッキングは、作業中の散漫に起因していると考えられ、診断材料として利用される。 Thereafter, the calculation unit 102 determines whether there is a possibility that the operator has manipulated the inspection result depending on whether or not there is a row in which the inspection result is a fixed pattern and blocking has occurred for a certain number of times. (S809). When the inspection result is a fixed pattern and there is a row where blocking has occurred for a certain number of times, it is determined that the operator may have performed an operation to bring the inspection result closer to the fixed pattern. On the other hand, if not, it is determined that the blocking is normal. The blocking in this case is considered to be caused by distraction during work, and is used as a diagnostic material.
図１５は、本発明の実施の形態の原稿用紙データ１０８の構成を示す説明図である。 FIG. 15 is an explanatory diagram showing the configuration of the original paper data 108 according to the embodiment of this invention.
原稿用紙データ１０８は、問題の識別子１０８１と、座標１０８２と、難易度１０８３と、内容１０８４とを含む。 The original paper data 108 includes a problem identifier 1081, coordinates 1082, difficulty 1083, and content 1084.
問題の識別子１０８１は、この用紙に含まれる問題の一意の識別子である。内田・クレペリン検査においては、用紙の左上から右に向かって問題ＩＤを付与する。座標１０８２は、この問題が紙面上に配置された座標である。難易度１０８３は、この問題の難易度であり、難易度が高い問題には「高」が記録されている。内容１０８４は、この問題の内容である。 The problem identifier 1081 is a unique identifier of the problem included in this sheet. In the Uchida / Kraepelin inspection, problem IDs are assigned from the upper left to the right of the paper. A coordinate 1082 is a coordinate where this problem is arranged on the paper surface. The difficulty level 1083 is the difficulty level of this problem, and “high” is recorded for a problem with a high difficulty level. Content 1084 is the content of this problem.
なお、原稿用紙データ１０８には、問題の種類の情報が含まれてもよい。 The original paper data 108 may include information on the type of problem.
図１６は、本発明の実施の形態の書き足しを判定する処理のフローチャートである。 FIG. 16 is a flowchart of processing for determining an addition according to the embodiment of this invention.
まず、演算部１０２は、ストロークＩＤを１に設定し、問題ＩＤ（Ｑ）を１に設定し、進行レジスタ（Ｑ’）を１に設定する初期設定を行う。その後、ストロークＩＤから、対応する問題ＩＤを求める（Ｓ５０１）。具体的には、ストロークＩＤが示すストロークの座標に最も近い座標の問題の識別子を、原稿用紙データ１０８から選択する。 First, the calculation unit 102 performs initial setting to set the stroke ID to 1, the problem ID (Q) to 1, and the progress register (Q ′) to 1. Thereafter, a corresponding problem ID is obtained from the stroke ID (S501). Specifically, the identifier of the problem having the coordinates closest to the coordinates of the stroke indicated by the stroke ID is selected from the document sheet data 108.
その後、演算部１０２は、問題ＩＤ（Ｑ）と進行レジスタ（Ｑ’）とを比較する（Ｓ５０２）。比較の結果、問題ＩＤ（Ｑ）が進行レジスタ（Ｑ’）より小さい場合、以前の問題に戻っているので、「書き足し」であると判定し（Ｓ５０３）、ステップＳ５０６に進む。 Thereafter, the operation unit 102 compares the problem ID (Q) with the progress register (Q ′) (S502). As a result of the comparison, if the problem ID (Q) is smaller than the progress register (Q ′), the problem has returned to the previous problem, so it is determined that it is “added” (S503), and the process proceeds to step S506.
一方、問題ＩＤ（Ｑ）が進行レジスタ（Ｑ’）以上である場合、作業者による問題の進行は正常であるので、「書き足し」ではないと判定し（Ｓ５０４）、問題ＩＤ（Ｑ）を進行レジスタ（Ｑ’）に設定し（Ｓ５０５）、ステップＳ５０６に進む。 On the other hand, if the problem ID (Q) is greater than or equal to the progress register (Q ′), the progress of the problem by the worker is normal, so it is determined that it is not “addition” (S504), and the problem ID (Q) is set. The progress register (Q ′) is set (S505), and the process proceeds to step S506.
前述したように、内田・クレペリン検査においては、用紙の左上から右に向かって問題ＩＤを付与する。このため、問題ＩＤの順と正常な解答順序とは一致することから、ストロークＩＤに対応する問題ＩＤの増減によって、書き足しの有無を判定することができる。 As described above, in the Uchida / Kraepelin inspection, a problem ID is assigned from the upper left to the right of the paper. For this reason, since the order of the question IDs matches the normal answer order, the presence / absence of addition can be determined by increasing / decreasing the question IDs corresponding to the stroke IDs.
その後、演算部１０２は、次のストロークがあるか否かを判定する（Ｓ５０６）。ストロークＩＤがストロークの最大数未満である場合、次のストロークがあるので、ストロークＩＤに１を加算して、ステップＳ５０１に戻る（Ｓ５０７）。一方、ストロークＩＤがストロークの最大数以上である場合、次のストロークがないので、この書き足し判定処理を終了する。 Thereafter, the calculation unit 102 determines whether or not there is a next stroke (S506). If the stroke ID is less than the maximum number of strokes, there is a next stroke, so 1 is added to the stroke ID and the process returns to step S501 (S507). On the other hand, when the stroke ID is equal to or greater than the maximum number of strokes, there is no next stroke, and thus the addition determination process is terminated.
図１７は、本発明の実施の形態のブロッキング判定結果を数値で表す場合の表示画面４５０の説明図である。 FIG. 17 is an explanatory diagram of a display screen 450 when the blocking determination result according to the embodiment of this invention is represented by a numerical value.
画面４５０には、被験者４５１毎に、ブロッキング回数４５２及びブロッキング頻度４５３が表示される。ブロッキング頻度４５３は、単位時間あたりのブロッキング回数（例えば、回／分）で表示される。 On the screen 450, for each subject 451, a blocking frequency 452 and a blocking frequency 453 are displayed. The blocking frequency 453 is displayed as the number of times of blocking per unit time (for example, times / minute).
図１８は、本発明の実施の形態のブロッキング判定結果を分布で表す場合の表示画面４６０を示す説明図である。 FIG. 18 is an explanatory diagram illustrating a display screen 460 when the blocking determination result according to the embodiment of this invention is represented by a distribution.
画面４６０には、作業単位毎に、時間あたりの作業量４６１及びブロッキングが発生した位置４６２が表示される。画面４６０によると、時間あたりの作業量とブロッキングが発生した位置との関係を知ることができる。 The screen 460 displays a work amount 461 per hour and a position 462 where blocking has occurred for each work unit. According to the screen 460, the relationship between the amount of work per hour and the position where blocking has occurred can be known.
図１９は、内田・クレペリン検査の検査用紙にブロッキング判定結果を重畳させて表示した画面４９０の説明図である。 FIG. 19 is an explanatory diagram of a screen 490 that displays the blocking determination result superimposed on the inspection sheet for the Uchida / Kraepelin inspection.
画面４９０には、被験者の回答結果４９１及びブロッキングが発生した位置４９２が表示される。画面４９０によると、１行ごとの作業量と、ブロッキングが発生した位置を知ることができる。 On the screen 490, the answer result 491 of the subject and the position 492 where blocking has occurred are displayed. According to the screen 490, the work amount for each line and the position where blocking has occurred can be known.
図２０は、本発明の実施の形態のブロッキング判定結果を分布で表す場合の別の表示画面４７０の説明図である。 FIG. 20 is an explanatory diagram of another display screen 470 when the blocking determination result according to the embodiment of this invention is represented by a distribution.
画面４７０には、作業単位毎に、時間あたりの作業量４７１及びブロッキングが発生した時間４７２が表示される。画面４７０によると、ブロッキング時間を除外した実作業時間を知ることができる。 The screen 470 displays a work amount 471 per hour and a time 472 when blocking occurs for each work unit. According to the screen 470, the actual work time excluding the blocking time can be known.
図２１は、本発明の実施の形態のブロッキング判定結果を分布で表す場合の別の表示画面４８０の説明図である。 FIG. 21 is an explanatory diagram of another display screen 480 when the blocking determination result according to the embodiment of this invention is represented by a distribution.
画面４８０には、作業単位毎に、時間あたりの作業量４８１及びブロッキングが発生した時間４８２が表示される。画面４８０では、画面４７０（図２０）と異なり、ブロッキングが発生した時間４８２が時間あたりの作業量４８１の右端（基準線から遠い位置）に表示されている。このため、例えば、内田・クレペリン検査において、画面４８０を用いると、ブロッキング時間を除いた１行ごとの作業量のパターン（実線）を知ることができる。 The screen 480 displays a work amount 481 per hour and a time 482 when blocking occurs for each work unit. On the screen 480, unlike the screen 470 (FIG. 20), the time 482 when blocking occurs is displayed at the right end (position far from the reference line) of the work amount 481 per hour. For this reason, for example, in the Uchida / Kraepelin test, if the screen 480 is used, the pattern (solid line) of the work amount per line excluding the blocking time can be known.
本発明の実施の形態によると、作業中のブロッキングの発生を捕捉することによって、被験者による意図的な作業の中断を発見することができる。そして、ブロッキングの発生傾向によって、作業者の性格、適性及び能力を知る指標とすることができる。 According to an embodiment of the present invention, intentional interruption of work by a subject can be found by capturing the occurrence of blocking during work. And it can be set as the index | index which knows a worker's character, aptitude, and ability by the tendency for blocking to occur.
以上、本発明の実施の形態について、クレペリン検査を用いて説明したが、これ以外の各種作業（例えば、運転手の適性検査、運転免許（特に、高齢者向け）、工場での安全指導、認知症の早期発見、ガイダンスや個性把握の際の資料、薬物効果の測定、及び、精神衛生管理）にも、本発明を適用することができる。 As mentioned above, although embodiment of this invention was demonstrated using the Kraepelin test | inspection, various other work (for example, a driver | operator's aptitude test, a driver's license (especially for elderly people), a factory safety instruction, recognition The present invention can also be applied to early detection of illness, guidance and information for grasping individuality, measurement of drug effects, and mental health management.
１０１ デジタルペン接続装置
１０２ 演算部
１０３ 文字認識部
１０４ 記憶装置
１０７ 出力装置
１２１ クライアント計算機
１２２ クライアント計算機
１２３ サーバ
101 Digital Pen Connection Device 102 Arithmetic Unit 103 Character Recognition Unit 104 Storage Device 107 Output Device 121 Client Computer 122 Client Computer 123 Server
Claims (11)
プログラムを実行するプロセッサと、前記プロセッサによって実行されるプログラムを格納するメモリと、前記ストロークの情報を前記座標取得装置から取得するインターフェースとを備え、
前記座標取得装置によって取得された複数のストロークに基づいて、前記作業者による作業が中断しているブロッキングを判定し、
前記作業者によって記入された結果と、前記ブロッキングの判定結果を重畳して表示するためのデータを生成することを特徴とする計算機。 A computer that is connected to a coordinate acquisition device that acquires a stroke written by an operator and analyzes the stroke acquired by the coordinate acquisition device,
A processor for executing the program, a memory for storing the program executed by the processor, and an interface for acquiring the stroke information from the coordinate acquisition device,
Based on a plurality of strokes acquired by the coordinate acquisition device, determine blocking that the work by the worker is suspended,
A computer for generating data for superimposing and displaying the result entered by the operator and the determination result of blocking.
前記認識された文字に含まれるストロークの記入時間の標準値と、前記ストロークの実際の記入時間とを比較し、前記認識された文字に含まれるストロークの間隔時間の標準値と、前記ストロークの実際の間隔時間とを比較し、
前記比較結果に基づいて、前記作業者による記入位置の移動に多くの時間がかかっている場合にブロッキングであると判定することを特徴とする請求項１に記載の計算機。 Character recognition of the stroke,
The standard value of the stroke entry time included in the recognized character is compared with the actual entry time of the stroke, the standard value of the interval time of the stroke included in the recognized character, and the actual stroke time. Compare with the interval time of
2. The computer according to claim 1, wherein, based on the comparison result, when the operator takes a long time to move the entry position, it is determined that blocking is performed.
前記文字間の間隔時間の標準値と、文字間の実際の間隔時間とを比較し、
前記比較結果に基づいて、前記作業者による記入位置の移動に多くの時間がかかっている場合にブロッキングであると判定することを特徴とする請求項２に記載の計算機。 Calculating a standard value of an interval time between characters from a distance between characters recognized by the character recognition;
Compare the standard value of the interval time between the characters and the actual interval time between characters,
3. The computer according to claim 2, wherein, based on the comparison result, it is determined as blocking when it takes a long time to move the entry position by the operator.
前記行の変化が判定された場合、前記文字間の間隔時間の標準値と、文字間の実際の間隔時間とを比較することを特徴とする請求項３に記載の計算機。 Using at least one of the movement amount and the movement direction of the coordinates between the strokes, a change in the line of the entry position is determined,
The computer according to claim 3, wherein when the change of the line is determined, the standard value of the interval time between the characters is compared with the actual interval time between characters.
前記作業結果が定型パターンであり、かつ、前記作業結果中に前記ブロッキングが所定回数以上発生している行がある場合、作業者が検査結果を定型パターンに近づけるための操作をした可能性があると判定することを特徴とする請求項１０に記載の計算機。 Determine whether the result of the work by the worker is a regular pattern,
When the work result is a standard pattern and there is a row in which the blocking has occurred a predetermined number of times or more in the work result , the operator may have performed an operation to bring the inspection result closer to the standard pattern computer according to claim 10, wherein determining that.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008312265A JP5246496B2 (en) | 2008-12-08 | 2008-12-08 | calculator |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008312265A JP5246496B2 (en) | 2008-12-08 | 2008-12-08 | calculator |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010131311A JP2010131311A (en) | 2010-06-17 |
| JP5246496B2 true JP5246496B2 (en) | 2013-07-24 |
Family
ID=42343251
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008312265A Expired - Fee Related JP5246496B2 (en) | 2008-12-08 | 2008-12-08 | calculator |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5246496B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130089691A (en) * | 2011-12-29 | 2013-08-13 | 인텔렉추얼디스커버리 주식회사 | Method for providing the correcting test paper on network, and web-server used therein |
| JP2017215833A (en) * | 2016-06-01 | 2017-12-07 | 株式会社リコー | Information processing system, information processing method, information processing device, and program |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11272796A (en) * | 1998-03-25 | 1999-10-08 | Brother Ind Ltd | Character recognition device and computer readable storage medium with character recognition program recorded |
| JP2001120522A (en) * | 1999-10-26 | 2001-05-08 | Kuresu:Kk | Processing capacity inspection apparatus |
| JP4663903B2 (en) * | 2000-04-20 | 2011-04-06 | パナソニック株式会社 | Handwritten character recognition device, handwritten character recognition program, and computer-readable recording medium recording the handwritten character recognition program |
| JP3903016B2 (en) * | 2003-02-13 | 2007-04-11 | 株式会社ジャストシステム | Handwritten character recognition apparatus and method, and program |
| JP2005287571A (en) * | 2004-03-31 | 2005-10-20 | Railway Technical Res Inst | Attention distribution test method, attention distribution test device and attention distribution test program recoding medium |
| JP4563247B2 (en) * | 2005-04-28 | 2010-10-13 | 富士通株式会社 | Learning support system and learning support program |
| JP4427064B2 (en) * | 2007-01-09 | 2010-03-03 | 株式会社ワオ・コーポレーション | Scoring method, information processing apparatus and program thereof |
-
2008
- 2008-12-08 JP JP2008312265A patent/JP5246496B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010131311A (en) | 2010-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11650659B2 (en) | User input processing with eye tracking | |
| CN109923513B (en) | System for detecting and characterizing input on a touch sensor | |
| US10248804B2 (en) | Fraudulent application detection system and method of use | |
| JP2010131280A (en) | Method and apparatus for assisting mental state determination | |
| US20110243448A1 (en) | Handwritten data management system, handwritten data management program and handwritten data management method | |
| EP2626813A2 (en) | Apparatus and method for guiding handwriting input for handwriting recognition | |
| JP6511770B2 (en) | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING SYSTEM, AND PROGRAM | |
| JP2013130678A (en) | Handwritten character evaluation device and character learning support device having the same | |
| JP5246496B2 (en) | calculator | |
| Harbi et al. | Segmentation of clock drawings based on spatial and temporal features | |
| US20230259229A1 (en) | Position detection circuit and position detection method | |
| JP2023160899A (en) | Concentration degree measurement device, concentration degree measurement method, and program | |
| CN112651315A (en) | Information extraction method and device of line graph, computer equipment and storage medium | |
| JP2005287571A (en) | Attention distribution test method, attention distribution test device and attention distribution test program recoding medium | |
| JP5181060B2 (en) | calculator | |
| JP7254262B2 (en) | Work estimating device, work estimating method, and work estimating program | |
| KR101458295B1 (en) | Keyboard input system and the method using eye tracking | |
| JP3192468B2 (en) | Online handwritten character recognition device and recognition method | |
| US20230047530A1 (en) | Method and device for analyzing fine motor skills | |
| KR101698118B1 (en) | Health condition estimation apparatus and method for tracking through the person's hand function | |
| JP2016139293A (en) | Transcription-degree calculation system, transcription-degree calculation method, and transcription-degree calculation program | |
| JP4116858B2 (en) | Line-of-sight measurement accuracy evaluation apparatus, line-of-sight measurement accuracy evaluation method, line-of-sight measurement accuracy evaluation program, and computer-readable recording medium recording the program | |
| EP4350489A1 (en) | Writing instrument and method therefor | |
| JP2004021760A (en) | Character recognition device and control method thereof | |
| Magar et al. | Handwriting analysis for mental disorder detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110613 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120309 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121218 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121220 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130215 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130312 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130327 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160419 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |