JP2009217733A - Handwritten character recognition device - Google Patents

Handwritten character recognition device Download PDF

Info

Publication number
JP2009217733A
JP2009217733A JP2008063148A JP2008063148A JP2009217733A JP 2009217733 A JP2009217733 A JP 2009217733A JP 2008063148 A JP2008063148 A JP 2008063148A JP 2008063148 A JP2008063148 A JP 2008063148A JP 2009217733 A JP2009217733 A JP 2009217733A
Authority
JP
Japan
Prior art keywords
stroke
character recognition
sliding sound
detection unit
sliding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008063148A
Other languages
Japanese (ja)
Other versions
JP4927009B2 (en
Inventor
Ikuo Kitagishi
郁雄 北岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yahoo Japan Corp
Original Assignee
Yahoo Japan Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yahoo Japan Corp filed Critical Yahoo Japan Corp
Priority to JP2008063148A priority Critical patent/JP4927009B2/en
Publication of JP2009217733A publication Critical patent/JP2009217733A/en
Application granted granted Critical
Publication of JP4927009B2 publication Critical patent/JP4927009B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Character Discrimination (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a handwritten character recognition device, capable of accurately recognizing a character by detecting a natural stroke of a writer by use of sliding sound with a sliding surface such as a wall in character writing by the finger or the like. <P>SOLUTION: The device comprises: a microphone which collects the sliding sound with the sliding surface in character writing; a stroke detection part which specifies a matched stroke by comparing the sliding sound collected by the microphone with sliding sounds of a stroke database preliminarily storing sliding sounds collected for various strokes constituting characters; and a character recognition part which specifies a matched character code from a set of specified strokes by comparing it with sets of strokes of a character recognition database in which each character code is associated with each set of strokes. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は手書き文字認識装置に関する。   The present invention relates to a handwritten character recognition device.

ＰＣ（Personal Computer）、ＰＤＡ（Personal Digital Assistants）、携帯電話等の情報端末にあっては、例えば、Ｗｅｂ上のポータルサイトにアクセスして所望の情報を取得しようとした場合等において、検索文字列の入力等の文字入力の操作が必要となる。   For information terminals such as PCs (Personal Computers), PDAs (Personal Digital Assistants), mobile phones, etc., for example, when trying to acquire desired information by accessing a portal site on the Web, a search character string It is necessary to perform character input operations such as

これらの情報端末にはキーボードやボタンにより文字を入力する機能が設けられているが、キーボードやボタンの操作が行いにくい環境であったり、キーボードやボタンの操作に慣れていなかったりする場合等においては、文字の入力が困難である。   These information terminals have a function to input characters using the keyboard and buttons. However, in environments where it is difficult to operate the keyboard and buttons or when you are not used to operating the keyboard and buttons, etc. , Character input is difficult.

一方、特許文献１には、手書き文字をコンピュータに入力することができるウェアラブルな入力装置が開示されており、指先で文字を書くことにより、文字を認識することができるようになっている。   On the other hand, Patent Document 1 discloses a wearable input device capable of inputting handwritten characters to a computer, and can recognize characters by writing the characters with a fingertip.

また、特許文献２には、ストローク方向の出現頻度を考慮したオンライン手書き文字認識装置が開示されている。
特開２００４−５４３９０号公報 特開平８−１６６９９９号公報 Patent Document 2 discloses an on-line handwritten character recognition device that considers the appearance frequency in the stroke direction.
JP 2004-54390 A JP-A-8-166999

上述した特許文献１では、指先に装着される磁石による磁界を、腕に装着した３次元磁気センサにより検出することで、指先の移動を検出し、その移動の軌跡から手書き文字を認識するようにしている。しかし、文字を構成する一のストロークから次のストロークへ移る間の、空中を移動する間の指先の移動は文字を構成する面と垂直方向の移動で区別が可能であるが、基本的に筆圧を検出する機構が存在しないため、ほぼ同一面内で指先の移動が行われた場合にはどの移動部分が文字を構成するのかが区別できず、正確に文字を認識できないという問題がある。   In Patent Document 1 described above, the movement of the fingertip is detected by detecting the magnetic field generated by the magnet attached to the fingertip using a three-dimensional magnetic sensor attached to the arm, and the handwritten character is recognized from the movement locus. ing. However, the movement of the fingertip while moving in the air during the transition from one stroke constituting the character to the next stroke can be distinguished from the surface constituting the character by vertical movement. Since there is no mechanism for detecting pressure, there is a problem that when the fingertip is moved in almost the same plane, it is not possible to distinguish which moving part constitutes the character and the character cannot be recognized accurately.

一方、特許文献２では、入力された手書き文字の画像から、文字を直線状のストロークに分解して特徴を抽出し、文字を認識するようにしている。しかし、この特許文献２で言うストロークは手書き文字の画像から読み取った直線状の部品に過ぎず、本来の書き手が行ったストロークとは異なる。従って、文字認識の精度において限界がある。   On the other hand, in Patent Document 2, a character is extracted from an input handwritten character image by decomposing the character into linear strokes to recognize the character. However, the stroke referred to in Patent Document 2 is only a linear part read from an image of handwritten characters, and is different from the stroke made by the original writer. Therefore, there is a limit in the accuracy of character recognition.

本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、指等で文字を書いた際の壁等の摺動面との摺動音を利用することで、書き手の本来のストロークを検出し、精度よく文字を認識することのできる手書き文字認識装置を提供することにある。   The present invention has been proposed in view of the above-described conventional problems, and the object of the present invention is to utilize sliding sound with a sliding surface such as a wall when writing characters with a finger or the like. Another object of the present invention is to provide a handwritten character recognition device capable of detecting the original stroke of a writer and recognizing characters with high accuracy.

上記の課題を解決するため、本発明にあっては、請求項１に記載されるように、文字を書く際の摺動面との摺動音を採取するマイクと、前記マイクにより採取した摺動音を、予め文字を構成する各種のストロークにつき採取した摺動音を格納したストロークデータベースの摺動音と比較して、一致するストロークを特定するストローク検出部と、特定されたストロークの組から、文字コードとストロークの組とを対応付けた文字認識データベースのストロークの組と比較して、一致する文字コードを特定する文字認識部とを備える手書き文字認識装置を要旨としている。   In order to solve the above-mentioned problems, according to the present invention, as described in claim 1, a microphone that collects a sliding sound with a sliding surface when writing characters, and a slider that is collected by the microphone. Compare the moving sound with the sliding sound of the stroke database that stores the sliding sound previously collected for the various strokes that make up the character, and from the stroke detection unit that identifies the matching stroke and the set of identified strokes The gist of the present invention is a handwritten character recognition device including a character recognition unit that identifies a character code that matches a character code and a stroke set in a character recognition database that associates the character code with a stroke set.

また、請求項２に記載されるように、請求項１に記載の手書き文字認識装置において、前記マイクは指サック状の摺動音検出部に設けられ、前記ストローク検出部および文字認識部は別体に設けられ、前記マイクで採取された摺動音を無線により前記ストローク検出部に伝えるようにすることができる。   Further, as described in claim 2, in the handwritten character recognition device according to claim 1, the microphone is provided in a finger suck-like sliding sound detection unit, and the stroke detection unit and the character recognition unit are different from each other. The sliding sound provided on the body and collected by the microphone can be transmitted wirelessly to the stroke detection unit.

また、請求項３に記載されるように、請求項１に記載の手書き文字認識装置において、前記マイクはペン状の摺動音検出部に設けられ、前記ストローク検出部および文字認識部は別体に設けられ、前記マイクで採取された摺動音を無線により前記ストローク検出部に伝えるようにすることができる。   Further, as described in claim 3, in the handwritten character recognition device according to claim 1, the microphone is provided in a pen-like sliding sound detection unit, and the stroke detection unit and the character recognition unit are separate. The sliding sound collected by the microphone can be transmitted wirelessly to the stroke detection unit.

また、請求項４に記載されるように、請求項１に記載の手書き文字認識装置において、前記マイクはマウス内の摺動音検出部に設けられ、前記ストローク検出部および文字認識部は別体に設けられ、前記マイクで採取された摺動音を有線もしくは無線により前記ストローク検出部に伝えるようにすることができる。   Further, as described in claim 4, in the handwritten character recognition device according to claim 1, the microphone is provided in a sliding sound detection unit in a mouse, and the stroke detection unit and the character recognition unit are separated. The sliding sound collected by the microphone can be transmitted to the stroke detection unit by wire or wirelessly.

また、請求項５に記載されるように、請求項１に記載の手書き文字認識装置において、前記マイクはマウスパッド内の摺動音検出部に設けられ、前記ストローク検出部および文字認識部は別体に設けられ、前記マイクで採取された摺動音を有線もしくは無線により前記ストローク検出部に伝えるようにすることができる。   Further, as described in claim 5, in the handwritten character recognition device according to claim 1, the microphone is provided in a sliding sound detection unit in a mouse pad, and the stroke detection unit and the character recognition unit are separately provided. The sliding sound provided on the body and collected by the microphone can be transmitted to the stroke detection unit by wire or wirelessly.

また、請求項６に記載されるように、請求項１乃至５のいずれか一項に記載の手書き文字認識装置において、前記摺動音検出部の摺動音を生じさせる接触部の一方または双方の表面は、楕円断面の起毛が配置されているものとすることができる。   In addition, as described in claim 6, in the handwritten character recognition device according to any one of claims 1 to 5, one or both of the contact portions that generate the sliding sound of the sliding sound detection unit. The surface of the surface may be provided with raised portions having an elliptical cross section.

また、請求項７に記載されるように、請求項１乃至６のいずれか一項に記載の手書き文字認識装置において、前記ストローク検出部は、摺動音に含まれる無音期間からストロークの区切りを判断するようにすることができる。   Further, as described in claim 7, in the handwritten character recognition device according to any one of claims 1 to 6, the stroke detection unit delimits a stroke from a silent period included in the sliding sound. Judgment can be made.

また、請求項８に記載されるように、請求項１乃至７のいずれか一項に記載の手書き文字認識装置において、前記ストローク検出部は、摺動音に含まれる無音期間から文字の区切りを判断するようにすることができる。   Moreover, as described in claim 8, in the handwritten character recognition device according to any one of claims 1 to 7, the stroke detection unit delimits characters from a silent period included in the sliding sound. Judgment can be made.

また、請求項９に記載されるように、文字を書く際の摺動面との摺動音を採取する工程と、採取した摺動音を、予め文字を構成する各種のストロークにつき採取した摺動音を格納したストロークデータベースの摺動音と比較して、一致するストロークを特定する工程と、特定されたストロークの組から、文字コードとストロークの組とを対応付けた文字認識データベースのストロークの組と比較して、一致する文字コードを特定する工程とを備える手書き文字認識制御方法として構成することができる。   According to a ninth aspect of the present invention, the step of collecting the sliding sound with the sliding surface at the time of writing the character, and the sliding sound collected for each of various strokes constituting the character in advance. Compared with the sliding sound of the stroke database storing the moving sound, the step of identifying the matching stroke and the stroke of the character recognition database in which the character code and the stroke set are associated with each other from the identified stroke set. It can comprise as a handwritten character recognition control method provided with the process of specifying the character code which corresponds compared with a group.

本発明の手書き文字認識装置にあっては、指等で文字を書いた際の壁等の摺動面との摺動音を利用することで、書き手の本来のストロークを検出し、精度よく文字を認識することができる。   In the handwritten character recognition device of the present invention, the original stroke of the writer is detected by using the sliding sound with the sliding surface of the wall or the like when the character is written with a finger or the like, and the character is accurately detected. Can be recognized.

以下、本発明の好適な実施形態につき説明する。   Hereinafter, preferred embodiments of the present invention will be described.

<構成>
図１は本発明の一実施形態にかかる手書き文字認識装置の構成例を示す図である。 <Configuration>
FIG. 1 is a diagram illustrating a configuration example of a handwritten character recognition apparatus according to an embodiment of the present invention.

図１において、手書き文字認識装置は摺動音検出部１と手書き文字認識部２とから構成され、摺動音検出部１と手書き文字認識部２は無線（電波、赤外線等）もしくは有線（ケーブル）で接続される。また、手書き文字認識部２はＰＣ、ＰＤＡ、携帯電話等の情報端末３の内部に設けられている。なお、手書き文字認識部２を情報端末３とは別に独立して設けてもよい。   In FIG. 1, the handwritten character recognition device is composed of a sliding sound detecting unit 1 and a handwritten character recognizing unit 2, and the sliding sound detecting unit 1 and the handwritten character recognizing unit 2 are wireless (radio wave, infrared, etc.) or wired (cable ). The handwritten character recognition unit 2 is provided inside an information terminal 3 such as a PC, PDA, or mobile phone. The handwritten character recognition unit 2 may be provided independently of the information terminal 3.

摺動音検出部１は、ユーザの指等を壁、机等の上をこすって文字を書く際の摺動音を採取するマイク１１と、マイク１１の出力信号を増幅するマイクアンプ１２と、マイクアンプ１２の出力信号から摺動音以外のノイズ成分を除去するノイズフィルタ１３と、ノイズフィルタ１３の出力信号（摺動音信号）を無線もしくは有線により送信する摺動音送信部１４とを備えている。   The sliding sound detection unit 1 includes a microphone 11 that collects a sliding sound when writing a character by rubbing a user's finger or the like on a wall or a desk, a microphone amplifier 12 that amplifies an output signal of the microphone 11, A noise filter 13 that removes noise components other than sliding sound from the output signal of the microphone amplifier 12, and a sliding sound transmitter 14 that transmits the output signal (sliding sound signal) of the noise filter 13 wirelessly or by wire. ing.

また、手書き文字認識部２は、無線もしくは有線により摺動音検出部１から送信された摺動音信号を受信する摺動音受信部２１と、受信した摺動音信号がストロークの区切り（無音期間の長さから判断）に達した時点でストロークデータベース２０１の音声データと比較し、対応するストロークを検出するとともに、摺動音信号が文字の区切り（無音期間の長さから判断）に達した時点で、前回の文字の区切り以降に検出したストロークの組（構成ストローク）を出力するストローク検出部２２とを備えている。また、手書き文字認識部２は、ストローク検出部２２から入力した構成ストロークに基づいて文字認識データベース２０２を検索し、一致する構成ストロークを持つ文字（文字コード）を認識する文字認識部２３と、認識文字出力部２４の認識した文字（文字コード）を情報端末３の文字入力部３１に出力する認識文字出力部２４とを備えている。   The handwritten character recognizing unit 2 includes a sliding sound receiving unit 21 that receives the sliding sound signal transmitted from the sliding sound detecting unit 1 wirelessly or by wire, and the received sliding sound signal is divided into strokes (silences). When it reaches (determined from the length of the period), it compares with the voice data of the stroke database 201, detects the corresponding stroke, and the sliding sound signal reaches the character break (determined from the length of the silent period) A stroke detection unit 22 that outputs a set of strokes (composition strokes) detected after the previous character separation at the time is provided. The handwritten character recognizing unit 2 searches the character recognition database 202 based on the constituent stroke input from the stroke detecting unit 22 and recognizes a character (character code) having a matching constituent stroke. A recognized character output unit 24 that outputs a character (character code) recognized by the character output unit 24 to the character input unit 31 of the information terminal 3.

図２は摺動音検出部１、手書き文字認識部２および情報端末３の具体的な外観構成例を示す図である。図２（ａ）では、ユーザの指先に装着可能な指サック状の部材に摺動音検出部１を設けてあり、摺動音検出部１と手書き文字認識部２は無線で接続され、手書き文字認識部２は情報端末３の内部に設けられている。この例では、指先で壁等の摺動面Ｂをこすることにより、その摺動音が摺動音検出部１内部のマイク（１１）で拾われ、適宜に増幅・ノイズフィルタリングされた摺動音信号が手書き文字認識部２に無線で送信される。   FIG. 2 is a diagram illustrating a specific external configuration example of the sliding sound detection unit 1, the handwritten character recognition unit 2, and the information terminal 3. In FIG. 2A, a sliding sound detecting unit 1 is provided on a finger-sack-like member that can be worn on the user's fingertip. The sliding sound detecting unit 1 and the handwritten character recognizing unit 2 are connected wirelessly, and handwriting is performed. The character recognition unit 2 is provided inside the information terminal 3. In this example, by rubbing the sliding surface B such as a wall with a fingertip, the sliding sound is picked up by the microphone (11) inside the sliding sound detection unit 1, and the sliding is appropriately amplified and noise filtered. A sound signal is wirelessly transmitted to the handwritten character recognition unit 2.

図２（ｂ）では、ペン状の部材の内部に摺動音検出部１が設けられており、摺動音検出部１と手書き文字認識部２は無線で接続され、手書き文字認識部２は情報端末３の内部に設けられている。マイク（１１）はペン状の摺動音検出部１の先端部付近に設けられることが望ましい。この例では、ペン先で机等の摺動面Ｂをこすることにより、その摺動音が摺動音検出部１内部のマイク（１１）で拾われ、適宜に増幅・ノイズフィルタリングされた摺動音信号が手書き文字認識部２に無線で送信される。   In FIG.2 (b), the sliding sound detection part 1 is provided in the inside of a pen-shaped member, the sliding sound detection part 1 and the handwritten character recognition part 2 are connected by radio | wireless, and the handwritten character recognition part 2 is shown in FIG. It is provided inside the information terminal 3. The microphone (11) is preferably provided near the tip of the pen-like sliding sound detection unit 1. In this example, by rubbing the sliding surface B of a desk or the like with the pen tip, the sliding sound is picked up by the microphone (11) inside the sliding sound detection unit 1, and the sliding sound is appropriately amplified and noise filtered. A moving sound signal is wirelessly transmitted to the handwritten character recognition unit 2.

図２（ｃ）では、マウスの内部に摺動音検出部１が設けられており、摺動音検出部１と手書き文字認識部２はケーブル（有線）で接続され、手書き文字認識部２は情報端末３の内部に設けられている。この例では、マウスを机等の摺動面Ｂの上で動かすことにより、その摺動音が摺動音検出部１内部のマイク（１１）で拾われ、適宜に増幅・ノイズフィルタリングされた摺動音信号が手書き文字認識部２に有線で送信される。なお、マウスが無線式である場合には、摺動音検出部１と手書き文字認識部２の間を無線で接続してもよい。   In FIG.2 (c), the sliding sound detection part 1 is provided in the inside of a mouse | mouth, the sliding sound detection part 1 and the handwritten character recognition part 2 are connected with the cable (wired), and the handwritten character recognition part 2 is It is provided inside the information terminal 3. In this example, when the mouse is moved on the sliding surface B such as a desk, the sliding sound is picked up by the microphone (11) inside the sliding sound detection unit 1, and the sliding sound is appropriately amplified and noise filtered. The moving sound signal is transmitted to the handwritten character recognition unit 2 by wire. When the mouse is wireless, the sliding sound detection unit 1 and the handwritten character recognition unit 2 may be connected wirelessly.

なお、図１および図２では、手書き文字認識部２の小型化が比較的困難であることから、手書き文字認識部２を情報端末３側に設けてあるが、回路の小型化が容易である場合には、手書き文字認識部２を摺動音検出部１側に設けてもよい。その場合、摺動音送信部１４と摺動音受信部２１は不要となり、代わりに、認識文字出力部２４と情報端末３の文字入力部３１の間に無線もしくは有線による文字（文字コード）の送受信手段が設けられる。   In FIG. 1 and FIG. 2, since the handwritten character recognition unit 2 is relatively difficult to downsize, the handwritten character recognition unit 2 is provided on the information terminal 3 side, but the circuit can be easily downsized. In this case, the handwritten character recognition unit 2 may be provided on the sliding sound detection unit 1 side. In that case, the sliding sound transmitting unit 14 and the sliding sound receiving unit 21 are not necessary, and instead of a character (character code) wirelessly or wired between the recognized character output unit 24 and the character input unit 31 of the information terminal 3. A transmission / reception means is provided.

また、図２（ｂ）ではペン状の部材の内部に摺動音検出部１が設けられ、図２（ｃ）ではマウスの内部に摺動音検出部１が設けられるとしたが、摺動面Ｂとなるマウスパッド等の内部に摺動音検出部１を設けるようにしてもよい。   In FIG. 2B, the sliding sound detection unit 1 is provided inside the pen-shaped member, and in FIG. 2C, the sliding sound detection unit 1 is provided inside the mouse. You may make it provide the sliding sound detection part 1 in the inside of the mouse pad etc. which become the surface B. FIG.

更に、音の誤解析をより低減する目的で、摺動面に工夫をすることができる。例えば、図２（ａ）の指サック状の部材を指の先端まで延びるものとし、その先端表面に楕円断面の起毛を配置し、摺動音の周波数を意図的に異ならせるようにすることができる。図２（ｂ）のペン状の部材の先端表面や、図２（ｃ）のマウスの裏面に楕円断面の起毛を配置してもよい。図２（ａ）〜（ｃ）の摺動面Ｂの表面に楕円断面の起毛を配置してもよい。   Furthermore, the sliding surface can be devised for the purpose of further reducing sound misanalysis. For example, it is assumed that the finger-sac-shaped member in FIG. 2 (a) extends to the tip of the finger, and the raised surface of the elliptical cross section is arranged on the tip surface to intentionally vary the frequency of the sliding sound. it can. Brushed portions having an elliptical cross section may be disposed on the front end surface of the pen-like member in FIG. You may arrange | position the raising | fluff of an elliptical cross section on the surface of the sliding surface B of Fig.2 (a)-(c).

図３はストロークデータベース２０１の構造例を示す図であり、（ａ）はレコードの構成を示し、（ｂ）はストロークの特徴を示している。図３（ａ）において、ストロークデータベース２０１は複数のレコードから構成され、各レコードは、ストロークを識別する「ストローク番号」フィールドと、予め該当するストロークについて採取された「音声データ」フィールドとを含んでいる。レコード内の音声データはリファレンスのみとし、音声データ本体は別に保持してもよい。   3A and 3B are diagrams showing an example of the structure of the stroke database 201. FIG. 3A shows the structure of the record, and FIG. 3B shows the features of the stroke. In FIG. 3A, the stroke database 201 is composed of a plurality of records, and each record includes a “stroke number” field for identifying a stroke and an “audio data” field collected for the corresponding stroke in advance. Yes. The audio data in the record may be a reference only, and the audio data body may be held separately.

（ｂ）において、例えば、ストローク番号「４４」のストロークは上から下に向かう短い直線であり、カーブ音は「０」、直線音は「１００」、跳ね上げ音は「０」、上向き音は「０」、下向き音は「１００」、右向き音は「０」、左向き音は「０」、連続時間は「１０」という特徴を有している。また、ストローク番号「４５」のストロークは左から右に向かう比較的長い直線であり、カーブ音は「０」、直線音は「１００」、跳ね上げ音は「０」、上向き音は「０」、下向き音は「０」、右向き音は「１００」、左向き音は「０」、連続時間は「６０」という特徴を有している。また、ストローク番号「４６」のストロークは上から右下に向かう長い曲線であり、カーブ音は「６０」、直線音は「０」、跳ね上げ音は「２０」、上向き音は「０」、下向き音は「７０」、右向き音は「６０」、左向き音は「０」、連続時間は「８０」という特徴を有している。また、ストローク番号「４７」のストロークは上から左下に向かう長い曲線であり、カーブ音は「６０」、直線音は「０」、跳ね上げ音は「３０」、上向き音は「０」、下向き音は「７０」、右向き音は「０」、左向き音は「６０」、連続時間は「８０」という特徴を有している。   In (b), for example, the stroke of the stroke number “44” is a short straight line from the top to the bottom, the curve sound is “0”, the straight line sound is “100”, the jumping sound is “0”, and the upward sound is “0”, downward sound is “100”, rightward sound is “0”, leftward sound is “0”, and continuous time is “10”. The stroke with the stroke number “45” is a relatively long straight line from left to right. The curve sound is “0”, the straight line sound is “100”, the jumping sound is “0”, and the upward sound is “0”. The downward sound is “0”, the right sound is “100”, the left sound is “0”, and the continuous time is “60”. The stroke number “46” is a long curve from the top to the bottom right, the curve sound is “60”, the straight line sound is “0”, the jumping sound is “20”, the upward sound is “0”, The downward sound is “70”, the right sound is “60”, the left sound is “0”, and the continuous time is “80”. The stroke with the stroke number “47” is a long curve from the top to the bottom left, the curve sound is “60”, the straight line sound is “0”, the bounce sound is “30”, the upward sound is “0”, the downward sound The sound is characterized by “70”, rightward sound “0”, leftward sound “60”, and continuous time “80”.

図４は文字認識データベース２０２の構造例を示す図であり、（ａ）はレコードの構成を示し、（ｂ）は文字コードと構成ストロークの関係の例を示している。図４（ａ）において、文字認識データベース２０２は複数のレコードから構成され、各レコードは、文字を識別する「文字コード」フィールドと、当該文字コードの文字を構成するストローク番号の組を示す「構成ストローク」フィールドとを含んでいる。図４（ｂ）は、文字コード「６５８７」の「文」という文字が、図３（ｂ）に示したストローク番号「４５」「４６」「４７」「４８」の４つのストロークから構成されることを示している。   4A and 4B are diagrams showing an example of the structure of the character recognition database 202. FIG. 4A shows the structure of a record, and FIG. 4B shows an example of the relationship between character codes and constituent strokes. In FIG. 4A, the character recognition database 202 is composed of a plurality of records, and each record includes a “character code” field for identifying a character and a “configuration” indicating a set of stroke numbers constituting the character of the character code. "Stroke" field. In FIG. 4B, the character “sentence” of the character code “6587” is composed of the four strokes “45”, “46”, “47”, and “48” shown in FIG. It is shown that.

<動作>
図５は上記の実施形態の処理例を示すフローチャートである。 <Operation>
FIG. 5 is a flowchart showing a processing example of the above embodiment.

図５において、摺動音検出部１はマイク１１により摺動音を採取し、マイクアンプ１２により適宜に増幅し、ノイズフィルタ１３によりノイズを除去した後（ステップＳ１１）、摺動音送信部１４により摺動音信号を手書き文字認識部２に向けて送信する（ステップＳ１２）。摺動音の送信はアナログ状態でも、デジタル化した状態のいずれでもよい。摺動音の採取（ステップＳ１１）および摺動音の送信（ステップＳ１２）は摺動音検出部１が動作している間、繰り返し行われる。   In FIG. 5, the sliding sound detection unit 1 collects the sliding sound by the microphone 11, amplifies it appropriately by the microphone amplifier 12, removes the noise by the noise filter 13 (step S <b> 11), and then the sliding sound transmission unit 14. Thus, the sliding sound signal is transmitted toward the handwritten character recognition unit 2 (step S12). The sliding sound may be transmitted in an analog state or a digital state. The collection of the sliding sound (step S11) and the transmission of the sliding sound (step S12) are repeatedly performed while the sliding sound detection unit 1 is operating.

次いで、手書き文字認識部２は摺動音受信部２１により摺動音を受信すると（ステップＳ２１）、受信した摺動音を一時的に記録しつつ、ストローク検出部２２により摺動音からストロークの区切りを検出したか否か判断する（ステップＳ２２）。ストロークの区切りは無音期間の長さから判断する。   Next, when the handwritten character recognizing unit 2 receives the sliding sound by the sliding sound receiving unit 21 (step S21), the stroke detecting unit 22 detects the stroke from the sliding sound while temporarily recording the received sliding sound. It is determined whether a break has been detected (step S22). Stroke breaks are determined from the length of the silent period.

ストロークの区切りを検出していない場合（ステップＳ２２のＮｏ）、摺動音の受信（ステップＳ２１）に戻る。   If no stroke break is detected (No in step S22), the process returns to the reception of the sliding sound (step S21).

また、ストロークの区切りを検出した場合（ステップＳ２２のＹｅｓ）、ストローク検出部２２によりストロークデータベース２０１を検索し、受信した１ストローク分の摺動音と登録された音声データとの比較を行い（ステップＳ２３）、特徴が最も近い音声データに対応するストローク番号を特定して保持する（ステップＳ２４）。なお、受信した１ストローク分の摺動音とストロークデータベース２０１に登録された音声データとの比較にあっては、摺動音検出部１から受信した摺動音がアナログ信号である場合には、デジタル化して比較を行う。なお、ストロークデータベース２０１に登録された音声データをアナログ化し、アナログ的に比較を行ってもよい。また、比較にあっては、ストロークデータベース２０１に登録された音声データと摺動音検出部１から受信した摺動音の全長およびベースとなる周波数を標準化することが、ストロークデータベース２０１にサンプルとして登録する音声データを削減する上で望ましい。そうでない場合は、同じストローク番号につき、種々の全長もしくは周波数についての音声データを登録しておくことで対応することができる。   If a stroke delimiter is detected (Yes in step S22), the stroke database 201 is searched by the stroke detection unit 22, and the received sliding sound for one stroke is compared with the registered voice data (step). S23), the stroke number corresponding to the voice data having the closest feature is specified and held (step S24). In comparison between the received sliding sound for one stroke and the voice data registered in the stroke database 201, when the sliding sound received from the sliding sound detection unit 1 is an analog signal, Digitize and compare. Note that the audio data registered in the stroke database 201 may be analogized and compared in an analog manner. For comparison, standardizing the voice data registered in the stroke database 201 and the total length of the sliding sound received from the sliding sound detection unit 1 and the base frequency is registered as a sample in the stroke database 201. This is desirable for reducing audio data to be played. If this is not the case, it is possible to cope with the same stroke number by registering voice data for various full lengths or frequencies.

次いで、ストローク検出部２２により摺動音から文字の区切りを検出したか否か判断する（ステップＳ２５）。文字の区切りは無音期間の長さから判断する。文字の区切りの無音期間はストロークの区切りの無音期間よりも長いため、両者を区別することができる。   Next, it is determined whether or not a character break is detected from the sliding sound by the stroke detection unit 22 (step S25). Character separation is determined from the length of the silent period. Since the silent period of the character delimiter is longer than the silent period of the stroke delimiter, the two can be distinguished.

文字の区切りを検出していない場合（ステップＳ２５のＮｏ）、摺動音の受信（ステップＳ２１）に戻る。   When the character delimiter is not detected (No in step S25), the process returns to the reception of the sliding sound (step S21).

また文字の区切りを検出した場合（ステップＳ２５のＹｅｓ）、ストローク検出部２２は前回の文字の区切り以降に検出したストロークの組（構成ストローク）を文字認識部２３に出力し、文字認識部２３は文字認識データベース２０２の構成ストロークと比較を行い（ステップＳ２６）、構成ストロークが一致する文字コードを認識文字として情報端末３の文字入力部３１に出力する（ステップＳ２７）。その後、摺動音の受信（ステップＳ２１）に戻る。   If a character break is detected (Yes in step S25), the stroke detection unit 22 outputs a set of strokes (composition strokes) detected after the previous character break to the character recognition unit 23, and the character recognition unit 23 A comparison is made with the constituent strokes of the character recognition database 202 (step S26), and a character code having the same constituent stroke is output to the character input unit 31 of the information terminal 3 as a recognized character (step S27). Thereafter, the process returns to the reception of the sliding sound (step S21).

図６はストローク番号および文字コードの特定の例を示す図であり、「文」という文字を指先等でこすって書く過程で、各ストロークがストローク番号「４４」→「４５」→「４７」→「４６」と順に特定され、構成ストローク「４４、４５、４７、４６」から文字コード「６５８７」の文字「文」が特定されることを示している。   FIG. 6 is a diagram showing a specific example of a stroke number and a character code. In the process of writing a character “sentence” by rubbing with a fingertip or the like, each stroke has a stroke number “44” → “45” → “47” → “46” is specified in order, and the character “sentence” of the character code “6587” is specified from the constituent strokes “44, 45, 47, 46”.

また、図７は情報端末３への文字入力の画面例を示す図であり、（ａ）のような検索文字入力欄にカーソルがある状態で、図６のような動作が行われることで、（ｂ）のように検索文字入力欄に文字「文」が入力された状態を示している。   Moreover, FIG. 7 is a figure which shows the example of a screen of the character input to the information terminal 3, and when operation | movement like FIG. 6 is performed in the state where the cursor exists in the search character input column like (a), As shown in (b), a state in which the character “sentence” is input in the search character input field is shown.

なお、ストロークから直接に漢字を特定する例について説明したが、ひらがな・カタカナの入力を受け付けてひらがな・カタカナの文字を特定した上で、既存の仮名漢字変換装置と組み合わせることで漢字を特定してもよい。前記「文」の例では、ひらがな「ぶ」「ん」の入力を受け付け、仮名漢字変換装置に入力することにより「文」を特定することになる。   In addition, although the example which specifies a Chinese character directly from a stroke was explained, after receiving the input of Hiragana / Katakana and specifying the character of Hiragana / Katakana, the Chinese character was specified by combining with the existing Kana-Kanji conversion device. Also good. In the example of “sentence”, the input of hiragana “bu” and “n” is accepted, and the “sentence” is specified by inputting to the kana-kanji conversion device.

また、ストロークの入力に関しては、筆順予測や、筆順誤りを考慮した予測等、既存の手書き文字認識で利用される入力予測と組み合わせて適用してもよい。   In addition, stroke input may be applied in combination with input prediction used in existing handwritten character recognition, such as stroke order prediction or prediction considering stroke order errors.

<総括>
以上説明したように、本発明の実施形態によれば、指等で文字を書いた際の壁等の摺動面との摺動音を利用することで、書き手の本来のストロークを検出し、精度よく文字を認識することができる。 <Summary>
As described above, according to the embodiment of the present invention, the original stroke of the writer is detected by using a sliding sound with a sliding surface such as a wall when a character is written with a finger or the like. Characters can be recognized with high accuracy.

以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。   The present invention has been described above by the preferred embodiments of the present invention. While the invention has been described with reference to specific embodiments, various modifications and changes may be made to the embodiments without departing from the broad spirit and scope of the invention as defined in the claims. Obviously you can. In other words, the present invention should not be construed as being limited by the details of the specific examples and the accompanying drawings.

本発明の一実施形態にかかる手書き文字認識装置の構成例を示す図である。It is a figure which shows the structural example of the handwritten character recognition apparatus concerning one Embodiment of this invention. 具体的な外観構成例を示す図である。It is a figure which shows the example of a specific external appearance structure. ストロークデータベースの構造例を示す図である。It is a figure which shows the structural example of a stroke database. 文字認識データベースの構造例を示す図である。It is a figure which shows the structural example of a character recognition database. 実施形態の処理例を示すフローチャートである。It is a flowchart which shows the process example of embodiment. ストローク番号および文字コードの特定の例を示す図である。It is a figure which shows the specific example of a stroke number and a character code. 情報端末への文字入力の画面例を示す図である。It is a figure which shows the example of a screen of the character input to an information terminal.

符号の説明Explanation of symbols

１ 摺動音検出部
１１ マイク
１２ マイクアンプ
１３ ノイズフィルタ
１４ 摺動音送信部
２ 手書き文字認識部
２１ 摺動音受信部
２２ ストローク検出部
２３ 文字認識部
２４ 認識文字出力部
２０１ ストロークデータベース
２０２ 文字認識データベース
３ 情報端末
３１ 文字入力部
Ｂ 摺動面 DESCRIPTION OF SYMBOLS 1 Sliding sound detection part 11 Microphone 12 Microphone amplifier 13 Noise filter 14 Sliding sound transmission part 2 Handwritten character recognition part 21 Sliding sound reception part 22 Stroke detection part 23 Character recognition part 24 Recognition character output part 201 Stroke database 202 Character recognition Database 3 Information terminal 31 Character input part B Sliding surface

Claims (9)

文字を書く際の摺動面との摺動音を採取するマイクと、
前記マイクにより採取した摺動音を、予め文字を構成する各種のストロークにつき採取した摺動音を格納したストロークデータベースの摺動音と比較して、一致するストロークを特定するストローク検出部と、
特定されたストロークの組から、文字コードとストロークの組とを対応付けた文字認識データベースのストロークの組と比較して、一致する文字コードを特定する文字認識部と
を備えたことを特徴とする手書き文字認識装置。 A microphone that collects the sliding sound with the sliding surface when writing characters;
Comparing the sliding sound collected by the microphone with the sliding sound of the stroke database storing the sliding sound previously collected for various strokes constituting the character, and a stroke detection unit for identifying a matching stroke;
A character recognition unit that identifies a character code that matches the character code and the stroke set in the character recognition database in which the character code and the stroke set are associated with each other is provided. Handwritten character recognition device. 請求項１に記載の手書き文字認識装置において、
前記マイクは指サック状の摺動音検出部に設けられ、
前記ストローク検出部および文字認識部は別体に設けられ、
前記マイクで採取された摺動音を無線により前記ストローク検出部に伝える
ことを特徴とする手書き文字認識装置。 The handwritten character recognition device according to claim 1,
The microphone is provided in a finger suck-like sliding sound detection unit,
The stroke detection unit and the character recognition unit are provided separately,
A handwritten character recognition apparatus characterized in that a sliding sound collected by the microphone is transmitted wirelessly to the stroke detection unit. 請求項１に記載の手書き文字認識装置において、
前記マイクはペン状の摺動音検出部に設けられ、
前記ストローク検出部および文字認識部は別体に設けられ、
前記マイクで採取された摺動音を無線により前記ストローク検出部に伝える
ことを特徴とする手書き文字認識装置。 The handwritten character recognition device according to claim 1,
The microphone is provided in a pen-like sliding sound detection unit,
The stroke detection unit and the character recognition unit are provided separately,
A handwritten character recognition apparatus characterized in that a sliding sound collected by the microphone is transmitted wirelessly to the stroke detection unit. 請求項１に記載の手書き文字認識装置において、
前記マイクはマウス内の摺動音検出部に設けられ、
前記ストローク検出部および文字認識部は別体に設けられ、
前記マイクで採取された摺動音を有線もしくは無線により前記ストローク検出部に伝える
ことを特徴とする手書き文字認識装置。 The handwritten character recognition device according to claim 1,
The microphone is provided in a sliding sound detection unit in the mouse,
The stroke detection unit and the character recognition unit are provided separately,
A handwritten character recognition apparatus, wherein a sliding sound collected by the microphone is transmitted to the stroke detection unit by wire or wirelessly. 請求項１に記載の手書き文字認識装置において、
前記マイクはマウスパッド内の摺動音検出部に設けられ、
前記ストローク検出部および文字認識部は別体に設けられ、
前記マイクで採取された摺動音を有線もしくは無線により前記ストローク検出部に伝える
ことを特徴とする手書き文字認識装置。 The handwritten character recognition device according to claim 1,
The microphone is provided in a sliding sound detection unit in the mouse pad,
The stroke detection unit and the character recognition unit are provided separately,
A handwritten character recognition apparatus, wherein a sliding sound collected by the microphone is transmitted to the stroke detection unit by wire or wirelessly. 請求項１乃至５のいずれか一項に記載の手書き文字認識装置において、
前記摺動音検出部の摺動音を生じさせる接触部の一方または双方の表面は、楕円断面の起毛が配置されている
ことを特徴とする手書き文字認識装置。 In the handwritten character recognition device according to any one of claims 1 to 5,
An apparatus for recognizing handwritten characters, wherein one or both surfaces of the contact portion that generates the sliding sound of the sliding sound detecting portion are arranged with raised brushes having an elliptical cross section. 請求項１乃至６のいずれか一項に記載の手書き文字認識装置において、
前記ストローク検出部は、摺動音に含まれる無音期間からストロークの区切りを判断する
ことを特徴とする手書き文字認識装置。 In the handwritten character recognition device according to any one of claims 1 to 6,
The handwritten character recognition device, wherein the stroke detection unit determines a break of a stroke from a silent period included in a sliding sound. 請求項１乃至７のいずれか一項に記載の手書き文字認識装置において、
前記ストローク検出部は、摺動音に含まれる無音期間から文字の区切りを判断する
ことを特徴とする手書き文字認識装置。 In the handwritten character recognition device according to any one of claims 1 to 7,
The handwritten character recognition apparatus, wherein the stroke detection unit determines a character break from a silent period included in a sliding sound. 文字を書く際の摺動面との摺動音を採取する工程と、
採取した摺動音を、予め文字を構成する各種のストロークにつき採取した摺動音を格納したストロークデータベースの摺動音と比較して、一致するストロークを特定する工程と、
特定されたストロークの組から、文字コードとストロークの組とを対応付けた文字認識データベースのストロークの組と比較して、一致する文字コードを特定する工程と
を備えたことを特徴とする手書き文字認識制御方法。 Collecting the sliding sound with the sliding surface when writing characters;
Comparing the collected sliding sound with the sliding sound of the stroke database storing the sliding sound collected in advance for various strokes constituting the character, and identifying a matching stroke;
A handwritten character comprising a step of identifying a matching character code by comparing with a stroke set of a character recognition database in which a character code and a stroke set are associated with each other from the identified stroke set Recognition control method.
JP2008063148A 2008-03-12 2008-03-12 Handwritten character recognition device Expired - Fee Related JP4927009B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008063148A JP4927009B2 (en) 2008-03-12 2008-03-12 Handwritten character recognition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008063148A JP4927009B2 (en) 2008-03-12 2008-03-12 Handwritten character recognition device

Publications (2)

Publication Number Publication Date
JP2009217733A true JP2009217733A (en) 2009-09-24
JP4927009B2 JP4927009B2 (en) 2012-05-09

Family

ID=41189477

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008063148A Expired - Fee Related JP4927009B2 (en) 2008-03-12 2008-03-12 Handwritten character recognition device

Country Status (1)

Country Link
JP (1) JP4927009B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011254188A (en) * 2010-06-01 2011-12-15 Sony Corp Audio signal processor, microphone device, audio signal processing method, program
JP2013029912A (en) * 2011-07-27 2013-02-07 Pentel Corp Handwritten character recognition device
JP2015001978A (en) * 2013-06-17 2015-01-05 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． Method of recognizing motion using gripped object, and device and system therefor

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0676116A (en) * 1992-08-24 1994-03-18 Oki Electric Ind Co Ltd On-line character recognizing device
JPH07121294A (en) * 1993-08-31 1995-05-12 Nippon Telegr & Teleph Corp <Ntt> Normal wear type input system, normal wear type intention transmission system, normal wear type musical keyboard system, and normal wear type braille input/ output system
JPH10301702A (en) * 1997-04-30 1998-11-13 Ricoh Co Ltd Pen type inputting device and pattern recognition method for the same
JP2001236174A (en) * 2000-02-25 2001-08-31 Fujitsu Ltd Device for inputting handwritten character and method for recognizing handwritten character
JP2004021917A (en) * 2002-06-20 2004-01-22 Fujitsu Ltd Electronic document preparing device
JP2005215888A (en) * 2004-01-28 2005-08-11 Yasunori Kobori Display device for text sentence
JP2005301874A (en) * 2004-04-15 2005-10-27 Kddi Corp Character input device using track point
WO2007077070A1 (en) * 2005-12-30 2007-07-12 International Business Machines Corporation Video-based handwriting input method and apparatus

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0676116A (en) * 1992-08-24 1994-03-18 Oki Electric Ind Co Ltd On-line character recognizing device
JPH07121294A (en) * 1993-08-31 1995-05-12 Nippon Telegr & Teleph Corp <Ntt> Normal wear type input system, normal wear type intention transmission system, normal wear type musical keyboard system, and normal wear type braille input/ output system
JPH10301702A (en) * 1997-04-30 1998-11-13 Ricoh Co Ltd Pen type inputting device and pattern recognition method for the same
JP2001236174A (en) * 2000-02-25 2001-08-31 Fujitsu Ltd Device for inputting handwritten character and method for recognizing handwritten character
JP2004021917A (en) * 2002-06-20 2004-01-22 Fujitsu Ltd Electronic document preparing device
JP2005215888A (en) * 2004-01-28 2005-08-11 Yasunori Kobori Display device for text sentence
JP2005301874A (en) * 2004-04-15 2005-10-27 Kddi Corp Character input device using track point
WO2007077070A1 (en) * 2005-12-30 2007-07-12 International Business Machines Corporation Video-based handwriting input method and apparatus

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011254188A (en) * 2010-06-01 2011-12-15 Sony Corp Audio signal processor, microphone device, audio signal processing method, program
US8699718B2 (en) 2010-06-01 2014-04-15 Sony Corporation Sound signal processing apparatus, microphone apparatus, sound signal processing method, and program
US9485569B2 (en) 2010-06-01 2016-11-01 Sony Corporation Sound signal processing apparatus, microphone apparatus, sound signal processing method, and program
JP2013029912A (en) * 2011-07-27 2013-02-07 Pentel Corp Handwritten character recognition device
JP2015001978A (en) * 2013-06-17 2015-01-05 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． Method of recognizing motion using gripped object, and device and system therefor
US10019078B2 (en) 2013-06-17 2018-07-10 Samsung Electronics Co., Ltd. Device, method, and system to recognize motion using gripped object
US10649549B2 (en) 2013-06-17 2020-05-12 Samsung Electronics Co., Ltd. Device, method, and system to recognize motion using gripped object

Also Published As

Publication number Publication date
JP4927009B2 (en) 2012-05-09

Similar Documents

Publication Publication Date Title
US8165398B2 (en) Method and device for handwriting detection
CN106716317B (en) Method and apparatus for resolving touch discontinuities
KR100518824B1 (en) Motion recognition system capable of distinguishment a stroke for writing motion and method thereof
JP5166008B2 (en) A device for entering text
US8749531B2 (en) Method for receiving input on an electronic device and outputting characters based on sound stroke patterns
US20040047505A1 (en) Stylus computer
TWI374391B (en) Method for recognizing writing motion and trajectory and apparatus for writing and recognizing system
US20070154116A1 (en) Video-based handwriting input method and apparatus
US20160005150A1 (en) Systems to enhance data entry in mobile and fixed environment
KR20100029219A (en) Multi-modal smartpen computing system
JP2007316732A (en) Item selection device, information processor and computer program for item selection
WO2012093657A1 (en) Hand-written character input device and portable terminal
CN100416474C (en) Rapid input device
JP4927009B2 (en) Handwritten character recognition device
KR101053411B1 (en) Character input method and terminal
AU2007202065A1 (en) Stylus computer
JP2008090624A (en) Input character edition device, input character edition method, input character edition program and recording medium
WO2003058394A2 (en) Stylus computer and method of manipulating data
CN104571603B (en) A kind of aerial hand writing system and writing pencil
US20070109271A1 (en) [a portable storage device with handwritten input device]
JP2009099041A (en) Pen type input device
CN106886283A (en) Characters input method, device and system
EP1780625A1 (en) Data input device and method and computer program product
Ding et al. Handwriting recognition system leveraging vibration signal on smartphones
US20160162446A1 (en) Electronic device, method and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090624

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120117

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120208

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150217

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4927009

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees
S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350