JP2016224602A - Information reading device - Google Patents
Information reading device Download PDFInfo
- Publication number
- JP2016224602A JP2016224602A JP2015108452A JP2015108452A JP2016224602A JP 2016224602 A JP2016224602 A JP 2016224602A JP 2015108452 A JP2015108452 A JP 2015108452A JP 2015108452 A JP2015108452 A JP 2015108452A JP 2016224602 A JP2016224602 A JP 2016224602A
- Authority
- JP
- Japan
- Prior art keywords
- character
- area
- recognized
- image
- characters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 claims description 84
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 description 80
- 238000000034 method Methods 0.000 description 59
- 230000008569 process Effects 0.000 description 50
- 238000005286 illumination Methods 0.000 description 44
- 230000003287 optical effect Effects 0.000 description 28
- 230000006870 function Effects 0.000 description 23
- 238000012545 processing Methods 0.000 description 16
- 230000002093 peripheral effect Effects 0.000 description 11
- 239000000126 substance Substances 0.000 description 9
- 239000000428 dust Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 239000011247 coating layer Substances 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 239000010410 layer Substances 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 229920000122 acrylonitrile butadiene styrene Polymers 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 239000011347 resin Substances 0.000 description 2
- 229920005989 resin Polymers 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 239000004925 Acrylic resin Substances 0.000 description 1
- 229920000178 Acrylic resin Polymers 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 239000004570 mortar (masonry) Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Character Discrimination (AREA)
Abstract
Description
本発明は、撮像した文字情報に関する文字認識機能を有する情報読取装置に関するものである。 The present invention relates to an information reading apparatus having a character recognition function related to captured character information.
従来、外国人観光客の免税書類は、パスポート(旅券)を目視してその文字を手書きで書き写して作成されていたが、外国人観光客の増加に伴い、パスポートに記載されている文字を撮像して文字認識して得られた読み取りデータを利用することで免税書類の作成時間を短縮したいというニーズが増加している。 Traditionally, tax-exempt documents for foreign tourists were created by visually observing the passport (passport) and handwriting the text, but as the number of foreign tourists increases, the characters on the passport are captured. There is an increasing need to reduce the time for creating tax-exempt documents by using the read data obtained by character recognition.
このような撮像した文字を認識する技術として、例えば、下記特許文献1に開示される光学式文字認識機能付携帯電話機器が知られている。この携帯電話機器のメモリには、URLや電話番号、メールアドレス等の特徴的な文字列の情報が予め記憶されており、入力された文字コードがいずれかの特徴的な文字列に該当すると判断されると、上記文字コードがその特徴的な文字列の形式に合致するように修正される。これにより、文字読み取りの際の誤読または不読率の低減を図っている。
As a technique for recognizing such captured characters, for example, a mobile phone device with an optical character recognition function disclosed in
ところで、文字認識はバーコードや二次元コード等の情報コードの読み取りよりも誤読率が高く、誤読された文字が免税書類にそのまま記載されてしまうと、免税手続きに支障が出てしまう。しかしながら、上記特許文献1のような方法では、特徴的な文字列の情報を予めメモリ等に記憶する必要があるだけでなく、特徴的な文字列と異なる文字列では誤読か否かを判定することができず誤読の可能性が高い文字がそのまま出力されてしまうという問題がある。
By the way, character recognition has a higher misreading rate than reading information codes such as barcodes and two-dimensional codes, and if the misread characters are written as they are in the tax exemption document, the tax exemption procedure will be hindered. However, in the method as described in
本発明は、上述した課題を解決するためになされたものであり、その目的とするところは、文字認識の際に誤読の可能性がある文字を特定して報知し得る情報読取装置を提供することにある。 The present invention has been made to solve the above-described problems, and an object of the present invention is to provide an information reading apparatus capable of specifying and notifying a character having a possibility of misreading during character recognition. There is.
上記目的を達成するため、特許請求の範囲の請求項1に記載の情報読取装置は、表示媒体(100)に表示された文字列(102)を撮像する撮像手段(23)と、前記撮像手段により撮像された撮像画像において文字として認識される可能性がある文字画像と文字テンプレートとを比較して最も高くなる一致率(H)を文字ごとに算出する一致率算出手段(40)と、前記一致率算出手段により算出された前記一致率を利用して前記文字画像から文字を認識する文字認識手段(40)と、前記文字認識手段による認識結果を報知する認識結果報知手段(40)と、を備え、前記文字認識手段は、前記一致率が誤読の可能性が低いとみなされる第1の閾値(Hth1)以上となる前記文字画像を確定文字として認識し、前記一致率が誤読の可能性が高いとみなされる第2の閾値(Hth2)以下となる前記文字画像を文字認識できない文字未検出画像として認識し、前記一致率が前記第2の閾値を超えかつ前記第1の閾値未満となる前記文字画像を候補文字として認識し、前記認識結果報知手段は、前記候補文字を誤読の可能性がある文字として報知することを特徴とする。
なお、上記各括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。
In order to achieve the above object, an information reading apparatus according to
In addition, the code | symbol in each said parenthesis shows the correspondence with the specific means as described in embodiment mentioned later.
請求項1の発明では、一致率算出手段により、撮像手段にて撮像された撮像画像において文字として認識される可能性がある文字画像と文字テンプレートとを比較して最も高くなる一致率が文字ごとに算出される。そして、文字認識手段により、一致率が誤読の可能性が低いとみなされる第1の閾値以上となる文字画像が確定文字として認識され、一致率が誤読の可能性が高いとみなされる第2の閾値以下となる文字画像が文字認識できない文字未検出画像として認識され、一致率が第2の閾値を超えかつ第1の閾値未満となる文字画像が候補文字として認識される。そして、認識結果報知手段より文字認識手段による認識結果が報知される際、上記候補文字が誤読の可能性がある文字として報知される。 According to the first aspect of the present invention, the matching rate calculating unit compares the character image that may be recognized as the character in the captured image captured by the imaging unit with the character template, and the matching rate that is the highest for each character. Is calculated. Then, the character recognition unit recognizes a character image having a matching rate equal to or higher than a first threshold value that is considered to be low as a possibility of misreading as a confirmed character, and a matching rate is regarded as high as a possibility of misreading. A character image that is equal to or lower than the threshold value is recognized as a character undetected image that cannot be recognized, and a character image that has a matching rate exceeding the second threshold value and less than the first threshold value is recognized as a candidate character. And when the recognition result by a character recognition means is alert | reported from a recognition result alerting | reporting means, the said candidate character is alert | reported as a character with a possibility of misreading.
これにより、誤読の可能性が低い文字(確定文字)とともに誤読の可能性がある文字(候補文字)が報知される場合でも、どの文字が誤読の可能性がある文字であるかを容易に特定することができる。このように、文字認識の際に誤読の可能性がある文字(候補文字)を特定して報知するため、確定文字と候補文字とを区別して表示媒体の文字列を元に確認できるので、その確認作業および必要であればその修正作業を容易に行うことができる。 This makes it easy to identify which characters are likely to be misread, even when characters that are likely to be misread (candidate characters) are notified together with characters that are less likely to be misread (fixed characters) can do. In this way, in order to identify and notify characters (candidate characters) that may be misread during character recognition, it is possible to distinguish between confirmed characters and candidate characters based on the character string of the display medium. Confirmation work and correction work can be easily performed if necessary.
請求項2の発明では、表示媒体の文字列が表示されるエリアについて、アルファベットのみが配置される第1のエリアと数字のみが配置される第2のエリアとに関するエリア情報が予め記憶手段に記憶されている。そして、記憶手段のエリア情報に基づいて、候補文字がアルファベットと数字との形状が似ている一対の類似文字の一方であるとき、数字と認識された候補文字のうち第1のエリアに配置される文字が上記一対の類似文字の他方となるアルファベットとして認識され、アルファベットと認識された候補文字のうち第2のエリアに配置される文字が上記一対の類似文字の他方となる数字として認識される。
In the invention of
例えば、パスポートのようにアルファベットのみが配置されるエリアや数字のみが配置されるエリアが決まっている表示媒体の文字列に関して文字認識する場合がある。このような場合には、アルファベットと数字との形状が似ているために誤読している候補文字があっても、予め記憶される上記エリア情報に基づいてその候補文字がそのエリアの条件に応じた文字に修正されるように認識されることで、文字認識精度を向上させることができる。 For example, there is a case where characters are recognized with respect to a character string of a display medium in which an area where only alphabets are arranged or an area where only numbers are arranged, such as a passport, is determined. In such a case, even if there is a candidate character misread because the shapes of the alphabet and numbers are similar, the candidate character is determined according to the conditions of the area based on the area information stored in advance. Character recognition accuracy can be improved by recognizing the character so as to be corrected.
請求項3の発明では、認識結果報知手段により、表示媒体の文字列に対して候補文字の位置を示す情報を含めた文字認識手段による認識結果が外部に出力することで報知される。これにより、認識結果を取得した外部の機器等でも、確定文字と候補文字とを区別して表示媒体の文字列を元に確認することができる。
In the invention of
請求項4の発明では、撮像手段により撮像された画像について文字認識手段により文字と認識される全ての文字領域の平均明度が平均明度算出手段により算出される。そして、複数の文字領域のうち平均明度と比較して印字状態が異なるとみなされる明度の異色文字領域があると判定手段により判定されると、表示媒体に異物が付着していることが異物付着報知手段により報知される。
In the invention of
表示媒体の文字列にゴミ等の異物が付着していると、撮像された文字が異物のために誤認される場合がある。一方、撮像された画像において異物が付着していない文字領域と異物に相当する領域とは通常明度が異なる場合が多い。このため、複数の文字領域のうち平均明度と比較して印字状態が異なるとみなされる明度の異色文字領域を、異物が付着した文字を撮像した文字領域と推定でき、表示媒体に異物が付着していることを報知することで、報知を受けた使用者等に異物の除去を促すことができる。 If foreign matter such as dust adheres to the character string of the display medium, the captured character may be mistaken for the foreign matter. On the other hand, there are many cases in which the brightness of the character area where no foreign matter is attached and the area corresponding to the foreign matter are usually different in the captured image. For this reason, it is possible to estimate a different color character region having a lightness that is considered to have a different print state compared to the average lightness among a plurality of character regions as a character region obtained by imaging a character to which foreign matter is attached, and the foreign matter is attached to the display medium. It is possible to prompt the user who has received the notification to remove the foreign matter.
請求項5の発明では、異物が付着していることに加えて、表示媒体の文字列に対する異色文字領域の位置が異物付着報知手段により報知される。これにより、確定文字と候補文字とを区別して表示媒体の文字列を元に確認することができるだけでなく、異物が付着しているために誤認の可能性がある文字を特定することができる。 According to the fifth aspect of the invention, in addition to the adhering foreign matter, the position of the different color character region with respect to the character string of the display medium is notified by the foreign matter adhesion notifying means. Thereby, it is possible not only to distinguish between the confirmed character and the candidate character and confirm based on the character string of the display medium, but also to identify a character that may be misidentified due to the presence of foreign matter.
請求項6の発明では、認識結果報知手段により、表示媒体の文字列に対して異色文字領域の位置を示す情報を含めた文字認識手段による認識結果が外部に出力することで報知される。これにより、認識結果を取得した外部の機器等でも、確定文字と候補文字とを区別して表示媒体の文字列を元に確認することができるだけでなく、異物が付着しているために誤認の可能性がある文字を特定することができる。 According to the sixth aspect of the present invention, the recognition result notifying means notifies that the recognition result by the character recognizing means including the information indicating the position of the different color character area with respect to the character string of the display medium is output to the outside. As a result, external devices that have acquired the recognition result can not only confirm the confirmed character and the candidate character and check based on the character string on the display medium, but also can be misidentified due to the presence of foreign matter. It is possible to identify characters that have characteristics.
請求項7の発明では、異物付着報知手段における発光部の発光および発音部の発音の少なくともいずれか一方より表示媒体に異物が付着していることが報知されるため、報知を受けた使用者等は、表示媒体に異物が付着していることを容易に把握することができる。
In the invention of
[第1実施形態]
以下、本発明に係る情報読取装置を具現化した第1実施形態について、図面を参照して説明する。
図1に示す情報読取装置1は、机や棚などの上面を載置面としてこの載置面上に載置される据置型の読取装置であって、読取口を介して表示媒体を撮像することで当該表示媒体に表示された表示情報を読み取る情報読取装置として構成されるものである。表示媒体としては、例えば、パスポートや情報コードが表示された画面等が想定される。このため、情報読取装置1は、撮像した文字情報等を認識する公知の記号認識処理機能(OCR)や撮像した情報コードを読み取る情報コードリーダとしての機能など、撮像した情報を読み取る機能を有するように構成されている。
[First Embodiment]
Hereinafter, a first embodiment in which an information reading apparatus according to the present invention is embodied will be described with reference to the drawings.
An
例えば、図2に示すようなパスポート100が表示媒体となる場合、顔写真が表示された表示面101の下欄に表示される文字列102が読み取るべき表示情報となる。図1に示すアタッチメント60は、文字列102を撮像する際にパスポート100を載置するための載置台として機能する情報読取装置用アタッチメントであり、情報読取装置1に対して着脱可能に形成されている(詳細形状は後述する)。また、表示情報となる情報コードとしては、例えば、バーコード等の一次元コードやQRコード(登録商標)等の二次元コードなど複数種類のセルが配列されて構成される公知のコードを想定することができる。
For example, when a
まず、情報読取装置1の構成について詳述する。
情報読取装置1は、例えばABS樹脂等の樹脂材料によって構成されるケース3を備えている。このケース3は、図3および図4等に示すように、上ケース4aと下ケース4bと備えており、これら上ケース4aと下ケース4bとが上下に組み付けられた構成で全体として箱状に形成されている。そして、ケース3の内部には、後述する反射部材29、結像部27、撮像部23、導光部材50などの各部品が収容されている。また、図3等に示すように、ケース3の上面部(読取側壁部3a)には光の出入口となる読取口5が形成されており、読取口5を介してケース外からの光がケース内に入り込み、ケース内からの光がケース外に放出されるようになっている。そして、反射部材29、結像部27、撮像部23によって構成される光学系は、この読取口5を介してケース外の表示媒体を撮像するように機能する。
First, the configuration of the
The
また、箱状に構成されるケース3には、情報読取装置1を載置するときの載置面側(載置面F側)に設けられる底壁部3bと、読取口5が形成された読取側壁部3aとが対向して設けられている。そして、底壁部3bが載置面Fに支持されるように配置され、この底壁部3bと対向する読取側壁部3aが、表示媒体を翳す側の露出壁部として構成されている。なお、本構成では、底壁部3bと読取側壁部3aとの対向方向(即ち、ケース3の厚さ方向であり、図4に示す載置面Fと直交する方向)を上下方向とし、読取口5が形成された側(読取側壁部3a側)を上方側、それとは反対側(底壁部3b側)を下方側としている。また、この上下方向と直交する平面方向を水平方向としている。なお、プレート7の厚さ方向(即ち、プレート7の板面と直交する方向)も上下方向となっており、後述する第2視野範囲AR2の光軸L2の方向も上下方向となっている。
Further, the
ケース3の上面側には、上ケース4aの上端部に形成された開口部4cを閉じる構成でプレート7が配置されている。このプレート7は、所定の厚さの平坦な板として構成され、ケース3の外部からの光が透過可能となる光透過性の部材(例えば、透明なアクリル樹脂や透明ガラス等)によって構成されている。このプレート7は、防塵プレートとして機能しており、このようなプレート7が上ケース4aに形成された開口部4cを閉塞することで、ケース3を閉塞し、ケース3の内部(特に、反射部材29、結像部27、撮像部23などが収容された収容空間)にケース外からの異物(塵や埃など)が入り込みにくくなっている。また、プレート7の上面部(ケース外に露出する側の板面部)を部分的に覆う構成で光遮光性の塗料などからなる被覆層8が形成されている。この被覆層8は、プレート7の周縁部に沿って環状に形成されており、この被覆層8の内縁部によって構成される開口部が読取口5となっている。
On the upper surface side of the
次に、情報読取装置1の電気的構成について説明する。図9に示すように、情報読取装置1は、主に、照明光源21、結像部27、撮像部23等の光学系と、メモリ35、制御回路40等のマイクロコンピュータ(以下「マイコン」という)系と、図示しない電源部、電源スイッチ等の電源系とを備えている。
Next, the electrical configuration of the
光学系は、投光光学系と、受光光学系とに分かれている。投光光学系を構成する照明光源21は、照明光を照射可能な光源として機能するものであり、例えば、LEDなどによって構成されている。この照明光源21は、ケース3の長手方向一方側に配置される第1光源21a,21bと、ケース3の長手方向他方側に配置される第2光源21c,21dとを備えており、第1光源21a,21b及び第2光源21c,21dのそれぞれがLEDなどの投光素子として構成され、上下方向に対して横向きに照明光を照射する機能を有している。
The optical system is divided into a light projecting optical system and a light receiving optical system. The
また、図3〜図8で示すように、投光光学系は、照明光源21からの光を導く導光部材50を備えている。この導光部材50は、ケース3の内部において照明光源21からの照明光が照射される位置に配置され、照明光源21からの照明光が読取口5の開口領域γ(図4等参照)を通ってケース3の外部に照射されるように導く構成となっている。なお、導光部材50の詳細は後述する。
As shown in FIGS. 3 to 8, the light projecting optical system includes a
図9で示すように、受光光学系は、撮像部23、結像部27、反射部材29(図3、図4等)などによって構成されている。撮像部23は、例えばCCD素子やCMOS素子等の固体撮像素子(受光素子)が二次元的に配列された受光センサ(エリアセンサ)などによって撮像手段として構成されており、図4、図9等に示すように、結像部27に面する側にケース外からの光を受光し得る受光面23aが配置されている。この撮像部23は、反射部材29で反射された光が結像部27を通過して受光面23aに入り込もうとする入射光を受光し得るように基板に実装されている。そして、例えば、図9のように、文字列102(表示情報)が示されたパスポート100(表示媒体)が視野範囲内に配置されたとき(例えば、表示媒体における表示情報を表示する側の面が開口領域γ内においてプレート7に近接するように配置されたとき)、この文字列102等に照射されて反射した反射光Lr(図9参照)を受光する構成となっている。また、撮像部23は、受光面23aにおいて光を検出しうる領域(固体撮像素子が配置された領域)が「所定の受光領域」として設定されており、図4等では、撮像部23における受光領域の範囲を符号D1にて概念的に示している。即ち、受光面23aにおいて範囲D1に入射する光が撮像部23に検出されるようになっている。なお、図4等に示す例では、撮像部23における受光領域の範囲は、例えば受光面23aにおいて光軸L1を中心とする上下方向所定範囲となっており、且つ光軸L1を中心とする左右方向(幅方向:図3参照)所定範囲となっている。なお、図4等に示す例では、受光面23aが前後方向(図3参照)とほぼ直交して配置されている。
As shown in FIG. 9, the light receiving optical system includes an
結像部27は、公知の結像レンズによって構成され、結像光学系として機能している。この結像部27は、撮像部23で撮像可能となる視野範囲を定めると共に、ケース3の外部から読取口5を通過して入り込んだ光(具体的には、当該入射光が反射部材29で反射した光)を撮像部23の受光領域に導く構成となっている。そして、結像部27は、ケース3の外部において視野範囲内に表示情報が配置されたときに当該表示情報の像を撮像部23の受光領域に結像させるように機能する。本構成では、照明光源21から照射され、導光部材50によってケース外に導かれた照明光を表示情報に当てながら当該表示情報を撮像し得るようになっており、結像部27は、表示情報が視野範囲内(撮像エリア内)に配置されたときに、この表示情報からの反射光Lrを集光し、撮像部23の受光面23aに表示情報の像を結像させるように構成されている。なお、結像部27としては、例えば、焦点距離が短く画角の広い広角レンズを好適に用いることができる。
The
マイコン系は、増幅回路31、A/D変換回路34、メモリ35、アドレス発生回路36、同期信号発生回路38、制御回路40等によって構成されており、例えば上述した光学系によって撮像された表示情報等の画像信号を信号処理するように構成されている。具体的には、視野範囲内に配置された表示情報等が撮像部23によって撮像されたときの撮像画像のデータをメモリ35に記憶可能に構成されており、制御回路40は、このような表示情報等の画像データを解析し、文字情報等であればOCR技術を用いて認識するように構成されている。また、制御回路40は、視野範囲内に配置された情報コードが撮像部23によって撮像された場合には、この情報コードのコード画像を解析することで光学的に読み取る読取手段として機能するように構成されている。
The microcomputer system includes an
また、図9に示すように、制御回路40には、操作部42、スピーカ44、発光部46、通信インタフェース48が接続されている。操作部42は、ケース3の外面等に設けられる1または複数のキーを備えており、使用者のキー操作に応じて制御回路40に対して操作信号を与える構成をなしており、制御回路40は、操作部42から操作信号を受けたとき、その操作信号に応じた動作を行うように構成されている。スピーカ44は、公知のスピーカ等によって発音部として構成されており、制御回路40からの動作信号に応じて、予め設定された音声やアラーム音等の各種音声を発する構成をなしている。発光部46は、例えばLEDであって、制御回路40からの信号に応じて点灯するように構成されている。通信インタフェース48は、上位端末200などの外部機器との間でのデータ通信を行うためのインタフェースとして構成されており、制御回路40と協働して通信処理を行う構成をなしている。
As shown in FIG. 9, an
次に、情報読取装置1の特徴的構成について詳述する。
本構成では、ケース3の内部に反射部材29、結像部27、撮像部23、照明光源21、導光部材50が収容されている。以下では、これら反射部材29、結像部27、撮像部23、照明光源21、導光部材50等についてより詳細に説明する。
Next, a characteristic configuration of the
In this configuration, the reflecting
図4〜図6等に示すように、本構成では、ケース3の上面部(上壁部)として、板状且つ略矩形状(略長方形状)のプレート7が配置されており、このプレート7が読取側壁部3aに相当している。図3のように情報読取装置1を平面視したときのプレート7の長手方向中央部及び短手方向中央部には、略矩形状(略長方形状)の読取口5が形成されている。読取口5は、図3のように平面視したときに、当該読取口5の開口領域γ(図3に示す境界線P3の内側の領域であり、図4も参照)に反射部材29の反射領域(反射面の領域)が全て収まるようなサイズ及び位置で形成されている。即ち、図3に示す幅方向において、読取口5の幅方向一端部5aと幅方向他端部5bとの間に反射部材29の幅方向一端部と他端部が配置され、図3に示す前後方向において、読取口5の前後方向一端部5cと前後方向他端部5dとの間に反射部材29の前後方向一端部と他端部が配置されている。なお、読取口5の幅方向一端部5aと幅方向他端部5bの縁部は、いずれも前後方向に直線状に延びており、読取口5の前後方向一端部5cと前後方向他端部5dはいずれも幅方向(左右方向)に直線状に延びている。
As shown in FIGS. 4 to 6 and the like, in this configuration, a plate-like and substantially rectangular (substantially rectangular)
図4〜図6等に示すように、ケース3の底壁部3bは、ケース3の下面部として板状に構成されており、情報読取装置1が載置面Fに載置されるときに、当該底壁部3bの下面側が載置面Fに支持される構成となっている。この底壁部3bは、厚さ方向を上下方向とする構成で外面(下面)の大部分が略平坦面として構成されている。そして、箱状に構成されるケース3の底として機能している。なお、読取側壁部3a(上面部)と底壁部(下面部)との間には、ケース3内の収容空間(反射部材29、結像部27、撮像部23などが収容される空間)の周囲を取り囲むように側壁部3cが設けられている。この側壁部3cは、幅方向両側に配置される一対の側壁(いずれも前後方向に延びる側壁)と、前後方向両側に配置される一対の側壁(いずれも幅方向に延びる側壁)とを備えており、これら四方の側壁が環状に連結して配置されている。このように環状に配置された側壁部3c(周壁部)の上側を部分的に閉塞する構成(具体的には、側壁部3cの上端部によって構成される開口部4cを閉塞する構成)で読取側壁部3a(上面部)に相当するプレート7が配置され、側壁部3cの下側全体を閉塞する構成で底壁部3b(下面部)が配置されている。
As shown in FIGS. 4 to 6 and the like, the
プレート7は、上ケース4aの上端部に形成された開口部を閉塞する構成で配置され、ケース3の上面部を構成しており、ケース3内部に収容される反射部材29、結像部27、導光部材50の上側を覆う構成で配置されている。そして、図3のように平面視したときには、プレート7の露出部分(図3で概念的に示す境界線P3の内側の領域である開口領域γ(図4)の部分)を介してケース内の反射部材29、結像部27、導光部材50が視認されるようになっている。プレート7は、例えば透明且つ平坦な板材として構成され、その板面(上面7a及び下面7b)と直交する方向が上下方向となるように略水平に配置されている。なお、プレート7は、透明部材の一例に相当し、被覆層8の内周部として構成される読取口5を閉塞するように機能する。つまり、読取口5は、光の出入りを許容する構成であるが、プレート7の閉塞によって水や埃等の侵入を許容しない構成となっている。
The
反射部材29は、例えばミラーとして構成され、ケース3の内部に収容され、ケース3の外部から読取口5を介して入り込む光を反射させるように機能する。この反射部材29は、反射面29a(鏡面)が斜め上側且つ前後方向一方側(反射面29aに対し結像部27側)を向く構成で配置されており、ケース3の上方側から読取口5を通って入り込んだ光を前後方向一方側に反射するように構成されている。より具体的には、反射面29aが平坦に構成され、この反射面29aが、上下方向及び前後方向と平行な仮想平面と直交するように配置されており、例えば上下方向と反射面29aとのなす角度が45°となっており、上下方向と平行に入り込んだ光を水平に反射するように配置されている。
The
また、反射部材29の反射面29a(上方側からの光を反射可能な鏡面領域であり、上方側に露出する面)の上端部29cは、上下方向においてプレート7寄りの位置に配置され、反射面29aの下端部29bは、上下方向において底壁部3b寄りに配置されている。また、反射部材29の反射面29aは、下端部29bの幅が最も狭く、上端部29cの幅が最も広くなるように、上方となるにつれて幅が広くなる構成となっている。
Further, the
結像部27は、上述したように広角レンズとして機能する結像レンズによって構成され、図4、図6、図7等に示すようにプレート7から離れた位置に配置されている。この結像部27は、ケース3の外部から読取口5を通過して入り込み且つ反射部材29で反射した光を集光しつつ撮像部23の受光面23a(受光領域)に導く機能を有し、ケース3の内外において撮像部23で撮像可能となる視野範囲を定める構成となっている。具体的には、図4に示すように、視野範囲として、当該結像部27と反射部材29との間に構成される第1視野範囲AR1と、当該第1視野範囲AR1に続くように反射部材29から上方側に構成される第2視野範囲AR2とを定めている。つまり、この第1視野範囲AR1及び第2視野範囲AR2を撮像エリアとするように、視野範囲からの光を撮像部23の受光領域に向けて集光し結像させている。なお、第1視野範囲AR1は、結像部27によって集光されて直接撮像部23に撮像される視野範囲であり、第2視野範囲AR2は、反射部材29に映り込んだ画像が撮像部23に撮像される視野範囲である。このように構成される結像部27は、ケース3の外部に設定された第2視野範囲AR2内に表示情報が配置されたときに当該表示情報の像を撮像部23の受光領域に結像させるように機能している。
As described above, the
図4に示す第1視野範囲AR1は、結像部27と反射部材29との間の空間において撮像部23によって撮像される範囲であり、反射部材29の反射面29aに近づくにつれて徐々に広くなるように設定されている。また、第1視野範囲AR1の中心となる光軸L1は、水平方向(具体的には、前後方向)となっており、反射面29aとのなす角度が45°となっている。そして、図4のように、光軸L1を通り上下方向と平行な平面を切断面として情報読取装置1を切断した場合、当該切断面上において第1視野範囲AR1が上下に最も広がるようになっている。そして、図4に示す切断面(光軸L1を通り上下方向と平行な切断面)では、第1視野範囲AR1の下限の境界は、反射部材29の反射面29aに近づくにつれて低位置(下位置)となり、第1視野範囲AR1の上限の境界は、反射部材29の反射面29aに近づくにつれて高位置(上位置)となるように構成されている。そして、図4に示す切断面(図3に示すA−A位置の切断面であり、情報読取装置1を左右方向中心位置において左右方向と直交する方向に切断した切断面)において、第1視野範囲AR1の下限の境界が反射部材29の反射面29aに達した位置(その境界と反射面29aとが交わる位置)が第1視野範囲AR1の下端位置となっている。また、第1視野範囲AR1の上限の境界が反射部材29の反射面29aに達した位置(その境界と反射面29aとが交わる位置)が第1視野範囲AR1の上端位置となっている。
The first visual field range AR1 shown in FIG. 4 is a range that is imaged by the
図4のように、本構成では、反射部材29の反射領域(反射面29aが露出した領域)が、少なくとも第1視野範囲AR1の下端に位置しており、第1視野範囲AR1の下端から上端まで続いている。つまり、反射部材29は、図4のような切断面において第1視野範囲AR1の上下方向全領域を網羅するように反射面29aが配置されている。例えば、図4に示す切断面において、反射領域(反射面29aの領域)の上端部29cは、第1視野範囲AR1の上端位置と同位置又は当該上端位置よりも上位置であり、反射領域(反射面29aの領域)の下端部29bは、第1視野範囲AR1の下端位置と同位置又は当該下端位置よりも下位置となっている。より具体的には、撮像部23の受光領域の全領域に反射面29aが映り込むように配置されている。つまり、第1視野範囲AR1の反射部材29側の境界は、全て反射面29a上の位置となっており、撮像部23は、反射面29aの周囲に隣接する部分(反射面29a以外の部分)を撮像せず、第2視野範囲AR2の全体を撮像し得るようになっている。
As shown in FIG. 4, in this configuration, the reflective region of the reflective member 29 (the region where the
第2視野範囲AR2は、上述の第1視野範囲AR1に続くように反射部材29にて折り返された視野範囲であり、この第2視野範囲AR2に存在する物体等が反射部材29に映り、撮像部23によって撮像されるようになっている。逆に、第2視野範囲AR2の外側は、第1視野範囲AR1を除き、撮像部23に撮像されない。
The second visual field range AR2 is a visual field range that is folded back by the reflecting
本構成では、反射面29aが水平方向に対して例えば45度の角度で傾斜した構成となっている。そして、反射部材29に対し、前後方向一方側に結像部27が配置されており、第1視野範囲AR1の光軸L1が前後に延びる構成となっている。従って、第2視野範囲AR2の中心となる光軸L2は上下方向に延びている。そして、第1視野範囲AR1が反射部材29にて折り返された第2視野範囲AR2は、上方となるにつれて範囲が広くなるように設定されており、図4のような断面(光軸L1、L2を通る断面)では、上方となるにつれて第2視野範囲AR2が前後に広がるようになっている。
In this configuration, the
具体的には、光軸L2を中心として上方となるにつれて前後に範囲が広くなるように第2視野範囲AR2が設定されており、同様に、光軸L2を中心として上方となるにつれて左右に範囲が広くなるように第2視野範囲AR2が設定されている。なお、ケース外において第2視野範囲AR2を水平方向に切断した仮想面上での第2視野範囲AR2の境界形状は、例えば円形であってもよく、長方形、正方形等の矩形形状であってもよい。 Specifically, the second visual field range AR2 is set so that the range becomes wider in the front-rear direction as it goes upward with the optical axis L2 as the center, and similarly, the range extends to the left and right as it goes upward with the optical axis L2 as the center. The second visual field range AR2 is set so as to be wide. In addition, the boundary shape of the second visual field range AR2 on the virtual plane obtained by cutting the second visual field range AR2 in the horizontal direction outside the case may be, for example, a circle or a rectangular shape such as a rectangle or a square. Good.
そして、結像部27は、第2視野範囲AR2から外れた位置に配置されている。具体的には、第2視野範囲AR2の前後方向一方側の境界B1よりも前後方向一方側に外れた位置に結像部27が配置されている。このように結像部27の一部が第2視野範囲AR2に入り込まないように構成されているため、結像部27の一部が反射部材29に映り込んで撮像部23に撮像されてしまうことがなく、このような映り込みに起因する撮像エリアの縮小が抑えられている。また、図4のように、結像部27のレンズ部分は、反射部材29の反射面29aの領域(反射領域)の下端部29bよりも上位置に配置され、上端部29cよりも下位置に配置されている。更に、結像部27の前後方向の一端部(反射部材29側の端部)は、前後方向において、読取口5の前後方向他端部5dと光軸L2との間に配置されている。このように配置することで、結像部27の映り込みを防ぎつつ、読取口5の下方側の領域を生かすことができる。
The
また、図4に示すように、第1視野範囲AR1の中心となる光軸L1及び第2視野範囲AR2の中心となる光軸L1を通る平面を切断面とした断面において、第2視野範囲AR2の両境界B1、B2が読取口5の内周部寄りの位置(例えば、端部5d,5cの位置又は端部5d,5cに近い位置)を通る構成となっている。なお、図4の例では、第2視野範囲AR2の前後方向一方側の境界B1と前後方向他方側の境界B2とがいずれも、読取口5の内周部(端部5d,5c)よりも僅かに内側を通るようになっているが、これら境界B1、B2がいずれも内周部(端部5d,5c)を通る構成となっていてもよい。
Further, as shown in FIG. 4, in a cross section in which a plane passing through the optical axis L1 serving as the center of the first visual field range AR1 and the optical axis L1 serving as the center of the second visual field range AR2 is cut, the second visual field range AR2 Both the boundaries B1 and B2 pass through a position closer to the inner periphery of the reading port 5 (for example, the position of the
次に、照明光源21について説明する。図3、図4、図6、図8に示すように、照明光源21は、上下方向と直交する平面方向において開口領域γ(図3に示す境界線P3の内側領域)の外側の位置に配置されている。なお、境界線P3は、平面方向における開口領域γの境界を概念的に示すものであり、実際は、読取口5の内縁が開口領域γの境界となる。照明光源21は、ケース3の長手方向一端寄り(幅方向一端寄り)に配置された第1光源21a,21bと、ケース3の長手方向他端寄り(幅方向他端寄り)に配置された第2光源21c,21dとを有している。これら第1光源21a,21b及び第2光源21c,21dはいずれも、プレート7の板面に形成された被覆層8の下方に配置されており、図6、図8のように、第1光源21a,21b及び第2光源21c,21dのいずれも、この被覆層8の下位置に配置される基板の下面側に実装されている。
Next, the
図4、図6、図8に示すように、第1光源21a,21b及び第2光源21c,21dはいずれも、上下方向において、プレート7よりも下方位置且つ後述する導光部材50の上端位置付近に配置されており、図3のように、平面方向において開口領域γ(境界線P3の内側領域)から外側に離れた位置に配置されている。そして、第1光源21a,21b及び第2光源21c,21dのいずれも、上下方向と直交する横方向(水平方向)及び横方向に対して傾斜した斜め横方向に照明光が照射されるように開口領域γに近づく側に照明光を照射する構成となっている。
As shown in FIGS. 4, 6, and 8, the
また、上下方向において照明光源21と読取口5の間の位置には、少なくとも照明光源21からの照明光の照射側において照明光源21の位置から平面方向に沿って読取口5側(第2視野範囲AR2側)に延びる構成の遮光部が配置されている。そして、これら遮光部により、各照明光源21から斜め上方側に向かおうとする照明光が遮られる構成となっている。これにより、各照明光源21からの光の多くは、水平方向及び斜め下方向に照射されることになる。このように構成されているため、各照明光源21からの光が直接使用者の目に入り込みにくく、且つ各照明光源21からの光を後述する導光部材50に効率的に当てやすくなる。
Further, at a position between the
そして、これらの照明光源21による照明光の照射先には、導光部材50が配置されている。図10で例示されるように、導光部材50は、読取口5の開口領域γ(図10に示す境界線P3の内側領域)において、視野範囲の中心部P1を通る照明光の照度よりも、視野範囲内の周縁部寄りに定められた所定の高照度領域βを通る照明光の照度のほうが大きくなるように照明光を導く構成となっている。なお、図4、図10の例では、プレート7の上面の位置において読取口5の内縁部によって囲まれる領域(プレート7の上面において読取口5から露出する領域)が開口領域γに相当している。そして、図10の例では、この開口領域γにおいて視野範囲の周縁部に沿った環状領域が高照度領域βとなっており、この高照度領域βをハッチングで概念的に示している。
And the
導光部材50は、照明光源21からの照明光を反射する複数の反射部51,52,53,54を備えている。これら反射部51,52,53,54はいずれも、第2視野範囲AR2側の面が、照明光源21からの照明光を反射する反射面として構成されている。そして、各反射部51,52,53,54の各反射面はいずれも、上下方向と直交する平面方向において、読取口5の開口領域γにおける視野範囲の中心部P1の位置(即ち、プレート7と光軸L2が交わる位置)に近づくにつれて下位置となる傾斜面として構成されている。なお、反射部51,52,53,54は、例えば、遮光性の部材によって構成されており、反射部51,52,53,54のいずれも、第2視野範囲AR2側の外面(即ち照明光を反射する反射面)が所定色(例えば、白色等の明色)であり、いずれも第2視野範囲AR2側の外面に入射する光を拡散反射させる構成となっている。そして、導光部材50全体が、視野範囲の外側において、第2視野範囲AR2に沿って配置されており、下方位置となるにつれて孔の大きさ(開口領域)が狭くなるすり鉢状の構造となっている。このように、導光部材50は、第2視野範囲AR2の外側において第2視野範囲AR2を囲む構成で環状に配置されており、且つ上端部50aが読取口5の内縁部に近接して配置されている。導光部材50の上端部50aは、第2視野範囲AR2を囲む環状の端部構造となっており、このように環状に構成される上端部50aのいずれも、読取口5の内縁部の直下近傍に位置し、上端部50aのいずれの位置も、開口領域γの中心部よりも周縁部のほうが近くなっている。また、上端部50aのいずれの位置も、開口領域γでの視野範囲αの中心部P1よりも周縁部(境界線P2付近)のほうが近くなっている。
The
なお、図3では、一方の第1反射部54の領域を二点鎖線J11で概念的に示し、他方の第1反射部53の領域を二点鎖線J12で概念的に示している。また、一方の第2反射部51の領域を二点鎖線J21で示し、他方の第2反射部52の領域を二点鎖線J22で示している。また、図10では、第1光源21aからの照明光の照射エリアを太線の破線で概念的に示しており、第1光源21bからの照明光の照射エリアを太線の実線で概念的に示しており、第2光源21cからの照明光の照射エリアを太線の二点鎖線で概念的に示しており、第2光源21dからの照明光の照射エリアを太線の一点鎖線で概念的に示している。
In FIG. 3, the region of one first reflecting
このように、第1光源21a,21b及び第2光源21c,21dから照射された照明光は、すり鉢状に構成された導光部材50の壁面(第1反射部53,54及び第2反射部51,52の第2視野範囲AR2側の外面)に照射されるため、図10のように平面視したときに、第1反射部53,54及び第2反射部51,52が全体的に明るく光ることになる。更に、図4、図5、図7のように、第1反射部53,54及び第2反射部51,52はいずれも、平面方向において視野範囲AR2の中心(光軸L2)側が下位置となる構成であり、光軸L2から遠い側が上位置となる構成となっている。このため、読取口5の開口領域γ(プレート7の上面において読取口5から露出する領域)において、この領域γ内の視野範囲α(図10において境界線P2に囲まれる領域)では、周縁部付近(境界線P2付近)に近い導光部材50の上端部50a付近(第1反射部53,54及び第2反射部51,52の上端部付近)からの反射光がその周縁部付近(境界線P2付近)に届きやすくなる。よって、開口領域γ内の視野範囲α(図10において境界線P2に囲まれる領域)では、当該視野範囲αの周縁部付近(境界線P2付近)の照度が当該視野範囲αの中心部P1付近の照度と比較して相対的に高くなる。一方、開口領域γにおける視野範囲αの中心部P1は、周縁部付近(境界線P2付近)と比較して第1反射部53,54及び第2反射部51,52からの距離が遠いため、第1反射部53,54及び第2反射部51,52で反射した照明光は、開口領域γにおいて視野範囲αの周縁部よりも中心部P1に届きにくくなる。よって、開口領域γ内の視野範囲α(図10において境界線P2に囲まれる領域)では、中心部P1付近の照度が周縁部付近(境界線P2付近)の照度と比較して相対的に低くなる。なお、図10では、開口領域γにおいて視野範囲αの中心部P1付近の照度よりも照度が高くなる高照度領域βをハッチング領域として概念的に示している。開口領域γでは、このように高照度領域βが構成されるため、開口領域γにおいてプレート7の上面に密着するように物体を配置した場合、この物体では、高照度領域βの位置の照度が相対的に大きく、中心部P1付近の照度が相対的に小さくなり、高照度領域βが中心部P1付近よりも相対的に明るくなる。
In this way, the illumination light emitted from the
次に、アタッチメント60の詳細構成について、図11〜図14を参照して詳述する。
図11〜図14に示すように、アタッチメント60は、例えばABS樹脂等の樹脂材料によって構成されるもので、情報読取装置1に組み付けられる基部70と、パスポート100が載置される載置部80と、この載置部80を基部70に対して支持する4つの支持部材91〜94とを一体にして備えている。
Next, the detailed configuration of the
As shown in FIGS. 11 to 14, the
基部70は、載置面Fに載置される部位であって、ケース3の側壁部3cのうち前後方向両側に配置される一対の側壁に対してそれぞれ対向するように接触する側壁71および側壁72を備えている。側壁71および側壁72は、載置面Fからの高さが読取口5の高さとほぼ等しくなるように形成されている。また、側壁71および側壁72は、端部に形成される湾曲部にて側壁部3cの隅部に対して嵌合するように形成されている。
The
載置部80は、一対の梁部81,82と、梁部81の一端側81aと梁部82の一端側82aとを連結する連結部83とを備えている。梁部81および梁部82は、一端側81aと一端側82aとの対向距離(図12のW2参照)がパスポート100の幅(図2のW1参照)に対して僅かに大きくなるように離れた状態で、連結部83とともに支持部材91,92により下方から支持されるように側壁71に連結されている。また、梁部81および梁部82は、他端側81bおよび他端側82bにて、支持部材93,94により下方から支持されるように側壁72に連結されている。
The mounting
梁部81の他端側81bには、載置されたパスポート100に対して位置決め手段として機能する位置決め部81cが設けられている。この位置決め部81cには、パスポート100の文字列102側の外縁(以下、一縁101aともいう)が接触する接触面81dと、梁部81側の外縁(以下、側縁101bともいう)近傍の表示面101を下方から支持する支持面81eとが形成されている。また、梁部82の他端側82bには、載置されたパスポート100に対して位置決め手段として機能する位置決め部82cが設けられている。この位置決め部82cには、パスポート100の一縁101aが接触する接触面82dと、梁部82側の外縁(以下、側縁101cともいう)近傍の表示面101を下方から支持する支持面82eとが形成されている。
On the
接触面81dおよび接触面82dは、一縁101aにて接触するパスポート100の文字列102が情報読取装置1の読取口5の中央に対向するように形成されている。また、支持面81eおよび支持面82eは、図14に示すように、載置面Fからの高さが連結部83と等しくなるように形成されている。
The
連結部83は、情報読取装置1の撮像エリア(第2視野範囲AR2)内に入り込まない位置にて梁部81の一端側81aと梁部82の一端側82aとを連結するように配置されている。
The connecting
各支持部材91〜94の高さは、載置部80に載置されたパスポート100の文字列102が、情報読取装置1の撮像エリア(第2視野範囲AR2)内にて撮像可能に位置するように設定されている。各支持部材91〜94の高さは、例えば、載置部80に載置されたパスポート100と読取口5との距離が30mm程度となるように設定されている。
The heights of the
このように構成されるアタッチメント60は、基部70における側壁71および側壁72の湾曲部にてケース3における側壁部3cの隅部に係合するように上方から組み付けることで、情報読取装置1に装着される(図1参照)。その際、ケース3の側壁部3cのうち幅方向両側に配置される一対の側壁の中央側には基部70が接触しないので、この幅方向両側の側壁の中央側に設けられるケーブルやスピーカ口のような開口(図示略)等が基部70により覆われることもない。
The
また、基部70の側壁71および側壁72は、載置面Fからの高さが読取口5の高さとほぼ等しくなるように形成されているので、載置部80を利用することなく情報コードなどが表示された表示媒体を読取口5にかざす場合でも、表示媒体を側壁71の上端面や側壁72の上端面を利用して読取口5に接触させるようにかざすことができる。すなわち、側壁71および側壁72を、表示媒体をかざす際のガイドとして機能させることができる。
Further, since the
次に、上述のようにアタッチメント60が取り付けられた情報読取装置1に対してパスポート100の文字列102を読み取らせ、この読み取り結果を利用して上位端末200にて免税書類を作成する場合について、図15〜図19を参照して説明する。なお、上位端末200は、情報読取装置1から受信した文字を使用者等が確認・修正等することで免税書類等を作成するための端末であって、図19に示すように、認識された文字等が表示可能な表示部201や修正時の入力操作手段となる操作部202を備えている。
Next, in the case where the
図15および図16に示すように、パスポート100の一縁101aが梁部81の接触面81dと梁部82の接触面82dとに接触し、パスポート100の表示面101が梁部81の支持面81eおよび梁部82の支持面82eと連結部83とにより下方から支持されるように、パスポート100を載置部80に載置する。
As shown in FIGS. 15 and 16, one
これにより、載置部80に載置されたパスポート100の文字列102が、情報読取装置1の撮像エリア内に位置し、かつ、読取口5の中央に対向する。すなわち、文字列102の中心が第2視野範囲AR2の光軸L2にほぼ一致する。これにより、撮像部23の受光面23aに文字列102の像が結像され、撮像された表示情報が文字列102であることから、この文字列102が以下に示す文字情報読取処理を用いて認識されてその認識結果が上位端末200に出力される。上位端末200の表示部201には、図19に示すように、取得した認識結果に基づく文字が表示される。
Thereby, the
本実施形態における文字情報読取処理では、一般的な文字認識手法の1つであるパターンマッチングを利用して、文字認識を行う。具体的には、撮像された撮像画像において文字として認識される可能性がある文字画像と規定の文字テンプレートとを比較して一致率(類似度、相違度)Hを算出し、この一致率Hを利用して文字画像から文字を認識する。この一致率Hは、撮像した文字について1つ算出されるもので、高くなるほど規定の文字テンプレートと似ていると判断される照合用の値である。本実施形態では、一致率Hは、撮像した文字を正規化して特徴を抽出し、ユークリッド距離等の二次元パターン間の距離(似ている度合い)を計算する方法を利用して、撮像された文字の特徴点と対応する文字テンプレートの構成点との距離計算を各点ごとに行い、この距離計算が小さくなるほど大きくなるように計算される。 In the character information reading process according to the present embodiment, character recognition is performed using pattern matching which is one of general character recognition methods. Specifically, a matching image (similarity, dissimilarity) H is calculated by comparing a character image that may be recognized as a character in the captured image and a prescribed character template, and this matching rate H Recognize characters from character images using. This coincidence rate H is calculated for one of the captured characters, and is a value for collation that is determined to be more similar to the prescribed character template as it is higher. In the present embodiment, the matching rate H is obtained by normalizing captured characters and extracting features, and calculating a distance (degree of similarity) between two-dimensional patterns such as Euclidean distance. The distance between the character feature point and the corresponding character template constituent point is calculated for each point, and the distance calculation is calculated so as to increase as the distance calculation decreases.
特に、本実施形態では、一致率Hが誤読の可能性が低いとみなされる第1の閾値Hth1以上となる文字画像を確定文字として認識し、一致率Hが誤読の可能性が高いとみなされる第2の閾値Hth2以下となる文字画像を文字認識できない文字未検出画像として認識する。そして、一致率Hが第2の閾値Hth2を超えかつ第1の閾値Hth1未満となる文字画像を誤認の可能性がある文字(以下、候補文字ともいう)として認識する。なお、第1の閾値Hth1および第2の閾値Hth2は、実際に撮像した様々な表示状態の文字画像と規定の文字テンプレートとを比較した経験則から求めることができ、本実施形態では、例えば、第1の閾値Hth1は、70%程度に設定され、第2の閾値Hth2は、60%程度に設定されている。 In particular, in the present embodiment, a character image having a matching rate H equal to or higher than the first threshold value Hth1 considered to be low in misreading is recognized as a confirmed character, and the matching rate H is considered to be high in misreading. A character image that is equal to or lower than the second threshold Hth2 is recognized as a character undetected image that cannot be recognized. Then, a character image in which the coincidence rate H exceeds the second threshold value Hth2 and is less than the first threshold value Hth1 is recognized as a character that may be misidentified (hereinafter also referred to as a candidate character). Note that the first threshold value Hth1 and the second threshold value Hth2 can be obtained from empirical rules comparing character images in various display states actually captured and prescribed character templates. In the present embodiment, for example, The first threshold value Hth1 is set to about 70%, and the second threshold value Hth2 is set to about 60%.
以下、載置部80に載置されたパスポート100の文字列102を撮像して文字認識する際に、制御回路40にて実施される文字情報読取処理について、図17に示すフローチャートを参照して説明する。
まず、図17のステップS101に示す撮像処理により、載置部80に載置されたパスポート100の文字列102が撮像されると、ステップS103に示す切り出し処理がなされる。この処理では、上記撮像処理にて撮像された撮像画像についてレイアウト解析がなされて文字列102を構成する各文字が表示されるエリアを求め、このエリアから1つの文字として認識される可能性がある文字画像が複数切り出される。
Hereinafter, a character information reading process performed by the
First, when the
次に、ステップS105に示す一致率算出処理がなされる。この処理では、上述のように切り出された文字画像の1つとメモリ35に予め記憶されている規定の文字テンプレートとが比較されて上述のように一致率Hが算出される。なお、上記ステップS105の処理を実行する制御回路40は、「一致率算出手段」の一例に相当し得る。
Next, the coincidence rate calculation process shown in step S105 is performed. In this process, one of the character images cut out as described above is compared with a prescribed character template stored in advance in the
ここで、認識容易な表示状態の文字が撮像された文字画像を対象としており、上述のように算出された一致率Hが第1の閾値Hth1以上となると(S107でNo,S109でYes)、その文字画像が誤読の可能性が低い確定文字として認識される。この場合には、ステップS111に示す確定文字記憶処理がなされ、上述のように認識された確定文字とこの確定文字の文字列102に対する位置とがメモリ35に記憶される。
Here, a character image in which a character in a display state that is easily recognized is captured, and when the coincidence rate H calculated as described above is equal to or higher than the first threshold Hth1 (No in S107, Yes in S109), The character image is recognized as a confirmed character with a low possibility of misreading. In this case, the confirmed character storage process shown in step S111 is performed, and the confirmed character recognized as described above and the position of the confirmed character with respect to the
また、認識不能な表示状態の文字が撮像された文字画像を対象としており、上述のように算出された一致率Hが第2の閾値Hth2以下となると(S107でNo,S109でNo)、その文字画像が誤読の可能性が高く文字認識できない文字未検出画像として認識される。この場合には、ステップS113に示す文字未検出画像記憶処理がなされ、文字列102に対しての文字未検出画像の位置がメモリ35に記憶される。
In addition, the target is a character image obtained by capturing an unrecognizable display character, and when the coincidence rate H calculated as described above is equal to or lower than the second threshold Hth2 (No in S107, No in S109), The character image is recognized as a character undetected image that has a high possibility of misreading and cannot be recognized. In this case, the character undetected image storage process shown in step S113 is performed, and the position of the character undetected image with respect to the
また、認識困難な表示状態の文字が撮像された文字画像を対象としており、上述のように算出された一致率Hが第2の閾値Hth2を超えかつ第1の閾値Hth1未満となると(S107でYes)、その文字画像が誤読の可能性がある候補文字として認識される。この場合には、ステップS115に示す候補文字記憶処理がなされ、上述のように認識された候補文字とこの候補文字の文字列102に対する位置とがメモリ35に記憶される。なお、上記ステップS111,S113,S115の処理を実行する制御回路40は、「文字認識手段」の一例に相当し得る。
Further, the target is a character image obtained by capturing characters in a display state that is difficult to recognize, and when the coincidence rate H calculated as described above exceeds the second threshold value Hth2 and is less than the first threshold value Hth1 (in S107). Yes), the character image is recognized as a candidate character that may be misread. In this case, the candidate character storage process shown in step S115 is performed, and the candidate character recognized as described above and the position of the candidate character with respect to the
このように一致率Hが撮像された1つの文字画像についてステップS111,S113,S115のいずれかの処理がなされると、ステップS117に示す判定処理にて上述のように切り出された全ての文字画像について一致率Hが算出されたか否かについて判定される。ここで、切り出された全ての文字画像について一致率Hが算出されていない場合には、ステップS117にてNoと判定されて、次の文字画像について上記ステップS105からの処理が繰り返される。 When any one of steps S111, S113, and S115 is performed on one character image in which the matching rate H is captured in this way, all the character images cut out as described above in the determination processing shown in step S117. It is determined whether or not the coincidence rate H has been calculated. Here, when the coincidence rate H is not calculated for all the extracted character images, it is determined No in step S117, and the processing from step S105 is repeated for the next character image.
そして、切り出された全ての文字画像について一致率Hが算出されると(S117でYes)、確定文字または候補文字がメモリ35に記憶されていることから文字が検出されているとして(S119でYes)、ステップS121に示す認識結果出力処理がなされる。この処理では、メモリ35に記憶される確定文字とこの確定文字の文字列102に対する位置が認識結果として上位端末200に出力されることで報知される。その際、候補文字がメモリ35に記憶されていれば、候補文字とこの候補文字の文字列102に対する位置も含めて認識結果として出力され、文字未検出画像の位置がメモリ35に記憶されていれば、文字未検出画像の位置も含めて認識結果として出力される。
Then, when the matching rate H is calculated for all the extracted character images (Yes in S117), it is determined that the characters are detected because the confirmed characters or candidate characters are stored in the memory 35 (Yes in S119). ), Recognition result output processing shown in step S121 is performed. In this processing, the confirmed character stored in the
特に、上記認識結果出力処理では、例えば、2つの候補文字A,Bが認識された場合、図18(A)に示すように、確定文字または候補文字が文字列102の並びに合わせて配列されて構成されるパスポートコードデータの後に、区切り文字を挟んで候補文字Aの位置を示すデータが配置され、さらに区切り文字を挟んで候補文字Bの位置を示すデータが配置され、最後にターミネータが配置されたデータが、上位端末200に出力される出力データとなる。なお、3つ以上の候補文字が認識された場合には、候補文字Bの位置を示すデータの後に区切り文字とその候補文字の位置を示すデータとが個数分繰り返されるように配置されて出力データが生成される。
In particular, in the recognition result output process, for example, when two candidate characters A and B are recognized, as shown in FIG. 18 (A), the confirmed characters or candidate characters are arranged together with the
なお、上位端末200に出力する出力データは、図18(A)に示すデータ転送フォーマットのように生成されることに限らず、例えば、2つの候補文字A,Bが認識された場合、図18(B)に示すデータ転送フォーマットのように、ヘッダの後に候補文字Aの位置を示すデータが配置され、さらに区切り文字を挟んで候補文字Bの位置を示すデータが配置され、さらに区切り文字を挟んでパスポートコードデータが配置され、最後にターミネータが配置されるように生成されてもよい。この場合、3つ以上の候補文字が認識された場合には、候補文字Bの位置を示すデータの後の区切り文字の後に、その候補文字の位置を示すデータと区切り文字とが個数分繰り返されるように配置されて出力データが生成される。
The output data output to the
なお、上記ステップS121の処理を実行する制御回路40は、「認識結果報知手段」の一例に相当し得る。これに対して、確定文字または候補文字がメモリ35に1文字も記憶されていない場合には(S119でNo)、上記ステップS121の処理がなされることなく本文字情報読取処理が終了する。
The
上記認識結果を取得した上位端末200では、図19に示すように、その表示部201に確定文字等の認識された文字が表示される。特に、候補文字を取得している場合には、その候補文字を矩形状等の枠(図19の符号203参照)で囲って強調表示することで、文字列102に対する候補文字の位置がわかるように表示される。なお、文字未検出画像の位置を取得している場合には、その位置に文字が表示されずに、文字が検出できなかったことを示すマーク等が表示される。また、候補文字は、矩形状等の枠で囲って強調表示されることに限らず、例えば、色を変更する等、他の強調方法を用いて強調表示してもよい。
In the
そして、使用者により、載置部80から取り上げたパスポート100の文字列102と、上位端末200の表示部201に表示される文字とが比較される。これにより、表示部201に表示される文字を、確定文字と候補文字とを区別してパスポート100の文字列102を元に確認することができる。そして、誤認した文字や未検出文字がある場合には、上位端末200の操作部202の操作に応じて適切な文字に修正することで、免税書類等を誤字等の防止を図りつつ短時間で作成することができる。
Then, the user compares the
以上説明したように、本実施形態に係る情報読取装置1では、撮像部23にて撮像された撮像画像において文字として認識される可能性がある文字画像と文字テンプレートとを比較して最も高くなる一致率Hが文字ごとに算出される。そして、一致率Hが第1の閾値Hth1以上となる文字画像が確定文字として認識され、一致率Hが第2の閾値Hth2以下となる文字画像が文字認識できない文字未検出画像として認識され、一致率Hが第2の閾値Hth2を超えかつ第1の閾値Hth1未満となる文字画像が候補文字として認識される。そして、上記認識結果が報知される際、上記候補文字が誤読の可能性がある文字として報知される。
As described above, in the
これにより、誤読の可能性が低い文字(確定文字)とともに誤読の可能性がある文字(候補文字)が報知される場合でも、どの文字が誤読の可能性がある文字であるかを容易に特定することができる。このように、文字認識の際に誤読の可能性がある文字(候補文字)を特定して報知するため、確定文字と候補文字とを区別して表示媒体(パスポート100)の文字列(102)を元に確認できるので、その確認作業および必要であればその修正作業を容易に行うことができる。 This makes it easy to identify which characters are likely to be misread, even when characters that are likely to be misread (candidate characters) are notified together with characters that are less likely to be misread (fixed characters) can do. Thus, in order to identify and notify a character (candidate character) that may be misread during character recognition, the character string (102) of the display medium (passport 100) is distinguished from the confirmed character and the candidate character. Since it can be confirmed originally, the confirmation work and the correction work can be easily performed if necessary.
特に、上記認識結果出力処理(S121)により、表示媒体の文字列に対して候補文字の位置を示す情報を含めた認識結果が外部に出力することで報知される。これにより、認識結果を取得した上位端末200等の外部の機器でも、確定文字と候補文字とを区別して表示媒体の文字列を元に確認することができる。
In particular, by the recognition result output process (S121), the recognition result including information indicating the position of the candidate character with respect to the character string of the display medium is notified to the outside and output. As a result, an external device such as the
なお、情報読取装置1は、表示部201と同等の機能を有する表示部を備え、その表示部に確定文字と候補文字とを区別して表示(報知)してもよい。これにより、情報読取装置1単体にて、修正が必要な文字を操作部42の操作に応じて適切に修正でき、免税書類等を誤字等の防止を図りつつ短時間で作成することができる。
Note that the
[第2実施形態]
次に、本発明の第2実施形態に係る情報読取装置について、図20および図21を参照して説明する。
本第2実施形態に係る情報読取装置1は、文字が配置されるエリアの条件が決まっている表示媒体の文字列を文字認識対象とする点が、上記第1実施形態に係る情報読取装置と異なる。したがって、第1実施形態の情報読取装置と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
[Second Embodiment]
Next, an information reading apparatus according to a second embodiment of the present invention will be described with reference to FIGS.
The
上記第1実施形態では、一致率Hが第2の閾値Hth2を超えかつ第1の閾値Hth1未満となる文字画像でも、最も一致率Hが高くなる文字テンプレートの文字が候補文字と認識される。しかしながら、例えば、アルファベットO(オー)と数字0(ゼロ)とはアルファベットと数字との違いがあるものの形状が似ている誤読しやすい文字であるため、双方について算出した一致率が近くなる。 In the first embodiment, the character template character having the highest matching rate H is recognized as a candidate character even in a character image having the matching rate H exceeding the second threshold Hth2 and less than the first threshold Hth1. However, for example, the alphabet O (O) and the number 0 (zero) are easy-to-read characters with similar shapes but different in alphabet and number, so the coincidence rates calculated for both are close.
そうすると、このようなアルファベットと数字の形状が似ており誤読しやすい一対の類似文字の一方を、単に一致率Hに基づいて認識すると、誤認する可能性がある。例えば、認識し難い表示状態のアルファベットO(オー)を撮像した文字画像であることから、数字0(ゼロ)との一致率Hが68%であり、アルファベットO(オー)との一致率Hが63%であると算出されると、候補文字が数字0(ゼロ)であると誤認されてしまう。また、一対の類似文字としては、例えば、アルファベットI(アイ)と数字1(イチ)、アルファベットS(エス)と数字5(ゴ)、アルファベットB(ビー)と数字8(ハチ)の組み合わせがある。 Then, if one of a pair of similar characters that are similar in alphabet and number and easily misread is recognized based on the coincidence rate H, there is a possibility of being misidentified. For example, since it is a character image obtained by imaging the alphabet O (O) in a display state that is difficult to recognize, the matching rate H with the number 0 (zero) is 68%, and the matching rate H with the alphabet O (O) is If it is calculated to be 63%, the candidate character will be mistaken for the number 0 (zero). Further, as a pair of similar characters, for example, there are combinations of alphabet I (eye) and numeral 1 (one), alphabet S (es) and numeral 5 (go), alphabet B (bee) and numeral 8 (bee). .
そこで、本実施形態では、文字が配置されるエリアの条件が決まっている表示媒体の文字列を文字認識対象とすることを前提に、その候補文字をそのエリアの条件に応じて修正する。例えば、パスポート100は、ICAO(International Civil Aviation Organization)勧告Doc9303 Part1 Volume1の規定に準拠した形式で作成される。このため、文字列102は、図20に示すような形式で表示される。図20のエリアS1は、パスポートの型を示すエリアである。エリアS2は、3桁のアルファベットを用いてパスポートの発行国を示すエリアである。エリアS3は、最大39桁のアルファベットを用いて、姓とファーストネーム、ミドルネームを示すエリアであり、間の空欄に「<」が表示される。エリアS4は、8桁の英数字を用いて旅券番号を示すエリアであり、7桁以下であれば空欄に「<」が表示される。エリアS5は、旅券番号のチェックデジットを示すエリアである。エリアS6は、3桁のアルファベットを用いて国籍を示すエリアである。エリアS7は、6桁の数字を用いて生年月日を示すエリアである。エリアS8は、生年月日のチェックデジットを示すエリアである。エリアS9は、性別を示すエリアである。エリアS10は、6桁の数字を用いて有効期限を示すエリアである。エリアS11は、有効期限のチェックデジットを示すエリアである。エリアS12は、オプションのチェックデジットを示すエリアである。エリアS13は、文字列2行目全文のチェックデジットを示すエリアである。
Therefore, in the present embodiment, the candidate character is corrected according to the condition of the area on the assumption that the character string of the display medium in which the condition of the area where the character is arranged is determined is the character recognition target. For example, the
このため、エリアS1,S2,S3,S6,S9は、アルファベットのみが配置されるアルファベットエリアとなり、エリアS5,S7,S8,S10,S11,S12,S13は、数字のみが配置される数字エリアとなる。また、その他のエリアは、アルファベットと数字とが混在する混在エリアとなる。なお、生年月日などが不明の場合には「<」が挿入される場合がある。なお、アルファベットエリアは、「第1のエリア」の一例に相当し、数字エリアは、「第2のエリア」の一例に相当し得る。 Therefore, the areas S1, S2, S3, S6, and S9 are alphabet areas where only alphabets are arranged, and the areas S5, S7, S8, S10, S11, S12, and S13 are numeric areas where only numerals are arranged. Become. The other areas are mixed areas in which alphabets and numbers are mixed. If the date of birth is unknown, “<” may be inserted. The alphabet area may correspond to an example of “first area”, and the numeric area may correspond to an example of “second area”.
そして、パスポート100の文字列102が表示されるエリアについて、上述したアルファベットエリアや数字エリア、混在エリアに関するエリア情報が予めメモリ35に記憶されている。なお、メモリ35は、「記憶手段」の一例に相当し得る。
Then, for the area where the
以下、本実施形態において制御回路40にて実施される文字情報読取処理について、図17および図21に示すフローチャートを参照して説明する。
上記第1実施形態と同様に、図17のステップS101以降の処理がなされ、認識困難な表示状態の文字が撮像された文字画像を対象としており、上述のように算出された一致率Hが第2の閾値Hth2を超えかつ第1の閾値Hth1未満となると(S107でYes)、その文字画像が誤読の可能性がある候補文字として認識されて、ステップS115に示す候補文字記憶処理がなされる。
Hereinafter, the character information reading process performed by the
As in the first embodiment, the process after step S101 in FIG. 17 is performed, and the target is a character image obtained by capturing characters in a display state that is difficult to recognize, and the matching rate H calculated as described above is the first. When the threshold value Hth2 of 2 is exceeded and less than the first threshold value Hth1 (Yes in S107), the character image is recognized as a candidate character that may be misread, and the candidate character storage process shown in step S115 is performed.
本実施形態では、上記候補文字記憶処理(S115)が図21に示すフローチャートに示すようになされる。すなわち、図21のステップS201において、候補文字が上述した一対の類似文字の一方であるか否かについて判定される。ここで、候補文字が一対の類似文字の一方でなければ(S201でNo)、ステップS207に示す候補文字記憶処理がなされ、その候補文字とこの候補文字の文字列102に対する位置とがメモリ35に記憶される。
In the present embodiment, the candidate character storage process (S115) is performed as shown in the flowchart of FIG. That is, in step S201 in FIG. 21, it is determined whether the candidate character is one of the pair of similar characters described above. If the candidate character is not one of a pair of similar characters (No in S201), the candidate character storage process shown in step S207 is performed, and the candidate character and the position of the candidate character with respect to the
一方、候補文字が一対の類似文字の一方であると(S201でYes)、ステップS203に示す判定処理にて、メモリ35に記憶される上記エリア情報に基づいて、その候補文字がアルファベットであって数字エリアに配置されているか否かについて判定される。ここで、当該候補文字がアルファベットであって数字エリアに配置されていると(S203でYes)、ステップS209に示す数字置換処理がなされる。この処理では、アルファベットとして認識されていた候補文字が、上記一対の類似文字の他方となる数字に置換される。例えば、アルファベットO(オー)として認識された候補文字が生年月日を示すエリアS7に配置されていると、その候補文字が数字0(ゼロ)に置換される。そして、ステップS207に示す候補文字記憶処理がなされ、置換された候補文字とこの候補文字の文字列102に対する位置とがメモリ35に記憶される。
On the other hand, if the candidate character is one of a pair of similar characters (Yes in S201), the candidate character is an alphabet based on the area information stored in the
また、候補文字が一対の類似文字の一方であり(S201でYes)、当該候補文字が数字であってアルファベットエリアに配置されていると(S203でNo,S205でYes)、ステップS211に示すアルファベット置換処理がなされる。この処理では、数字として認識されていた候補文字が、上記一対の類似文字の他方となるアルファベットに置換される。例えば、数字0(ゼロ)として認識された候補文字が国籍を示すエリアS6に配置されていると、その候補文字がアルファベットO(オー)に置換される。そして、ステップS207に示す候補文字記憶処理がなされ、置換された候補文字とこの候補文字の文字列102に対する位置とがメモリ35に記憶される。
If the candidate character is one of a pair of similar characters (Yes in S201) and the candidate character is a number and is arranged in the alphabet area (No in S203, Yes in S205), the alphabet shown in step S211 Replacement processing is performed. In this process, the candidate character that has been recognized as a number is replaced with the alphabet that is the other of the pair of similar characters. For example, if a candidate character recognized as the number 0 (zero) is arranged in the area S6 indicating nationality, the candidate character is replaced with the alphabet O (O). Then, candidate character storage processing shown in step S207 is performed, and the replaced candidate character and the position of the candidate character with respect to the
また、候補文字が一対の類似文字の一方である場合でも(S201でYes)、当該候補文字が混在エリアに配置されているか、数字であって数字エリアに配置されているか、アルファベットであってアルファベットエリアに配置されていると(S203でNo,S205でNo)、ステップS207に示す候補文字記憶処理がなされ、置換されることなくその候補文字とこの候補文字の文字列102に対する位置とがメモリ35に記憶される。
Further, even when the candidate character is one of a pair of similar characters (Yes in S201), whether the candidate character is arranged in the mixed area, a number and arranged in the number area, or an alphabet and alphabet If it is arranged in the area (No in S203, No in S205), the candidate character storage process shown in step S207 is performed, and the candidate character and the position of the candidate character with respect to the
上記ステップS207の処理、または、上述した図17のステップS111,S113の処理がなされ、切り出された全ての文字画像について一致率Hが算出されると(S117でYes)、確定文字または候補文字がメモリ35に記憶されていることから文字が検出されているとして(S119でYes)、ステップS121に示す認識結果出力処理がなされる。 When the processing in step S207 or the processing in steps S111 and S113 in FIG. 17 described above is performed and the matching rate H is calculated for all the extracted character images (Yes in S117), the confirmed character or the candidate character is Since the character is detected because it is stored in the memory 35 (Yes in S119), the recognition result output process shown in step S121 is performed.
これにより、上記認識結果を取得した上位端末200では、その表示部201に確定文字等の認識された文字が表示される。そして、使用者により、載置部80から取り上げたパスポート100の文字列102と、上位端末200の表示部201に表示される文字とが比較される。これにより、表示部201に表示される文字を、確定文字と候補文字とを区別してパスポート100の文字列102を元に確認することができる。そして、候補文字や未検出文字がある場合には、上位端末200の操作部202の操作に応じて適切な文字に修正することで、免税書類等を誤字等の防止を図りつつ短時間で作成することができる。
Thereby, in the
以上説明したように、本実施形態に係る情報読取装置1では、表示媒体の文字列が表示されるエリアについて、アルファベットのみが配置されるアルファベットエリア(第1のエリア)と数字のみが配置される数字エリア(第2のエリア)とに関するエリア情報が予めメモリ35に記憶されている。そして、メモリ35のエリア情報に基づいて、候補文字がアルファベットと数字との形状が似ている一対の類似文字の一方であるとき、数字と認識された候補文字のうちアルファベットエリアに配置される文字が上記一対の類似文字の他方となるアルファベットとして認識され、アルファベットと認識された候補文字のうち数字エリアに配置される文字が上記一対の類似文字の他方となる数字として認識される。
As described above, in the
パスポート100のようにアルファベットのみが配置されるアルファベットエリア(S1,S2,S3,S6,S9)や数字のみが配置される数字エリア(S5,S7,S8,S10,S11,S12,S13)が決まっている表示媒体の文字列に関して文字認識する場合には、アルファベットと数字との形状が似ているために誤読している候補文字があっても、予め記憶される上記エリア情報に基づいてその候補文字がそのエリアの条件に応じた文字に修正されるように認識されることで、文字認識精度を向上させることができる。
The alphabet area (S1, S2, S3, S6, S9) where only the alphabet is arranged and the number area (S5, S7, S8, S10, S11, S12, S13) where only the numbers are arranged are determined as in the
なお、図21に示すフローチャートに示す処理は、候補文字を記憶する候補文字記憶処理(S115)についてなされることに限らず、確定文字を記憶する確定文字記憶処理(S111)についてなされてもよい。 The process shown in the flowchart of FIG. 21 is not limited to the candidate character storage process (S115) for storing candidate characters, but may be performed for the confirmed character storage process (S111) for storing a confirmed character.
[第3実施形態]
次に、本発明の第3実施形態に係る情報読取装置について、図22および図23を参照して説明する。
本第3実施形態に係る情報読取装置1は、表示媒体の文字列に付着したゴミ等の異物による誤読の影響を抑制する点が、上記第1実施形態に係る情報読取装置と異なる。したがって、第1実施形態の情報読取装置と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
[Third Embodiment]
Next, an information reading apparatus according to a third embodiment of the present invention will be described with reference to FIG. 22 and FIG.
The
表示媒体の文字列にゴミ等の異物が付着していると、撮像された文字が異物のために誤認される場合がある。例えば、アルファベットT(ティー)を撮像している場合でも、その文字の下部に異物が付着していることで、アルファベットI(アイ)として誤認される場合がある。 If foreign matter such as dust adheres to the character string of the display medium, the captured character may be mistaken for the foreign matter. For example, even when an image of the alphabet T (tee) is taken, there is a case where a foreign object adheres to the lower part of the character and is mistaken as the alphabet I (eye).
一方、撮像された画像において、異物が付着していない黒色(暗色系)の文字部分に相当する文字領域と異物に相当する異物領域とは通常明度が異なる場合が多い。例えば、下部に異物が付着したアルファベットT(ティー)を撮像してアルファベットI(アイ)として誤認される文字画像Mでは、黒色の文字部分に相当する文字領域M1の下部に、図22(A)に示すように文字領域M1よりも明るい異物領域M2が位置する場合や、図22(B)に示すように文字領域M1よりも暗い異物領域M2が位置する場合がある。 On the other hand, in a captured image, a character area corresponding to a black (dark color) character portion to which no foreign object is attached and a foreign substance area corresponding to a foreign object often have different brightness. For example, in a character image M that is mistakenly recognized as an alphabet I (eye) by picking up an alphabet T (tee) with foreign matter attached to the lower portion, the character image M shown in FIG. As shown in FIG. 22, there is a case where a foreign matter region M2 brighter than the character region M1 is located, or a foreign matter region M2 darker than the character region M1 as shown in FIG.
そこで、本実施形態では、文字認識を終えた後に、確定文字または候補文字と認識された全ての文字領域の明度Xから平均明度Xmを算出し、複数の文字領域のうち平均明度Xmと比較して印字状態が異なるとみなされる明度Xの文字領域(以下、異色文字領域ともいう)を、異物が付着した文字を撮像した文字領域と推定する。 Therefore, in the present embodiment, after the character recognition is completed, the average lightness Xm is calculated from the lightness X of all the character regions recognized as the confirmed character or the candidate character, and compared with the average lightness Xm among the plurality of character regions. The character region of lightness X (hereinafter also referred to as a different color character region) that is considered to have a different print state is estimated as a character region obtained by imaging a character with a foreign object attached thereto.
以下、本実施形態において制御回路40にて実施される文字情報読取処理について、図23に示すフローチャートを参照して説明する。
上記第1実施形態と同様に、図23のステップS101以降の処理がなされ、切り出された全ての文字画像について一致率Hが算出され(S117でYes)、確定文字または候補文字がメモリ35に記憶されていることから文字が検出されていると(S119でYes)、ステップS123に示す平均明度算出処理がなされる。この処理では、撮像された画像について、黒色(暗色系)の文字部分として確定文字または候補文字(認識文字)と認識された全ての文字領域の明度Xから平均明度Xmが算出される。なお、上記ステップS123の処理を実行する制御回路40は、「平均明度算出手段」の一例に相当し得る。
Hereinafter, the character information reading process performed by the
As in the first embodiment, the processing from step S101 onward in FIG. 23 is performed, and the match rate H is calculated for all the extracted character images (Yes in S117), and the confirmed character or candidate character is stored in the
そして、各文字領域の明度Xと平均明度Xmとがそれぞれ比較される。具体的には、ステップS125に示す判定処理にて、1つの認識文字における文字領域の明度Xと平均明度Xmとの差が所定の閾値Xth以上となるか否かについて判定される。ここで、所定の閾値Xthは、印字状態が異なるとみなされる明度の異色文字領域の明度Xと平均明度Xmと差に相当するものであって、図22(A)に例示する文字領域M1の明度と異物領域M2との差や図22(B)に例示する文字領域M1の明度と異物領域M2との差などを実際に比較した経験則から求めることができ、本実施形態では、例えば、平均明度Xmの20%程度に設定されている。 Then, the lightness X and the average lightness Xm of each character area are respectively compared. Specifically, in the determination process shown in step S125, it is determined whether or not the difference between the lightness X and the average lightness Xm of the character area in one recognized character is equal to or greater than a predetermined threshold value Xth. Here, the predetermined threshold value Xth corresponds to the difference between the lightness X and the average lightness Xm of light-colored character regions that are considered to have different printing states, and is the character region M1 illustrated in FIG. 22A. The difference between the brightness and the foreign object area M2 and the difference between the brightness of the character area M1 illustrated in FIG. 22B and the foreign object area M2 can be obtained from empirical rules that are actually compared. In this embodiment, for example, It is set to about 20% of the average brightness Xm.
異物が付着していない文字における文字領域の明度Xと平均明度Xmとを比較していることから両値の差が小さく、|X−Xm|<Xthとなると(S125でNo)、全ての文字について比較していない場合には(S129でNo)、再度ステップS125に示す判定処理にて、次の認識文字における文字領域の明度Xと平均明度Xmとが比較される。なお、上記ステップS125の判定処理を実行する制御回路40は、「判定手段」の一例に相当し得る。
Since the brightness X and the average brightness Xm of the character area in the character to which no foreign matter is attached are compared, if the difference between the two values is small and | X−Xm | <Xth (No in S125), all characters (No in S129), the lightness X of the character area and the average lightness Xm in the next recognized character are compared again in the determination process shown in step S125. Note that the
このステップS125の処理におけるNoとの繰り返し判定中に、異物が付着している文字における文字領域の明度Xと平均明度Xmとを比較していることから両値の差が大きくなり、|X−Xm|≧Xthとなると(S125でYes)、印字状態が異なるとみなされる明度の異色文字領域があると判定されて、ステップS127に示す異物位置記憶処理がなされる。この処理では、文字領域の明度Xと平均明度Xmとの差が所定の閾値Xth以上となった認識文字の位置が異物付着の可能性がある認識文字の位置としてメモリ35に記憶される。
During the repeated determination of No in the process of step S125, the lightness X and the average lightness Xm of the character area in the character to which the foreign matter is attached are compared, so the difference between the two values becomes large. If Xm | ≧ Xth (Yes in S125), it is determined that there is a different-color character region with a lightness that is considered to have a different print state, and the foreign object position storage process shown in step S127 is performed. In this process, the position of the recognized character where the difference between the lightness X of the character area and the average lightness Xm is equal to or greater than a predetermined threshold value Xth is stored in the
そして、全ての認識文字について明度Xと平均明度Xmとが比較されると(S129でYes)、ステップS131に示す判定処理にて、異物付着の可能性がある認識文字の位置がメモリ35に記憶されているか否かについて判定される。ここで、異物付着の可能性がある認識文字の位置がメモリ35に記憶されていない場合には(S131でNo)、誤読するような異物が付着していないとして、上述したステップS121に示す認識結果出力処理がなされる。
When the lightness X and the average lightness Xm are compared for all the recognized characters (Yes in S129), the position of the recognized character with the possibility of foreign matter adhesion is stored in the
一方、異物付着の可能性がある認識文字の位置がメモリ35に記憶されている場合には(S131でYes)、誤読するような異物が付着している可能性があるとして、ステップS133に示す認識結果出力処理がなされる。この処理では、メモリ35に記憶される認識文字(確定文字や候補文字)や候補文字の位置等の情報に加えて、異物付着の可能性がある認識文字の位置が認識結果として出力される。
On the other hand, when the position of the recognized character with the possibility of foreign matter adhering is stored in the memory 35 (Yes in S131), it is assumed that there is a possibility that a foreign matter that may be misread is attached, as shown in step S133. Recognition result output processing is performed. In this process, in addition to information such as recognized characters (determined characters and candidate characters) and candidate character positions stored in the
これにより、上記認識結果を取得した上位端末200では、その表示部201に異物付着の可能性がある認識文字を上記第1実施形態のように強調表示することで、文字列102に対する異物付着の可能性がある認識文字の位置がわかるように表示される。そして、使用者により、載置部80から取り上げたパスポート100の文字列102と、上位端末200の表示部201に表示される文字とが比較される際、異物が付着しているために誤認の可能性がある文字を容易に特定可能となる。
As a result, the
次に、ステップS135に示す異物付着報知処理がなされる。この処理では、発光部46における所定の点灯点滅等の発光およびスピーカ44における所定の音声やブザー音の発音がなされ、その発光状態および発音状態に応じて表示媒体の文字列にゴミ等の異物が付着していることが報知される。これにより、この報知を受けた使用者は、表示媒体の文字列にゴミ等の異物が付着していることを認識することができる。なお、発光部46およびスピーカ44は、「異物付着報知手段」としての「発光部」および「発音部」の一例に相当し得る。
Next, the foreign matter adhesion notification process shown in step S135 is performed. In this processing, light emission such as predetermined lighting and blinking in the
以上説明したように、本実施形態に係る情報読取装置1では、撮像部23により撮像された画像について文字と認識される全ての文字領域の平均明度Xmが算出される。そして、複数の文字領域のうち平均明度Xmと比較して印字状態が異なるとみなされる明度Xの異色文字領域があると判定されると、表示媒体に異物が付着していることが発光部46の発光およびスピーカ44の発音により報知される。
As described above, in the
このように、複数の文字領域のうち平均明度Xmと比較して印字状態が異なるとみなされる明度Xの異色文字領域を、異物が付着した文字を撮像した文字領域と推定して、表示媒体に異物が付着していることを報知することで、報知を受けた使用者等に異物の除去を促すことができる。 In this way, a different color character area having a lightness X that is considered to have a different print state compared to the average lightness Xm among a plurality of character areas is estimated as a character area obtained by imaging a character with a foreign object attached thereto, and is displayed on the display medium. By notifying that a foreign object is attached, it is possible to prompt the user who received the notification to remove the foreign object.
さらに、上記認識結果出力処理(S133)により、表示媒体の文字列に対して異色文字領域の位置を示す情報を含めた認識結果が外部に出力することで報知される。これにより、認識結果を取得した上位端末200等の外部の機器等でも、確定文字と候補文字とを区別して表示媒体の文字列を元に確認することができるだけでなく、異物が付着しているために誤認の可能性がある文字を特定することができる。
Further, by the recognition result output process (S133), the recognition result including the information indicating the position of the different color character area with respect to the character string of the display medium is notified to the outside. As a result, an external device or the like such as the
特に、異物付着報知手段として機能する発光部46の発光およびスピーカ44の発音の少なくともいずれか一方より表示媒体の文字列に異物が付着していることが報知されるため、報知を受けた使用者等は、表示媒体に異物が付着していることを容易に把握することができる。
In particular, since at least one of the light emission of the
なお、上記ステップS135の異物付着報知処理では、発光部46の発光およびスピーカ44の発音の双方により異物の付着を報知することに限らず、発光部46の発光およびスピーカ44の発音のいずれか一方により異物の付着が報知されてもよいし、表示部の表示等、他の異物付着報知手段により異物の付着が報知されてもよい。
Note that the foreign matter adhesion notification process in step S135 is not limited to notifying the attachment of foreign matter by both the light emission of the
また、情報読取装置1は、表示部201と同等の機能を有する表示部を備え、その表示部に認識文字(確定文字および候補文字)を表示する際に、異物が付着していることに加えて、表示媒体の文字列に対する異色文字領域の位置を表示(報知)してもよい。これにより、確定文字と候補文字とを区別して表示媒体の文字列を元に確認することができるだけでなく、異物が付着しているために誤認の可能性がある文字を特定することができる。
Further, the
なお、表示媒体の文字列に対する異物付着を検出して報知する本実施形態の特徴的構成は、他の実施形態にも適用することができる。 Note that the characteristic configuration of the present embodiment that detects and notifies the adhesion of a foreign object to a character string on a display medium can also be applied to other embodiments.
[他の実施形態]
なお、本発明は上記各実施形態に限定されるものではなく、例えば、以下のように具体化してもよい。
(1)本発明は、パスポート100等の表示媒体が載置される載置部(80)を有するアタッチメント(60)が組み付けられる情報読取装置に適用されることに限らず、例えば、単にかざされた表示媒体の文字列を読み取る情報読取装置に適用されてもよいし、携帯型の文字認識可能な情報読取装置に適用されてもよい。
[Other Embodiments]
In addition, this invention is not limited to said each embodiment, For example, you may actualize as follows.
(1) The present invention is not limited to being applied to an information reading device to which an attachment (60) having a placement portion (80) on which a display medium such as a
(2)本発明に係る表示媒体は、パスポート100に限らず、例えば、身分証など、撮像した文字列から認識した文字を利用して書類等を作成する元となる表示媒体であってもよい。
(2) The display medium according to the present invention is not limited to the
(3)一致率Hの算出方法は、上述したようにユークリッド距離等の二次元パターン間の距離を計算する方法を利用して算出されることに限らず、撮像した文字と規定の文字テンプレートとの類似性や相違性が数値化可能な方法を利用して算出されてもよい。 (3) The method of calculating the coincidence rate H is not limited to the calculation using the method of calculating the distance between two-dimensional patterns such as the Euclidean distance as described above. The similarity or difference may be calculated using a method that can be quantified.
1…情報読取装置
23…撮像部(撮像手段)
35…メモリ(記憶手段)
40…制御回路(一致率算出手段,文字認識手段,認識結果報知手段,平均明度算出手段,判定手段,異物付着報知手段)
44…スピーカ(異物付着報知手段,発音部)
46…発光部(異物付着報知手段)
100…パスポート(表示媒体)
102…文字列
H…一致率 Hth1…第1の閾値 Hth2…第2の閾値
X…明度 Xm…平均明度 Xth…所定の閾値
DESCRIPTION OF
35 ... Memory (storage means)
40. Control circuit (match rate calculation means, character recognition means, recognition result notification means, average brightness calculation means, determination means, foreign matter adhesion notification means)
44 ... Speaker (foreign matter adhesion notification means, sound generator)
46. Light emitting part (foreign matter adhesion notifying means)
100: Passport (display medium)
102: Character string H ... Match rate Hth1 ... First threshold Hth2 ... Second threshold X ... Lightness Xm ... Average lightness Xth ... Predetermined threshold
Claims (7)
前記撮像手段により撮像された撮像画像において文字として認識される可能性がある文字画像と文字テンプレートとを比較して最も高くなる一致率を文字ごとに算出する一致率算出手段と、
前記一致率算出手段により算出された前記一致率を利用して前記文字画像から文字を認識する文字認識手段と、
前記文字認識手段による認識結果を報知する認識結果報知手段と、
を備え、
前記文字認識手段は、
前記一致率が誤読の可能性が低いとみなされる第1の閾値以上となる前記文字画像を確定文字として認識し、
前記一致率が誤読の可能性が高いとみなされる第2の閾値以下となる前記文字画像を文字認識できない文字未検出画像として認識し、
前記一致率が前記第2の閾値を超えかつ前記第1の閾値未満となる前記文字画像を候補文字として認識し、
前記認識結果報知手段は、前記候補文字を誤読の可能性がある文字として報知することを特徴とする情報読取装置。 Imaging means for imaging a character string displayed on a display medium;
A matching rate calculation unit that calculates a matching rate that is the highest by comparing a character image and a character template that may be recognized as a character in the captured image captured by the imaging unit;
Character recognition means for recognizing characters from the character image using the match rate calculated by the match rate calculation means;
A recognition result notifying means for notifying a recognition result by the character recognition means;
With
The character recognition means includes
Recognizing the character image having a match rate equal to or higher than a first threshold that is regarded as low possibility of misreading as a confirmed character;
Recognizing the character image having a matching rate equal to or lower than a second threshold that is regarded as highly likely to be misread as a character undetected image that cannot be recognized;
Recognizing the character image with the matching rate exceeding the second threshold and less than the first threshold as a candidate character;
The recognition result notifying unit notifies the candidate character as a character that may be misread.
前記第1のエリアおよび前記第2のエリアに関するエリア情報が予め記憶される記憶手段を備え、
前記文字認識手段は、前記記憶手段の前記エリア情報に基づいて、前記候補文字がアルファベットと数字との形状が似ている一対の類似文字の一方であるとき、数字と認識された前記候補文字のうち前記第1のエリアに配置される文字を前記一対の類似文字の他方となるアルファベットとして認識し、アルファベットと認識された前記候補文字のうち前記第2のエリアに配置される文字を前記一対の類似文字の他方となる数字として認識することを特徴とする請求項1に記載の情報読取装置。 The area where the character string of the display medium is displayed includes a first area where only alphabets are arranged and a second area where only numbers are arranged,
Comprising storage means for storing area information relating to the first area and the second area in advance;
The character recognition means, based on the area information of the storage means, when the candidate character is one of a pair of similar characters similar in alphabet and number, the candidate character recognized as a number Of these, the character arranged in the first area is recognized as an alphabet which is the other of the pair of similar characters, and the character arranged in the second area among the candidate characters recognized as alphabet is the pair of characters. The information reading apparatus according to claim 1, wherein the information reading apparatus is recognized as a number that is the other of the similar characters.
複数の前記文字領域のうち前記平均明度と比較して印字状態が異なるとみなされる明度の異色文字領域があるか否かについて判定する判定手段と、
前記判定手段により前記異色文字領域があると判定されると、前記表示媒体に異物が付着していることを報知する異物付着報知手段と、
を備えることを特徴とする請求項1〜3のいずれか一項に記載の情報読取装置。 Average lightness calculating means for calculating the average lightness of all character areas recognized as characters by the character recognizing means for the image picked up by the image pickup means;
Determining means for determining whether or not there is a different color character region of lightness that is considered to have a different print state compared to the average lightness among the plurality of character regions;
Foreign matter adhesion notifying means for notifying that a foreign matter has adhered to the display medium when the judging means determines that the different color character area is present;
The information reading apparatus according to claim 1, further comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015108452A JP6524800B2 (en) | 2015-05-28 | 2015-05-28 | Information reader |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015108452A JP6524800B2 (en) | 2015-05-28 | 2015-05-28 | Information reader |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016224602A true JP2016224602A (en) | 2016-12-28 |
JP6524800B2 JP6524800B2 (en) | 2019-06-05 |
Family
ID=57748216
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015108452A Active JP6524800B2 (en) | 2015-05-28 | 2015-05-28 | Information reader |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6524800B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019016001A (en) * | 2017-07-03 | 2019-01-31 | ファナック株式会社 | Nc program conversion apparatus |
JP2020160609A (en) * | 2019-03-25 | 2020-10-01 | 東芝テック株式会社 | Program and character recognition method |
JP7487991B1 (en) | 2023-09-12 | 2024-05-21 | 株式会社オプトエレクトロニクス | Character string reading method, character string reading device, and program |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05182014A (en) * | 1991-12-28 | 1993-07-23 | Ricoh Co Ltd | Character recognition method |
JPH113401A (en) * | 1997-06-12 | 1999-01-06 | Canon Inc | Information processor and its method |
JP2001216473A (en) * | 2000-01-31 | 2001-08-10 | Keyence Corp | Method and device for processing image and recording medium |
JP2004177215A (en) * | 2002-11-26 | 2004-06-24 | Dainippon Printing Co Ltd | Apparatus, method and processing program for inspecting printed matter, and recording medium in which the program is recorded |
JP2011130267A (en) * | 2009-12-18 | 2011-06-30 | Konica Minolta Business Technologies Inc | Image reader, image reading method, and control program for controlling the image reader |
JP2014071698A (en) * | 2012-09-28 | 2014-04-21 | Omron Corp | Image processing apparatus and image processing method |
-
2015
- 2015-05-28 JP JP2015108452A patent/JP6524800B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05182014A (en) * | 1991-12-28 | 1993-07-23 | Ricoh Co Ltd | Character recognition method |
JPH113401A (en) * | 1997-06-12 | 1999-01-06 | Canon Inc | Information processor and its method |
JP2001216473A (en) * | 2000-01-31 | 2001-08-10 | Keyence Corp | Method and device for processing image and recording medium |
JP2004177215A (en) * | 2002-11-26 | 2004-06-24 | Dainippon Printing Co Ltd | Apparatus, method and processing program for inspecting printed matter, and recording medium in which the program is recorded |
JP2011130267A (en) * | 2009-12-18 | 2011-06-30 | Konica Minolta Business Technologies Inc | Image reader, image reading method, and control program for controlling the image reader |
JP2014071698A (en) * | 2012-09-28 | 2014-04-21 | Omron Corp | Image processing apparatus and image processing method |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019016001A (en) * | 2017-07-03 | 2019-01-31 | ファナック株式会社 | Nc program conversion apparatus |
US10410080B2 (en) | 2017-07-03 | 2019-09-10 | Fanuc Corporation | NC-program conversion device |
JP2020160609A (en) * | 2019-03-25 | 2020-10-01 | 東芝テック株式会社 | Program and character recognition method |
JP7274322B2 (en) | 2019-03-25 | 2023-05-16 | 東芝テック株式会社 | Program and character recognition method |
JP7487991B1 (en) | 2023-09-12 | 2024-05-21 | 株式会社オプトエレクトロニクス | Character string reading method, character string reading device, and program |
JP7487984B1 (en) | 2023-09-12 | 2024-05-21 | 株式会社オプトエレクトロニクス | Character string reading method, character string reading device, and program |
JP7497106B1 (en) | 2023-09-12 | 2024-06-10 | 株式会社オプトエレクトロニクス | Character string reading method, character string reading device, and program |
Also Published As
Publication number | Publication date |
---|---|
JP6524800B2 (en) | 2019-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8170271B2 (en) | System and method for test tube and cap identification | |
US10055627B2 (en) | Mobile imaging barcode scanner | |
US5945661A (en) | Data symbol reader and method including data symbol position evaluation | |
JP2017059208A (en) | Check out device | |
ES2936433A2 (en) | Barcode readers with 3d camera(s) | |
JP4425953B2 (en) | Code symbol photographing device, code symbol reading device | |
JP6524800B2 (en) | Information reader | |
US10055625B2 (en) | Imaging barcode reader with color-separated aimer and illuminator | |
US11790196B2 (en) | Indicia reader acoustic for multiple mounting positions | |
JP2019096344A (en) | Optical information reading device | |
US10803267B2 (en) | Illuminator for a barcode scanner | |
US8479995B2 (en) | Hybrid optical code scanner and system | |
CN110945530A (en) | Two-dimensional code and two-dimensional code reading device | |
US11120238B2 (en) | Decoding color barcodes | |
JP4650138B2 (en) | Optical information reader | |
JP6950176B2 (en) | Captured image storage device and information management system | |
JP6519445B2 (en) | Optical information reader | |
JP5724771B2 (en) | Optical information reader | |
JP2020024492A (en) | Character recognition device | |
JP6930252B2 (en) | Optical information reader | |
JP2006134160A (en) | Optical information reading device | |
JPH0950472A (en) | Data symbol reader | |
JP2019067179A (en) | Information reader and information reading system | |
WO2020085331A1 (en) | Information-code reading device | |
JP2669434B2 (en) | Optical character reader |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180112 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190318 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190409 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190422 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6524800 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |