JP6527410B2

JP6527410B2 - Character recognition device, character recognition method, and program

Info

Publication number: JP6527410B2
Application number: JP2015135059A
Authority: JP
Inventors: 新庄　広; 広新庄; 高橋　寿一; 寿一高橋; 義行小林; 健太郎大西; 亮一加畑
Original assignee: Hitachi Systems Ltd
Current assignee: Hitachi Systems Ltd
Priority date: 2015-07-06
Filing date: 2015-07-06
Publication date: 2019-06-05
Anticipated expiration: 2035-07-06
Also published as: JP2017016549A

Description

本発明は、入力された画像から文字を認識する文字認識装置に関する。 The present invention relates to a character recognition apparatus that recognizes characters from an input image.

情報通信機器等の数、及び情報通信機器等が扱うデータ量は飛躍的に増加している。情報通信機器等を用いた情報サービスを運用するために、当該情報通信機器等を安定的に稼働させる必要がある。このため、情報通信機器等が設置される場所において、情報通信機器等の点検作業の重要性が増している。 The number of information communication devices etc. and the amount of data handled by the information communication devices etc. have increased dramatically. In order to operate an information service using an information communication device etc., it is necessary to operate the information communication device etc. stably. For this reason, in places where information communication devices and the like are installed, the importance of inspection work for information communication devices and the like is increasing.

従来の点検作業では、作業員が点検結果を紙の点検表に手書きで記入するものでる。このため、点検作業の運用効率、及び点検作業の正確性の面で以下の問題があった。
（１）紙の利用によるコスト高：点検表に記入された点検結果をデータ化するために別途パンチ入力作業が必要となり、コストが高くなる。
（２）型番の確認作業の煩雑さ：点検作業では、作業員が、点検対象の機器の型番を確認した後、当該機器に応じた点検項目を確認する。しかし、似たような型式の型番の機器が多く設置される場所では、型番及び点検項目の文字が小さく、設置場所が暗い可能性が高いので、点検対象の機器の型番を特定すること及び点検項目の数字又はコード等を確認することが煩雑である。このような状況で作業員による目視の型番の確認作業は、時間がかかるうえに誤りを伴う可能性が高い。
（３）点検作業の煩雑さ：点検作業においては、紙に点検すべき項目が記入されており、作業員が、一つの項目を点検した後、紙を見て、次の項目を確認し、当該項目の数字又はコード等を見つけて、当該数字又はコードを点検表に記入するが、この点検作業が煩雑である。 In the conventional inspection work, the worker manually writes the inspection result on a paper check sheet. For this reason, there were the following problems in terms of operation efficiency of inspection work and accuracy of inspection work.
(1) High cost due to the use of paper: A separate punch input operation is required to digitize the inspection result entered in the check sheet, resulting in high cost.
(2) The complexity of the confirmation work of the model number: In the inspection work, after the worker confirms the model number of the equipment to be inspected, the inspection item according to the equipment concerned is confirmed. However, where many devices of similar model number are installed, the letters of the model number and inspection item are small, and the installation location is likely to be dark, so identifying the model number of the device to be inspected and checking It is complicated to confirm the numbers or codes of the items. In such a situation, the confirmation work of the model number by visual inspection by a worker is likely to be time-consuming and erroneous.
(3) Complexity of inspection work: In the inspection work, the items to be checked are entered on the paper, and after the worker checks one item, look at the paper and check the following items, The number or code of the item is found, and the number or code is entered in the check sheet. This check operation is complicated.

上記（１）〜（３）の問題に対して、特開２０１５−１８５１号公報（特許文献１）に記載された技術がある。特許文献１の公報には、「同じ種類の点検を実施する予定の設備または機器の識別情報、設備機器名称情報、点検内容情報、支援情報および関連設備機器情報を抽出する第１の抽出部と、点検を実施する予定の設備または機器に対応する階層情報および場所特定情報を抽出する第２の抽出部と、次に点検を実施する設備または機器の候補を特定する候補特定部と、点検を実施する予定の設備または機器に対応する識別情報、点検内容情報、支援情報および候補を、作業者の利用する端末の表示部に表示させるための点検シナリオ表示情報を生成する表示生成部と、を備える点検支援装置である。」と記載されている（要約参照）。 With respect to the above problems (1) to (3), there is a technique described in JP-A-2015-1851 (Patent Document 1). Patent document 1 discloses “a first extraction unit for extracting identification information of equipment or equipment scheduled to carry out the same type of inspection, equipment device name information, inspection content information, support information, and related equipment device information A second extraction unit that extracts hierarchical information and place specification information corresponding to the facility or device scheduled to be inspected, a candidate identification unit for identifying a candidate for the facility or device to be inspected next, and the inspection A display generation unit that generates inspection scenario display information for displaying identification information, inspection content information, support information, and candidates corresponding to the facility or device to be implemented on the display unit of the terminal used by the worker Is described as “the inspection support device provided” (see the summary).

特開２０１５−１８５１号公報JP, 2015-1851, A

特許文献１に記載の技術では、点検項目の数字又はコード等が作業員によって端末にデータとして手作業で入力されるので、上記（１）の問題は解決される。また、作業者の端末に点検シナリオが表示されるので、上記（３）の問題も解決される。 In the technique described in Patent Document 1, the number or code of the inspection item is manually input as data to the terminal by the operator, so the above problem (1) is solved. Further, since the inspection scenario is displayed on the terminal of the worker, the above problem (3) is also solved.

しかしながら、特許文献１に記載の技術では、作業員が型番等を確認しなければならず、また、作業員が手作業で点検項目の数字又はコード等を入力する必要がある。このため、上記（２）の問題は解決されない。また、作業員が点検項目の箇所を探す必要がある。 However, according to the technique described in Patent Document 1, the operator must confirm the model number and the like, and the operator needs to manually input the numbers or codes of the inspection items. Therefore, the above problem (2) is not solved. In addition, it is necessary for workers to look for inspection items.

本発明は、機器の特定情報の文字を認識して、機器の特定情報に対応する点検項目の文字を認識することによって、ユーザが機器の特定情報の確認作業、及びユーザの点検項目の手作業による入力を不要として、作業効率を向上させる文字認識装置を提供することを目的とする。 The present invention recognizes the character of the specific information of the device and recognizes the character of the inspection item corresponding to the specific information of the device to allow the user to check the specific information of the device and manually perform the inspection item of the user. It is an object of the present invention to provide a character recognition device that improves work efficiency by eliminating the need for input by the user.

本発明の代表的な一例を示せば、入力された画像に含まれる文字を認識する文字認識装置であって、文字を認識する複数の項目を含む複数のグループと、前記グループに含まれる複数の項目の当該グループ内での認識順序と、各項目の文字の認識に用いる情報とが登録された認識辞書を記憶する記憶部と、プロセッサと、を備え、前記認識辞書に登録される項目は、複数の第１項目及び複数の第２項目を含み、前記第１項目は前記グループ内での認識順序が最初の項目であって、前記第１項目に少なくとも一つの第２項目が関連付けられ、前記プロセッサは、前記認識辞書に登録された複数のグループの第１項目の文字の認識に用いる情報に基づいて、入力された画像から前記第１項目の文字を認識し、前記認識辞書に登録された前記認識順序を参照し、前記認識された文字の第１項目に関連付けられた第２項目から次に文字を認識する第２項目を特定し、前記特定した第２項目の文字の認識に用いる情報を前記認識辞書から読み出し、前記読み出された第２項目の文字の認識に用いる情報に基づいて、入力された画像から当該第２項目の文字を認識することを特徴とする。 A typical example of the present invention is a character recognition device for recognizing characters contained in an input image, which comprises a plurality of groups including a plurality of items for recognizing characters, and a plurality of members included in the groups. A storage unit storing a recognition dictionary in which the recognition order of the items in the group and information used for recognition of the characters of the items are registered; and a processor, the items registered in the recognition dictionary are: The first item includes a plurality of first items and a plurality of second items, wherein the first item is the first item in the recognition order in the group, and at least one second item is associated with the first item, The processor recognizes the character of the first item from the input image based on the information used for recognition of the characters of the first item of the plurality of groups registered in the recognition dictionary, and is registered in the recognition dictionary Said recognition order Identifying the second item that recognizes the character next from the second item associated with the first item of the recognized character, and using the information used to recognize the character of the specified second item as the recognition The character of the second item is recognized from the input image based on the information read out from the dictionary and used for recognition of the character of the read second item.

本願において開示される発明のうち代表的なものによって得られる効果を簡潔に説明すれば、下記の通りである。すなわち、ユーザが機器の特定情報の確認作業、及びユーザの点検項目の手作業による入力を不要として、作業効率を向上させる文字認識装置を提供できる。 The effects obtained by the typical ones of the inventions disclosed in the present application will be briefly described as follows. That is, it is possible to provide a character recognition device that improves the work efficiency without requiring the user to check the specific information of the device and manually input the inspection items of the user.

上記した以外の課題、構成、及び効果は、以下の実施形態の説明により明らかにされる。 Problems, configurations, and effects other than those described above will be clarified by the description of the embodiments below.

実施例１の点検作業の一例の説明図である。FIG. 7 is an explanatory diagram of an example of the inspection operation of the first embodiment. 実施例１の文字認識装置のハードウェア構成図である。FIG. 1 is a hardware configuration diagram of a character recognition device according to a first embodiment. 実施例１の点検シナリオデータの説明図である。FIG. 7 is an explanatory diagram of inspection scenario data of the first embodiment. 実施例１の作業ログの説明図である。FIG. 7 is an explanatory diagram of a work log of the first embodiment. 実施例１の文字認識部によって実行される文字認識処理のフローチャートである。5 is a flowchart of character recognition processing performed by the character recognition unit of the first embodiment. 実施例１の型番照合処理及び項目認識処理のフローチャートである。5 is a flowchart of model number matching processing and item recognition processing according to the first embodiment; 実施例１の文字認識前処理及び文字列認識処理のフローチャートである。5 is a flowchart of character recognition pre-processing and character string recognition processing according to the first embodiment; 実施例１の日付辞書の説明図である。FIG. 6 is an explanatory diagram of a date dictionary of the first embodiment. 実施例１の場所選択受付画面の説明図である。FIG. 10 is an explanatory diagram of a place selection receiving screen of the first embodiment. 実施例１の型番一覧表示画面の説明図である。FIG. 10 is an explanatory diagram of a model number list display screen of the first embodiment. 実施例１の型番の認識結果表示画面の説明図である。FIG. 14 is an explanatory diagram of a recognition result display screen of the model number in the first embodiment. 実施例１の点検項目一覧表示画面の説明図である。FIG. 7 is an explanatory diagram of an inspection item list display screen of the first embodiment. 実施例１のＳ／Ｎの認識結果表示画面の説明図である。FIG. 7 is an explanatory diagram of a S / N recognition result display screen according to the first embodiment. 実施例２の文字認識処理のフローチャートである。7 is a flowchart of a character recognition process according to a second embodiment. 実施例２の項目一括認識処理のフローチャートである。15 is a flowchart of item batch recognition processing of the second embodiment. 実施例１の項目一括確認処理のフローチャートである。7 is a flowchart of item batch confirmation processing of the first embodiment; 実施例２の型番の認識結果表示画面の説明図である。FIG. 18 is an explanatory diagram of a recognition result display screen of the model number of the second embodiment. 実施例２の項目（Ｓ／Ｎ）の認識結果表示画面の説明図である。FIG. 18 is an explanatory diagram of a recognition result display screen of the item (S / N) in the second embodiment. 実施例２の項目（ＭＡＣ）の認識結果表示画面の説明図である。FIG. 18 is an explanatory diagram of a recognition result display screen of an item (MAC) of the second embodiment. 実施例２の未認識項目表示画面の説明図である。FIG. 18 is an explanatory diagram of an unrecognized item display screen of the second embodiment. 実施例３の文字認識処理のフローチャートである。15 is a flowchart of character recognition processing of the third embodiment. 実施例３の点検項目の一覧を表示する認識結果表示画面の説明図である。FIG. 18 is an explanatory diagram of a recognition result display screen for displaying a list of inspection items in the third embodiment. 実施例３の型番の認識結果表示画面の説明図である。FIG. 18 is an explanatory diagram of a recognition result display screen of the model number in the third embodiment.

実施例１について図１〜図９Ｅを用いて説明する。 The first embodiment will be described with reference to FIGS. 1 to 9E.

本実施例では、例えば、データセンタ及び各種店舗等に設置された情報機器（例えば、サーバ等）の点検作業に用いられる文字認識装置について説明する。しかしながら、本実施例の文字認識装置は、点検作業に限定されることなく、画像及び動画等から文字を認識する作業に適用可能である。 In the present embodiment, for example, a character recognition apparatus used for an inspection operation of an information device (for example, a server etc.) installed in a data center and various stores etc. will be described. However, the character recognition device of the present embodiment is not limited to the inspection operation, and can be applied to the operation of recognizing characters from images, moving images, and the like.

まず、本実施例の概略について説明する。 First, an outline of this embodiment will be described.

本実施例の文字認識装置は、入力された画像から文字を認識する必要のある項目文字を自動的に認識し、認識した文字を点検作業結果として記憶する。これによって、ユーザの作業効率を向上させることができる。 The character recognition device of the present embodiment automatically recognizes item characters required to recognize the characters from the input image, and stores the recognized characters as the inspection work result. This can improve the work efficiency of the user.

図１は、実施例１の点検作業の一例の説明図である。 FIG. 1 is an explanatory view of an example of the inspection operation of the first embodiment.

図１では、一例として、携帯端末１００が文字認識部２５１（図２参照）を有する文字認識装置であるものとして説明する。 In FIG. 1, as an example, the mobile terminal 100 will be described as a character recognition device having a character recognition unit 251 (see FIG. 2).

ユーザ（例えば、点検作業を実施する作業員）は、機器１４０に貼付されたラベル１４１を携帯端末１００（例えばタブレット端末及びスマートフォン等）のカメラで撮影する。カメラで撮影された画像は、携帯端末１００のディスプレイに認識結果表示画面１１０として表示される。認識結果表示画面１１０は、撮影画像表示エリア１２０及び文字認識結果表示エリア１３０を含む。撮影画像表示エリア１２０には、カメラで撮影された画像が表示され、当該画像に含まれる文字列のうち文字が認識された文字列が矩形１２１で囲まれて表示される。 A user (for example, a worker who carries out an inspection operation) shoots a label 141 attached to the device 140 with a camera of the portable terminal 100 (for example, a tablet terminal, a smartphone, etc.). The image captured by the camera is displayed on the display of the portable terminal 100 as a recognition result display screen 110. The recognition result display screen 110 includes a photographed image display area 120 and a character recognition result display area 130. In the photographed image display area 120, an image photographed by a camera is displayed, and a character string in which a character is recognized among character strings included in the image is surrounded by a rectangle 121 and displayed.

文字認識結果表示エリア１３０は、認識文字列拡大画像表示部１３１、文字認識結果表示部１３２、ＯＫボタン１３３、及びＲｅｔｒｙボタン１３４を含む。 The character recognition result display area 130 includes a recognized character string enlarged image display unit 131, a character recognition result display unit 132, an OK button 133, and a Retry button 134.

認識文字列拡大画像表示部１３１には、文字が認識された文字列の拡大された画像が表示される。文字認識結果表示部１３２には、認識された文字が表示される。認識文字列拡大画像表示部１３１及び文字認識結果表示部１３２は、ユーザがカメラで撮影された文字列と認識された文字との比較を可能にする。 In the recognized character string enlarged image display unit 131, a magnified image of the character string in which the character is recognized is displayed. The recognized character is displayed on the character recognition result display unit 132. The recognized character string enlarged image display unit 131 and the character recognition result display unit 132 allow the user to compare the character string photographed by the camera with the recognized character.

ユーザは、認識された文字が正しいと判断した場合、ＯＫボタン１３３を操作する。一方、ユーザは、認識された文字が正しくないと判断した場合、Ｒｅｔｒｙボタン１３４を操作して、再度文字を認識させるか、手入力で正しい文字を入力する。 When the user determines that the recognized character is correct, the user operates the OK button 133. On the other hand, when the user determines that the recognized character is not correct, the user operates the Retry button 134 to recognize the character again or manually inputs the correct character.

本実施例では、文字認識の精度を向上させるために、点検シナリオデータ２６１（図２参照）及び作業ログ２６２（図２参照）を用いて文字を認識する。 In this embodiment, in order to improve the accuracy of character recognition, characters are recognized using inspection scenario data 261 (see FIG. 2) and work log 262 (see FIG. 2).

（１）点検シナリオデータ２６１に基づく文字認識
点検シナリオデータ２６１は、特許請求の範囲では認識辞書と記載され、点検シナリオデータ２６１には、文字を認識する複数の項目を含む複数のグループと、各グループ内での項目の認識順序と、各項目の文字の認識に用いる情報とが登録される。なお、点検シナリオデータ２６１に登録される項目は、複数の第１項目及び複数の第２項目を含み、第１項目は前記グループ内での認識順序が最初の項目であって、機器を特定するための機器特定情報（例えば型番）である。また、第１項目に少なくとも一つの第２項目が関連付けられる。第２項目は、機器特定情報以外の点検すべき項目である。 (1) Character recognition based on inspection scenario data 261 The inspection scenario data 261 is described as a recognition dictionary in the claims, and the inspection scenario data 261 includes a plurality of groups including a plurality of items for recognizing characters. The recognition order of the items in the group and the information used to recognize the characters of each item are registered. The items registered in the inspection scenario data 261 include a plurality of first items and a plurality of second items, and the first item is the first item in the recognition order in the group and identifies the device. Device identification information (for example, model number). Also, at least one second item is associated with the first item. The second item is an item to be checked other than the device specific information.

携帯端末１００は、点検する項目ごとに利用する辞書を切り替えて各項目の文字を認識する。これによって、携帯端末１００は、点検項目に適した辞書を用いて各項目の文字を認識するので、文字認識の精度を向上させることができる。 The portable terminal 100 switches the dictionary to be used for each item to be checked and recognizes the characters of each item. Since the portable terminal 100 recognizes the character of each item using the dictionary suitable for a check item by this, the precision of character recognition can be improved.

（２）作業ログ２６２に基づく文字認識
作業ログ２６２には、各項目の認識結果と、画像を補正するための各種パラメータとが登録される。各機器の各項目が点検された際の認識結果及び各種パラメータが作業ログ２６２に蓄積される。文字認識が一度成功した項目が再度文字認識される場合、文字認識が成功した作業ログ２６２を利用でき、当該項目の文字認識の精度を向上させることができる。 (2) Character Recognition Based on Work Log 262 In the work log 262, the recognition result of each item and various parameters for correcting the image are registered. The recognition result and various parameters when each item of each device is checked are accumulated in the work log 262. If an item for which character recognition has been successful once is recognized again, the work log 262 for which character recognition is successful can be used, and the character recognition accuracy of the item can be improved.

本実施例の点検シナリオデータ２６１及び作業ログ２６２を文字認識に利用することによって、文字認識の精度を向上させ、点検作業を効率化できる。なお、作業ログ２６２は文字認識に必ずしも利用されなくてもよい。 By using the inspection scenario data 261 and the work log 262 of the present embodiment for character recognition, the accuracy of character recognition can be improved and the inspection work can be made efficient. The work log 262 may not necessarily be used for character recognition.

例えば、点検シナリオデータ２６１の各項目の文字認識に利用する情報としては、項目の文字種別、項目の文字数、及び項目の表記形式等がある。文字種別は、項目の文字に使用される文字の種別（例えば、数字、英字、カナ、漢字、又は記号等）である。文字数は、項目の文字の数であり、項目の文字が数字であれば桁数であってもよい。表記形式は、項目特有の文字の表記形式である。例えば、日付の表記形式は、「ＹＹ．ＭＭ．ＤＤ」又は「ＹＹ／ＭＭ／ＤＤ」等である。ここで、「ＹＹ」「ＭＭ」「ＤＤ」は、それぞれ年、月、日を表す数字を意味する。例えば、「ＭＭ」の場合、「１〜１２」と「０１〜０９」の数字である。 For example, information used for character recognition of each item of the inspection scenario data 261 includes the character type of the item, the number of characters of the item, and the notation format of the item. The character type is the type of character used for the character of the item (for example, number, alphabet, kana, kanji, or symbol). The number of characters is the number of characters of the item, and may be the number of digits if the characters of the item are numbers. The notation form is the notation form of character specific to the item. For example, the date format is "YY.MM.DD" or "YY / MM / DD". Here, "YY", "MM" and "DD" mean numbers representing year, month and day, respectively. For example, in the case of "MM", the numbers are "1 to 12" and "01 to 09".

本実施例は、文字を認識する項目に対応して認識辞書を切り替える。例えば、画像中の日付「１５．０１．１８」が認識辞書を利用せずに文字認識されると、「ｌ（エル）５．Ｏ１・旧」と誤認識される可能性がある。画像中の「１」はアルファベットの「エル」に誤認識され、画像中の「０」はアルファベットの「オー」に誤認識され、画像中の「．」は中点に誤認識され、画像中の「１８」は、「１」と「８」とが一文字として認識されて「旧」と誤認識されている。 In the present embodiment, the recognition dictionary is switched corresponding to the item for recognizing characters. For example, if the date "15.01.18" in the image is character-recognized without using the recognition dictionary, it may be erroneously recognized as "1. O1 · old". “1” in the image is misrecognized as “L” in the alphabet, “0” in the image is misrecognized as “O” in the alphabet, “.” In the image is misrecognized as a middle point, and As for “18”, “1” and “8” are recognized as one character and misrecognized as “old”.

例えば、日付の項目の認識辞書として、文字種別が数字であること、及び表記形式「ＹＹ．ＭＭ．ＤＤ」が登録されていれば、このような誤認識を防止でき、当該日付の項目の文字を正確に認識することができる。 For example, if the character type is numeric and the notation format "YY.MM.DD" is registered as the recognition dictionary of the date item, such erroneous recognition can be prevented, and the character of the date item is Can be accurately recognized.

また、点検シナリオデータ２６１には項目の点検順序が登録されているので、点検作業の点検順に認識辞書を自動的に切り替えることができ、文字を認識する項目に適切な点検シナリオデータ２６１を利用して、文字を認識することができる。 In addition, since the inspection sequence of the items is registered in the inspection scenario data 261, the recognition dictionary can be automatically switched in the inspection sequence of the inspection operation, and the inspection scenario data 261 appropriate for the item for recognizing characters is used. Can recognize characters.

以上によって、ユーザが機器１４０のラベル１４１を携帯端末１００のカメラで撮影するだけで、点検作業で入力する必要のある項目の文字が携帯端末１００に入力される。これによって、ユーザの点検効率を向上させることができる。 As described above, just by the user photographing the label 141 of the device 140 with the camera of the portable terminal 100, characters of items that need to be input in the inspection operation are input to the portable terminal 100. This can improve the inspection efficiency of the user.

なお、必ずしも、携帯端末１００が文字認識部２５１を有する文字認識装置である必要はない。例えば、携帯端末１００は、自身が撮影した画像を、文字認識部２５１を有するサーバ（文字認識装置）に送信し、サーバが文字認識処理を実行して、文字認識結果を携帯端末１００に送信する。そして、携帯端末１００が文字認識結果等を携帯端末１００のディスプレイに表示してもよい。 The portable terminal 100 does not necessarily have to be a character recognition device having the character recognition unit 251. For example, the portable terminal 100 transmits an image captured by itself to a server (character recognition device) having the character recognition unit 251, and the server executes character recognition processing and transmits a character recognition result to the portable terminal 100. . Then, the portable terminal 100 may display the character recognition result and the like on the display of the portable terminal 100.

図２は、実施例１の文字認識装置２００のハードウェア構成図である。 FIG. 2 is a hardware block diagram of the character recognition device 200 of the first embodiment.

上記したように、文字認識装置２００は、携帯端末１００であってもよいし、携帯端末１００がネットワークを介して接続可能なサーバであってもよい。 As described above, the character recognition device 200 may be the portable terminal 100 or may be a server to which the portable terminal 100 can be connected via a network.

文字認識装置２００は、操作部２１０、表示部２２０、画像入力部２３０、プロセッサ２５０、メモリ（主記憶装置）２６０、補助記憶装置２７０、及びインタフェース（ＩＦ）２８０を有する。 The character recognition device 200 includes an operation unit 210, a display unit 220, an image input unit 230, a processor 250, a memory (main storage device) 260, an auxiliary storage device 270, and an interface (IF) 280.

操作部２１０は、文字認識装置２００のユーザによる操作の入力を受け付ける。操作部２１０は、例えば、タッチパネル、キーボード、マウス、又はボタン等である。表示部２２０は、文字認識装置２００に入力された画像、及び文字認識結果等を表示するディスプレイ等である。画像入力部２３０は、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）等の撮像素子を用いて画像を撮像するデジタルカメラ又はスキャナ等である。 The operation unit 210 receives an input of an operation by the user of the character recognition device 200. The operation unit 210 is, for example, a touch panel, a keyboard, a mouse, or a button. The display unit 220 is a display or the like that displays an image input to the character recognition device 200, a character recognition result, and the like. The image input unit 230 is a digital camera or a scanner that captures an image using an imaging device such as a CCD (Charge Coupled Device).

プロセッサ２５０は、メモリ２６０に格納されたプログラムを実行する。メモリ２６０は、不揮発性の記憶素子であるＲＯＭ及び揮発性の記憶素子であるＲＡＭを含む。ＲＯＭは、不変のプログラム（例えば、ＢＩＯＳ）などを格納する。ＲＡＭは、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）のような高速かつ揮発性の記憶素子であり、プロセッサ２５０が実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。 The processor 250 executes a program stored in the memory 260. The memory 260 includes a ROM, which is a non-volatile storage element, and a RAM, which is a volatile storage element. The ROM stores an immutable program (for example, BIOS). The RAM is a high-speed and volatile storage element such as a dynamic random access memory (DRAM), and temporarily stores a program executed by the processor 250 and data used when the program is executed.

補助記憶装置２７０は、例えば、磁気記憶装置（ＨＤＤ）、フラッシュメモリ（ＳＳＤ）等の大容量かつ不揮発性の記憶装置であり、プロセッサ２５０が実行するプログラム及びプログラムの実行時に使用されるデータを格納する。すなわち、プログラムは、補助記憶装置２７０からメモリ２６０にロードされて、プロセッサ２５０によって実行される。 The auxiliary storage device 270 is, for example, a large-capacity and non-volatile storage device such as a magnetic storage device (HDD) or a flash memory (SSD), and stores a program executed by the processor 250 and data used when executing the program. Do. That is, the program is loaded from the auxiliary storage 270 into the memory 260 and executed by the processor 250.

プロセッサ２５０は、入力された画像の文字を認識する文字認識部２５１を有する。文字認識部２５１は、機器特定情報認識部２５２及び点検項目認識部２５３を有する。機器特定情報認識部２５２は、入力された画像から機器特定情報（第１項目）の文字を認識する。点検項目認識部２５３は、入力された画像から、認識された第１項目に関連付けられた複数の第２項目の文字を認識する。すなわち、点検項目認識部２５３は、第１項目である機器特定情報によって特定される機器で点検すべき項目の文字を認識する。メモリ２６０には、文字認識部２５１に対応するプログラムが記憶され、プロセッサ２５０が当該プログラムを実行することによって、文字認識部２５１はプロセッサ２５０に実装される。 The processor 250 includes a character recognition unit 251 that recognizes characters of the input image. The character recognition unit 251 includes a device identification information recognition unit 252 and an inspection item recognition unit 253. The device identification information recognition unit 252 recognizes the characters of the device identification information (first item) from the input image. The inspection item recognition unit 253 recognizes characters of a plurality of second items associated with the first item recognized from the input image. That is, the inspection item recognition unit 253 recognizes characters of an item to be inspected by the device specified by the device specification information which is the first item. A program corresponding to the character recognition unit 251 is stored in the memory 260, and the character recognition unit 251 is implemented in the processor 250 when the processor 250 executes the program.

メモリ２６０には、点検シナリオデータ２６１及び作業ログ２６２が記憶される。点検シナリオデータ２６１には、機器の種類ごとに、文字を認識する項目の順序及び各項目の文字の認識に利用する認識辞書等が登録される。点検シナリオデータ２６１の詳細は図３で説明する。作業ログ２６２には、各項目の文字認識結果、及び画像を調整するための各種パラメータが登録される。作業ログ２６２の詳細は図４で説明する。 The memory 260 stores inspection scenario data 261 and a work log 262. In the inspection scenario data 261, the order of items that recognize characters and a recognition dictionary used to recognize characters of each item are registered for each type of device. Details of the inspection scenario data 261 will be described with reference to FIG. In the work log 262, the character recognition result of each item and various parameters for adjusting the image are registered. The details of the work log 262 will be described with reference to FIG.

インタフェース２８０は、文字認識装置２００をネットワーク又は他の機器に接続するインタフェースである。 The interface 280 is an interface for connecting the character recognition device 200 to a network or another device.

なお、画像は画像入力部２３０によって撮影される代わりに、インタフェース２８０から取得されてもよい。具体的には、画像が可搬型記憶媒体に記憶されていて、文字認識装置２００は、インタフェース２８０を介して可搬型記憶媒体に接続され、可搬型記憶媒体に記憶された文字を認識する画像を取得してもよい。また、文字認識装置２００にネットワークを介して接続されるサーバ等に画像が記憶されていて、文字認識装置２００は、インタフェースを介してサーバ等から画像を取得してもよい。 Note that the image may be acquired from the interface 280 instead of being captured by the image input unit 230. Specifically, the image is stored in the portable storage medium, and the character recognition device 200 is connected to the portable storage medium via the interface 280, and the image that recognizes the character stored in the portable storage medium is used. You may get it. Further, an image may be stored in a server or the like connected to the character recognition device 200 via a network, and the character recognition device 200 may acquire an image from the server or the like via an interface.

図３は、実施例１の点検シナリオデータ２６１の説明図である。 FIG. 3 is an explanatory diagram of the inspection scenario data 261 of the first embodiment.

点検シナリオデータ２６１は、場所３０１、機器番号３０２、型番３０３、項目番号３０４、属性３０５、認識モード３０６、文字認識辞書３０７、単語辞書３０８、及び表記辞書３０９を含む。 The inspection scenario data 261 includes a place 301, an equipment number 302, a model number 303, an item number 304, an attribute 305, a recognition mode 306, a character recognition dictionary 307, a word dictionary 308, and a writing dictionary 309.

場所３０１には、点検対象となる機器が設置された場所の識別子が登録される。例えば、場所３０１に登録された「Ａ」はデータセンタＡの識別子であり、「Ｂ」はデータセンタＢの識別子である。機器番号３０２には、点検対象となる機器を識別するための番号が登録される。型番３０３には、点検対象となる機器の型番が登録される。項目番号３０４には、点検対象となる機器に対応して点検する項目を識別するための番号が登録される。属性３０５には、点検する項目の属性が登録される。 In the place 301, an identifier of the place where the device to be inspected is installed is registered. For example, “A” registered in the place 301 is an identifier of the data center A, and “B” is an identifier of the data center B. In the device number 302, a number for identifying a device to be inspected is registered. The model number of the device to be inspected is registered in the model number 303. In the item number 304, a number for identifying an item to be checked corresponding to the device to be checked is registered. In the attribute 305, the attribute of the item to be checked is registered.

認識モード３０６には、点検する項目の文字の認識モードが登録される。例えば、認識モードには、照合モード、読取モード、選択モード、及び直接入力モード等ある。照合モードは、認識された文字が単語辞書３０８に登録された値と一致する場合、認識された文字を文字認識結果とし、認識された文字が単語辞書３０８に登録された値と一致しない場合、認識された文字を破棄するモードである。読取モードは、認識された文字を読み取るモードである。選択モードは、表示部２２０に表示された複数の選択肢から少なくとも一つの選択肢の入力を受け付けるモードである。直接入力モードは、文字や数字をユーザが直接入力するモードである。照合モード及び読取モードは、文字認識装置２００が実際に画像から文字を認識するモードであり、選択モード及び直接入力モードは、文字認識装置２００における文字の認識が不要なモードである。 In the recognition mode 306, the character recognition mode of the item to be checked is registered. For example, recognition modes include a collation mode, a reading mode, a selection mode, and a direct input mode. In the collation mode, when the recognized character matches the value registered in the word dictionary 308, the recognized character is regarded as the character recognition result, and when the recognized character does not match the value registered in the word dictionary 308, This is a mode for discarding recognized characters. The reading mode is a mode for reading a recognized character. The selection mode is a mode for receiving an input of at least one option from a plurality of options displayed on the display unit 220. The direct input mode is a mode in which the user directly inputs characters and numbers. The collation mode and the reading mode are modes in which the character recognition device 200 actually recognizes the character from the image, and the selection mode and the direct input mode are modes in which the character recognition in the character recognition device 200 is unnecessary.

文字認識辞書３０７には、項目の文字の種別が登録される。例えば、文字認識辞書３０７に「英、数」が登録されている項目は、当該項目はアルファベット及び数字によって構成されることを意味する。当該項目の文字を認識する場合には、アルファベット用の文字認識辞書及び数字用の文字認識辞書のみが利用される。 In the character recognition dictionary 307, the type of the character of the item is registered. For example, an item whose “English, number” is registered in the character recognition dictionary 307 means that the item is composed of alphabets and numbers. When recognizing the character of the item concerned, only the character recognition dictionary for alphabets and the character recognition dictionary for numerals are used.

単語辞書３０８には、認識された文字が一致しなければならない単語（値）が登録される。表記辞書３０９には、項目の文字の表記形式が登録される。例えば、表記辞書３０９に「ＮＮＮ−ＮＮＮＮ−ＪＰＮＮ」が登録されている場合、認識された項目の文字が、左から順に、３桁の数字、「−」、４桁の数字、「−」、「ＪＰ」、及び２桁の数字という表記形式でなければならないことを意味する。 In the word dictionary 308, words (values) for which recognized characters must match are registered. In the writing dictionary 309, the writing form of the character of the item is registered. For example, when "NNN-NNNN-JPNN" is registered in the writing dictionary 309, the characters of the recognized item are, in order from the left, three-digit numbers, "-", four-digit numbers, "-", It means that it must be in the form of "JP" and a 2-digit number.

文字認識辞書３０７、単語辞書３０８及び表記辞書３０９は、文字の認識に利用される情報である。 The character recognition dictionary 307, the word dictionary 308, and the writing dictionary 309 are information used for character recognition.

以上によって、点検シナリオデータ２６１には、点検対象となる機器ごとに、点検する項目と、当該項目の点検順序と、当該項目の認識に用いる情報とが登録される。図３に示すデータセンタＡのレコードでは、型番「９６７−７３６３−ＪＰ０３」の機器で点検する項目のグループと、型番「ＡＺ５１３−８８Ｅ」の機器で点検する項目のグループとがある。型番「９６７−７３６３−ＪＰ０３」の機器では、「型番」が最初に認識され、次に「Ｓ／Ｎ（シリアルナンバー）」が認識され、次に「ＭＡＣアドレス」が認識される。また、型番「ＡＺ５１３−８８Ｅ」の機器では、「型番」が最初に認識され、次に、「処理数」が認識される。 As described above, in the inspection scenario data 261, an item to be inspected, an inspection order of the item, and information used to recognize the item are registered for each device to be inspected. In the record of the data center A shown in FIG. 3, there are a group of items to be checked by the device of model number "967-7363-JP03" and a group of items to be checked by the device of model number "AZ513-88E". In the device of model number "967-7363-JP03", "model number" is recognized first, then "S / N (serial number)" is recognized, and then "MAC address" is recognized. Further, in the device of model number “AZ513-88E”, “model number” is recognized first, and then “number of processes” is recognized.

点検シナリオデータ２６１には機器ごとに点検する項目が登録されているため、最初に型番を認識して、点検作業を実施する機器を特定する必要がある。このため、点検シナリオデータ２６１のいずれのグループでも型番が最初に点検する項目として登録される。 Since items to be inspected for each device are registered in the inspection scenario data 261, it is necessary to first recognize the model number and specify the device on which the inspection operation is to be performed. For this reason, in any group of the inspection scenario data 261, the model number is registered as an item to be checked first.

図４は、実施例１の作業ログ２６２の説明図である。 FIG. 4 is an explanatory diagram of the work log 262 according to the first embodiment.

作業ログ２６２は、作業日４０１、場所４０２、機器番号４０３、型番４０４、項目番号４０５、属性４０６、認識モード４０７、結果値４０８、パラメータＡ４０９、及びパラメータＢ４１０を含む。 The work log 262 includes a work date 401, a place 402, an equipment number 403, a model number 404, an item number 405, an attribute 406, a recognition mode 407, a result value 408, a parameter A 409, and a parameter B 410.

作業日４０１には、点検作業が実施された年月日が登録される。場所４０２〜認識モード４０７は、点検シナリオデータ２６１の場所３０１〜認識モード３０６と同じであるので、説明を省略する。結果値４０８には、項目の文字認識結果が登録される。パラメータＡ４０９及びパラメータＢ４１０には、画像を補正するためのパラメータが登録される。画像を補正するためのパラメータについては、図７で詳細に説明する。また、パラメータＡ４０９及びパラメータＢ４１０には、文字認識にかかった時間、文字認識の全実行回数、及び文字認識の成功回数等が登録されてもよい。例えば、文字認識にかかった時間が所定値以上の項目、及び文字認識の全実行回数に対する成功回数の割合が所定値以下である項目は、文字認識せずにユーザの手入力を促すように点検シナリオデータ２６１を変更してもよい。また、パラメータＡ４０９及びパラメータＢ４１０には、文字認識に用いた画像が登録されてもよい。この文字認識に用いた画像の利用は、文字認識結果が成功しているか否かの調査を可能にする。 In the work date 401, the date when the inspection work was performed is registered. Since the place 402 to the recognition mode 407 is the same as the place 301 to the recognition mode 306 of the inspection scenario data 261, the description will be omitted. In the result value 408, the character recognition result of the item is registered. Parameters for correcting the image are registered in the parameter A 409 and the parameter B 410. The parameters for correcting the image are described in detail in FIG. In addition, the time taken for character recognition, the total number of times of execution of character recognition, the number of successes of character recognition, and the like may be registered in parameter A 409 and parameter B 410. For example, an item in which the time taken for character recognition is a predetermined value or more, and an item in which the ratio of the number of successes to the total number of character recognition executions is equal to or less than a predetermined value The scenario data 261 may be changed. Further, an image used for character recognition may be registered in the parameter A 409 and the parameter B 410. The use of the image used for this character recognition makes it possible to investigate whether the character recognition result is successful or not.

図５は、実施例１の文字認識部２５１によって実行される文字認識処理のフローチャートである。 FIG. 5 is a flowchart of the character recognition process performed by the character recognition unit 251 of the first embodiment.

文字認識処理は、（１）〜（３）の三つのステップを含む。 The character recognition process includes three steps (1) to (3).

（１）点検場所選択受付ステップ（５０１）
文字認識部２５１が、点検対象の機器が設置されている場所の選択を受け付ける。 (1) Inspection place selection acceptance step (501)
The character recognition unit 251 receives the selection of the place where the device to be inspected is installed.

（２）機器特定ステップ（５２０）
場所の選択を受け付けた後、文字認識部２５１の機器特定情報認識部２５２が、点検対象の機器を特定する文字を認識して、点検対象の機器を特定する。 (2) Device identification step (520)
After receiving the selection of the place, the device identification information recognition unit 252 of the character recognition unit 251 recognizes the character specifying the device to be inspected and specifies the device to be inspected.

（３）点検項目認識ステップ（５３０）
点検対象の機器が特定された後、文字認識部２５１の点検項目認識部２５３が、点検シナリオデータ２６１に基づいて、機器特定ステップで特定した機器の点検項目の文字を認識する。 (3) Inspection item recognition step (530)
After the device to be inspected is identified, the inspection item recognition unit 253 of the character recognition unit 251 recognizes the character of the inspection item of the device identified in the device identification step based on the inspection scenario data 261.

以下、（１）〜（３）のステップの詳細を説明する。 The details of the steps (1) to (3) will be described below.

（１）点検場所選択受付ステップ（５０１）
ステップ５０１の処理では、文字認識部２５１は、図９Ａに示す場所選択受付画面９００を表示部２２０に表示し、ユーザから点検場所の選択の入力を受け付ける。場所選択受付画面９００には、点検シナリオデータ２６１の場所３０１に登録された場所の識別子によって識別される場所の名称が表示される。文字認識部２５１は、場所の選択の入力を受け付けた場合、点検シナリオデータ２６１を参照し、入力を受け付けた場所に設置される機器の型番のリスト等を表示部２２０に表示してもよい。具体的には、文字認識部２５１は、点検シナリオデータ２６１に登録されたレコードのうち、場所３０１に入力を受け付けた場所の識別子が登録されたレコードの型番３０３に登録された型番を取得し、取得した型番を表示部２２０に表示する。 (1) Inspection place selection acceptance step (501)
In the process of step 501, the character recognition unit 251 displays a place selection acceptance screen 900 shown in FIG. 9A on the display unit 220, and receives an input of selection of an inspection place from the user. The place selection acceptance screen 900 displays the name of the place identified by the place identifier registered in the place 301 of the inspection scenario data 261. When the character recognition unit 251 receives an input for selecting a place, the character recognition unit 251 may refer to the inspection scenario data 261 and may display on the display unit 220 a list of model numbers of devices installed at the place where the input is received. Specifically, the character recognition unit 251 acquires, among the records registered in the inspection scenario data 261, the model number registered in the model number 303 of the record in which the identifier of the place where the input is received at the place 301 is registered, The acquired model number is displayed on the display unit 220.

（２）機器特定ステップ（５２０）
次に、文字認識部２５１は、機器特定ステップ（５２０）を実行するために、機器特定情報認識部２５２を呼び出す。機器特定情報認識部２５２は、点検シナリオデータ２６１に登録されたレコードのうち、ステップ５０１の処理で入力を受け付けた場所の識別子が場所３０１に登録されたレコードを読み込む（５０２）。 (2) Device identification step (520)
Next, the character recognition unit 251 calls the device identification information recognition unit 252 in order to execute the device identification step (520). Among the records registered in the inspection scenario data 261, the device identification information recognition unit 252 reads a record in which the identifier of the place where the input is accepted in the process of step 501 is registered in the place 301 (502).

次に、機器特定情報認識部２５２は、作業ログ２６２に登録されたレコードのうち、ステップ５０１の処理で入力を受け付けた場所の識別子が場所４０２に登録されたレコードを読み込む（５０３）。 Next, among the records registered in the work log 262, the device identifying information recognition unit 252 reads a record in which the identifier of the place where the input is accepted in the process of step 501 is registered in the place 402 (503).

次に、機器特定情報認識部２５２は、ステップ５０２の処理で読み込まれた点検シナリオデータ２６１及びステップ５０３の処理で読み込まれた作業ログ２６２を用いて、型番照合処理を実行する（５０４）。型番照合処理では、機器特定情報認識部２５２は、入力された画像から点検対象の機器の型番を機器特定情報として認識する。型番照合処理の詳細は、図６及び図７で説明する。 Next, the device identification information recognition unit 252 executes the model number collation process using the inspection scenario data 261 read in the process of step 502 and the work log 262 read in the process of step 503 (504). In the model identification process, the device identification information recognition unit 252 recognizes the model number of the device to be inspected from the input image as device identification information. The details of the model number matching process will be described with reference to FIGS. 6 and 7.

（３）点検項目認識ステップ（５３０）
次に、文字認識部２５１は、点検項目認識ステップ（５３０）を実行するために、点検項目認識部２５３を呼び出す。点検項目認識部２５３は、点検シナリオデータ２６１に登録されたレコードのうち、場所３０１にステップ５０１の処理で入力を受け付けた場所の識別子が登録され、型番３０３にステップ５０４の処理で認識された型番が登録され、かつ次に認識する項目のレコードを読み込む（５０５）。次に項目する認識するレコードとは、例えば、ステップ５０４の処理で型番が認識された直後に点検項目認識ステップが実行される場合、項目番号３０４に型番の次に認識される項目番号が登録されたレコードである。図３に示す点検シナリオデータ２６１の型番３０３に「９６７−７３６３−ＪＰ０３」が登録されたレコードにおいては、項目番号３０４に「２」が登録されたレコードが読み出される。 (3) Inspection item recognition step (530)
Next, the character recognition unit 251 calls up the inspection item recognition unit 253 in order to execute the inspection item recognition step (530). In the inspection item recognition unit 253, among the records registered in the inspection scenario data 261, the identifier of the place where the input is accepted in the process of step 501 is registered in the place 301, and the model number recognized in the process of step 504 in the model number 303. Is read, and the record of the item to be recognized next is read (505). For example, when the inspection item recognition step is executed immediately after the model number is recognized in the process of step 504, the item number recognized next to the model number is registered in the item number 304. Record. In the record in which “967-7363-JP03” is registered in the model number 303 of the inspection scenario data 261 illustrated in FIG. 3, the record in which “2” is registered in the item number 304 is read.

次に、点検項目認識部２５３は、作業ログ２６２に登録されたレコードのうち、場所４０２にステップ５０１の処理で入力を受け付けた場所の識別子が登録され、型番４０４にステップ５０４の処理で認識された型番が登録され、かつ次に認識する項目のレコードを読み込む（５０６）。 Next, among the records registered in the work log 262, the inspection item recognition unit 253 registers the identifier of the place where the input is accepted in the process of step 501 in the place 402, and recognizes in the process of step 504 in the model number 404. The record of the item to be recognized next is registered (506).

次に、点検項目認識部２５３は、ステップ５０５の処理で読み込まれた点検シナリオデータ２６１及びステップ５０６の処理で読み込まれた作業ログ２６２を用いて、項目認識処理を実行する（５０７）。項目認識処理では、点検項目認識部２５３は、入力された画像から型番以外の項目の文字を認識する。項目認識処理の詳細は、図６及び図７で説明する。 Next, the inspection item recognition unit 253 executes the item recognition processing using the inspection scenario data 261 read in the processing of step 505 and the work log 262 read in the processing of step 506 (507). In the item recognition process, the inspection item recognition unit 253 recognizes characters of items other than the model number from the input image. Details of the item recognition processing will be described with reference to FIGS. 6 and 7.

次に、文字認識部２５１は、ステップ５０４の処理で認識された型番に対応する型番以外の全ての項目に対して項目認識処理が実行されたか否かを判定する（５０８）。 Next, the character recognition unit 251 determines whether or not the item recognition process has been performed on all items other than the model number corresponding to the model number recognized in the process of step 504 (508).

ステップ５０８の処理において、ステップ５０４の処理で認識された型番に対応する型番以外の全ての項目に対して項目認識処理が実行されていないと判定された場合（５０８：ＮＯ）、点検項目認識部２５３は、点検シナリオデータ２６１を参照して、次に項目を認識する項目を決定する（５０９）。そして、点検項目認識部２５３は、ステップ５０５の処理に戻り、次に認識する項目のレコードを読み出し、項目認識処理を実行する。 When it is determined in the process of step 508 that the item recognition process is not performed on all items other than the model number corresponding to the model number recognized in the process of step 504 (508: NO), the inspection item recognition unit The 253 refers to the inspection scenario data 261 to determine the next item to be recognized (509). Then, the inspection item recognition unit 253 returns to the process of step 505, reads the record of the item to be recognized next, and executes the item recognition process.

例えば、図３に示す点検シナリオデータ２６１の型番３０３に「９６７−７３６３−ＪＰ０３」が登録されたレコードにおいては、項目番号３０４に「２」が登録されたレコードの項目を認識した場合、次に認識する項目は、項目番号３０４に「３」が登録されたレコードとなる。 For example, in the record in which “967-7363-JP03” is registered in the model number 303 of the inspection scenario data 261 illustrated in FIG. 3, when the item of the record in which “2” is registered in the item number 304 is recognized, The item to be recognized is a record in which "3" is registered in the item number 304.

一方、ステップ５０８の処理において、ステップ５０４の処理で認識された型番に対応する型番以外の全ての項目に対して項目認識処理が実行されたと判定された場合（５０８：ＹＥＳ）、文字認識部２５１は、ステップ５０１の処理で入力を受け付けた場所に設置された全ての機器に対してステップ５２０及び５３０の処理が実行されたか否かを判定する（５１０）。 On the other hand, if it is determined in the process of step 508 that the item recognition process has been performed on all items other than the model number corresponding to the model number recognized in the process of step 504 (508: YES), the character recognition unit 251 It is determined whether the processing of steps 520 and 530 has been executed for all the devices installed in the place where the input is received in the processing of step 501 (510).

ステップ５１０の処理において、ステップ５０１の処理で入力を受け付けた場所に設置された全ての機器に対してステップ５２０及び５３０の処理が実行されていないと判定された場合（５１０：ＮＯ）、文字認識部２５１は、次の機器を決定し（５１１）、ステップ５０２の処理に戻る。 In the process of step 510, if it is determined that the processes of steps 520 and 530 have not been executed for all the devices installed in the place where the input is received in the process of step 501 (510: NO), character recognition The unit 251 determines the next device (511), and returns to the process of step 502.

一方、ステップ５１０の処理において、ステップ５０１の処理で入力を受け付けた場所に設置された全ての機器に対してステップ５２０及び５３０の処理が実行されたと判定された場合（５１０：ＹＥＳ）、文字認識処理を終了する。 On the other hand, if it is determined in the process of step 510 that the processes of steps 520 and 530 have been executed for all the devices installed in the place where the input is received in the process of step 501 (510: YES), character recognition End the process.

図６は、実施例１の型番照合処理及び項目認識処理のフローチャートである。 FIG. 6 is a flowchart of the model number matching process and the item recognition process of the first embodiment.

型番照合処理は機器特定情報認識部２５２によって実行され、項目認識処理は点検項目認識部２５３によって実行されるが、図６では、型番照合処理及び項目認識処理を纏めて説明するので、各処理の主語を文字認識部２５１として説明する。 The model identification process is performed by the device identification information recognition unit 252, and the item recognition process is performed by the inspection item recognition unit 253. In FIG. 6, since the model identification process and the item recognition process are collectively described, The subject is described as the character recognition unit 251.

まず、文字認識部２５１は、点検シナリオデータ２６１を参照し、点検する項目が文字認識を必要とするか否かを判定する（６０１）。文字認識を必要としない項目には、例えば、点検済みであることを示すチェックマークを入力するだけでよい項目、複数の選択肢から少なくとも一つの選択肢を選択する項目、及び、文字又は数字等を直接入力する項目等がある。点検シナリオデータ２６１の文字認識を必要としない項目のレコードの認識モード３０６には、その旨を示す情報（例えば選択モード等）が登録される。 First, the character recognition unit 251 refers to the inspection scenario data 261 and determines whether an item to be inspected requires character recognition (601). For items that do not require character recognition, for example, items that only need to enter a check mark indicating that they have been checked, items for selecting at least one option from a plurality of options, and letters or numbers are directly There are items to be entered. In the recognition mode 306 of the record of the item of the inspection scenario data 261 which does not require character recognition, information (for example, selection mode etc.) indicating that is registered.

ステップ６０１の処理で、点検する項目が文字認識を必要としないと判定された場合（６０１：ＮＯ）、文字認識部２５１は、ユーザによるデータの入力を受け付け（６０２）、ステップ６０５の処理に進む。 If it is determined in the process of step 601 that the item to be inspected does not require character recognition (601: NO), the character recognition unit 251 accepts the input of data by the user (602), and proceeds to the process of step 605 .

一方、ステップ６０１の処理で、点検する項目が文字認識を必要とすると判定された場合（６０１：ＹＥＳ）、文字認識部２５１は、文字認識前処理を実行する（６０３）。文字認識前処理では、文字認識部２５１は、入力された画像を調整し、入力された画像から文字列を抽出する。文字認識前処理の詳細は図７で説明する。 On the other hand, when it is determined in the process of step 601 that the item to be checked requires character recognition (601: YES), the character recognition unit 251 executes character recognition pre-processing (603). In the character recognition pre-processing, the character recognition unit 251 adjusts the input image and extracts a character string from the input image. Details of the character recognition pre-processing will be described with reference to FIG.

次に、文字認識部２５１は、文字列認識処理を実行する（６０４）。文字列認識処理では、文字認識部２５１は、ステップ６０３の処理で抽出された文字列から、点検する項目の文字列を認識する。文字列認識処理の詳細は図７で説明する。 Next, the character recognition unit 251 executes character string recognition processing (604). In the character string recognition process, the character recognition unit 251 recognizes the character string of the item to be checked from the character string extracted in the process of step 603. Details of the character string recognition process will be described with reference to FIG.

次に、文字認識部２５１は、ステップ６０４の処理の認識結果をユーザに提示する（６０５）。ユーザは、ステップ６０５の処理で提示された内容に基づいて、ステップ６０４の処理の認識結果が正しいか否かを判断する。ユーザは、ステップ６０４の処理の認識結果が誤っていると判断した場合、ステップ６０３及び６０４の処理を文字認識部２５１に再度実行させるか、修正内容を文字認識装置２００に入力する。 Next, the character recognition unit 251 presents the recognition result of the process of step 604 to the user (605). The user determines whether the recognition result of the process of step 604 is correct based on the contents presented in the process of step 605. When the user determines that the recognition result of the process of step 604 is incorrect, the user causes the character recognition unit 251 to execute the processes of steps 603 and 604 again or inputs the correction content to the character recognition device 200.

次に、文字認識部２５１は、ステップ６０４の処理の認識結果及びステップ６０３の処理で用いたパラメータを作業ログ２６２に登録し（６０６）、型番照合処理又は項目認識処理を終了する。 Next, the character recognition unit 251 registers the recognition result of the process of step 604 and the parameters used in the process of step 603 in the work log 262 (606), and ends the model number collation process or the item recognition process.

図７は、実施例１の文字認識前処理及び文字列認識処理のフローチャートである。 FIG. 7 is a flowchart of character recognition pre-processing and character string recognition processing according to the first embodiment.

文字認識前処理及び文字列認識処理では、文字認識部２５１は、作業ログ２６２を参照しながら、点検する項目の文字を認識する。なお、作業ログ２６２には、文字認識が成功した場合の各種パラメータ及び認識結果が登録される。ただし、文字認識が失敗した場合等、作業ログ２６２には、ユーザ等によってパラメータ又は認識結果が直接入力されてもよい。 In character recognition pre-processing and character string recognition processing, the character recognition unit 251 recognizes characters of an item to be checked while referring to the work log 262. In the work log 262, various parameters and recognition results when character recognition is successful are registered. However, when character recognition fails, a parameter or a recognition result may be directly input to the work log 262 by the user or the like.

まず、文字認識部２５１には、画像入力部２３０から画像が入力される（７０１）。文字認識部２５１は、作業ログ２６２のパラメータに含まれる焦点判定パラメータを参照し、ステップ７０１の処理で入力された画像の焦点が合っているか否かを判定する。例えば、焦点判定パラメータは、文字認識が成功した画像の濃度値の分布であり、文字認識部２５１は、当該濃度値の分布と入力された画像の濃度値の分布とを比較して、入力された画像の焦点が合っているか否かを判定する。文字認識部２５１は、入力された画像の焦点が合っていないと判定した場合、新たな画像の入力を促す画面をユーザに提示してもよい。 First, an image is input to the character recognition unit 251 from the image input unit 230 (701). The character recognition unit 251 refers to the focus determination parameters included in the parameters of the work log 262, and determines whether the image input in the process of step 701 is in focus. For example, the focus determination parameter is a distribution of density values of an image for which character recognition has been successful, and the character recognition unit 251 compares the distribution of the density values with the distribution of density values of the input image. It is determined whether the focused image is in focus. When it is determined that the input image is not in focus, the character recognition unit 251 may present the user with a screen prompting the user to input a new image.

次に、文字認識部２５１は、作業ログ２６２のパラメータに含まれる白黒反転の有無、及び色相・輝度補正パラメータを参照し、ステップ７０１の処理で入力された画像を補正する（７０２）。点検作業においては、画像はカメラによって撮像される可能性が高い。例えば、撮像素子と紙とが密着した状態で光を当てて撮像するスキャナ等が撮像した画像では、画質が安定するが、カメラによって撮像された画像の画質は外部環境の影響を受けやすく不安定である。画像の補正の例としては、暗所で撮像された画像のコントラストの補正、及び白黒反転文字を含む画像の白黒反転等がある。作業ログ２６２の点検する項目のパラメータが白黒反転有りである場合、文字認識部２５１は、ステップ７０１の処理で入力された画像の白黒（ネガポジ）を反転させる。また、文字認識部２５１は、作業ログ２６２の点検する項目のパラメータに含まれる色相・輝度補正パラメータに基づいて、ステップ７０１の処理で入力された画像のコントラストを補正する。 Next, the character recognition unit 251 corrects the image input in the process of step 701 with reference to the presence or absence of black and white inversion included in the parameters of the work log 262, and the hue / brightness correction parameter (702). In inspection work, the image is likely to be captured by the camera. For example, in an image captured by a scanner or the like that captures an image by applying light in a state in which an imaging element and a sheet are in contact, the image quality is stable, but the image quality of the image captured by a camera is easily affected by the external environment and unstable It is. Examples of image correction include correction of the contrast of an image taken in a dark place, and black and white reversal of an image including black and white reversed characters. If the parameter of the item to be checked in the work log 262 is black and white reversal present, the character recognition unit 251 reverses black and white (negative positive) of the image input in the process of step 701. In addition, the character recognition unit 251 corrects the contrast of the image input in the process of step 701 based on the hue / brightness correction parameter included in the parameter of the item to be checked in the work log 262.

次に、文字認識部２５１は、作業ログ２６２のパラメータに含まれる二値化方式及び二値化パラメータを参照し、ステップ７０１の処理で入力された画像を二値化する（７０３）。一般に、カラー画像又はグレー画像は白黒の二値画像に変換され、変換後の二値画像の文字が認識される。適切な二値画像への変換には、ステップ７０１の処理で入力された画像の状況に応じて適切な二値化方式及び二値化パラメータが利用されなければならない。例えば、文字の色と背景の色との差が小さい画像、コントラストが低い画像、及び薄い文字と濃い背景とを含む画像それぞれに適切な二値化方式及び二値化パラメータが利用されなければならない。文字認識部２５１は、文字認識が成功した項目の二値化方式及び二値化パラメータを記憶しておき、当該項目の文字を再度認識する場合には、当該二値化方式及び二値化パラメータを利用してカラー画像又はグレー画像を二値画像に変換する。 Next, the character recognition unit 251 refers to the binarization method and the binarization parameters included in the parameters of the work log 262, and binarizes the image input in the process of step 701 (703). In general, a color image or gray image is converted to a black and white binary image, and characters of the converted binary image are recognized. For conversion to an appropriate binary image, an appropriate binarization scheme and binarization parameters must be used according to the condition of the image input in the process of step 701. For example, appropriate binarization schemes and binarization parameters must be used for images with small differences between the character color and the background color, images with low contrast, and images with light characters and a dark background, respectively. . The character recognition unit 251 stores the binarization method and the binarization parameter of the item for which the character recognition is successful, and when recognizing the character of the item again, the binarization method and the binarization parameter To convert a color or gray image to a binary image.

次に、文字認識部２５１は、作業ログ２６２のパラメータに含まれる撮影方向及び傾きを参照して、ステップ７０１の処理で入力された画像の射影歪、樽型歪み、又は傾き等を補正する（７０４）。機器の設置場所によっては読取対象のラベルを正面からカメラで撮影できず、ラベルを斜め方向から撮影せざるを得ない場合、また文字が傾いた状態で撮影せざるを得ない場合がある。ステップ７０４の処理では、このように撮影された画像の歪み又は傾きが補正される。作業ログ２６２には、カメラと読取対象との位置関係（例えば、撮影方向等）及び撮影時の文字列の傾きが登録されている。文字認識部２５１は、作業ログ２６２を利用して、画像の歪み及び傾きを補正するので、正確かつ高速に画像の歪み及び傾きを補正できる。 Next, the character recognition unit 251 corrects the projection distortion, barrel distortion, inclination or the like of the image input in the process of step 701 with reference to the photographing direction and the inclination included in the parameters of the work log 262 ( 704). Depending on the installation location of the device, if the label to be read can not be photographed by the camera from the front and the label must be photographed from an oblique direction, there are also cases in which it is necessary to photograph with the characters inclined. In the process of step 704, distortion or inclination of the image thus taken is corrected. In the work log 262, the positional relationship between the camera and the reading target (for example, the shooting direction and the like) and the inclination of the character string at the time of shooting are registered. Since the character recognition unit 251 corrects the distortion and inclination of the image using the work log 262, the distortion and inclination of the image can be corrected accurately and rapidly.

次に、文字認識部２５１は、作業ログ２６２のパラメータに含まれる項目間のレイアウト、文字列間距離、及び文字間距離を参照して、ステップ７０１の処理で画像から点検する項目の文字列を抽出する（７０５）。文字列抽出方法として連結成分融合法が知られている。連結成分融合法は、二値画像で黒画素が連続した領域を連結成分として抽出し、連結成分の配置関係から文字列を抽出する方法である。具体的には、互いに近接する連結成分の縦方向又は横方向の整列性を考慮して文字列が抽出される。 Next, the character recognition unit 251 refers to the layout between items included in the parameters of the work log 262, the distance between character strings, and the distance between characters, and the character strings of items to be checked from the image in the process of step 701. Extract (705). A connected component fusion method is known as a character string extraction method. The connected component fusion method is a method of extracting a region where black pixels are continuous in a binary image as a connected component, and extracting a character string from the arrangement relationship of the connected components. Specifically, the character string is extracted in consideration of the alignment in the longitudinal direction or the lateral direction of connected components adjacent to each other.

ステップ７０１の処理で入力された画像は点検する項目以外の文字列を含む可能性がある。このため、文字認識部２５１は、ステップ７０１の処理で入力された画像から点検する項目の文字列を選択する。この文字列の選択方法には三つの方法がある。 The image input in the process of step 701 may include character strings other than the items to be checked. Therefore, the character recognition unit 251 selects the character string of the item to be checked from the image input in the process of step 701. There are three ways to select this string.

一つ目の方法は、点検する項目の文字列のみを選択する方法である。本実施例では、ユーザは、点検する項目ごとにカメラで画像を撮影する。この場合、ユーザは、点検する項目の文字列が画像の中央付近に位置するように画像を撮影する。文字認識部２５１は、ステップ７０１の処理で入力された画像の中央付近の領域から連結成分融合法を用いて文字列を抽出する。これによって、文字認識部２５１は、点検する項目の文字列のみを抽出できる。 The first method is to select only the character string of the item to be checked. In the present embodiment, the user takes an image with the camera for each item to be checked. In this case, the user takes an image so that the character string of the item to be checked is located near the center of the image. The character recognition unit 251 extracts a character string from a region near the center of the image input in the process of step 701 using a connected component fusion method. Thus, the character recognition unit 251 can extract only the character string of the item to be checked.

二つ目の方法は、ステップ７０１の処理で入力された画像の全ての文字列を抽出し、ステップ６０４の処理である文字列認識処理で点検する項目の文字列を選択する方法である。具体的には、文字列認識処理では、抽出された全ての文字列のうち点検する項目の単語辞書３０８及び表記辞書３０９と一致する文字列が点検する項目として選択される。 The second method is a method of extracting all the character strings of the image input in the process of step 701 and selecting the character string of the item to be checked in the character string recognition process which is the process of step 604. Specifically, in the character string recognition process, a character string that matches the word dictionary 308 and the writing dictionary 309 of the item to be checked among all the extracted character strings is selected as the item to be checked.

三つ目の方法は、ステップ７０１の処理で入力された画像を表示部２２０に表示し、点検する項目の文字列の範囲の指定をユーザから受け付ける方法である。ユーザの指定方法としては、例えば、文字列の中心のみが指定される方法、文字列の両端が指定される方法、及び文字列の四隅が指定される方法等がある。 The third method is a method of displaying the image input in the process of step 701 on the display unit 220 and receiving specification of the range of the character string of the item to be checked from the user. As a method of designating the user, there are, for example, a method in which only the center of the string is designated, a method in which both ends of the string are designated, and a method in which four corners of the string are designated.

ステップ７０５の処理では、文字認識部２５１は、作業ログ２６２に含まれる文字列間距離及び文字列距離等を参照して、画像から文字列を抽出する。一つ目の方法では、点検する項目の文字列と点検する項目以外の文字列との距離が文字列間距離と比較して所定値より小さい場合、二つの文字列を一つの文字列として誤抽出する可能性がある。また、点検する項目の文字間距離が作業ログ２６２の文字間距離より所定値より大きい場合、点検する項目の文字列の一部のみしか抽出できない可能性がある。 In the process of step 705, the character recognition unit 251 extracts a character string from the image with reference to the distance between character strings and the character string distance included in the work log 262. In the first method, when the distance between the character string of the item to be inspected and the character string other than the item to be inspected is smaller than a predetermined value as compared with the distance between the character strings, the two character strings are mistaken as one character string. There is a possibility to extract. When the inter-character distance of the item to be inspected is larger than the inter-character distance of the work log 262, only a part of the character string of the item to be inspected may be extracted.

次に、文字認識部２５１は、文字認識辞書７１１を参照し、ステップ７０５の処理で抽出された文字列の個々の文字を認識する（７０６）。文字認識方法として改良型投影距離（Ｍｏｄｉｆｉｅｄｑｕａｄｒａｔｉｃｄｉｓｃｒｉｍｉｎａｎｔｆｕｎｃｔｉｏｎｓ：ＭＱＤＦ）がある。この方法では、大量の文字が登録された文字認識辞書７１１が生成される場合、距離尺度を算出するための識別関数がベイズの定理から文字カテゴリごとに算出される。そして、入力された文字を認識する場合、識別関数が出力する距離尺度に基づいて入力された文字を文字カテゴリに分類することによって、入力された文字を認識する。なお、距離尺度に基づいて、文字認識の確からしさを示す文字認識スコアを算出してもよい。 Next, the character recognition unit 251 refers to the character recognition dictionary 711 and recognizes individual characters of the character string extracted in the process of step 705 (706). Modified character discrete functions (MQDF) is a character recognition method. In this method, when a character recognition dictionary 711 in which a large number of characters are registered is generated, a discrimination function for calculating a distance measure is calculated for each character category from Bayesian theorem. Then, when recognizing the input character, the input character is recognized by classifying the input character into a character category based on the distance measure output by the discrimination function. Note that a character recognition score indicating the probability of character recognition may be calculated based on the distance scale.

ステップ７０６の処理では、文字認識部２５１は、点検シナリオデータの点検する項目のレコードの文字認識辞書３０７に登録された文字の種別を取得し、取得した文字の種別に対応する文字認識辞書７１１を参照して、文字を認識する。これによって、文字認識の精度を向上させることができる。 In the process of step 706, the character recognition unit 251 acquires the character type registered in the character recognition dictionary 307 of the record of the item to be checked in the inspection scenario data, and selects the character recognition dictionary 711 corresponding to the acquired character type. See and recognize characters. This can improve the accuracy of character recognition.

次に、文字認識部２５１は、ステップ７０６の処理での文字認識結果に対して単語照合処理及び表記照合処理を実行して、項目の最終的な文字認識結果を算出する（７０７）。単語照合処理は、ステップ７０６の処理での文字認識結果と点検シナリオデータ２６１の点検する項目のレコードの単語辞書３０８に登録された単語とが一致するか否かを照合する処理である。また、表記照合処理は、ステップ７０６の処理での文字認識結果の表記形式と点検シナリオデータ２６１の点検する項目のレコードの表記辞書３０９に登録された表記形式とが一致するか否かを照合する処理である。 Next, the character recognition unit 251 executes word collation processing and expression collation processing on the character recognition result in the processing of step 706 to calculate the final character recognition result of the item (707). The word collating process is a process of collating whether the character recognition result in the process of step 706 matches the word registered in the word dictionary 308 of the record of the item to be checked in the inspection scenario data 261 or not. In addition, the display collation process collates whether the written form of the character recognition result in the process of step 706 matches the written form registered in the written dictionary 309 of the record of the item to be checked in the inspection scenario data 261. It is a process.

単語照合処理の具体例について説明する。例えば、点検する項目の単語辞書３０８に「ｔｏｐ」及び「ｂａｓｅ」の二つの単語が登録され、ステップ７０６の処理での文字認識結果が「ｂａｓｓ」である場合、文字認識部２５１は、文字認識結果と単語辞書３０８に登録された単語とが一致しないと判定する。 A specific example of the word matching process will be described. For example, when two words of “top” and “base” are registered in the word dictionary 308 of the item to be checked, and the character recognition result in the process of step 706 is “bass”, the character recognition unit 251 recognizes the character It is determined that the result and the word registered in the word dictionary 308 do not match.

文字認識部２５１は、文字認識結果「ｂａｓｓ」と単語辞書３０８に登録された「ｂａｓｅ」とは一文字違いであるので、文字認識結果「ｂａｓｓ」を「ｂａｓｅ」に修正し、「ｂａｓｅ」を最終的な文字認識として算出してもよい。単語照合処理では、ステップ７０６の処理での文字認識結果と単語辞書３０８に登録された単語との類似度（単語照合スコア）を算出し、算出した類似度が所定の値より両者が類似することを示せば、単語辞書３０８に登録された単語を最終的な文字認識結果として算出してもよい。 The character recognition unit 251 corrects the character recognition result "bass" to "base" since the character recognition result "bass" and the "base" registered in the word dictionary 308 differ by one character, and the "base" is finalized. It may be calculated as typical character recognition. In the word matching process, the similarity (word matching score) between the character recognition result in the process of step 706 and the word registered in the word dictionary 308 is calculated, and the calculated similarity is more similar than a predetermined value. May be calculated as the final character recognition result of the word registered in the word dictionary 308.

表記照合処理の具体例について説明する。点検する項目の文字が一定のルールで表記される場合、表記照合処理は、ステップ７０６の処理での文字認識結果が当該ルールと一致するか否かを照合する。例えば、点検する項目が日付である場合、当該項目の表記辞書３０９には、「ＹＹ．ＭＭ．ＤＤ」又は「ＹＹ／ＭＭ／ＤＤ」等の表記形式が登録されており、表記照合処理は、ステップ７０６の処理での文字認識結果の表記形式が、「ＹＹ．ＭＭ．ＤＤ」又は「ＹＹ／ＭＭ／ＤＤ」等の表記形式と一致するか否かを照合する。なお、表記照合処理では、ステップ７０６の処理での文字認識結果が作業ログ２６２又は表記辞書３０９に登録された数値又は英字の範囲内であるか否かを判定してもよい。 A specific example of the notation matching process will be described. If the character of the item to be checked is written according to a certain rule, the expression collation processing collates whether the character recognition result in the processing of step 706 matches the rule or not. For example, when the item to be checked is a date, a notation format such as "YY.MM.DD" or "YY / MM / DD" is registered in the notation dictionary 309 of the item, and the notation collating process It is checked whether the notation form of the character recognition result in the process of step 706 matches the notation form such as "YY.MM.DD" or "YY / MM / DD". In the writing collating process, it may be determined whether the character recognition result in the process of step 706 is within the range of numerical values or alphabetic characters registered in the work log 262 or the writing dictionary 309.

また、表記照合処理は、ステップ７０６の処理での文字認識結果の表記形式と表記辞書３０９に登録された表記形式との類似度（表記照合スコア）を算出してもよい。 In addition, the writing collation process may calculate the degree of similarity (writing matching score) between the writing form of the character recognition result in the process of step 706 and the writing form registered in the writing dictionary 309.

点検シナリオデータ２６１の認識モード３０６に登録されるモードのうち文字認識が必要となるモードには「読取モード」及び「照合モード」がある。「読取モード」は、画像中の文字を認識するモードである。例えば、文字又は数値が可変である項目の認識モードは「読取モード」である。「照合モード」は、単語辞書３０８に登録された単語と文字認識結果とが一致するか否かを照合するモードである。文字又は数値が決まっている項目の認識モードは「照合モード」である。例えば、「型番」、「Ｓ／Ｎ」、「ＭＡＣアドレス」は文字又は数値が決まっているので、これらの項目の認識モードは「照合モード」であり、「処理数」は数値が可変であるので、認識モードは「読取モード」である。 Among the modes registered in the recognition mode 306 of the inspection scenario data 261, there are "read mode" and "collation mode" as modes requiring character recognition. The “reading mode” is a mode for recognizing characters in an image. For example, the recognition mode of the item whose character or numerical value is variable is "reading mode". The “collation mode” is a mode for collating whether the word registered in the word dictionary 308 matches the character recognition result. The recognition mode of the item in which the character or the numerical value is determined is the “collation mode”. For example, since letters or numbers are fixed for "model number", "S / N", and "MAC address", the recognition mode of these items is "collation mode", and "number of processes" is variable. Therefore, the recognition mode is the "reading mode".

「照合モード」の項目では、単語照合処理及び表記照合処理が実行されるが、「読取モード」の項目は単語辞書３０８が登録されていないので、「読取モード」の項目では表記照合処理のみが実行される。なお、本実施例では、型番の項目の認識モードが「照合モード」であり、単語照合処理及び表記照合処理が実行されるがこれに限定されない。例えば、型番の項目の認識モードが「読取モード」であり、表記照合処理のみが実行されてもよい。ただし、認識精度を向上させるために、型番の項目の文字は、少なくとも表記辞書３０９を用いて認識されるものとする。型番以外の項目は、各項目に対応する文字の特定に応じて適切な認識モードが設定される。 In the item "collation mode", the word collation process and the expression collation process are executed, but the item "read mode" is not registered in the word dictionary 308, so only the word collation process in the item "read mode" To be executed. In the present embodiment, the recognition mode of the item of the model number is the “collation mode”, and the word collation processing and the notation collation processing are executed, but the present invention is not limited thereto. For example, the recognition mode of the item of the model number may be "reading mode", and only the notation matching process may be performed. However, in order to improve recognition accuracy, the characters of the item of the model number are recognized at least using the written dictionary 309. For items other than the model number, an appropriate recognition mode is set according to the specification of the character corresponding to each item.

点検する項目が日付である場合の表記辞書３０９には、日付の表記形式の他に図８に示す日付辞書８００も登録されていてもよい。図８は、実施例１の日付辞書８００の説明図である。 The date dictionary 800 shown in FIG. 8 may be registered in the writing dictionary 309 in the case where the item to be checked is a date, in addition to the writing format of the date. FIG. 8 is an explanatory diagram of the date dictionary 800 according to the first embodiment.

日付辞書８００には、年、月、及び日の表記の定義、並びにこれらの組み合わせである年月日の表記の定義が登録される。日付辞書８００は、文脈自由文法の記法であるＢＮＦ（Ｂａｃｋｕｓ−Ｎａｕｒｆｏｒｍ）によって記述される。 In the date dictionary 800, definitions of year, month and day notations, and combinations of these are described. The date dictionary 800 is described by BNF (Backus-Naur form) which is a notation of context free grammar.

次に、本実施例で表示部２２０に表示される画面について図９Ａ〜図９Ｅを用いて説明する。まず、文字認識部２５１は、図９Ａに示す場所選択受付画面９００を表示し、場所の選択の入力を受け付ける。次に、文字認識部２５１は、場所選択受付画面９００で入力を受け付けた場所で点検する機器の型番の一覧を表示する型番一覧表示画面９１０（図９Ｂ参照）を表示する。 Next, screens displayed on the display unit 220 in the present embodiment will be described with reference to FIGS. 9A to 9E. First, the character recognition unit 251 displays the place selection receiving screen 900 shown in FIG. 9A, and receives an input of selection of a place. Next, the character recognition unit 251 displays a model number list display screen 910 (see FIG. 9B) that displays a list of model numbers of devices to be checked at the place where the input is received on the place selection reception screen 900.

文字認識部２５１に画像が入力された場合、文字認識部２５１は、入力された画像から最初の点検項目である型番の文字を認識し、型番の文字認識結果を含む認識結果表示画面１１０（図９Ｃ参照）を表示する。次に、文字認識部２５１は、点検シナリオデータ２６１を参照し、入力された場所の識別子、及び認識された型番に対応する機器の点検項目を取得し、取得した点検項目の一覧を含む点検項目一覧表示画面９２０（図９Ｄ）を表示する。 When an image is input to the character recognition unit 251, the character recognition unit 251 recognizes the character of the model number which is the first inspection item from the input image, and displays the recognition result display screen 110 including the character recognition result of the model number (see FIG. Display 9C). Next, the character recognition unit 251 refers to the inspection scenario data 261, acquires the identifier of the input location, and the inspection item of the device corresponding to the recognized model number, and includes the inspection item including the acquired inspection item list A list display screen 920 (FIG. 9D) is displayed.

次に、文字認識部２５１に新たな画像が入力された場合、文字認識部２５１は、入力された画像から次の点検項目であるＳ／Ｎの文字を認識し、Ｓ／Ｎの文字認識結果を含む認識結果表示画面（図９Ｅ参照）を表示する。 Next, when a new image is input to the character recognition unit 251, the character recognition unit 251 recognizes the character of S / N which is the next inspection item from the input image, and the character recognition result of S / N To display a recognition result display screen (see FIG. 9E).

なお、文字認識部２５１は、一つの項目の文字を認識するたびに、認識結果表示画面１１０を表示する。 The character recognition unit 251 displays the recognition result display screen 110 each time the character of one item is recognized.

図９Ａは、実施例１の場所選択受付画面９００の説明図である。 FIG. 9A is an explanatory diagram of the place selection acceptance screen 900 according to the first embodiment.

場所選択受付画面９００は、点検シナリオデータ２６１の場所３０１に登録された識別子によって識別される場所の名称が選択肢９０１及び９０２として表示される。ユーザは、ポインタ９０３を操作して、点検作業を実施する場所を示す選択肢を選択する。 In the place selection acceptance screen 900, names of places identified by the identifiers registered in the places 301 of the inspection scenario data 261 are displayed as options 901 and 902. The user operates the pointer 903 to select an option indicating where to perform the inspection operation.

図９Ｂは、実施例１の型番一覧表示画面９１０の説明図である。 FIG. 9B is an explanatory diagram of a model number list display screen 910 of the first embodiment.

文字認識部２５１は、場所の選択の入力を受け付けると、点検シナリオデータ２６１を参照し、場所３０１に入力を受け付けた場所の識別子が登録されたレコードの型番３０３に登録された型番を取得し、取得した型番の一覧を型番一覧表示画面９１０として表示する。 When the character recognition unit 251 receives an input for selecting a place, the character recognition unit 251 refers to the inspection scenario data 261 and acquires the model number registered in the model number 303 of the record in which the identifier of the place for which the input is received is registered. A list of acquired model numbers is displayed as a model number list display screen 910.

図９Ｃは、実施例１の型番の認識結果表示画面１１０の説明図である。 FIG. 9C is an explanatory diagram of a model number recognition result display screen 110 according to the first embodiment.

文字認識部２５１は、画像が入力されると、最初に型番の文字を認識する。認識結果表示画面１１０には、型番の文字認識結果が表示される。 When an image is input, the character recognition unit 251 first recognizes the character of the model number. The recognition result display screen 110 displays the character recognition result of the model number.

認識結果表示画面１１０は、撮影画像表示エリア１２０及び文字認識結果表示エリア１３０を含む。撮影画像表示エリア１２０は、図１で説明した構成と同じであるので、説明を省略する。また、文字認識結果表示エリア１３０は、認識文字列拡大画像表示部１３１、文字認識結果表示部１３２、表記形式表示部９３１、ＯＫボタン１３３、及びＲｅｔｒｙボタン１３４を含む。認識文字列拡大画像表示部１３１、文字認識結果表示部１３２、ＯＫボタン１３３、及びＲｅｔｒｙボタン１３４は、図１で説明した構成と同じであるので、説明を省略する。 The recognition result display screen 110 includes a photographed image display area 120 and a character recognition result display area 130. The photographed image display area 120 has the same configuration as that described with reference to FIG. In addition, the character recognition result display area 130 includes a recognized character string enlarged image display unit 131, a character recognition result display unit 132, a writing format display unit 931, an OK button 133, and a Retry button 134. The recognized character string enlarged image display unit 131, the character recognition result display unit 132, the OK button 133, and the Retry button 134 are the same as those described with reference to FIG.

表記形式表示部９３１には、図７に示す表記照合処理で用いた表記辞書３０９に登録された表記形式が表示される。これによって、ユーザは、項目の文字認識結果と表記形式とが一致しているかを確認することができる。なお、表記形式表示部９３１には、数字又は英字等の範囲が表示されてもよいし、図７に示す単語照合処理で用いた単語辞書３０８に登録された単語が表示されてもよい。 In the writing format display portion 931, the writing format registered in the writing dictionary 309 used in the writing collation process shown in FIG. 7 is displayed. This allows the user to check whether the character recognition result of the item matches the notation form. Note that a range such as numbers or alphabets may be displayed in the written form display unit 931, or words registered in the word dictionary 308 used in the word matching process shown in FIG. 7 may be displayed.

図９Ｃに示す認識結果表示画面１１０では、文字認識結果表示部１３２には、ユーザによって操作可能なカーソル９３２が表示される。また、認識文字列拡大画像表示部１３１には、カーソル９３２が位置する文字に対応する文字の画像に位置するカーソル９３３が表示される。 In the recognition result display screen 110 shown in FIG. 9C, the character recognition result display unit 132 displays a cursor 932 which can be operated by the user. Further, the recognized character string enlarged image display unit 131 displays a cursor 933 positioned on an image of a character corresponding to the character on which the cursor 932 is positioned.

文字認識結果表示部１３２に表示された文字認識結果が画像の点検する項目の文字と異なる場合、ユーザは、修正する文字までカーソル９３２を移動させ、正しい文字を入力することができる。カーソル９３２が位置する文字の画像にカーソル９３３が位置するので、ユーザは、修正しようとする認識結果の文字に対応する画像を即座に把握することができる。 If the character recognition result displayed on the character recognition result display unit 132 is different from the character of the item to be checked in the image, the user can move the cursor 932 to the character to be corrected and input the correct character. Since the cursor 933 is positioned at the image of the character at which the cursor 932 is positioned, the user can immediately grasp the image corresponding to the character of the recognition result to be corrected.

図９Ｄは、実施例１の点検項目一覧表示画面９２０の説明図である。 FIG. 9D is an explanatory diagram of the inspection item list display screen 920 according to the first embodiment.

文字認識部５２１は、型番の文字を認識すると、点検シナリオデータ２６１を参照し、場所３０１に場所選択受付画面９００で入力を受け付けた場所の識別子が登録され、かつ型番３０３に認識された文字が登録されたレコードの属性３０５に登録された属性を取得し、取得した属性を含む点検項目一覧表示画面９２０を表示する。 When the character recognition unit 521 recognizes the letter of the model number, it refers to the inspection scenario data 261, and the identifier of the place where the input is accepted on the place selection acceptance screen 900 is registered in the place 301 and the recognized letter in the model number 303 is The attribute registered in the attribute 305 of the registered record is acquired, and the inspection item list display screen 920 including the acquired attribute is displayed.

点検項目一覧表示画面９２０には、点検する機器で点検する項目が表示される。なお、型番の文字が認識済みであるので、図９Ｄに示す点検項目一覧表示画面９２０の型番には認識結果が表示される。 The inspection item list display screen 920 displays items to be inspected by the equipment to be inspected. In addition, since the characters of the model number have been recognized, the recognition result is displayed on the model number of the inspection item list display screen 920 shown in FIG. 9D.

図９Ｅは、実施例１のＳ／Ｎの認識結果表示画面１１０の説明図である。 FIG. 9E is an explanatory diagram of an S / N recognition result display screen 110 according to the first embodiment.

次に、文字認識部２５１は、型番の文字認識が終了すると、新たな画像が入力され、Ｓ／Ｎの文字を認識し、Ｓ／Ｎの認識結果表示画面１１０を表示する。Ｓ／Ｎの認識結果表示画面１１０の構成は、図９Ｃに示す型番の認識結果表示画面の構成と同じである。 Next, when the character recognition of the model number is completed, the character recognition unit 251 receives a new image, recognizes an S / N character, and displays an S / N recognition result display screen 110. The configuration of the S / N recognition result display screen 110 is the same as the configuration of the model number recognition result display screen shown in FIG. 9C.

認識文字列拡大画像表示部１３１には、Ｓ／Ｎの文字列の画像が拡大表示され、文字認識結果表示部１３２には、Ｓ／Ｎの文字の認識結果が表示され、表記形式表示部９３１には、Ｓ／Ｎの単語照合処理で用いた表記辞書３０９に登録された表記形式が表示される。 The image of the S / N character string is enlarged and displayed on the recognized character string enlarged image display portion 131, and the recognition result of the S / N character is displayed on the character recognition result display portion 132. The notation form registered in the notation dictionary 309 used in the S / N word matching process is displayed.

なお、Ｓ／Ｎの認識結果表示画面１１０でＯＫボタン１３３が操作されると、文字認識部２５１は、図９Ｄに示す点検項目一覧表示画面９２０を表示する。この場合の点検項目一覧表示画面９２０のＳ／Ｎには、Ｓ／Ｎの認識結果が表示される。 When the OK button 133 is operated on the S / N recognition result display screen 110, the character recognition unit 251 displays the inspection item list display screen 920 shown in FIG. 9D. In S / N of the inspection item list display screen 920 in this case, the recognition result of S / N is displayed.

そして、新たな画像が文字認識部２５１に入力され、次の項目（ＭＡＣアドレス）の文字が認識され、ＭＡＣアドレスの認識結果表示画面１１０が表示され、ＯＫボタン１３３が操作されると、点検項目一覧表示画面９２０が表示される。この処理が最後の項目の文字が認識されるまで繰り返される。 Then, a new image is input to the character recognition unit 251, the character of the next item (MAC address) is recognized, the recognition result display screen 110 of the MAC address is displayed, and the OK button 133 is operated. A list display screen 920 is displayed. This process is repeated until the character of the last item is recognized.

以上によって、本実施例では、入力された画像に含まれる文字を認識する文字認識装置であって、文字を認識する複数の項目を含む複数のグループと、グループ内での複数の項目の認識順序と、各項目の文字の認識に用いる情報とが登録された認識辞書（点検シナリオデータ２６１）を記憶する記憶部と、プロセッサと、を備え、認識辞書に登録される項目は、複数の第１項目（例えば型番等の機器特定情報）及び複数の第２項目（機器特定情報以外の点検する項目）を含み、第１項目はグループ内での認識順序が最初の項目であって、第１項目に少なくとも一つの第２項目が関連付けられ、プロセッサは、認識辞書に登録された複数のグループの第１項目の文字の認識に用いる情報に基づいて、入力された画像から第１項目の文字を認識し、認識辞書に登録された認識順序を参照し、認識された文字の第１項目に関連付けられた第２項目から次に文字を認識する第２項目を特定し、特定した第２項目の文字の認識に用いる情報を認識辞書から読み出し、読み出された第２項目の文字の認識に用いる情報に基づいて、入力された画像から当該第２項目の文字を認識する。 As described above, the present embodiment is a character recognition apparatus that recognizes characters included in an input image, and includes a plurality of groups including a plurality of items that recognize characters and a recognition order of a plurality of items in the group. And a storage unit storing a recognition dictionary (inspection scenario data 261) in which information used for character recognition of each item is registered, and a processor, and the items registered in the recognition dictionary include a plurality of first items The first item includes the item (for example, device identification information such as model number) and a plurality of second items (items to be checked other than the device identification information), and the first item is the first item in the recognition order in the group. Is associated with at least one second item, and the processor recognizes the first item character from the input image based on the information used for recognizing the characters of the first item of the plurality of groups registered in the recognition dictionary The Referring to the recognition order registered in the recognition dictionary, the second item associated with the first item of the recognized character is identified as the second item to be recognized next, and the character recognition of the identified second item is identified. The information used for reading is read from the recognition dictionary, and the character of the second item is recognized from the input image based on the information used for recognition of the read character of the second item.

これによって、項目に対応した文字の認識に用いる情報を用いて項目の文字を認識できるので、文字の認識精度を向上させることができ、ユーザの各項目の手作業による入力を不要として、作業効率を向上させることができる。 By this, since the character of the item can be recognized using the information used for the recognition of the character corresponding to the item, the recognition accuracy of the character can be improved, and manual input of each item of the user is unnecessary, and the work efficiency Can be improved.

また、本実施例では、第１項目の文字の認識に用いる情報は、前記第１項目の表記形式を含み、前記プロセッサは、前記第１項目の認識された文字の表記形式が当該第１項目の表記形式と一致する場合、当該第１項目の認識された文字を当該第１項目の認識結果とする。これによって、第１項目の認識精度を向上させることができる。なお、第１項目の認識結果によって次の第２項目が決まるので、第１項目が誤認識されると、第２項目の文字の認識に用いる情報が誤って読み出されるので、第１項目の認識精度を向上させる必要がある。 Further, in the present embodiment, the information used for recognizing the character of the first item includes the notation form of the first item, and the processor is configured to recognize the notation form of the recognized character of the first item. If it matches with the notation form, the recognized character of the first item is taken as the recognition result of the first item. This makes it possible to improve the recognition accuracy of the first item. Since the next second item is determined by the recognition result of the first item, if the first item is misrecognized, the information used to recognize the character of the second item is erroneously read out, so the recognition of the first item is performed. Need to improve the accuracy.

また、本実施例では、プロセッサは、前記認識された第１項目及び第２項目の文字を、作業ログ２６２として前記記憶部に記憶する。これによって、次の文字認識に前回の文字認識結果を利用することができ、各項目の認識精度を向上させることができる。 Further, in the present embodiment, the processor stores the characters of the first and second items recognized as the work log 262 in the storage unit. As a result, the previous character recognition result can be used for the next character recognition, and the recognition accuracy of each item can be improved.

また、本実施例では、前記プロセッサは、入力された画像をパラメータに基づいて補正し、前記補正後の画像から認識対象となる項目の文字を認識し、前記文字の認識が成功した場合、前記画像の補正に用いたパラメータを前記作業ログとして前記記憶部に記憶する。これによって、認識が成功した項目のパラメータに基づいて画像を補正することができるので、補正後の画像が文字認識に適切である可能性が高くなり、認識精度を向上させることができる。 In the present embodiment, the processor corrects the input image based on the parameters, recognizes the character of the item to be recognized from the image after the correction, and the recognition of the character succeeds. The parameters used for image correction are stored in the storage unit as the work log. This makes it possible to correct the image based on the parameters of the item for which recognition has been successful, so the possibility that the image after correction is appropriate for character recognition is increased, and recognition accuracy can be improved.

また、本実施例では、前記第１項目の文字を認識するための画像が入力され、前記プロセッサは、前記入力された画像から前記第１項目の文字を認識し、前記認識された第１項目の次に認識する第２項目の文字を認識するための画像が入力され、前記プロセッサは、当該入力された画像から当該第２項目の文字を認識し、前記認識された第１項目に関連付けられた最後の第２項目の文字を認識するための画像が入力され、当該入力された画像から当該第２項目の文字を認識するまで繰り返す。例えば、認識する項目が中央付近に存在する画像が入力されれば、当該項目の文字の認識精度を向上させることができる。 Further, in the present embodiment, an image for recognizing the character of the first item is input, and the processor recognizes the character of the first item from the input image, and the first item recognized And an image for recognizing a character of a second item to be recognized next to the second character, the processor recognizes the character of the second item from the input image, and is associated with the first item recognized. An image for recognizing the last character of the second item is input, and the process is repeated until the character of the second item is recognized from the input image. For example, if an image in which an item to be recognized exists near the center is input, the recognition accuracy of the character of the item can be improved.

また、本実施例では、プロセッサは、前記認識された第１項目の文字を表示部に表示し、前記認識された第２項目の文字を前記認識辞書に登録された認識順序通りに前記表示部に表示する。これによって、ユーザは、認識順序通りに項目の認識結果を確認できる。 Further, in the present embodiment, the processor displays the characters of the first item recognized on the display unit, and the characters of the second item recognized on the display unit according to the recognition order registered in the recognition dictionary. Display on By this, the user can confirm the recognition result of the item in the recognition order.

また、本実施例では、プロセッサは、前記認識された第１項目の文字を前記表示部に表示する場合、又は前記認識された第２項目の文字を前記表示する場合、前記認識辞書に登録された前記認識に用いた情報も前記表示部に表示する。これによって、ユーザは、項目の認識結果とともに、認識に用いた情報も確認できる。 Further, in the present embodiment, when the processor displays the character of the recognized first item on the display unit, or when the character of the recognized second item is displayed, the processor is registered in the recognition dictionary. The information used for the recognition is also displayed on the display unit. By this, the user can confirm the information used for the recognition as well as the recognition result of the item.

実施例２について、図１０〜図１４を用いて説明する。 A second embodiment will be described using FIGS. 10 to 14.

実施例１では、一つの項目の文字を認識するための一つの画像がカメラで撮影され、文字認識部２５１に入力され、一つの項目ごとに文字認識処理が実行されたが、本実施例では、型番の文字を認識するための画像が入力されて型番の文字が認識された後、型番以外の項目の文字を認識するための一つの画像が入力され、当該画像から型番以外の全ての点検項目の文字が一括して認識される。 In the first embodiment, one image for recognizing the character of one item is taken by the camera and input to the character recognition unit 251, and the character recognition process is executed for each item. After the image for recognizing the character of the model number is input and the character of the model number is recognized, one image for recognizing the character of the item other than the model number is input, and all the inspections other than the model number from the image Item characters are recognized at once.

図１０は、実施例２の文字認識処理のフローチャートである。図１０では、実施例１の図５に示す文字認識処理と同じ処理は同じ符号を付与し、説明を省略する。 FIG. 10 is a flowchart of the character recognition process of the second embodiment. In FIG. 10, the same processing as the character recognition processing shown in FIG. 5 of the first embodiment is denoted by the same reference numeral, and the description is omitted.

本実施例の文字認識処理は、点検項目認識ステップ（５３０）が実施例１の文字認識処理と異なる。 The character recognition process of the present embodiment is different from the character recognition process of the first embodiment in the check item recognition step (530).

本実施例の点検項目認識ステップでは、点検項目認識部２５３は、項目一括認識処理を実行し（１００１）、項目一括確認処理を実行する（１００２）。 In the inspection item recognition step of the present embodiment, the inspection item recognition unit 253 executes item batch recognition processing (1001) and executes item batch confirmation processing (1002).

ステップ１００１の処理の項目一括認識処理は、点検する項目の文字を認識するために入力された画像内の全ての点検項目の文字を認識する。項目一括確認処理の詳細は図１１で説明する。 The item batch recognition process of the process of step 1001 recognizes the characters of all the inspection items in the input image in order to recognize the characters of the item to be inspected. Details of the item batch confirmation process will be described with reference to FIG.

ステップ１００２の処理の項目一括確認処理は、ステップ１００１の処理における全ての点検項目の認識結果を一括して確認する。項目一括確認処理の詳細は図１２で説明する。 The item batch confirmation process of the process of step 1002 collectively confirms the recognition results of all the inspection items in the process of step 1001. Details of the item batch check process will be described with reference to FIG.

文字認識部２５１は、ステップ５０４の処理で認識された型番に対応する全ての点検項目の文字が認識されたか否かを判定する（１００３）。 The character recognition unit 251 determines whether the characters of all the inspection items corresponding to the model number recognized in the process of step 504 have been recognized (1003).

ステップ１００３の処理で、型番に対応する全ての点検項目の文字が認識されたと判定された場合、ステップ５１０の処理に進み、ステップ５０１の処理で入力を受け付けた場所に設置された全ての機器に対してステップ５２０及び５３０の処理が実行されたか否かを判定する。 If it is determined in the process of step 1003 that the characters of all the inspection items corresponding to the model number have been recognized, the process proceeds to the process of step 510, and to all the devices installed in the place where the input is received in the process of step 501. In contrast, it is determined whether the processing of steps 520 and 530 has been performed.

一方、ステップ１００３の処理で、型番に対応する全ての点検項目の文字が認識されていないと判定された場合、入力された画像に未認識の項目の文字列が含まれていなかったことか、入力された画像に未認識の項目の文字列が含まれるものの認識に失敗したことが考えられる。このため、文字認識部２５１は、未認識の項目を特定し（１００４）、ステップ１００１の処理に戻り、新たな画像の入力を受け付け、項目認識ステップを再度実行する。 On the other hand, if it is determined in the process of step 1003 that the characters of all the inspection items corresponding to the model number are not recognized, it may be that the input image does not include the character string of the unrecognized item. It is possible that the input image contains a character string of an unrecognized item but fails in recognition. Therefore, the character recognition unit 251 specifies an unrecognized item (1004), returns to the process of step 1001, receives an input of a new image, and executes the item recognition step again.

図１１は、実施例２の項目一括認識処理のフローチャートである。 FIG. 11 is a flowchart of the item batch recognition process of the second embodiment.

実施例１の図３に示す処理では、点検項目ごとに新たな画像が入力され、入力された画像に対して文字認識前処理及び文字列認識処理が実行される。図１１に示す項目一括認識処理では、型番以外の項目の文字認識のために入力された一つの画像に対して文字認識前処理及び文字列認識処理が実行され、当該一つの画像から型番以外の項目の文字を認識する。図１１では、図６に示す処理と同じ処理は同じ符号を付与し、説明を省略する。 In the process shown in FIG. 3 of the first embodiment, a new image is input for each check item, and character recognition pre-processing and character string recognition processing are performed on the input image. In the item batch recognition processing shown in FIG. 11, character recognition pre-processing and character string recognition processing are executed on one image input for character recognition of an item other than the model number, and the one image is processed from other than the model number. Recognize the character of the item. In FIG. 11, the same processing as the processing shown in FIG.

ステップ６０１の処理で、全ての項目が文字認識を必要としないと判定された場合（６０１：ＮＯ）、点検項目認識部２５３は、ユーザによるデータの入力を受け付け、項目一括認識処理を終了する。 If it is determined in the process of step 601 that all the items do not require character recognition (601: NO), the inspection item recognition unit 253 accepts data input by the user, and ends the item batch recognition process.

一方、ステップ６０１の処理で、いずれかの項目が文字認識を必要とすると判定された場合（６０１：ＹＥＳ）、点検項目認識部２５３は、点検シナリオデータ２６１に登録されたレコードのうち、場所３０１にステップ５０１の処理で入力を受け付けた場所の識別子が登録され、型番３０３にステップ５０４の処理で認識された型番が登録された全てのレコードを読み込む（１１０１）。 On the other hand, when it is determined in the process of step 601 that any item requires character recognition (601: YES), the inspection item recognition unit 253 determines the location 301 among the records registered in the inspection scenario data 261. The identifier of the place where the input is accepted in the process of step 501 is registered, and all the records in which the model number recognized in the process of step 504 is registered in the model number 303 are read (1101).

次に、点検項目認識部２５３は、作業ログ２６２に登録されたレコードのうち、場所４０２にステップ５０１の処理で入力を受け付けた場所の識別子が登録され、型番４０４にステップ５０４の処理で認識された型番が登録された全てのレコードを読み込む（１１０２）。 Next, among the records registered in the work log 262, the inspection item recognition unit 253 registers the identifier of the place where the input is accepted in the process of step 501 in the place 402, and recognizes in the process of step 504 in the model number 404. All records in which the registered model number is registered are read (1102).

次に、点検項目認識部２５３は、文字認識前処理を実行する（６０３）。本実施例の文字認識前処理では、入力された画像を作業ログ２６２に登録されたパラメータに基づいて補正し、補正後の画像から全ての文字列を抽出する。 Next, the inspection item recognition unit 253 executes character recognition pre-processing (603). In the character recognition pre-processing of the present embodiment, the input image is corrected based on the parameters registered in the work log 262, and all character strings are extracted from the image after correction.

本実施例の文字認識前処理の詳細について図７のステップ７０１〜７０５の処理を用いて説明する。実施例１のステップ７０２〜７０４の処理は、ある一つの項目の文字を認識するための一つの画像に対して作業ログ２６２の当該項目のレコードに含まれるパラメータに基づいて各種処理を実行する。本実施例のステップ７０２〜７０４の処理は、型番以外の項目の全ての項目の文字を認識するための一つの画像に対して作業ログ２６２の点検作業を実施する機器の各項目のパラメータに基づいて各種処理を実行する。この結果、各項目のパラメータに基づいて各種処理が実行された画像が、点検作業を実施する機器の項目の数だけ生成される。 Details of the character recognition pre-processing of this embodiment will be described using the processing of steps 701 to 705 in FIG. 7. The processes of steps 702 to 704 in the first embodiment execute various processes on one image for recognizing the character of a certain item based on the parameters included in the record of the item of the work log 262. The processing of steps 702 to 704 in this embodiment is based on the parameters of each item of the device that performs the inspection work of the work log 262 on one image for recognizing the characters of all the items other than the model number. Perform various processing. As a result, the image in which various processes were performed based on the parameter of each item is produced | generated by the number of items of the apparatus which performs an inspection operation.

なお、本実施例のステップ７０２〜７０４の処理は、作業ログ２６２の点検作業を実施する機器の各項目の各パラメータの平均値を算出し、型番以外の項目の全ての項目の文字を認識するための一つの画像に対して各パラメータの平均値に基づいて各種処理を実行してもよい。また、一つの項目のパラメータを選択し、型番以外の項目の全ての項目の文字を認識するための一つの画像に対して一つの項目のパラメータに基づいて各種処理を実行してもよい。 In the process of steps 702 to 704 in this embodiment, the average value of each parameter of each item of the device for which the inspection operation of the work log 262 is performed is calculated, and characters of all items other than the model number are recognized. Various processing may be performed on one image for the purpose based on the average value of each parameter. Further, parameters of one item may be selected, and various processing may be performed on one image for recognizing characters of all items other than the model number based on the parameters of one item.

本実施例のステップ７０５の処理は、ステップ７０２〜７０４の処理が実行された画像の全ての文字列を抽出し、図１１に示すステップ１１０３の処理に進む。 The process of step 705 of this embodiment extracts all character strings of the image on which the processes of steps 702 to 704 have been executed, and proceeds to the process of step 1103 shown in FIG.

ステップ１１０３の処理では、点検項目認識部２５３は、点検シナリオデータ２６１の場所３０１にステップ５０１の処理で入力を受け付けた場所の識別子が登録され、かつ型番３０３にステップ５０４の処理で認識された型番が登録されたレコードから、次に認識する項目のレコードを読み込む（１１０３）。 In the process of step 1103, the inspection item recognition unit 253 stores the identifier of the place where the input is received in the process of step 501 in the place 301 of the inspection scenario data 261 and the model number recognized in the process of step 504 in the model number 303. The record of the item to be recognized next is read out from the record in which is registered (1103).

次に、点検項目認識部２５３は、作業ログ２６２から場所４０２にステップ５０１の処理で入力を受け付けた場所の識別子が登録され、かつ型番４０４にステップ５０４の処理で認識された型番が登録されたレコードから、次に認識する項目のレコードを読み込む（１１０４）。 Next, in the inspection item recognition unit 253, the identifier of the place where the input is received from the work log 262 in the process of step 501 is registered in the place 402, and the model number recognized in the process of step 504 is registered in the model number 404. From the record, read the record of the item to be recognized next (1104).

次に、点検項目認識部２５３は、ステップ６０３の処理で抽出された文字列から最初の文字列を選択する（１１０５）。ここで、最初の文字列とは、ステップ６０３の処理で文字列が画像の上から順に文字列が抽出される場合、一番上に位置する文字列である。なお、ステップ６０３の処理で文字列を抽出する方向は上から下に限定されず、例えば画像の左から右に抽出されてもよい。 Next, the inspection item recognition unit 253 selects the first character string from the character strings extracted in the process of step 603 (1105). Here, the first character string is the character string located at the top when the character string is extracted in order from the top of the image in the process of step 603. Note that the direction in which the character string is extracted in the process of step 603 is not limited from top to bottom, and may be extracted from the left to the right of the image, for example.

なお、ステップ６０３の文字認識前処理で全ての項目に対応する画像が生成されている場合、ステップ１１０３の処理で読み込まれた点検シナリオデータ２６１のレコードの項目に対応する画像から最初に抽出された文字列を選択する。 When the images corresponding to all the items are generated in the character recognition pre-processing of step 603, the image extracted first from the image corresponding to the item of the record of the inspection scenario data 261 read in the processing of step 1103 Select a string

次に、点検項目認識部２５３は、文字列認識処理を実行する（６０４）。 Next, the inspection item recognition unit 253 executes character string recognition processing (604).

本実施例の文字列認識処理について図７のステップ７０６及び７０７の処理を用いて説明する。 The character string recognition process of the present embodiment will be described using the processes of steps 706 and 707 in FIG. 7.

ステップ７０６の処理は、文字認識辞書７１１を参照し、ステップ１１０５の処理で選択された文字列の文字を認識する。 The processing of step 706 refers to the character recognition dictionary 711 and recognizes characters of the character string selected in the processing of step 1105.

ステップ７０７の処理は、ステップ７０６の処理での文字認識結果に対して単語照合処理及び表記照合処理を実行する。単語照合処理では、点検項目認識部２５３は、ステップ７０６の処理での文字認識結果とステップ１１０３の処理で読み込まれた点検シナリオデータ２６１の項目の単語辞書３０８に登録された単語とが一致するか否かを照合する。また、表記照合処理では、点検項目認識部２５３は、ステップ７０６の処理での文字認識結果の表記形式とステップ１１０３の処理で読み込まれた点検シナリオデータ２６１の項目の表記辞書３０９に登録された表記形式とが一致するか否かを照合する。 In the process of step 707, a word matching process and a word matching process are executed on the character recognition result in the process of step 706. In the word matching process, whether the check item recognition unit 253 matches the character recognition result in the process of step 706 with the word registered in the word dictionary 308 of the item of the check scenario data 261 read in the process of step 1103 Check if it is not. Further, in the notation collating process, the inspection item recognition unit 253 registers the notation format of the character recognition result in the process of step 706 and the notation dictionary 309 of the items of the inspection scenario data 261 read in the process of step 1103. Check whether the format matches.

本実施例のステップ７０７の処理では、単語照合スコア及び表記照合スコアが算出されるものとする。 In the process of step 707 of this embodiment, it is assumed that a word matching score and a word matching score are calculated.

次に、点検項目認識部２５３は、ステップ６０４の処理での文字認識が成功したか否かを判定する（１１０６）。具体的には、点検項目認識部２５３は、単語照合スコア及び表記照合スコアの少なくとも一方が閾値以上であれば、ステップ６０４の処理での文字認識が成功したと判定する。 Next, the inspection item recognition unit 253 determines whether the character recognition in the process of step 604 has succeeded (1106). Specifically, the inspection item recognition unit 253 determines that the character recognition in the process of step 604 is successful if at least one of the word matching score and the written matching score is equal to or more than the threshold.

ステップ１１０６の処理において、ステップ６０４の処理での文字認識が失敗したと判定された場合（１１０６：ＮＯ）、点検項目認識部２５３は、ステップ６０３の処理で抽出された全ての文字列に対してステップ６０４の処理が実行されたか否かを判定する（１１０７）。 When it is determined in the process of step 1106 that the character recognition in the process of step 604 has failed (1106: NO), the inspection item recognition unit 253 applies to all the character strings extracted in the process of step 603. It is determined whether the process of step 604 has been executed (1107).

ステップ１１０７の処理において、ステップ６０３の処理で抽出された全ての文字列に対してステップ６０４の処理が実行されていないと判定された場合（１１０７：ＮＯ）、点検項目認識部２５３は、ステップ６０３の処理で抽出された文字列から次の文字列を選択し（１１０８）、ステップ６０４の処理に戻る。 If it is determined in the process of step 1107 that the process of step 604 has not been performed on all the character strings extracted in the process of step 603 (1107: NO), the inspection item recognition unit 253 proceeds to step 603. The next character string is selected from the character strings extracted in the processing of (1108), and the processing returns to step 604.

一方、ステップ１１０７の処理において、ステップ６０３の処理で抽出された全ての文字列に対してステップ６０４の処理が実行されたと判定された場合（１１０７：ＹＥＳ）、ステップ１１０３の処理で読み込まれた点検シナリオデータ２６１の項目の文字が入力さ入力された画像に含まれていなかったか、当該項目の文字認識に失敗したので、点検項目認識部２５３は、当該項目を未認識の項目として記憶し（１１０９）、次の項目を選択し（１１１２）、ステップ１１０３の処理に戻る。そして、ステップ１１０３の処理では、点検シナリオデータ２６１から選択した次の項目のレコードを読み込む。 On the other hand, if it is determined in the process of step 1107 that the process of step 604 has been executed for all the character strings extracted in the process of step 603 (1107: YES), the inspection read in the process of step 1103 Since the character of the item of the scenario data 261 is not included in the input image or the character recognition of the item has failed, the inspection item recognition unit 253 stores the item as an unrecognized item (1109 ), Select the next item (1112), and return to the process of step 1103. Then, in the process of step 1103, the record of the next item selected from the inspection scenario data 261 is read.

ステップ１１０６の処理において、ステップ６０４の処理での文字認識が成功したと判定された場合（１１０６：ＹＥＳ）、点検項目認識部２５３は、ステップ６０４の処理での文字認識結果を記憶し（１１１０）、点検作業を実施する機器の全ての項目に対してステップ６０４の処理が実行されたか否かを判定する（１１１１）。 If it is determined in the process of step 1106 that the character recognition in the process of step 604 is successful (1106: YES), the inspection item recognition unit 253 stores the character recognition result in the process of step 604 (1110) Then, it is determined whether or not the process of step 604 has been performed for all the items of the equipment that performs the inspection work (1111).

ステップ１１１１の処理で、点検作業を実施する機器の全ての項目に対してステップ６０４の処理が実行されたと判定された場合（１１１１：ＹＥＳ）、項目一括認識処理を終了する。 If it is determined in the process of step 1111 that the process of step 604 has been performed on all the items of the device that performs the inspection operation (1111: YES), the item batch recognition process is ended.

一方、ステップ１１１１の処理で、点検作業を実施する機器の全ての項目に対してステップ６０４の処理が実行されていないと判定された場合（１１１１：ＮＯ）、ステップ１１１２の処理に進み、点検項目認識部２５３は、次の項目を選択し、ステップ１１０３の処理に戻る。 On the other hand, if it is determined in the process of step 1111 that the process of step 604 has not been performed for all items of the equipment to be inspected (1111: NO), the process proceeds to step 1112 and the inspection item The recognition unit 253 selects the next item, and returns to the process of step 1103.

図１２は、実施例２の項目一括確認処理のフローチャートである。 FIG. 12 is a flowchart of the item batch confirmation process of the second embodiment.

まず、点検項目認識部２５３は、項目一括認識処理で認識された最初の項目を選択する（１２０１）。 First, the inspection item recognition unit 253 selects the first item recognized in the item batch recognition processing (1201).

次に、点検項目認識部２５３は、ステップ１２０１の処理で選択した項目の文字認識結果を含む認識結果表示画面１１０を表示し、当該項目の文字認識結果をユーザに提示する（１２０２）。ステップ１２０２の処理では、ユーザは、認識結果表示画面１１０を見て、ステップ１２０１の処理で選択した項目の文字認識結果が正しいか否かを判断する。ユーザは、文字認識結果が誤っていると判断した場合、文字一括認識処理を点検項目認識部２５３に再度実行させるか、修正内容を文字認識装置２００に入力する。 Next, the inspection item recognition unit 253 displays the recognition result display screen 110 including the character recognition result of the item selected in the process of step 1201, and presents the character recognition result of the item to the user (1202). In the process of step 1202, the user looks at the recognition result display screen 110 and determines whether the character recognition result of the item selected in the process of step 1201 is correct. When the user determines that the character recognition result is incorrect, the user causes the check item recognition unit 253 to execute character batch recognition processing again or inputs the correction content into the character recognition device 200.

次に、点検項目認識部２５３は、ステップ１２０１の処理で選択した文字認識結果又はユーザによって修正された文字認識結果、及びステップ６０３の処理で用いたパラメータを、作業ログ２６２に登録する（１２０３）。 Next, the inspection item recognition unit 253 registers the character recognition result selected in the process of step 1201 or the character recognition result corrected by the user, and the parameter used in the process of step 603 in the work log 262 (1203). .

次に、点検項目認識部２５３は、項目一括認識処理で認識された全ての項目にステップ１２０２及び１２０３の処理が実行されたか否かを判定する（１２０４）。 Next, the inspection item recognition unit 253 determines whether or not the processing of steps 1202 and 1203 has been executed for all the items recognized in the item batch recognition processing (1204).

ステップ１２０４の処理で、項目一括認識処理で認識された全ての項目にステップ１２０２及び１２０３の処理が実行されていないと判定された場合（１２０４：ＮＯ）、点検項目認識部２５３は、点検一括認識処理で認識された次の項目を選択し（１２０５）、ステップ１２０２の処理に戻る。 If it is determined in the process of step 1204 that the processes of steps 1202 and 1203 have not been executed for all the items recognized in the item batch recognition process (1204: NO), the inspection item recognition unit 253 checks the inspection batch recognition The next item recognized in the process is selected (1205), and the process returns to the process of step 1202.

一方、ステップ１２０４の処理で、項目一括認識処理で認識された全ての項目にステップ１２０２及び１２０３の処理が実行されたと判定された場合（１２０４：ＹＥＳ）、点検項目認識部２５３は、ステップ１１０９の処理で未認識の項目が記憶されたか否かを判定する（１２０６）。 On the other hand, if it is determined in the process of step 1204 that the processes of steps 1202 and 1203 have been executed for all the items recognized in the item batch recognition process (1204: YES), the inspection item recognition unit 253 proceeds to step 1109. It is determined whether an unrecognized item is stored in the process (1206).

ステップ１２０６の処理において、ステップ１１０９の処理で未認識の項目が記憶されたと判定された場合（１２０６：ＹＥＳ）、点検項目認識部２５３は、ステップ１１０９の処理で記憶された未認識の項目の一覧を含む未認識項目表示画面１４００を表示し（１２０７）、項目一括確認処理を終了する。未認識項目表示画面１４００の詳細は図１４で説明する。 When it is determined in the process of step 1206 that an unrecognized item is stored in the process of step 1109 (1206: YES), the inspection item recognition unit 253 lists the unrecognized items stored in the process of step 1109 Is displayed (1207), and the item batch confirmation process is ended. Details of the unrecognized item display screen 1400 will be described with reference to FIG.

一方、ステップ１２０６の処理において、ステップ１１０９の処理で未認識の項目が記憶されていないと判定された場合（１２０６：ＮＯ）、点検項目認識部２５３は、項目一括確認処理を終了する。 On the other hand, in the process of step 1206, when it is determined that the unrecognized item is not stored in the process of step 1109 (1206: NO), the inspection item recognition unit 253 ends the item batch confirmation process.

次に、図１３Ａ〜図１４を用いて、本実施例で表示される画面について説明する。 Next, screens displayed in the present embodiment will be described using FIGS. 13A to 14.

まず、点検項目認識部２５３は、図１２に示す項目一括確認処理のステップ１２０１の処理の実行前に型番の認識結果表示画面１１０を表示する。図１３Ａは、実施例２の型番の認識結果表示画面１１０の説明図である。 First, the inspection item recognition unit 253 displays the model number recognition result display screen 110 before the process of step 1201 of the item batch confirmation process shown in FIG. 12 is performed. FIG. 13A is an explanatory diagram of a model number recognition result display screen 110 according to the second embodiment.

図１３Ａに示す型番の認識結果表示画面１１０は、図１で説明した認識結果表示画面１１０と同じく、撮影画像表示エリア１２０及び文字認識結果表示エリア１３０を含む。 Similar to the recognition result display screen 110 described with reference to FIG. 1, the model recognition result display screen 110 illustrated in FIG. 13A includes a photographed image display area 120 and a character recognition result display area 130.

撮影画像表示エリア１２０には、項目一括認識処理の文字認識前処理のステップ７０１の処理で入力された画像が表示される。また、撮影画像表示エリア１２０に表示された画像では、点検項目の文字が認識された文字列の画像が矩形１３０１及び１３０２によって囲まれて表示される。 In the photographed image display area 120, the image input in the process of step 701 of the character recognition pre-processing of the item batch recognition process is displayed. Further, in the image displayed in the photographed image display area 120, the image of the character string in which the character of the inspection item is recognized is surrounded and displayed by the rectangles 1301 and 1302.

文字認識結果表示エリア１３０は、型番認識結果表示部１３１１及び点検項目表示部１３１２を含む。型番認識結果表示部１３１１には、型番照合５０４で認識された型番の文字が表示される。点検項目表示部１３１２には、認識された型番の機器で点検すべき項目が点検順序に従って表示される。 The character recognition result display area 130 includes a model number recognition result display unit 1311 and an inspection item display unit 1312. In the model number recognition result display unit 1311, characters of the model number recognized by the model collation 504 are displayed. The inspection item display unit 1312 displays the items to be inspected with the device of the recognized model number in accordance with the inspection order.

撮影画像表示エリア１２０に表示された画像で、項目一括確認処理を実行する場合、ユーザはＯＫボタン１３３を操作する。撮影画像表示エリア１２０に表示された画像に点検対象の文字列が含まれず、新たな画像を入力する場合、ユーザはＲｅｔｒｙボタン１３４を操作する。 When performing the item batch check process with the image displayed in the photographed image display area 120, the user operates the OK button 133. When the image displayed in the photographed image display area 120 does not include the character string to be checked and the user inputs a new image, the user operates the Retry button 134.

次に、図１２に示す項目一括確認処理のステップ１２０１の処理では、最初に点検する項目（Ｓ／Ｎ）が選択され、ステップ１２０２の処理で、項目（Ｓ／Ｎ）の認識結果表示画面１１０が表示される。図１３Ｂは、実施例２の項目（Ｓ／Ｎ）の認識結果表示画面１１０の説明図である。 Next, in the process of step 1201 of the item batch confirmation process shown in FIG. 12, the item (S / N) to be checked first is selected, and in the process of step 1202, the recognition result display screen 110 of the item (S / N) is displayed. Is displayed. FIG. 13B is an explanatory diagram of a recognition result display screen 110 of the item (S / N) in the second embodiment.

項目（Ｓ／Ｎ）の認識結果表示画面１１０の撮影画像表示エリア１２０に表示された画像では、認識結果の項目であるＳ／Ｎの文字列の画像を囲む矩形１３０１が強調表示される。一方、認識結果の項目でないＭＡＣの文字列の画像を囲む矩形１３０２は強調表示されない。 In the image displayed in the photographed image display area 120 of the recognition result display screen 110 of the item (S / N), a rectangle 1301 surrounding the image of the S / N character string which is the item of the recognition result is highlighted. On the other hand, the rectangle 1302 surrounding the image of the MAC character string that is not the item of the recognition result is not highlighted.

文字認識結果表示エリア１３０は、図９Ｅと同じであるので説明を省略する。 The character recognition result display area 130 is the same as FIG.

ユーザは、項目（Ｓ／Ｎ）の認識結果表示画面１１０で認識結果が正しいと判断した場合、認識結果の修正が完了した場合、ＯＫボタン１３３を操作する。ユーザによってＯＫボタン１３３が操作された場合、点検項目認識部２５３は、次の項目（ＭＡＣ）の認識結果表示画面１１０（図１３Ｃ参照）を表示する。一方、ユーザは、撮影画像表示エリア１２０に表示された画像に点検すべき項目の文字列が含まれないことに気づいた場合、Ｒｅｔｒｙボタン１３４を操作する。この場合、点検項目認識部２５３は、新たな画像の入力を受け付け、再度項目一括認識処理を実行する。 When the user determines that the recognition result is correct on the recognition result display screen 110 of the item (S / N), the user operates the OK button 133 when the correction of the recognition result is completed. When the user operates the OK button 133, the inspection item recognition unit 253 displays the recognition result display screen 110 (see FIG. 13C) of the next item (MAC). On the other hand, if the user notices that the character string of the item to be checked is not included in the image displayed in the photographed image display area 120, the user operates the Retry button 134. In this case, the inspection item recognition unit 253 receives an input of a new image, and executes the item batch recognition process again.

図１３Ｃは、実施例２の項目（ＭＡＣ）の認識結果表示画面１１０の説明図である。 FIG. 13C is an explanatory diagram of a recognition result display screen 110 of item (MAC) in the second embodiment.

項目（ＭＡＣ）の認識結果表示画面１１０の撮影画像表示エリア１２０に表示された画像では、認識結果の項目であるＭＡＣの文字列の画像を囲む矩形１３０２が強調表示される。一方、認識結果の項目でないＳ／Ｎの文字列の画像を囲む矩形１３０１は強調表示されない。 In the image displayed in the captured image display area 120 of the recognition result display screen 110 of the item (MAC), a rectangle 1302 surrounding the image of the character string of the MAC, which is the item of the recognition result, is highlighted. On the other hand, the rectangle 1301 surrounding the image of the S / N character string that is not the item of the recognition result is not highlighted.

図１４は、実施例２の未認識項目表示画面１４００の説明図である。 FIG. 14 is an explanatory diagram of the unrecognized item display screen 1400 of the second embodiment.

未認識項目表示画面１４００には、点検作業を実施する機器の点検すべき項目のうち、項目一括認識処理で認識されていない項目の一覧が表示される。 In the unrecognized item display screen 1400, a list of items not to be recognized in the item batch recognition process among items to be checked of the equipment to be inspected is displayed.

以上によって、本実施例では、第１項目の文字を認識するための画像が入力され、前記プロセッサは、前記入力された画像から前記第１項目の文字を認識し、前記認識された第１項目に関連付けられた第２項目の文字を認識するための画像が入力され、前記プロセッサは、当該入力された画像から前記認識された第１項目に関連付けられた第２項目の文字を認識する。これによって、第２項目を特定するために必要な項目である第１項目用の画像から第１項目の文字を認識するので、第１項目の認識精度を向上させつつ、第２項目は一つの画像から一括して認識するので、第２項目ごとに画像を入力する必要がなくなり、ユーザの作業効率を向上させることができる。 As described above, in the present embodiment, an image for recognizing the character of the first item is input, and the processor recognizes the character of the first item from the input image, and the recognized first item And an image for recognizing the character of the second item associated with the image is input, and the processor recognizes the character of the second item associated with the recognized first item from the input image. As a result, since the character of the first item is recognized from the image for the first item, which is an item necessary to specify the second item, while the recognition accuracy of the first item is improved, the second item is a single item. Since the images are collectively recognized, there is no need to input an image for each second item, and the work efficiency of the user can be improved.

実施例３について、図１５〜図１６Ｂを用いて説明する。 A third embodiment will be described with reference to FIGS. 15 to 16B.

実施例２では、型番の文字を認識するための画像が入力されて型番の文字が認識された後、一つの画像が入力され、当該画像から型番以外の全ての点検項目の文字が一括して認識されたが、本実施例では、入力された一つの画像から型番を含む全ての項目の文字が一括して認識される。 In the second embodiment, after an image for recognizing the letters of the model number is input and the letters of the model number are recognized, one image is input, and letters of all inspection items other than the model number are collectively obtained from the image. Although recognized, in the present embodiment, characters of all items including model numbers are collectively recognized from one input image.

図１５は、実施例３の文字認識処理のフローチャートである。図１５では、実施例１の図５及び実施例２の図１０に示す文字認識処理と同じ処理は同じ符号を付与し、説明を省略する。 FIG. 15 is a flowchart of the character recognition process of the third embodiment. In FIG. 15, the same processes as the character recognition process shown in FIG. 5 of the first embodiment and FIG. 10 of the second embodiment have the same reference numerals, and the description thereof will be omitted.

本実施例の文字認識処理は、図１０に示すステップ５０４の処理（型番照合処理）を実行せず、また、図１０に示すステップ１００１の処理（項目一括認識処理）の代わりに全項目一括認識処理を実行し（１５０１）、図１０に示すステップ１００２の処理（項目一括確認処理）の代わりに全項目一括確認処理を実行する（１５０２）。 The character recognition process of this embodiment does not execute the process of step 504 (model number matching process) shown in FIG. 10, and all item batch recognition instead of the process of step 1001 shown in FIG. 10 (item batch recognition process). The process is executed (1501), and the all items batch confirmation process is executed instead of the process (item batch confirmation process) of step 1002 shown in FIG. 10 (1502).

ステップ１５０１の処理で実行される全項目一括認識処理では、文字認識部２５１は、入力された画像から文字列を抽出し、抽出した文字列から型番を含む全ての項目の文字を認識する。 In the all items batch recognition process executed in the process of step 1501, the character recognition unit 251 extracts a character string from the input image, and recognizes characters of all items including the model number from the extracted character string.

全項目一括認識処理は、基本的には項目一括認識処理と同じ処理で実現可能である。しかし、全項目一括認識処理は、型番を含む全ての項目の文字を認識する点で図１０に示す項目一括認識処理と相違する。 The all item batch recognition process can be basically realized by the same process as the item batch recognition process. However, the all item batch recognition process is different from the item batch recognition process shown in FIG. 10 in that characters of all items including the model number are recognized.

全項目一括認識処理では、入力された画像から最初に型番の文字を認識する必要がある。このため、型番の文字が認識される前のステップ１１０３の処理では、文字認識部２５１は、ステップ５０１の処理で入力を受け付けた場所に設置される全ての機器の型番のレコードを点検シナリオデータ２６１から読み込み、ステップ６０４の処理で型番の文字を認識する。もしくは、点検シナリオデータ２６１の機器番号３０２の順に、一つずつ型番のレコードを読み込み、ステップ６０４の処理で型番の文字を認識する。ステップ１１０４の処理でも、ステップ１１０３の処理と同じく入力を受け付けた場所に設置された機器の型番のレコードを作業ログ２６２から読み込む。なお、型番の文字が認識された後の全項目一括認識処理は、項目一括認識処理と同じである。 In the all items batch recognition process, it is necessary to first recognize the letters of the model number from the input image. Therefore, in the process of step 1103 before the character of the model number is recognized, the character recognition unit 251 checks the records of the model numbers of all the devices installed in the place where the input is received in the process of step 501 scenario data 261 And the character of the model number is recognized in the process of step 604. Alternatively, the record of the model number is read one by one in the order of the device number 302 of the inspection scenario data 261, and the character of the model number is recognized in the process of step 604. Also in the process of step 1104, the record of the model number of the device installed at the place where the input is received as in the process of step 1103 is read from the work log 262. The all items batch recognition process after the character of the model number is recognized is the same as the item batch recognition process.

全項目一括確認処理は、基本的には、項目一括認識確認処理と同じ処理で実現可能である。全項目一括確認処理は、型番の文字認識結果を示す認識結果表示画面１１０も表示する点で、項目一括確認処理と異なる。 The all item batch confirmation process can basically be realized by the same process as the item batch recognition confirmation process. The all item batch confirmation process is different from the item batch confirmation process in that it also displays a recognition result display screen 110 indicating the character recognition result of the model number.

次に、図１６Ａ及び図１６Ｂを用いて、本実施例で表示される画面について説明する。 Next, screens displayed in the present embodiment will be described using FIGS. 16A and 16B.

まず、文字認識部２５１は、全項目一括確認処理で最初の項目（型番）の認識結果表示画面１１０（図１６Ｂ参照）を表示する前に、点検項目の一覧を表示する認識結果表示画面１１０を表示する。図１６Ａは、実施例３の点検項目の一覧を表示する認識結果表示画面１１０の説明図である。 First, the character recognition unit 251 displays the recognition result display screen 110 displaying a list of inspection items before displaying the recognition result display screen 110 (see FIG. 16B) of the first item (model number) in the all items batch confirmation process. indicate. FIG. 16A is an explanatory diagram of a recognition result display screen 110 displaying a list of inspection items in the third embodiment.

図１６Ａに示す認識結果表示画面１１０は、撮影画像表示エリア１２０及び文字認識結果表示エリア１３０を含む。 The recognition result display screen 110 shown in FIG. 16A includes a photographed image display area 120 and a character recognition result display area 130.

撮影画像表示エリア１２０には、全項目一括認識処理で入力された画像が表示される。また、撮影画像表示エリア１２０に表示された画像では、型番として認識された文字列の画像が矩形１６０１によって囲まれて表示され、型番以外の点検項目として認識された文字列の画像点検項目の文字が認識された文字列の画像が矩形１３０１及び１３０２によって囲まれて表示される。 In the photographed image display area 120, an image input in the all items batch recognition process is displayed. In the image displayed in the photographed image display area 120, the image of the character string recognized as the model number is surrounded by the rectangle 1601 and displayed, and the character of the image inspection item of the character string recognized as the inspection item other than the model number The image of the character string in which is recognized is displayed surrounded by rectangles 1301 and 1302.

型番の文字列を囲む矩形１６０１と点検項目の文字列を囲む矩形１３０１及び１３０２とは、型番の文字列であるか点検項目の文字列であるかをユーザが特定可能なように表示される。例えば、矩形１６０１は実線で表示され、矩形１３０１及び１３０２は点線で表示される。 A rectangle 1601 enclosing the character string of the model number and rectangles 1301 and 1302 enclosing the character string of the inspection item are displayed so that the user can specify whether it is a character string of the model number or a character string of the inspection item. For example, the rectangle 1601 is displayed as a solid line, and the rectangles 1301 and 1302 are displayed as a dotted line.

文字認識結果表示エリア１３０は点検項目表示部１３１２を含み、点検項目表示部１３１２には点検すべき型番を含む項目が点検順序に表示される。 The character recognition result display area 130 includes an inspection item display unit 1312. In the inspection item display unit 1312, items including the model number to be inspected are displayed in the inspection order.

ＯＫボタン１３３が操作されると、文字認識部２５１は、最初の項目である型番の認識結果表示画面１１０を表示する。図１６Ｂは、実施例３の型番の認識結果表示画面１１０の説明図である。図１６Ｂに示す型番の認識結果表示画面１１０は、型番の認識結果が表示される点以外は、図１３Ｂに示す項目（Ｓ／Ｎ）の認識結果表示画面１１０と同じであり、同じ構成は同じ符号を付与し、説明を省略する。 When the OK button 133 is operated, the character recognition unit 251 displays the recognition result display screen 110 of the model number which is the first item. FIG. 16B is an explanatory diagram of a model number recognition result display screen 110 according to the third embodiment. The recognition result display screen 110 of the model number shown in FIG. 16B is the same as the recognition result display screen 110 of the item (S / N) shown in FIG. 13B except that the recognition result of the model number is displayed. The sign is given and the explanation is omitted.

撮影画像表示エリア１２０に表示される画像においては、文字認識結果表示エリア１３０に認識結果が表示されている型番の文字列の矩形１６０１が例えば実線で強調表示される。なお、Ｓ／Ｎの文字列を囲む矩形１３０１及びＭＡＣの文字列を囲む矩形１３０２は点線で表示されるが、次に認識結果が表示される矩形１３０１の点線の点と点との距離を、矩形１３０２の点線の点と点との距離を長くすることによって、次に認識結果が表示される項目の文字列を囲む矩形と、その他の項目の文字列を囲む矩形とを把握しやすいようにする。 In the image displayed in the photographed image display area 120, a rectangle 1601 of the character string of the model number in which the recognition result is displayed in the character recognition result display area 130 is highlighted by, for example, a solid line. Although the rectangle 1301 surrounding the S / N character string and the rectangle 1302 surrounding the MAC character string are displayed as dotted lines, the distance between the dotted lines of the rectangle 1301 where the recognition result is displayed next is By increasing the distance between the dotted line of the rectangle 1302 and the point, it is easy to grasp the rectangle that encloses the character string of the item for which the recognition result is displayed next and the rectangle that encloses the character string of the other items. Do.

ＯＫボタン１３３が操作されると、文字認識部２５１は、次の項目である項目（ＭＡＣ）の認識結果表示画面１１０を表示する。 When the OK button 133 is operated, the character recognition unit 251 displays the recognition result display screen 110 of the item (MAC) which is the next item.

本実施例では、プロセッサは、入力された一つの画像から、前記第１項目の文字を認識し、前記入力された画像から、前記認識された第１項目に関連付けられた全ての第２項目の文字を一括で認識する。これによって、一つの画像を入力するだけで、全ての項目の文字が一括で認識されるので、ユーザの作業効率を向上させることができる。 In the present embodiment, the processor recognizes the character of the first item from one input image, and all the second items associated with the recognized first item from the input image. Recognize letters at once. As a result, the characters of all the items are recognized at once by inputting only one image, so that the work efficiency of the user can be improved.

本実施例では、文字認識部２５１は、ある機器で点検作業が実施され、当該機器の項目の文字が認識された場合、文字が認識された項目の相対的な配置関係（レイアウト）を作業ログ２６２にとして記憶する。配置関係とは、例えば、型番の下方にＳ／Ｎが位置し、Ｓ／Ｎの下方にＭＡＣが位置する等の位置関係であってもよいし、項目の重心間の距離であってもよい。位置関係は上下方向に限定されず、左右方向の位置関係を含んでもよい。 In the present embodiment, the character recognition unit 251 performs the inspection work with a certain device, and when the character of the item of the device is recognized, the relative arrangement relationship (layout) of the item in which the character is recognized Store as 262. The positional relationship may be, for example, a positional relationship in which the S / N is located below the model number and the MAC is located below the S / N, or may be the distance between the centers of gravity of the items. . The positional relationship is not limited to the vertical direction, but may include the positional relationship in the horizontal direction.

そして、同じ機器で点検作業が実施される場合、文字認識部２５１は、作業ログ２６２の認識する項目のレコードのレイアウトを参照し、文字を認識する項目の文字列の抽出する領域を入力された画像から特定する。そして、文字認識部２５１は、特定した領域から文字列を抽出し、抽出した文字列の文字を認識する。このように、作業ログ２６２のレイアウトを参照して特定された文字列の抽出位置から文字列を抽出するので、入力された画像の全ての位置から文字列を抽出する必要がなくなり、文字認識装置２００の処理負荷を軽減できる。本実施例は、複数の項目を一括で認識する処理を実行する実施例２及び２に適用可能である。 Then, when the inspection work is performed with the same device, the character recognition unit 251 refers to the layout of the record of the item recognized in the work log 262, and the area for extracting the character string of the item that recognizes the character is input. Identify from the image. Then, the character recognition unit 251 extracts a character string from the specified area, and recognizes characters of the extracted character string. As described above, since the character string is extracted from the extraction position of the character string specified by referring to the layout of the work log 262, it is not necessary to extract the character string from all the positions of the input image. The processing load of 200 can be reduced. The present embodiment is applicable to the second embodiment and the second embodiment in which the process of simultaneously recognizing a plurality of items is executed.

本実施例の文字認識処理について実施例２を用いて説明する。 The character recognition process of the present embodiment will be described using the second embodiment.

まず、図１０に示す項目一括確認処理のステップ１２０３の処理で、ステップ１２０２の認識結果表示画面１１０が表示された項目の文字認識結果及び画像を補正するためのパラメータを作業ログ２６２に登録する際に、当該項目の文字が認識された文字列の位置を示す座標も作業ログ２６２に登録する。例えば、作業ログ２６２に登録される座標は、入力された画像の文字列が抽出された領域の重心の座標である。そして、文字認識部２５１は、当該項目の項目番号より一つ前の項目の文字列の座標から当該項目の文字列の座標までの向き及び距離を計算し、計算した向き及び距離を当該項目の作業ログ２６２に登録する。このように、本実施例の項目一括確認処理では、確認する項目の作業ログ２６２に、当該項目の一つ前の項目の文字列の座標からの向き及び距離がレイアウトとして登録される。 First, in the process of step 1203 of the item batch confirmation process shown in FIG. 10, when registering the character recognition result of the item displayed in the recognition result display screen 110 of step 1202 and the parameter for correcting the image in the work log 262 Also, coordinates indicating the position of the character string at which the character of the item is recognized are registered in the work log 262. For example, the coordinates registered in the work log 262 are coordinates of the center of gravity of the area from which the character string of the input image is extracted. Then, the character recognition unit 251 calculates the direction and distance from the coordinates of the character string of the item immediately preceding the item number of the item to the coordinates of the character string of the item, and calculates the calculated direction and distance of the item. The job log 262 is registered. Thus, in the item batch confirmation process of the present embodiment, the direction and distance from the coordinates of the character string of the item immediately preceding the item are registered as a layout in the work log 262 of the item to be confirmed.

次に、作業ログ２６２に登録されたレイアウトを用いた項目一括認識処理について図１１を用いて説明する。実施例２は、ステップ６０３の処理の文字認識前処理で入力された画像から文字列を抽出したが、本実施例は、ステップ６０３の処理の文字認識前処理で文字列を抽出せずに、ステップ１１０５の処理で文字列を抽出し、抽出した文字列を選択する。 Next, item batch recognition processing using the layout registered in the work log 262 will be described with reference to FIG. In the second embodiment, a character string is extracted from the image input in the character recognition pre-processing of the processing of step 603, but in this embodiment, the character string pre-processing of the processing of step 603 is not extracted. A character string is extracted in the process of step 1105, and the extracted character string is selected.

本実施例のステップ１１０５の処理で実行される文字列抽出処理について説明する。文字認識部２５１は、ステップ１１０４の処理で読み込まれた文字を認識する項目の作業ログ２６２からレイアウトを取得する。そして、ステップ１１０５の処理では、文字認識部２５１は、文字を認識する項目の一つ前の項目の文字列の位置から、取得したレイアウトに含まれる向き及び距離によって特定される領域の文字列を抽出し、抽出した文字列を選択して、ステップ６０４の文字列認識処理を実行する。 A character string extraction process executed in the process of step 1105 of this embodiment will be described. The character recognition unit 251 acquires a layout from the work log 262 of an item that recognizes characters read in the process of step 1104. Then, in the process of step 1105, the character recognition unit 251 determines the character string of the area specified by the direction and distance included in the acquired layout from the position of the character string of the item immediately before the item that recognizes the character. The extracted and extracted character string is selected, and the character string recognition process of step 604 is executed.

このように、本実施例では、入力された画像の全ての文字列を抽出せずに、項目ごとに限定された領域から文字列を抽出するので、文字認識装置２００の処理負荷を軽減できる。また、文字を認識する項目の文字列が位置する可能性が高い領域から文字列が抽出され、抽出された文字列の文字が認識されるので、認識精度も向上させることができる。 As described above, in this embodiment, the processing load of the character recognition device 200 can be reduced because the character string is extracted from the area limited for each item without extracting all the character strings of the input image. In addition, since the character string is extracted from the area where the character string of the item that recognizes the character is likely to be located, and the characters of the extracted character string are recognized, the recognition accuracy can also be improved.

なお、同じ機器に複数回点検作業が実施される場合、カメラの画角が点検作業ごとに異なる可能性があるが、文字認識前処理で、画角の違いを補正することによって文字列を正確に抽出できる。また、点検作業毎に項目のレイアウトを統計的に解析し、解析結果を作業ログ２６２に登録することによって、画角の違いを吸収できる。 If the inspection operation is performed multiple times on the same device, the angle of view of the camera may differ depending on the inspection operation. However, the character recognition preprocessing corrects the character string by correcting the difference in the angle of view. Can be extracted. Also, by analyzing the layout of items statistically for each inspection work and registering the analysis result in the work log 262, the difference in the angle of view can be absorbed.

また、作業ログ２６２のレイアウトは項目の文字列の周辺の文字列の座標等を含んでもよい。この場合、文字認識部２５１は、文字を認識する項目の文字列を抽出する場合、認識対象とならない周辺の文字列の座標付近の文字列を抽出しない。文字を認識する項目の周辺の文字列が抽出されないので、候補となる文字列を減らすことができ、認識精度を向上させることができる。 In addition, the layout of the work log 262 may include the coordinates of the character string around the character string of the item. In this case, when extracting the character string of the item that recognizes the character, the character recognition unit 251 does not extract the character string near the coordinates of the surrounding character string that is not the recognition target. Since character strings around items that recognize characters are not extracted, candidate character strings can be reduced, and recognition accuracy can be improved.

実施例１〜３では、文字認識部２５１に入力される画像は静止画であるものとして説明したが、文字認識部２５１に入力される画像は動画であってもよい。ユーザが点検作業をする機器のラベル等の動画を撮影し、当該動画がリアルタイムで文字認識部２５１に入力され、文字認識部２５１がリアルタイムで文字認識処理を実行してもよい。なお、文字認識部２５１は、ある機器の全ての項目の文字認識が終了した時点で、動画の撮影を終了させて、認識結果をユーザに確認させてもよい。 In the first to third embodiments, the image input to the character recognition unit 251 has been described as a still image, but the image input to the character recognition unit 251 may be a moving image. The moving image such as the label of the device with which the user performs inspection work may be photographed, and the moving image may be input to the character recognition unit 251 in real time, and the character recognition unit 251 may execute the character recognition processing in real time. Note that the character recognition unit 251 may end shooting of a moving image and have the user confirm the recognition result when character recognition of all items of a certain device is completed.

実施例１〜３では、文字認識部２５１は、一つの画像から文字を認識するが、複数の画像から文字を認識してもよい。例えば、文字認識部２５１に動画が入力され、入力された動画に含まれる複数のフレーム画像から文字を認識し、認識結果が同じフレーム画像が所定数以上あれば、当該認識結果を記憶する。これによって、認識精度を向上させることができる。 In the first to third embodiments, the character recognition unit 251 recognizes characters from one image, but may recognize characters from a plurality of images. For example, a moving image is input to the character recognition unit 251, characters are recognized from a plurality of frame images included in the input moving image, and when the number of frame images having the same recognition result is equal to or more than a predetermined number, the recognition result is stored. This can improve the recognition accuracy.

実施例１〜３で認識する文字は項目の名称の周辺に記載された点検対象となる文字列であるが、項目の名称の文字列及び当該項目の点検対象となる文字列の文字を認識してもよい。これは、同じ表記の文字列が一つの画像に存在する場合に有効である。例えば、文字認識部２５１に入力された画像に次回点検予定日の日付と前回点検日の日付とが含まれている場合等である。例えば、図１に示すラベル１４１からは、項目名の名称「Ｓ／Ｎ」と点検対象となる文字列「１７１２０４０１１６１」との組み合わせ、及び項目の名称「ＭＡＣ」と点検対象となる文字列「Ｃ０８ＡＤＥ１４ＣＢ６０」との組み合わせが抽出される。 The characters recognized in the first to third embodiments are character strings to be inspected which are described around the item name, but the character string of the item name and the character string of the object to be inspected of the item are recognized May be This is effective when the same written string exists in one image. For example, the image input to the character recognition unit 251 may include the date of the next scheduled inspection date and the date of the previous inspection date. For example, from the label 141 shown in FIG. 1, the combination of the item name “S / N” and the character string “17120401161” to be inspected and the item name “MAC” and the character string to be inspected “C08ADE14CB60 The combination of and "is extracted.

また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。 In addition, with respect to a part of the configuration of each embodiment, it is possible to add, delete, and replace other configurations. Further, each of the configurations, functions, processing units, processing means, etc. described above may be realized by hardware, for example, by designing part or all of them with an integrated circuit.

また、前記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。 Further, each configuration, function, and the like described above may be realized by software by a processor interpreting and executing a program that realizes each function.

各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）などの記録装置、または、ＩＣ（Integrated Circuit）カード、ＳＤカード、ＤＶＤ（Digital Versatile Disc）などの記録媒体に置くことができる。 Information such as programs, tables, and files that realize each function is a memory, a hard disk, a recording device such as a solid state drive (SSD), an integrated circuit (IC) card, an SD card, a digital versatile disc (DVD), etc. Can be placed on the

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。 Further, control lines and information lines indicate what is considered to be necessary for the description, and not all control lines and information lines in the product are necessarily shown. In practice, almost all configurations may be considered to be mutually connected.

２００文字認識装置
２１０操作部
２２０表示部
２３０画像入力部
２５０プロセッサ
２５１文字認識部
２５２機器特定情報認識部
２５３点検項目認識部
２６０メモリ
２６１点検シナリオデータ
２６２作業ログ
２７０補助記憶装置 200 character recognition device 210 operation unit 220 display unit 230 image input unit 250 processor 251 character recognition unit 252 device identification information recognition unit 253 inspection item recognition unit 260 memory 261 inspection scenario data 262 work log 270 auxiliary storage device

Claims

入力された画像に含まれる文字を認識する文字認識装置であって、
文字を認識する複数の項目を含む複数のグループと、前記グループに含まれる複数の項目の当該グループ内での認識順序と、各項目の文字の認識に用いる情報とが登録された認識辞書を記憶する記憶部と、
プロセッサと、を備え、
前記認識辞書に登録される項目は、複数の第１項目及び複数の第２項目を含み、
前記第１項目は前記グループ内での認識順序が最初の項目であって、前記第１項目に少なくとも一つの第２項目が関連付けられ、
前記プロセッサは、
前記認識辞書に登録された複数のグループの第１項目の文字の認識に用いる情報に基づいて、入力された画像から前記第１項目の文字を認識し、
前記認識辞書に登録された前記認識順序を参照し、前記認識された文字の第１項目に関連付けられた第２項目から次に文字を認識する第２項目を特定し、
前記特定した第２項目の文字の認識に用いる情報を前記認識辞書から読み出し、
前記読み出された第２項目の文字の認識に用いる情報に基づいて、入力された画像から当該第２項目の文字を認識し、
前記認識された第１項目及び第２項目の文字を、作業ログとして前記記憶部に記憶し、
入力された画像をパラメータに基づいて補正し、前記補正後の画像から認識対象となる項目の文字を認識し、
前記文字の認識が成功した場合、前記画像の補正に用いたパラメータを前記作業ログとして前記記憶部に記憶することを特徴とする文字認識装置。 A character recognition apparatus that recognizes characters included in an input image, wherein
A recognition dictionary is stored in which a plurality of groups including a plurality of items recognizing characters, a recognition order of the plurality of items contained in the groups within the groups, and information used for recognizing the characters of the items are registered. A storage unit to
A processor, and
The items registered in the recognition dictionary include a plurality of first items and a plurality of second items,
The first item is the first item in the recognition order within the group, and at least one second item is associated with the first item,
The processor is
The character of the first item is recognized from the input image based on the information used for recognition of the characters of the first item of the plurality of groups registered in the recognition dictionary,
Referring to the recognition order registered in the recognition dictionary, and identifying a second item to be recognized next from the second item associated with the first item of the recognized character;
The information used to recognize the character of the specified second item is read from the recognition dictionary,
The character of the second item is recognized from the input image based on the information used for recognition of the character of the second item read out ,
The characters of the first and second items recognized are stored in the storage unit as a work log,
The input image is corrected based on the parameters, and characters of an item to be recognized are recognized from the image after the correction;
A character recognition apparatus characterized by storing parameters used for correcting the image as the work log in the storage unit when the recognition of the character is successful .

入力された画像に含まれる文字を認識する文字認識装置であって、  A character recognition apparatus that recognizes characters included in an input image, wherein
文字を認識する複数の項目を含む複数のグループと、前記グループに含まれる複数の項目の当該グループ内での認識順序と、各項目の文字の認識に用いる情報とが登録された認識辞書を記憶する記憶部と、  A recognition dictionary is stored in which a plurality of groups including a plurality of items recognizing characters, a recognition order of the plurality of items contained in the groups within the groups, and information used for recognizing the characters of the items are registered. A storage unit to
プロセッサと、を備え、  A processor, and
前記認識辞書に登録される項目は、複数の第１項目及び複数の第２項目を含み、  The items registered in the recognition dictionary include a plurality of first items and a plurality of second items,
前記第１項目は前記グループ内での認識順序が最初の項目であって、前記第１項目に少なくとも一つの第２項目が関連付けられ、  The first item is the first item in the recognition order within the group, and at least one second item is associated with the first item,
前記プロセッサは、  The processor is
前記認識辞書に登録された複数のグループの第１項目の文字の認識に用いる情報に基づいて、入力された画像から前記第１項目の文字を認識し、  The character of the first item is recognized from the input image based on the information used for recognition of the characters of the first item of the plurality of groups registered in the recognition dictionary,
前記認識辞書に登録された前記認識順序を参照し、前記認識された文字の第１項目に関連付けられた第２項目から次に文字を認識する第２項目を特定し、  Referring to the recognition order registered in the recognition dictionary, and identifying a second item to be recognized next from the second item associated with the first item of the recognized character;
前記特定した第２項目の文字の認識に用いる情報を前記認識辞書から読み出し、  The information used for recognition of the character of the specified second item is read out from the recognition dictionary,
前記読み出された第２項目の文字の認識に用いる情報に基づいて、入力された画像から当該第２項目の文字を認識し、  The character of the second item is recognized from the input image based on the information used for recognition of the character of the second item read out,
前記認識された第１項目及び第２項目の文字を、作業ログとして前記記憶部に記憶し、  The characters of the first and second items recognized are stored in the storage unit as a work log,
入力された画像から文字列を抽出し、  Extract a string from the input image,
前記抽出した文字列から認識対象となる項目の文字の認識に用いる情報に基づいて文字を認識し、  The character is recognized based on the information used for recognizing the character of the item to be recognized from the extracted character string,
前記文字の認識が成功した場合、前記文字を認識した項目と当該項目より認識順序が一つ前の項目との配置関係を前記作業ログに登録し、  If the recognition of the character is successful, the arrangement relation between the item in which the character is recognized and the item immediately preceding the item in recognition order is registered in the work log.
当該項目の文字を再度認識する場合、前記作業ログに登録された配置関係に基づいて、入力された画像から文字列を抽出する領域を特定し、  When the character of the item is recognized again, an area for extracting a character string from the input image is specified based on the arrangement relation registered in the work log,
前記特定した領域から文字列を抽出することを特徴とする文字認識装置。  A character recognition apparatus characterized by extracting a character string from the specified area.

請求項１又は２に記載の文字認識装置であって、  The character recognition device according to claim 1 or 2, wherein
前記第１項目の文字の認識に用いる情報は、前記第１項目の表記形式を含み、  The information used to recognize the character of the first item includes the notation form of the first item,
前記プロセッサは、前記第１項目の認識された文字の表記形式が当該第１項目の表記形式と一致する場合、当該第１項目の認識された文字を当該第１項目の認識結果とすることを特徴とする文字認識装置。  If the notation form of the recognized character of the first item matches the notation form of the first item, the processor sets the recognized character of the first item as the recognition result of the first item. Character recognition device characterized by

請求項１又は２に記載の文字認識装置であって、  The character recognition device according to claim 1 or 2, wherein
前記第１項目の文字を認識するための画像が入力され、前記プロセッサは、前記入力された画像から前記第１項目の文字を認識し、  An image for recognizing the character of the first item is input, and the processor recognizes the character of the first item from the input image;
前記認識された第１項目の次に認識する第２項目の文字を認識するための画像が入力され、前記プロセッサは、当該入力された画像から当該第２項目の文字を認識し、  An image for recognizing a character of a second item to be recognized next to the recognized first item is input, and the processor recognizes the character of the second item from the input image,
前記認識された第１項目に関連付けられた最後の第２項目の文字を認識するための画像が入力され、当該入力された画像から当該第２項目の文字を認識するまで繰り返すことを特徴とする文字認識装置。  An image for recognizing the character of the last second item associated with the recognized first item is input, and the process is repeated until the character of the second item is recognized from the input image. Character recognition device.

請求項１又は２に記載の文字認識装置であって、  The character recognition device according to claim 1 or 2, wherein
前記第１項目の文字を認識するための画像が入力され、  An image for recognizing the character of the first item is input,
前記プロセッサは、  The processor is
前記入力された画像から前記第１項目の文字を認識し、  Recognize the characters of the first item from the input image,
前記認識された第１項目に関連付けられた第２項目の文字を認識するための画像が入力され、前記プロセッサは、当該入力された画像から前記認識された第１項目に関連付けられた全ての第２項目の文字を一括で認識することを特徴とする文字認識装置。  An image for recognizing a character of a second item associated with the recognized first item is input, and the processor is configured to receive all the first items associated with the recognized first item from the input image. A character recognition apparatus characterized by recognizing characters of two items at once.

請求項１又は２に記載の文字認識装置であって、  The character recognition device according to claim 1 or 2, wherein
前記プロセッサは、  The processor is
入力された一つの画像から、前記第１項目の文字を認識し、  Recognize the character of the first item from one input image,
前記入力された画像から、前記認識された第１項目に関連付けられた全ての第２項目の文字を一括で認識することを特徴とする文字認識装置。  A character recognition apparatus characterized by collectively recognizing all the characters of the second item associated with the recognized first item from the input image.

請求項１又は２に記載の文字認識装置であって、  The character recognition device according to claim 1 or 2, wherein
前記プロセッサは、  The processor is
前記認識された第１項目の文字を表示部に表示し、  Displaying the character of the first item recognized on the display unit;
前記認識された第２項目の文字を前記認識辞書に登録された認識順序通りに前記表示部に表示することを特徴とする文字認識装置。  A character recognition apparatus characterized by displaying the character of the recognized second item on the display unit according to the recognition order registered in the recognition dictionary.

請求項７に記載の文字認識装置であって、 8. The character recognition device according to claim 7, wherein
前記プロセッサは、前記認識された第１項目の文字を前記表示部に表示する場合、又は前記認識された第２項目の文字を前記表示部に前記表示する場合、前記認識辞書に登録された前記認識に用いた情報も前記表示部に表示することを特徴とする文字認識装置。 When the processor displays the character of the recognized first item on the display unit, or when the character of the recognized second item is displayed on the display unit, the processor registers the character registered in the recognition dictionary. A character recognition apparatus characterized by displaying information used for recognition on the display unit.

入力された画像に含まれる文字を認識する文字認識装置における文字認識方法であって、  A character recognition method in a character recognition device for recognizing characters included in an input image, comprising:
前記文字認識装置は、記憶部とプロセッサとを有し、  The character recognition device includes a storage unit and a processor.
前記記憶部には、文字を認識する複数の項目を含む複数のグループと、前記グループに含まれる複数の項目の当該グループ内での認識順序と、各項目の文字の認識に用いる情報とが登録された認識辞書が記憶され、  In the storage unit, a plurality of groups including a plurality of items recognizing characters, a recognition order of a plurality of items included in the groups in the groups, and information used for recognizing the characters of the items are registered. Stored recognition dictionary,
前記認識辞書に登録される項目は、複数の第１項目及び複数の第２項目を含み、  The items registered in the recognition dictionary include a plurality of first items and a plurality of second items,
前記第１項目は前記グループ内での認識順序が最初の項目であって、前記第１項目に少なくとも一つの第２項目が関連付けられ、  The first item is the first item in the recognition order within the group, and at least one second item is associated with the first item,
前記文字認識方法は、  The character recognition method is
前記プロセッサが、前記認識辞書に登録された複数のグループの第１項目の文字の認識に用いる情報に基づいて、入力された画像から前記第１項目の文字を認識し、  The processor recognizes the character of the first item from the input image based on information used for recognition of the characters of the first item of the plurality of groups registered in the recognition dictionary,
前記プロセッサが、前記認識辞書に登録された前記認識順序を参照し、前記認識された文字の第１項目に関連付けられた第２項目から次に文字を認識する第２項目を特定し、  The processor refers to the recognition order registered in the recognition dictionary, and identifies a second item to be recognized next from the second item associated with the first item of the recognized character;
前記プロセッサが、前記特定した第２項目の文字の認識に用いる情報を前記認識辞書から読み出し、  Reading out from the recognition dictionary information used by the processor to recognize the second character of the specified item;
前記プロセッサが、前記読み出された第２項目の文字の認識に用いる情報に基づいて、入力された画像から当該第２項目の文字を認識し、  The processor recognizes the character of the second item from the input image based on the information used for recognition of the character of the read second item,
前記プロセッサが、前記認識された第１項目及び第２項目の文字を、作業ログとして前記記憶部に記憶し、  The processor stores the characters of the first and second items recognized as a work log in the storage unit;
前記プロセッサが、入力された画像をパラメータに基づいて補正し、前記補正後の画像から認識対象となる項目の文字を認識し、  The processor corrects the input image based on parameters, and recognizes characters of an item to be recognized from the corrected image,
前記プロセッサが、前記文字の認識が成功した場合、前記画像の補正に用いたパラメータを前記作業ログとして前記記憶部に記憶することを特徴とする文字認識方法。  A character recognition method characterized in that when the recognition of the character is successful, the processor stores a parameter used for correcting the image as the work log in the storage unit.

入力された画像に含まれる文字を認識する文字認識装置における文字認識方法であって、  A character recognition method in a character recognition device for recognizing characters included in an input image, comprising:
前記文字認識装置は、記憶部とプロセッサとを有し、  The character recognition device includes a storage unit and a processor.
前記記憶部には、文字を認識する複数の項目を含む複数のグループと、前記グループに含まれる複数の項目の当該グループ内での認識順序と、各項目の文字の認識に用いる情報とが登録された認識辞書が記憶され、  In the storage unit, a plurality of groups including a plurality of items recognizing characters, a recognition order of a plurality of items included in the groups in the groups, and information used for recognizing the characters of the items are registered. Stored recognition dictionary,
前記認識辞書に登録される項目は、複数の第１項目及び複数の第２項目を含み、  The items registered in the recognition dictionary include a plurality of first items and a plurality of second items,
前記第１項目は前記グループ内での認識順序が最初の項目であって、前記第１項目に少なくとも一つの第２項目が関連付けられ、  The first item is the first item in the recognition order within the group, and at least one second item is associated with the first item,
前記文字認識方法は、  The character recognition method is
前記プロセッサが、前記認識辞書に登録された複数のグループの第１項目の文字の認識に用いる情報に基づいて、入力された画像から前記第１項目の文字を認識し、  The processor recognizes the character of the first item from the input image based on information used for recognition of the characters of the first item of the plurality of groups registered in the recognition dictionary,
前記プロセッサが、前記認識辞書に登録された前記認識順序を参照し、前記認識された文字の第１項目に関連付けられた第２項目から次に文字を認識する第２項目を特定し、  The processor refers to the recognition order registered in the recognition dictionary, and identifies a second item to be recognized next from the second item associated with the first item of the recognized character;
前記プロセッサが、前記特定した第２項目の文字の認識に用いる情報を前記認識辞書から読み出し、  Reading out from the recognition dictionary information used by the processor to recognize the second character of the specified item;
前記プロセッサが、前記読み出された第２項目の文字の認識に用いる情報に基づいて、入力された画像から当該第２項目の文字を認識し、  The processor recognizes the character of the second item from the input image based on the information used for recognition of the character of the read second item,
前記プロセッサが、前記認識された第１項目及び第２項目の文字を、作業ログとして前記記憶部に記憶し、  The processor stores the characters of the first and second items recognized as a work log in the storage unit;
前記プロセッサが、入力された画像から文字列を抽出し、  The processor extracts a string from the input image,
前記プロセッサが、前記抽出した文字列から認識対象となる項目の文字の認識に用いる情報に基づいて文字を認識し、  The processor recognizes characters based on information used for recognizing characters of items to be recognized from the extracted character string;
前記プロセッサが、前記文字の認識が成功した場合、前記文字を認識した項目と当該項目より認識順序が一つ前の項目との配置関係を前記作業ログに登録し、  When the recognition of the character is successful, the processor registers, in the work log, an arrangement relationship between the item in which the character is recognized and the item one preceding in recognition order from the item.
前記プロセッサが、当該項目の文字を再度認識する場合、前記作業ログに登録された配置関係に基づいて、入力された画像から文字列を抽出する領域を特定し、  When the processor recognizes the character of the item again, it specifies an area for extracting a character string from the input image based on the arrangement relation registered in the work log,
前記プロセッサが、前記特定した領域から文字列を抽出することを特徴とする文字認識方法。  A character recognition method characterized in that the processor extracts a character string from the specified area.

入力された画像に含まれる文字を認識する処理を装置が有するプロセッサに実行させるプログラムであって、  A program that causes a processor including an apparatus to execute processing for recognizing characters included in an input image,
前記装置は、記憶部と前記プロセッサとを有し、  The device includes a storage unit and the processor.
前記記憶部には、文字を認識する複数の項目を含む複数のグループと、前記グループに含まれる複数の項目の当該グループ内での認識順序と、各項目の文字の認識に用いる情報とが登録された認識辞書が記憶され、  In the storage unit, a plurality of groups including a plurality of items recognizing characters, a recognition order of a plurality of items included in the groups in the groups, and information used for recognizing the characters of the items are registered. Stored recognition dictionary,
前記認識辞書に登録される項目は、複数の第１項目及び複数の第２項目を含み、  The items registered in the recognition dictionary include a plurality of first items and a plurality of second items,
前記第１項目は前記グループ内での認識順序が最初の項目であって、前記第１項目に少なくとも一つの第２項目が関連付けられ、  The first item is the first item in the recognition order within the group, and at least one second item is associated with the first item,
前記処理では、  In the above process,
前記プロセッサが、前記認識辞書に登録された複数のグループの第１項目の文字の認識に用いる情報に基づいて、入力された画像から前記第１項目の文字を認識し、  The processor recognizes the character of the first item from the input image based on information used for recognition of the characters of the first item of the plurality of groups registered in the recognition dictionary,
前記プロセッサが、前記認識辞書に登録された前記認識順序を参照し、前記認識された文字の第１項目に関連付けられた第２項目から次に文字を認識する第２項目を特定し、  The processor refers to the recognition order registered in the recognition dictionary, and identifies a second item to be recognized next from the second item associated with the first item of the recognized character;
前記プロセッサが、前記特定した第２項目の文字の認識に用いる情報を前記認識辞書から読み出し、  Reading out from the recognition dictionary information used by the processor to recognize the second character of the specified item;
前記プロセッサが、前記読み出された第２項目の文字の認識に用いる情報に基づいて、入力された画像から当該第２項目の文字を認識し、  The processor recognizes the character of the second item from the input image based on the information used for recognition of the character of the read second item,
前記プロセッサが、前記認識された第１項目及び第２項目の文字を、作業ログとして前記記憶部に記憶し、  The processor stores the characters of the first and second items recognized as a work log in the storage unit;
前記プロセッサが、入力された画像をパラメータに基づいて補正し、前記補正後の画像から認識対象となる項目の文字を認識し、  The processor corrects the input image based on parameters, and recognizes characters of an item to be recognized from the corrected image,
前記プロセッサが、前記文字の認識が成功した場合、前記画像の補正に用いたパラメータを前記作業ログとして前記記憶部に記憶することを特徴とするプログラム。  The program is characterized in that, when the recognition of the character is successful, the processor stores a parameter used for correcting the image as the work log in the storage unit.

入力された画像に含まれる文字を認識する処理を装置が有するプロセッサに実行させるプログラムであって、
前記装置は、記憶部と前記プロセッサとを有し、
前記記憶部には、文字を認識する複数の項目を含む複数のグループと、前記グループに含まれる複数の項目の当該グループ内での認識順序と、各項目の文字の認識に用いる情報とが登録された認識辞書が記憶され、
前記認識辞書に登録される項目は、複数の第１項目及び複数の第２項目を含み、
前記第１項目は前記グループ内での認識順序が最初の項目であって、前記第１項目に少なくとも一つの第２項目が関連付けられ、
前記処理では、
前記プロセッサが、前記認識辞書に登録された複数のグループの第１項目の文字の認識に用いる情報に基づいて、入力された画像から前記第１項目の文字を認識し、
前記プロセッサが、前記認識辞書に登録された前記認識順序を参照し、前記認識された文字の第１項目に関連付けられた第２項目から次に文字を認識する第２項目を特定し、
前記プロセッサが、前記特定した第２項目の文字の認識に用いる情報を前記認識辞書から読み出し、
前記プロセッサが、前記読み出された第２項目の文字の認識に用いる情報に基づいて、入力された画像から当該第２項目の文字を認識し、
前記プロセッサが、前記認識された第１項目及び第２項目の文字を、作業ログとして前記記憶部に記憶し、
前記プロセッサが、入力された画像から文字列を抽出し、
前記プロセッサが、前記抽出した文字列から認識対象となる項目の文字の認識に用いる情報に基づいて文字を認識し、
前記プロセッサが、前記文字の認識が成功した場合、前記文字を認識した項目と当該項目より認識順序が一つ前の項目との配置関係を前記作業ログに登録し、
前記プロセッサが、当該項目の文字を再度認識する場合、前記作業ログに登録された配置関係に基づいて、入力された画像から文字列を抽出する領域を特定し、
前記プロセッサが、前記特定した領域から文字列を抽出することを特徴とするプログラム。 A program that causes a processor including an apparatus to execute processing for recognizing characters included in an input image,
The device includes a storage unit and the processor.
In the storage unit, a plurality of groups including a plurality of items recognizing characters, a recognition order of a plurality of items included in the groups in the groups, and information used for recognizing the characters of the items are registered. Stored recognition dictionary,
The items registered in the recognition dictionary include a plurality of first items and a plurality of second items,
The first item is the first item in the recognition order within the group, and at least one second item is associated with the first item,
In the above process,
The processor recognizes the character of the first item from the input image based on information used for recognition of the characters of the first item of the plurality of groups registered in the recognition dictionary,
The processor refers to the recognition order registered in the recognition dictionary, and identifies a second item to be recognized next from the second item associated with the first item of the recognized character;
Reading out from the recognition dictionary information used by the processor to recognize the second character of the specified item;
The processor recognizes the character of the second item from the input image based on the information used for recognition of the character of the read second item ,
The processor stores the characters of the first and second items recognized as a work log in the storage unit;
The processor extracts a string from the input image,
The processor recognizes characters based on information used for recognizing characters of items to be recognized from the extracted character string;
When the recognition of the character is successful, the processor registers, in the work log, an arrangement relationship between the item in which the character is recognized and the item one preceding in recognition order from the item.
When the processor recognizes the character of the item again, it specifies an area for extracting a character string from the input image based on the arrangement relation registered in the work log,
A program characterized in that the processor extracts a character string from the specified area.